JP2008072702A - 撮影ショット制御装置及び撮影ショット制御プログラム - Google Patents

撮影ショット制御装置及び撮影ショット制御プログラム Download PDF

Info

Publication number
JP2008072702A
JP2008072702A JP2007210383A JP2007210383A JP2008072702A JP 2008072702 A JP2008072702 A JP 2008072702A JP 2007210383 A JP2007210383 A JP 2007210383A JP 2007210383 A JP2007210383 A JP 2007210383A JP 2008072702 A JP2008072702 A JP 2008072702A
Authority
JP
Japan
Prior art keywords
shooting
shot
event
robot camera
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007210383A
Other languages
English (en)
Other versions
JP4741557B2 (ja
Inventor
Makoto Okuda
誠 奥田
Takao Tsuda
貴生 津田
Kazutoshi Muto
一利 武藤
Hitoshi Yanagisawa
斉 柳澤
Seiki Inoue
誠喜 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2007210383A priority Critical patent/JP4741557B2/ja
Publication of JP2008072702A publication Critical patent/JP2008072702A/ja
Application granted granted Critical
Publication of JP4741557B2 publication Critical patent/JP4741557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】状況の変化に応じたロボットカメラの撮影ショットの制御ができるとともに、撮影条件の異なる番組で汎用的に用いることができる撮影ショット制御装置を提供する。
【解決手段】ロボットカメラ・スイッチャ制御装置(撮影ショット制御装置)1は、外部からの指令に基づいて撮影ショットタイプを設定する撮影ショットタイプ設定手段11と、被写体のイベントと撮影ショットタイプと切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する撮影規則生成情報記憶手段12と、設定された撮影ショットタイプとイベント撮影規則生成情報とに基づいてイベントと切替ショットとを対応させたイベント撮影規則を生成する撮影規則生成手段13と、外部からのイベント情報とイベント撮影規則とに基づいて撮影ショットを決定する撮影ショット制御手段(撮影ショット決定手段)15とを備えることを特徴とする。
【選択図】図2

Description

本発明は、ロボットカメラを制御する技術に係り、特に、ロボットカメラの撮影ショットを制御する撮影ショット制御装置及び撮影ショット制御プログラムに関する。
従来、放送局における番組制作や、テレビ会議、大学の講義等において、ロボットカメラ等により自動撮影する試みがなされている(例えば、特許文献1、非特許文献1参照)。これらの方法では、撮影される人の動き等の状況の変化を、画像処理等によって自動でセンシングし、この状況の変化に応じた映像をロボットカメラによって撮影することができる。
特開2002−185837号公報(段落番号0009〜0038) 津田 貴生、外3名、「ネットワーク接続されたロボットカメラを用いた自動番組制作」、映像学技報、vol.26、No.17、pp.37−42、Feb.2002
しかしながら、ロボットカメラ等の自動撮影において状況の変化に応じた映像を撮影するためには、想定される状況の変化と、そのときの撮影ショットとを予め対応付けておく必要があるが、この作業には高度な撮影知識と多大な労力を要する。そして、従来の自動撮影では、スタジオの配置や、出演者の人数等に応じて対応付けの作業をしなくてはならず、撮影条件の異なる様々な番組で汎用的に使用することは困難であった。
本発明は、前記従来技術の問題を解決するために成されたもので、ロボットカメラによる撮影において、状況の変化に応じた撮影ショットの制御ができるとともに、条件の異なる様々な撮影に汎用的に用いることができる撮影ショット制御装置及び撮影ショット制御プログラムを提供することを目的とする。
前記課題を解決するため、請求項1に記載の撮影ショット制御装置は、ロボットカメラによって撮影される被写体の撮影ショットを制御する撮影ショット制御装置であって、撮影ショットタイプ設定手段と、撮影規則生成情報記憶手段と、撮影規則生成手段と、第1撮影ショット決定手段とを備える構成とした。
かかる構成によれば、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、外部から入力された指令に基づいて、ロボットカメラによって撮影可能な撮影ショットの種類である撮影ショットタイプを設定する。また、撮影ショット制御装置は、撮影規則生成情報記憶手段に、被写体の変化を示すイベントと、撮影ショットタイプと、イベント後の撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する。更に、撮影ショット制御装置は、撮影規則生成手段によって、撮影ショットタイプ設定手段で設定された撮影ショットタイプと、撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、被写体のイベントと切替ショットとを対応させたイベント撮影規則を生成する。このとき、撮影規則生成手段は、各々のイベント撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段で設定された撮影ショットタイプに含まれる場合に、このロボットカメラに対して、当該イベント撮影規則生成情報によって示される被写体のイベントと切替ショットとを対応させたイベント撮影規則を生成することができる。また、撮影ショット制御装置は、第1撮影ショット決定手段によって、外部から入力される被写体のイベントの情報と、撮影規則生成手段で生成されたイベント撮影規則とに基づいて、ロボットカメラによって撮影する撮影ショットを決定する。
これによって、撮影ショット制御装置は、外部から入力された撮影ショットタイプの設定の指令と、撮影規則生成情報記憶手段に予め記憶されたイベント撮影規則生成情報とに基づいてイベント撮影規則を生成することができる。そして、撮影ショット制御装置は、当該イベント撮影規則と外部から入力される被写体のイベントの情報に基づいて、当該イベントに応じてロボットカメラの撮影ショットを制御することができる。
また、請求項2に記載の撮影ショット制御装置は、複数のロボットカメラによって撮影される被写体の複数の映像を入力し、外部から入力された、あるロボットカメラの映像から他のロボットカメラの映像に出力を切り替える指令である切替指令に基づいて、前記映像の出力を切り替えて、ひとつの出力映像を生成するスイッチャに前記映像を出力する複数の前記ロボットカメラによって撮影される撮影ショットを制御する撮影ショット制御装置であって、撮影ショットタイプ設定手段と、撮影規則生成情報記憶手段と、撮影規則生成手段と、第1撮影ショット決定手段とを備える構成とした。
かかる構成によれば、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、外部から入力された指令に基づいて、ロボットカメラによって撮影可能な撮影ショットの種類である撮影ショットタイプを設定する。また、撮影ショット制御装置は、撮影規則生成情報記憶手段に、被写体の変化を示すイベントと、撮影ショットタイプと、イベント後の撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する。
更に、撮影ショット制御装置は、撮影規則生成手段によって、撮影ショットタイプ設定手段で設定された撮影ショットタイプと、撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、イベントと切替ショットとを対応させたイベント撮影規則を生成する。また、撮影ショット制御装置は、第1撮影ショット決定手段によって、外部から入力される被写体のイベントの情報と、撮影規則生成手段で生成されたイベント撮影規則とに基づいて、ロボットカメラによって撮影する撮影ショットを決定し、更に、所定の撮影ショットを決定した場合には、対応するロボットカメラの撮影を待機させ、外部から入力された、当該ロボットカメラの映像に出力を切り替える切替指令に基づいて、このロボットカメラに対して当該撮影ショットを撮影させる制御を行う。
これによって、撮影ショット制御装置は、外部から入力された撮影ショットタイプの設定の指令と、撮影規則生成情報記憶手段に予め記憶されたイベント撮影規則生成情報とに基づいてイベント撮影規則を生成することができる。そして、撮影ショット制御装置は、当該イベント撮影規則と外部から入力される被写体のイベントの情報に基づいて、当該イベントに応じてロボットカメラの撮影ショットを制御することができる。更に、撮影ショット制御装置は、ロボットカメラに対して、所定の撮影ショットの撮影を待機させ、このロボットカメラの映像がスイッチャから出力開始される際に、このロボットカメラに対して当該撮影ショットの撮影を開始させることができる。
また、請求項3に記載の撮影ショット制御装置は、複数のロボットカメラによって撮影される被写体の複数の映像を入力し、外部から入力された、あるロボットカメラの映像から他のロボットカメラの映像に出力を切り替える指令である切替指令に基づいて、前記映像の出力を切り替えて、ひとつの出力映像を生成するスイッチャに前記映像を出力する複数の前記ロボットカメラによって撮影される撮影ショットを制御する撮影ショット制御装置であって、撮影ショットタイプ設定手段と、撮影規則生成情報記憶手段と、撮影規則生成手段と、第1撮影ショット決定手段とを備える構成とした。
かかる構成によれば、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、外部から入力された指令に基づいて、ロボットカメラによって撮影可能な撮影ショットの種類である撮影ショットタイプを設定する。また、撮影ショット制御装置は、撮影規則生成情報記憶手段に、被写体の変化を示すイベントと、撮影ショットタイプと、イベント後の撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する。
更に、撮影ショット制御装置は、撮影規則生成手段によって、撮影ショットタイプ設定手段で設定された撮影ショットタイプと、撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、イベントと切替ショットとを対応させたイベント撮影規則を生成する。また、撮影ショット制御装置は、第1撮影ショット決定手段によって、外部から入力される被写体のイベントの情報と、撮影規則生成手段で生成されたイベント撮影規則とに基づいて、ロボットカメラによって撮影する撮影ショットを決定する。更に、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、被写体が複数ある場合に、外部からの指令に基づいて、各々の被写体と当該被写体の撮影ショットの種類とによって予め定められたロボットカメラに対して、当該被写体の撮影ショットを撮影ショットタイプとして設定し、撮影規則生成手段によって、各々の被写体に対して、当該被写体のみの撮影ショットタイプの設定されたロボットカメラの識別子に対応する識別子を付与して、当該識別子の付与された被写体ごとにイベント撮影規則を生成する。
これによって、撮影ショット制御装置は、外部から入力された撮影ショットタイプの設定の指令と、撮影規則生成情報記憶手段に予め記憶されたイベント撮影規則生成情報とに基づいてイベント撮影規則を生成することができる。そして、撮影ショット制御装置は、当該イベント撮影規則と外部から入力される被写体のイベントの情報に基づいて、当該イベントに応じてロボットカメラの撮影ショットを制御することができる。更に、撮影ショット制御装置は、同じ被写体が複数ある場合には、それぞれの被写体と撮影ショットの種類とに予め対応付けられたロボットカメラに対して当該被写体の撮影ショットを撮影ショットタイプとして設定し、被写体のみの撮影ショットタイプの設定されたロボットカメラの識別子に対応する識別子を当該被写体に付与することで、それぞれの被写体についてのイベント撮影規則を生成することができる。
更に、請求項4に記載の撮影ショット制御装置は、請求項3に記載の撮影ショット制御装置において、前記撮影規則生成手段が、複数の前記被写体のうち、前記被写体のみの撮影ショットが前記撮影ショットタイプ設定手段によって設定されていない被写体に対して、当該被写体を含む他の撮影ショットタイプの設定された前記ロボットカメラの識別子に対応する識別子を付与して、当該識別子の付与された被写体ごとに前記イベント撮影規則を生成する構成とした。
これによって、撮影ショット制御装置は、被写体のみの撮影ショットの設定されていない被写体については、当該被写体を含む他の撮影ショットタイプの設定されたロボットカメラの識別子に対応する識別子を当該被写体に付与することで、それぞれの被写体についてのイベント撮影規則を生成することができる。
また、請求項5に記載の撮影ショット制御装置は、請求項1から請求項4のいずれか一項に記載の撮影ショット制御装置において、前記撮影規則生成情報記憶手段が、前記ロボットカメラの前記撮影ショット及び前記撮影ショットタイプと、他のロボットカメラの撮影ショット及び前記撮影ショットタイプとを関連付けた協調撮影規則生成情報を記憶し、前記撮影規則生成手段が、前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶された協調撮影規則生成情報とに基づいて、前記ロボットカメラの撮影ショットと前記他のロボットカメラの撮影ショットと対応させた協調撮影規則を生成し、前記第1撮影ショット決定手段によって決定された前記ロボットカメラの撮影ショットと、前記撮影規則生成手段によって生成された協調撮影規則とに基づいて、前記他のロボットカメラによって撮影する撮影ショットを決定する第2撮影ショット決定手段を備える構成とした。
これによって、撮影ショット制御装置は、撮影規則生成手段によって、各々の協調撮影規則生成情報によって示されるあるロボットカメラと他のロボットカメラとの撮影ショットタイプが、撮影ショットタイプ設定手段でそれぞれのロボットカメラに対して設定された撮影ショットタイプに含まれる場合に、当該協調撮影規則生成情報によって示されるあるロボットカメラの撮影ショットと他のロボットカメラの撮影ショットとを対応させた協調撮影規則を生成することができる。このように、撮影ショット制御装置は、外部から入力された撮影ショットタイプの設定の指令と協調撮影規則生成情報とに基づいて、協調撮影規則を生成することができる。そして、撮影ショット制御装置は、被写体の変化に応じてあるロボットカメラの撮影ショットが決定された場合には、協調撮影規則に基づいて、この撮影ショットに応じて他のロボットカメラの撮影ショットを制御することができる。
更に、請求項6に記載の撮影ショット制御装置は、複数のロボットカメラによって撮影される被写体の複数の映像を入力し、外部から入力された、あるロボットカメラの映像から他のロボットカメラの映像に出力を切り替える指令である切替指令に基づいて、前記映像の出力を切り替えて、ひとつの出力映像を生成するスイッチャに前記映像を出力する複数の前記ロボットカメラによって撮影される撮影ショットを制御する撮影ショット制御装置であって、撮影ショットタイプ設定手段と、撮影規則生成情報記憶手段と、撮影規則生成手段と、第1撮影ショット決定手段と、第3撮影ショット決定手段とを備える構成とした。
かかる構成によれば、撮影ショット制御装置は、撮影ショットタイプ設定手段によって、外部から入力された指令に基づいて、ロボットカメラによって撮影可能な撮影ショットの種類である撮影ショットタイプを設定する。また、撮影ショット制御装置は、撮影規則生成情報記憶手段に、被写体の変化を示すイベントと、撮影ショットタイプと、イベント後の撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報、及び、ロボットカメラの撮影ショットと、ロボットカメラの他の撮影ショットと、撮影ショットタイプとを関連付けたスイッチング撮影規則生成情報を予め記憶する。
更に、撮影ショット制御装置は、撮影規則生成手段によって、撮影ショットタイプ設定手段で設定された撮影ショットタイプと、撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、イベントと切替ショットとを対応させたイベント撮影規則を生成するとともに、撮影ショットタイプ設定手段で設定された撮影ショットタイプと、撮影規則生成情報記憶手段に記憶されたスイッチング撮影規則生成情報とに基づいて、ロボットカメラの撮影ショットと他の撮影ショットと対応させたスイッチング撮影規則を生成する。また、撮影ショット制御装置は、第1撮影ショット決定手段によって、外部から入力される被写体のイベントの情報と、撮影規則生成手段で生成されたイベント撮影規則とに基づいて、ロボットカメラによって撮影する撮影ショットを決定し、第3撮影ショット決定手段によって、外部から入力される切替指令と、第1撮影ショット決定手段で決定されたロボットカメラの撮影ショットと、撮影規則生成手段で生成されたスイッチング撮影規則とに基づいて、切替指令によってスイッチャからの映像の出力が解除されたロボットカメラの撮影ショットを決定する。
これによって、撮影ショット制御装置は、外部から入力された撮影ショットタイプの設定の指令と、撮影規則生成情報記憶手段に予め記憶されたイベント撮影規則生成情報とに基づいてイベント撮影規則を生成することができる。そして、撮影ショット制御装置は、当該イベント撮影規則と外部から入力される被写体のイベントの情報に基づいて、当該イベントに応じてロボットカメラの撮影ショットを制御することができる。更に、撮影ショット制御装置は、撮影規則生成手段によって、各々のスイッチング撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段で設定された撮影ショットタイプに含まれる場合に、当該スイッチング撮影規則生成情報によって示されるあるロボットカメラの撮影ショットと他の撮影ショットとを対応させたスイッチング撮影規則を生成することができる。このように、撮影ショット制御装置は、外部から入力された撮影ショットタイプの設定の指令とスイッチング撮影規則生成情報とに基づいて、スイッチング撮影規則を生成することができる。そして、撮影ショット制御装置は、外部から入力される切替指令によって、スイッチャにおいて、あるロボットカメラの映像の出力が解除された場合には、スイッチング撮影規則に基づいて、このロボットカメラの出力解除後の撮影ショットを制御することができる。
また、請求項7に記載の撮影ショット制御プログラムは、撮影規則生成情報記憶装置に予め記憶された、ロボットカメラによって撮影される被写体の変化を示すイベントと、前記ロボットカメラによって撮影可能な撮影ショットの種類である撮影ショットタイプと、前記イベント後の前記撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を参照して、前記ロボットカメラの撮影ショットを制御するためにコンピュータを、撮影ショットタイプ設定手段、撮影規則生成手段、第1撮影ショット決定手段として機能させることとした。
かかる構成によれば、撮影ショット制御プログラムは、撮影ショットタイプ設定手段によって、外部から入力された指令に基づいて、ロボットカメラの撮影ショットタイプを設定し、撮影規則生成手段によって、撮影ショットタイプ設定手段で設定された撮影ショットタイプと、撮影規則生成情報記憶装置に記憶されたイベント撮影規則生成情報とに基づいて、イベントと切替ショットとを対応させたイベント撮影規則を生成する。更に、撮影ショット制御プログラムは、第1撮影ショット決定手段によって、外部から入力される被写体のイベントの情報と、撮影規則生成手段で生成されたイベント撮影規則とに基づいて、ロボットカメラによって撮影する撮影ショットを決定する。
これによって、撮影ショット制御プログラムは、撮影ショットタイプの設定の指令とイベント撮影規則生成情報とに基づいてイベント撮影規則を生成し、外部から入力される被写体のイベントの情報に基づいて、当該イベントに応じてロボットカメラの撮影ショットを制御することができる。
本発明に係る撮影ショット制御装置及び撮影ショット制御プログラムでは、以下のような優れた効果を奏する。請求項1及び請求項7に記載の発明によれば、制作者は撮影ショットタイプの設定を行うだけで、被写体の状況変化に応じた撮影ショットの制御を行うことができる。そのため、条件の異なる様々な撮影に汎用的に用いることができ、制作者の撮影ごとのスタジオの状況変化とロボットカメラの撮影ショットの切替の指令の対応付けの操作を軽減することができる。
請求項2に記載の発明によれば、スイッチャから出力される撮影ショットの映像の出力開始のタイミングで、所定の撮影ショットの撮影開始を制御することができる。そして、ここで、所定の撮影ショットを、例えば、ロボットカメラの位置、角度や焦点距離等を変化させながら撮影する撮影ショット、例えば、ドリー、クレーン、パン、ズームイン、ズームアウトのような撮影ショットとすることで、スイッチャから出力されるまではロボットカメラに位置、角度や焦点距離等を変化させずに待機させ、出力が開始された時点から当該撮影ショットの撮影を開始させることができる。
請求項3に記載の発明によれば、同じ被写体が複数ある場合においても、各々の被写体と当該被写体の撮影ショットの種類とによって予め定められたロボットカメラに対して、撮影したい被写体の撮影ショットを撮影ショットタイプとして指定するだけで、被写体のみの撮影ショットタイプをロボットカメラの識別子に対応する識別子を被写体に付与して、それぞれの被写体に対してイベント撮影規則を生成することができる。そのため、制作者が複数の被写体に手動で識別子を割り振る必要がない。
請求項4に記載の発明によれば、同じ被写体が複数ある場合において、被写体のみの撮影ショットタイプの設定されていない被写体がある場合には、当該被写体を含む他の撮影ショットタイプの設定されたロボットカメラの識別子に対応する識別子を被写体に付与して、それぞれの被写体に対してイベント撮影規則を生成することができる。そのため、制作者が複数の被写体に手動で識別子を割り振ることなく、すべての被写体に対してイベント撮影規則を生成することができる。
請求項5に記載の発明によれば、複数のロボットカメラによって同様の撮影ショットを撮影しない協調撮影規則生成情報を予め設定することで、ロボットカメラに様々な種類の映像を撮影させることができる。請求項6に記載の発明によれば、スイッチャから出力される撮影ショットの映像の出力終了のタイミングで、当該撮影ショットの種類に応じて、撮影ショットの切替を制御することができる。
以下、本発明の実施の形態について図面を参照して説明する。ここでは本発明を、スタジオ内においてロボットカメラによって被写体を撮影して放送番組を制作する場合に対して適用し、ロボットカメラ・スイッチャ制御装置として構成している。
[自動撮影システムの構成]
まず、図1を参照して、本発明におけるロボットカメラ・スイッチャ制御装置1を備える自動撮影システムSの構成について説明する。図1は、本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。
自動撮影システムSは、被写体[テーブルT、話者(出演者)P1、P2、フリップF、小物O、情報画スクリーンSC]を撮影し、番組映像を生成するものである。自動撮影システムSは、ロボットカメラ・スイッチャ制御装置1と、ロボットカメラC1〜C4と、センサカメラC0と、画像処理装置5と、スイッチングハブSHと、スイッチャSWとを備える。
ロボットカメラ・スイッチャ制御装置(撮影ショット制御装置)1は、外部から入力されるイベント情報に基づいて、被写体を撮影するロボットカメラC1〜C4の撮影ショットを制御するものである。また、ロボットカメラ・スイッチャ制御装置1は、ロボットカメラC1〜C4によって撮像された映像信号からひとつの映像信号のみを出力するスイッチャSWの映像信号の切替を制御するものである。
ここで、ロボットカメラ・スイッチャ制御装置1によって生成されたロボットカメラC1〜C4の撮影ショットを制御する指令となる撮影ショット制御信号は、スイッチングハブSHを介してロボットカメラC1〜C4に出力される。また、ロボットカメラ・スイッチャ制御装置1によって生成されたスイッチャSWの切替を制御する指令となる切替制御信号は、スイッチングハブSHを介してスイッチャSWに出力される。
なお、ここでは、被写体の変化を示すイベントとして、フリップFと小物Oとの提示及び除去と、情報画スクリーンSCへの情報画の提示及び除去と、話者P1、P2の喋りの開始及び終了を想定し、イベント情報として、後記する画像処理装置5からのフリップFと小物Oとの提示と除去との情報、及び、情報画スクリーンSCへの情報画の提示と除去との情報と、図示しないマイクによって取得された話者P1、P2の音声信号の音声レベルに基づいて、図示しない音声処理装置によって解析した各々の話者P1、P2の喋りの開始と終了との情報とが、ロボットカメラ・スイッチャ制御装置1に入力されることとした。
ロボットカメラC1〜C4は、ロボットカメラ・スイッチャ制御装置1から入力された撮影ショット制御信号と、後記する画像処理装置5から入力されるスタジオ内における被写体の位置の情報とに基づいて、当該撮影ショット制御信号によって指示される撮影ショットの映像を撮影し、番組映像の素材となる映像信号を生成するものである。ここで生成された映像信号は、スイッチャSWに出力される。ここで、このフレーミングを自動で行えるロボットカメラC1〜C4としては、例えば、T. Tsuda, et al, "Intelligent Mobile Robot Camera", SMPTE Australia 2005 - Conference and Exhibition, Session 4.4, July 2005に記載されたものを用いることができる。なお、図1では、ロボットカメラC1〜C4からの映像信号の流れを破線で示した。
ここでは、被写体として、テーブルTと、このテーブルTを挟んで向かい合う2人の話者P1、P2と、この話者P1、P2の間のフリップFと、話者P2の手元の小物Oと、話者P1、P2の背後の情報画スクリーンSCとが設置されることとした。そして、話者P1、P2が、フリップFと、小物Oと、情報画スクリーンSCとを用いて対談する番組をロボットカメラC1〜C4によって撮影して番組制作する場合について説明する。しかしながら、フリップFと小物Oと情報画スクリーンSCの個数及び有無や、これらの被写体の配置、話者P1、P2の人数はこれに限定されることなく、任意の被写体を設定することができる。また、ロボットカメラC1〜C4の個数もこれに限定されることなく、任意の個数とすることができる。更に、本発明は番組制作に限定されず、テレビ会議や、大学の講義の撮影や、TVML(TV program Making Language;"http://www.nhk.or.jp/strl/tvml/"参照)等のCGを使ったテレビ番組の制作にも応用が可能である。
センサカメラC0は、被写体を撮影し、後記する画像処理装置5によって被写体の位置を算出するのに必要となる映像信号を生成するものである。ここで生成された映像信号は、画像処理装置5に出力される。なお、センサカメラC0は、被写体が撮影できる位置に設置されていればよく、例えば、被写体の上方や背後に設置されることとしてもよい。また、センサカメラC0の個数はこれに限定されることなく、任意の個数とすることができる。更に、ロボットカメラC1〜C4によって撮影した映像から画像処理装置5によって被写体の位置を算出する場合には、自動撮影システムSがセンサカメラC0を備えないこととしてもよい。
画像処理装置5は、センサカメラC0によって撮影された映像を構成するフレーム画像ごとに被写体を検出し、スタジオ内における被写体の位置を算出するものである。また、画像処理装置5は、フリップFと小物Oを検出することで、スタジオ内においてフリップFや小物Oが提示もしくは除去されたかを解析するものでもある。ここで算出された被写体の位置の情報は、スイッチングハブSHを介してロボットカメラC1〜C4に出力される。また、ここで解析されたフリップFと小物Oとの提示及び除去の情報が、イベント情報として、スイッチングハブSHを介してロボットカメラ・スイッチャ制御装置1に出力される。なお、画像処理装置5は、例えば、被写体の形状や色や、予め被写体に取り付けたセンサからの不可視光等に基づいて、フレーム画像から検出することとしてもよい。
スイッチングハブSHは、ロボットカメラ・スイッチャ制御装置1から入力された撮影ショット制御信号及び切替制御信号をそれぞれロボットカメラC1〜C4及びスイッチャSWに出力するとともに、画像処理装置5、音声処理装置(図示せず)及び情報画スクリーンSCへの情報画の出力装置(図示せず)から入力されたイベント情報をロボットカメラ・スイッチャ制御装置1に出力する中継器である。
スイッチャSWは、ロボットカメラ・スイッチャ制御装置1から入力された切替制御信号に基づいて、ロボットカメラC1〜C4から入力された映像信号からひとつの映像信号のみを選択して、番組映像(出力映像)として出力するものである。
[ロボットカメラ・スイッチャ制御装置の構成]
以下、図2を参照(適宜図1参照)して、本発明におけるロボットカメラ・スイッチャ制御装置1の構成について詳細に説明する。図2は、本発明におけるロボットカメラ・スイッチャ制御装置の構成を模式的に示した模式図である。ロボットカメラ・スイッチャ制御装置1は、撮影ショットタイプ設定手段11と、撮影規則生成情報記憶手段12と、撮影規則生成手段13と、撮影規則設定手段14と、撮影ショット制御手段15と、スイッチャ制御手段16とを備える。
撮影ショットタイプ設定手段11は、番組制作者によって外部から入力された指令に基づいて、ロボットカメラC1〜C4によって撮影可能な撮影ショットの種類(撮影ショットタイプ)を設定するものである。ここで、設定された撮影ショットタイプの情報は、撮影規則生成手段13及び撮影ショット制御手段15に出力される。
ここで、図3を参照(適宜図1及び図2参照)して、撮影ショットタイプ設定手段11による撮影ショットタイプの設定について、具体例を用いて説明する。図3は、撮影ショットタイプの設定時において、番組作成者に提示される表示画面の例を模式的に示した模式図である。
ここでは、番組制作者は、図示しない表示装置に表示された図3に示すようなGUI(Graphical User Interface)によって撮影ショットタイプを設定する指令を入力することとした。なお、図3において、「1カメ」、「2カメ」、「3カメ」及び「4カメ」は、それぞれロボットカメラC1、C2、C3、C4を示す。これらのロボットカメラC1〜C4には予め設定可能な複数の種類の撮影ショットが割り当てられ、更に、優先順位が設定されている。図3では、撮影ショットタイプ表示領域R1〜R4に、各々のロボットカメラC1〜C4において設定可能な撮影ショットが表示されている。例えば、ロボットカメラC1(1カメ)には、「フリップ込2」(フリップFと話者P2の映像)、「スクリーン込2」(情報画スクリーンSCと話者P2の映像)、「バストショット2」(話者P2の胸から上の映像)及び「越し2」(話者P1の背後から撮影した話者P2の映像)の4種類の撮影ショットが割り当てられ、これらの撮影ショットが撮影ショットタイプ表示領域R1に優先順位の高い順に表示されている。
そして、番組制作者は、スタジオ内の配置に合う撮影ショットタイプを選択する。このとき、番組制作者は、図3に示す撮影ショットタイプ表示領域R1〜R4に表示された撮影ショットのチェックボックスcb、cb、…を図示しないマウス等によってクリックしてチェックを付加することで、選択した撮影ショットタイプを設定する指令を入力することができる。図3は、例えば、ロボットカメラC1に、「フリップ込2」及び「バストショット2」の2種類の撮影ショットを設定した場合を示している。このようにして、番組制作者は、すべてのロボットカメラC1〜C4について、撮影可能な撮影ショットタイプを設定する。そして、番組制作者によって入力された指令に基づいて、撮影ショットタイプ設定手段11は、選択された撮影ショットタイプをロボットカメラC1〜C4ごとに設定する。
図2に戻って説明を続ける。撮影規則生成情報記憶手段(撮影規則生成情報記憶装置)12は、後記する撮影規則生成手段13において撮影規則を生成するための撮影規則生成情報を記憶するもので、ハードディスク等の一般的な記憶手段によって構成される。ここで、撮影規則生成情報記憶手段12は、撮影規則生成情報としてイベント撮影規則生成情報、スイッチング撮影規則生成情報及び協調撮影規則生成情報を記憶することとした。
ここで、図4を参照(適宜図1及び図2参照)して、撮影規則生成情報について具体例を用いて説明する。図4は、撮影規則生成情報を説明するための説明図である。ここでは、撮影規則生成情報記憶手段12には、図4に示す情報が記憶されていることとする。図4に示す表の各行には、行の番号とイベントと、イベント後の撮影ショット(切替ショット)とを対応付けた情報が示されている。
イベント撮影規則生成情報は、イベントと、撮影ショットタイプと、切替ショットとを対応させた情報である。ここで、図4の表の番号[1]〜[4]の行に示す情報は、イベント撮影規則生成情報の一部であり、イベントと、切替ショットとを対応させた情報である。例えば、図4の番号[1]の行では、フリップFが提示されたことを示すイベントに、切替ショットとして「フリップ」(フリップFのみを撮影した映像)の撮影ショットが対応付けられている。図4の表の番号[1]〜[4]の行に示す情報以外にも、例えば、情報画スクリーンSCの提示及び除去や、小物Oの提示及び除去、話者P1、P2の喋りの開始及び終了等のイベントにそれぞれ切替ショットを対応させた情報を撮影規則生成情報記憶手段12に記憶することとしてもよい。
なお、図4に示す表の番号[4]の行の切替ショットの「ベースショット」は、撮影ショットタイプ設定手段11において設定された撮影ショットタイプのうち、選択可能なもので最も優先順位の高い撮影ショットを示す。このとき、例えば、他のロボットカメラC1〜C4が撮影している撮影ショットと同じ撮影ショットや、フリップが提示されていないときのフリップショットは選択不可能である。
更に、撮影規則生成情報記憶手段12には、以下の[a]〜[d]の情報が記憶されていることとする。この情報は、図4の表の番号[1]〜[4]の行に示す情報のそれぞれと撮影ショットタイプとを対応させるものであり、この情報と図4の表の番号[1]〜[4]の行に示す情報とを、イベント撮影規則生成情報とした。
[a] 撮影ショットタイプに「フリップ」が設定されているロボットカメラ(C1〜C4)には、図4の表の番号[1]及び[4]の行を撮影規則として生成する。
[b] [a]に該当しないロボットカメラ(C1〜C4)で、撮影ショットタイプに「フリップ込2」が設定されているロボットカメラ(C1〜C4)には、図4の表の番号[2]及び[4]の行を撮影規則として生成する。
[c] [a]及び[b]に該当しないロボットカメラ(C1〜C4)で、撮影ショットタイプに「フリップ込1」が設定されているロボットカメラ(C1〜C4)には、図4の表の番号[3]及び[4]の行を撮影規則として生成する。
[d] 情報画スクリーンSC、小物Oについても[a]〜[c]と同様の処理を行う。ただし、複数のロボットカメラC1〜C4に同じ撮影規則を生成せず、ロボットカメラC2、ロボットカメラC3、ロボットカメラC1の順に優先的に生成する。
スイッチング撮影規則生成情報は、ロボットカメラC1〜C4の撮影ショットと、この撮影ショットの切替の条件となるイベントと、切替ショット(他の撮影ショット)と、撮影ショットタイプとを対応させた情報である。ここで、図4の表の番号[5]の行に示す情報は、スイッチング撮影規則生成情報の一部であり、ある撮影ショットのオンエアが解除されるイベントの情報と、オンエア解除後の切替ショットとを対応させた情報である。図4の番号[5]の行では、あるロボットカメラ(C1〜C4)の「越し」(「越し1」及び「越し2」)、「ドリー」、「ズームイン」および「クレーン」のいずれかの撮影ショットの映像がオンエアされている状態からオンエアが解除されるイベントに、切替ショットとして「ベースショット」の撮影ショットが対応付けられている。ここで、オンエアは、スイッチャSWから映像が出力されることを示す。
更に、撮影規則生成情報記憶手段12には、以下の[e]の情報が記憶されていることとする。この情報は、図4の表の番号[5]の行に示す情報と撮影ショットタイプとを対応させるものであり、この情報と図4の表の番号[5]の行に示す情報とを、スイッチング撮影規則生成情報とした。
[e] 撮影ショットタイプに「越し」、「ドリー」、「ズームイン」および「クレーン」のいずれかが設定されているロボットカメラ(C1〜C4)には、図4の表の番号[5]の行を撮影規則として生成する。
協調撮影規則生成情報は、あるロボットカメラ(C1〜C4)の撮影ショットと、撮影ショットタイプと、他のロボットカメラ(C1〜C4)の撮影ショットと、撮影ショットタイプとを対応させた情報である。ここで、図4の表の番号[6]及び[7]の行に示す情報は、協調撮影規則生成情報の一部であり、ロボットカメラ(C1〜C4)の種類、切り替わり前後の撮影ショットもしくはオンエアされた撮影ショット、及び、撮影ショットの切替もしくはオンエアのイベントの情報と、このイベント後に撮影ショットが切り替えられる他のロボットカメラ(C1〜C4)の種類、及び、切り替わり前後の撮影ショットの情報とを対応させた情報である。例えば、図4の番号[6]の行では、あるロボットカメラ(C1〜C4)の「ツーショット」の撮影ショットがオンエアされるイベントに、他のロボットカメラ(C1〜C4)の撮影ショットを「越し」(「越し1」及び「越し2」)から「ベースショット」に切り替わることが対応付けられている。ここで、「カメラX」は任意のロボットカメラ(C1〜C4)、「カメラY」は「カメラX」以外のロボットカメラ(C1〜C4)を示す。
更に、撮影規則生成情報記憶手段12には、以下の[f]、[g]の情報が記憶されていることとする。この情報は、図4の表の番号[6]及び[7]の行に示す情報のそれぞれと撮影ショットタイプとを対応させるものであり、この情報と図4の表の番号[6]及び[7]の行に示す情報とを、協調撮影規則生成情報とした。
[f] あるロボットカメラ(C1〜C4)の撮影ショットタイプに「ツーショット」が、他のロボットカメラ(C1〜C4)の撮影ショットタイプに「越し」が設定されている場合には、図4の表の番号[6]の行を撮影規則として生成する。
[g] 異なるロボットカメラ(C1〜C4)に同じ撮影ショットタイプが設定されている場合には、図4の表の番号[7]の行を撮影規則として生成する。
撮影規則生成情報記憶手段12に記憶された撮影規則生成情報は、後記する撮影規則生成手段13によって撮影規則を生成する際に参照されて用いられる。ここでは、撮影規則生成情報は、図4の表の番号[1]〜[7]の行に示す情報と、当該情報のそれぞれと撮影ショットタイプとを対応させる[a]〜[g]の情報とからなることとし、撮影規則生成手段13によって、この[a]〜[g]に示される撮影ショットタイプが、撮影ショットタイプ設定手段11によって設定された撮影ショットタイプに含まれる場合に、このロボットカメラ(C1〜C4)に対して、図4の表の番号[1]〜[7]のうちの適合する行に示す情報を撮影規則として生成することとした。
なお、ここでは、図4の表と[a]〜[g]の情報とからなる撮影規則生成情報について説明したが、例えば、図4の表の番号[1]〜[7]の行の情報のそれぞれに含まれる撮影ショット(切り替えショットを含む)が撮影ショットタイプを示すこととし、後記する撮影規則生成手段13によって、この撮影ショットを撮影ショットタイプに含むロボットカメラに対して、図4の表の適合する行を撮影規則として生成することとしてもよい。
また、ここでは、ロボットカメラ(C1〜C4)の切替もしくはオンエア前後の撮影ショットと、他のロボットカメラ(C1〜C4)の切替前後の撮影ショットとを対応させたイベント撮影規則生成情報について説明したが、例えば、あるロボットカメラ(C1〜C4)がある撮影ショットに切り替わった際に、他のロボットカメラ(C1〜C4)を、指定した撮影ショットに切り替える場合に特定して、ロボットカメラ(C1〜C4)の種類及び切り替わり後の撮影ショットと、ロボットカメラ(C1〜C4)の種類及び切り替わり後の撮影ショットのみを対応させたものとしてもよい。この撮影規則生成情報は、例えば、過去のカメラマンによる撮影におけるカメラの撮影ショットの選択を参考にして生成することができる。
図2に戻って説明を続ける。撮影規則生成手段13は、撮影ショットタイプ設定手段11によって設定された撮影ショットタイプと、撮影規則生成情報記憶手段12に記憶された撮影規則生成情報とに基づいて、イベントの情報とロボットカメラC1〜C4のイベント発生前後の撮影ショットとを対応させた撮影規則を生成するものである。ここで生成された撮影規則は、撮影規則設定手段14に出力される。
ここで、撮影規則生成情報は、撮影ショットタイプの情報を含み、撮影規則生成手段13は、撮影規則生成情報によって示される撮影ショットタイプが、撮影ショットタイプ設定手段11によって設定された撮影ショットタイプに含まれる場合に、このロボットカメラに対して当該撮影規則生成情報によって示される撮影規則を生成する。そして、撮影ショットタイプ設定手段11によって設定された撮影ショットタイプは、スタジオの配置や話者の人数等に合うように番組制作者によって選択されているため、撮影規則生成手段13によって生成される撮影規則は、スタジオの配置や話者の人数等の撮影条件に合うものとなる。これによって、撮影規則生成手段13は、番組ごとに撮影条件が変化してもそれに応じた撮影規則を自動で生成でき、撮影条件が変更されても番組制作者は撮影ショットタイプの設定のみを行えばよく、その都度撮影条件にあうイベントと切替ショットとを対応付けする必要がなくなる。
撮影規則設定手段14は、撮影規則生成手段13によって生成された撮影規則を、外部から入力された番組制作者からの指令に基づいて修正するものである。なお、番組制作者からの修正の指令が入力されない場合には、撮影規則設定手段14は、撮影規則生成手段13によって生成された撮影規則をそのまま設定する。ここで設定された撮影規則は、撮影ショット制御手段15に出力される。
ここで、図5を参照(適宜図1及び図2参照)して、撮影規則生成手段13によって生成された撮影規則と、撮影規則設定手段14による撮影規則の修正について、具体例を用いて説明する。図5は、撮影規則の修正時において、番組作成者に提示される表示画面の例を模式的に示した模式図、(a)は、あるロボットカメラのイベント撮影規則を提示した表示画面の例を示した模式図、(b)は、協調撮影規則を提示した表示画面の例を示した模式図である。
ここでは、撮影規則設定手段14は、図5に示すようなGUIによって、番組制作者からの撮影規則の修正の指令を入力することとした。例えば、撮影規則生成手段13によって、イベント撮影規則生成情報に基づいてロボットカメラC2について、図5(a)の行D1から行D2に示すような撮影規則(イベント撮影規則)が生成されたとする。ここで、図5(a)のイベント撮影規則の一番上の行D1は、フリップFが提示されたというイベント情報が入力されたときに、後記する撮影ショット制御手段15がロボットカメラC2に「フリップ」の撮影ショットを撮影する指令を出力する撮影規則を示している。図5(a)のイベント撮影規則の一番下の行D2は、ロボットカメラC2が「スクリーン込1」の撮影ショットを撮影しているときに、話者P2が喋り始めたというイベント情報が入力されると、撮影ショット制御手段15がロボットカメラC2に「スクリーン込2」の撮影ショットを撮影する指令を出力する撮影規則を示している。
また、例えば、撮影規則生成手段13によって、スイッチング撮影規則生成情報に基づいて、図5(a)の行D3に示すような撮影規則(スイッチング撮影規則)が生成されたとする。ここで、このスイッチング撮影規則は、ロボットカメラC2で撮影された「越し2」の映像がスイッチャSWから出力されている状態において、スイッチャSWから他のロボットカメラの映像を出力する指令が、後記するスイッチャ制御手段16によってスイッチャSWに出力されると、撮影ショット制御手段15が、ロボットカメラC2に「ベースショット」の撮影ショットを撮影する指令を出力する撮影規則を示している。
更に、例えば、撮影規則生成手段13によって、協調撮影規則生成情報に基づいて、図5(b)に示すような撮影規則(協調撮影規則)が生成されたとする。ここで、図5(b)の協調撮影規則の一番上の行D4は、ロボットカメラC2が「越し1」を撮影しているときに、ロボットカメラC4で撮影された「ツーショット」の映像をスイッチャSWにおいて出力する指令が、後記するスイッチャ制御手段16によって出力されると、撮影ショット制御手段15がロボットカメラC2に「ベースショット」の撮影ショットを撮影する指令を出力する撮影規則を示している。
そして、番組制作者は図示しないマウス等によって、図5(a)及び(b)の表示画面のプルダウンメニューを操作することで、撮影規則を修正する指令を撮影規則設定手段14に入力することができる。そして、撮影規則設定手段14は、番組制作者によって入力された指令に基づいて撮影規則を修正する。
図2に戻って説明を続ける。撮影ショット制御手段(第1撮影ショット決定手段、第2撮影ショット決定手段、第3撮影ショット決定手段)15は、撮影規則設定手段14において設定された撮影規則と、外部から入力されるイベント情報と、スイッチャ制御手段16から入力されたスイッチャSWにおける映像の切替の情報と、当該撮影ショット制御手段15によって決定された撮影ショットの情報とに基づいて、ロボットカメラC1〜C4の撮影ショットを決定するものである。ここで決定された撮影ショットの映像を撮影する指令(撮影ショット制御信号)は、スイッチングハブSHを介してロボットカメラC1〜C4に出力される。なお、ここでは、撮影ショット制御手段15は、撮影規則設定手段14において撮影規則が設定されるごとに、ロボットカメラC1〜C4に対してベースショットの撮影の指令を出力して、撮影ショットを初期化することとした。更にここでは、撮影ショット制御手段15は、例えばズームインのような動きを伴う撮影ショットを決定した場合には、このロボットカメラ(C1〜C4)に待機させ、番組制作者によって当該撮影ショットをスイッチャSWから出力させる指令が後記するスイッチャ制御手段16に入力されたときに、この撮影ショットを撮影する指令を出力することとした。これによって、撮影ショット制御手段15は、ロボットカメラ(C1〜C4)に、スイッチャSWからの映像の出力開始とともに撮影を開始させることができる。そのため、ズームイン等の動きの途中で映像がスイッチャSWから出力開始されることなく、スイッチャSWからの出力開始と撮影開始とを一致させた映像がスイッチャSWから出力される。
そして、撮影ショット制御手段(第1撮影ショット決定手段)15は、外部からイベント情報が入力されると、撮影規則設定手段14において設定されたイベント撮影規則に従ってロボットカメラ(C1〜C4)の撮影ショットを決定する。また、撮影ショット制御手段(第2撮影ショット決定手段)15は、撮影ショット制御手段15におけるロボットカメラ(C1〜C4)の撮影ショットの切替や、後記するスイッチャ制御手段16におけるスイッチャSWの切替に応じて、ここで切り替えられた、当該撮影ショット制御手段15において決定された撮影ショットと、協調撮影規則とに基づいて、他のロボットカメラ(C1〜C4)の撮影ショットを決定する。更に、撮影ショット制御手段(第3撮影ショット決定手段)15は、後記するスイッチャ制御手段16におけるスイッチャSWの切替に応じて、ここで切り替えられてオンエアが解除された、当該撮影ショット制御手段15において決定された撮影ショットと、スイッチング撮影規則とに基づいて、当該ロボットカメラ(C1〜C4)のオンエア解除後の撮影ショットを決定する。そして、ここでは、協調撮影規則やスイッチング撮影規則に従った当該撮影ショット制御手段15における撮影ショットの決定に応じて、撮影ショット決定手段15が、協調撮影規則に従って、更に他のロボットカメラ(C1〜C4)の撮影ショットを決定することとした。
また、ここでは、番組制作者によって外部から撮影ショットを変更する指令が入力された場合には、撮影ショット制御手段15は、この指令に基づいて、ロボットカメラC1〜C4の撮影ショットを制御することとした。
ここで、図6を参照(適宜図1及び図2参照)して、番組制作者による撮影ショットの変更について、具体例を用いて説明する。図6は、撮影ショットの変更時において、番組作成者に提示される表示画面の例を模式的に示した模式図である。
ここでは、撮影ショット制御手段15は、図6に示すようなGUIによって、撮影ショットを変更する指令を入力することとした。図6に示す表示画面の例において、撮影ショット表示領域U1内の撮影ショットタイプ表示領域U11〜U14に、それぞれ撮影ショットタイプ設定手段11において設定されたロボットカメラC1〜C4の撮影ショットタイプを示すサムネール(S11、S12、S21、…)が表示される。なお、図6では、撮影規則設定手段14によって設定された撮影規則に従って、撮影ショット制御手段15が、ロボットカメラC1〜C4のそれぞれについてサムネールS11、S21、S31、S41の撮影ショットを選択した場合について示している。
そして、番組制作者は、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチしたりして、サムネールS11、S21、S31、S41以外のサムネールを指定することで、撮影ショットを変更する指令を撮影ショット制御手段15に入力することができる。そして、撮影ショット制御手段15は、番組制作者によって入力された指令に基づいて、選択された撮影ショットを撮影する撮影ショット制御信号をロボットカメラ(C1〜C4)に出力する。
図2に戻って説明を続ける。スイッチャ制御手段16は、番組制作者によって外部から入力された、スイッチャSWから出力する映像の切替の指令(切替指令)に基づいて、スイッチャSWの切替を制御するものである。ここで生成されたスイッチャSWの切替を制御する指令(切替制御信号)は、スイッチングハブSHを介してスイッチャSWに出力される。また、スイッチャSWから出力される撮影ショットについての情報が撮影ショット制御手段15に出力される。
ここで、図6を参照(適宜図1及び図2参照)して、番組制作者によるスイッチャSWから出力する映像の切替について、具体例を用いて説明する。図6に示すように、ロボットカメラC1〜C4のそれぞれは、サムネールS11、S21、S31、S41の撮影ショットを撮影している。そして、番組制作者は、話者(P1、P2)の行うフリップFや小物Oの提示及び除去、情報画スクリーンSCの情報画の切り替わり、話者(P1、P2)の切り替わり、スイッチャSWから出力される映像の切り替わり、ロボットカメラC1〜C4の撮影ショットの切り替わり等のスタジオの状況変化に合わせて、スイッチャSWの切替を制御するための指令をスイッチャ制御手段16に入力する。
このとき、番組制作者は、図示しないマウス等でクリックしたり図示しないタッチパネルをタッチしたりして、図6におけるスイッチングパネル表示領域U2内に表示されたスイッチングパネルB1〜B4を指定することで、対応するロボットカメラ(C1〜C4)の映像にスイッチャSWの出力を切り替えさせる指令をスイッチャ制御手段16に入力することができる。ここで、スイッチングパネルB1〜B4のそれぞれは、ロボットカメラC1〜C4に対応する。そして、スイッチャ制御手段16は、番組制作者によって入力された指令に基づいて、選択されたロボットカメラ(C1〜C4)の映像に出力を切り替える切替制御信号をスイッチャSWに出力する。
以上によって、ロボットカメラ・スイッチャ制御装置1は、番組制作者によって入力された撮影ショットタイプの設定の指令と、撮影規則生成情報記憶手段12に記憶された撮影規則生成情報とに基づいて撮影規則を生成し、当該撮影規則と外部から入力されるイベント情報とに基づいて、スタジオの状況変化に応じて各々のロボットカメラC1〜C4の撮影ショットを制御することができる。これによって、撮影ショットタイプの設定のような容易な設定のみで、撮影条件の異なる様々な番組で汎用的に用いることができ、番組制作者のスタジオの状況変化に応じた撮影ショットの切替の操作、あるいは、番組ごとのスタジオの状況変化とロボットカメラC1〜C4の撮影ショットの切替の指令の対応付けの操作を軽減することができる。
更に、ロボットカメラ・スイッチャ制御装置1は、協調撮影規則生成情報に基づいて、複数のロボットカメラ(C1〜C4)が同じ撮影ショットを撮影しない協調撮影規則を生成することで、ロボットカメラC1〜C4に様々な種類の映像を撮影させ、番組制作者の撮影ショットの切替の操作を軽減し、更に、番組制作者に多様な映像からスイッチャSWにおいて出力する映像を選択させることができる。また、ロボットカメラ・スイッチャ制御装置1は、協調撮影規則生成情報に基づいて、「ツーショット」、「越し」、「ドリー」、「ズームイン」及び「クレーン」のような単発的な演出メモリーショットのスイッチャSWからの出力時に、他のロボットカメラ(C1〜C4)も単発的な演出メモリーショットを同時に撮影しない協調撮影規則を生成したり、スイッチング撮影規則生成情報に基づいて、単発的な演出メモリーショットのスイッチャSWからの出力解除の後にベースショットに切り替えるスイッチング撮影規則を生成することで、ロボットカメラC1〜C4に対して、より適切な撮影ショットの映像を撮影させ、番組制作者の撮影ショットの切替の操作を軽減することができる。
なお、ロボットカメラ・スイッチャ制御装置1は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ロボットカメラ・スイッチャ制御プログラム(撮影ショット制御プログラム)として動作させることも可能である。
[ロボットカメラ・スイッチャ制御装置の動作]
次に、図7及び図8を参照して、ロボットカメラ・スイッチャ制御装置1の動作について説明する。図7は、本発明におけるロボットカメラ・スイッチャ制御装置が、撮影規則を生成する動作を示したフローチャートである。図8は、本発明におけるロボットカメラ・スイッチャ制御装置が、撮影規則に基づいて撮影ショットとスイッチャの映像の出力を制御する動作を示したフローチャートである。
まず、図7を参照(適宜図1及び図2参照)して、ロボットカメラ・スイッチャ制御装置1が、撮影の前に撮影規則を生成する動作について説明する。なお、ここではすでに撮影規則生成情報記憶手段12には撮影規則生成情報が記憶されていることとする。
ロボットカメラ・スイッチャ制御装置1は、撮影ショットタイプ設定手段11によって、番組制作者から入力された指令に基づいて、ロボットカメラC1〜C4の撮影ショットタイプを設定する(ステップS11)。続いて、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、ステップS11において設定された撮影ショットタイプと、撮影規則生成情報記憶手段12に記憶された撮影規則生成情報とに基づいて撮影規則を生成する(ステップS12)。
そして、ロボットカメラ・スイッチャ制御装置1は、撮影規則設定手段14によって、ステップS12において生成された撮影規則を、外部から入力された番組制作者からの指令に基づいて修正する。更に、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ロボットカメラC1〜C4に対するベースショットの撮影の指令を出力して撮影ショットを初期化し(ステップS14)、動作を終了する。
次に、図8を参照(適宜図1及び図2参照)して、ロボットカメラ・スイッチャ制御装置1が、撮影時において、撮影規則に基づいて撮影ショットとスイッチャの映像の出力を制御する動作について説明する。
ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、外部からイベント情報が入力されたかを判断する(ステップS21)。そして、イベント情報が入力された場合には(ステップS21でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ステップS21において入力されたイベント情報と、図7のステップS13において撮影規則設定手段14によって設定された撮影規則とに基づいて撮影ショットを決定し、当該撮影ショットの映像を撮影する撮影ショット制御信号をロボットカメラ(C1〜C4)に出力する(ステップS22)。ここで、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ステップS21において入力されたイベント情報と、イベント撮影規則とに基づいて撮影ショットを決定し、更に、ここで決定された撮影ショットと、協調撮影規則とに基づいて、他のロボットカメラ(C1〜C4)の撮影ショットを決定する。その後、ステップS21に戻って、撮影ショット制御手段15によって、イベント情報が入力されたかを判断する動作以降の動作を行う。
一方、イベント情報が入力されない場合には(ステップS21でNo)、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、番組制作者から撮影ショットを変更する指令が入力されたかを判断する(ステップS23)。そして、入力された場合には(ステップS23でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ステップS23において入力された指令に基づいて撮影ショットを決定し、当該撮影ショットの映像を撮影する撮影ショット制御信号をロボットカメラ(C1〜C4)に出力する(ステップS22)。ここで、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ステップS23において入力された指令によって指定された撮影ショットの映像を撮影する指令となる撮影ショット制御信号をロボットカメラ(C1〜C4)に出力するとともに、ここで変更された撮影ショットと、協調撮影規則とに基づいて、他のロボットカメラ(C1〜C4)の撮影ショットを決定する。その後、ステップS21に戻って、撮影ショット制御手段15によって、イベント情報が入力されたかを判断する動作以降の動作を行う。
一方、入力されない場合には(ステップS23でNo)、ロボットカメラ・スイッチャ制御装置1は、スイッチャ制御手段16によって、番組制作者からスイッチャSWから出力する映像の切替の指令が入力されたかを判断する(ステップS24)。そして、入力された場合には(ステップS24でYes)、ロボットカメラ・スイッチャ制御装置1は、スイッチャ制御手段16によって、ステップS24において入力された指令によって指定されたロボットカメラ(C1〜C4)の映像に出力を切り替える指令となる切替制御信号をスイッチャSWに出力する(ステップS25)。続いて、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ステップS24において入力された映像の切替の指令と、図7のステップS13において撮影規則設定手段14によって設定された撮影規則とに基づいて撮影ショットを決定し、当該撮影ショットの映像を撮影する撮影ショット制御信号をロボットカメラ(C1〜C4)に出力する(ステップS22)。ここで、ロボットカメラ・スイッチャ制御装置1は、撮影ショット制御手段15によって、ステップS24において入力された映像の切替の指令と、スイッチング撮影規則とに基づいて撮影ショットを決定し、更に、ここで決定された撮影ショットと、協調撮影規則とに基づいて、他のロボットカメラ(C1〜C4)の撮影ショットを決定する。その後、ステップS21に戻って、撮影ショット制御手段15によって、イベント情報が入力されたかを判断する動作以降の動作を行う。
一方、入力されない場合には(ステップS24でNo)、ロボットカメラ・スイッチャ制御装置1は、スイッチャ制御手段16によって、番組制作者から番組の撮影終了の指令が入力されたかを判断する(ステップS26)。そして、番組の撮影終了の指令が入力されない場合には(ステップS26でNo)、ステップS21に戻って、撮影ショット制御手段15によって、イベント情報が入力されたかを判断する動作以降の動作を行う。また、番組の撮影終了の指令が入力された場合には(ステップS26でYes)、そのまま動作を終了する。
ここで、図9及び図10を参照(適宜図2参照)して、自動撮影システムSが、異なる被写体[テーブルT、話者(出演者)P1、P2、フリップF1、F2、小物O、情報画スクリーンSC]を撮影する場合について説明する。ここで、図9は図1に比べて、フリップの数が1つから2つになっている点において相違する。図9は、本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムにおいて、同じ種類の被写体が複数ある場合の例を模式的に示した模式図である。図10は、本発明におけるロボットカメラ・スイッチャ制御装置の撮影規則生成手段が、フリップが複数ある場合に、フリップに関する撮影ショットの撮影規則を生成する動作を示したフローチャートである。
なお、ここで、人物以外のそれぞれの種類の被写体(ここでは、フリップ、小物、情報画スクリーン)の数を予め想定して識別子を付与しておき、図3に示すような撮影ショットタイプの設定の画面において、想定したすべての被写体について設定可能な撮影ショットを羅列することが考えられる。例えば、図9のように、フリップが最大2つあることを想定した場合に、「フリップF1」(フリップF1の映像)、「フリップF2」」(フリップF2の映像)、「フリップF1込1」(フリップF1と話者P1の映像)、「フリップF2込1」(フリップF2と話者P1の映像)、…のように、想定したフリップの数だけ、フリップに関連する設定可能な撮影ショットを羅列することもできる。しかし、これを小物Oや情報画スクリーンSCなど、すべての種類の被写体について行うと、設定可能な撮影ショットの候補数が膨大になり、撮影ショットタイプの設定の画面が操作性の悪いGUIとなる。また、図5(a)に示す、撮影規則生成手段13によって生成されたイベント撮影規則の修正の画面において、番組制作者がフリップに識別子を手動で設定することも考えられるが、番組制作者に対する負担が大きくなる。
そこで、ここでは、ロボットカメラ・スイッチャ制御装置1は、被写体の種類は区別しているが、フリップF1及びフリップF2を区別するための識別子は予め付与しないこととした。また、例えば、図3に示す撮影ショットタイプの設定の画面においても、撮影ショットタイプ設定手段11は、フリップF1及びフリップF2を区別した撮影ショットタイプの設定はしないこととした。そして、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13による撮影規則の生成時にフリップF1、F2に対して、当該フリップF1、F2のみのショットを撮影するロボットカメラ(C1〜C4)の識別子を自動付与することとした。なお、ここで付与された識別子は、番組制作者からの指令に基づいて撮影規則設定手段14によって修正することも可能である。
ここで、番組制作者は、それぞれのフリップ(F1、F2)のみのショットを撮影するロボットカメラ(C1〜C4)を指定したとする。そうすると、撮影ショットタイプ設定手段11は、この指令に基づいて、当該ロボットカメラの撮影ショットタイプとして「フリップ」ショットを設定する。ここでは、例えば、番組制作者が、ロボットカメラC2に対してフリップF1の「フリップ」ショットを設定し、ロボットカメラC3に対してフリップF2の「フリップ」ショットを設定した場合について説明する。
更に、番組制作者は、必要に応じて、それぞれのフリップ(F1、F2)のフリップ込ショットを指定し、撮影ショットタイプ設定手段11は、この指令に基づいて、当該ロボットカメラの撮影ショットタイプとして「フリップ込」ショットを設定する。そうすると、撮影ショットタイプ設定手段11は、この指令に基づいて、当該ロボットカメラの撮影ショットタイプとして指定された「フリップ込」ショットを設定する。
更に、撮影規則生成手段13は、撮影規則生成情報記憶手段12に記憶された撮影規則生成情報に基づいて、撮影規則を生成する。なお、ここでは、以下のような撮影規則生成情報が撮影規則生成情報記憶手段12に記憶されていることとする。
[a] 撮影ショットタイプに「フリップ」が設定されているロボットカメラ(C1〜C4)が複数ある場合には、それぞれのフリップに、当該ロボットカメラ(C1〜C4)の識別子%dを付与し、フリップ%dが提示されたことを示すイベントに、切替ショットとして「フリップ%d」の撮影ショットを対応付けた撮影規則(フリップ%d提示⇒「フリップ%d」)と、フリップ%dが除去されたことを示すイベントに、切替ショットとして「ベースショット」の撮影ショットを対応付けた撮影規則(フリップ%d除去⇒「ベースショット」)とを生成する。
[b] [a]に該当しないロボットカメラ(C1〜C4)で、撮影ショットタイプに「フリップ込」が設定されているロボットカメラ(C1〜C4)には、フリップ%dが提示されたことを示すイベントに、切替ショットとして「フリップ%d込」の撮影ショットを対応付けた撮影規則(フリップ%d提示⇒「フリップ%d込」)と、フリップ%dが除去されたことを示すイベントに、切替ショットとして「ベースショット」の撮影ショットを対応付けた撮影規則(フリップ%d除去⇒「ベースショット」)とを生成する。ただし、複数のロボットカメラC1〜C4に同じ撮影規則を生成せず、ロボットカメラC2、ロボットカメラC3、ロボットカメラC1の順に優先的に生成する。
例えば、番組制作者の指令に基づいて、撮影ショットタイプ設定手段11が、ロボットカメラC2に対してフリップF1の「フリップ」ショットを設定し、ロボットカメラC3に対してフリップF2の「フリップ」ショットを設定した場合には、撮影規則生成手段13は、フリップF1にロボットカメラC2の識別子%d(ここでは%d=2とする)を付与して、ロボットカメラC2に対して撮影規則“フリップ2(フリップF1)提示⇒「フリップ2」”と、撮影規則“フリップ2除去⇒「ベースショット」”とを生成するとともに、撮影ショットタイプ設定手段11によってロボットカメラC1、C3に「フリップ込」(「フリップ込1」又は「フリップ込2」)が撮影ショットタイプとして設定されていれば、撮影規則“フリップ2提示⇒「フリップ2込」”と、撮影規則“フリップ2除去⇒「ベースショット」”とを生成する。
同様に、撮影規則生成手段13は、フリップF2にロボットカメラC3の識別子%d(ここでは%d=3とする)を付与して、ロボットカメラC3に対して撮影規則“フリップ3(フリップF2)提示⇒「フリップ3」”と、撮影規則“フリップ3除去⇒「ベースショット」”とを生成するとともに、撮影ショットタイプ設定手段11によってロボットカメラC2に「フリップ込」(「フリップ込1」又は「フリップ込2」)が撮影ショットタイプとして設定されていれば、撮影規則“フリップ3提示⇒「フリップ3込」”と、撮影規則“フリップ3除去⇒「ベースショット」”とを生成する。
また、番組制作者が、一部又はすべてのフリップ(F1、F2)についての当該フリップのみのショットを撮影ショットタイプとしてロボットカメラ(C1〜C4)に指定せずに、「フリップ込」ショットを撮影ショットタイプとして指定したとする。そうすると、撮影ショットタイプ設定手段11は、この指令に基づいて、番組制作者によって「フリップ込」ショットの撮影の指定されたロボットカメラの撮影ショットタイプとして「フリップ込」ショットを設定する。
ここで、例えば、番組制作者の指令に基づいて、撮影ショットタイプ設定手段11が、ロボットカメラC1に対してフリップF1の「フリップ込2」ショットを設定し、ロボットカメラC3に対してフリップF2の「フリップ」ショットを設定した場合には、撮影規則生成手段13は、まず、フリップF2にロボットカメラC3の識別子%d(ここでは%d=3とする)を付与して、ロボットカメラC3に対して撮影規則“フリップ3(フリップF2)提示⇒「フリップ3」”と、撮影規則“フリップ3除去⇒「ベースショット」”とを生成するとともに、撮影ショットタイプ設定手段11によってロボットカメラC2に「フリップ込」(「フリップ込1」又は「フリップ込2」)が撮影ショットタイプとして設定されていれば、撮影規則“フリップ3提示⇒「フリップ3込」”と、撮影規則“フリップ3除去⇒「ベースショット」”とを生成する。
更に、撮影規則生成手段13は、フリップF1にロボットカメラC1の識別子%d(ここでは%d=1とする)を付与して、ロボットカメラC1に対して撮影規則“フリップ1(フリップF1)提示⇒「フリップ1込2」”と、撮影規則“フリップ1除去⇒「ベースショット」”とを生成する。
このようにして、撮影ショットタイプの設定の画面のGUIの操作性を損なわず、また、番組制作者に負担をかけずに、番組撮影中に複数の位置に提示されるフリップをロボットカメラ(C1〜C4)で分担して撮影することができる撮影規則を自動生成することができる。
ここで、番組撮影中にロボットカメラ・スイッチャ制御装置1の撮影ショット制御手段15に対して、フリップの提示状況を示すイベント情報を通知する方法の例について説明する。ここでは、画像処理装置5が、センサカメラC0からの映像を画像処理して、テンプレートマッチングで各フリップの提示状況を検出することとする。このとき、テンプレート取得時に各フリップに対して、当該フリップのみの撮影ショットを撮影させるロボットカメラの識別子を対応させておき、番組撮影中にテンプレートマッチングに成功した場合には、その識別子とともにフリップが提示された旨を示すイベント情報をロボットカメラ・スイッチャ制御装置1の撮影ショット制御手段15に通知する。更にその後、テンプレートマッチングに失敗した場合には、この識別子とともにフリップが除去された旨を示すイベント情報をロボットカメラ・スイッチャ制御装置1の撮影ショット制御手段15に通知する。
また、フリップのみの撮影ショットを設定しないフリップについては、テンプレート取得時にこのフリップに対して、当該フリップの「フリップ込」の撮影ショットを撮影させるロボットカメラの識別子を対応させておき、番組撮影中にテンプレートマッチングに成功した場合には、その識別子とともにフリップが提示された旨を示すイベント情報をロボットカメラ・スイッチャ制御装置1の撮影ショット制御手段15に通知する。更にその後、テンプレートマッチングに失敗した場合には、この識別子とともにフリップが除去された旨を示すイベント情報をロボットカメラ・スイッチャ制御装置1の撮影ショット制御手段15に通知する。
なお、ロボットカメラの台数以上の数のフリップが提示される場合でも、すべてのフリップに、各々のフリップのみの撮影ショットを撮影させるロボットカメラの識別子を予め対応させておくことで、ロボットカメラ・スイッチャ制御装置1の撮影規則生成手段13によって、各フリップに対応するロボットカメラの識別子を付与した撮影規則を生成することができる。また、フリップに限定されず、情報画スクリーンや小物が複数ある場合にも同様にロボットカメラの識別子を付与した撮影規則を生成することができる。更に、ここでは、撮影規則生成手段13が、人物以外の被写体(ここでは、フリップ、小物、情報画スクリーン)に対して、ロボットカメラの識別子を付与した撮影規則を生成することとしたが、被写体に対して、各々のロボットカメラの識別子に予め対応付けられた他の識別子を付与することとしてもよい。
次に、図10を参照して、撮影ショットタイプに「フリップ」が設定されているロボットカメラ(C1〜C4)が複数ある場合における、ロボットカメラ・スイッチャ制御装置1の撮影規則生成手段13のフリップに関連する撮影規則の生成動作について説明する。
ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によってロボットカメラ(ロボカメ)C2の撮影ショットタイプに「フリップ」ショットが登録されているか否かを判定する(ステップS31)。そして、登録されていない場合には(ステップS31でNo)、そのままステップS35に進む。一方、登録されている場合には(ステップS31でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、このフリップにロボットカメラC2の識別子%d(ここでは%d=2)を付与して、ロボットカメラC2に対して撮影規則“フリップ2提示⇒「フリップ2」”と、撮影規則“フリップ2除去⇒「ベースショット」”とを生成する(ステップS32)。
そして、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によってロボットカメラ(ロボカメ)C1及びC3の撮影ショットタイプに「フリップ込」ショットが登録されているか否かを判定する(ステップS33)。そして、登録されていない場合には(ステップS33でNo)、そのままステップS35に進む。一方、登録されている場合には(ステップS33でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、「フリップ込」ショットが登録されているロボットカメラC1及びC3に対して撮影規則“フリップ2提示⇒「フリップ2込」”と、撮影規則“フリップ2除去⇒「ベースショット」”とを生成して(ステップS34)、ステップS35に進む。
続いて、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によってロボットカメラC3の撮影ショットタイプに「フリップ」ショットが登録されているか否かを判定する(ステップS35)。そして、登録されていない場合には(ステップS35でNo)、そのままステップS39に進む。一方、登録されている場合には(ステップS35でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、このフリップにロボットカメラC3の識別子%d(ここでは%d=3)を付与して、ロボットカメラC3に対して撮影規則“フリップ3提示⇒「フリップ3」”と、撮影規則“フリップ3除去⇒「ベースショット」”とを生成する(ステップS36)。
そして、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によってロボットカメラC2の撮影ショットタイプに「フリップ込1」ショットが登録されているか否かを判定する(ステップS37)。そして、登録されていない場合には(ステップS37でNo)、そのままステップS39に進む。一方、登録されている場合には(ステップS37でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、ロボットカメラC2に対して撮影規則“フリップ3提示⇒「フリップ3込1」”と、撮影規則“フリップ3除去⇒「ベースショット」”とを生成して(ステップS38)、ステップS39に進む。
続いて、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によってロボットカメラC1の撮影ショットタイプに「フリップ」ショットが登録されているか否かを判定する(ステップS39)。そして、登録されていない場合には(ステップS39でNo)、そのままステップS43に進む。一方、登録されている場合には(ステップS39でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、このフリップにロボットカメラC1の識別子%d(ここでは%d=1)を付与して、ロボットカメラC1に対して撮影規則“フリップ1提示⇒「フリップ1」”と、撮影規則“フリップ1除去⇒「ベースショット」”とを生成する(ステップS40)。
そして、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によってロボットカメラC2の撮影ショットタイプに「フリップ込2」ショットが登録されているか否かを判定する(ステップS41)。そして、登録されていない場合には(ステップS41でNo)、そのままステップS43に進む。一方、登録されている場合には(ステップS41でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、ロボットカメラC2に対して撮影規則“フリップ1提示⇒「フリップ1込2」”と、撮影規則“フリップ1除去⇒「ベースショット」”とを生成して(ステップS42)、ステップS43に進む。
更に、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、撮影ショットタイプ設定手段11によって撮影規則の生成されていない「フリップ込」ショットが登録されているか否かを判定する(ステップS43)。そして、登録されていない場合には(ステップS43でNo)、そのまま動作を終了する。一方、登録されている場合には(ステップS43でYes)、ロボットカメラ・スイッチャ制御装置1は、撮影規則生成手段13によって、「フリップ込」ショットが登録されているロボットカメラ(C1〜C4)に対して撮影規則“フリップ%d提示⇒「フリップ%d込」”と、撮影規則“フリップ%d除去⇒「ベースショット」”とを生成して(ステップS44)、そのまま動作を終了する。
なお、ステップS43とステップS44とにおいて、「フリップ込」ショットの登録されているロボットカメラの識別子を、「フリップ」ショットの登録されていないフリップに対して付与する際に、「フリップ込」ショットに予め優先度を定めておき、優先度の高い順に当該「フリップ込」ショットの登録されているロボットカメラの識別子を、「フリップ」ショットの登録されていないフリップに対して付与することとしてもよい。
例えば、「フリップ込」ショットに「フリップ込1」ショットと「フリップ込2」ショットとがあり、「フリップ込1」ショットに対して「フリップ込2」ショットより高い優先度が定められている場合には、まず、ロボットカメラ・スイッチャ制御装置1は、撮影規則の生成されていない「フリップ込1」ショットがあれば、このフリップに「フリップ込1」ショットが登録されたロボットカメラの識別子%dを付与して、撮影規則“フリップ%d提示⇒「フリップ%d込1」”と、撮影規則“フリップ%d除去⇒「ベースショット」”とを生成する。更に、このフリップの「フリップ込2」ショットが他のロボットカメラに設定されていれば、当該ロボットカメラに撮影規則“フリップ%d提示⇒「フリップ%d込2」”と、撮影規則“フリップ%d除去⇒「ベースショット」”とを生成する。
続いて、ロボットカメラ・スイッチャ制御装置1は、撮影規則の生成されていない「フリップ込2」ショットがあれば、このフリップに「フリップ込2」ショットが登録されたロボットカメラの識別子%dを付与して、撮影規則“フリップ%d提示⇒「フリップ%d込2」”と、撮影規則“フリップ%d除去⇒「ベースショット」”とを生成する。更に、このフリップの「フリップ込1」ショットが他のロボットカメラに設定されていれば、当該ロボットカメラに撮影規則“フリップ%d提示⇒「フリップ%d込1」”と、撮影規則“フリップ%d除去⇒「ベースショット」”とを生成する。
本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムの構成を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の構成を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショットタイプ設定手段による撮影ショットタイプの設定時において、番組作成者に提示される表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影規則生成情報記憶手段に記憶される撮影規則生成情報を説明するための説明図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影規則設定手段による撮影規則の修正時において、番組作成者に提示される表示画面の例を模式的に示した模式図、(a)は、あるロボットカメラのイベント撮影規則を提示した表示画面の例を示した模式図、(b)は、協調撮影規則を提示した表示画面の例を示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影ショット制御手段による撮影ショットの変更時において、番組作成者に提示される表示画面の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置が、撮影規則を生成する動作を示したフローチャートである。 本発明におけるロボットカメラ・スイッチャ制御装置が、撮影規則に基づいて撮影ショットとスイッチャの映像の出力を制御する動作を示したフローチャートである。 本発明におけるロボットカメラ・スイッチャ制御装置を備える自動撮影システムにおいて、同じ種類の被写体が複数ある場合の例を模式的に示した模式図である。 本発明におけるロボットカメラ・スイッチャ制御装置の撮影規則生成手段が、フリップが複数ある場合に、フリップに関する撮影ショットの撮影規則を生成する動作を示したフローチャートである。
符号の説明
1 ロボットカメラ・スイッチャ制御装置(撮影ショット制御装置)
11 撮影ショットタイプ設定手段
12 撮影規則生成情報記憶手段(撮影規則生成情報記憶装置)
13 撮影規則生成手段
15 撮影ショット制御手段(第1撮影ショット決定手段、第2撮影ショット決定手段、第3撮影ショット決定手段)
C1、C2、C3、C4 ロボットカメラ

Claims (7)

  1. ロボットカメラによって撮影される被写体の撮影ショットを制御する撮影ショット制御装置であって、
    外部から入力された指令に基づいて、前記ロボットカメラによって撮影可能な前記撮影ショットの種類である撮影ショットタイプを設定する撮影ショットタイプ設定手段と、
    前記被写体の変化を示すイベントと、前記撮影ショットタイプと、前記イベント後の前記撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する撮影規則生成情報記憶手段と、
    前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、前記イベントと前記切替ショットとを対応させたイベント撮影規則を生成する撮影規則生成手段と、
    外部から入力される前記被写体のイベントの情報と、前記撮影規則生成手段によって生成されたイベント撮影規則とに基づいて、前記ロボットカメラによって撮影する撮影ショットを決定する第1撮影ショット決定手段と、
    を備えることを特徴とする撮影ショット制御装置。
  2. 複数のロボットカメラによって撮影される被写体の複数の映像を入力し、外部から入力された、あるロボットカメラの映像から他のロボットカメラの映像に出力を切り替える指令である切替指令に基づいて、前記映像の出力を切り替えて、ひとつの出力映像を生成するスイッチャに前記映像を出力する複数の前記ロボットカメラによって撮影される撮影ショットを制御する撮影ショット制御装置であって、
    外部から入力された指令に基づいて、前記ロボットカメラによって撮影可能な前記撮影ショットの種類である撮影ショットタイプを設定する撮影ショットタイプ設定手段と、
    前記被写体の変化を示すイベントと、前記撮影ショットタイプと、前記イベント後の前記撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する撮影規則生成情報記憶手段と、
    前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、前記イベントと前記切替ショットとを対応させたイベント撮影規則を生成する撮影規則生成手段と、
    外部から入力される前記被写体のイベントの情報と、前記撮影規則生成手段によって生成されたイベント撮影規則とに基づいて、前記ロボットカメラによって撮影する撮影ショットを決定する第1撮影ショット決定手段とを備え、
    前記第1撮影ショット決定手段が、所定の撮影ショットを決定した場合には対応する前記ロボットカメラの撮影を待機させ、外部から入力された、当該ロボットカメラの映像に出力を切り替える前記切替指令に基づいて、このロボットカメラに対して当該撮影ショットを撮影させる制御を行うことを特徴とする撮影ショット制御装置。
  3. 複数のロボットカメラによって撮影される被写体の複数の映像を入力し、外部から入力された、あるロボットカメラの映像から他のロボットカメラの映像に出力を切り替える指令である切替指令に基づいて、前記映像の出力を切り替えて、ひとつの出力映像を生成するスイッチャに前記映像を出力する複数の前記ロボットカメラによって撮影される撮影ショットを制御する撮影ショット制御装置であって、
    外部から入力された指令に基づいて、前記ロボットカメラによって撮影可能な前記撮影ショットの種類である撮影ショットタイプを設定する撮影ショットタイプ設定手段と、
    前記被写体の変化を示すイベントと、前記撮影ショットタイプと、前記イベント後の前記撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を予め記憶する撮影規則生成情報記憶手段と、
    前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、前記イベントと前記切替ショットとを対応させたイベント撮影規則を生成する撮影規則生成手段と、
    外部から入力される前記被写体のイベントの情報と、前記撮影規則生成手段によって生成されたイベント撮影規則とに基づいて、前記ロボットカメラによって撮影する撮影ショットを決定する第1撮影ショット決定手段とを備え、
    前記撮影ショットタイプ設定手段が、前記被写体が複数ある場合に、外部からの指令に基づいて、各々の前記被写体と当該被写体の撮影ショットの種類とによって予め定められた前記ロボットカメラに対して、当該被写体の撮影ショットを撮影ショットタイプとして設定し、
    前記撮影規則生成手段が、各々の前記被写体に対して、当該被写体のみの撮影ショットタイプの設定された前記ロボットカメラの識別子に対応する識別子を付与して、当該識別子の付与された被写体ごとに前記イベント撮影規則を生成することを特徴とする撮影ショット制御装置。
  4. 前記撮影規則生成手段が、複数の前記被写体のうち、前記被写体のみの撮影ショットが前記撮影ショットタイプ設定手段によって設定されていない被写体に対して、当該被写体を含む他の撮影ショットタイプの設定された前記ロボットカメラの識別子に対応する識別子を付与して、当該識別子の付与された被写体ごとに前記イベント撮影規則を生成することを特徴とする請求項3に記載の撮影ショット制御装置。
  5. 前記撮影規則生成情報記憶手段が、前記ロボットカメラの前記撮影ショット及び前記撮影ショットタイプと、他のロボットカメラの撮影ショット及び前記撮影ショットタイプとを関連付けた協調撮影規則生成情報を記憶し、
    前記撮影規則生成手段が、前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶された協調撮影規則生成情報とに基づいて、前記ロボットカメラの撮影ショットと前記他のロボットカメラの撮影ショットと対応させた協調撮影規則を生成し、
    前記第1撮影ショット決定手段によって決定された前記ロボットカメラの撮影ショットと、前記撮影規則生成手段によって生成された協調撮影規則とに基づいて、前記他のロボットカメラによって撮影する撮影ショットを決定する第2撮影ショット決定手段を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の撮影ショット制御装置。
  6. 複数のロボットカメラによって撮影される被写体の複数の映像を入力し、外部から入力された、あるロボットカメラの映像から他のロボットカメラの映像に出力を切り替える指令である切替指令に基づいて、前記映像の出力を切り替えて、ひとつの出力映像を生成するスイッチャに前記映像を出力する複数の前記ロボットカメラによって撮影される撮影ショットを制御する撮影ショット制御装置であって、
    外部から入力された指令に基づいて、前記ロボットカメラによって撮影可能な前記撮影ショットの種類である撮影ショットタイプを設定する撮影ショットタイプ設定手段と、
    前記被写体の変化を示すイベントと、前記撮影ショットタイプと、前記イベント後の前記撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報、及び、前記ロボットカメラの前記撮影ショットと、当該ロボットカメラの他の撮影ショットと、前記撮影ショットタイプとを関連付けたスイッチング撮影規則生成情報を予め記憶する撮影規則生成情報記憶手段と、
    前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶されたイベント撮影規則生成情報とに基づいて、前記イベントと前記切替ショットとを対応させたイベント撮影規則を生成するとともに、前記撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶手段に記憶されたスイッチング撮影規則生成情報とに基づいて、前記ロボットカメラの撮影ショットと前記他の撮影ショットと対応させたスイッチング撮影規則を生成する撮影規則生成手段と、
    外部から入力される前記被写体のイベントの情報と、前記撮影規則生成手段によって生成されたイベント撮影規則とに基づいて、前記ロボットカメラによって撮影する撮影ショットを決定する第1撮影ショット決定手段と、
    外部から入力される前記切替指令と、前記第1撮影ショット決定手段によって決定された前記ロボットカメラの撮影ショットと、前記撮影規則生成手段によって生成されたスイッチング撮影規則とに基づいて、当該切替指令によって前記スイッチャからの映像の出力が解除されたロボットカメラの撮影ショットを決定する第3撮影ショット決定手段と、
    を備えることを特徴とする撮影ショット制御装置。
  7. 撮影規則生成情報記憶装置に予め記憶された、ロボットカメラによって撮影される被写体の変化を示すイベントと、前記ロボットカメラによって撮影可能な撮影ショットの種類である撮影ショットタイプと、前記イベント後の前記撮影ショットである切替ショットとを関連付けた複数のイベント撮影規則生成情報を参照して、前記ロボットカメラの撮影ショットを制御するためにコンピュータを、
    外部から入力された指令に基づいて、前記ロボットカメラの撮影ショットタイプを設定する撮影ショットタイプ設定手段、
    この撮影ショットタイプ設定手段によって設定された撮影ショットタイプと、前記撮影規則生成情報記憶装置に記憶されたイベント撮影規則生成情報とに基づいて、前記イベントと前記切替ショットとを対応させたイベント撮影規則を生成する撮影規則生成手段、
    外部から入力される前記被写体のイベントの情報と、前記撮影規則生成手段によって生成されたイベント撮影規則とに基づいて、前記ロボットカメラによって撮影する撮影ショットを決定する第1撮影ショット決定手段、
    として機能させることを特徴とする撮影ショット制御プログラム。
JP2007210383A 2006-08-18 2007-08-10 撮影ショット制御装置及び撮影ショット制御プログラム Active JP4741557B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007210383A JP4741557B2 (ja) 2006-08-18 2007-08-10 撮影ショット制御装置及び撮影ショット制御プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006223667 2006-08-18
JP2006223667 2006-08-18
JP2007210383A JP4741557B2 (ja) 2006-08-18 2007-08-10 撮影ショット制御装置及び撮影ショット制御プログラム

Publications (2)

Publication Number Publication Date
JP2008072702A true JP2008072702A (ja) 2008-03-27
JP4741557B2 JP4741557B2 (ja) 2011-08-03

Family

ID=39293833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007210383A Active JP4741557B2 (ja) 2006-08-18 2007-08-10 撮影ショット制御装置及び撮影ショット制御プログラム

Country Status (1)

Country Link
JP (1) JP4741557B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074327A (ja) * 2008-09-17 2010-04-02 Nippon Hoso Kyokai <Nhk> 撮影ショット制御装置、協調撮影システム及びそのプログラム
JP2011249962A (ja) * 2010-05-25 2011-12-08 Nippon Hoso Kyokai <Nhk> 画像合成装置およびそのプログラム
US9942471B2 (en) 2012-10-05 2018-04-10 Fuji Xerox Co., Ltd. Information processing apparatus, information processing system and non-transitory computer readable medium
WO2020189058A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2022161268A1 (zh) * 2021-01-28 2022-08-04 维沃移动通信有限公司 视频拍摄方法及其装置
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185837A (ja) * 2000-12-18 2002-06-28 Oyo Keisoku Kenkyusho:Kk ロボットカメラ装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム
JP2006165700A (ja) * 2004-12-02 2006-06-22 Nippon Hoso Kyokai <Nhk> 番組制作装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002185837A (ja) * 2000-12-18 2002-06-28 Oyo Keisoku Kenkyusho:Kk ロボットカメラ装置
JP2005295431A (ja) * 2004-04-05 2005-10-20 Nippon Hoso Kyokai <Nhk> 番組生成システム、コマンド生成装置、及び番組生成プログラム
JP2006165700A (ja) * 2004-12-02 2006-06-22 Nippon Hoso Kyokai <Nhk> 番組制作装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010074327A (ja) * 2008-09-17 2010-04-02 Nippon Hoso Kyokai <Nhk> 撮影ショット制御装置、協調撮影システム及びそのプログラム
JP2011249962A (ja) * 2010-05-25 2011-12-08 Nippon Hoso Kyokai <Nhk> 画像合成装置およびそのプログラム
US9942471B2 (en) 2012-10-05 2018-04-10 Fuji Xerox Co., Ltd. Information processing apparatus, information processing system and non-transitory computer readable medium
WO2020189058A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US11823715B2 (en) 2019-03-20 2023-11-21 Sony Group Corporation Image processing device and image processing method
JP7414060B2 (ja) 2019-03-20 2024-01-16 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
WO2022161268A1 (zh) * 2021-01-28 2022-08-04 维沃移动通信有限公司 视频拍摄方法及其装置
WO2022249555A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像出力装置、画像出力方法、およびプログラム

Also Published As

Publication number Publication date
JP4741557B2 (ja) 2011-08-03

Similar Documents

Publication Publication Date Title
JP4396654B2 (ja) 撮像装置、および露出制御方法、並びにコンピュータ・プログラム
JP5895409B2 (ja) 撮像装置
JP4741557B2 (ja) 撮影ショット制御装置及び撮影ショット制御プログラム
GB2523452A (en) Image reproducing apparatus and method for controlling same
US9837128B2 (en) Electronic image creating, image editing and simplified audio/video editing device, movie production method starting from still images and audio tracks and associated computer program
JP5930276B2 (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP2007089186A (ja) 動画撮影機能付き移動通信端末機及びその動作方法
JP2007300220A (ja) カメラ、再生装置、音声記録方法、音声再生方法、プログラム、記録媒体
JP2010258768A (ja) 画像表示装置及びその制御方法、並びにプログラム及び記憶媒体
JP2015061093A (ja) 動画選別装置、動画選別方法及びプログラム
JP2013251724A (ja) 撮影機器
US20230217084A1 (en) Image capture apparatus, control method therefor, image processing apparatus, and image processing system
JP2017158021A (ja) 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法
JP4989596B2 (ja) 撮影ショット制御装置、協調撮影システム及びそのプログラム
KR20100093955A (ko) 디지털 영상신호 처리장치에서 이미지확대표시방법
JP2018093303A (ja) 撮像装置およびその制御方法およびそのプログラム
JP2016131378A (ja) 撮像装置
JP4664897B2 (ja) 撮影ショット候補設定装置及び撮影ショット候補設定プログラム
JP6736289B2 (ja) 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法
JP2014225836A (ja) 撮像装置及び撮像装置の制御方法
JP5412560B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6351260B2 (ja) 撮像装置およびその制御方法
JP7208072B2 (ja) 撮像システム
JP6611478B2 (ja) 撮像装置、記録制御方法及びプログラム
JP2017085338A (ja) 撮像装置、その制御方法とプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4741557

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250