JP2005295431A - 番組生成システム、コマンド生成装置、及び番組生成プログラム - Google Patents

Abstract

【課題】 カメラワークやスイッチングの制御を効率的に行う。
【解決手段】 コマンド生成装置にて生成された制御コマンドにより制御された複数のカメラにより撮影された映像を切り替えて出力し番組を生成するための番組生成システムにおいて、前記コマンド生成装置は、音声取得装置により得られる音声データに基づいて、被写体から話者を認識する話者認識手段と、前記音声データに含まれる発言内容から、予め設定されたキーワードと一致するキーワードを検出する検出手段と、予め設定された時間になるまでのカウントを行う時間計測手段と、前記話者認識手段により得られる認識情報、前記検出手段により得られる検出情報、又は前記時間計測手段により得られる時刻経過情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成手段とを有することにより、上記課題を解決する。
【選択図】 図１

Description

本発明は、番組生成システム、コマンド生成装置、及び番組生成プログラムに係り、特に、複数あるカメラのカメラワーク及びスイッチングを制御して番組（映像）の生成を実現するための番組生成システム、コマンド生成装置、及び番組生成プログラムに関する。

従来、放送局の番組制作等において、撮影カメラにおける視点位置、向き、画角、動き等のカメラワーク（カメラショット）の設定や複数カメラ映像のスイッチング等の作業は人手により行われていた。これを自動化する手法として、例えば出演者（被写体）の動きやクリップボードの有無、小物の有無といった事象変化により、複数カメラのショットを自動で状態遷移させるものがある（例えば、非特許文献１参照。）。

一方、遠隔ＴＶ会議においては、各会議室に１台の固定カメラを設置するだけの単調な映像が使用されている場合が多く、何の演出もなされていないものが多い。そこで、この演出効果を上げるものとして、例えば同じショットの継続時間や話者の変化をトリガーとして、各会議室に設置された１台のカメラショットを自動で遷移させるものがある（例えば、非特許文献２参照）。
津田貴生，吉村信一，畠山裕理，井上誠喜、「ネットワーク接続されたロボットカメラを用いた自動番組制作」、社団法人映像情報メディア学会技術報告、ＩＴＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ．２６，Ｎｏ．１７，ｐｐ．３７〜４２、２００２．２ 井上智雄，岡田謙一，松下温、「テレビ番組のカメラワークの知識に基づいたＴＶ会議システム」、情報処理学会論文誌Ｖｏｌ．３７ Ｎｏ．１１、ｐｐ．２０９５−２１０４、１９９６．１１

しかしながら、従来の自動カメラワーク処理は、話者の発言内容に基づいてカメラワークを遷移させていないため、カメラマンが行うカメラワークに比べて話題とは関係の無い映像が表示される場合があり、不自然なものになりがちであった。また、番組ディレクター等が行う映像の切り替え作業（スイッチング作業）の自動制御は行われていなかった。このため、演出効果の高い高精度な自動番組（映像）制作を実現することができなかった。

本発明は、上述した問題点に鑑みなされたものであり、話者の発言内容等に基づいてカメラワーク及びスイッチングの制御を効率的に行い、高精度な番組（映像）を生成するための番組生成システム、コマンド生成装置、及び番組生成プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

請求項１に記載された発明は、被写体を撮影する複数のカメラと、前記被写体からの音声を取得する音声取得装置と、前記複数のカメラを制御するためのコマンドを生成するコマンド生成装置と、該コマンド生成装置にて生成された制御コマンドにより制御された前記カメラにより撮影された映像を切り替えて出力する切替装置とからなる番組を生成するための番組生成システムにおいて、前記コマンド生成装置は、前記音声取得装置により得られる音声データに基づいて、前記被写体から話者を認識する話者認識手段と、前記音声データに含まれる発言内容から、予め設定されたキーワードと一致するキーワードを検出する検出手段と、予め設定された時間になるまでのカウントを行う時間計測手段と、前記話者認識手段により得られる認識情報、前記検出手段により得られる検出情報、又は前記時間計測手段により得られる時刻経過情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成手段とを有することを特徴とする。

請求項１記載の発明によれば、話者の発言内容に基づいてカメラワーク及びスイッチングの制御を効率的に行うことができる。これにより、演出効果の高い高精度な番組を生成することができる。

請求項２に記載された発明は、前記コマンド生成手段は、前記認識情報、前記検出情報、又は前記時間経過情報が入力された場合、予め設定されるカメラの遷移確率情報及び割当確率情報に基づいて設定されたカメラワークの制御コマンドを生成することを特徴とする。

請求項２記載の発明によれば、効率的にカメラワークを設定することができる。これにより、演出効果の高い高精度な番組を生成することができる。

請求項３に記載された発明は、映像又は画像等からなる素材データを蓄積するための素材蓄積装置を有し、前記切替装置は、前記コマンド生成装置により得られる制御コマンドに基づいて、前記複数のカメラにより撮影された映像と前記素材蓄積装置に予め蓄積された前記素材データとを切り替えることを特徴とする。

請求項３記載の発明によれば、効率的に話者の発言に対応したカメラ映像又は蓄積された映像に切り替えることができる。また、カメラにより撮影された映像だけでなく、予め蓄積された素材データも用いて高精度な番組を生成することができる。

請求項４に記載された発明は、被写体を撮影する複数のカメラを制御するための制御コマンドを生成するコマンド生成装置において、前記被写体からの音声データに基づいて、前記被写体から話者を認識する話者認識手段と、前記音声データに含まれる発言内容から、予め設定されたキーワードと一致するキーワードを検出する検出手段と、予め設定された時間になるまでのカウントを行う時間計測手段と、前記話者認識手段により得られる認識情報、前記検出手段により得られる検出情報、又は前記時間計測手段により得られる時刻経過情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成手段とを有することを特徴とする。

請求項４記載の発明によれば、話者の発言内容に基づいてカメラワークの制御を効率的に行うことができる。

請求項５に記載された発明は、前記検出手段は、前記発言内容に含まれている単語又は該単語を複数組み合わせた語を用いて、予め設定されたキーワードと一致するキーワードを検出することを特徴とする。

請求項５記載の発明によれば、話者の発言内容に基づいて、効率的に高精度なカメラワークの制御を行うことができる。

請求項６に記載された発明は、前記検出手段は、一致したキーワードに対応して予め設定された被写体情報又は一致したキーワードを検出情報として出力することを特徴とする。

請求項６記載の発明によれば、検出した被写体情報又はキーワードに基づいて、効率的に高精度なカメラワークの設定を行うことができる。

請求項７に記載された発明は、前記検出手段は、一致するキーワードを検出した後、所定の時間を経過するまで検出を行わないことを特徴とする。

請求項７記載の発明によれば、複数の話者やある一人の話者がキーワードを連発した場合でも、次々にカメラワークが遷移するのを防止することができる。

請求項８に記載された発明は、前記コマンド生成手段は、前記認識情報、前記検出情報、又は前記時間経過情報が入力された場合、予め設定されるカメラの遷移確率情報及び割当確率情報に基づいて設定されたカメラワークの制御コマンドを生成することを特徴とする。

請求項８記載の発明によれば、効率的に高精度なカメラワークを設定することができる。

請求項９に記載された発明は、前記コマンド生成手段は、前記カメラに対してカメラワークを制御するための制御コマンド、又は映像あるいは画像等からなる素材データが蓄積されている素材蓄積装置に対して素材の抽出を制御するための制御コマンドを生成することを特徴とする。

請求項９記載の発明によれば、効率的に話者の発言に対応したカメラ映像又は蓄積された映像に切り替えることができる。また、カメラにより撮影された映像だけでなく、予め蓄積された素材データも用いて高精度な番組を生成することができる。

請求項１０に記載された発明は、被写体を撮影する複数のカメラにより撮影された映像を、前記被写体からの音声データに基づいて切り替えて出力し、番組を生成する処理をプログラムに実行させるための番組生成プログラムにおいて、前記音声データを入力する音声入力処理と、前記音声入力処理により得られる音声データ又は映像を切り替えた時点からの時間情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成処理と、前記コマンド生成処理により得られる制御コマンドに基づいて、前記複数のカメラにより撮影された映像の切り替えを行う切替処理とをコンピュータに実行させる。

請求項１０記載の発明によれば、話者の発言内容に基づいてカメラワーク及びスイッチングの制御を効率的に行うことができる。これにより、演出効果の高い高精度な番組を生成することができる。また、特別な装置構成を必要とせず、低コストで番組生成を実現することができる。更に、プログラムをインストールすることにより、容易に番組生成を実現することができる。

本発明によれば、話者の発言内容等に基づいてカメラワークやスイッチングの制御を効率的に行うことができる。これにより、効率的に高精度な番組（映像）を生成することができる。

＜本発明の概要＞
本発明は、例えば放送局の番組制作や遠隔ＴＶ会議等において、被写体である出演者（話者）の発言内容等に基づいて、複数のカメラのカメラワークを制御すると共に、複数のカメラから得られる映像の切り替え（スイッチング）を制御するものである。

具体的には、音声認識手段により得られる出演者からの音声レベルが変化した場合や、話者の発言内容に含まれるワードと予め設定されるキーワードとが一致した場合、又は同一ショットの映像が一定時間経過した場合をトリガーとして、予め設定されたカメラワークの遷移確率に基づいて、上述したカメラワーク及びスイッチングの制御を行う。

これにより、複数のカメラにより撮影されている映像から話者の発言内容に対応した映像を撮影することができ、更にスイッチングを制御することで、最適な映像を選択して高精度な映像（番組等）を生成することができる。

更に、本発明におけるスイッチングでは、撮影している複数のカメラからの映像の切り替えだけでなく、予め蓄積された映像や画像等からなる素材データに切り替えることもできる。

＜実施形態１：複数のカメラで撮影されている映像のスイッチング＞
以下に、本発明を適用した実施形態について図を用いて説明する。図１は、本発明における番組生成システムの第１の実施形態を示す図である。なお、図１に示す実施形態は、一例としてＴＶの討論番組等におけるスタジオの構成に対応した番組生成システムを用いて説明する。

図１に示す番組生成システム１０は、被写体である出演者Ａ〜Ｅを撮影するための撮影用ロボットカメラ１１−１〜１１−４と、出演者Ａ〜Ｅの居場所を把握するためのセンサカメラ１２と、出演者の音声を取得するためのマイク（音声取得装置）１３−１〜１３−５と、コマンド生成装置１４と、ロボカメ制御装置１５と、スイッチャ制御装置１６と、スイッチャ（切替装置）１７とを有するよう構成されている。また、上述した各構成部は、スイッチングハブ１８を介して通信ネットワーク等によりデータの送受信が可能な状態で接続されている。

図１に示すように、出演者Ａ〜Ｅはテーブル１９を取り囲み、更にその周りを水平、垂直方向に移動可能で外部からの制御信号により制御することができる４台の撮影用ロボットカメラ１１−１〜１１−４が取り囲んでいる。また、各出演者Ａ〜Ｅには各々に対応したマイク１３−１〜１３−５が設けられ、出演者Ａ〜Ｅの３次元位置を計測するためにセンサカメラ１２が少なくとも１つ設置される。なお、本発明においては、上述した撮影用ロボットカメラ１１、センサカメラ１２、マイク１３の台数、設置場所等の構成はこの限りではない。

コマンド生成装置１４は、マイク１３−１〜１３−５から入力される音声データから発言している出演者（話者）や話者の変更を認識したり、所定のキーワードを検出したり、撮影しているカメラの同一ショットの時間経過を測定することにより、各々の撮影用ロボットカメラ１１−１〜１１−４の視点位置、向き、画角、動作、撮影の開始、終了等のカメラワーク（カメラショット）を制御するためのコマンドを生成し、生成したコマンドをロボカメ制御装置１５に出力する。なお、コマンド生成装置１４の具体的な構成例及びコマンド生成例については後述する。

ロボカメ制御装置１５は、センサカメラ１２により現在の出演者Ａ〜Ｅの位置情報を取得し、更にコマンド生成装置１４により得られる制御コマンドに基づいて、撮影用ロボットカメラ１１−１〜１１−４の各々を制御するための制御信号を生成して撮影用ロボットカメラ１１−１〜１１−４に出力する。

ここで、撮影用ロボットカメラ１１−１〜１１−４は、ロボカメ制御装置１５により入力される各々の制御信号に基づいてカメラワークの制御を行い、制御信号に対応する処理が完了した場合に、処理の完了を示すロボカメタリー信号を生成し、スイッチャ制御装置１６に出力する。

スイッチャ制御装置１６は、撮影用ロボットカメラ１１−１〜１１−４からのタリー信号に基づいて、映像の切り替え（スイッチング）を行うためのスイッチャ制御信号を生成し、スイッチャ１７に出力する。

スイッチャ１７は、スイッチャ制御装置１６からのスイッチャ制御信号に基づいてカメラ映像のスイッチングを行い、オンエア（Ｏｎ Ａｉｒ）用の映像を出力する。

上述した番組生成システム１０により、複数あるカメラのカメラワーク及びスイッチングを制御して効率的に高精度な番組の生成を実現することができる。

次に、上述のコマンド生成装置１４の具体的な構成例について、図を用いて説明する。図２は、本実施形態におけるコマンド生成装置の一構成例を示す図である。図２に示すコマンド生成装置１４は、話者認識部（話者認識手段）２１と、キーワード検出部（検出手段）２２と、トリガー検出部２３と、タイマ（時間計測手段）２４と、コマンド生成部（コマンド生成手段）２５とを有するよう構成されている。

話者認識部２１は、マイク１３−１〜１３−５からの入力に対して、予め設定された条件（閾値）に基づいて話者の判断を行う。例えば、マイク１３−１〜１３−５の音声データの大きさ（レベル）が閾値以上である状態が２秒以上継続しているマイクに対応する出演者を話者と判断する。また、話者認識部２１は、話者が誰であるかを示す話者情報をトリガー検出部２３に出力する。また、話者認識部２１は、話者の音声データをキーワード検出部２２に出力する。

キーワード検出部２２は、話者認識部２１より入力された話者の音声に含まれる単語（又は文章等）から、予めキーワードテーブル２６に登録されているキーワードと一致する単語を検出する。

ここで、キーワードテーブル２６の具体例について図を用いて説明する。図３は、キーワードテーブルの一例を示す図である。図３に示すように、各出演者Ａ〜Ｅの各々に対応するキーワードが設定されている。キーワードテーブル２６に蓄積されるキーワードは、各出演者Ａ〜Ｅに関連のある用語であり、各出演者等に対応させて少なくとも１個以上が割り当てられている。

キーワード検出部２２は、図３に示すようなキーワードテーブル２６に基づいて音声に含まれる単語と一致するキーワードを検出し、更にキーワードに対応する出演者の情報（キーワード検出情報）をトリガー検出部２３に出力する。

＜キーワード検出部２２：他のテーブル例＞
なお、上述した図３に示すテーブル構成については、この限りではなく、キーワード検出情報を出力するために他のテーブル構成を適用することもできる。

例えば、図３に示すキーワードテーブル２６の示す各出演者に対応したキーワードについて、より正確にキーワード検出情報を出力できるため、連言（∧）、選言（∨）、否定（¬）等の論理構造を用いて複数の単語を組み合わせることにより生成されるキーワードに基づいて、キーワード検出情報を出力するようにする。

ここで、具体例を挙げて説明する。例えば、ある所定時間（０．２秒）以上の無音声部分で囲まれる音声区間を１単位とし、「アメリカ同時多発テロ」に詳しいＢ氏のキーワードとして、“アメリカ”或いは“ニューヨーク”の後に“テロ”と発言した場合（（“アメリカ”∨“ニューヨーク”）∧“テロ”）、キーワード検出情報を出力するようにキーワードテーブル２６に登録しておく。

このとき、ある話者が「〜“アメリカ”で“テロ”が起こったとき〜」、もしくは「〜“ニューヨーク”で“テロ”が起こったとき〜」というように単語を所定の間隔（例えば、０．２秒等）からなる無音声を入れずに発言した場合、キーワード検出部２２はトリガー検出部２３にキーワード検出情報を出力することになる。しかしながら、ある話者が「〜“トルコ”で“テロ”が起こったとき〜」というような発言をした場合、キーワード検出情報は出力されないことになる。

また、キーワードテーブル２６のキーワードとして、“トルコ”でない単語の後に“テロ”という言葉が発言されることを登録した場合（¬“トルコ”∧“テロ”）、ある話者が「〜“アメリカ”で“テロ”が起こったとき〜」や「〜そのテロが起こったとき〜」と発言した場合、キーワード検出部２２はトリガー検出部２３にキーワード検出情報を出力することになる。しかしながら、ある話者が「〜“トルコ”で“テロ”が発生したとき〜」という発言した場合、キーワード検出情報は出力されないことになる。

このように、複数の単語を組み合わせることにより、より高精度に適切なキーワード検出情報を検出することができる。なお、上述した音声区間の単位としては、上記で述べた一定時間の無音声で囲まれた区間以外に、例えばある出演者から他の出演者へ話者が切り替わるまでの間を１単位として設定することもできる。

また、例えば複数の話者やある特定の話者がキーワードテーブル２６に含まれるキーワードを連続して発言した場合、キーワード検出部２２が次々にキーワード検出情報を出力してしまい、複数のカメラからの映像のスイッチング等が頻発してしまう。これを防止するため、キーワード検出情報を出力した場合に、所定の時間間隔が経過されるまでは、音声に含まれる単語におけるキーワードの検出を停止する等の処理を行うこともできる。

トリガー検出部２３は、話者認識部２１からの話者情報、又はキーワード検出部２２からのキーワード検出情報が入力されると、タイマ２４にリセット信号を出力する。

また、タイマ２４は、リセット信号を入力してからの時間をカウントし、予め設定された時間までリセット信号が再び入力されなかった場合に、時間経過情報をトリガー検出部２３に出力する。具体的には、例えばトリガー検出部２３が上述した話者情報又はキーワード検出情報を３０秒間入力されなかった場合に同一ショットが３０秒続くことになるため、視聴者が番組に飽きてしまう可能性がある。そのため、同一ショットの映像が３０秒以上継続することがないようタイマ２４を用いて時間のカウントを行い、カウントが予め設定される時間（例えば、２５秒）を経過した場合に、トリガー情報として時間経過情報をトリガー検出部２３に出力する。

トリガー検出部２３は、タイマ２４からの時間経過情報が入力されると、タイマ２４にリセット信号を出力する。これにより、番組生成システム１０から出力されるオンエア用の映像が一定時間以上、同一ショットとなるのを防止することができる。

また、トリガー検出部２３は、入力される上述したトリガー情報（話者情報、キーワード検出情報、時間経過情報）のうち、取得した少なくとも１つの情報をコマンド生成部２５に出力する。

コマンド生成部２５は、トリガー検出部２３からのトリガー情報を入力すると、予め設定された遷移確率テーブル２７により次のカメラワークを設定する。ここで、トリガー情報に対応する遷移確率テーブル２７の具体例について図を用いて説明する。

図４は、遷移確率テーブルの一例を示す図である。なお、図４（ａ）は、話者情報取得時の遷移確率テーブルを示し、図４（ｂ）は、キーワード検出情報取得時の遷移確率テーブルを示し、図４（ｃ）は、時間経過情報取得時の遷移確率テーブルを示している。また、図４に示すテーブルの各列は変更前のカメラワーク状態を示し、各行は変更後のカメラワークの状態を示している。また、テーブルに示されている数字は、遷移する確率（％）を示している。

なお、「その他ａ」〜「その他ｃ」については、予め設定される任意のカメラワーク（カメラショット）であり、パンニング、チルティング、ズーミング等を使ったショットを含むものとする。なお、ロボカメによる移動しながらのショット（ドリーショット）も含まれる。また、本実施形態における「その他」の設定は、「その他ａ」〜「その他ｃ」の３種類に限定されるものではない。

例えば、現在のカメラショットが「話者単独」の状態で話者情報を取得した場合には。図４（ａ）によりカメラショットが「話者単独」である状態から、「話者単独」の状態で撮影される確率は６０％、「話者とその周囲」の状態で撮影される確率は２５％、「その他ａ」として設定された状態で撮影される確率は５％、「その他ｂ」として設定された状態で撮影される確率は５％、「その他ｃ」として設定された状態で撮影される確率は５％となっている。この確率に基づいて次のカメラワークが設定される。

ここで、具体例を挙げて説明する。例えば、カメラショットが話者Ｂ単独の場合に、キーワード検出部２２により話者Ｂの発言内容から出演者Ｄに関連のあるキーワードが検出されたとする。このとき、コマンド生成部２５は、図４（ｂ）に示すテーブルにより、次のカメラワークを設定する。つまり、次のカメラワークが話者Ｂの単独ショットとなる確率は３０％で、話者Ｂとその周囲のショットとなる確率は０％、キーワード検出者である出演者Ｄの単独ショットとなる確率は４０％であり、キーワード検出者（出演者Ｄ）とその周囲のショットとなる確率は３０％となる。

また、「その他ａ」、「その他ｂ」、「その他ｃ」で設定されたカメラワークとなる確率は０％である。なお、図４（ａ）〜図４（ｃ）に示す全ての行において、確率の合計は１００％となるように設定される。上述したようなカメラショットの遷移確率に基づいてカメラワークを設定する。

次に、遷移確率テーブルに確率的に設定されるカメラショットの内容に基づいて、そのショットをどの撮影用ロボットカメラで撮影するかについて予め設定されるカメラ割当確率テーブル２８により設定する。

ここで、カメラ割当確率テーブル２８の具体例について図を用いて説明する。図５は、カメラ割当確率テーブルの一例を示す図である。図５に示すカメラ割当確率テーブル２８の各行列要素は、列に指定されたカメラワークに対して、行に指定された各カメラ（１カメ〜４カメ：撮影用ロボットカメラ１１−１〜１１−４）が設定される確率（％）を示している。

ここで、具体例を挙げて説明する。例えば、「出演者Ｄと周囲」のカメラショットを撮影する場合、１カメ又は２カメが設定される確率は０％であり、３カメ又は４カメが設定される確率は各々５０％である。つまり、「出演者Ｄと周囲」を撮影する場合には、３カメ（撮影用ロボットカメラ１１−３）か４カメ（撮影用ロボットカメラ１１−３）の何れかが５０％の確率で設定されることになる。

このように、コマンド生成部２５は、上述したテーブルを用いて効率的に設定されたカメラワークに基づいて、撮影用ロボットカメラ１１−１〜１１−４を制御するための制御コマンドを生成し、生成した制御コマンドをロボカメ制御装置１５に出力する。これにより、話者の発言内容に対応したカメラワークの制御を効率的に行うことができる。

＜コマンド生成装置２５：他のテーブル例＞
なお、コマンド生成装置２５における遷移確率テーブル２７及びカメラ割当確率テーブル２８について、本発明においてはこの限りではなく、入力したトリガー信号に含まれる情報に対応してカメラワークの設定及びそのショットを撮影するカメラの設定が行える構成であればよい。

例えば、コマンド生成部２５は、キーワードに対応してカメラワークを設定するための遷移確率テーブルを設定する。また、この遷移確率テーブルに基づいて設定されるカメラワークに基づいて、図５に示すカメラ割当確率テーブル２８からそのショットを撮影するカメラを設定する。

このとき、キーワード検出部２２においては、上述した図３に示すようなキーワードテーブル２６を用いて、キーワードに対応する出演者の情報をキーワード検出情報としてトリガー検出部２３に出力しているが、検出されたキーワードをキーワード検出情報としてトリガー検出部２３に出力する。また、トリガー検出部２３は、入力されるキーワードをトリガー情報としてコマンド生成部２５に出力する。

ここで、上述したキーワード毎に設定される遷移確率テーブルについて図を用いて説明する。図６は、キーワード毎に設定される遷移確率テーブルの一例を示す図である。ここで、図６に示す各行列要素は、列に指定されたキーワードに対して、行に指定されたカメラワークが設定される確率（％）を示している。また、図６において、全ての行における遷移確率の合計は１００（％）となるよう設定される。

ここで、具体例を挙げて説明する。コマンド生成部２５は、入力したキーワード検出情報に含まれるキーワードが“テロ”であった場合、図６に示す遷移確率テーブルにより、現時点のカメラショットが遷移しない（状態保持）確率は２０％、出演者Ａを撮影するショットとなる確率は６０％、出演者Ａとその周囲を撮影するショットとなる確率は２０％、それ以外のショットとなる確率は０％となっている。つまり、この遷移確率に基づいて次のカメラワークが設定される。また、設定されたショットを撮影するカメラの設定は、上述したカメラ割当確率テーブル２８に基づいて設定することができる。

このように、他のテーブルを用いても、次のカメラワークを効率的に設定することができる。

なお、更に、図６に示すテーブルに登録されるキーワードとして、上述したように連言（∧）、選言（∨）、否定（¬）等を用いた論理構造を用いることも可能である。

＜ロボカメ制御装置１５＞
次に、ロボカメ制御装置１５の具体的な構成例について図を用いて説明する。

図７は、本実施形態におけるロボカメ制御装置の一構成例を示す図である。図７に示すロボカメ制御装置１５は、位置計測部３１と、制御信号生成部３２とを有するよう構成されている。位置計測部３１は、センサカメラ１２から得られるセンサ情報に基づいて出演者の３次元位置の計測を行い、計測結果（出演者３次元位置データ）を制御信号生成部３２へ出力する。

制御信号生成部３２は、位置計測部３１から得られる出演者３次元位置データと、コマンド生成装置１４から得られる制御コマンドとに基づいて撮影用ロボットカメラ１１−１〜１１−４の各々に対応するロボカメ用の制御信号を生成する。また、制御信号生成部３２は、撮影用ロボットカメラ１１−１〜１１−４の各々に対応したロボカメ制御信号を出力する。

これにより、撮影用ロボットカメラ１１−１〜１１−４のカメラワークを効率的に行い、話者の発言内容に対応した出演者の映像を撮影することができる。

なお、上述した出演者の位置計測方法としては、例えば、被写体又は被写体と共に移動する物体に予め検知マーク等を付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色等の特定の色を被写体として認識させる方法、更には、膨大なサンプル顔画像から得られる統計的な顔領域のウェーブレット係数に基づいて正面顔画像を検出し、出演者を認識する方法等を用いることができる。

これにより、撮影用ロボットカメラ１１−１〜１１−４は、制御信号に対応するカメラワークが完了後、完了したことを示すロボカメタリー信号を生成し、生成したロボカメタリー信号をスイッチャ制御装置１６に出力する。

スイッチャ制御装置１６は、入力したタリー信号を出力した撮影用ロボットカメラ１１−１〜１１−４が撮影している映像をオンエア用の映像としてスイッチャ１７に選択させるための制御信号を生成し、スイッチャ１７に出力する。

スイッチャ１７は、スイッチャ制御装置１６からの制御信号に基づいて、撮影用ロボットカメラ１１−１〜１１−４からの映像を切り替えて出力する。

上述した一連の処理を行うことにより、例えば、討論番組等における出演者の発言に対応した撮影用ロボットカメラ１１−１〜１１−４の自動切り替え制御を効率的に行い、高精度な番組の生成を実現することができる。

＜実施形態２：予め蓄積された素材データを含めたスイッチング＞
ここで、上述した実施形態１の番組生成システムでは、撮影用ロボットカメラ１１−１〜１１−４のうち、所定のカメラ映像に切り替えて出力が行われるが、例えば予め番組の素材となる映像や静止画等を蓄積しておき、その素材の中から話者の発言内容に基づいて所定の素材を抽出し、抽出された映像に切り替えて出力するよう制御を行うこともできる。

ここで、上述した内容を第２の実施形態として図を用いて説明する。図８は、番組生成システムの第２の実施形態を示す図である。図８に示す構成例では、図１に示す第１の実施形態と比較して素材を蓄積する手段（素材蓄積装置）が設けられている。

具体的に説明すると、図８に示す番組生成システム４０は、撮影用ロボットカメラ４１−１〜４１−４と、センサカメラ４２と、マイク（音声取得装置）４３−１〜４３−５と、コマンド生成装置４４と、ロボカメ制御装置４５と、スイッチャ制御装置４６と、スイッチャ（切替装置）４７と、スイッチングハブ４８と、素材蓄積装置５０とを有するよう構成されている。

ここで、図８に示す番組生成システム４０は、図１に示す番組生成システムと同様に、被写体である出演者Ａ〜Ｅはテーブル４９を取り囲み、更にその周りを水平、垂直方向に移動可能で外部からの制御信号により制御することができる４台の撮影用ロボットカメラ４１−１〜４１−４が取り囲んでいる。また、各出演者Ａ〜Ｅには各々に対応したマイク４３−１〜４３−５が設けられ、出演者Ａ〜Ｅの３次元位置を計測するためにセンサカメラ４２が少なくとも１つ設置される。なお、本発明においては、上述した撮影用ロボットカメラ４１、センサカメラ４２、マイク４３の台数、設置場所等の構成はこの限りではない。

コマンド生成装置４４は、マイク４３−１〜４３−５から入力される音声データ等により、上述の第１の実施形態で示すトリガー情報（話者情報、キーワード検出情報、時間経過情報）により、撮影用ロボットカメラ４１−１〜４１−４のカメラワークを制御するためのコマンドを生成する。また、上述したテーブルの情報に基づいて、素材蓄積装置５０に蓄積されている素材ＶＴＲ映像への切り替えを行う制御コマンドを生成する。なお、コマンド生成装置４４の具体的な構成例は、図２に示すものと同様の構成を用いることができる。

ここで、カメラ映像に切り替えるか、又は予め蓄積されたＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）映像や静止画等の素材データに切り替えるかの判断は、例えば図４に示す遷移確率テーブルの「その他ａ」〜「その他ｃ」の少なくとも１つに素材蓄積装置５０にある所定のＶＴＲ映像と対応付けて設定しておけばよい。また、この場合には、図５に示すカメラ割当確率テーブル２８を用いたカメラの設定は行う必要がない。

コマンド生成装置４４は、生成した制御コマンドが撮影用ロボットカメラ４１−１〜４１−４のカメラワークを制御するためのコマンドを生成した場合には、生成した制御コマンドをロボカメ制御装置４５に出力する。また、コマンド生成装置４４は、素材蓄積装置５０に予め蓄積された素材データから所定の素材データを抽出してオンエア映像として出力準備するよう制御するためのコマンドを生成した場合には、生成した制御コマンドを素材蓄積装置５０に出力する。

ロボカメ制御装置４５は、第１の実施形態で示したように、センサカメラ４２から現在の出演者Ａ〜Ｅの位置情報を取得し、更にコマンド生成装置４４により得られる制御コマンドに基づいて、撮影用ロボットカメラ４１−１〜４１−４の各々を制御するための制御信号を生成して撮影用ロボットカメラ４１−１〜４１−４に出力する。

ここで、撮影用ロボットカメラ４１−１〜４１−４は、ロボカメ制御装置４５により入力される各々の制御信号に基づいてカメラワークの制御を行い、制御信号に対応する処理が完了した場合に、処理の完了を示すロボカメタリー信号を生成し、スイッチャ制御装置４６に出力する。

また、素材蓄積装置５０は、コマンド生成装置４４から入力した制御コマンドに基づいて対応する素材データを抽出し、抽出した素材データが出力可能であることを示す出力準備完了信号を生成してスイッチャ制御装置４６に出力する。

スイッチャ制御装置４６は、撮影用ロボットカメラ４１−１〜４１−４からのタリー信号、又は素材蓄積装置５０からの出力準備完了信号に基づいて、映像の切り替え（スイッチング）を行うためのスイッチャ制御信号を生成し、スイッチャ１７に出力する。

スイッチャ４７は、スイッチャ制御装置４６からのスイッチャ制御信号に基づいてカメラ映像のスイッチングを行い、オンエア用の映像を出力する。

なお、コマンド生成装置４４に設けられるタイマ等により、例えばＶＴＲ映像や画像等の素材データについて、所定の時間の間で一度だけしか出力させないといった演出を設定することもできる。

上述した番組生成システム４０により、複数あるカメラから撮影されたカメラ映像だけでなく、予め蓄積された素材データも含めた番組をスイッチング制御等により高精度で効率的に生成することができる。

ここで、上述したようにコマンド生成装置、スイッチャ制御装置、ロボカメ制御装置、及びスイッチャは、各々の機能を有する１つの装置構成としてもよい。また、コマンド生成装置、スイッチャ制御装置、ロボカメ制御装置、及びスイッチャは、専用の装置構成により番組生成におけるコマンド制御を行うこともできるが、コマンド生成装置、スイッチャ制御装置、ロボカメ制御装置における機能をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における番組生成を実現することができる。

＜ハードウェア構成＞
ここで、本発明における番組生成が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図９は、本発明における番組生成が実現可能なハードウェア構成の一例を示す図である。

図９におけるコンピュータ本体には、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、メモリ装置６５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６６と、ネットワーク接続装置６７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。

入力装置６１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスを有しており、ユーザからのプログラムの実行等、各種操作信号を入力する。出力装置６２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。

ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体６８等により提供される。プログラムを記録した記録媒体６８は、ドライブ装置６３にセット可能であり、記録媒体６８に含まれる実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。

補助記憶装置６４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。

ＣＰＵ６６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及びメモリ装置６５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、番組生成における各処理を実現することができる。プログラムの実行中に必要な各種テーブル情報や素材データ等は、補助記憶装置６４から取得することができ、また格納することもできる。

ネットワーク接続装置６７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。

上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで番組生成を実現することができる。また、プログラムをインストールすることにより、容易に番組生成を実現することができる。

次に、実行プログラムにおける処理手順について、フローチャートを用いて説明する。なお、後述する処理手順については、上述した第１の実施形態と第２の実施形態に対応させた処理手順について説明する。

＜番組生成処理手順：第１の実施形態＞
図１０は、第1の実施形態における番組生成処理手順を示す一例のフローチャートである。まず、複数の出演者毎に設置されたマイクからの音声を入力する（Ｓ０１）。次に、Ｓ０１にて入力した音声データ等から上述したトリガー情報（話者情報、キーワード検出情報、又は時間経過情報）を検出し、検出したトリガー情報と予め設定されたカメラの切り替えの確率情報とに基づいて撮影用ロボットカメラの制御コマンドを生成する（Ｓ０２）。

次に、Ｓ０２にて生成された制御コマンドに基づいて、各々の撮影用ロボットカメラに対してカメラワークの制御を行う（Ｓ０３）。また、撮影用ロボットカメラからのタリー信号により、複数の撮影用ロボットカメラにより撮影された映像の切り替え（スイッチング）制御を行う（Ｓ０４）。上述したような処理手順により、効率的に複数の撮影用ロボットカメラで撮影された映像の切り替えを行い出力することで高精度な番組を生成することができる。

＜番組生成処理手順：第２の実施形態＞
次に、予め蓄積されたＶＴＲ映像や画像等への切り替えを含む第２の実施形態に対応した番組生成処理手順についてフローチャートを用いて説明する。

図１１は、第２の実施形態における番組生成処理手順を示す一例のフローチャートである。まず、複数の出演者毎に設置されたマイクからの音声を入力する（Ｓ１１）。次に、Ｓ１１にて入力した音声データ等から上述したトリガー情報（話者情報、キーワード検出情報、又は時間経過情報）を検出し、検出したトリガー情報と予め設定されたカメラの切り替えの確率情報とに基づいて、撮影用ロボットカメラ又は素材蓄積装置への制御コマンドを生成する（Ｓ１２）。

ここで、生成された制御コマンドが撮影用ロボットカメラ又は素材蓄積装置のうち、どちらの制御コマンドであるかを判断する。図１１においては、生成されたコマンドがカメラ制御用コマンドであるか否かを判断する（Ｓ１３）。

生成されたコマンドがカメラ制御用のコマンドである場合（Ｓ１３において、ＹＥＳ）、各々の撮影用ロボットカメラに対してカメラワークの制御を行う（Ｓ１４）。また、生成されたコマンドがカメラ制御用のコマンドでない場合（Ｓ１３において、ＮＯ）、素材蓄積装置に蓄積されている素材の抽出指示を行い、抽出した素材の出力準備をさせるよう制御を行う（Ｓ１５）。

次に、Ｓ１４又はＳ１５の処理が終了後、撮影用ロボットカメラからのタリー信号又は素材蓄積装置５０からの素材の出力準備完了信号により撮影用ロボットカメラにより撮影された映像又は素材データの切り替え（スイッチング）制御を行う（Ｓ１６）。

上述したような処理手順により、効率的に高精度なカメラの切り替えを行い、高精度な番組を生成することができる。また、カメラ映像だけでなく、ＶＴＲ等の素材データを含めた番組を生成することができる。また、図１０又は図１１に示す番組生成処理手順により特別な装置構成を必要とせず、低コストで番組生成を実現することができる。また、プログラムをインストールすることにより、容易に番組生成を実現することができる。

上述したように、本発明によれば、話者の発言内容等に基づいてカメラワーク及びスイッチングの制御を効率的に行い、高精度な番組（映像）を生成することができる。

具体的には、放送局の番組制作において、カメラやスイッチャの操作者がいなくても、話者の発言に対応したカメラ映像又は蓄積された映像等からなる番組が生成され、演出効果の高い自動番組制作を実現することができる。また、テレビ会議においても同様に演出効果を上げることができる。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明における番組生成システムの第１の実施形態を示す図である。 本実施形態におけるコマンド生成装置の一構成例を示す図である。 キーワードテーブルの一例を示す図である。 遷移確率テーブルの一例を示す図である。 カメラ割当確率テーブルの一例を示す図である。 キーワード毎に設定される遷移確率テーブルの一例を示す図である。 本実施形態におけるロボカメ制御装置の一構成例を示す図である。 番組生成システムの第２の実施形態を示す図である。 本発明における番組生成が実現可能なハードウェア構成の一例を示す図である。 第1の実施形態における番組生成処理手順を示す一例のフローチャートである。 第２の実施形態における番組生成処理手順を示す一例のフローチャートである。

符号の説明

１０，４０ 番組生成システム
１１，４１ 撮影用ロボットカメラ
１２，４２ センサカメラ
１３，４３ マイク
１４，４４ コマンド生成装置
１５，４５ ロボカメ制御装置
１６，４６ スイッチャ制御装置
１７，４７ スイッチャ
１８，４８ スイッチングハブ
１９，４９ テーブル
２１ 話者認識部
２２ キーワード検出部
２３ トリガー検出部
２４ タイマ
２５ コマンド生成部
２６ キーワードテーブル
２７ 遷移確率テーブル
２８ カメラ割当確率テーブル
３１ 位置計測部
３２ 制御信号生成部
５０ 素材蓄積装置
６１ 入力装置
６２ 出力装置
６３ ドライブ装置
６４ 補助記憶装置
６５ メモリ装置
６６ ＣＰＵ
６７ ネットワーク接続装置
６８ 記録媒体

Claims (10)

1. 被写体を撮影する複数のカメラと、前記被写体からの音声を取得する音声取得装置と、前記複数のカメラを制御するためのコマンドを生成するコマンド生成装置と、該コマンド生成装置にて生成された制御コマンドにより制御された前記カメラにより撮影された映像を切り替えて出力する切替装置とからなる番組を生成するための番組生成システムにおいて、
   前記コマンド生成装置は、
   前記音声取得装置により得られる音声データに基づいて、前記被写体から話者を認識する話者認識手段と、
   前記音声データに含まれる発言内容から、予め設定されたキーワードと一致するキーワードを検出する検出手段と、
   予め設定された時間になるまでのカウントを行う時間計測手段と、
   前記話者認識手段により得られる認識情報、前記検出手段により得られる検出情報、又は前記時間計測手段により得られる時刻経過情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成手段とを有することを特徴とする番組生成システム。
2. 前記コマンド生成手段は、
   前記認識情報、前記検出情報、又は前記時間経過情報が入力された場合、予め設定されるカメラの遷移確率情報及び割当確率情報に基づいて設定されたカメラワークの制御コマンドを生成することを特徴とする請求項１に記載の番組生成システム。
3. 映像又は画像等からなる素材データを蓄積するための素材蓄積装置を有し、
   前記切替装置は、
   前記コマンド生成装置により得られる制御コマンドに基づいて、前記複数のカメラにより撮影された映像と前記素材蓄積装置に予め蓄積された前記素材データとを切り替えることを特徴とする請求項１又は２に記載の番組生成システム。
4. 被写体を撮影する複数のカメラを制御するための制御コマンドを生成するコマンド生成装置において、
   前記被写体からの音声データに基づいて、前記被写体から話者を認識する話者認識手段と、
   前記音声データに含まれる発言内容から、予め設定されたキーワードと一致するキーワードを検出する検出手段と、
   予め設定された時間になるまでのカウントを行う時間計測手段と、
   前記話者認識手段により得られる認識情報、前記検出手段により得られる検出情報、又は前記時間計測手段により得られる時刻経過情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成手段とを有することを特徴とするコマンド生成装置。
5. 前記検出手段は、
   前記発言内容に含まれている単語又は該単語を複数組み合わせた語を用いて、予め設定されたキーワードと一致するキーワードを検出することを特徴とする請求項４に記載のコマンド生成装置。
6. 前記検出手段は、
   一致したキーワードに対応して予め設定された被写体情報又は一致したキーワードを検出情報として出力することを特徴とする請求項４又は５に記載のコマンド生成装置。
7. 前記検出手段は、
   一致するキーワードを検出した後、所定の時間を経過するまで検出を行わないことを特徴とする請求項４乃至６の何れか１項に記載のコマンド生成装置。
8. 前記コマンド生成手段は、
   前記認識情報、前記検出情報、又は前記時間経過情報が入力された場合、予め設定されるカメラの遷移確率情報及び割当確率情報に基づいて設定されたカメラワークの制御コマンドを生成することを特徴とする請求項４乃至７の何れか１項に記載のコマンド生成装置。
9. 前記コマンド生成手段は、
   前記カメラに対してカメラワークを制御するための制御コマンド、又は映像あるいは画像等からなる素材データが蓄積されている素材蓄積装置に対して素材の抽出を制御するための制御コマンドを生成することを特徴とする請求項４乃至８の何れか１項に記載のコマンド生成装置。
10. 被写体を撮影する複数のカメラにより撮影された映像を、前記被写体からの音声データに基づいて切り替えて出力し、番組を生成する処理をプログラムに実行させるための番組生成プログラムにおいて、
    前記音声データを入力する音声入力処理と、
    前記音声入力処理により得られる音声データ又は映像を切り替えた時点からの時間情報に基づいて、前記複数のカメラのカメラワークを制御する制御コマンドを生成するコマンド生成処理と、
    前記コマンド生成処理により得られる制御コマンドに基づいて、前記複数のカメラにより撮影された映像の切り替えを行う切替処理とをコンピュータに実行させるための番組生成プログラム。
    

Images