JP2022172705A - 撮影制御装置、撮影システム、撮影制御方法及びプログラム - Google Patents

Abstract

【課題】
本発明は、自動撮影による撮影結果が意図された映像であるか否かを容易に認識可能な技術を提供することを目的とする。
【解決手段】
撮影対象と、画像中に捉える撮影対象の位置として予め設定されている設定位置と、を規定した撮影情報を取得する。撮影対象を撮影した動画像における着目フレームの画像から、撮影情報が規定する撮影対象を検出する。着目フレームの画像からの撮影対象の検出位置と、設定位置と、に基づいて、着目フレームの画像における撮影対象の撮影に係る評価を行う。評価手段による評価の結果と、着目フレームの画像と、を含むデータを通知する。
【選択図】図１

Description

本発明は、撮影制御装置、撮影システム、撮影制御方法及びプログラムに関する。

昨今、講義やスポーツ等の自動撮影による映像収録は、コスト削減を目的とした観点で注目されている。自動撮影は、例えば注目する対象被写体を検知し、検知した被写体が常に映像内に収まるようにカメラのパン・チルト・ズーム（以下、ＰＴＺ）を制御する。今後、検知された被写体を追尾しながら行う簡単な自動撮影に留まらず、機械学習によって得られたネットワークモデルが望ましい構図の撮影を実現する自動撮影が期待されている。しかしながら、カメラマンが目視で確認しながら行う撮影とは異なり、自動撮影で撮影された映像又は動画像は、どのような映像が撮影されているかを簡単に把握できない。例えば、撮影対象となる被写体を追尾しながら自動撮影を行う場合、被写体が映像内に収まっているかどうかを確認するために、撮影された映像を目視する必要があった。特許文献１では、追尾する被写体の状況を映像とは異なる方法でユーザに提示することにより、被写体が含まれた映像であるか否かを認識させている。

特開２００７－４９２２９号公報

しかしながら、ＡＩによる自動撮影によって望ましい構図における被写体の撮影を行う場合、撮影された映像が意図された撮影となっているか否かの目視の確認が困難であるという課題がある。

本発明は、自動撮影による撮影結果が意図された映像であるか否かを容易に認識可能な技術を提供することを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る撮影制御装置は、以下の構成を備える。すなわち、撮影制御装置は、撮影対象と、画像中に捉える前記撮影対象の位置として予め設定されている設定位置と、を規定した撮影情報を取得する取得手段と、前記撮影対象を撮影した動画像における着目フレームの画像から、前記撮影情報が規定する前記撮影対象を検出する検出手段と、前記着目フレームの画像からの前記撮影対象の検出位置と、前記設定位置と、に基づいて、前記着目フレームの画像における前記撮影対象の撮影に係る評価を行う評価手段と、前記評価手段による評価の結果と、前記着目フレームの画像と、を含むデータを通知する通知手段と、を備える。

本発明によれば、自動撮影による撮影結果が意図された映像であるか否かを容易に認識することができる。

本実施形態に係る撮影システムの構成を示す図。 本実施形態に係る撮影制御装置の機能構成を示す図。 第１実施形態に係る撮影制御装置による撮影フロー。 第１実施形態に係る映像の評価値について説明する図。 第１実施形態に係る評価部の詳細を示す図。 第１実施形態に係る自動撮影の評価値を取得するフロー。 本実施形態に係る映像と評価値との対応関係を示す図。 本実施形態に係る評価値を映像と対応付けて送付する際のデータ形式を説明する図。 第１実施形態に係る発明の効果について説明する図。 第２実施形態に係る映像の評価値について説明する図。 第２実施形態に係る評価部の詳細を説明する図。 第２実施形態に係る自動撮影の評価値を取得するフロー。 第２実施形態に係る推論ネットワークモデルの学習について説明する図。 第３実施形態に係る自動撮影システムの全体構成を説明する図。 第３実施形態に係る自動撮影システムの機能ブロック図。 第３実施形態に係る複数の映像と評価値を同時に表示する一例について説明する図。 第４実施形態に係る自動撮影システムの機能ブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
第１実施形態では、撮影制御装置１００が撮影装置１１０のＰＴＺを制御することにより自動撮影を行う一例について示す。第１実施形態の自動撮影は、指定された被写体を追尾し続ける。以下、本実施形態に係る撮影システム１０について説明する。

図１は、本実施形態の撮影システム１０の構成の一例を示す。図１で、撮影システム１０は、撮影制御装置１００、撮影装置１１０、サーバ１２０及びネットワーク１３０を含む。撮影制御装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、映像受信Ｉ／Ｆ１０４、映像送信Ｉ／Ｆ１０５、ネットワークＩ／Ｆ１０６、バス１０７、記憶部１０８及び通信部１０９を含む。撮影制御装置１００は筐体であるが、例えばＰＣ等であってもよい。図１の撮影制御装置１００は１つであるが、これは複数あってもよい。あるいは、複数の撮影制御装置１００が、それの構成要素をそれぞれ分散して保持するような構成であってもよい。

ＣＰＵ１０１は、中央演算処理装置であり、撮影システム１０内の各構成要素を全般的に制御する。ＣＰＵ１０１は、ＲＯＭ１０３に記憶された制御プログラムを用いて、演算処理や各種プログラムを実行することで、撮影制御装置１００の各機能を実現する。なお、撮影制御装置１００が、ＣＰＵ１０１とは異なる一つ又は複数の専用のハードウェアを有し、それがＣＰＵ１０１による処理の少なくとも一部を実行してもよい。専用のハードウェアは、例えばＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）及びＤＳＰ（デジタル・シグナル・プロセッサ）等がある。

ＲＡＭ１０２は、ＣＰＵ１０１の主メモリとして、ワークエリア等の一時記憶領域等で用いられる。ＲＡＭ１０２は、揮発性メモリであり、例えばＤＲＡＭ及びＳＲＡＭである。ＲＯＭ１０３は、ブートプログラム、制御プログラム及び撮影制御装置１００の各構成要素に設定するパラメータを記憶する記憶領域を有する。ＲＯＭ１０３は、不揮発性メモリであり、例えばマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ等である。

映像受信Ｉ／Ｆ１０４は、映像信号を受信するためのインタフェースである。映像受信Ｉ／Ｆ１０４は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）及びＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等である。映像送信Ｉ／Ｆ１０５は、映像信号を送信するためのインタフェースであり、映像受信Ｉ／Ｆ１０４と同様のＨＤＭＩ（登録商標）及びＳＤＩである。ネットワークＩ／Ｆ１０６は、撮影制御装置１００と周辺装置との間の通信を行うインタフェースである。ネットワークは、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線又は無線ネットワークである。撮影制御装置１００は、ネットワークＩ／Ｆ１０６を介して、各種情報の送受信を行う。

バス１０７は、撮影制御装置１００内の各構成要素間及び撮影制御装置１００と外部装置（不図示）との間を結ぶデータ伝送路である。ＣＰＵ１０１は、バス１０７を介して撮影制御装置１００の各構成要素を制御する。なお、ＲＯＭ１０３と外部記憶装置１１１等に格納されたプログラムがＲＡＭ１０２に転送され、ＣＰＵ１０１がそれを実行することで後述のフローチャートの処理は実現される。

記憶部１０８は、データとプログラム等を記憶する記憶装置であり、例えばＨＤＤ及びＳＳＤである。通信部１０９は、ＣＰＵ１０１が処理した結果を外部装置（不図示）へ送信することができる。あるいは、通信部１０９は、外部装置（不図示）からユーザ入力を受信し、受信結果をＣＰＵ１０１へ送信することができる。撮影装置１１０は、撮影制御装置１００が自動撮影を行うために制御される。撮影装置１１０は、ＰＴＺの操作が可能な機構を備え、例えばネットワークカメラである。撮影装置１１０は、撮影制御装置１００から操作指示を受信し、それのＰＴＺ制御に基づいて自動撮影を行う。ＰＴＺ制御の指示は、後述のネットワーク１３０を介して、撮影制御装置１００から撮影装置１１０へ送信される。

サーバ１２０は、自動撮影に関わる撮影システム１０の全体の制御を行う。サーバ１２０は、自動撮影方法の決定とその指示、撮影された映像を配信する処理等を行う。撮影システム１０における各装置は、ネットワーク１３０で相互に接続され、通信によるデータのやり取りを実行する。ネットワーク１３０は、撮影制御装置１００と外部装置（不図示）との間でデータや信号等の送受信を行うための通信網である。ネットワーク１３０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含む。本実施形態において、ネットワーク１３０は、撮影制御装置１００とそれ以外の装置等との間の通信を可能とする任意のネットワークであってよく、任意の規模及び通信規格で構成されてよい。ネットワーク１３０は、例えばインターネット、有線ＬＡＮ、無線ＬＡＮ及びＷＡＮ等であってよい。

図２は、本実施形態に係る撮影制御装置１００の機能構成を示す図である。撮影制御装置１００の機能構成は、ＣＰＵ１０１がＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行することによって実現される。以下に示す処理の全てが、必ずしもＣＰＵ１０１によって実行される必要はない。処理の一部又は全てが、ＣＰＵ１０１以外の一つ又は複数の処理回路（不図示）によって行われるように、撮影制御装置１００が構成されてもよい。なお、図１で説明した構成については、説明を省略する。ＣＰＵ１０１は、制御部２０１、受信部２０２、撮影制御部２０３、評価部２０４及び送信部２０５を含む。

制御部２０１は、自動撮影全体に関する制御を行う。制御部２０１が各機能部に対する指示及び制御を実行することで、自動撮影を実現する。受信部２０２は、ネットワークＩ／Ｆ１０６を介して、自動撮影に関する指示を受信する。自動撮影に関する指示は、サーバ１２０から送信される。撮影制御部２０３は、受信した自動撮影指示及び後述の評価部２０４で取得された評価結果に基づいて、自動撮影を行う。撮影制御部２０３では、実施する自動撮影に応じて、撮影装置１１０を制御するためのＰＴＺ制御信号を生成し、ネットワークＩ／Ｆ１０６を介して、撮影装置１１０にその信号を送信する。評価部２０４は、映像受信Ｉ／Ｆ１０４から受信した映像と自動撮影指示との差分に基づいて映像を評価し、意図された自動撮影が実施されているか否かを評価する。送信部２０５は、撮影された映像信号と、評価部２０４で取得された自動撮影の評価値とを対応付けたデータを、映像送信Ｉ／Ｆ１０５に送信する。

次に、自動撮影処理の流れについて説明する。図３は、第１実施形態に係る撮影制御装置１００による撮影フローを示す。Ｓ３０１で撮影制御装置１００の受信部２０２は、サーバ１２０からの自動撮影指示を受信し、それを制御部２０１に送信する。Ｓ３０２で撮影制御部２０３は、自動撮影指示に基づき、ＰＴＺ制御信号を撮影装置１１０に送信することにより自動撮影を開始する。自動撮影の開始は、制御部２０１から撮影制御部２０３に指示が送信されることで開始される。Ｓ３０３で評価部２０４は、評価対象となる映像を映像受信Ｉ／Ｆ１０４から受信する。本実施形態では、評価部２０４は連続して入力される映像をフレーム単位で受信し、フレーム毎の評価を行う。

Ｓ３０４で評価部２０４は、受信した映像を評価し、映像の評価値を生成する。評価値とは、映像の利用可能の度合いを表す指標である。また、評価部２０４は、自動撮影指示に基づいて撮影されるべき映像と受信した映像との差分情報を生成する。ここで、評価値の生成に関する詳細は後述する。Ｓ３０５で送信部２０５は、評価部２０４が生成した評価値を映像信号に対応させたデータを送信する。Ｓ３０６で制御部２０１は、評価部２０４が取得した映像の差分情報に基づいて、撮影装置１１０に実行させる制御情報を決定する。制御情報の決定後、Ｓ３０７で撮影制御部２０３は、撮影装置１１０に制御情報を送信する。Ｓ３０８で制御部２０１は、サーバ１２０からの自動撮影の継続指示に基づいて、自動撮影を継続するか否かを判定する。制御部２０１はサーバ１２０からの継続指示があると判定した場合（Ｓ３０８でＮｏ）、処理はＳ３０３に戻る。以降の処理は、上記と同様であるので説明を省略する。制御部２０１はサーバ１２０からの継続指示がないと判定した場合（Ｓ３０８でＹｅｓ）、処理を終了する。

次に、第１実施形態における映像の評価値について説明する。第１実施形態の自動撮影は、被写体を追尾しながら撮影する。本実施形態では、被写体が映像内に映っており、かつ、被写体が映像の中心に近く映っている場合に評価値が高くなる評価を行う。図４は、第１実施形態に係る映像の評価値について説明する図である。図４は、例えばサッカースタジアムのペナルティーエリア近傍でプレイする複数のプレイヤーのプレイシーンの一例を示す。以下、対象となる被写体（例えば、サッカープレイヤー）を追尾しながら撮影するシーンを用いて、評価値の評価方法について説明する。なお、本実施形態は一例として、対象の被写体が１つである場合を用いて、映像の評価値の評価方法を説明する。なお、被写体は１つに限定されることはなく、複数であってもよい。図４（ａ）は評価値が低い映像を示し、図４（ｂ）は評価値が中程度の映像を示し、図４（ｃ）は評価値が高い映像を示す。図４（ａ）から（ｃ）における被写体４０４は、自動撮影時の追尾対象となる被写体を示す。被写体４０４は、ハッチングで表示された人型で示される。図４（ａ）から（ｃ）の映像４０１、映像４０２及び映像４０３は、被写体４０４を追尾しながら撮影した際のそれぞれの撮影範囲を示す。

図４（ａ）では、被写体４０４が映像４０１に映っていないので、評価部２０４は映像４０１の評価値が低いと判定する。図４（ｂ）では、被写体４０４は映像４０２の左端に映っているが、映像４０２の中央に映っていない。よって、評価部２０４は映像４０２の評価値が中程度であると判定する。また、図４（ｂ）では、映像４０１は点線で表示され、評価部２０４は映像４０１と映像４０２との差分に基づいて、映像差分情報を取得することができる。図４（ｃ）では、被写体４０４は映像４０３の中央に映っているので、評価部２０４は映像４０３の評価値が高いと判定する。また、図４（ｃ）では、映像４０１と映像４０２は点線で表示され、評価部２０４は、映像４０１又は映像４０２、及び映像４０３との差分に基づいて、映像差分情報を取得することができる。なお、本実施形態の評価値は、３段階（低、中、高）で評価されるが、これに限定されることはなく、３段階よりも多い区分で評価されてもよく、評価値が数値で示されてもよい。

図３のＳ３０４における評価値の取得方法について、図５と図６を用いて具体的に説明する。図５は、第１実施形態に係る評価部２０４の詳細を示す図である。図５で評価部２０４は、解析部５０１、検出部５０２及び位置評価部５０３を含む。解析部５０１は、撮影制御部２０３から受信した自動撮影指示情報を解析する。自動撮影指示情報とは、例えば「被写体４０４を映像の中央に配置した撮影を行う」ことである。自動撮影指示情報は撮影情報ともいう。ここで、解析部５０１は、自動撮影指示情報から注目する被写体情報と、被写体４０４を映像のどこに捉えて撮影するかを示す目標位置情報とに分解する。目標位置情報は設定位置ともいう。注目被写体情報は、例えばプレイヤーの顔及び身体の大きさ等の特徴を示す情報である。目標位置情報は、例えば２次元座標系（Ｘ，Ｙ）で表される。検出部５０２は、入力された撮影映像から解析部５０１が指示した被写体４０４を検出し、それの検出位置を位置座標として算出する。位置評価部５０３は、解析部５０１が取得した目標位置情報と、検出部５０２が取得した被写体４０４の位置座標とに基づいて、被写体４０４の位置の評価を行う。例えば、位置評価部５０３は、被写体４０４の位置の評価結果と映像の評価値とが関連付けられたテーブル（不図示）を参照することにより、映像の評価値を算出することができる。テーブルは、記憶部１０８等に事前に格納されていてもよい。

図６は、第１実施形態に係る自動撮影の評価値を取得するフローを示す。図６を参照して、自動撮影の評価値を求める処理について説明する。図６では、映像の１枚の着目フレームの評価値を取得する処理について説明する。Ｓ６０１で評価部２０４は、撮影装置１１０が撮影した映像の１フレームを取得し、検出部５０２にそれを入力する。Ｓ６０２で検出部５０２は、入力された映像のフレームから被写体４０４を検出するとともに、それの位置座標を算出する。Ｓ６０３で位置評価部５０３は、被写体４０４の位置情報と目標位置情報とに基づいて、評価値を算出する。Ｓ６０４で位置評価部５０３は評価値を出力する。

図３のＳ３０５で説明した評価値の送信について、図７を用いて具体的に説明する。図７は、本実施形態に係る映像と評価値との対応関係を示す図である。図７では、左から撮影時刻の早い順に並べた映像のフレーム７０１から７０５を示す。フレーム７０３から７０５では、被写体４０４が映っている。また、図７で映像のフレームに対応する評価値７１１から７１５が示される。フレーム７０１では被写体４０４が映っていないので、評価値７１１は０である。フレーム７０２では被写体４０４が映っていないので、評価値７１２は０である。フレーム７０３では被写体４０４が左端に映っているので、評価値７１３は２０である。フレーム７０４では被写体４０４が左に映っているので、評価値７１４は５０である。フレーム７０５では被写体４０４が概ね中央に映っているので、評価値７１５は８０である。本実施形態では、図７に示すように映像のフレームと評価値とを含むデータが共に送信される。

図８は、本実施形態に係る評価値を映像と対応付けて送付する際のデータ形式を説明する図である。フレームデータ８００は、映像に係る１枚のフレームデータであり、ヘッダ情報８０１、映像データ８０２及び音声データ８０３を含む。フレームデータ８００は、ヘッダ情報８０１の一部に評価値格納領域８０４を設けることができる。これにより、評価値格納領域８０４に評価値を書き込んで映像のフレームを送信することで、映像のフレームに対応した評価値を送信することが可能となる。

図９を用いて本実施形態の発明の効果について説明する。図９は、図７と同様、自動撮影によって撮影された映像のフレームとそれに対応する評価値とを示す図である。図９は、閾値９０１、映像利用可能期間９０２から９０３及びフレーム９０４を含む。閾値９０１は、評価値に対して設定され、映像のフレームが利用可能であるか否かを判定するために設定される。本実施形態は、評価値が閾値９０１以上であるか否かに基づいて、意図した撮影の映像であるか否かを判定できる。閾値９０１は、ユーザが要求する映像品質に応じて設定されてよい。例えば、閾値９０１が高く設定された場合、映像のフレームは意図した撮影映像に近くなり、閾値９０１が低く設定された場合、映像のフレームは意図した撮影映像とは異なるものとなる。閾値９０１以上の映像のフレームが存在する期間は、映像利用可能期間９０２から９０３のように表される。映像利用可能期間９０２では、２つの評価値（濃い色のバーで図示）が存在し、２つの評価値にそれぞれ対応する２枚の映像のフレームが利用可能であることを示す。また、映像利用可能期間９０３では、４つの評価値（濃い色のバーで図示）が存在し、４つの評価値にそれぞれ対応する４枚の映像のフレームが利用可能であることを示す。本実施形態は、評価値に任意の閾値を設定することにより、利用可能な映像のフレームを容易に判定することができ、配信映像の品質を一定以上に確保することができる。

以上の通り、第１実施形態によれば、被写体を追尾しながら行う自動撮影において、事前に規定した映像内の目標位置と撮影映像内の被写体の位置とに基づいて、映像の評価値を算出することができる。また、映像と評価値とを含むデータを送信することにより、自動撮影による映像が意図された映像であるか否かを判定できる。評価値に任意の閾値を設定することにより、配信映像の品質を一定以上に確保することができる。第１実施形態によれば、自動撮影による撮影結果が意図された映像であるか否かを容易に認識することができる。

（第２実施形態）
第２実施形態は、自動撮影された映像の評価値を求めるために、機械学習によって得られた推論ネットワークを利用する。第２実施形態は、機械学習を利用することで、第１実施形態で示したシーンよりも複雑なシーンの評価を行うことが可能となる。複雑なシーンとは、例えば「シーンに応じた望ましい構図」を指す。シーンに応じた望ましい構図は所定の構図ともいう。なお、第２実施形態における撮影制御装置１００の機能構成及び自動撮影フローは、第１実施形態と同様であるため説明を省略する。

図１０は、第２実施形態に係る映像の評価値について説明する図である。図１０（ａ）は、図４と同様にサッカースタジアムのペナルティーエリア近傍でプレイする複数のプレイヤーのプレイシーンの一例を示す。図１０（ａ）は、被写体１０１０、ボール１０２０、サッカーゴール１０３０及びペナルティーエリア１０４０を含む。図１０（ａ）は、図４の撮影シーンにボール１０２０が追加されたシーンである。図１０（ｂ）から（ｄ）の映像１００１から映像１００３の映像の範囲は全て同じである。

第２実施形態における評価値の評価方法は、注目する被写体を捉え、かつ、シーンに応じた望ましい構図の映像である場合に評価値を高くする。本実施形態において、シーンに応じた望ましい構図（以下、望ましい構図）とは、ペナルティーエリア１０４０内でボール１０２０とサッカーゴール１０３０を含む構図をいう。評価値の算出は、機械学習によって得られた推論ネットワークによって実行される。次に、図１０（ｂ）から（ｄ）の各映像と評価値の対応について説明する。図１０（ｂ）では、被写体１０１０は映像１００１の左下に映っているが、それは望ましい構図で映っていないため、映像１００１の評価値は低いと判定される。図１０（ｃ）では、被写体１０１０は映像１００２の中央に映っているが、それは望ましい構図のボール１０２０と共に映っていないため、映像１００２の評価値は中程度と判定される。図１０（ｄ）では、被写体１０１０が映像１００３内の望ましい構図で映っているため、映像１００３の評価値は高いと判定される。なお、本実施形態の評価値は、３段階（低、中、高）で評価されるが、これに限定されることはなく、３段階よりも多い区分で評価されてもよく、評価値が数値で示されてもよい。

第２実施形態における評価値の取得方法について、図１１と図１２を用いて説明する。図１１は、第２実施形態に係る評価部の詳細を説明する図である。図１１で解析部１１０１は、受信した自動撮影指示情報を解析する処理を行う。本実施形態の自動撮影指示情報とは、例えば「被写体１０１０を捉えた望ましい構図によって撮影を行う」ことを含む。解析部１１０１は、注目被写体情報と望ましい構図に基づいて算出される評価値が高くなるような推論ネットワークモデルを使用するために、ネットワークモデル切り替え情報を生成する。推論ネットワークモデル１１０２は、入力される撮影映像に基づいて、その映像の評価値と望ましい構図からの差分を示す映像差分情報を出力する。推論ネットワークモデル１１０２を得るための学習は後述する。

図１２は、第２実施形態に係る自動撮影の評価値を取得するフローである。図１２のフローチャートを用いて、第２実施形態における自動撮影の評価値を求める処理について説明する。図１２のフローチャートでは、既に適切な推論ネットワークモデルに切り替わっており、映像の１枚のフレームについて評価値を取得するフローを示す。Ｓ１２０１で推論ネットワークモデル１１０２は、撮影装置１１０が撮影した映像のうち１枚のフレームを取得する。Ｓ１２０２で推論ネットワークモデル１１０２は、入力された映像の評価値と望ましい構図からの映像差分情報を出力する。Ｓ１２０３で推論ネットワークモデル１１０２は、映像の１枚のフレームの評価値を出力する。映像の１枚のフレームと評価値とを含むデータが送信される。

ここで、第２実施形態の推論ネットワークモデル１１０２を生成するための学習について説明する。図１３は、第２実施形態に係る推論ネットワークモデルの学習について説明する図である。図１３は、入力１３０１、被写体１３０２、教師データ１３０３、学習ネットワークモデル１３０４及び出力１３０５を示す。入力１３０１は、撮影装置１１０等で撮影した様々な構図における被写体１３０２の映像である。被写体１３０２は、上記で説明した通り、例えばサッカープレイヤーである。教師データ１３０３は、学習ネットワークモデル１３０４に学習させるためのデータであり、正解画像ともいう。教師データ１３０３は、撮影シーン毎の望ましい構図における被写体１３０２の画像中の位置と大きさのデータを含む。データは映像を含み、例えばサッカーのゴールシーンの構図における被写体１３０２の位置と大きさの情報を含む。望ましい構図の判定は、例えば配信映像に対して予めユーザによって評価された結果により決定されてもよい。

学習ネットワークモデル１３０４は、例えば画像処理技術全般で用いられる畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）である。ＣＮＮとは、学習により生成したフィルタを画像に対して畳み込んだ後、非線形演算を繰り返し行う学習型の画像処理技術である。ＣＮＮは、モデルともいう。フィルタは、画像の特徴を抽出するための検出器であり、局所受容野とも呼ばれる。画像に対してフィルタを畳み込む非線形演算により得られる画像は、特徴マップと呼ばれる。また、ＣＮＮの学習は、入力画像と出力画像のペアを含む学習データに基づいて行われる。ＣＮＮの学習は、具体的には、入力画像から出力画像を得るための高精度に変換可能なフィルタの値（パラメータ）を生成することと、パラメータを補正することを含む。

出力１３０５は、入力１３０１の撮影映像と教師データ１３０３の映像との差分から得られる評価値及び映像差分情報である。学習ネットワークモデル１３０４は、出力１３０５に基づいて、モデルのパラメータを補正することで学習する。これにより、推論ネットワークモデル１１０２が得られる。なお、学習ネットワークモデル１３０４の学習方法は、上記に限定されることはない。例えば、学習ネットワークモデル１３０４の学習に強化学習を利用する場合、報酬を構図の良さを示す主観評価値とし、主観評価値が高くなるように構図を最適化する手法が用いられてもよい。なお、本実施形態の推論ネットワークモデル１１０２は一例であり、入力された映像を評価することが可能な推論ネットワークモデルが用いられてもよい。

以上の通り、第２実施形態によれば、機械学習で得られた推論ネットワークモデルにより映像の評価値を算出し、それと映像を含むデータを送信することができる。これにより、自動撮影による撮影映像が意図された撮影であるか否かを容易に判定でき、撮影映像を配信する際の利便性が向上する。第２実施形態によれば、自動撮影による撮影結果が意図された映像であるか否かを容易に認識することができる。

（第３実施形態）
第３実施形態では、複数の撮影装置によって自動撮影された複数の映像のうち、ユーザ選択による適切な映像を配信する自動撮影システムについて説明する。第３実施形態では、各撮影装置で撮影された映像について、映像の評価値を映像と共に表示することで、自動撮影によって得られた映像の状態が容易に判定できる。また、本実施形態は配信映像として選択可能であるか否かを判定する自動撮影システムを提供する。なお、第３実施形態における撮影制御装置の機能構成及び自動撮影処理フローは、第１実施形態と同様であるため説明を省略する。

図１４は、第３実施形態に係る自動撮影システムの全体構成を説明する図である。第３実施形態では、４台の撮影装置を用いて撮影する自動撮影システム１４を説明する。

図１４で、自動撮影システム１４は、撮影装置１４０１Ａから１４０１Ｄ、撮影制御装置１４０２Ａから１４０２Ｄ、サーバ１４０３及び表示装置１４０４を含む。図１４で被写体１４００は、例えばサッカースタジアムを俯瞰した図である。撮影装置１４０１Ａは被写体１４００の左上に配置され、撮影装置１４０１Ｂは被写体１４００の左下に配置される。撮影装置１４０１Ｃは被写体１４００の右上に配置され、撮影装置１４０１Ｄは被写体１４００の右下に配置される。このような撮影装置の配置により、自動撮影システム１４は、被写体１４００の全体を撮影することができる。撮影装置１４０１Ａに撮影制御装置１４０２Ａが接続され、撮影制御装置１４０２Ｂに撮影制御装置１４０２Ｂが接続される。撮影装置１４０１Ｃに撮影制御装置１４０２Ｃが接続され、撮影装置１４０１Ｄに撮影制御装置１４０２Ｄが接続される。撮影制御装置１４０２Ａから１４０２Ｄは、撮影装置１４０１Ａから１４０１Ｄの撮影制御をそれぞれ行う。

サーバ１４０３は、撮影制御装置１４０２Ａから１４０２Ｄに接続され、各撮影制御装置を介して撮影装置１４０１Ａから１４０１Ｄへの撮影指示を行う。また、サーバ１４０３は各撮影装置が撮影した映像を収集及び配信する。サーバ１４０３は表示装置１４０４に接続され、表示装置１４０４はサーバ１４０３から受信した映像を表示する。表示装置１４０４は、例えばＬＣＤ（液晶ディスプレイ）及びＯＬＥＤ（有機ディスプレイ）等であってもよい。なお、各撮影装置とそれらに対応する各撮影制御装置は別体であると説明したが、これらは一体となっていてもよい。サーバ１４０３に各撮影制御装置が搭載されていてもよい。サーバ１４０３と表示装置１４０４が一体となっていてもよい。

第３実施形態の自動撮影システムについて図１５を用いて説明する。図１５は、第３実施形態に係る自動撮影システムの機能ブロック図である。なお、第１実施形態と同じ構成は同じ番号で示され、これらの構成の説明は省略する。図１５で自動撮影システム１５は、撮影制御装置１００Ａから１００Ｄ、撮影装置１１０Ａから１１０Ｄ、サーバ１２０、ネットワーク１３０、表示装置１５２０、入力装置１５３０を含む。撮影制御装置１００Ａから１００Ｄは、撮影装置を制御するための装置である。撮影装置１１０Ａから１１０Ｄは、被写体を撮影する装置である。撮影制御装置１００Ａから１００Ｄは、それぞれに対応する１１０Ａから１１０Ｄに接続されることで、各撮影装置を制御する。撮影制御装置１００Ａから１００Ｄの構成は、図１及び図２で示した第１実施形態と同様であるため説明を省略する。

以下、サーバ１２０の機能構成について説明する。サーバ１２０は、制御部１５０１、通信部１５０２、撮影指示部１５０３、映像受信部１５０４、抽出部１５０５を含む。サーバ１２０はまた、表示部１５０６、映像選択部１５０７、映像出力部１５０８、入力部１５０９を含む。制御部１５０１は、サーバ１２０内の各種制御を行う。通信部１５０２は、外部ネットワークとサーバ１２０とを接続するためのネットワークインタフェースである。通信部１５０２は、ネットワーク１３０を介して、サーバ１２０と撮影制御装置１００Ａから１００Ｄとの間の通信を可能にする。通信部１５０２は、例えばサーバ１２０が決定した撮影制御装置１００Ａから１００Ｄに対する自動撮影指示を送信する。

撮影指示部１５０３は、制御部１５０１により制御される撮影制御装置に対して自動撮影の指示を行う。撮影指示部１５０３は、通信部１５０２を介して自動撮影指示を指定された撮影装置に送信する。映像受信部１５０４は、各撮影装置で撮影された映像を受信する。映像受信部１５０４は、撮影装置１１０Ａから１１０Ｄにより撮影された複数の映像を同時に受信できる。抽出部１５０５は、映像受信部１５０４が受信した映像から評価値を抽出する。表示部１５０６は、映像及び抽出された評価値を後述の表示装置１５２０に表示するための処理を行う。表示部１５０６は、抽出された評価値を映像に重畳して表示する。

映像選択部１５０７は、複数の撮影装置により撮影された映像の中から、配信するための映像をユーザ選択に基づいて選択する。なお、映像選択部１５０７は、後述の入力装置１５３０を介してユーザ選択を受付けることができる。映像出力部１５０８は、映像選択部１５０７によって選択された映像を配信映像として出力する。入力部１５０９は、入力装置１５３０に入力された情報を受信し、制御部１５０１へその情報を送信する。表示装置１５２０は、複数の撮影装置が撮影した映像と評価値情報とを重畳して表示する。入力装置１５３０は、ユーザからの情報を入力するための装置であり、例えばマウス、キーボード及びジョイスティック等である。

ここで、図１５の表示装置１５２０が表示する画面の一例を、図１６を用いて説明する。図１６は、第３実施形態に係る複数の映像と評価値を同時に表示する一例について説明する図である。図１６で画面１６００は、画面１６０２、画面１６０４、画面１６０６、画面１６０８、表示１６１０及び表示１６２０を含む。画面１６００は４分割の画面を有し、各画面は撮影装置１１０Ａから１１０Ｄが撮影した映像をそれぞれ表示する。また、各画面は撮影された映像と共に自動撮影の評価値と、意図された撮影が実施されている否かを示す識別表示を重畳して表示する。識別表示は付加情報とも呼ばれ、本実施形態では色分けされたアイコンを示す。表示１６１０は映像の評価値が閾値以上の場合に表示される。表示１６１０は、意図された自動撮影が実施されていることを意味し、濃い色の円で表示される。一方、表示１６２０は、映像の評価値が閾値未満である場合に表示され、意図された自動撮影が行われていないことを意味する。また、表示１６２０は薄い色の円で表示される。

以下、画面１６００に表示される画面１６０２から１６０８について具体的に説明する。画面１６０２は、画面１６００の左上に表示され、撮影装置１１０Ａによって撮影された映像の上に評価値８０と表示１６１０を表示する。画面１６０４は、画面１６００の右上に表示され、撮影装置１１０Ｂによって撮影された映像の上に評価値４０と表示１６２０を表示する。画面１６０６は、画面１６００の左下に表示され、撮影装置１１０Ｃによって撮影された映像の上に評価値１０と表示１６２０を表示する。画面１６０８は、画面１６００の右下に表示され、撮影装置１１０Ｄによって撮影された映像の上に評価値７０と表示１６１０を表示する。上記の表示処理は、表示部１５０６により実行される。なお、画面１６００に表示される画面数は、撮影装置の台数に応じて変更されてもよく、あるいはユーザ選択による画面のみが表示されてもよい。

以上の通り、第３実施形態によれば、複数の撮影装置及び撮影制御装置を含む自動撮影システムで、複数の映像とそれに対応する映像の評価値を共に表示することで、意図された自動撮影となっているか否かを容易に判定することができる。また、複数の映像からユーザが映像を選択することにより、撮影映像を配信する際の利便性が向上する。

（第４実施形態）
第４実施形態は、複数の撮影装置によって自動撮影された複数の映像から、適切な映像を自動で選択して配信する自動撮影システムについて説明する。第４実施形態は、適切な映像を自動で選択する点で第３実施形態とは異なる。第４実施形態は、各撮影装置で撮影した映像のうち、映像の評価値の高いものを配信映像として選択する。なお、第４実施形態における撮影制御装置の機能構成及び自動撮影処理フローは第１実施形態と同様であり、かつ、自動撮影システムの構成は第３実施形態と同様であるため、重複する部分の説明を省略する。

図１７は、第４実施形態に係る自動撮影システム１７の機能ブロック図である。なお、図１、図２及び図１５で説明を行った構成と同じ機能構成については同番号を付与しており、それらの説明を省略する。図１７でサーバ１２０は映像選択制御部１７１０を有する。映像選択制御部１７１０は、撮影された映像の評価値に基づいて配信映像を選択する。映像選択制御部１７１０は、例えば複数の映像の中で最も評価値の高い映像を配信映像として選択する。具体的には、図１６の画面１６００で、画面１６０２の評価値８０が他の画面に比して最も高いことから、映像選択制御部１７１０は、画面１６０２を配信映像として選択することができる。また、映像選択制御部１７１０は、映像が利用可能であることを示す表示１６１０に基づいて、画面１６０２及び画面１６０８を配信映像として選択することができる。映像選択制御部１７１０は、選択した画面１６０２の映像信号情報を映像選択部１７０７に通知することで、映像の選択処理が完了する。なお、上記で説明した映像の選択は一例であり、これに限定されることはない。映像の選択方法は、事前に定義した任意のルールに基づいて行われてよく、そのルールに基づいて映像選択の処理が実行されてよい。また、映像選択の処理においてＡＩが使用されてもよい。なお、映像選択制御部１７１０は、表示１６１０が表示された画面１６０２及び画面１６０８を選択し、それらが含む映像を組み合わせた配信映像を生成することもできる。また、映像選択制御部１７１０は選択された２以上の映像を任意に組み合わせることができる。

以上の通り、第４実施形態によれば、複数の撮影装置及び撮影制御装置を含む自動撮影システムは、撮影された複数の映像と評価値を同時に表示することができる。また、自動撮影システムは、複数の映像とそれに対応する評価値の中から最も高い評価値を有する映像に基づいて、配信映像を自動で選択することができる。第４実施形態によれば、配信映像として自動で選択された映像を組み合わせた映像を配信することもできる。これにより、複数の撮影映像の中から適切な映像を自動で選択及び配信する映像配信システムを提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：撮影システム、１００：撮影制御装置、１０１：ＣＰＵ、１０２：ＲＡＭ、１０３：ＲＯＭ、１０４：映像受信Ｉ／Ｆ、１０５：映像出力Ｉ／Ｆ

Claims (22)

1. 撮影対象と、画像中に捉える前記撮影対象の位置として予め設定されている設定位置と、を規定した撮影情報を取得する取得手段と、
   前記撮影対象を撮影した動画像における着目フレームの画像から、前記撮影情報が規定する前記撮影対象を検出する検出手段と、
   前記着目フレームの画像からの前記撮影対象の検出位置と、前記設定位置と、に基づいて、前記着目フレームの画像における前記撮影対象の撮影に係る評価を行う評価手段と、
   前記評価手段による評価の結果と、前記着目フレームの画像と、を含むデータを通知する通知手段と、
   を備えることを特徴とする撮影制御装置。
2. 前記評価手段は、前記検出位置と前記設定位置とに基づいて、前記着目フレームの画像の利用可能の度合いを表す評価値を求め、
   前記評価の結果は、前記評価手段が求めた前記評価値を含む、
   ことを特徴とする請求項１に記載の撮影制御装置。
3. 前記評価手段は、前記評価値が閾値以上であるか否かを判定し、
   前記評価の結果は、前記評価手段が判定した判定の結果を含む、
   ことを特徴とする請求項２に記載の撮影制御装置。
4. 前記閾値を設定する設定手段を備える、
   ことを特徴とする請求項３に記載の撮影制御装置。
5. 動画像における撮影対象の撮影に係る評価を学習するモデルと、前記撮影対象と、画像中に捉える所定の構図における前記撮影対象の位置として予め設定されている設定位置と、を規定した撮影情報を取得する取得手段と、
   前記撮影対象を撮影した動画像における着目フレームの画像から、前記撮影情報が規定する前記撮影対象を検出する検出手段と、
   前記着目フレームの画像からの前記撮影対象の検出位置と、前記設定位置と、に基づいて、前記着目フレームの画像における前記撮影対象の撮影に係る評価を行う評価手段と、
   前記評価手段による評価の結果に基づいて、前記評価を学習するための前記モデルのパラメータを補正する補正手段と、
   を備えることを特徴とする、撮影制御装置。
6. 前記取得手段は、前記評価の学習を行っていない前記動画像を取得し、
   前記評価手段は、前記補正手段が補正した前記パラメータに従って、前記モデルにより、前記取得手段が取得した前記動画像の前記着目フレームの画像における前記撮影対象の撮影に係る評価を行い、
   前記評価手段による評価の結果と、前記着目フレームの画像と、を含むデータを通知する通知手段と、
   を備えることを特徴とする、請求項５に記載の撮影制御装置。
7. 前記所定の構図は、前記動画像を用いて予めユーザにより決定される、
   ことを特徴とする請求項５に記載の撮影制御装置。
8. 撮影対象と、画像中に捉える前記撮影対象の位置として予め設定されている設定位置と、を規定した撮影情報を取得する取得手段と、
   前記撮影対象を撮影した複数の動画像における着目フレームの画像から、前記撮影情報が規定する前記撮影対象を検出する検出手段と、
   前記着目フレームの画像からの前記撮影対象の検出位置と、前記設定位置と、に基づいて、前記着目フレームの画像における前記撮影対象の撮影に係る評価を行う評価手段と、
   前記複数の動画像のそれぞれの動画像について、前記評価手段による評価の結果と、前記着目フレームの画像と、を含むデータを通知する通知手段と、
   を備えることを特徴とする撮影制御装置。
9. 前記それぞれの動画像について、前記評価手段による前記評価の結果を関連付けて表示する表示手段を備える、
   ことを特徴とする請求項８に記載の撮影制御装置。
10. 前記評価手段は、前記検出位置と前記設定位置とに基づいて、前記着目フレームの画像の利用可能の度合いを表す評価値を求め、
    前記評価の結果は、前記評価手段が求めた前記評価値を含む、
    ことを特徴とする請求項８に記載の撮影制御装置。
11. 前記評価手段は、前記評価値が閾値以上であるか否かを判定し、
    前記評価の結果は、前記評価手段が判定した判定の結果を含む、
    ことを特徴とする請求項１０に記載の撮影制御装置。
12. 前記表示手段は、前記評価の結果に応じた付加情報を、前記それぞれの動画像と共に表示する、
    ことを特徴とする請求項９に記載の撮影制御装置。
13. 前記付加情報は、色分けした円で表示されるアイコンである、
    ことを特徴とする請求項１２に記載の撮影制御装置。
14. 前記表示手段は、前記それぞれの動画像を撮影した撮影手段の情報を関連付けて表示する、
    ことを特徴とする請求項１２に記載の撮影制御装置。
15. 前記評価の結果に基づいて、前記それぞれの動画像のうちいずれかを選択する選択手段と、
    前記選択手段の選択の結果に基づいて、前記それぞれの動画像のうちいずれかを配信する配信手段と、
    を備えることを特徴とする請求項８から１２のいずれか１項に記載の撮影制御装置。
16. 前記選択手段は、前記それぞれの動画像のうち、前記評価の結果が最も高い動画像を選択する、
    ことを特徴とする請求項１５に記載の撮影制御装置。
17. 前記それぞれの動画像のうちいずれかを選択するためのユーザ選択を受け付ける受付手段を備える、
    ことを特徴とする請求項１５に記載の撮影制御装置。
18. 前記選択手段によって選択された２以上の動画像を組み合わせた動画像を生成する生成手段を備え、
    前記配信手段は、前記生成手段により生成された動画像を配信する、
    ことを特徴とする請求項１５に記載の撮影制御装置。
19. 前記撮影制御装置はサーバに搭載される、
    ことを特徴とする、請求項８から１８のいずれか１項に記載の撮影制御装置。
20. 複数の撮影装置と、
    請求項１から１９のいずれか１項に記載の撮影制御装置を備える、
    ことを特徴とする、撮影システム。
21. 撮影対象と、画像中に捉える前記撮影対象の位置として予め設定されている設定位置と、を規定した撮影情報を取得する取得工程と、
    前記撮影対象を撮影した動画像における着目フレームの画像から、前記撮影情報が規定する前記撮影対象を検出する検出工程と、
    前記着目フレームの画像からの前記撮影対象の検出位置と、前記設定位置と、に基づいて、前記着目フレームの画像における前記撮影対象の撮影に係る評価を行う評価工程と、
    評価の結果と、前記着目フレームの画像と、を含むデータを通知する通知工程と、
    を備えることを特徴とする、撮影制御方法。
22. コンピュータを、請求項１から１９のいずれか１項に記載の撮影制御装置の各手段として機能させるためのプログラム。

Images