JP2022178752A - カメラ制御装置 - Google Patents

Abstract

【課題】 自動撮影中のカメラの自動撮影状態に応じて、手動撮影への切り替えを可能とすること。【解決手段】 自動撮影を行う複数のカメラからの画像を取得し、選択した映像装置を制御可能な制御装置であって、各カメラの現在の自動撮影対象、及び所定の自動撮影状態か否かを示す自動撮影状態を取得する状態取得部と、前記状態取得部で取得した自動撮影状態に基づいて、手動撮影を推奨するカメラを特定する手動撮影推奨カメラ特定部と、前記手動撮影推奨カメラ特定部の特定結果に基づいて通知を行うように制御する通知制御部と、を有することを特徴とする。【選択図】 図４

Description

本発明は、カメラ制御装置に関する。

従来、自動撮影を行う複数の撮影装置からそれぞれネットワーク通信路に送信された撮影画像を自動選択して利用する撮影システムが知られている（特許文献１参照）。

特開２００７－１５８８６０

本発明が解決しようとする課題は、自動撮影中のカメラの自動撮影状態に応じて、手動撮影への切り替えを可能とすることである。

上述した課題を解決するために、本発明は、
自動撮影を行う複数のカメラからの画像を取得し、選択した映像装置を制御可能な制御装置であって、
各カメラの現在の自動撮影対象、及び所定の自動撮影状態か否かを示す自動撮影状態を取得する状態取得部と、
前記状態取得部で取得した自動撮影状態に基づいて、手動撮影を推奨するカメラを特定する手動撮影推奨カメラ特定部と、
前記手動撮影推奨カメラ特定部の特定結果に基づいて通知を行うように制御する通知制御部と、
を有することを特徴とする。

本発明によれば、自動撮影中のカメラの自動撮影状態に応じて、手動撮影への切り替えができる。

撮影システムの構成を示すブロック図である。 カメラの設置例を示す図である。 マルチカメラ制御装置のハードウェア構成例を示す図である。 マルチカメラ制御装置の機能構成例を示す図である。 マルチカメラ制御装置の処理の例を説明するためのフローチャートである。 理想の撮影状態と現在の撮影状態の差の例を示す図である。 マルチカメラ制御装置の機能構成例を示す図である。 手動撮影推奨カメラ優先度の例を説明するための図である。 マルチカメラ制御装置の機能構成例を示す図である。

（第１の実施形態）
［システム構成］
図１は、本実施形態に係る撮影システム１００の全体構成を示すブロック図である。撮影システム１００は、図１に示されるように、複数のカメラ１１０がネットワーク１２０に接続され、更に自動撮影指示装置１３０、マルチカメラ制御装置１４０がそれぞれネットワーク１２０に接続されている。

複数のカメラ１１０は、図２に示すように、撮影領域２００を囲むようにそれぞれ異なる位置に設置されて撮影領域２００を撮影する。本実施形態における撮影領域２００はサッカー場であり、サッカーの試合を自動撮影する例について説明する。ただし、撮影領域２００はこれに限定されるものではなく、他のスポーツ競技が行われる競技場や演技が行われる舞台、あるいは撮影スタジオであっても良い。

複数のカメラ１１０は、ネットワーク１２０を通じてマルチカメラ制御装置１４０から遠隔制御可能なネットワークカメラ等である。更に、カメラ１１０は、自動撮影指示装置１３０からの自動撮影指示に応じて、被写体の動きに応じたＰＴＺ制御を行うことで追尾撮影などの自動撮影機能を持つ。カメラ１１０は、例えば、被写体の背番号識別や顔認証によって被写体を識別し、特定の被写体が常に画像内の同位置（例えば画面中央）に、同サイズ（例えばバストショット）で写るようにＰＴＺ制御を行う。

また、自動撮影指示装置１３０やマルチカメラ制御装置１４０の要求に応じて、撮影データや自動撮影状態に関する情報を送信する。

ただし、カメラ１１０は、本実施形態では自動撮影機能を持つカメラとして記載するが、撮影画像から被写体を検出してＰＴＺ制御指示を行う自動撮影装置が外付けされた構成でも良いものとする。

また、複数のカメラ１１０には、ＰＴＺ制御による自動撮影機能を持つカメラの他に、常に撮影領域２００全体あるいはその一部を撮影する俯瞰用カメラとして固定されたカメラを１台以上含むようにしても良い。この場合、俯瞰用カメラの撮影データを自動撮影指示装置１３０に送信することで、自動撮影指示装置１３０は、撮影領域２００の状況を把握して、自動撮影を行うカメラに対して、自動撮影の指示を行うことが可能となる。

ネットワーク１２０は、複数のカメラ１１０、自動撮影指示装置１３０及びマルチカメラ制御装置１４０を接続するネットワークである。ネットワーク１２０は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。なお、ネットワーク１２０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

自動撮影指示装置１３０は、例えばＰＣやサーバ装置等であり、画像解析機能と撮影判断機能を備える。自動撮影指示装置１３０は、複数のカメラ１１０のうちの俯瞰用カメラによる撮影画像を解析する。これにより、サッカーの試合であれば、選手の位置や動きから試合を分析し、どのように撮影するかを判断する。そして、複数のカメラ１１０のうちの自動撮影用カメラに自動撮影の指示を出す。また、解析結果や判断したカメラ１１０への自動撮影指示の内容を含む自動撮影方針を、マルチカメラ制御装置１４０の要求に応じて通知する。

カメラ１１０への自動撮影の指示とは、例えば、サッカーのゴール間近の局面において、ゴール近くにいる選手を指定した被写体追尾であり、複数のカメラ１１０にそれぞれ別の選手を被写体追尾するように指示を行う。また、撮影構図の指示として、画面中央にアップショットあるいはバストショットあるいは全身ショットなどの指示も併せて行う。また、ボールを保持している選手など重要な被写体と判断された場合は、複数のカメラ１１０に同じ選手を追尾撮影するように指示しても良いし、判断方法や指示内容はこれに限るものではない。

マルチカメラ制御装置１４０は、ＰＣやタブレット端末のディスプレイなどの表示部と、マウス、キーボード、タッチパネル、又はジョイスティック等のユーザ操作を受け付ける操作部を有するクライアント端末である。なめらかなＰＴＺ操作を実現するためにはジョイスティックが望ましいが、アプリケーション上のＧＵＩにより制御を行うようにしても良い。複数のカメラ１１０による撮影画像を表示しながら、選択したカメラ１１０について、遠隔制御によりＰＴＺ制御を行う。

なお、撮影システム１００の構成は図１に示したものに限定されない。例えば、ネットワーク１２０に、複数のマルチカメラ制御装置１４０が接続されてもよいし、自動撮影指示装置１３０とマルチカメラ制御装置１４０を、同一のＰＣによって実現するようにしても良い。

［ハードウェア構成］
図３は、マルチカメラ制御装置１４０のハードウェア構成例を示す図である。マルチカメラ制御装置１４０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、入力部３０５、表示部３０６、及び通信部３０７を有する。

ＣＰＵ３０１は、ＲＯＭ３０２やＨＤＤ３０４に記憶された制御プログラムを用いて、演算処理や各種プログラムを実行することで、マルチカメラ制御装置１４０の各機能を実現する。ＲＯＭ３０２は、ブートプログラム、制御プログラム、マルチカメラ制御装置１４０の各部に設定するパラメータ等を記憶する記憶領域を有する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データやプログラムを記憶する。なお、ＨＤＤ３０４に替えてＳＳＤなどその他の補助記憶装置が用いられてもよい。

入力部３０５は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３０１に入力する。表示部３０６は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザがマルチカメラ制御装置１４０を操作するためのＧＵＩなどを表示する。ＣＰＵ３０１は、表示部３０６を制御する表示制御部として動作する。通信部３０７は、ネットワーク１２０を介して、カメラ１１０及び自動撮影指示装置１３０等の外部装置との通信処理を実行する。本実施形態では表部３０６と入力部３０５がマルチカメラ制御装置１４０の内部に存在するものとするが、表示部３０６と入力部３０５との少なくとも一方がマルチカメラ制御装置１４０の外部に別の装置として存在していてもよい。

［機能構成］
図４は、本実施形態に係るマルチカメラ制御装置１４０の機能構成を示すブロック図である。

画像取得部４０１は、カメラ１１０から撮影データを受信し、通知制御部４０５に送信する。

状態取得部４０２は、カメラ１１０から、現在の自動撮影状態を受信し、手動撮影推奨カメラ特定部４０４に送信する。本実施形態における自動撮影状態とは、カメラ１１０が被写体の追尾撮影中であれば、対象被写体を追尾できているかを示す情報と、追尾中の被写体情報や撮影構図情報を含むもの（以降、実際の自動撮影状態）とする。

方針取得部４０３は、自動撮影指示装置１３０から撮影システム１００における自動撮影方針を取得し、手動撮影推奨カメラ特定部４０４に送信する。本実施形態における自動撮影方針とは、各カメラ１１０に指示した自動撮影の追尾被写体情報と撮影構図情報を含むもの（以降、理想の自動撮影状態）とする。

手動撮影推奨カメラ特定部４０４は、各カメラ１１０について、状態取得部４０２より受信した実際の自動撮影状態と、方針取得部４０３より受信した理想の自動撮影状態（所定の自動撮影状態）を比較する。これにより、手動撮影を推奨するカメラを特定し、特定したカメラ情報（特定結果）を通知制御部４０５へ通知する。

通知制御部４０５は、手動撮影推奨カメラ特定部４０４から受信した手動撮影推奨カメラ情報に基づいて、次の制御を行う。すなわち、通知制御部４０５は、映像取得部４０１から受信したカメラ１１０の撮影データと合わせて、手動撮影推奨カメラをユーザに通知するための画像を生成する。そして、通知制御部４０５は、生成した画像を表示部３０６に表示する。

［処理フロー］
次に、図５を用いて、本実施形態に係るマルチカメラ制御装置１４０における、自動撮影状態に基づいて手動撮影推奨カメラを特定して通知する処理フローについて説明する。

ステップＳ５０１において、状態取得部４０２は、複数のカメラ１１０の中から自動撮影中のカメラを選択し、ステップＳ５０２において、ステップＳ５０１で選択したカメラの実際の自動撮影状態を取得する。

ステップＳ５０３において、方針取得部４０３は、自動撮影指示装置１３０より、ステップＳ５０１で選択したカメラの理想の自動撮影状態を取得する。

図６は、理想の自動撮影状態と実際の自動撮影状態についてわかりやすく説明するための図である。図６（Ａ）は、ステップＳ５０３で取得した理想の自動撮影状態が意図する撮影画像の例であり、自動撮影指示装置１３０は、被写体６０１をアップショットで写しながら追尾撮影することを指示していることを示す。図６（Ｂ）は、ステップＳ５０２で取得した実際の自動撮影状態の撮影画像の例であり、カメラ１１０は、被写体６０１を全身ショットで写しながら追尾撮影している状態であることを示す。図６の例では、カメラ１１０は、アップショットで追尾撮影する指示を受けたものの、画面内の検知サイズあるいは追尾スピードなどの自動撮影機能の制限によって、追尾撮影可能な全身ショットに撮影構図を変更して追尾撮影をしている状態であることを示す。

次いで、ステップＳ５０４において、手動撮影推奨カメラ特定部４０４は、ステップＳ５０２で取得した実際の自動撮影状態と、ステップＳ５０３で取得した理想の自動撮影状態を比較し、実際の自動撮影状態が理想の自動撮影状態になっているか否かを判定する。

図６（Ａ）（Ｂ）に示した例では、被写体６０１を追尾撮影できてはいるが、撮影構図が理想の自動撮影状態になっていないという判定になる。

ステップＳ５０４において、実際の自動撮影状態が理想の自動撮影状態になっていないと判定された場合、ステップＳ５０５において、手動撮影推奨カメラ特定部４０４は、選択中のカメラ１１０を手動撮影推奨カメラとするよう判定する。

ステップＳ５０４において、実際の自動撮影状態が理想の自動撮影状態理想になっていると判定された場合、ステップＳ５０６において、手動撮影推奨カメラ特定部４０４は、選択中のカメラ１１０を手動撮影推奨カメラとしないよう判定する。

そして、ステップＳ５０７において、通知制御部４０５は、ステップＳ５０５において手動撮影推奨カメラと判定されたカメラを、ユーザに手動撮影推奨カメラとして通知するよう画面を生成し、表示部３０６に表示する。図６（Ｃ）は、ステップＳ５０７において、手動撮影推奨カメラ６０２を通知する際に、表示部３０６に表示される画面６０３の例である。画面６０３では、手動撮影推奨カメラ６０２の表示サイズを大きくするようレイアウト変更することで、ユーザにわかりやすく通知する例である。通知方法としてはこれに限るものではなく、色付けやメッセージなどで通知するようにしても良いし、推奨しないカメラの撮影画像については表示しないようにしても良いし、グレーアウトするようにしても良い。

以上の処理フローによって、理想の自動撮影状態となっていないカメラを手動撮影推奨カメラとしてユーザに通知することができる。

図５に示した処理フローは、ユーザが手動撮影モードを選択した際に手動撮影推奨カメラを通知するために行うようにしても良いし、常に手動撮影推奨カメラを通知するようにしても良い。また、手動撮影推奨カメラは時間が経過すると、撮影状態に応じて変わっていくため、毎フレームあるいは数フレーム毎に手動撮影推奨カメラ特定及び通知を行うようにしても良い。

また、既にユーザによる手動撮影中にも、他の手動撮影推奨カメラを通知するようにしても良いし、手動撮影中のカメラが自動撮影可能な状態になったら、他の手動撮影推奨カメラを通知するようにしても良い。

また、ユーザ選択などに応じた一部のカメラのみを対象として手動撮影推奨カメラ特定及び通知するようにしても良いし、全ての自動撮影カメラを対象として手動撮影推奨カメラ特定及び通知するようにしても良い。また、対象とする全てのカメラに対する手動撮影推奨カメラ特定を完了してから通知するようにしても良いし、手動撮影推奨カメラと特定されたカメラを個別に通知するようにしても良い。

本実施形態では、図６の例では実際の撮影状態の撮影構図が理想の撮影状態と少しでも違う場合に手動撮影推奨カメラと判定する例について説明したが、対象被写体を追尾できているか否かのみで判定するようにしても良い。その場合、図６の例で示したカメラ１１０については、指示された被写体６０１を追尾撮影できているため、手動撮影推奨カメラとしない判定となる。または、撮影構図の違いが一定量以上の場合に手動撮影推奨カメラとするようにしても良いし、追尾撮影についても一定数フレーム以上追尾できていない場合に手動撮影推奨カメラとするようにしても良く、これに限るものではない。

（第２の実施形態）
第２の実施形態について、図面を用いて詳細に説明する。

本実施形態では、手動撮影推奨カメラと特定されたカメラについて、優先度を付けてユーザに通知する例について説明する。

なお、図７において、図４のマルチカメラ制御装置１４０と同一の処理を行うものについては、同一の符号を付与して表すものとし、第１の実施形態との相違点のみを説明する。

手動撮影推奨カメラ優先度判定部７０１は、手動撮影推奨カメラ特定部４０４から手動撮影特定カメラ情報を受信し、方針取得部４０３から、自動撮影全体方針を取得する。そして、自動撮影全体方針に基づいて、手動撮影特定カメラの優先度を判定して、通知制御部４０５に通知する。本実施における自動撮影全体方針としては、複数のカメラ１１０における、それぞれの追尾対象被写体情報と被写体重要度など、複数のカメラ１１０それぞれの役割と重要度が判定できる情報とする。

図８（Ａ）は、手動撮影推奨カメラ優先度判定部７０１における、優先度判定の例について説明するための表である。複数のカメラ１１０それぞれについて、追尾被写体及び被写体重要度、手動撮影推奨カメラ判定結果と、これらの情報に基づいて判定される推奨優先度の対応の例を示す。

図８（Ａ）に示した例では、まず、追尾失敗や撮影構図の違いによって、手動撮影を推奨すると特定されたカメラが、カメラ１及びカメラ３及びカメラ５の３台あり、その３台について優先度を判定する。

この例においては、追尾被写体が他カメラ（カメラ４）と重複しているカメラ５を最も優先度が低いと判定し、残り２台のうち、追尾被写体の重要度が高いカメラ３を最も優先度が高いと判定した。

ただし、優先度判定基準についてはこれに限るものではなく、追尾被写体が重複しているカメラ５と、被写体重要度が低いカメラ１を同優先度としても良いし、被写体重要度が優先されるようにしても良い。または、手動撮影推奨カメラと特定された理由について、追尾失敗なのか撮影構図の違いなのかを優先度の判定基準に追加するようにしても良い。また、これらの判定基準は予め設定できるようにしても良いし、自動で判定されるようにしても良い。

図８（Ｂ）は、手動撮影推奨カメラ優先度判定部７０１で判定された図８（Ａ）における手動撮影推奨カメラ優先度について、通知制御部４０５から表示制御される画面８０１の例である。

画面８０１では、手動撮影推奨カメラについて枠の太さで優先度を表す例である。通知方法としてはこれに限るものではなく、最も優先度するカメラ１台のみを通知するようにしても良いし、画面８０１における各カメラの撮影画像を優先度に応じてサイズ変更、レイアウト変更するようにしても良い。

以上により、手動撮影推奨カメラに優先度を付けてユーザに通知を行うことができる。

（第３の実施形態）
第３の実施形態について、図面を用いて詳細に説明する。

第３の実施形態では、撮影領域２００のシーン判別に基づいて、手動撮影推奨カメラを特定する例について説明する。

なお、図９において、図４及び図７のマルチカメラ制御装置１４０と同一の処理を行うものについては、同一の符号を付与して表すものとし、第１の実施形態及び第２の実施形態との相違点のみを説明する。

手動撮影推奨シーン判定部９０１は、画像取得部４０１を介して、複数のカメラ１１０の撮影画像を取得し、撮影領域２００の状況を映像から認識し、手動撮影を推奨するシーンを特定し、手動撮影推奨カメラ特定部４０４に通知する。

手動撮影を推奨するシーンは予め設定しておくものとする。例えば、撮影領域２００でサッカーの試合が行われている場合は、コーナーキックやフリーキック、ペナルティーキックなど、撮影構図が固定の自動撮影では効果的でないシーンを手動撮影推奨シーンとする。または、過去に手動撮影したシーンに応じて、どのシーンを手動判定するかを判定するようにしても良いし、シーン判定した結果をユーザに提示して手動撮影するかを選択させるようにしても良い。

また、手動撮影推奨シーン判別部９０１において、撮影領域２００の状況判別を行う際には、複数のカメラ１１０が撮影領域２００の俯瞰カメラを含む場合は、それらのカメラの映像を用いるものとする。ただし、俯瞰カメラがない場合などは、自動撮影中のカメラの映像を用いるようにしても良く、これに限るものではない。

そして、手動撮影推奨カメラ特定部４０４は、手動撮影推奨シーン判別部９０１から通知された手動撮影推奨シーンを撮影しているカメラを、状態取得部４０２あるいは方針取得部４０３より取得した各カメラの自動撮影対象から判別する。そして、手動撮影推奨カメラと特定する。例えば、推奨シーンがコーナーキックであれば、ボールをキックする選手を追尾するカメラが手動撮影推奨カメラと特定される。

以上により、撮影対象のシーン判別に基づいて、手動撮影推奨カメラを特定することができる。

また、本発明のマルチカメラ制御装置１４０では、撮影システム第１の実施形態～３で述べたような自動撮影をフォローする用途でなく、自動撮影とは連動せずにユーザの意思で自由に手動撮影したい場合にも対応可能とする。その場合は、方針取得部４０３から取得した自動撮影全体方針及び各カメラの撮影対象に基づいて、複数カメラで同時追尾中や重要度の低い被写体追尾中など、自動撮影を中断してもできるだけ影響が少ないカメラを手動撮影推奨カメラとして通知するものとする。

また、手動撮影を行う目的によって、手動撮影推奨カメラ特定部４０４でカメラを特定する際の条件や、手動撮影推奨カメラ優先度判定部７０１の判定基準を切り替えるようにしても良い。その場合は、ユーザに目的を選択させるようにしても良いし、ユーザ識別によって目的を判別するようにしても良いし、撮影領域２００の状況判別や手動撮影カメラ選択状況あるいは手動撮影カメラの操作状況に応じて、目的を推測するようにしても良い。

また、手動撮影を行うユーザが複数人いる場合、他のユーザによる手動撮影カメラ選択状況を考慮して、手動撮影推奨カメラを通知するようにしても良い。具体的には、同じカメラを推奨しない、他のユーザが手動撮影中のカメラと同じ被写体、同じシーンを撮影しているカメラは推奨カメラから外すなどが挙げられる。また、その際にはマルチカメラ制御装置１４０を複数備えて、手動撮影推奨カメラ特定部４０４あるいは手動撮影推奨かめら優先度判定部７０１が連携するようにしても良いし、通知制御部４０５のみを複数備えるようにしても良い。

１００ 撮影システム
１１０ カメラ
１２０ ネットワーク
１３０ 自動撮影指示装置
１４０ マルチカメラ制御装置

Claims (6)

1. 自動撮影を行う複数のカメラからの画像を取得し、選択した映像装置を制御可能な制御装置であって、
   各カメラの現在の自動撮影対象、及び所定の自動撮影状態か否かを示す自動撮影状態を取得する状態取得部と、
   前記状態取得部で取得した自動撮影状態に基づいて、手動撮影を推奨するカメラを特定する手動撮影推奨カメラ特定部と、
   前記手動撮影推奨カメラ特定部の特定結果に基づいて通知を行うように制御する通知制御部と、
   を有することを特徴とする制御装置。
2. 前記手動撮影推奨カメラ特定部は、前記状態取得部で取得した自動撮影状態が、所定の自動撮影状態でないカメラについて、手動撮影推奨カメラと特定することを特徴とする請求項１に記載の制御装置。
3. 各カメラに指示された理想の自動撮影状態、あるいは被写体重要度の少なくともいずれかを含む自動撮影方針を取得する方針取得部と、
   を更に備え、
   前記手動撮影推奨カメラ特定部は、前記方針取得部で取得した自動撮影方針に基づいて、手動撮影を推奨するカメラを特定することを特徴とする請求項１に記載の制御装置。
4. 前記手動撮影推奨カメラ特定部は、前記状態取得部で取得した現在の自動撮影状態が、前記方針取得部で取得した理想の自動撮影状態になっていないカメラについて、手動撮影推奨カメラを特定することを特徴とする請求項３に記載の制御装置。
5. 前記手動撮影推奨カメラ特定部で特定された推奨カメラについて、前記方針取得部で取得した自動撮影方針に基づいて、推奨カメラの優先度を判定する手動撮影推奨カメラ優先度判定部と、
   を更に備え、
   前記通知制御部は、手動撮影推奨カメラ優先度判定部の判定結果に基づいて通知を行うように制御することを特徴とする請求項１乃至４いずれか１項に記載の制御装置。
6. 撮影対象の手動撮影推奨シーンを判別する手動撮影推奨シーン判別部と、
   を更に備え、
   前記手動撮影推奨カメラ特定部は、前記手動撮影推奨シーン判別部で推奨シーンと判別されたシーンを撮影中のカメラを手動撮影推奨カメラと特定することを特徴とする請求項１乃至５いずれか１項に記載の制御装置。
   

Images