JP2023079040A - 制御装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】 撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることを目的としている。【解決手段】 撮像手段により撮像された画像を取得し、撮像手段の撮像範囲における被写体が第１位置に配置される構図に対応する第１配置候補と、撮像範囲における被写体が第１位置と異なる第２位置に配置される構図に対応する第２配置候補とを少なくとも含む複数の配置候補を表示手段に表示させ、複数の配置候補のうちの１つのユーザに選択された場合、選択された配置候補の情報に基づき、前記撮像範囲を制御する処理を実行し、表示手段に表示される複数の配置候補は、画像から検出された被写体の位置又は当該被写体の顔向きに従って決定される。【選択図】 図６

Description

本発明は、撮像装置の制御方法に関する。

現在、映像制作市場において、ネットワークに接続された撮像装置を遠隔地から制御するようなシステムが増加している。このようなシステムでは、撮像装置により撮像された映像を表示させつつ、当該撮像装置のＰＴＺ（パン・チルト・ズーム）を制御することで当該撮像装置が撮像する範囲（以下、撮像範囲）の変更が可能なアプリケーションがある。アプリケーションを利用する利用者は、ジョイスティックなどのデバイスを用いて撮像範囲を変更することが可能である。

また、撮像装置の撮像範囲を制御する方法として、被写体の位置やサイズに基づきＰＴＺを制御する方法がある。特許文献１では、被写体を所望の撮影範囲で撮影するために、被写体の全体領域と、被写体の部分的な領域（頭部など）から、その２つの領域の比を算出し、ズーム操作に応じて、算出された比率が一定になるようにズーム倍率を制御することを開示している。

特開２０１１－２０９６２０号公報

映像制作の現場において、カメラマンは画角内の構図を意識し、撮像範囲において被写体が所望の場所に位置するよう、撮像範囲を制御したいというケースがある。ここで、ユーザがジョイスティックを利用してＰＴＺを制御しつつ、撮像範囲において被写体が所望の場所に位置するような構図をえるために撮像範囲を制御する操作は煩雑であった。

そこで、本発明は、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることを目的としている。

上記課題を解決するために、例えば、本発明に係る情報処理装置は以下の構成を有する。すなわち、撮像手段により撮像された画像を取得する取得手段と、前記撮像手段の撮像範囲における被写体が第１位置に配置される構図に対応する第１配置候補と、前記撮像範囲における前記被写体が前記第１位置と異なる第２位置に配置される構図に対応する第２配置候補とを少なくとも含む複数の配置候補を表示手段に表示させる表示制御手段と、前記複数の配置候補のうちの１つのユーザに選択された場合、選択された配置候補の情報に基づき、前記撮像範囲を制御する処理を実行する制御手段と、を有し、前記表示手段に表示される前記複数の配置候補は、前記画像から検出された被写体の位置又は当該被写体の顔向きに従って決定される。

本発明によれば、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。

システムの一例を示す図である。 撮像装置の外観の一例を示す図である。 撮像装置の機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 ディスプレイに表示されるGUIを説明するための図である。 配置候補を説明するための図である。 配置候補を表示させる処理の流れを示すフローチャートである。 検出結果情報を説明するための図である。 ディスプレイに表示されるGUIを説明するための図である。 ディスプレイに表示されるGUIを説明するための図である。 ディスプレイに表示されるGUIを説明するための図である。 ディスプレイに表示されるGUIを説明するための図である。 配置候補を表示させる処理の流れを示すフローチャートである。 各装置のハードウェア構成の一例を示す図である。

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、撮像装置１００、情報処理装置２００、ディスプレイ４００、およびネットワーク３００を有している。

撮像装置１００および情報処理装置２００は、ネットワーク３００を介して相互に接続されている。ネッワーク３００は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

なお、ネットワーク３００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

撮像装置１００は、画像を撮像する装置であり、撮像範囲を制御可能な撮像手段として機能する。撮像装置１００は、撮像した画像の画像データと、画像を撮像した撮像日時の情報と、撮像装置１００を識別する識別情報と、撮像装置１１０の撮像範囲の情報とを、ネットワーク３００を介し、情報処理装置２００等の外部装置へ送信する。情報処理装置２００は、例えば、後述する処理の機能を実現するためのプログラムがインストールされたパーソナルコンピュータ等のクライアント装置である。なお、本実施形態に係るシステムにおいて、撮像装置１００は１つとするが、複数であってもよい。すなわち、複数の撮像装置１００が、ネットワーク３００を介して、情報処理装置２００と接続されてもよい。この場合、情報処理装置２００は、例えば、送信された画像と関連付けられた識別情報を用いて、送信された当該画像は、複数の撮像装置１００のうちどの撮像装置１００により撮像されたかを判断する。

ディスプレイ４００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、撮像装置１００が撮像した画像などを表示する。ディスプレイ４００は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介して情報処理装置２００と接続されている。なお、ディスプレイ４００および情報処理装置２００は、単一の筐体に設けられてもよい。

次に、図２および図３を参照して、本実施形態に係る撮像装置１００について説明する。図２は、本実施形態に係る撮像装置１００の外観図の一例である。また図３は、本実施形態に係る撮像装置１００および情報処理装置２００の機能ブロックの一例である。なお、図３に示す撮像装置１００の機能ブロックのうち、画像処理部１１２、システム制御部１１３、パンチルトズーム制御部１１４、記憶部１１５、通信部１１６等の各機能は、次のようにして実現されるものとする。すなわち、図１４を参照して後述する撮像装置１００のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４００が実行することで実現される。

レンズ１０１の光軸の向く方向が撮像装置１００の撮像方向であり、レンズ１０１を通過した光束は、撮像装置１００の撮像部１１１の撮像素子に結像する。また、レンズ駆動部１０２は、レンズ１０１を駆動させる駆動系により構成され、レンズ１０１の焦点距離を変更する。レンズ駆動部１０２は、パンチルトズーム制御部１１４により制御される。

パン駆動部１０３は、パン動作を行うメカ駆動系及び駆動源のモータにより構成され、撮像装置１００の撮像方向をパン方向１０５に回転駆動させるための回転駆動を行う制御をするように駆動する。また、パン駆動部１０３は、パンチルトズーム制御部１１４により制御される。

チルト駆動部１０４は、チルト動作を行うメカ駆動及び駆動源のモータにより構成され、撮像装置１００の撮像方向をチルト方向１０６に回転駆動させるための回転駆動を行う制御するように駆動する。チルト駆動部１０４は、パンチルトズーム制御部１１４により制御される。

撮像部１１１は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子（不図示）により構成される。そして、撮像部１１１は、レンズ１０１を通って結像された被写体像を光電変換して電気信号を生成する。画像処理部１１２は、撮像部１１１において光電変換された電気信号をデジタル信号へ変換する処理や、圧縮符号化処理などの画像処理を行い、画像データを生成する。

パンチルトズーム制御部１１４は、システム制御部１１３から伝達された指示に基づいて、パン駆動部１０３、チルト駆動部１０４及びレンズ駆動部１０２の制御を行うことで、撮像装置１００のパン、チルト、およびズームを制御する。

記憶部１１５は、例えば、撮像範囲を示す情報を記憶（保持）する。通信部１１６は、図１４を参照して後述するＩ／Ｆ１４４０を介して、情報処理装置２００との通信を行う。例えば、通信部１１６は、撮像装置１００が撮像した画像の画像データを、ネットワーク３００を介して情報処理装置２００に送信する。また、通信部１１６は、撮像装置１００の撮像範囲を示す情報を送信する。また、通信部１１６は、情報処理装置２００から送信された撮像装置１００を制御するためのコマンドである制御コマンドを受信し、システム制御部１１３へ伝達する。

システム制御部１１３は、図１４を参照して後述するＣＰＵ１４００が実行する処理に従って、撮像装置１００の全体を制御し、例えば、次のような処理を行う。すなわち、システム制御部１１３は、情報処理装置２００から送信された撮像装置１００を制御する制御コマンドを解析し、当該制御コマンドに応じた処理を行う。また、システム制御部１１３は、パンチルトズーム制御部１１４に対してパンチルトズーム動作の指示を行う。また、システム制御部１１３は、画像処理部１１２で生成された画像データを情報処理装置２００に送信する際に、当該画像データを撮像した撮像時刻の情報も画像データに付与する。

なお、本実施形態における撮像範囲は、撮像装置１００のパン値、チルト値およびズーム値により定まる。なお、パン値は、パン駆動部１０３の駆動端の一方を０°としたときの、撮像装置１００のパン方向１０５における撮像方向（光軸）の角度である。また、チルト値は、チルト駆動部１０４の駆動端の一方を０°としたときの、撮像装置１００のチルト方向１０６における撮像方向（光軸）の角度である。なお、撮像装置１００により画像が撮像されるときの撮像装置１００のズーム値は、レンズ１０１の焦点距離から算出する。

ここで、図４に示す情報処理装置２００の機能ブロックを参照して、本実施形態に係る情報処理装置２００の情報処理について説明する。なお、情報処理装置２００の各機能は、図１４を参照して後述するＲＯＭ１４２０とＣＰＵ１４００とを用いて、次のようにして実現されるものとする。すなわち、図４に示す各機能は、情報処理装置２００のＲＯＭ１４２０に格納されたコンピュータプログラムを情報処理装置２００のＣＰＵ１４００が実行することにより実現される。

通信部２０１は、図１４を参照して後述するＩ／Ｆ１４４０を介して、撮像装置１００から送信される画像データを取得する。記録部２０２は、図１０を参照して後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１０やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０３０等によって実現でき、情報処理装置２００による情報処理に関わる情報やデータを記録する。例えば、記録部２０２は、画像から検出された被写体の位置に関する情報を記録する。また、記録部２０２は、パン値、チルト値、およびズーム値のうち撮像装置１００がいずれを制御可能かを示す情報である制御可否情報を記録する。

検出部２０３は、通信部２０１が取得した画像における被写体を検出する検出処理を実行する。本実施形態における検出部２０３は、照合パターン（辞書）を使用して、パターンマッチング等の処理を行うことで、画像に含まれる被写体として人物の検出を行う。なお、画像から人物を検出するにあたって、人物が正面向きである場合の照合パターンと横向きである場合の照合パターンなど複数の照合パターンを用いて画像から人物を検出するようにしてもよい。このように、複数の照合パターンを用いた検出処理を実行することで、検出精度の向上が期待できる。

なお、照合パターンとして、斜め方向からや上方向からなど他の角度から人物を見た場合の照合パターンを用意しておいてもよい。また、画像から人物を検出する場合、必ずしも全身の特徴を示す照合パターン（辞書）を用意しておく必要はなく、上半身、下半身、頭部、顔、足などの人物の一部について照合パターンを用意してもよい。

なお、本実施形態では、画像から検出される被写体として人物を検出するが、人物に限らず、例えば、車など他の物体であってもよい。また、本実施形態における検出部２０３は、画像から特定の物体を検出する方法として、パターンマッチング処理を用いるが、他の従来技術を用いて画像から特定の物体を検出してもよい。

特定部２０４は、画像に含まれる被写体を、撮像装置１００の撮像範囲の制御の基準として特定する。特定部２０４により特定された画像における被写体（人物）を基準として、撮像装置１００の撮像範囲を制御することになる。

操作受付部２０５は、キーボードやマウス等の入力装置（不図示）を介して、ユーザが行った操作を受け付ける。表示制御部２０６は、通信部２０１により取得された画像をディスプレイ４００に表示させる。また本実施形態における表示制御部２０６は、撮像範囲における被写体が配置される構図に対応する複数の配置候補をディスプレイ４００に表示させる。表示制御部２０６により表示される配置候補についての詳細な説明については後述する。

範囲制御部２０７は、撮像装置１００の撮像範囲を制御する処理を実行する。具体的には、範囲制御部２０７は、撮像装置１００のパン値、チルト値およびズーム値の少なくともいずれかを変更するための制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は送信された制御コマンドに従って、撮像範囲を制御する。例えば、操作受付部２０５は、撮像装置１００のパン値をパン方向１０５に所定値だけ変更するユーザ指示を受け付けた場合、範囲制御部２０７は、次のような処理を実行する。すなわち、範囲制御部２０７は、パン値をパン方向１０５に所定量だけ変更させる制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は、取得した制御コマンドに従って、パン駆動部１０３を制御することでパン角度をパン方向１０５に所定角度変更させる。

続いて、図５（ａ）～（ｂ）を参照して、ディスプレイ４００に表示制御部２０６により表示される配置候補の情報について説明する。図５（ａ）に示す表示ウィンドウ５０１は、表示制御部２０６によりディスプレイ４００に表示され、撮像装置１００により撮像された画像が表示される画像表示領域５０２が含まれる。また表示ウィンドウ５０１には、複数の配置候補５０５～５１０が含まれる。また、図５（ａ）に示すように、基準被写体として特定部２０４により特定された人物５０３を含む画像が画像表示領域５０２において表示される。このとき、表示制御部２０６は、検出部２０３の検出結果の情報に基づき、人物５０３の位置に対応して枠５０４を画像に重畳して表示させている。また撮像装置１００の撮像範囲にて被写体が第１位置に配置される構図に対応する配置候補５０５と、撮像範囲にて被写体が第１位置と異なる第２位置に配置される構図に対応する配置候補５０６とを少なくとも含む複数の配置候補５０５～５１０が表示される。このように表示ウィンドウ５０１には、撮像された画像と複数の配置候補５０５～５１０の両方が表示される。図５（ａ）に示すように、配置候補５０５は、撮像範囲を示す矩形領域において被写体を示すアイコン５１１が左側に配置された図形として表示される。また、配置候補５０６は、撮像範囲を示す矩形領域において被写体を示すアイコン５１２が中央に配置された図形として表示される。また、配置候補５０７は、撮像範囲を示す矩形領域において被写体を示すアイコン５１３が右側に配置された図形として表示される。また、配置候補５０８は、撮像範囲を示す矩形領域において被写体を示すアイコン５１４が左側により大きいサイズで配置された図形として表示される。また、配置候補５０９は、撮像範囲を示す矩形領域において被写体を示すアイコン５１５が中央により大きいサイズで配置された図形として表示される。また、配置候補５１０は、撮像範囲を示す矩形領域において被写体を示すアイコン５１６が右側により大きいサイズで配置された図形として表示される。なお各配置候補の矩形領域は、撮像装置１００の撮像範囲に対応しており、当該矩形領域のアスペクト比と、当該撮像範囲および撮像された画像のアスペクト比とが同一である。

ここで、図５（ａ）の表示ウィンドウ５０１に表示された複数の配置候補のうち配置候補５１０が選択された場合について説明する。配置候補５１０がユーザ操作により選択された場合、範囲制御部２０７は、次のような処理を実行する。すなわち、範囲制御部２０７は、配置候補５１０の矩形領域に対するアイコン５１６の重心位置の相対的な位置（以下、相対位置）と、現在の撮像装置１００の撮像範囲に対する基準被写体である人物５０３の重心位置の相対位置とを特定する。そして、範囲制御部２０７は、配置候補５１０の矩形領域に対するアイコン５１６の相対位置と、撮像範囲に対する人物５０３の相対位置とが略同一となるためのパン値およびチルト値を決定する。また更に、範囲制御部２０７は、配置候補５１０の矩形領域のサイズに対するアイコン５１１の相対的なサイズと、実際の撮像範囲のサイズに対する人物５０３の相対的なサイズとが、略同一となるようなズーム値を決定する。そして範囲制御部２０７は、決定したパン値、チルト値およびズーム値に制御するための制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は送信された制御コマンドにおいて指示されたパン値、チルト値、およびズーム値になるよう撮像範囲を制御する。このようにして撮像装置１００の撮像範囲が制御されたのちに撮像された画像は撮像装置１００から情報処理装置２００に送信される。図５（ｂ）は、配置候補の選択に応じて撮像装置１００の撮像範囲が制御されたのち撮像および送信された画像が表示制御部２０６により画像表示領域５０２に表示される例について示している。このとき、図５（ｂ）に示すように、配置候補５１０の矩形領域におけるアイコン５１６の位置関係およびサイズと、実際の撮像範囲に対する被写体（人物５０３）の位置関係およびサイズとが同様となるような画像が得られる。また、図５（ｂ）に示すように、表示制御部２０６は、配置候補５１０の選択に応じて、他の配置候補５０５～５０９の表示態様と、配置候補５１０の表示態様とを異ならせる。このようにすることで配置候補５１０が選択されていることをユーザに提示することができる。

また図５に示す例において、１人用の配置候補の場合について説明したが、ここで他の人数用の配置候補の場合について図６を参照して説明する。図６（ａ）は１人用の複数の配置候補６０１～６０６の例について示しており各配置候補は予め作成され記憶部２０２により記憶されている。図６（ｂ）は２人用の複数の配置候補６０７～６１７の例について示しており、各配置候補は予め作成され記憶部２０２により記憶されている。ここで図６（ｂ）に示す配置候補６０７～６１１は、２人の人物の位置関係が横並びの場合の配置候補である。また、配置候補６１２～６１４は、２人の人物の位置関係が右斜め上方向に並ぶ場合の配置候補である。また、配置候補６１５～６１７は、２人の人物の位置関係が右斜め下方向に並ぶ場合の配置候補である。このように、２人用の配置候補について、２人の人物が第１位置関係にある場合の一又は複数の配置候補と、当該２人の人物が第１位置関係と異なる第２位置関係にある場合の一又は複数の配置候補とが少なくとも含まれるようにしてもよい。そして、表示制御部２０６は、現在の画角における基準被写体が２人である場合、各基準被写体の位置関係に応じて、表示させる配置候補を変更してもよい。例えば、現在の画角における基準被写体の数が２人であり、各人物が横並びの位置関係である場合、表示制御部２０６は、横並びの位置関係に対応する配置候補６０７～６１１を表示するようにしてもよい。また、図６（ｃ）に示す配置候補７０９は、３人用の配置候補６１８を示している。図６（ｃ）に示す例では、３人用の配置候補６１８が選択された場合、各人物が画角に含まれるよう撮像方向を制御するものとする。ただし３人用の配置候補であっても、２人用の配置候補と同様に、各人物の位置関係ごとの１又は複数の配置候補を用意してもよい。なお、表示させる配置候補は、図６（ａ）～（ｃ）に限定されず、他の配置候補を含むようにしてもよい。

図７は、本実施例における構図パターンを表示するまでのフローチャートである。なお図７に示すフローの処理は、例えば情報処理装置２００のＲＯＭ１４２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１４００が実行して実現される図４に示す情報処理装置２００の機能ブロックにより実行される。

まず、ステップＳ７０１にて、表示制御部２０６は、撮像された画像中から検出部２０３により被写体（人物）が検出され、当該被写体（人物）が基準被写体として特定されたかを判定する。なお、特定部２０４は、検出部２０３により検出された被写体を一律で基準被写体として特定してもよいし、検出部２０３により検出された被写体のうちユーザにより選択された被写体を基準被写体として特定してもよい。画像から基準被写体が特定された場合（Ｓ７０１にてＹｅｓ）、Ｓ７０２に遷移し、特定されなかった場合（Ｓ７０１にてＮｏ）、Ｓ７０１の処理を繰り返す。

次に、Ｓ７０２にて、表示制御部２０６は、画像中の基準被写体の人数または位置関係に変化があったかと判定する。そして変化があったと判定した場合（Ｓ７０２にてＹｅｓ）、Ｓ７０３へ遷移し、変化がなかったと判定した場合（Ｓ７０２にてＮｏ）、Ｓ７０５へ遷移する。例えば基準被写体の数が１人から２人に変化した場合は変化があったと判定される。また例えば画像中の基準被写体の数が２人であり、右斜め上に並ぶ位置関係から横並びの位置関係に変わった場合、変化があったと判定される。

Ｓ７０３にて、表示制御部２０６は、現在の基準被写体および位置関係に応じた一又は複数の配置候補を決定する。例えば、基準被写体が１人であれば、表示制御部２０６は、記憶部２０２に記憶された配置候補６０１～６０６を表示させる配置候補として決定する。また基準被写体が２人であり横並びの位置関係であれば、表示制御部２０６は、配置候補６０７～６１１を決定する。

Ｓ７０４にて、表示制御部２０６は、Ｓ７０３で決定した一又は複数の配置候補がＧＵＩ５０１上で表示されるようＧＵＩ５０１を更新する。

次にＳ７０５にて、表示制御部２０６は、終了指示があるかを判定し、終了指示があると判定された場合（Ｓ７０５にてＹｅｓ）、図７に示すフローの処理を終了し、終了指示がないと判定された場合（Ｓ７０５にてＮｏ）、Ｓ７０１へ遷移する。

なお上述の例において、特定部２０４が画像から検出された被写体を一律で基準被写体として特定したり、画像から検出された被写体のうちユーザにより選択された被写体を基準被写体として特定したりする場合について説明したがこれに限らない。例えば、画像中の人物について優先付けを行い、その結果に基づき基準被写体を特定するようにしてもよい。ここで図８に示す検出結果情報８００は、検出部２０３による画像に対する被写体の検出結果に基づき検出部２０３により生成される情報であり、記憶部２０２により記憶される情報である。検出結果情報８００には、検出された人物を識別するＩＤである検出人物ＩＤ８０１と、当該人物の位置を示す座標８０２と、当該人物のサイズを示すサイズ８０３と、当該人物が連続して画像に映る時間を示す滞在時間８０４とが格納される。なお、座標８０２は、最新の画像から検出された人物の位置を示し、画像の左上の頂点を原点としたときの当該人物の重心のＸＹ座標である。サイズ８０３は、最新の画像から検出された人物の当該画像中の縦方向のサイズを示す。ここで特定部２０４は、画像に映る人物について滞在時間８０４の長い順に優先付けを行い優先度の高い人物を基準被写体として特定するようにしてもよい。例えば滞在時間８０４の最も長い検出人物ＩＤ８０１に対応する人物を基準被写体として特定するようにしてもよい。また滞在時間８０４が長い人物について優先的に表示される配置候補のパターンを多くしてもよい。

以上、説明したように、本実施形態における情報処理装置２００は、画像中の基準被写体の数又は位置関係に応じて、撮像範囲を制御するために用いる複数の異なる配置候補をＧＵＩ上に表示させる。そして、情報処理装置２００は、表示された複数の配置候補から選択された配置候補に従って、当該配置候補と同様の被写体の構図が撮像されるよう撮像装置１００の撮像範囲を制御する。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。

（実施形態２）
実施形態２では、画像中の複数の基準被写体について、グルーピングを行い、複数のグループの各々に対応する配置候補を表示させる。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

図９に示す表示ウィンドウ５０１は、本実施形態における表示制御部２０６によりディスプレイ４００に表示される。図９の表示ウィンドウ５０１には、撮像装置１００により撮像された画像が表示される画像表示領域５０２が含まれる。図９に示す例では、表示される画像に４人の人物９０１～９０４が含まれている。ここで本実施形態における特定部２０４は、検出部２０３により検出された人物９０１～９０４を基準被写体として特定するとともに、人物９０１～９０４についてグルーピングを行う。例えば、特定部２０４は、各人物の位置関係に基づき、所定距離以内の人物同士を同一のグループとして、グルーピングする。図９の例では、特定部２０４は、人物９０１～９０２を第１グループ、人物９０３～９０４を第２グループとして、グルーピングする。そして各グループの位置を示す枠として、第１グループについて検出枠９０５、第２グループについて検出枠９０６が画像上に重畳される。

また図９に示す例において、本実施形態における表示制御部２０６は、グルーピングしたグループの各々について、当該グループにおける人数および位置関係に基づき、表示される配置候補が決定される。なお表示される配置候補が決定される処理は図７に示すＳ７０４の処理にて実行される。図９の場合、表示制御部２０６は、第１グループに対応する配置候補として、人物９０１と人物９０２の横並びの位置関係に対応する配置候補９０７～９０９を表示する。このとき、第１グループと配置候補９０７～９０９とが対応付けられていることをユーザが識別できるよう、第１グループの検知枠９０５の表示態様と配置候補９０７～９０９の枠の表示態様とを類似させるようにする。図９では第１グループの検知枠９０５と、配置候補９０７～９０９の枠とをそれぞれ実線で表示させている。また表示制御部２０６は、第２グループに対応する配置候補として、人物９０３と人物９０４の横並びの位置関係に対応する配置候補９１０～９１２を表示する。このとき、第２グループと配置候補９１０～９１２とが対応付けられていることをユーザが識別できるよう、第１グループの検知枠９０６の表示態様と配置候補９１０～９１２の枠の表示態様とを類似させるようにする。図９では第２グループの検知枠９０６と、配置候補９１０～９１２の枠とをそれぞれ点線で表示させている。なお、１つのグループにおいて包含される人数について上限を設けるようにしてもよい。

ここで図９に示す配置候補９０７～９１２のうち、配置候補９１１が選択された場合の例について説明する。このとき、範囲制御部２０７は、第２グループに対応する配置候補９１１と、第２グループに属する人物９０３と人物９０６の位置とに基づき、撮像範囲を制御する処理を実行する。具体的には範囲制御部２０７は、次のような処理を実行する。すなわち、配置候補９１１の矩形領域に対するアイコン９１３およびアイコン９１４の重心位置の相対位置と、現在の撮像装置１００の撮像範囲に対する人物９０３および人物９０３の重心位置の相対位置とが略同一となるパン値チルト値を決定する。また、範囲制御部２０７は、配置候補９１１の矩形領域のサイズに対するアイコン９１４～９１４の合計サイズの比率と、撮像範囲のサイズに対する人物９０３～９０４の合計サイズの比率とが、略同一となるズーム値を決定する。そして、範囲制御部２０７は、決定したパン値、チルト値およびズーム値となるような制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は送信された制御コマンドにおいて指示されたパン値、チルト値、およびズーム値になるよう撮像範囲を制御する。

なお、本実施形態において、グルーピングした各グループについて配置候補を設ける例について説明したが、更に画像中の基準被写体の全てを１つのグループとした場合の配置候補を更に設けてもよい。この場合の表示ウィンドウ５０１について図１０を参照して説明する。図１０に示す表示ウィンドウ５０１は、図９に示す表示ウィンドウ５０１から配置候補９０７を除いて、画像中の基準被写体の全てを１つのグループとした場合の当該グループに対応する枠１００１と、当該グループに対応する配置候補１００２を含んでいる。ここで、配置候補１００１がユーザにより選択された場合、範囲制御部２０７は、例えば次のような処理を実行する。すなわち、配置候補１００２の矩形領域に対する、配置候補１００２中の全アイコンの重心位置の相対位置と、撮像範囲に対する、画像中の全基準被写体の重心位置の相対位置と、が略同一となるパン値およびチルト値を決定する。また、範囲制御部２０７は、例えば次のような処理を実行することでズーム値を決定する。すなわち、配置候補１００２の矩形領域のサイズに対する、配置候補１００２中の全アイコンのサイズの合計サイズの比率と、撮像範囲のサイズに対する、撮像範囲中の全基準被写体のサイズの合計サイズの比率とが、略同一となるズーム値を決定する。そして、範囲制御部２０７は、決定したパン値、チルト値およびズーム値となるような制御コマンドを生成し、通信部２０１を介して撮像装置１００に送信する。撮像装置１００は送信された制御コマンドにおいて指示されたパン値、チルト値、およびズーム値になるよう撮像範囲を制御する。このように画像中の基準被写体の全てを１つのグループとした場合の配置候補を更に設けてもよい。

以上説明したように、本実施形態における情報処理装置２００は、画像中の人物についてグルーピングを行い、各グループに対応する配置候補を表示させる。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。

（実施形態３）
実施形態３では、画像中の基準被写体の顔の向きに基づき、配置候補を表示する例について説明する。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

図１１は、本実施形態における表示ウィンドウ５０１であり、表示制御部２０６によりディスプレイ４００に表示される。図１１に示す表示ウィンドウ５０１では、画像表示領域５０２において表示される画像に基準被写体として特定された人物１１０１と人物１１０２とが含まれている。また人物１１０１の位置に検知枠１１０３が重畳され、人物１１０２の位置に検知枠１１０４が重畳されている。また図１１の表示ウィンドウ５０１では、人物１１０１に対応する配置候補１１０５～１１０７と、人物１１０２に対応する配置候補１１０８～１１１０とが含まれる。また本実施形態における検出部２０３は画像中の人物１１０１～１１０２の各々の顔向きも更に検出するものとし、表示制御部２０６は、人物の顔向きに基づき、表示する一又は複数の配置候補を決定する。具体的には、表示制御部２０６は、画像の右側を向いている人物１１０１について、人物１１０１が向いている方向にスペースが開くように、人物１１０１に紐づく配置候補として、配置候補１１０５～１１０７を表示させる。図１１に示すように人物１１０１に対応する配置候補１１０５～１１０７は、アイコンの左側に対し右側のスペースが大きい配置候補である。また、表示制御部２０６は、画像の左側を向いている人物１１０２について、人物１１０２が向いている方向にスペースが開くように、人物１１０２に紐づく配置候補として、配置候補１１０８～１１１０を表示させる。図１１に示すように人物１１０２に対応する配置候補１１０８～１１１０は、アイコンの左側に対し右側のスペースが大きい配置候補である。

以上説明したように、本実施形態における情報処理装置２００は、画像中の基準被写体の各々について配置候補を表示させるにあたって、当該基準被写体の顔向きに基づく一又は複数の配置候補を表示させる。このようにすることで、撮像範囲において被写体がユーザの所望する場所に位置するような撮像範囲の制御を簡易にすることができる。またこのとき、基準被写体が向いている方向にスペースが開くような配置候補を表示させることで、当該配置候補の選択に応じて、当該基準被写体がどのような場所を向いているのかが把握できる撮像範囲に制御することが可能になる。

（実施形態４）
本発明の実施形態４について説明する。本実施形態の情報処理装置２００は、撮像装置１００の現在のパン値チルト値およびズーム値に基づき、現在表示されている配置候補のうち、ユーザに選択されてもパンチルトズームの駆動限界のために制御できない配置候補（以下、制御不可候補）を特定する。なお、上述の各実施形態と異なる部分を主に説明し、上述の各実施形態と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

図１２（ａ）に示す表示ウィンドウ５０１は、本実施形態における表示制御部２０６によりディスプレイ４００に表示される設定画面である。図１２の表示ウィンドウ５０１には、画像が表示される画像表示領域５０２が含まれ、当該画像において基準被写体として特定された人物５０３について検知枠５０４が表示されている。また図１２の表示ウィンドウ５０１には、配置候補５０５～５１０が表示されている。また本実施形態における表示制御部２０６は、撮像装置１００から送信された現在のパン値チルト値およびズーム値の情報と現在の基準被写体の位置とに従って、配置候補５０５～５１０のうち制御不可候補を特定する。

ここで制御不可候補を特定する方法について説明する。ここでパン値の変更可能な範囲が０度～＋１８０度であり、パン値の値が小さくなるにつれ撮像方向が画像水平方向の左側に変更され、パン値の値が大きくなるにつれ撮像方向が画像水平方向の右側に変更される場合について想定する。このとき図１２（ａ）の例において、現在の撮像装置１００のパン値が＋１０度であるものとする。このとき、表示制御部２０６は、現在の撮像範囲に対する人物５０３の重心位置の相対位置を特定する。そして、表示制御部２０６は、配置候補５０５～５１０の各々について、当該配置候補の矩形領域に対するアイコンの重心位置の相対位置を特定する。そして、表示制御部２０６は、配置候補５０５～５１０の各々について、当該配置候補におけるアイコンについて特定した相対位置と撮像範囲における基準被写体について特定した相対位置とが略同一となるパン値を特定する。そして表示制御部２０６は、配置候補５０５～５１０の各々について特定したパン値と、パン値の変更可能範囲０～１８０度とを比較し、変更可能範囲に含まれない配置候補を制御不可候補として決定する。ここで例えば配置候補５０７が示す構図になるには、パン値が－１０度又は＋３５０度となる必要があるとし、このときパン値の変更可能範囲０～＋１８０度の範囲から外れるため、配置候補５０７は制御不可候補として決定される。同様に、図１２（ａ）に示す例では、配置王甫５１０も制御不可候補として決定されたものとする。そして表示制御部２０６は、図１２の例では、制御不可候補として特定した配置候補５０７と配置候補５１０の表示態様を変更するために例えば色をグレーアウトさせて表示する。このようにすることで配置候補５０７と配置候補５１０の構図には変更できないことをユーザに明示することが可能である。なおここまでパン値の例について説明したが、表示制御部２０６は、チルト値およびズーム値についてもパン値の例と同様に、各値の駆動可能範囲に基づき、制御不可候補を特定し、特定した配置候補の色をグレーアウトさせるようにする。

なお図１２（ａ）に示す例では、制御不可候補の色をグレーアウトで表示するようにしたが、この形態にかぎらない。例えば、表示制御部２０６は、制御不可候補を表示ウィンドウ５０１における表示からは除いて、制御不可候補以外の制御可能な配置候補である制御可能候補だけを表示ウィンドウ５０１上に表示するようにしてもよい。図１２（ｂ）では、表示制御部２０６は、表示ウィンドウ５０１において表示する配置候補を決定するにあたって、図６（ａ）に示すような１人用の複数の配置候補から、上述のようにパン値チルト値およびズーム値各々の変更可能範囲に従って制御不可候補を特定し、特定した制御不可候補を除いた他の配置候補を表示ウィンドウ５０１に表示するようにしてもよい。図１２（ｂ）に示す配置候補１２０１～１２０２は、図１２（ａ）に対し制御不可候補を除いて新たに加えられた制御可能候補である。ここで図１３に示すフローを参照して、制御可能な配置候補を特定し、特定した複数の配置候補を表示ウィンドウ５０１に表示する情報処理について説明する。なお図１３に示すフローの処理は、例えば情報処理装置２００のＲＯＭ１４２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ１４００が実行して実現される図４に示す情報処理装置２００の機能ブロックにより実行される。

まず、図１３に示すＳ７０１～Ｓ７０２については図７の説明と同様であるため説明を省略する。Ｓ１３０１にて、表示制御部２０６は、撮像装置１００のパン値チルト値およびズーム値の変更可能範囲の情報を取得する。Ｓ１３０２にて、表示制御部２０６は、パン値チルト値およびズーム値の各々の値の変更可能範囲と基準被写体の位置とに基づき、制御不可候補と制御可能候補を特定する。このとき表示する配置候補の数として上限が所定値（例えば６）に設定されている場合、表示制御部２０６は、当該所定値までの制御可能候補を特定する。Ｓ１３０３にて、表示制御部２０６は、特定した制御可能候補の配置候補が表示されるよう表示ウィンドウ５０１を更新する。

以上説明したように本実施形態における情報処理装置２００は、制御できない配置候補をグレーアウトとして表示したり、制御可能な配置候補だけを表示するようにする。このようにすることで、制御できない配置候補がユーザに選択されてしまうことを抑制することができる。

（その他の実施形態）
次に図１４を参照して、各実施形態の各機能を実現するための情報処理装置２００のハードウェア構成を説明する。なお、以降の説明において情報処理装置２００のハードウェア構成について説明するが、撮像装置１００も同様のハードウェア構成によって実現されるものとする。

本実施形態における情報処理装置２００は、ＣＰＵ１４００、ＲＡＭ１４１０、ＲＯＭ１４２０、ＨＤＤ１４３０、および、Ｉ／Ｆ１４４０を有している。

ＣＰＵ１４００は情報処理装置２００を統括制御する中央処理装置である。ＲＡＭ１４１０は、ＣＰＵ１４００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ１４１０は、ＣＰＵ１４００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ１４１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ１４２０は、ＣＰＵ１４００が情報処理装置２００を制御するためのプログラムなどを記憶する。ＨＤＤ１４３０は、画像データ等を記録する記憶装置である。

Ｉ／Ｆ１４１０は、ネットワーク３００を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

なお、上述した各実施形態の説明では、ＣＰＵ１４００が処理を実行する例について説明するが、ＣＰＵ１４００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ディスプレイ４００にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＲＯＭ１４２０からプログラムコードを読み出してＲＡＭ１４１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報処理装置２００の各部は、図１０に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

なお、上述した各実施形態に係る情報処理装置２００の１以上の機能を他の装置が有していてもよい。例えば、各実施形態に係る情報処理装置２００の１以上の機能を情報処理装置２００が有していてもよい。なお、上述した各実施形態を組み合わせて、例えば、上述した実施形態を任意に組み合わせて実施してもよい。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

１００ 撮像装置
２００ 情報処理装置
２０１ 通信部
２０２ 記憶部
２０３ 検出部
２０４ 特定部
２０５ 操作受付部
２０６ 表示制御部
２０７ 範囲制御部

Claims (11)

1. 撮像手段により撮像された画像を取得する取得手段と、
   前記撮像手段の撮像範囲における被写体が第１位置に配置される構図に対応する第１配置候補と、前記撮像範囲における前記被写体が前記第１位置と異なる第２位置に配置される構図に対応する第２配置候補とを少なくとも含む複数の配置候補を表示手段に表示させる表示制御手段と、
   前記複数の配置候補のうちの１つのユーザに選択された場合、選択された配置候補の情報に基づき、前記撮像範囲を制御する処理を実行する制御手段と、を有し、
   前記表示手段に表示される前記複数の配置候補は、前記画像から検出された被写体の位置又は当該被写体の顔向きに従って決定されることを特徴とする情報処理装置。
2. 前記画像から検出された複数の被写体の各々の位置に基づき、前記表示制御手段に表示する前記複数の配置候補が決定されることを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記撮像手段のパン値、チルト値、およびズーム値の少なくともいずれかを変更することで前記撮像範囲を制御し、
   前記表示制御手段は、前記被写体の位置と、前記パン値、前記チルト値、および前記ズーム値の各々の変更可能範囲とに基づき、ユーザに選択された場合であっても制御できない配置候補である制御不可候補を特定することを特徴とする請求項１に記載の情報処理装置。
4. 前記表示制御手段は、前記制御不可候補を他の配置候補と異なる表示態様で前記表示手段に表示させることを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御手段は、前記表示手段に表示される前記複数の配置候補として、前記制御不可候補を除いた配置候補が表示されるようにすることを特徴とする請求項３に記載の情報処理装置。
6. 前記画像から検出された複数の人物についてグルーピングを実行する処理手段を更に有し、
   前記表示制御手段は、前記複数の配置候補として、前記処理手段によりグルーピングされた第１グループに対する一又は複数の配置候補と、前記処理手段によりグルーピングされた第２グループに対する一又は複数の配置候補とを前記表示手段に表示することを特徴とする請求項１に記載の情報処理装置。
7. 前記第１グループに対する一又は複数の配置候補のいずれか１つの配置候補が選択された場合、当該選択された配置候補と、当該第１グループに含まれる被写体の位置とに従って、前記制御手段は、前記撮像範囲を制御し、
   前記第２グループに対する一又は複数の配置候補のいずれか１つの配置候補が選択された場合、当該選択された配置候補と、当該第２グループに含まれる被写体の位置とに従って、前記制御手段は、前記撮像範囲を制御することを特徴とする請求項６に記載の情報処理装置。
8. 前記表示制御手段は、前記取得手段により取得された画像、および、前記複数の配置候補、の両方を前記表示手段に表示させることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記表示手段に表示される前記第１配置候補は、前記撮像範囲を示す領域において前記第１位置に対応して被写体を示すアイコンが配置された図形であり、
   前記表示手段に表示される前記第２配置候補の情報は、前記撮像範囲を示す領域において前記第２位置に対応して被写体を示すアイコンが配置された図形であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 撮像手段により撮像された画像を取得する取得工程と、
    前記撮像手段の撮像範囲における被写体が第１位置に配置される構図に対応する第１配置候補と、前記撮像範囲における前記被写体が前記第１位置と異なる第２位置に配置される構図に対応する第２配置候補とを少なくとも含む複数の配置候補を表示手段に表示させる表示制御工程と、
    前記複数の配置候補のうちの１つのユーザに選択された場合、選択された配置候補の情報に基づき、前記撮像範囲を制御する処理を実行する制御工程と、を有し、
    前記表示手段に表示される前記複数の配置候補は、前記画像から検出された被写体の位置又は当該被写体の顔向きに従って決定されることを特徴とする情報処理方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images