JP2023091490A - 情報処理装置、情報処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】被写体の位置が変化した場合でも適切な映像を取得するための技術を提供する。【解決手段】情報処理装置（１０１）であって、第１の撮影手段（１０３）が撮影する領域を第１の撮影領域から第２の撮影領域へ変更する指示を受信する受信手段（４１３）と、指示が受信された場合における第２の撮影領域と予め関連付けられた被写体について、被写体の現在の位置情報を取得する取得手段（４０３）と、位置情報に基づいて、第２の撮影領域における所定位置と被写体の位置との差分を取得する差分取得手段（４０４）と、差分に基づいて第１の撮影手段の画角を変更することにより第２の撮影領域を変更する補正手段（４０５）とを備える。【選択図】 図７

Description

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関する。

近年、オンラインイベント等の増加に伴いライブ配信や映像制作の需要が高まっている。例えば、音楽イベントや演劇などのエンターテイメント映像撮影、講義などのｅラーニングシステム、オンラインプレゼンテーションやオンライン会議などのビジネス用途が挙げられる。また、配信・撮影設備がない既存の教室にカメラを設置することで講義を収録・ライブ配信することが多く、できるだけ少数のカメラで撮影を行う。上述のように様々な場所で撮影を行うために、機材やカメラマン、オペレータを配置するスペースが限られていることも多く、少人数で撮影を行うことがある。

こういった状況で映像を撮影する際には複数の画角を一台のカメラで撮影することが可能なＰＴＺ（パン・チルト・ズーム）カメラのプリセット機能が用いられる。パン・チルトは、それぞれレンズもしくはカメラ全体をカメラの設置面に対して水平方向、垂直方向に回転させる機能である。ズームは、カメラの撮像センサが出力する画像の拡大もしくは縮小を行う機能である。カメラのプリセット機能は、カメラを操作するオペレータが事前にＰＴＺ値を指定して撮影領域を定めるものであり、自動で複数の撮影領域を巡回するプリセット巡回や、オペレータが特定のプリセットを指定して撮影領域を変更するプリセット移動などの機能がある。

特許文献１では、ＰＴＺカメラのプリセット巡回中などにおいて、撮像センサから入力された画像データに対して構図のスコア付けを行うことで、品質の高い画像を自動で撮影する技術が開示されている。写真・映像の撮影における構図とは、画像を構成する被写体、画面上の被写体の位置や、画面に占める被写体の大きさのことを指す。

特許６７２９５７２号公報

しかしながら、従来の技術では、プリセットの指定によって撮影領域を移動した際に、移動先の撮影領域で被写体が移動してしまうと、オペレータが意図した構図で撮影を継続することができない。意図した構図が成立しない場合に、オペレータはプリセットの移動後に、手動でカメラを操作して画角を補正する必要があり、手動のＰＴＺによる映像のブレが発生するため、連続したスムーズな映像を取得することが難しい。このように、被写体の位置が変化した場合に適切な映像を取得することが難しいという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、被写体の位置が変化した場合でも適切な映像を取得するための技術を提供することを目的とする。

上記の目的を達成する本発明の一態様による情報処理装置は、
第１の撮影手段が撮影する領域を第１の撮影領域から第２の撮影領域へ変更する指示を受信する受信手段と、
前記受信手段により前記指示が受信された場合における前記第２の撮影領域と予め関連付けられた被写体の位置情報を取得する取得手段と、
前記位置情報に基づいて、前記第２の撮影領域における所定位置と前記被写体の位置との差分を取得する差分取得手段と、
前記差分に基づいて前記第１の撮影手段の画角を変更することにより前記第２の撮影領域を変更する変更手段と、
を備えることを特徴とする。

本発明によれば、被写体の位置が変化した場合でも適切な映像を取得することが可能となる。

一実施形態に係る情報処理システムの構成例を示す図。 一実施形態に係る時間経過に伴う状況変化の一例を示す概念図。 一実施形態に係る情報処理装置のハードウェア構成例を示す図。 一実施形態に係る情報処理装置のソフトウェア論理構成（機能構成）例を示す図。 一実施形態に係る情報処理装置が実施するプリセット登録時の処理の手順を示すフローチャート。 一実施形態に係る情報処理装置によってプリセット登録時に保存される情報の説明図。 一実施形態に係る情報処理装置が実施する映像撮影時の処理の手順を示すフローチャート。 一実施形態に係る被写体を画面中心とする構図が成立しない場合の補正例を示す図。 一実施形態に係る撮影される被写体数に変化が発生する場合の補正例を示す図。 一実施形態に係る撮影される被写体の大きさが変化した場合の補正例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜システム構成＞
図１を用いて、本実施形態に係る、複数のカメラを含む情報処理システムの構成例について説明する。

本実施形態に係るシステムは、情報処理装置１０１と、ＰＴＺカメラ１０３と、俯瞰カメラ１０４とを含み、それらがネットワーク１０２を介して接続されている。ＰＴＺカメラ１０３には複数のプリセットを登録することができる。プリセットは、ＰＴＺカメラ１０３を操作するオペレータが事前にＰＴＺ値を指定して撮影領域を定めた情報である。プリセットの登録の際には、撮影領域に含まれる被写体を当該撮影領域と関連付ける。例えば、撮影領域の所定位置に被写体がいる状況でプリセット登録する場合に、撮影領域と、撮影領域内の被写体の位置（初期位置）とを関連付けて登録を行う。

オペレータは情報処理装置１０１を介してプリセットを指定することで、撮影領域の変更指示をＰＴＺカメラ１０３に対して出力する。上述の撮影領域とプリセットとは一対一の関係になっている。本構成例では、ＰＴＺカメラ１０３は被写体を様々な構図で撮影するカメラであり、パン、チルト、及びズームの少なくとも１つを制御可能なカメラである。俯瞰カメラ１０４は、ＰＴＺカメラ１０３に設定された複数のプリセットによって設定される各撮影領域の全てを撮影することができる広角カメラである。すなわち、俯瞰カメラ１０４は、ＰＴＺカメラ１０３による撮影領域を俯瞰する画像を撮影するカメラである。この俯瞰カメラ１０４によって撮影された画像に基づいて、被写体位置情報の取得を行う。ＰＴＺカメラ１０３や俯瞰カメラ１０４で撮影された映像は、各カメラやネットワーク１０２を介して接続された記憶装置に記録してもよい。

また、情報処理装置１０１は、上記のような動作を行うコンピュータ装置であり、パーソナルコンピュータ、スマートフォン、タブレット端末装置などで構成することができる。また、プリセットの切り替えは、オペレータが手動で実施するのではなく、情報処理装置１０１、もしくはＰＴＺカメラ１０３にプリセット巡回をプログラムすることで自動的に実施してもよい。なお、図１は、本実施形態のシステムにおいて、以下の説明で参照する主要な構成を示したものであり、図示した構成に加えて、さらなる装置を含んでも構わない。例えば、ＰＴＺカメラや俯瞰カメラは複数あってもよい。また、カメラを操作したり、画像送信を制御したりするサーバ装置や、データ通信を中継する装置などの他の装置を含んでもよい。

＜撮影条件と撮影領域＞
図２を用いて、本実施形態に係る撮影条件と撮影領域（プリセット）の移動について説明する。図２には時間経過によって変化する状況を、状況２１に示す時間ｔ１、状況２２に示す時間ｔ２、状況２３に示す時間ｔ３、状況２４に示す時間ｔ４で表している。本実施形態では、ＰＴＺカメラ１０３に、被写体２０１を撮影する撮影領域２０５が設定されたプリセットＡと、被写体２０２を撮影する撮影領域２０３が設定されたプリセットＢとが登録されている。

まず、時間ｔ１でＰＴＺカメラ１０３は、プリセットＢをオペレータに指定され、撮影領域２０３において、被写体２０２を撮影している。時間ｔ２において、プリセットＡの撮影をオペレータによって指定される。プリセットＡの指定を受けたＰＴＺカメラ１０３は、撮影領域２０５において、被写体２０１の撮影を行う。時間ｔ３において、プリセットＢの撮影対象である被写体２０２が移動する。この際、情報処理装置１０１は、俯瞰カメラ１０４から取得した撮影領域２０４内で捉えている被写体２０２が移動したことを俯瞰カメラ１０４の画像から検知し、被写体２０２の位置情報を取得することができる。

時間ｔ４において、オペレータが再度プリセットＢを指定すると、情報処理装置１０１は、俯瞰カメラ１０４の画像から取得した被写体２０２の位置情報に基づいて、移動前の被写体２０２を撮影するプリセットＢに設定された撮影領域２０３ではなく、移動後の被写体２０２を撮影する撮影領域２０７に変更するようにＰＴＺカメラ１０３にＰＴＺ指示を出す。

＜ハードウェア構成＞
図３は、本実施形態に係る情報処理装置１０１のハードウェア構成例を示す図である。図３を用いて本実施形態に係る情報処理装置１０１について説明する。情報処理装置１０１は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、操作部３０４、出力制御部３０５、および通信Ｉ／Ｆ３０６を有する。なお、図３の例では、情報処理装置１０１、ＰＴＺカメラ１０３、俯瞰カメラ１０４は何れもＬＡＮなどのネットワーク１０２に接続されているものとしているが、それぞれの装置間をつなぐネットワークの形態には様々な形態があり、特定の形態に限らない。

ＣＰＵ３０１は、ＲＯＭ３０３に格納されたプログラムに基づいて動作し、情報処理装置１０１全体の制御を行う１以上のＣＰＵである。ＲＯＭ３０３は、情報処理装置１０１の起動時にＣＰＵ３０１により実行されるブートプログラムや、情報処理装置１０１の処理を実行するための命令プログラム、および、これらのプログラムによって使用されるデータ等を格納する。

ＣＰＵ３０１は、操作部３０４と出力制御部３０５を介して、ディスプレイ等の出力装置、および、キーボードやマウス、カメラコントローラ、カメラスイッチャー等の入力装置を制御する。ＣＰＵ３０１は、操作部３０４を介してデータを取得する。また、ＣＰＵ３０１は、生成したデータを、出力制御部３０５を介して出力装置へ出力する。例えば、図３のハードウェア構成が実施形態に係る情報処理装置１０１として機能する場合、情報処理装置１０１のＣＰＵ３０１は、ＲＡＭ３０２上にロードされたプログラムを実行することにより、情報処理装置１０１の機能を実現する。

通信Ｉ／Ｆ３０６は、ネットワーク１０２を介して他の機器からデータを受信してＣＰＵ３０１へ送り、ＣＰＵ３０１が生成したデータを、ネットワーク１０２を介してＰＴＺカメラ１０３、俯瞰カメラ１０４などの他の機器へ送信する。さらに、それらのネットワークに接続された機器は、通信Ｉ／Ｆ３０６を介して情報処理装置１０１と通信する。また、ＲＯＭ３０３には、ネットワーク１０２から通信Ｉ／Ｆ３０６を介して、ＰＴＺカメラ１０３や俯瞰カメラ１０４によって取得される画像データなどが格納される。情報処理装置１０１のＣＰＵ３０１は、これらのプログラムをＲＯＭ３０３からＲＡＭ３０２に読み込んで実行するが、他の例として、他の装置から通信Ｉ／Ｆ３０６を介してこれらのプログラムを取得してもよい。

＜ソフトウェア構成（機能構成）＞
図４は、本実施形態に係る情報処理装置１０１のソフトウェア論理構成（機能構成）例を示す図である。情報処理装置１０１は、画像取得部４０１、被写体抽出部４０２、位置情報取得部４０３、位置変化量取得部４０４、補正部４０５、撮影制御部４０６、プリセット指示受信部４１３、プリセット登録部４１４を含む。また、図４において、４１０は画像データ、４１１は被写体情報データ、４１２は位置情報データ、４１５はプリセット情報である。

画像取得部４０１は、ＰＴＺカメラ１０３及び／又は俯瞰カメラ１０４から画像データ４１０を取得する。被写体抽出部４０２は、画像取得部４０１により取得された画像から被写体を抽出して被写体情報データ４１１を取得する。位置情報取得部４０３は、俯瞰カメラ１０４の画像から抽出された被写体の位置情報データ４１２を取得する。

位置変化量取得部４０４は、抽出された被写体の位置情報と、プリセット情報における撮影領域内の当該被写体の初期位置との差分に基づいて、被写体の位置変化量を取得する（差分取得）。補正部４０５は、位置変化量が閾値以上である場合に、当該位置変化量に基づいて、プリセット指示受信部４１３により受信されたプリセット指示に対応する撮影領域を補正する。撮影制御部４０６は、補正部４０５により補正された撮影領域を撮影するように、又は、補正部４０５による補正が行われない場合にはプリセット指示に対応する撮影領域を撮影するように、ＰＴＺカメラ１０３を制御する。

プリセット指示受信部４１３は、ＰＴＺカメラ１０３の撮影構図を、複数のプリセットのうちの１つを指定して変更する指示を受信する。プリセット登録部４１４は、被写体情報データ４１１と位置情報データ４１２とに基づいて、プリセット登録時に存在した被写体と、被写体の位置情報とを特定可能なプリセット情報を生成して登録する。

以降では、図４に示した論理構成を有する情報処理装置１０１によって行われる処理について、図５と図７のフローチャートに従って説明する。なお、以下では図４に示した各部、もしくは部を構成する各機能部を処理の主体として説明する。しかし、実際には、情報処理装置１０１の機能部の機能をＣＰＵ３０１に実現させるためのコンピュータプログラムをＣＰＵ３０１が実行することで、情報処理装置１０１の機能部の機能を実現させている。なお、図４に示した機能部はハードウェアで実装しても構わない。

＜プリセット登録時の処理＞
図５は、本実施形態に係る情報処理装置が実施するプリセット登録時の処理の手順を示すフローチャートである。以下のプリセット登録処理は、撮影構図のプリセットを１つ登録する際に行われる処理であり、複数のプリセットを登録する場合は、図５に示すステップＳ５０１からステップＳ５０４までの処理を繰り返す。

ステップＳ５０１では、画像取得部４０１は、オペレータによってプリセット登録が指示されると、ＰＴＺカメラ１０３及び俯瞰カメラ１０４から画像データ４１０を取得し、ＲＡＭ３０２に格納する。画像データは、静止画、もしくは動画の連続したフレームの内の１フレームであってもよい。

ステップＳ５０２では、被写体抽出部４０２は、取得された画像データから図２に示したような被写体２０１や被写体２０２等の被写体を抽出する。抽出した被写体情報データ４１１は位置情報取得部４０３に対して出力される。画像を用いた物体認識として、一般物体認識が広く知られているが、本実施形態でも同様に抽出する被写体は人物に限らず、画像から認識できる被写体であれば抽出を行ってもよい。ただし、事前に抽出する対象を定められるようにしたり、構図の再現に不要な被写体を抽出対象から除くようにしたりしてもよい。

ステップＳ５０３では、位置情報取得部４０３は、被写体情報データ４１１に従って、俯瞰カメラ１０４の画像データから抽出された被写体の位置情報（プリセット登録時の位置）を取得し、位置情報データ４１２を出力する。この際、位置情報取得部４０３は、ＰＴＺカメラ１０３から取得した画像と、俯瞰カメラ１０４から取得した画像に含まれる被写体との対応付けを行い、ＰＴＺカメラ１０３の画像に含まれる被写体の位置情報のみを取得する。異なる画像に写る同一被写体の対応付けの手法としては、特徴量マッチングなどが広く知られている。また、画像から位置を取得する方法として、事前に基準マーカを設置することで被写体の実座標を取得する方法や、画像のボケ形状などから演算する方法が知られており、位置情報の取得方法は特に限定されない。

なお、被写体位置は、画像から認識される人物等の被写体領域の中心位置（例えば重心位置）の座標としてもよいし、被写体の特定の部位がプリセットによって撮影される場合は、部位領域の中心座標（例えば重心座標）を被写体位置としてもよい。

ステップＳ５０４では、プリセット登録部４１４は、被写体情報データ４１１と、位置情報データ４１２とに基づいて、被写体と、被写体の位置情報とを特定可能なプリセット情報４１５を出力する。ここで登録される被写体の位置は初期位置となる。

＜プリセット情報の例＞
ここで、図６を参照して、本実施形態に係るプリセット情報４１５の例を説明する。保存されるプリセット情報は、ＰＴＺカメラ１０３の撮影領域を特定するＰＴＺ値と関連付けられる情報であり、プリセットＩＤ、被写体ＩＤ、被写体識別情報、及び初期位置の情報を含み、さらに現在位置の情報を格納可能である。

プリセット及び被写体には、それぞれ一意に識別することが可能なプリセットＩＤ及び被写体ＩＤを付与する。被写体識別情報とは、画像から被写体を抽出する際、もしくは画像から位置情報を取得する際に用いた被写体の特徴量の情報である。被写体識別情報は、被写体を高精度に識別できる情報であればいずれの情報であってもよい。

また、被写体の現在の位置情報として現在位置をさらに格納することができる。現在位置は、初期位置と同様の値を設定し、図７を参照して後述する処理によって更新される。そのため、最初に処理を開始した時には、現在位置の情報は存在せず、初期位置の情報だけが含まれることになる。

プリセットＩＤ、被写体ＩＤ、被写体識別情報、被写体の初期位置を関連付けて保存することで、プリセット指定を受け付けた時に、指定されたプリセットに含まれる被写体の情報と、その被写体のプリセット登録時の初期位置とを取得することができる。

また、同一プリセット内に複数の被写体が存在する場合には、複数の被写体の位置情報を取得して、それぞれ保存してもよい。その場合、１つのプリセットＩＤについて、複数の被写体ＩＤ、複数の被写体識別情報、複数の初期位置、複数の現在位置が関連付けられることになる。

＜撮影時の処理＞
続いて、図７は、本実施形態に係る映像の撮影中の処理の手順を示すフローチャートである。この処理は映像の記録開始を起点に開始してもよい。また、情報処理システムの起動を起点に処理を開始してもよいし、プリセットが１つ以上登録されてから処理を開始してもよい。

ステップＳ７０１では、画像取得部４０１は、俯瞰カメラ１０４から画像を取得し、被写体抽出部４０２に対して画像データ４１０を出力する。ステップＳ７０２では、被写体抽出部４０２は、予め登録されているプリセット情報４１５を取得する。そして、被写体抽出部４０２は、プリセット情報４１５に従って、画像データ４１０から被写体を抽出し、被写体情報データ４１１を位置情報取得部４０３に出力する。

ステップＳ７０３では、位置情報取得部４０３は、被写体情報データ４１１に従って、俯瞰カメラ１０４の画像データから抽出された被写体の現在位置を取得し、プリセット情報４１５に含まれる被写体の現在位置を更新する。更新の対象となるのは、プリセット情報４１５に含まれ、かつ俯瞰カメラ１０４から取得された画像から検出できる全ての被写体の現在位置である。

ステップＳ７０４では、プリセット指定受信部４１３は、オペレータから撮影領域の変更指示を行うためのプリセット指定を受信したか否かを判定する。プリセット指定が受信された場合、指定されたプリセットのプリセットＩＤを位置変化量取得部４０４に対して出力し、ステップＳ７０５へ進む。一方、プリセット指定が受信されていない場合、ステップＳ７０１に戻る。

なお、ステップＳ７０１からステップＳ７０４までの処理は、俯瞰カメラ１０４のフレームレートに依存して、映像の１フレームが取得される度に実行してもよいし、特定時間内に繰り返す回数を任意に設定できるようにしてもよい。

ステップＳ７０５では、位置変化量取得部４０４は、プリセット情報４１５から、入力されたプリセットＩＤに関連付けられている置情報等を取得し、被写体のプリセット登録時の初期位置と現在位置とを比較することで、位置変化量を計算して取得する。

ステップＳ７０６では、補正部４０５は、被写体の位置変化量が閾値以上であるか否かを判定する。被写体の位置変化量が閾値以上である場合、構図に影響を及ぼすためＰＴＺ画角補正が必要であると判定できることから、ステップＳ７０７へ進む。一方、被写体の位置変化量が閾値未満である場合、ステップＳ７０９へ進む。閾値は任意に変更できるようにしてもよい。

ステップＳ７０７では、補正部４０５は、被写体の位置変化に合わせて計算したＰＴＺカメラ１０３のＰＴＺ値を決定する。補正後（変更後）のＰＴＺ値は、補正値計算部４０６が出力する位置変化量の計算結果をＰＴＺカメラ１０３が用いる座標系に変換することで、決定される。例えば、ＰＴＺ値は、被写体の現在位置に基づいて撮影領域内がプリセット登録時と同様の構図となるように撮像方向とズーム倍率を制御することにより決定される。このＰＴＺ値の補正例については後述する。

ステップＳ７０８では、撮影制御部４０９は、補正されたＰＴＺ値をＰＴＺカメラ１０３に対して出力することで、ＰＴＺカメラ１０３のＰＴＺ移動を実行する。ステップＳ７０９では、撮影制御部４０９は、プリセット登録されたＰＴＺ値をＰＴＺカメラ１０３に対して出力することで、ＰＴＺカメラ１０３のＰＴＺ移動を実行する。以上で図７の一連の処理が終了する。

＜ＰＴＺ値の補正＞
次に、図８（ａ）乃至図８（ｄ）から図１０（ａ）乃至図１０（ｃ）を用いて、本実施形態に係るＰＴＺ値の補正例を説明する。

図８（ａ）乃至図８（ｄ）は、被写体の移動によって、被写体を画面中心とする構図が成立しない場合の補正例を示す図である。まず、図８（ａ）は、プリセット登録時に設定されたＰＴＺ値で、ＰＴＺカメラ１０３が取得する映像の例を示す。図８（ａ）に示すプリセットは人物を被写体として、頭部全体を撮影領域に入れるような撮影を行う撮影領域が設定されている。

図８（ｂ）は、被写体の頭部がプリセット登録時の撮影領域の中心位置から移動した後に、プリセット登録時に設定されたＰＴＺ値において、ＰＴＺカメラ１０３が取得した場合の映像の例を示す。移動後の被写体の頭部の中心を点Ｐとして示す。

図８（ｃ）は、画角補正を行う場合の補正値の例について示す。例えば、図８（ｃ）に示すように、画面中心を基準として、点Ｐとのパン方向の距離、チルト方向の距離を算出することで、ＰＴＺカメラ１０３の補正値を計算することができる。図８（ｃ）の場合では、ＰＴＺカメラ１０３からの距離の変化が無いため、点Ｐに対するパン、チルト方向の距離がそれぞれ補正値ｘとｙとなる。従って、図８（ｃ）に示すように補正値ｘ、補正値ｙだけ撮影領域をシフトさせる補正を行うことで、図８（ｄ）に表すように被写体の頭部が撮影領域の中心で撮影できる構図を再現することができる。このように、補正後の撮影領域の中心に被写体が位置するように画角を補正する。

続いて、図９（ａ）乃至図９（ｄ）は、被写体の移動によって、被写体数に変化が発生する場合の補正例を示す図である。まず、図９（ａ）は、プリセット登録時に設定されたＰＴＺ値で、ＰＴＺカメラ１０３が取得する映像の例を示す。図９（ａ）に示すプリセットでは、二人の人物を被写体としており、二人の人物の頭部全体を撮影領域に含めるような撮影を行う撮影領域が設定されている。

図９（ｂ）は、被写体の移動前の状態と移動後の状態とを頭上から俯瞰して比較した例を示す。図９（ｂ）に示す移動後の例において、被写体の人物の内、一名が図９（ａ）に示したＰＴＺカメラ１０３で取得できる撮影領域の外に出るように移動を行っている。

図９（ｃ）は、被写体がプリセット登録時の撮影領域外へ移動した後に、プリセット登録時に設定されたＰＴＺ値で、ＰＴＺカメラ１０３が取得した場合の映像の例を示す。

図９（ｄ）は、画角補正を行った場合にＰＴＺカメラ１０３から取得される映像の例を示す。例えば、補正の方法として、ＰＴＺカメラ１０３のズーム値をワイド側に補正することで、二人の被写体の両方が撮影領域に入るように補正を行ってもよい。また、複数被写体の重心位置を画面中心とするために、二人の人物の頭部の中心である点Ｐ、点Ｑの中点である点Ｃの位置が画面中心となるように補正ＰＴＺ値を計算してもよい。このように、これから変更されるプリセットの撮影領域と予め関連付けられた被写体の数に対する、補正後の撮影領域に含まれる被写体の数の変化が少なくなるように画角を補正する。

そして、図１０（ａ）乃至図１０（ｃ）は、被写体の移動によって、撮影される被写体の大きさが変化した場合の補正例を示す図である。

まず、図１０（ａ）は、プリセット登録時に設定されたＰＴＺ値で、ＰＴＺカメラ１０３が取得する映像の例を示す。図１０（ａ）に示すプリセットは、三人の人物を被写体として、三人の人物の頭部全体を撮影領域に含めるような撮影を行う撮影領域が設定されている。また、この際の頭部領域をそれぞれ点線で示し、頭部領域の高さをＡ、Ｃ、Ｅとし、頭部領域の幅をＢ、Ｄ、Ｆとする。

図１０（ｂ）は、被写体の内の一人がＰＴＺカメラ１０３に対して接近するように移動した場合に、プリセット登録時に設定されたＰＴＺ値で、ＰＴＺカメラ１０３が取得した場合の映像の例を示す。この例では、移動後の被写体の領域のサイズは図に示すようにプリセット登録時よりも大きな高さＧ、幅Ｈとなる。

図１０（ｃ）は、画角補正を行った場合にＰＴＺカメラ１０３から取得される映像の例を示す。例えば、補正の方法として、ＰＴＺカメラ１０３のズーム値をワイド側に補正することで、被写体の領域サイズＧとＨが、プリセット登録を行った時点のサイズＣとＤに近傍となるようにしても良い。ただし、三人の被写体の内、一人だけがＰＴＺカメラ１０３に近づいているため、その人物を基準にズーム値の補正を行うと、残りの二人の頭部領域のサイズが、プリセット登録を行った時点と比較して小さくなってしまう。

このような場合、例えば、Ｉ×Ｊ、Ｋ×Ｌ、Ｍ×Ｎで示す領域サイズの平均値が、Ａ×Ｂ、Ｃ×Ｄ、Ｅ×Ｆの平均値になるようにＰＴＺ値を調整してもよい。すなわち、これから変更されるプリセットの撮影領域と予め関連付けられた被写体の大きさに対する、補正後の撮影領域に含まれる被写体の大きさの変化が小さくなるように画角を補正する。また、領域サイズの最大、もしくは最小のサイズを事前に定め、定められたサイズに収まるようにＰＴＺ値を補正してもよい。

図８（ａ）乃至図８（ｄ）から図１０（ａ）乃至図１０（ｃ）、もしくは他の補正方法による補正結果が相反する場合、オペレータが事前に優先する補正内容を定めてもよい。すなわち、複数の補正方法を用いてＰＴＺカメラの画角を補正する際に複数の補正方法が相反して同時に実行できない場合には、予め定められた補正方法を優先してもよい。すなわち、複数の補正方法（変更方法）のうち、所定の優先度に応じた補正方法（変更方法）を実行してもよい。また、プリセットごとに優先する補正内容を決定してもよい。これにより、より構図の再現性を高めることができる。

なお、補正方法は、図８（ａ）乃至図８（ｄ）から図１０（ａ）乃至図１０（ｃ）に示す補正例に限定されない。例えば、被写体の移動に合わせてＰＴＺ値の補正を行ってもよい。また、上述のように被写体は人物に限定されず、オペレータが意図した構図に含まれ、画像から認識できる物体であれば、何れの物体であってもよい。

変更先の撮影領域と予め関連付けられた被写体の数に対して当該撮影領域に含まれる被写体の数が増加した場合、撮影領域と予め関連付けられた被写体が補正後の撮影領域内に収まるように且つ大きさが最大となるように画角を補正するように構成してもよい。例えば被写体数が当初の構図では撮影領域内に被写体Ａ、Ｂ、Ｃの３人が存在していたものの、被写体が移動した結果、今回のプリセット移動によって撮影領域内に被写体Ａ、Ｂ、Ｃ、Ｄの４人に増加する場合、被写体Ａ、Ｂ、Ｃが撮影領域内に収まるように且つ被写体Ａ、Ｂ、Ｃの大きさが撮影領域内で最大となるように画角を補正してもよい。この際、結果として被写体Ｄの一部又は全部が撮影領域内に含まれてもよいし、含まれなくてもよい。あるいは、最大となるように補正するのではなく、被写体Ａ、Ｂ、Ｃの重心位置が撮影領域の中心（例えば画面中心）となるように補正してもよい。また、これらを組み合わせて実行してもよい。

以上説明したように、本実施形態では、ＰＴＺカメラ１０３が撮影する領域をプリセットの領域に変更する指示を受信した場合に、プリセットにおいて関連付けられている被写体を撮影する俯瞰カメラ１０４から当該被写体の現在位置の情報を取得する。そして、現在位置の情報に基づいて、プリセットの領域における所定位置（例えば画面中心位置）からの被写体の位置変化量を取得し、位置変化量に基づいてＰＴＺカメラ１０３の画角を補正することによりプリセットの領域を補正する。

これにより、プリセット移動を行った際に所望の被写体を適切な位置、大きさ等で自動追従することができ、プリセット移動後の調整の手間を削減することが可能となる。従って、被写体の位置が変化した場合でも連続したスムーズな映像を取得することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：情報処理装置、１０３：ＰＴＺカメラ、１０４：俯瞰カメラ、４０１：画像取得部、４０２：被写体抽出部、４０３：位置情報取得部、４０４：位置変化量取得部、４０５：補正部、４０６：撮影制御部、４１１：プリセット登録部、４１３：プリセット指示受信部

Claims (12)

1. 第１の撮影手段が撮影する領域を第１の撮影領域から第２の撮影領域へ変更する指示を受信する受信手段と、
   前記受信手段により前記指示が受信された場合における前記第２の撮影領域と予め関連付けられた被写体の位置情報を取得する取得手段と、
   前記位置情報に基づいて、前記第２の撮影領域における所定位置と前記被写体の位置との差分を取得する差分取得手段と、
   前記差分に基づいて前記第１の撮影手段の画角を変更することにより前記第２の撮影領域を変更する変更手段と、
   を備えることを特徴とする情報処理装置。
2. 前記変更手段は、前記差分が閾値以上である場合に前記第２の撮影領域を変更し、前記差分が閾値未満である場合には前記第２の撮影領域を変更しないことを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の撮影領域又は前記変更手段により変更された撮影領域に従って撮影を行うように前記第１の撮影手段を制御する制御手段をさらに備えることを特徴とする請求項２に記載の情報処理装置。
4. 前記変更手段は、変更後の撮影領域の中心に前記被写体が位置するように前記画角を変更することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記変更手段は、前記第２の撮影領域と予め関連付けられた被写体の数に対する、補正後の撮影領域に含まれる被写体の数の変化が少なくなるように前記画角を変更することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 前記変更手段は、前記第２の撮影領域と予め関連付けられた被写体の大きさに対する、変更後の撮影領域に含まれる被写体の大きさの変化が小さくなるように前記画角を変更することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記変更手段は、前記第２の撮影領域と予め関連付けられた被写体の数に対して前記第２の撮影領域に含まれる被写体の数が増加した場合、前記第２の撮影領域と予め関連付けられた被写体が撮影領域内に収まるように且つ被写体の大きさが撮影領域内で最大となるように前記画角を変更することを特徴とする請求項１乃至３の何れか1項に記載の情報処理装置。
8. 前記変更手段は、複数の変更方法のうち、所定の優先度に応じた変更方法を実行することを特徴とする請求項１乃至７の何れか1項に記載の情報処理装置。
9. 前記取得手段は、前記第１の撮影手段よりも広角の第２の撮影手段により取得された画像に基づいて、前記被写体の位置情報を取得することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記第１の撮影手段は、パン、チルト、及びズームの少なくとも１つを制御可能なＰＴＺカメラであり、
    前記第２の撮影手段は、前記第１の撮影手段による撮影領域を俯瞰する画像を撮影する俯瞰カメラであることを特徴とする請求項９に記載の情報処理装置。
11. 第１の撮影手段が撮影する領域を第１の撮影領域から第２の撮影領域へ変更する指示を受信する受信工程と、
    前記受信工程において前記指示が受信された場合における前記第２の撮影領域と予め関連付けられた被写体について、前記被写体の現在の位置情報を取得する取得工程と、
    前記位置情報に基づいて、前記第２の撮影領域における所定位置と前記被写体の位置との差分を取得する差分取得工程と、
    前記差分に基づいて前記第１の撮影手段の画角を変更することにより前記第２の撮影領域を変更する補正工程と、
    を有することを特徴とする情報処理方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の情報処理装置として機能させるためのプログラム。

Images