JP2022097165A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】カメラの姿勢制御による被写体の位置の変化を把握しやすくする。【解決手段】撮像装置により撮像された撮像画像上にユーザ操作に応じて指定された第１の位置と第２の位置との差分に基づいて、撮像装置の姿勢を制御するための制御情報を求める。制御情報に基づいて撮像装置の姿勢制御を行う。【選択図】図４

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

カメラの撮像部をパン方向又はチルト方向にリモートで駆動可能なパン・チルトカメラが映像制作の現場で使用されている。特許文献１では、撮像画像中に指定される二つの座標の位置関係に基づいて、望遠制御であるか広角制御であるかを判別して制御を行う技術が開示されている。また、特許文献２では、カメラを原点とする絶対座標系において、現在のカメラの向きと、画像上に指定されたポイントとに基づいて、指定されたポイントへとカメラが向くようにカメラの旋回制御を行う技術が開示されている。

特開２０１６－０８２５５６号公報 特開２００７－２３５６９６号公報

しかしながら特許文献１及び２では、撮影者が注目している被写体について、構図変更前後の位置を直接指定しているわけではないため、その被写体が構図の変更によってどの位置からどの位置へと移動するのかを把握することが難しいという課題があった。

本発明は、カメラの姿勢制御による被写体の位置の変化を把握しやすくすることを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、撮像装置により撮像された撮像画像上にユーザ操作に応じて指定された第１の位置と第２の位置との差分に基づいて、前記撮像装置の姿勢を制御するための制御情報を求める第１の算出手段と、前記制御情報に基づいて前記撮像装置の姿勢制御を行う制御手段と、を備える。

カメラの姿勢制御による被写体の位置の変化を把握しやすくする。

実施形態１に係る情報処理装置を含むシステムの一例を示す図。 実施形態１に係る撮像装置の内部構成の一例を示す図。 実施形態１に係る撮像画像の表示画面の一例を示す図。 実施形態１に係る撮像装置の姿勢制御処理を説明するための図。 実施形態１に係る制御方法における処理例のフローチャート。 実施形態１に係る撮像装置の姿勢制御量の算出方法を説明するための図。 実施形態２に係る撮像画像の表示画面の一例を説明するための図。 実施形態２に係る制御方法における処理例のフローチャート。 実施形態２に係る撮像装置の姿勢制御量の算出方法を説明するための図。 実施形態３に係る姿勢制御及びズーム制御処理を説明するための図。 実施形態３に係る制御方法における処理例のフローチャート。 実施形態３に係る姿勢及びズーム制御量の算出方法を説明するための図。 実施形態１に係る情報処理装置の内部構成の一例を示す図。 実施形態４に係る情報処理装置のハードウェア構成の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
本実施形態に係る情報処理装置は、撮像装置による撮像画像を取得する。次いで、取得した撮像画像上の、ユーザ操作に応じて指定された第１の位置と第２の位置との差分に基づいて、撮像装置の姿勢を制御するための制御情報を算出し、算出した制御情報に基づいて撮像装置の姿勢制御を行う。

図１は、本実施形態に係る情報処理装置を含む撮像装置制御システムの構成の一例を示す図である。１００は撮像装置（カメラ）であり、撮像画像を撮像し情報処理装置１１０へと送信する。ここで、撮像装置１００は、時間的に連続する撮像画像（映像）を撮像して情報処理装置１１０へと送信することができるが、以下においては説明のため単に撮像画像を送信するものとする。撮像装置１００は、ネットワーク１４０を介して情報処理装置１１０と相互に通信可能な状態に接続されている。撮像装置１００は、パン・チルト・ズーム機構を備えており、情報処理装置１１０からの指示に応じて姿勢、及びズーム倍率が制御される。以下においては、撮像装置１００は一台のカメラであるものとして説明を行うが、撮像装置１００に含まれる撮像装置の数は特に限定はされない。情報処理装置１１０は、一台の撮像装置に対して姿勢制御の指示を出してもよく、複数台の撮像装置に対して同時に姿勢制御の指示を出してもよい。また、撮像装置１００と情報処理装置１１０は別個の装置であってもよく、同一の装置内に含まれていてもよい。以下、単に「姿勢制御」又は「ズーム制御」と書く場合、撮像装置１００の（パン角、又はチルト角の）姿勢制御又はズーム倍率の制御について述べているものとする。

表示部１２０は、例えばディスプレイなどのモニタであり、情報処理装置１１０によって出力される画像を表示する。表示部１２０は、例えば撮像装置１００によって撮像された画像を、情報処理装置１１０が有する映像出力部１１１を介して取得し、表示することができる。入力部１３０は、例えばマウス又はキーボードであり、ユーザによる情報処理装置１１０への入力を取得する。ユーザは入力部１３０を介して、例えば撮像装置１００の姿勢を制御するための位置の指定を行うことができる。入力部１３０はユーザの入力を取得できるのであれば特に形式は限定されず、例えば表示部１２０を兼ねるタッチパネルに入力を行う形式であってもよい。本実施形態においては、入力部１３０は、情報処理装置１１０が有する入力受付部１１２を介して、情報処理装置１１０へとユーザの入力を送信する。

ネットワーク１４０は撮像装置１００と情報処理装置１１０とを接続するが、その種類は特に限定はされない。ネットワーク１４０は、例えばインターネットであってもよく、ＬＡＮであってもよく、ＷＡＮであってもよく、ＲＳ－２３２Ｃなどのシリアル通信規格を用いた通信であってもよい。ネットワーク１４０は有線の通信であっても無線の通信であってもよい。撮像装置１００は、ネットワーク１４０として、例えばＬＡＮ、ＷＡＮ、ＳＤＩ、又はＨＤＭＩ（登録商標）などを用いて情報処理装置１１０へと画像を送信することができる。

図２は、本実施形態に係る撮像装置１００の機能構成の一例を示すブロック図である。撮像装置１００は、撮像部２０１、画像処理部２０２、画像処理部２０２、システム制御部２０３、コマンド処理部２０４、記憶部２１０、及び通信部２１１を備える。また撮像装置１００は、パン駆動部２０５、チルト駆動部２０６、パン・チルト部２０７、レンズ駆動部２０８、及びレンズ制御部２０９を備える。

撮像部２０１は、撮像用レンズ及び撮像素子から構成され、被写体の撮像及び撮像画像の電気信号への変換を行う。画像処理部２０２は、撮像部２０１による撮像画像から画像データを生成し、システム制御部２０３へと送信する。画像処理部２０２は、撮像画像に対して例えばノイズ除去又はガンマ補正などの画像処理を行うことで、画像データを生成してもよい。

システム制御部２０３は、ＣＰＵ又はＭＰＵなどの１つ以上のプロセッサを有し、記憶部２１０に記憶されたプログラムを実行することにより、撮像装置１００全体を制御する。また、システム制御部２０３は、画像処理部２０２による画像データを通信部２１１を介して情報処理装置１１０へと送信する。システム制御部２０３は、画像処理部２０２に対して、画質調整の設定など、撮像パラメータの指示を行ってもよい。その場合、撮像部２０１は、システム制御部２０３によって指示されたパラメータに従って撮像の調整を行う。さらにシステム制御部２０３は、そのような撮像パラメータ若しくは映像出力設定などの設定値、又はパン・チルトの制御に関する設定などを、記憶部２１０に格納することができる。

また、システム制御部２０３はコマンド処理部２０４を備える。コマンド処理部２０４は、情報処理装置１１０から通信部２１１を介して受信したコマンドを解釈する。ここでこのコマンドは、詳細は後述するが、撮像装置１００の姿勢制御（パン・チルト制御）に関するコマンドであってもよく、ズーム操作に関するコマンドであってもよく、それら両方に関するコマンドであってもよい。これらのコマンドの内容に応じて、コマンド処理部２０４は、パン・チルト部２０７又はレンズ制御部２０９へと指示を送信する。

パン駆動部２０５は、カメラのパン動作を行うメカ駆動系、駆動源のモータ、駆動角度を検出する角度センサ（それぞれ不図示）を有する。パン駆動部２０５は、モータを駆動させることにより撮像装置の姿勢をパン方向に駆動させることができる。チルト駆動部２０６は、カメラのチルト動作を行うメカ駆動系、駆動源のモータ、駆動角度を検出する角度センサ（それぞれ不図示）を有する。チルト駆動部２０６は、モータを駆動させることにより撮像装置の姿勢をチルト方向に駆動させることができる。パン・チルト部２０７は、システム制御部２０３から受信した指示に応じて、パン駆動部２０５又はチルト駆動部２０６へと姿勢の制御方向及び制御量を送信する。

レンズ駆動部２０８は、フォーカスレンズ及びズームレンズを含むメカ駆動系、駆動源のモータ、駆動部の位置を検出するセンサ（それぞれ不図示）を備える。レンズ駆動部２０８は、撮像装置１００による撮像のズーム制御を行うことができる。レンズ制御部２０９は、システム制御部２０３から受信した指示に応じて、レンズ駆動部２０８へとズーム制御量を送信する。

記憶部２１０は、システム制御部２０３で使用するプログラム、又は設定値などの各情報を格納する。記憶部２１０は、例えばシステム制御部２０３によってデータの読み書きが行われる。通信部２１１は、ネットワーク１４０を介して情報処理装置１１０と通信を行う。通信部２１１は、受信した情報をシステム制御部２０３へと伝達し、システム制御部２０３から伝達された通信データを情報処理装置１１０へと送信する通信処理を行う。

図１３は、本実施形態に係る情報処理装置１１０の機能構成の一例を表すブロック図である。情報処理装置１１０は、取得部１３０１、算出部１３０２、及び制御部１３０３を備える。取得部１３０１は、撮像装置１００による撮像画像を取得し、その撮像画像上の第１の位置と第２の位置とを取得する。本実施形態においては、取得部１３０１は、入力部１３０を介したユーザ操作に応じて指定された位置を取得するものとするが、ユーザ指定の位置を取得できるのであれば特にその方法は限定されない。例えば取得部１３０１は、一番目に取得した位置を第１の位置として、二番目に取得した位置を第２の位置として取得することができる。また、取得部１３０１は、タッチパネル上のユーザのスライド入力を検知し、そのスライド入力の始点と終点とをそれぞれ第１の位置及び第２の位置として取得してもよい。

算出部１３０２は、取得した第１の位置と第２の位置との差分に基づいて、撮像装置１００の姿勢を制御するための制御情報を求める。本実施形態においては、算出部１３０２は、取得した第１の位置及び第２の位置と、取得した撮像画像の画角とに基づいて、第１の位置における被写体が、姿勢制御後に撮像される撮像画像において第２の位置に位置するように、姿勢の制御量を算出する。算出部１３０２による算出方法については図６を参照して後述する。制御部１３０３は、算出部１３０２が算出した制御情報（又は姿勢の制御量）を撮像装置１００へと送信し、それに基づいて撮像装置１００の姿勢を制御するように指示を行う。

なお、本実施形態においては、情報処理装置１１０は、撮像装置１００から撮像画像に加えて撮像画像の画角を示す情報を取得し、それらに基づいて撮像装置の姿勢の制御量を制御情報として算出して撮像装置１００へと送信する。しかしながら処理は特にこのようには限定されず、例えば、情報処理装置は撮像画像上の第１の位置と第２の位置との差分を制御情報として撮像装置１００へと送信し、撮像装置がその差分と画角とに基づいて姿勢の制御量を算出してもよい。このような構成によれば、撮像装置１００が情報処理装置１１０へと高頻度に撮像画像を送信する場合であっても、その都度画角を示す情報を送信する処理を省略することが可能となる。

図３は、本実施形態に係る撮像装置１００による撮像画像に対して、情報処理装置１１０が第１の位置と第２の位置との入力を取得するための受付画面の一例である。この受付画面は、情報処理装置１１０が映像取得要求を撮像装置１００へと送信し、その応答として撮像装置１００から受信した撮像画像に基づく画像データを表示部１２０に出力したものである。

受付画面３００には、ステータス３０１、映像表示部３０２、及びポインタ３０３が表示されている。図３ではステータス３０１として「正常」が表示されており、これは、撮像装置１００の姿勢が制御されていない状態を表す。例えばパン・チルト操作が行われた場合には、後述する図４に示されるように、ステータス３０１として「パン・チルト移動しました。」の文章が表示される。ステータス３０１が表示するものは特にこれには限定されず、例えばズーム操作の有無など、撮像に関する任意のステータスを表示してもよい。映像表示部３０２は、撮像装置１００による現在時点での撮像画像を表示している。

図３の例では、ユーザが入力部１３０を操作することによってポインタ３０３の移動と、位置の指定とが行われる。以下においては、取得部１３０１は、ここで指定された位置を第１の位置、第２の位置の順で取得するものとして説明を行う。すなわち、ここでは、被写体である人物が映る位置が第１の位置として指定され、姿勢制御後にその人物を映したい位置として第２の位置が指定される。なお、取得部１３０１は、指定された一番目の位置を第２の位置として取得し、二番目の位置を第１の位置として取得してもよい。そのような処理によれば、姿勢制御後に映したい位置を指定した後に、その位置に移す被写体を指定することができる。また、撮像画像上の２点を指定した後に、そのどちらか一方を第１の位置として、もう他方を第２の位置として選択する形式であってもよい。

図４は、図３の受付画面から撮像装置１００の姿勢制御が行われた場合の例を説明するための図である。図４では、図３の受付画面３００と同様の受付画面４００の、姿勢制御前の映像表示部４０１上に、第１の位置４０２と第２の位置４０３とが指定されている。映像表示部４１１は、第１の位置４０２及び第２の位置４０３の指定に応じて撮像装置１００の姿勢制御が行われた直後の撮像画像を表示している。図４では、映像表示部３０２の第１の位置において映されていた被写体の人物が、撮像装置１００の姿勢制御の結果として映像表示部４１１の第２の位置に位置している。また、映像表示部４１１の上部にはステータス３０１として「パン・チルト移動しました。」の文章が表示されている。

図５は、本実施形態に係る情報処理装置が行う姿勢制御処理の一例を示すフローチャートである。図５に示される処理は、図３のような受付画面でユーザによる位置指定の受付待ちの状態で始まるものとする。ステップＳ５０１で取得部１３０１は、第１の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ５０２へと進み、そうでない場合には処理はステップＳ５０１を繰り返す。ステップＳ５０２で取得部１３０１は、第２の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ５０３へと進み、そうでない場合には処理がステップＳ５０５へと進む。

ステップＳ５０３で算出部１３０２は、ステップＳ５０１で受け付けた第１の位置と、ステップＳ５０２で受け付けた第２の位置と、現在の撮像装置１００による画角とに基づいて、撮像装置１００の姿勢制御量を算出する。ここでの算出方法については図６を参照して後述する。次いで、処理がステップＳ５０４へと進む。ステップＳ５０４で制御部１３０３は、ステップＳ５０３で算出された制御量に基づいて、姿勢制御の指示を撮像装置１００の通信部２１１へと送信し、撮像装置１００の姿勢制御が行われる。その後、処理は終了する。

ステップＳ５０５で取得部１３０１は、ステップＳ５０１での第１の位置の受付の後に、姿勢制御が行われたかどうかを判定する。ここで、例えばリモートコントローラ又は外部アプリケーションなどの情報処理装置１１０とは異なる装置による指示などにより、撮像装置１００の姿勢が変動している場合には、処理はステップＳ５０６へと進む。そうでない場合には処理はステップＳ５０７へと進む。

ステップＳ５０７で取得部１３０１は、ステップＳ５０１での第１の位置の受付時点から、所定の時間が経過したかどうかを判定する。経過している場合には処理がステップＳ５０６へと進み、経過していない場合には処理がステップＳ５０２へと戻る。ステップＳ５０７で閾値として用いられる所定の時間は特に限定はされず、例えば５秒、１０秒、３０秒、又は１分など、用途や条件などに応じて所望の時間に設定されてもよい。

ステップＳ５０６で取得部１３０１は、ステップＳ５０１で受け付けた第１の位置の情報を破棄し、処理を終了する。この処理の終了後、取得部１３０１は、再度図５のフローチャートの先頭に戻って位置指定の受付待ちを始めてもよく、処理を完全に終了してもよい。再度フローチャートの先頭に戻る処理によれば、情報処理装置１１０とは異なる装置によって姿勢制御が行われた場合に、位置指定の受付処理を最初からやり直すことが可能になる。また、第１の位置を取得してから一定時間経過しても第２の位置が取得できない場合にも、位置指定の受付処理を最初からやり直すことが可能になる。

次いで、図６を参照して、本実施形態に係る算出部１３０２が姿勢制御の量を算出する処理の一例について説明を行う。図６（ａ）は、図３の映像表示部３０２の画像上に規定される座標系を表す図である。ここでは、第１の位置及び第２の位置として、このように映像表示部３０２上に既定された座標系での座標が指定、取得される。座標６０１は画像６００の左上端の座標であり、図６に示される座標系の原点（０，０）である。また、座標６０２、６０３、及び６０４は、それぞれ画像６００の右上端（Ｘ_ｍａｘ，０）、左下端（０、Ｙ_ｍａｘ）、及び右下端（Ｘ_ｍａｘ，Ｙ_ｍａｘ）の座標である。座標６０５は、取得部１３０１によって取得される、受付済みの第１の座標（Ｘ_１，Ｙ_１）であり、座標６０６は同様に受付済みの第２の座標（Ｘ_２，Ｙ_２）である。この例では、姿勢制御により、パン方向の制御が行われた場合にはこのＸ軸と平行に画像が移動し、チルト方向の制御が行われた場合にはこのＹ軸と平行に画像が移動する。

図６（ｂ）は、撮像装置１００のパン移動方向の画角を表す平面図である。角度６１１は、撮像装置１００の、撮像画像の水平方向の画角θ_ｐである。また角度６１２は、本実施形態において算出部１３０２によって算出される、姿勢制御における撮像画像の水平方向の制御量θ_ｐｍである。θ_ｐｍは、第１の位置から第２の位置へのベクトルの水平成分に基づいて算出される。例えばθ_ｐｍは、上述の座標Ｘ_ｍａｘ、Ｘ_１、及びＸ_２に基づいて、撮像画像の幅に対する水平方向の長さの比率に応じた以下の式（１）に基づいて算出される。
θ_ｐｍ＝－θ_ｐ（Ｘ_２－Ｘ_１）／Ｘ_ｍａｘ （１）

式（１）は水平方向の制御量θ_ｐｍを算出する式であるが、撮像画像の垂直方向の制御量θ_ｔｍも同様に、第１の位置から第２の位置へのベクトルの垂直成分に基づいて算出される。すなわち、例えば撮像画像の高さに対する垂直方向の長さの比率に応じた以下の式（２）に従って、θ_ｔｍが算出されてもよい。なお、ここでθ_ｔは、同様の平面図上における撮像装置１００の垂直方向の画角である。
θ_ｔｍ＝－θ_ｔ（Ｙ_２－Ｙ_１）／Ｙ_ｍａｘ （２）

本実施形態においては、式（１）及び式（２）で算出された値に応じて撮像装置１００の姿勢が制御される。この時、式（１）又は式（２）による値が正の値であれば、その値の角度分だけ図６（ａ）に示される座標系の正の方向に姿勢が制御され、負の値であれば、その値の角度分だけ図６（ａ）に示される座標系の負の方向に姿勢が制御される。すなわち、パン角の制御方向は、第１の位置から第２の位置へのベクトルの水平成分における向きと逆方向となり、チルト角の制御方向は、第１の位置から第２の位置へのベクトルの垂直成分における向きと逆方向となる。

本実施形態では図６（ｂ）のような平面図を用いて姿勢制御の量を算出するものとして説明を行うが、姿勢制御の量の算出方法はこれには限定されない。例えば、撮像装置の画角と第１の座標及び第２の座標とに基づいて、撮像装置１００を中心とする球面座標系が考慮され、その座標に基づいて姿勢制御量が算出されてもよい。

このような処理によれば、第１の位置と第２の位置との入力を受け付け、それらの位置の差分に基づいて撮像装置の姿勢を制御するための制御情報を算出し、撮像装置の姿勢を制御することができる。したがって、注目する被写体について、姿勢制御前後での位置の移動が理解しやすい形式で、撮像装置の姿勢制御を指示することができる。

［実施形態２］
実施形態２においては、撮像可能な領域として設定された領域が存在し、その領域外となる領域（制限領域）を撮像しないように撮像装置の姿勢が制御される。姿勢制御は実施形態１と同様に行われるため、重複する説明は省略する。上述の制御のために、取得部１３０１は、第１の位置を取得した場合に、第２の位置を、第２の位置の指定に応じた姿勢制御後の撮像画像が制限領域を映さないように取得する。また、本実施形態に係る情報処理装置は、上述の制御のために第２の位置として指定することが可能である領域と可能でない領域（指定不可領域）とが判別できるように視覚化した表示を行うことができる。

図７は、上述の制限領域に対する指定不可領域を可視化した撮像画像の一例を示す図である。映像表示部７０１には撮像画像が表示されており、基本的な位置の指定及び姿勢制御処理については実施形態３に示される映像表示部３０２のものと同様である。図７においては制限領域７０２が存在し、映像表示部７０１上に、指定された第１の位置７０３に応じて算出される指定不可領域７０４が表示されている。この例では指定不可領域上に第２の位置を指定することはできず、取得部１３０１はそれ以外の領域から第２の位置の指定を取得する。この例では指定不可領域７０４が映像表示部７０１の撮像画像上に重畳して表示されるが、指定不可領域７０４の表示方法がこのように限定されるわけではない。例えば、指定不可領域７０４自体は表示されずに、ポインタが指定不可領域７０４上にあるか否かに応じたポインタの表示変更などを介して指定不可である領域がユーザに示されてもよい。また、制限領域に対応する撮像可能な領域として設定された領域は予め設定されるものであるとするが、例えばユーザによって設定されてもよい。

図８は、本実施形態に係る情報処理装置が行う姿勢制御処理の一例を示すフローチャートである。図８に示される処理は、図７のような受付画面でユーザによる位置指定の受付待ちの状態で始まるものとする。ステップＳ８０１で取得部１３０１は、第１の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ８０２へと進み、そうでない場合には処理はステップＳ８０１を繰り返す。

ステップＳ８０２で算出部１３０２は、ステップＳ８０１で受け付けた第１の位置と、予め設定された制限領域とに基づいて、指定不可領域の範囲を算出する。ここでの算出処理については図９を参照して後述する。ステップＳ８０３で取得部１３０１は、ステップＳ１３０２で算出された指定不可領域からの第２の位置の指定を取得しないように設定する。ステップＳ８０４で制御部１３０３は、算出された指定不可領域を映像表示部７０１上に重畳して表示させる。ステップＳ８０４に次いで取得部１３０１は、処理をステップＳ５０２へと進め、第２の位置の指定がなされたかどうかを判定する。ステップＳ５０２～ステップＳ５０７の処理は実施形態１の図５の処理と同様に行われるため、重複する説明は省略する。

次いで、図９を参照して、本実施形態に係る算出部１３０２が行う指定不可領域の算出処理について説明を行う。図９においては、実施形態１の図６と同様に四隅の座標が定義されている。図９（ａ）は、図７の映像表示部上に指定不可領域が重畳表示されている画像上の座標系を表す図である。座標９０１は指定された第１の座標（Ｘ_１，Ｙ_１）であり、座標９０３は第２の座標として指定できる領域の左下端の座標（Ｘ_２ｍｉｎ，Ｙ_２ｍａｘ）である。領域９０２は指定不可領域である。

図９（ｂ）は、図６（ｂ）と同様に撮像装置１００のパン移動方向の画角を表す平面図である。角度９１１は、撮像画像の水平方向の画角θ_ｐである。また、角度９１２は現在時点での撮像装置１００の光軸方向への原点からの角度θ_ｐｎｏｗである。角度９１３は、図９（ａ）における座標９０３を第２の座標として指定した場合の、姿勢制御後の撮像装置１００の光軸方向への原点からの平面図上の角度θ_ｐｍａｘである。上述のＸ_２ｍｉｎは、例えば上述の座標Ｘ_ｍａｘ、Ｘ_１、θ_ｐｎｏｗ、及びθ_ｐｍａｘに基づいて、以下の式（３）に基づいて算出される。
Ｘ_２ｍｉｎ＝Ｘ_１－（θ_ｐｍａｘ－θ_ｐｎｏｗ）／θ_ｐ・Ｘ_ｍａｘ （３）

式（３）は第２の座標として指定できる左下の座標の水平方向の座標Ｘ_２ｍｉｎを算出する式であるが、同位置の垂直方向の座標Ｙ_２ｍａｘも同様の方法によって算出することができる。すなわち、以下の式（４）に従って、Ｙ_２ｍａｘが算出されてもよい。なお、ここでθ_ｔは、同様の平面図上における撮像装置１００の垂直方向の画角であり、θ_ｔｍａｘは、図９（ａ）における座標９０３を第２の座標として指定した場合の、垂直方向の平面図上の、姿勢制御後の撮像装置１００の光軸方向への原点からの角度である。
Ｙ_２ｍａｘ＝Ｙ_１－（θ_ｔｍａｘ－θ_ｔｎｏｗ）／θ_ｔ・Ｙ_ｍａｘ （４）

本実施形態では図９（ｂ）のような平面図を用いて各座標の算出を行うものとして説明を行うが、用いる位置は特にこれには限定されない。例えば、撮像装置の画角と第１の座標及び制限領域とに基づいて、撮像装置１００を中心とする球面座標系が考慮され、その座標に基づいて指定不可領域が算出されてもよい。

このような処理によれば、撮像可能な領域として設定された領域内に撮像範囲が収まるように、撮像画像上の位置を指定して撮像装置の姿勢を制御することができる。

［実施形態３］
実施形態３においては、第１の位置及び第２の位置に対して、それぞれを補完するための第３の位置と第４の位置とが取得される。次いで、第１の位置及び第３の位置から形成される矩形と、第２の位置及び第４の位置から形成される矩形と、撮像装置１００の画角とに基づいて、制御情報と、撮像装置１００のズーム倍率を制御するための倍率情報と、が算出される。ここで算出された制御情報及び倍率情報に基づいて、撮像装置１００の姿勢及びズーム倍率が制御される。なお、以下においては、２点の位置から形成される矩形とは、その２点の位置をそれぞれ対角として有する矩形を指すものとする。

本実施形態においては、第１の位置及び第２の位置に加えて、第３の位置及び第４の位置が指定される。第３の位置及び第４の位置の指定は、第１の位置及び第２の位置と同様に行われる。例えば、取得部１３０１が、ポインタ３０３を用いて指定された一番目の位置を第１の位置、二番目の位置を第３の位置、三番目の位置を第２の位置、四番目の位置を第４の位置として取得してもよい。また例えば取得部１３０１は、タッチパネル上のユーザのスライド入力を検知し、一度目のスライド入力の始点と終点とをそれぞれ第１の位置及び第３の位置として、二度目のスライド入力の始点と終点とをそれぞれ第２の位置及び第４の位置として取得してもよい。

本実施形態においては、第１の位置及び第３の位置から形成される矩形と、第２の位置及び第４の位置から形成される矩形とは、アスペクト比が等しくなるように指定されるものとする。すなわち、例えば第１～第３の位置が指定されている場合には、第４の位置が、第２の位置とから形成される矩形が第１の位置及び第３の位置から形成される矩形とアスペクト比が等しくなる位置からのみ指定される。そのために、取得部１３０１は、第１～第３の位置が指定されている場合に、上述のようにアスペクト比が等しくなるよう第４の位置の指定が可能な範囲を制限する。

本実施形態に係る算出部１３０２は、第１の位置及び第３の位置から形成される矩形の位置及び大きさと、第２の位置及び第４の位置から形成される矩形の位置及び大きさと、撮像装置１００の画角とに基づいて、制御情報及び倍率情報を算出する。ここでの算出処理については図１２を参照して後述する。

図１０は、上述の第１～第４の位置に応じた姿勢制御及びズームの一例が示される、各位置の入力を取得するための受付画面である。受付画面１０００には、実施形態１の図３と同様のステータス、映像表示部、及びポインタが表示されている。映像表示部１００１は、撮像装置１００による現在時点での撮像画像を表示している。位置１００２～１００５は、それぞれ第１の位置、第３の位置、第２の位置、及び第４の位置である。

映像表示部１０１１は、撮像装置の姿勢制御及びズーム制御が行われた直後の撮像画像を表示している。図１０では、映像表示部１００１の位置１００２及び１００３から形成される矩形内の被写体が、姿勢制御及びズーム制御の結果として映像表示部１０１１の位置１００４及び１００５から形成される矩形内に表示されている。この例では各矩形が破線で表示されているがその表示形式は特に限定されず、例えば点線であってもよく、矩形内に斜線が表示されてもよく、矩形が表示されなくてもよい。

図１１は、本実施形態に係る情報処理装置が行う処理の一例を示すフローチャートである。図１１に示される処理は、図３のような受付画面でユーザによる位置指定の受付待ちの状態で始まるものとする。ステップＳ１１０１で取得部１３０１は、第１の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ１１０２へと進み、そうでない場合には処理はステップＳ１１０１を繰り返す。ステップＳ１１０２で取得部１３０１は、第３の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ１１０３へと進み、そうでない場合には処理はステップＳ１１０２を繰り返す。ステップＳ１１０３で取得部１３０１は、第２の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ１１０４へと進み、そうでない場合には処理はステップＳ１１０３を繰り返す。

ステップＳ１１０４で取得部１３０１は、第４の位置の指定が可能な範囲を、第２の位置及び第４の位置から形成される矩形と、第１の位置及び第３の位置から形成される矩形とのアスペクト比が等しくなるように制限する。ステップＳ１１０５で取得部１３０１は、ステップＳ１１０４で制限された範囲内で第４の位置の指定がなされたかどうかを判定する。指定されている場合には処理がステップＳ１１０６へと進み、そうでない場合には処理はステップＳ１１０５を繰り返す。

ステップＳ１１０６で算出部１３０２は、第１～第４の位置と、現在の撮像装置１００による画角とに基づいて、撮像装置の姿勢制御量及びズーム制御量を算出する。この算出処理については図１２を参照して後述する。ステップＳ１１０７で制御部１３０３は、ステップＳ１１０６で算出された制御量に基づいて、姿勢制御及びズーム制御の指示を撮像装置１００の通信部にへと送信し、撮像装置１００の姿勢制御が行われる。その後、処理は終了する。

なお、本実施形態においては２つの矩形のアスペクト比が等しくなるように各位置が指定されるものとして説明を行ったが、特にこれに限定されるわけではない。例えば、２つの矩形のアスペクト比が異なるように位置が指定された場合には、第１の位置及び第３の位置から形成される矩形内の被写体を、アスペクト比を維持せず第２の位置及び第４の位置から形成される矩形と同サイズになるようにリサイズしてもよい。すなわち、パン方向とチルト方向とのズーム制御量を別々に算出してもよい。

なお、実施形態１におけるステップＳ５０５～Ｓ５０７の処理と同様に、取得部１３０１は、位置４つ全ての指定を取得する前に、姿勢制御若しくはズーム制御が行われた場合、又は一定時間が経過した場合に、それまでに指定された位置の情報を破棄してもよい。その後の処理も同様に、再びステップＳ１３０１へと戻って位置指定の受付待ちを始めてもよく、完全に終了してもよい。

次いで、図１２を参照して、本実施形態に係る算出部１３０２が姿勢制御及びズーム制御の量を算出する処理の例について説明を行う。図１２においては、実施形態１の図６と同様に四隅の座標が定義されている。図１２（ａ）は、図７の映像表示部上に第１～第４の座標が指定されている画像上の座標系を表す図である。座標１２０１～１２０４は、それぞれ指定された第１の座標（Ｘ_１，Ｙ_１）、第２の座標（Ｘ_２，Ｙ_２）、第３の座標（Ｘ_３，Ｙ_３）、及び第４の座標（Ｘ_４，Ｙ_４）である。

図１２（ｂ）は、図６（ｂ）と同様に撮像装置１００のパン移動方向の画角を表す平面図である。角度１２１１は、撮像装置１００の水平方向の画角θ_ｐである。角度１２１２は、本実施形態において算出部１３０２によって算出される、姿勢制御における水平方向の制御量θ_ｐｍである。位置１２１３は、座標１２０１及び座標１２０３から形成される矩形の水平方向の中心位置である。位置１２１４は、座標１２０２及び座標１２０４から形成される矩形の水平方向の中心位置である。θ_ｐｍは、例えば上述の座標Ｘ_ｍａｘ、Ｘ_１、Ｘ_２、Ｘ_３、及びＸ_４に基づいて、以下の式（５）に基づいて算出される。
θ_ｐｍ＝－θ_ｐ（（Ｘ_２＋Ｘ_４）／２－（Ｘ_１＋Ｘ_３）／２）／Ｘ_ｍａｘ （５）

式（５）は水平方向の制御量θ_ｐｍを算出する式であるが、垂直方向の制御量θ_ｔｍも同様の方法によって算出することができる。すなわち、以下の式（６）に従って、θ_ｔｍが算出されてもよい。なお、ここでθ_ｔは、同様の平面図上における撮像装置１００の垂直方向の画角である。
θ_ｔｍ＝－θ_ｔ（（Ｙ_２＋Ｙ_４）／２－（Ｙ_１＋Ｙ_３）／２）／Ｙ_ｍａｘ （６）

上述の式（５）及び式（６）に基づいて、撮像装置１００の姿勢制御量が算出される。次いで、撮像装置１００のズーム制御量は、以下の式（７）に基づいて算出される。なおここで、Ｚは撮像装置１００の現在時点でのズーム倍率であり、Ｚ_{ａｆｔｅｒ}は撮像装置１００のズーム制御後のズーム倍率である。
Ｚ_{ａｆｔｅｒ}＝Ｚ・（（Ｘ_４－Ｘ_２）／（Ｘ_３－Ｘ_１）－１） （７）

本実施形態では図１２（ｂ）のような平面図を用いて姿勢制御の量を算出するものとして説明を行うが、姿勢制御の量の算出方法はこれには限定されない。例えば、撮像装置の画角と第１～第４の座標とに基づいて、撮像装置１００を中心とする球面座標系が考慮され、その座標に基づいて姿勢制御量及びズーム制御量が算出されてもよい。

このような処理によれば、第１～第４の位置の入力を取得し、それらの位置と撮像装置の画角及びズーム倍率とに基づいて、姿勢制御及びズーム制御の量を算出し制御することができる。したがって、注目する被写体領域を、姿勢及びズーム制御の前後での位置とサイズとの変化が理解しやすい形式で、撮像装置の制御を指示することができる。

［実施形態４］
上述の実施形態においては、例えば図１３等に示される各処理部は、専用のハードウェアによって実現される。しかしながら、情報処理装置の有する一部又は全部の処理部が、コンピュータにより実現されてもよい。本実施形態では、上述の各実施形態に係る処理の少なくとも一部がコンピュータにより実行される。

図１４はコンピュータの基本構成を示す図である。図においてプロセッサ１４１０は、例えばＣＰＵであり、コンピュータ全体の動作をコントロールする。メモリ１４２０は、例えばＲＡＭであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体１４３０は、例えばハードディスク又はＣＤ－ＲＯＭ等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体１４３０が格納している、各部の機能を実現するプログラムが、メモリ１４２０へと読み出される。そして、プロセッサ１４１０が、メモリ１４２０上のプログラムに従って動作することにより、各部の機能が実現される。

図１４において、入力インタフェース１４４０は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース１４５０は外部の装置へと情報を出力するためのインタフェースである。バス１４６０は、上述の各部を接続し、データのやりとりを可能とする。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１３０１：取得部、１３０２：算出部、１３０３：制御部

Claims (19)

1. 撮像装置により撮像された撮像画像上にユーザ操作に応じて指定された第１の位置と第２の位置との差分に基づいて、前記撮像装置の姿勢を制御するための制御情報を求める第１の算出手段と、
   前記制御情報に基づいて前記撮像装置の姿勢制御を行う制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記撮像画像上の前記第１の位置と前記第２の位置とを指定するユーザ操作を受け付ける入力手段をさらに備えることを特徴とする、請求項１に記載の情報処理装置。
3. 前記第１の算出手段は、前記第１の位置が指定されかつ前記第２の位置が指定されていない状態で、前記撮像装置の姿勢が変動した場合には、指定された前記第１の位置の情報を破棄することを特徴とする、請求項１又は２に記載の情報処理装置。
4. 前記第１の算出手段は、前記第１の位置が指定されかつ前記第２の位置が指定されていない状態で、所定の時間が経過した場合には、指定された前記第１の位置の情報を破棄することを特徴とする、請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記第１の算出手段は、前記第１の位置から前記第２の位置へのベクトルの水平成分に基づいて前記撮像装置のパン角を制御するための制御情報を求め、前記ベクトルの垂直成分に基づいて前記撮像装置のチルト角を制御するための制御情報を求めることを特徴とする、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記第１の算出手段は、前記撮像画像の幅に対する水平方向の長さの比率に応じた、前記撮像画像の水平方向の画角に対する画角を前記パン角の制御量として求め、前記ベクトルの水平成分における向きと逆方向の向きを前記パン角の制御方向として求めることを特徴とする、請求項５に記載の情報処理装置。
7. 前記第１の算出手段は、前記撮像画像の高さに対する垂直方向の長さの比率に応じた、前記撮像画像の垂直方向の画角に対する画角を前記チルト角の制御量として求め、前記ベクトルの垂直成分における向きと逆方向の向きを前記チルト角の制御方向として求めることを特徴とする、請求項５又は６に記載の情報処理装置。
8. 前記第１の位置の指定の後、前記第２の位置が指定されることを特徴とする、請求項１乃至７の何れか一項に記載の情報処理装置。
9. 前記第２の位置の指定の後、前記第１の位置が指定されることを特徴とする、請求項１乃至７の何れか一項に記載の情報処理装置。
10. 前記第１の算出手段は、前記撮像画像上の２点の位置が指定された後に、前記２点のどちらか一方を前記第１の位置として、前記２点のもう他方を前記第２の位置として選択することを特徴とする、請求項１乃至７の何れか一項に記載の情報処理装置。
11. 前記撮像装置による撮像画像として撮像可能な領域を設定する設定手段をさらに備え、
    前記第２の位置が、前記第１の位置が指定された場合に、前記第１の位置と前記撮像可能な領域とに基づいて、前記第１の位置と第２の位置との差分に基づく前記撮像装置の姿勢の制御後に撮像される撮像画像が前記撮像可能な領域内に収まるように指定されることを特徴とする、請求項１乃至１０の何れか一項に記載の情報処理装置。
12. 前記第１の位置が指定された場合に、前記第１の位置と前記撮像可能な領域とに基づいて、前記第１の位置と第２の位置との差分に基づく前記撮像装置の姿勢の制御後に撮像される撮像画像が前記撮像可能な領域内に収まらない前記第２の位置の範囲を算出する第２の算出手段と、
    前記撮像可能な領域内に収まらない前記第２の位置の範囲を、前記撮像画像に重畳して表示する表示手段と、
    をさらに備えることを特徴とする、請求項１１に記載の情報処理装置。
13. 前記撮像画像上にユーザ操作に応じて第３の位置と第４の位置とがさらに指定され、
    前記第１の算出手段が、前記第１の位置及び前記第３の位置を対角として有する矩形と、前記第２の位置及び前記第４の位置を対角として有する矩形と、前記撮像画像を撮像した時点での前記撮像装置のズーム倍率と、に基づいて、前記撮像装置のズーム倍率を制御するための倍率情報をさらに算出し、
    前記制御手段は、算出された前記倍率情報に基づいて前記撮像装置のズーム制御をさらに行うことを特徴とする、請求項１乃至１２の何れか一項に記載の情報処理装置。
14. 前記第１の算出手段は、前記倍率情報を、前記第１の位置及び前記第３の位置を対角として有する矩形のサイズと、前記第２の位置及び前記第４の位置を対角として有する矩形のサイズとに基づいて、ズーム倍率の制御を行う前の前記撮像画像における前記第１の位置及び前記第３の位置を対角として有する矩形における被写体が、前記倍率情報に基づくズーム制御の後に撮像される撮像画像において、前記第２の位置及び前記第４の位置を対角として有する矩形のサイズで撮像されるように算出する、請求項１３に記載の情報処理装置。
15. 前記第１の位置、前記第２の位置、前記第３の位置、及び前記第４の位置が、前記第１の位置及び前記第３の位置を対角として有する矩形と、前記第２の位置及び前記第４の位置を対角として有する矩形と、のアスペクト比が等しくなるように指定されることを特徴とする、請求項１３又は１４に記載の情報処理装置。
16. 前記第４の位置が、前記第１の位置、前記第２の位置、及び前記第３の位置が指定された場合に、前記第１の位置及び前記第３の位置を対角として有する矩形と、前記第２の位置及び前記第４の位置を対角として有する矩形と、のアスペクト比が等しくなるように指定されることを特徴とする、請求項１５に記載の情報処理装置。
17. 前記第１の位置、前記第３の位置、前記第２の位置、及び前記第４の位置の順に指定されることを特徴とする、請求項１３乃至１６の何れか一項に記載の情報処理装置。
18. 撮像装置により撮像された撮像画像上にユーザ操作に応じて指定された第１の位置と第２の位置との差分に基づいて、前記撮像装置の姿勢を制御するための制御情報を求める工程と、
    前記制御情報に基づいて前記撮像装置の姿勢制御を行う工程と、
    を備えることを特徴とする情報処理方法。
19. コンピュータを、請求項１乃至１７の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images