JP2023176702A - 撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 実空間における画角と仮想空間における画角とにずれを低減させること。【解決手段】 実空間の画像と仮想空間の画像とを合成する処理を行う情報処理装置１０２と通信可能な撮像装置１０１であって、撮像光学系２０１による被写体の像を撮像する撮像部２０２と、撮像装置１０１の画角に関する複数のモードから少なくとも１つのモードを決定する決定部２０６と、決定部２０６によって決定されたモードを示す第１のパラメータと撮像光学系２０１のレンズ位置に対応する第２のパラメータとを含むカメラデータを生成する生成部２１０と、撮像装置１０１に関する情報を情報処理装置１０２へ送信する送信部２１１と、を有し、前記第１のパラメータと前記第２のパラメータとは、撮像装置１０１の画角を特定するために用いられることを特徴とする撮像装置１０１。【選択図】 図２

Description

撮像装置、情報処理装置、制御方法、プログラム及び記憶媒体に関する。

近年、実空間上のカメラで撮影された画像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像とを合成することで、多彩な映像表現が可能とする技術が知られている。ＣＧ画像は、コンピュータを用いて生成された３次元の仮想空間に存在するオブジェクトの様子を平面に投影して描画することで生成される。投影する平面を定義するために、仮想空間上には仮想的なカメラが設定される。

特許文献１では、実空間上のカメラの操作情報をコンピュータへと送信し、実空間上のカメラの動作と仮想空間上のカメラを連動させてＣＧ画像を生成する技術が開示されている。違和感のない合成画像を生成するためには、実空間における画角と仮想空間における画角とが一致していることが望ましい。

特許文献２では、実空間上のカメラのレンズデータ（焦点距離やズーム値など）を送信し、レンズデータに基づいて実空間における画角と仮想空間における画角のずれを低減する技術が開示されている。

特開２０１１－３５６３８号公報 特開２００９－１７４８０号公報

しかしながら、カメラのデジタルズーム機能や、レンズの歪曲収差の電子的な補正（実写映像を切り出し）によって、実空間における画角が変更されるような場合、従来の技術では正確な実空間における画角を求めることがでない。これにより、実空間における画角と仮想空間における画角との間にずれが生じてしまい、不自然な画像になることがあった。

従って、本発明が解決しようとする課題は、実空間における画角と仮想空間における画角とにずれを低減させることである。

上記課題を解決するために、本発明の一態様に係る撮像装置は、実空間の画像と仮想空間の画像とを合成する処理を行う情報処理装置と通信可能な撮像装置であって、撮像光学系による被写体の像を撮像する撮像部と、前記撮像装置の画角に関する複数のモードから少なくとも１つのモードを決定する決定部と、前記決定部によって決定されたモードを示す第１のパラメータと前記撮像光学系のレンズ位置に対応する第２のパラメータとを含むカメラデータを生成する生成部と、前記撮像装置に関する情報を前記情報処理装置へ送信する送信部と、を有し、前記第１のパラメータと前記第２のパラメータとは、前記撮像装置の画角を特定するために用いられることを特徴とする。

本発明によれば、実空間における画角と仮想空間における画角とにずれを低減させることができる。

本実施形態に係る撮像システムの構成 本実施形態に係る撮像装置の装置構成 拡大モードと識別番号の関係を表す図 本実施形態に係る情報処理装置の装置構成 画角と焦点距離の関係を表す図 歪曲収差補正を説明する図 ズームレンズ位置における歪曲の差を説明する図 本実施形態の撮像装置で実行される処理のフロー 本実施形態のカメラデータのビット配置を説明する図 本実施形態の情報処理装置の実行される処理のフロー 本実施形態のカメラデータと電子倍率の関係を表すテーブル 本実施形態のズームレンズ位置における電子倍率と画角の関係を表す図 本実施形態のカメラデータと画角の関係を表すテーブル

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

＜実施形態１＞
（システム構成）
図１は本実施形態に係る撮像システムの構成の一例を示す図である。撮像システム１００は撮像装置１０１、情報処理装置１０２、制御装置１０３及びネットワーク１０４から構成される。

撮像装置１０１は実空間における被写体の像を撮像して画像を生成する。撮像装置１０１は制御装置１０３からの要求に応じて、生成した画像を情報処理装置１０２へとネットワーク１０４を介して送信される。

撮像装置１０１は制御装置１０３からの要求がなくとも能動的に画像データ等を情報処理装置１０２、あるいは制御装置１０３へと送信してもよい。撮像装置１０１は制御装置１０３からの操作情報を、ネットワーク１０４を介して受信することにより動作する。撮像装置１０１はパン方向又はチルト方向に駆動するか、光学ズームの倍率を変更することにより、画角を変更することが可能である。従って、制御装置１０３からの操作情報はパン方向又はチルト方向の駆動を制御する情報や光学ズームの倍率を設定する情報（例えば、焦点距離、ズーム位置、フォーカス位置及びレンズ位置など）を含む。操作情報はユーザの入力や被写体の自動追尾する機能などの種々の方法によって定まる。撮像装置１０１は、撮像装置１０１の現在位置や姿勢、ズーム位置やフォーカス位置、パン方向又はチルト方向の回転角度などを含む撮像装置１０１に関する情報をカメラ設定情報として情報処理装置１０２へと送信する。カメラ設定情報の構成は情報処理装置１０２が後述する合成処理を行う上で必要とする構成であることが望ましく、必要に応じて変更が可能である。

情報処理装置１０２は、ネットワーク１０４を介して受信したカメラ設定情報に基づいて、仮想空間上に視点を設定する。そして、仮想空間上に設定された視点に基づいて、仮想空間を設定された視点から見た画像を仮想空間の画像（ＣＧ画像）として生成する。換言すれば、仮想空間上に設定された仮想的なカメラによって定義された平面に対し、仮想空間を投影して描画することにより仮想空間の画像を生成する。仮想的なカメラの画角は後述する方法によって特定された画角やカメラ設定情報に含まれるパン角度やチルト角度などに基づいて設定することができる。さらに、生成した仮想空間の画像と撮像装置１０１からネットワーク１０４を介して受信した画像データとを合成することにより、仮想空間上に実空間上の被写体が存在するかのような映像表現を可能とする。情報処理装置１０２は例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン等である。なお、受信したカメラ設定情報に基づいて仮想空間上のオブジェクトを操作することも可能である。例えば、カメラ設定情報に基づいて、仮想空間上の視点をカメラのオブジェクトとして扱い、操作するようにしてもよい。

制御装置１０３は、撮像装置１０１を操作するための装置である。制御装置１０３は、例えばＰＣ、タブレット端末、スマートフォン、もしくは撮像装置１０１を操作する専用または汎用コントローラ機器などの装置であってもよい。制御装置１０３は、撮像装置１０１から送信された画像データを受信して表示したり、ユーザの操作に応じて操作情報を撮像装置１０１に送信したりする。操作情報は、撮像装置１０１に特的機能を実行させるための制御情報であり、例えば、撮像装置１０１のパン方向又はチルト方向の駆動を制御する情報や撮像光学系のズーム倍率やフォーカス位置を制御する情報などが含まれる。

ネットワーク１０４は、インターネットや有線／無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、もしくはこれらの複合により実現されるネットワークである。ネットワーク１０４は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ及びケーブル等から構成される。なお、ネットワーク１０４は、撮像装置１０１、情報処理装置１０２及び制御装置１０３との間で通信可能な構成であれば、その通信規格、規模及び構成は問わない。

（装置構成）
図２は、本実施形態に係る撮像装置の装置構成の一例を示す図である。撮像装置１０１は、撮像光学系２０１、撮像部２０２、画像処理部２０３、エンコーダ２０４、駆動部２０５、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｃｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０６、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０７及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０８を有している。

撮像光学系２０１は、被写体からの光を撮像部２０２の撮像面に結像させるレンズであり、例えばズームレンズ、フォーカスレンズ及びブレ補正レンズ等で構成される。本実施形態において、撮像光学系２０１は撮像装置１０１と一体の構成であるが、交換式レンズのように着脱可能としてもよい。撮像光学系２０１は、制御装置１０３から受信した操作情報に基づいて光学ズームの倍率を変更したり、被写体の距離に応じたフォーカス位置の調整をしたりするようにレンズを駆動させる。これにより、光学ズームの倍率（焦点距離）の変更やフォーカス位置の調整によって画角が変化する。

撮像部２０２は、被写体の像を撮像するイメージセンサである。撮像部２０２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等である。撮像光学系２０１による被写体からの光を電気信号に変換して出力することにより、被写体の像を撮像する。

画像処理部２０３は、撮像部２０２からの電気信号をＡ／Ｄ変換することによりデジタル信号へと変換する。変換されたデジタル信号の画像データとして扱かわれ、後述するレンズの歪曲収差の影響を補正するなどの処理をおこなう。

拡大処理部２０４では、画像処理部２０３によって生成された画像に対し、電子的な拡大をするために画像データの一部分を切り出すことで拡大処理（デジタルズーム処理）を行う。また、撮像光学系２０１のレンズ位置を制御する制御部としても機能する。拡大処理部２０４は撮像光学系２０１のレンズ位置を制御することによって光学ズームを行う。光学ズームの倍率及び拡大処理部２０４で実行される拡大処理の拡大率は決定部２０６によって決定される。

決定部２０６は、撮像装置１０１画角に関する複数のモードから少なくとも１つのモードを決定する。拡大モードは、制御装置１０３などの操作部をユーザが操作によって、画角に関する複数のモード（拡大モード）から選択される。更に、選択されたモードにおける倍率（拡大率）を設定する。決定部２０６は上記のようなユーザからの指示に基づいて、拡大モード及びその拡大率を決定する。拡大モードには、撮影者の拡大操作によって拡大処理をするモード（デジタルズーム）、固定倍率を画像に一律にかけるモード（デジタルテレコン）、撮像光学系２０１のズームレンズの位置に連動して拡大率を決定するモード（光学連動デジタルズーム）がある。このように拡大モードには、画角に関する複数のモードが存在する。なお、拡大モードの決定及び拡大率の決定は本実施形態のようにユーザの指示に基づく場合に限らない。例えば、画像解析によって特定の被写体が検出された場合に、検出された被写体が画像を占める割合が所定の値以上となるように拡大モードや拡大率を好適に決定するようにしてもよい。

上述の画角に関する複数のモードについて説明する。本実施形態においては、画角に関するモードは光学ズーム＋デジタルズーム、デジタルテレコン（×２）、デジタルテレコン（×３）及び光学連動デジタルズームを含んでいる。光学ズーム＋デジタルズームは撮像光学系２０１のレンズ位置がテレ端に到達するまでは電子倍率を１とし、テレ端以降の拡大処理はデジタルズームを行うモードである。デジタルテレコンは、デジタルズームの倍率所定の倍率に固定し、光学ズームを行うモードである。光学連動デジタルズームは光学ズームによるレンズ位置の変更と連動して電子倍率が変更されるモードである。このように、第１のモードとその倍率設定、第２のモードとその倍率設定の組み合わせによって上述の画角に関する複数のモード（拡大モード）は実現され、複数のモードからいずれのモードを使用するかは、決定部２０６によって決定される。

また、図３で示す表のように各拡大モードには、識別するための（拡大モード識別番号）が割り当てられている。すなわち、拡大モード識別番号は決定部２０６によって決定されたモードを示す第１のパラメータである。図３で示す表は決定部２０６によって決定されたモードと拡大モード識別番号とを紐づけるテーブルであり、ＲＯＭ２０９などの記憶部に記憶されている。第１のパラメータは後述する生成部２１０によって生成される。つまり、生成部２１０は記憶部に記憶されたテーブルを参照し決定部２０６によって決定された拡大モードに応じた拡大モード識別番号が生成される。

エンコーダ２０５は、画像処理済みの画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに符号化処理して出力する。符号化処理された画像データはネットワーク１０４を介して情報処理装置１０２や制御装置１０３へと出力される。

ＣＰＵ２０７は、撮像装置１０１を統括的に制御する中央処理装置である。ＣＰＵ２０７はＲＡＭ２０８にロードされたプログラムを読み出すことによって撮像装置１０１の後述する各機能の少なくとも一部を実行する。

ＲＡＭ２０８は、ＣＰＵ２０７がプログラムを実行する際に使用するワークエリアを提供する、またフレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ２０９は、ＣＰＵ２０７が撮像装置１０１を制御するためのプログラムや画像データ、撮像光学系２０１にかかわる光学データや光学補正データ等を記憶する。

生成部２１０は、撮像光学系２０１のズームレンズ位置（あるいは焦点距離）と決定部２０６から得られる拡大識別番号を重畳したデータを生成する。すなわち、生成部２１０は、第１のパラメータと、撮像光学系２０１のレンズ位置を示す第２のパラメータとを生成する。本実施形態において、第１のパラメータと第２のパラメータは１つの２４ｂｉｔの１データとして併せて生成されるが、第１のパラメータと第２のパラメータを別々のデータとして生成してもよい。本実施形態においては、後述する理由により１データとして併せて生成されることが望ましい。

送信部２１１は、生成部２１０の生成されたデータを出力する。送信部２１１は、生成部２１０の生成されたデータ以外にも撮像光学系２０１のフォーカス位置や絞りデータなどを含むカメラ設定情報として出力する。出力されたカメラ設定情報はネットワーク１０４を介して情報処理装置１０２へと送信される。

図４は本実施形態に係る情報処理装置１０２の装置構成の一例を示す図である。情報処理装置１０２は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、入力Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）４０４、出力Ｉ／Ｆ４０５及びネットワークＩ／Ｆ４０６を有する。

ＣＰＵ４０１は、情報処理装置１０２を統括的に制御する中央処理装置である。ＣＰＵ４０１はＲＡＭ４０２にロードされたプログラムを読み出すことによって情報処理装置１０２の後述する各機能の少なくとも一部を実行する。

ＲＡＭ４０２は、ＣＰＵ４０１がプログラムを実行する際に使用するワークエリアを提供する、またフレームメモリとして機能したり、バッファメモリとして機能したりする。また、撮像装置１０１の撮像光学系にかかわるデータを展開するためのメモリ領域としても機能する。

ＲＯＭ４０３は、ＣＰＵ４０１が情報処理装置１０２を制御するためのプログラムや画像データ等を記憶する。

入力Ｉ／Ｆ４０４は、キーボードやマウスのようなユーザからの入力を受け付けるためのインターフェースである。入力Ｉ／Ｆ４０４に対し仮想空間上の視点位置の座標や視野角、視点の方向等が入力される。

出力Ｉ／Ｆ４０５は、ディスプレイのような画像を表示させるためのインターフェースである。出力Ｉ／Ｆ４０５には撮像装置１０１による画像を表示させたり、仮想空間の画像（ＣＧ）を表示させたり、あるいは撮像装置１０１による画像とＣＧとの合成画像を表示させたりする。

ネットワークＩ／Ｆ４０６は、ネットワーク１０４を介して撮像装置１０１と接続し、撮像装置１０１から出力された画像や撮像装置１０１の画角を算出に関する情報、すなわち第１のパラメータ及び第２のパラメータ（拡大モード識別番号、ズームレンズ位置）を受け付けるためのインターフェースである。

続いて、情報処理装置の機能構成について説明する。情報処理装置１０２は、取得部４０７、設定部４０８、生成部４０９及び表示制御部４１０を有する。各機能ブロックの機能を提供するためのプログラムがＲＯＭ４０３等の記憶部に記憶される。そして、そのプログラムをＲＡＭ４０２に読み出し、ＣＰＵ４０１が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。なお、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。

取得部４０７は、撮像装置１０１による画像（実空間の画像）と送信部２１１から出力されたカメラ設定情報（実空間における画角に関する情報を含む）を取得する。

設定部４０８は、取得部４０７が取得したカメラ設定情報に基づいて、実空間における画角に対応する画角を仮想空間における画角として設定／更新する。

生成部４０９は、設定部４０８による仮想空間の画角に基づいて、仮想空間の画像（ＣＧ）を生成する。また、取得部４０７によって取得された実空間の画像と、生成された仮想空間の画像とを合成することにより、仮想空間上に実空間上の被写体が存在するかのような合成画像を生成する。

表示制御部４１０は、生成部４０９が生成した合成画像あるいは取得部４０７が取得した画像（実空間及び仮想空間の画像）の少なくとも１つを表示するように出力Ｉ／Ｆ４０５を制御する。

（焦点距離から算出される画角と実際の画角のずれについて）
焦点距離と撮像素子から算出される画角と実際の撮像装置１０１の画角とのずれの影響について説明する。

図５（ａ）は、画角と焦点距離の関係を表す図である。図上の５０１は撮像部（前述の２０２と同様）、５０２はレンズ、５０３は被写体を表す。一般的に画角（対角画角θ）は下記の式により撮像光学系の焦点距離ｆと図５（ｂ）の撮像部５０１の有効画素の対角長ｄで表すことができる。なお、撮像部の水平画角、または垂直画角をθとした場合、それぞれ水平長、または垂直超をｄとして同様に下記の式で算出することができる。
θ＝２×ｔａｎ^―１（ｄ／（２×ｆ）） ・・・（１）
一方、近年の撮像装置１０１では小型化を実現するために歪曲収差が大きな撮像光学系をあえて採用し、後段の処理でデジタル的に歪曲収差を軽減させる技術がある。画像処理部２０３では、撮像部２０２からの出力をＡ／Ｄ変換することによりデジタル信号として取り込まれた画像データを光学設計値より算出した補正テーブルなどによって電子的に歪曲収差補正している。

図６はレンズの歪曲収差補正の例について説明した図である。図６（ａ）は歪曲収差補正前の状態であり、被写体は樽型に歪曲している。この図６（ａ）を補正テーブルにより被写体の四隅を中心から対角上を引っ張るように補正することにより、図６（ｂ）ように補正され歪曲を緩和することができる。この際、歪曲収差補正のかけ方によって画角の変化（図６の例では狭く）が発生してしまう。

また、歪曲収差の大きさはズームレンズの位置に応じても変化する。例として図７（ａ）のようにズームレンズ位置がワイド側では樽型の歪曲収差が大きく、ズームレンズ位置がテレ側へ進むにつれて図７（ｂ）のように小さくなる。

また、歪曲の大きさは撮像部の像高に応じて変わる。図７（ｃ）のように像高が小さいほど（画面中心に近いほど）歪曲収差の影響は小さくなり、像高が大きく（画面中心から遠く）なるほど歪曲収差の影響が大きくなる。

そのため、撮像部の映像の中心付近を電子拡大（デジタルズーム）すると同じレンズ位置でも電子拡大率が大きいと歪曲収差の影響は小さくなり、逆に電子拡大率が小さくなると歪曲収差の影響が大きくなる。

以上、述べたように歪曲収差補正を適用した場合、上記の式（１）では正確な画角は算出できない。

（撮像装置の動作説明）
図８を参照して、本実施形態に係る撮像装置１０１の動作を説明する。図８は本実施形態に係る撮像装置１０１の動作を示すフローチャートである。図８に示すフローチャートは、撮像装置１０１のＣＰＵ２０６がＲＯＭ２０８に記憶されたプログラムをＲＡＭ２０７にロードし、ＲＭＡ２０７にロードされたプログラムを実行することによって本フローチャートに記載の動作が開始される。

Ｓ８０１では、決定部２０６によって決定された拡大モードに対応する拡大識別番号Ｎ（第１のパラメータ）生成する。前述したように拡大識別番号Ｎは図３のように各拡大モードにつけられる個々の識別番号である。ユーザの操作によって決定された拡大モード、あるいはズームレンズ位置が光学テレ端を超えることを条件に自動で決定された拡大モードが複数ある拡大モードのうちいずれのモードであるかを示す拡大識別番号Ｎを生成する。

続くＳ８０２では撮像光学系２０１のレンズ位置（第２のパラメータ）を取得する。ここではズームレンズ位置Ｚを取得する。ここでいうズームレンズ位置Ｚは、実際のレンズの位置座標でも良いし、焦点距離でもよい。

Ｓ８０３では、Ｓ８０２とＳ８０３で取得した拡大識別番号Ｎとズームレンズ位置Ｚから、情報処理装置１０２へ送信するカメラデータＤを生成する。カメラデータＤの生成のしかたについて例をつかって説明する。図９で示されるように送信データが２４ビットとした場合、上位８ビット（図９のＸＸ部分）に拡大識別番号Ｎを格納し、下位１６ビット（図９のＹＹＹＹ部分）をズームレンズ位置Ｚとする。仮に拡大モードにデジタルテレコン（×２）が選択されていて、ズームレンズ位置Ｚは１６進数で「０５４Ｃ」という位置にあるとする。この場合、図３を用いれば拡大モードにデジタルテレコン（×２）が選択された場合は、拡大識別番号Ｎが「０１」となり２４ビットの上位８ビット（図９のＸＸ部分）に格納する。残りの下位１６ビット（図９のＹＹＹＹ部分）にズームレンズ位置Ｚに「０５４Ｃ」を格納する。これによりカメラデータＤは「０１０５４Ｃ」と生成される。

なお、図９で示されるＹＹＹＹ（カメラデータＤの下位１６ビット）に格納するデータに関しては、撮像光学系の２０１の焦点位置を表すパラメータであればよい。従って、本実施形態のようにレンズ位置を示すパラメータでもよいし、撮像光学系２０１の焦点距離Ｆでもよい。

Ｓ８０４では、カメラデータＤを含むカメラ設定情報を出力する。前述の通り、カメラ設定情報には、例えば撮像装置１０１のパン角度やチルト角度等が含まれており、情報処理装置１０２は撮像装置１０１からカメラ設定情報を受信する。Ｓ８０５では、撮影を終了するか否かを判定し、撮影を終了する場合は本フローチャートの動作を終了し、終了しない場合はＳ８０１に戻る。ズームレンズ位置Ｚが変動していない場合は、Ｓ８０２に戻ってもよい。

（情報処理装置の動作説明）
図１０を参照して、本実施形態に係る情報処理装置１０２の動作を説明する。図１０は本実施形態に係る情報処理装置１０２の動作を示すフローチャートである。図１０に示すフローチャートは、情報処理装置１０２のＣＰＵ４０１がＲＯＭ４０３に記憶されたプログラムをＲＡＭ４０２にロードし、ＲＡＭ４０２にロードされたプログラムを実行することによって本フローチャートに記載の動作が開始される。

Ｓ１００１では、撮像装置１０１からカメラデータＤを含むカメラ設定情報を取得部４０７が取得する。また、撮像装置１０１が撮像した画像を取得する。

次にＳ１００２では、取得部４０７で取得したカメラデータＤに基づいて撮像装置１０１の画角を特定する。

画角の算出について撮像装置１０１やレンズの製造元からの光学情報を使う場合を述べる。光学情報は、撮像装置１０１のＲＯＭ２０９などの記憶部から取得してもよいし、情報処理装置１０２のＲＯＭ４０３などの記憶部から取得してもよい。交換式レンズの場合は、撮像装置１０１にレンズが装着されたタイミングでレンズ内の記憶部から読み出すことによって光学情報を取得してもよい。通常、ズームレンズ位置（または焦点距離）に応じて歪画角データは１対１で決まる必要がある。本実施形態におけるフォーマットによれば、拡大識別番号Ｎ（本実施例のカメラデータＤの上位８ビット）を除けばズームレンズ位置（または光学焦点距離）は、一様になるため、どの拡大モードを選択していたとしても光学情報から正確な画角を算出できる。

例として、図１１カメラデータＤと電子倍率Ｍの関係を示すテーブルと、図１２のような各ズームレンズ位置における電子倍率Ｍと画角Ｖの関係を示した画角特性が光学情報として記憶されているとする。

図１１における破線は、各拡大識別番号Ｎの境界を示している。本実施形態においては、拡大識別番号Ｎが異なるカメラデータＤが同じテーブルである場合について説明するが、拡大識別番号ごとにカメラデータＤのテーブル（正確にはカメラデータＤの下位１６ビットのテーブル）が用意されていてもよい。その場合、拡大識別番号Ｎの値に基づいて参照するテーブルを特定する。

カメラデータＤが「０１０５４Ｃ」である場合、図１１のテーブルから電子倍率Ｍが「２」であると特定する。ズームレンズ位置Ｚは、カメラデータＤの中の下位１６ビットから読み取ることができるので、ズームレンズ位置Ｚに対応した図１２のような画角特性を読み込むことができる。

図１２の画角特性は、ズームレンズ位置Ｚの値ごとに記憶されている。ズームレンズ位置Ｚの値から画角の特定に用いる画角特性を決定する。本実施形態においては、図１２はズームレンズ位置Ｚ「０５４Ｃ」である場合の画角特性であるとする。

図１１からはカメラデータＤ「０１０５４Ｃ」に対応した電子倍率Ｍ「２」を読み取り、図１２の画角特性から電子倍率Ｍ「２」に対応した画角Ｖを参照すれば、撮像装置１０１の画角（実空間の画角）特定することができる。

ズームレンズ位置Ｚ（カメラデータＤの下位１６ビット）が撮像光学系２０１のテレ端を超えた後も変動している理由について補足する。カメラデータＤの下位１６ビットは撮像光学系２０１のレンズ位置の変化と拡大処理部２０４のデジタルズーム処理における電子倍率の変化とによって総合的に定まる撮像装置１０１の焦点位置を示している。従って、撮像光学系２０１のレンズ位置がテレ端に位置し、かつデジタルズーム処理によって更に拡大処理された場合には、ズームレンズ位置Ｚを電子倍率Ｍの増加に伴って仮想的に増加させる。情報処理装置１０２は所定のズームレンズ位置Ｚよりも大きいズームレンズ位置Ｚについては、撮像光学系２０１のレンズ位置がテレ端であると判定する。図１１の場合、カメラデータＤの下位１６ビットが「４０００」以降のズームレンズ位置Ｚはレンズ位置がテレ端にあると判定し、光学情報から参照する画角特性（図１２に示す特性）が固定される。従って、ズームレンズ位置Ｚは撮像光学系２０１のレンズ位置に対応する第２のパラメータである。

一方、撮像装置やレンズの製造元からの光学情報がない、或いは使わない場合、ユーザが専用アプリなどによる撮像装置をキャリブレーションすることによって図１３のようなカメラデータＤにおける画角Ｖの関係のテーブルデータＴを得ることができる。また、本提案ではカメラデータＤの中の上位ビットから拡大識別番号Ｎを読み取ることができ、情報処理装置１０２で電子拡大モードの判別ができるため、各電子拡大モードにおけるキャリブレーションを行えば容易に正確な画角Ｖを得られることができる。複数ある拡大モードのうちユーザが使用しない拡大モードがある場合は、ユーザが使用する拡大モードについてのみキャリブレーションを行えばよい。キャリブレーションは拡大モードごとにズームレンズ位置Ｚに対応する画角Ｖを特定することによって行われる。

Ｓ１００３では仮想空間上に設定された視点に関する情報に基づいて、仮想空間の画像（ＣＧ）を生成する。前述したように、仮想空間の画像を生成するためには実空間の画角、すなわち画角Ｖに基づいて仮想空間上に設定された視点（仮想的なカメラ）の画角を設定する必要がある。従って、情報処理装置１０２のプロセッサ（ＣＰＵ４０１）が、第１のパラメータ（拡大識別番号Ｎ）と第２のパラメータ（ズームレンズ位置Ｚ）に基づいて、仮想空間の画角（仮想的なカメラの画角）を設定するための実空間の画角（撮像装置１０１の画角）を特定する。これにより、実空間の画角とのずれが少ない画角で仮想空間の画像を生成することができる。仮想空間の画像は情報処理装置１０２の生成部４０９が生成する。そして、生成された仮想空間の画像と撮像装置１０１が撮像した実空間の画像を情報処理装置１０２の生成部４０９が合成する。撮像訴追１０１が撮像した実空間の画像は情報処理装置１０２の取得部４０７が取得し、実空間の画角に基づく仮想空間の画角の設定は情報処理装置１０２の設定部４０８が設定する。

Ｓ１００４では、Ｓ１００３で生成した画像を表示制御部７０４が出力Ｉ／Ｆ（表示部）３０５に出力／表示させる。

本実施形態における撮像装置によれば、情報処理装置が撮像装置の正確な画角を算出することができ、撮像装置１０１が撮像した画像と仮想空間の画像との合成画像における違和感を低減することができる。

＜その他の実施形態＞
本発明は、上述の実施形態１の１以上の機能を実現するプログラムを読み出し実行する処理によって実現可能である。このプログラムは、ネットワークまたは記憶媒体を介してシステム又は装置に供給され、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサによって読み出され、実行される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上の実施形態の開示は、以下の構成、方法、プログラムを及び記憶媒体を含む。

（構成１）
実空間の画像と仮想空間の画像とを合成する処理を行う情報処理装置と通信可能な撮像装置であって、
撮像光学系による被写体の像を撮像する撮像部と、
前記撮像装置の画角に関する複数のモードから少なくとも１つのモードを決定する決定部と、
前記決定部によって決定されたモードを示す第１のパラメータと前記撮像光学系のレンズ位置に対応する第２のパラメータとを含むカメラデータを生成する生成部と、
前記撮像装置に関する情報を前記情報処理装置へ送信する送信部と、を有し、
前記第１のパラメータと前記第２のパラメータとは、前記撮像装置の画角を特定するために用いられることを特徴とする撮像装置。

（構成２）
前記撮像部が撮像した画像の少なくとも一部を切り出すことで拡大処理を行う拡大処理部と、
前記レンズ位置を変更することによって前記撮像装置の画角を変更する制御部と、
を更に有し、
前記画角に関する複数のモードは、前記拡大処理部及び前記制御部の少なくとも１つによって前記撮像装置の画角を変更するモードであることを特徴とする構成１に記載の撮像装置。

（構成３）
前記画角に関する複数のモードは、前記拡大処理部及び前記制御部によって前記撮像装置の画角を変更する第１のモードと、前記拡大処理部の拡大率を固定し、かつ前記制御部によって前記レンズ位置を変更することによって前記撮像装置の画角を変更する第２のモードと、前記撮像光学系のレンズ位置に連動して前記拡大率を変更する第３のモードと含み、
前記決定部は、前記画角に関する複数のモードのから少なくとも１つのモードを決定することを特徴とする構成１または２に記載の撮像装置。

（構成４）
前記生成部は、前記カメラデータ及び前記撮像装置の位置と向きとを含むカメラ設定情報を生成することを特徴とする構成１から３の何れか１つに記載の撮像装置。

（構成５）
前記カメラデータの上位のビットは前記第１のパラメータを示し、前記カメラデータの下位のビットは前記第２のパラメータを示すことを特徴とする構成１から４の何れか１つに記載の撮像装置。

（構成６）
前記カメラデータは１６進数の２４ビットで構成されており、前記カメラデータの上位８ビットは前記第１のパラメータを示し、前記カメラデータの下位１６ビットは前記第２のパラメータを示すことを特徴とする構成１から５の何れか１つに記載の撮像装置。

（構成７）
特定された前記撮像装置の画角は、前記仮想空間における画角の設定に用いられることを特徴とする構成１から６の何れか１つに記載の撮像装置。

（構成８）
構成１に記載の撮像装置と通信可能な情報処理装置であって、
前記撮像装置から送信された前記第１のパラメータと前記第２のパラメータと前記撮像装置が撮像した画像を取得する取得部と、
前記第１のパラメータと前記第２のパラメータとに基づいて、前記撮像装置の画角を特定し、前記撮像装置の画角に基づいて、仮想空間における画角を設定する設定部と、
前記設定部が設定した仮想空間における画角に基づいて、前記仮想空間の画像を生成する生成部と、
前記取得部が取得した画像と前記仮想空間の画像とを合成する合成部と、
を有する情報処理装置。

（構成９）
前記合成部が合成した画像を表示部に表示させる表示制御部を更に有することを特徴とする構成８に記載の情報処理装置。

（方法１）
実空間の画像と仮想空間の画像とを合成する処理を行う情報処理装置と通信可能な撮像装置の制御方法であって、
撮像光学系による被写体の像を撮像する撮像工程と、
前記撮像装置の画角に関する複数のモードから少なくとも１つのモードを決定する決定工程と、
前記決定工程で決定されたモードを示す第１のパラメータと前記撮像光学系のレンズ位置に対応する第２のパラメータとを含むカメラデータを生成する生成工程と、
前記撮像装置に関する情報を前記情報処理装置へ送信する送信工程と、を有し、
前記第１のパラメータと前記第２のパラメータとは、前記撮像装置の画角を特定するために用いられることを特徴とする撮像装置の制御方法。

（方法２）
前記撮像工程で撮像した画像の少なくとも一部を切り出すことで拡大処理を行う拡大処理工程と、
前記レンズ位置を変更することによって前記撮像装置の画角を変更する制御工程と、
を更に有し、
前記画角に関する複数のモードは、前記拡大処理工程及び前記制御工程の少なくとも１つの工程によって、前記撮像装置の画角を変更するモードであることを特徴とする方法１に記載の撮像装置の制御方法。

（方法３）
構成１に記載の撮像装置と通信可能な情報処理装置の制御方法であって、
前記撮像装置から送信された前記第１のパラメータと前記第２のパラメータと前記撮像装置が撮像した画像を取得する取得工程と、
前記第１のパラメータと前記第２のパラメータとに基づいて前記撮像装置の画角を特定し、前記撮像装置の画角に基づいて仮想空間における画角を設定する設定工程と、
前記設定工程で設定した仮想空間における画角に基づいて、前記仮想空間の画像を生成する生成工程と、
前記取得部が取得した画像と前記仮想空間の画像とを合成する合成工程と、
を有する情報処理装置の制御方法。

（方法４）
前記合成工程で合成した画像を表示部に表示させる表示制御工程を更に有することを特徴とする方法３に記載の情報処理装置の制御方法。

（プログラム１）
方法１から４の何れか１つに記載の制御方法をコンピュータに実行させるためのプログラム。

（記憶媒体１）
プログラム１に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

１００ 撮像システム
１０１ 撮像装置
１０２ 情報処理装置
１０３ 制御装置
１０４ ネットワーク
２０１ 撮像光学系
２０６ 決定部
２１０ 生成部

Claims (15)

1. 実空間の画像と仮想空間の画像とを合成する処理を行う情報処理装置と通信可能な撮像装置であって、
   撮像光学系による被写体の像を撮像する撮像部と、
   前記撮像装置の画角に関する複数のモードから少なくとも１つのモードを決定する決定部と、
   前記決定部によって決定されたモードを示す第１のパラメータと前記撮像光学系のレンズ位置に対応する第２のパラメータとを含むカメラデータを生成する生成部と、
   前記撮像装置に関する情報を前記情報処理装置へ送信する送信部と、を有し、
   前記第１のパラメータと前記第２のパラメータとは、前記撮像装置の画角を特定するために用いられることを特徴とする撮像装置。
2. 前記撮像部が撮像した画像の少なくとも一部を切り出すことで拡大処理を行う拡大処理部と、
   前記レンズ位置を変更することによって前記撮像装置の画角を変更する制御部と、
   を更に有し、
   前記画角に関する複数のモードは、前記拡大処理部及び前記制御部の少なくとも１つによって前記撮像装置の画角を変更するモードであることを特徴とする請求項１に記載の撮像装置。
3. 前記画角に関する複数のモードは、前記拡大処理部及び前記制御部によって前記撮像装置の画角を変更する第１のモードと、前記拡大処理部の拡大率を固定し、かつ前記制御部によって前記レンズ位置を変更することによって前記撮像装置の画角を変更する第２のモードと、前記撮像光学系のレンズ位置に連動して前記拡大率を変更する第３のモードと含み、
   前記決定部は、前記画角に関する複数のモードのから少なくとも１つのモードを決定することを特徴とする請求項２に記載の撮像装置。
4. 前記生成部は、前記カメラデータ及び前記撮像装置の位置と向きとを含むカメラ設定情報を生成することを特徴とする請求項１に記載の撮像装置。
5. 前記カメラデータの上位のビットは前記第１のパラメータを示し、前記カメラデータの下位のビットは前記第２のパラメータを示すことを特徴とする請求項１から４の何れか１項に記載の撮像装置。
6. 前記カメラデータは１６進数の２４ビットで構成されており、前記カメラデータの上位８ビットは前記第１のパラメータを示し、前記カメラデータの下位１６ビットは前記第２のパラメータを示すことを特徴とする請求項１に記載の撮像装置。
7. 特定された前記撮像装置の画角は、前記仮想空間における画角の設定に用いられることを特徴とする請求項１に記載の撮像装置。
8. 請求項１に記載の撮像装置と通信可能な情報処理装置であって、
   前記撮像装置から送信された前記第１のパラメータと前記第２のパラメータと前記撮像装置が撮像した画像を取得する取得部と、
   前記第１のパラメータと前記第２のパラメータとに基づいて、前記撮像装置の画角を特定し、前記撮像装置の画角に基づいて、仮想空間における画角を設定する設定部と、
   前記設定部が設定した仮想空間における画角に基づいて、前記仮想空間の画像を生成する生成部と、
   前記取得部が取得した画像と前記仮想空間の画像とを合成する合成部と、
   を有する情報処理装置。
9. 前記合成部が合成した画像を表示部に表示させる表示制御部を更に有することを特徴とする請求項８に記載の情報処理装置。
10. 実空間の画像と仮想空間の画像とを合成する処理を行う情報処理装置と通信可能な撮像装置の制御方法であって、
    撮像光学系による被写体の像を撮像する撮像工程と、
    前記撮像装置の画角に関する複数のモードから少なくとも１つのモードを決定する決定工程と、
    前記決定工程で決定されたモードを示す第１のパラメータと前記撮像光学系のレンズ位置に対応する第２のパラメータとを含むカメラデータを生成する生成工程と、
    前記撮像装置に関する情報を前記情報処理装置へ送信する送信工程と、を有し、
    前記第１のパラメータと前記第２のパラメータとは、前記撮像装置の画角を特定するために用いられることを特徴とする撮像装置の制御方法。
11. 前記撮像工程で撮像した画像の少なくとも一部を切り出すことで拡大処理を行う拡大処理工程と、
    前記レンズ位置を変更することによって前記撮像装置の画角を変更する制御工程と、
    を更に有し、
    前記画角に関する複数のモードは、前記拡大処理工程及び前記制御工程の少なくとも１つの工程によって、前記撮像装置の画角を変更するモードであることを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 請求項１に記載の撮像装置と通信可能な情報処理装置の制御方法であって、
    前記撮像装置から送信された前記第１のパラメータと前記第２のパラメータと前記撮像装置が撮像した画像を取得する取得工程と、
    前記第１のパラメータと前記第２のパラメータとに基づいて前記撮像装置の画角を特定し、前記撮像装置の画角に基づいて仮想空間における画角を設定する設定工程と、
    前記設定工程で設定した仮想空間における画角に基づいて、前記仮想空間の画像を生成する生成工程と、
    前記取得部が取得した画像と前記仮想空間の画像とを合成する合成工程と、
    を有する情報処理装置の制御方法。
13. 前記合成工程で合成した画像を表示部に表示させる表示制御工程を更に有することを特徴とする請求項１２に記載の情報処理装置の制御方法。
14. 請求項１０から１３のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。
15. 請求項１２に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images