JP2022159815A - 撮像装置、及び、情報処理方法 - Google Patents

Abstract

【課題】撮影に関して好適な処理を行うことが可能な撮像装置を提供する。【解決手段】撮像装置は、光学系により形成される像を撮像する撮像部と、前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報とを取得する取得部と、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記仮想被写体が前記撮像部により撮像された場合の像の大きさに関する第４情報を生成する生成部と、を備える。【選択図】図１

Description

本発明は、撮像装置、及び、情報処理方法に関する。

実被写体を撮影した撮影画像内から切り抜いた仮被写体像をライブビュー画面内に配置して合成表示するカメラが知られている（特許文献１）。

特開２０１４－５７２４７号公報

第１の態様によると、撮像装置は、光学系により形成される像を撮像する撮像部と、前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報とを取得する取得部と、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記仮想被写体が前記撮像部により撮像された場合の像の大きさに関する第４情報を生成する生成部と、を備える。
第２の態様によると、撮像装置は、光学系により形成される像を撮像する撮像部と、前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報と、撮像装置の仰俯角に関する第４情報とを取得する取得部と、前記第１情報と前記第２情報と前記第３情報と前記第４情報とに基づいて、前記仮想被写体が前記撮像部により撮像された場合の像の形状に関する第５情報を生成する生成部と、を備える。
第３の態様によると、情報処理方法は、光学系により形成される像を撮像することと、前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報とを取得することと、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記仮想被写体が撮像された場合の像の大きさに関する第４情報を生成することと、を含む。
第４の態様によると、情報処理方法は、光学系により形成される像を撮像することと、前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報と、撮像装置の仰俯角に関する第４情報とを取得することと、前記第１情報と前記第２情報と前記第３情報と前記第４情報とに基づいて、前記仮想被写体が撮像された場合の像の形状に関する第５情報を生成することと、を含む。

実施の形態に係る撮像装置の構成例を示す図である。 実施の形態に係る撮像装置の動作例を示すフローチャートである。 実施の形態に係る撮像装置による処理の一例を説明するための図である。 実施の形態に係る撮像装置による処理の別の例を説明するための図である。 変形例に係る撮像装置による処理の一例を説明するための図である。

（実施の形態）
図１は、実施の形態に係る撮像装置の一例であるカメラ１の構成例を示す図である。カメラ１は、カメラボディ２と、カメラボディ２に取り付け可能なアクセサリであるレンズ部３とを有する。レンズ部３は、交換レンズである。なお、カメラ１は、カメラボディ２とレンズ部３とが一体的に構成されたカメラであってもよい。

レンズ部（交換レンズ）３は、不図示のマウント部により、カメラボディ２に着脱可能に装着される。カメラボディ２に交換レンズ３が装着されると、ボディ側接続部２０２に設けられた複数の端子とレンズ側接続部３０２に設けられた複数の端子とが、それぞれ電気的に接続される。これにより、カメラボディ２から交換レンズ３への電力供給、カメラボディ２及び交換レンズ３間の通信が可能となる。

本実施の形態に係るカメラ１は、構図の決定に利用可能な仮想の被写体に関する情報（以下、仮想被写体情報と称する）を生成する。仮想被写体には、撮影予定（候補）の被写体のアバター、被写体の領域の大きさを表すオブジェクト、その他被写体の代わりとなり得るオブジェクトが用いられる。カメラ１では、カメラボディ２と交換レンズ３とが通信を行って、仮想被写体情報の生成が行われる。カメラ１は、仮想被写体情報に基づく仮想被写体の画像を、撮影して得られる画像に重ねて表示し得る。

交換レンズ３は、光学系３１と、レンズ制御部３２と、レンズメモリ３３とを備える。光学系３１は、フォーカスレンズ（焦点調節レンズ）を含む複数のレンズと絞り（開口絞り）とを有する撮影光学系（結像光学系）３１であり、カメラボディ２の撮像部２１に被写体像を結像する。

レンズ制御部３２は、プロセッサ及びメモリを有し、プログラムに基づいて交換レンズ３の各部の制御を行う。レンズ制御部３２は、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ等のデバイス、及びＲＯＭ、ＲＡＭ等のメモリを有する。レンズ制御部３２は、プログラムに基づいて情報処理を行う処理部（情報処理部）ともいえる。レンズ制御部３２は、カメラボディ２のボディ制御部２５からフォーカスレンズの移動方向及び移動量に関する信号が入力されると、その信号に基づいてフォーカスレンズを光軸Ｌの方向に進退移動させて撮影光学系３１の焦点位置を調節する。また、レンズ制御部３２は、ボディ制御部２５から出力される信号に基づき、絞りの開口径を制御する。

レンズ制御部３２は、フォーカスレンズの光軸Ｌ方向の位置を検出する。レンズ制御部３２は、例えば、不図示のエンコーダから出力される信号に基づき、フォーカスレンズの位置を検出する。また、レンズ制御部３２は、絞りの開口径を検出する。レンズ制御部３２は、フォーカスレンズの位置に関する情報、絞りの絞り値（Ｆ値）に関する情報等をボディ制御部２５に送信する。

レンズメモリ３３は、不揮発性の記憶媒体等により構成される。レンズメモリ３３には、交換レンズ３に関連する情報が記憶（記録）される。レンズメモリ３３には、フォーカスレンズの無限遠位置と至近位置に関するデータ、交換レンズ３の最短焦点距離と最長焦点距離と画角に関するデータ、絞り値に関するデータ等が記憶される。レンズ制御部３２は、レンズメモリ３３へのデータの書き込み、及びレンズメモリ３３からのデータの読み出しを行う。

次に、カメラボディ２の構成例について説明する。カメラボディ２は、撮像部２１と、メモリ２２と、表示部２３と、操作部２４と、ボディ制御部２５とを備える。撮像部２１は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の撮像素子である。撮像部（撮像素子）２１は、撮影光学系３１を通過した光束を受光し、撮影光学系３１により形成される被写体像を撮像する。撮像素子２１には、光電変換部を有する複数の画素が二次元状に設けられる。光電変換部は、フォトダイオードによって構成され、入射した光を電荷に変換する。撮像素子２１は、受光した光を光電変換して信号を生成し、生成した信号をボディ制御部２５に出力する。

撮像素子２１は、画像生成に用いる信号を出力する画素（撮像画素）と、焦点検出に用いる信号を出力する画素（ＡＦ画素）とを有する。撮像画素は、ベイヤー配列に従って配置されている。ＡＦ画素は、撮像画素の一部に置換して配置され、撮像素子２１の像面（撮像面）のほぼ全面に分散して配置される。

メモリ２２は、不揮発性の記憶媒体等により構成される。メモリ２２には、画像データ、カメラ１の各部の制御に用いるプログラム及びデータ等が記憶される。また、メモリ２２（又はボディ制御部２５の内部メモリ）には、仮想被写体に関するデータ、撮像素子２１のサイズ（大きさ）に関するデータ等も記憶される。ボディ制御部２５は、メモリ２２へのデータの書き込み、及びメモリ２２からのデータの読み出しを行う。

表示部２３は、液晶ディスプレイ、有機ＥＬディスプレイ等である。表示部２３は、被写体のスルー画像（ライブビュー画像）、メモリ２２に記憶された画像データに基づく画像、ＡＦ枠などの焦点検出領域（ＡＦエリア）を示す画像、シャッター速度、絞り値等の撮影に関する情報、及びメニュー画面等を表示する。表示部２３は、タッチパネルを含んでもよく、入出力部としても機能し得る。表示部（入出力部）２３は、ユーザによる操作に基づく信号を生成し、ボディ制御部２５に出力してもよい。なお、表示部２３は、例えば、カメラボディ２の背面や、図示しないファインダー内に配置される。

操作部２４は、レリーズボタン、電源ボタン（スイッチ）、操作ボタン、各種モードを切り替えるためのスイッチ等の部材を含み、カメラ１に対する操作を受け付ける。操作部２４は、ユーザによる操作を検出し、操作に基づく信号をボディ制御部２５へ出力する。なお、操作部２４は、表示部２３のタッチパネルを含み得る。

ボディ制御部２５は、プロセッサ及びメモリを有し、プログラムに基づいてカメラ１の各部の制御を行う。ボディ制御部２５は、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣ等のデバイス、及びＲＯＭ、ＲＡＭ等のメモリを有する。ボディ制御部２５は、プログラムに基づいて情報処理を行う処理部（情報処理部）ともいえる。ボディ制御部２５は、撮像素子２１を制御する信号を撮像素子２１に供給し、撮像素子２１の動作を制御する。ボディ制御部２５は、静止画撮影を行う場合、動画撮影を行う場合、表示部２３にスルー画像を表示する場合等に、撮像素子２１に被写体像を撮像させて、画素の信号を出力させる。

ボディ制御部２５は、焦点検出部２６と、距離検出部２７と、取得部２８と、生成部２９とを有する。焦点検出部２６は、撮影光学系３１の自動焦点調節（ＡＦ）に必要な焦点検出処理を行う。焦点検出部２６は、撮像素子２１から出力されるＡＦ画素の信号を用いて、位相差検出方式によりデフォーカス量を算出する。焦点検出部２６は、デフォーカス量に基づいて、合焦位置までのフォーカスレンズの移動量を算出する。移動量に応じてフォーカスレンズが移動され、焦点調節が行われる。このように、焦点検出部２６は、撮影光学系３１による被写体の像が撮像素子２１に合焦（結像）するようフォーカスレンズの位置を制御する。

焦点検出部２６は、位相差検出方式の焦点検出処理の代わりに、又は、それに加えて、コントラスト検出方式の焦点検出処理を行い得る。焦点検出部２６は、フォーカスレンズを光軸方向に移動させながら、撮像素子２１から出力される画素の信号に基づき被写体像の焦点評価値（コントラスト評価値）を順次算出する。焦点検出部２６は、フォーカスレンズの位置と焦点評価値との対応付けを行って、焦点評価値がピーク、即ち極大値を示すフォーカスレンズの位置を合焦位置として算出する。算出結果に基づきフォーカスレンズが合焦位置に移動され、焦点調節が行われる。

距離検出部２７は、対象までの距離を検出し、カメラ１と特定の位置との距離に関する情報（距離情報）を生成する。本実施の形態では、距離検出部２７は、カメラ１から仮想被写体を配置する位置までの距離を検出し、カメラ１と仮想被写体を配置する位置との距離に関する距離情報を生成する。距離検出部２７により生成される距離情報は、画像中の仮想被写体を配置する位置に対応する実空間における位置とカメラ１との距離を表す情報ともいえる。仮想被写体を配置する位置は、ユーザ又はカメラ１により決定される。例えば、ユーザは、操作部２４の操作、タッチパネルに対する操作等によって表示部２３に表示された画像内の位置を指定することにより、撮像範囲のうち仮想被写体を配置する位置を決定する。ユーザは、撮影予定の被写体が位置すると想定される位置を、仮想被写体の配置位置として選択することができる。例えば、不図示のエンコーダで距離検出を行ってもよい。一例として、仮想被写体が陸上競技を行う人物であれば、仮想被写体を配置する位置は、例えば仮想被写体として配置したい人物の足先が着地すべき地面となる。また、仮想被写体が線路（レール）を走行する車両である場合、仮想被写体を配置する位置は、例えば仮想被写体として配置したい車両の車輪が接するレール部分となる。

距離検出部２７は、選択された仮想被写体を配置する位置とカメラ１間の距離を求めて距離情報を生成する。距離検出部２７は、例えば、フォーカスレンズが合焦位置に位置するときのフォーカスレンズの位置情報を用いて、カメラ１と仮想被写体の位置との距離を算出して距離情報を生成する。距離検出部２７は、デフォーカス量、焦点評価値等の撮影光学系３１の合焦情報を利用して、距離情報を生成するようにしてもよい。また、ＴｏＦセンサ、Ｌｉｄａｒ等のデバイスをカメラ１に設けて、そのデバイスから出力される信号に基づき、距離情報を生成してもよい。また、ユーザが操作部２４又は表示部（入出力部）２３を操作して、距離情報を直接入力してもよい。

取得部２８は、交換レンズ３の焦点距離に関する情報と、仮想被写体を配置する位置までの距離に関する距離情報とを取得する。取得部２８は、交換レンズ３から焦点距離に関する情報を取得し、距離検出部２７から仮想被写体の距離情報を取得する。また、取得部２８は、焦点距離および撮像素子２１のサイズに基づいて画角を算出し、画角に関する情報（画角情報）を取得する。なお、取得部２８は、交換レンズ３のレンズ制御部３２及びレンズメモリ３３から画角情報を取得するようにしてもよい。

取得部２８は、想定される被写体のサイズ（例えば、撮影予定の人物の実際のサイズ）に関する情報を、仮想被写体のサイズに関する情報（以下、実サイズ情報と称する）として取得する。実サイズ情報は、仮想被写体の実空間におけるサイズを表す情報であり、ユーザ又はカメラ１により設定される。ユーザによる操作部２４の操作等によって、実空間における被写体のサイズが入力され、仮想被写体の実サイズ情報が生成される。なお、仮想被写体にアバターを用いる場合、アバターの情報から被写体の実サイズを把握して、仮想被写体の実サイズ情報を取得してもよい。取得部２８は、距離情報等が入力される入力部でもある。なお、実サイズ情報は、例えば、仮想被写体が人物である場合は身長であり、車両である場合は全長や全高である。また、アバタ―サイズを直接入力してアバタ―サイズを変化させてもよい。

生成部２９は、第１の生成部２９ａと、第２の生成部２９ｂとを有する。第１の生成部２９ａは、構図決定に利用可能な仮想被写体に関する仮想被写体情報を生成する。第１の生成部２９ａは、取得部２８により取得された仮想被写体の距離情報および実サイズ情報と、画角情報と、撮像素子２１のサイズに関する情報とに基づいて、仮想被写体情報を生成する。仮想被写体情報は、仮想被写体が撮像された場合の像の大きさに関する情報であり、仮想被写体の画像領域のサイズを表す情報ともいえる。仮想被写体情報は、仮想被写体の画像（例えばアバターの画像）に関する情報、仮想被写体の位置に関する情報等を含み、画像表示に用いられる。仮想被写体情報は、アバターの画像領域の大きさに対応するオブジェクト（例えば、矩形状または楕円形状の枠の画像）に関する情報を含んでいてもよい。

第１の生成部２９ａは、カメラ１から仮想被写体の配置位置までの距離、仮想被写体の実サイズ、画角、及び撮像素子２１のサイズに基づき、仮想被写体が撮像された場合の仮想被写体の像のサイズを次式（１）により算出する。
仮想被写体像のサイズ＝撮像素子のサイズ×仮想被写体の実サイズ／（仮想被写体までの距離×ｔａｎθ１） …（１）

上述の式（１）において、角度θ１＝画角／２である。撮像素子２１のサイズは、一例として、撮像素子２１の撮像面の対角線長（または対角線長の１／２）である。第１の生成部２９ａにより求められる仮想被写体像のサイズは、仮想被写体の像が形成された場合の撮像素子２１の撮像面における領域のサイズであり、撮像素子２１の各画素の信号に基づく画像における仮想被写体の領域のサイズに対応する。仮想被写体像のサイズは、画素数に換算して計算される場合もある。第１の生成部２９ａは、算出した仮想被写体像のサイズを示す情報を含む仮想被写体情報を生成する。なお、上述した演算式（１）の情報は、メモリ２２（又はボディ制御部２５の内部メモリ）に記憶されている。

第２の生成部２９ｂは、撮像素子２１から出力される撮像画素の信号に各種の画像処理を行って、各画素の信号を含む画像データを生成する。第２の生成部２９ｂは、撮像素子２１のＡＦ画素の信号も用いて、画像データを生成してもよい。第２の生成部２９ｂは、画像処理部２９ｂであり、例えば、色補間処理、階調変換処理などの画像処理を行う。

第２の生成部２９ｂは、撮像を行って得られる撮像素子２１の各画素の信号に基づく画像（撮像画像）と、上述した仮想被写体情報に基づく仮想被写体の画像とに関する画像データを生成し得る。第２の生成部２９ｂは、仮想被写体情報が示すサイズに応じたサイズの仮想被写体の画像（例えばアバターの画像）を表示するための画像データを生成する。

表示部２３は、第２の生成部２９ｂにより生成される画像データに基づき、撮像により得られた撮像画像と仮想被写体の画像とを重畳して表示する。表示部２３は、仮想被写体の実サイズ及び仮想被写体までの距離に応じて決定されたサイズの仮想被写体の画像を、ユーザにより指定された位置において撮像画像に重ねて表示する。

このように、本実施の形態に係るカメラ１では、仮想被写体が撮像された場合にどのサイズとなるかを算出し、算出したサイズに応じた仮想被写体の画像を表示することができる。ユーザは、表示部２３により表示される画像によって、画像の構図と写り具合を、実際の被写体を配置することなく事前に確認することができる。例えば、リモート撮影のためにカメラ１を設置する際に一人しかいない場合であっても、構図の確認を行うことが可能となる。

図２は、実施の形態に係る撮像装置の動作例を示すフローチャートである。図３は、実施の形態に係る撮像装置による処理の一例を説明するための図である。以下では、陸上競技の撮影前の構図確認を行う場合を例にして、カメラ１の動作例について説明する。

図２に示すステップＳ１００において、カメラ１のボディ制御部２５は、ユーザによる操作部２４の操作に基づき、仮想被写体の画像として用いる画像を決定し、また、仮想被写体の実サイズ情報を取得する。ボディ制御部２５は、仮想被写体の画像および実サイズとして、例えば、競技時に先頭になると予測される選手１０ａのアバターの画像および実サイズを設定する。

ステップＳ１１０では、ボディ制御部２５は、表示部２３に表示されるスルー画像内においてユーザにより選択された位置を、仮想被写体を配置する位置として決定する。図３（ａ）に示す例では、ユーザは、撮影シーン（撮影場面）を予測して、先頭の選手１０ａが位置すると想定される位置Ａ１を仮想被写体の配置位置として選択する。例えば、先頭の選手１０ａの足元の位置等が、仮想被写体の配置位置として選択される。仮想被写体の配置位置が設定されると、仮想被写体の配置位置Ａ１を測距点として測距が行われ、仮想被写体の配置位置Ａ１とカメラ１との距離が測定される。ボディ制御部２５は、仮想被写体の配置位置Ａ１とカメラ１との距離を示す距離情報を取得する。

ステップＳ１２０において、ボディ制御部２５は、仮想被写体の距離情報および実サイズ情報と、画角情報と、撮像素子２１のサイズの情報と、上述した式（１）とに基づき、仮想被写体像のサイズを算出する。ボディ制御部２５は、算出された仮想被写体像のサイズを示す情報を含む仮想被写体情報を生成する。

ステップＳ１３０において、ボディ制御部２５は、仮想被写体情報に基づき、算出したサイズに応じたサイズの仮想被写体の画像と、撮像して得られる撮像画像であるスルー画像とを、表示部２３に表示させる。仮想被写体情報は、スルー画像に対する仮想被写体の画像の大きさを表し、表示部２３に表示される画像に反映されることになる。図３（ｂ）に模式的に示す例では、表示部２３は、競技場のトラックを撮影して得られるスルー画像に、選手１０ａのアバターの画像を重ねて表示する。

なお、複数の仮想被写体を配置する場合、カメラ１は、ステップＳ１１０からステップＳ１３０までの一連の動作を繰り返す。ボディ制御部２５は、例えば、注目選手１０ｂのアバターの画像および実サイズを設定する。図３（ａ）に示す例のように、注目選手１０ｂが位置すると予測される位置Ｂ１が指定され、仮想被写体の配置位置Ｂ１とカメラ１との距離が測定される。ボディ制御部２５は、仮想被写体の配置位置Ｂ１とカメラ１との距離を示す距離情報、実サイズ情報、画角情報、撮像素子２１のサイズの情報、及び上述した式（１）に基づいて仮想被写体像のサイズを算出し、選手１０ｂの仮想被写体情報を生成する。なお、仮想被写体１０ａの配置位置Ａ１にカメラ１の光学系を合焦させたときの合焦情報とカメラ１と被写体１０ａの配置位置Ａ１との距離、及び、そのときの仮想被写体１０ｂの配置位置Ｂ１の合焦情報に基づいて仮想被写体の配置位置Ｂ１とカメラ１との距離を示す距離情報を求めてもよい。

ボディ制御部２５は、図３（ｂ）に示すように、選手１０ｂの仮想被写体情報に基づく画像を表示部２３に表示させる。図３（ｂ）に示す例では、表示部２３は、先頭の選手１０ａのアバターの画像および注目選手１０ｂのアバターの画像を、スルー画像に重ねて表示する。なお、表示部２３は、図３（ｃ）に示すように、アバターの画像領域の大きさに対応するオブジェクト（例えば、矩形状の枠の画像）を表示するようにしてもよい。ユーザは、表示部２３に表示される画像によって、事前に構図と写り具合を確認することができる。

通常、陸上競技等のリモート撮影のために事前にカメラを設置する際は、選手がおらず、協力者（例えば、他の撮影者）がいないと、構図の確認を行うことができないことが考えられる。一方、本実施の形態に係るカメラ１は、上述のように、仮想被写体までの距離に応じて決定されたサイズの仮想被写体の画像を撮像画像に重畳して表示することができる。このため、他のフォトグラファー等に実際に選手の通りそうな位置に立ってもらうことなく、一人しかいない場合であっても、構図の確認を行うことが可能となる。

本実施の形態では、実際に選手が決まったコースを走り去る場合にどんなサイズで撮影されるかを事前に確認することが可能となり、構図の確認と調整を行うことができる。また、複数の選手の位置関係及び撮影結果を想定して、構図の決定を行うことができる。ゴール付近の選手が通る箇所を何度も協力者に立ってもらって構図を調整するといったことを避けることができる。

次に、図４を用いて、実施の形態に係る撮像装置の別の動作例について説明する。図４は、カメラ１による処理の一例を説明するための図であり、馬術競技の撮影前の構図確認を行う場合の例を模式的に示している。ボディ制御部２５は、図２及び図３を用いて説明した例と同様に、仮想被写体（図４では馬１５のアバター）の距離情報および実サイズ情報と、画角情報と、撮像素子２１のサイズの情報とに基づいて、仮想被写体像のサイズを算出する。

カメラ１では、カメラ１による撮像範囲のうちの複数の位置が測距点として選択される。ユーザは、例えば、表示部２３に表示された画像において、仮想被写体の配置位置、及び仮想被写体の近傍（周り）の位置等を測距点として選択する。図４（ａ）に示す例では、前後に並ぶ２つの障害物の一方の障害物の位置Ａ２と、他方の障害物の位置Ｂ２とが、それぞれ測距点として選択される。距離検出部２７は、カメラ１から位置Ａ２までの距離を検出し、カメラ１と位置Ａ２との距離に関する距離情報を生成する。また、距離検出部２７は、カメラ１から位置Ｂ２までの距離を検出し、カメラ１と位置Ｂ２との距離に関する距離情報を生成する。

図４（ｃ）は、位置Ａ２と位置Ｂ２との距離ｄ１、撮像素子２１の撮像面における位置Ａ２と位置Ｂ２との距離ｄ２、及び、位置Ａ２と位置Ｂ２とを結ぶ線の撮像素子２１の撮像面と平行な面に対する角度θ２との関係を模式的に示している。位置Ａ２と位置Ｂ２との距離ｄ１は、次式（２）で表すことができる。
位置Ａ２と位置Ｂ２との距離ｄ１≒（カメラ１から位置Ａ２までの距離）－（カメラ１から位置Ｂ２までの距離） …（２）
また、位置Ａ２と位置Ｂ２とを結ぶ線の撮像素子２１の撮像面と平行な面に対する角度θ２は、次式（３）により表すことができる。
ｃｏｓθ２＝（撮像素子２１の撮像面における位置Ａ２と位置Ｂ２との距離ｄ２）／距離ｄ１ …（３）

ボディ制御部２５の第１の生成部２９ａは、上述した式（３）により角度θ２を算出し、算出した角度θ２に基づいて仮想被写体の回転角を決定する。第１の生成部２９ａは、カメラ１の光軸Ｌに対する仮想被写体の角度（傾き）を決定するともいえる。第１の生成部２９ａは、決定した仮想被写体像の回転角を示す情報と、仮想被写体像のサイズを示す情報とを含む仮想被写体情報を生成する。第２の生成部２９ｂは、仮想被写体情報が示すサイズに応じたサイズの仮想被写体の画像（図４では馬１５のアバターの画像）を、仮想被写体情報が示す角度だけ回転させて表示するための画像データを生成する。

表示部２３は、第２の生成部２９ｂにより生成される画像データに基づき、撮像して得られる撮像画像と仮想被写体の画像とを重畳して表示し得る。図４（ｂ）に示す例では、表示部２３は、競技場を撮影して得られるスルー画像に、上述のように算出された角度に応じて回転した馬１５のアバターの画像を重ねて表示する。カメラ１では、仮想被写体の角度（傾き）が調整され、障害物を飛び越える馬１５のアバターの画像を適切な角度および向きで配置することができる。本実施の形態では、上述した障害物を飛び越える馬、レールを走行する車両などの仮想被写体を、奥行き方向を考慮して配置することが可能となる。レンズの焦点距離の情報に応じて奥行きを持たせるように（例えば、尻すぼみになるように）、画像を変形させることが可能になる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像装置（カメラ１）は、光学系により形成される像を撮像する撮像部（撮像素子２１）と、光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、仮想被写体を配置する位置までの距離に関する第３情報とを取得する取得部（取得部２８）と、第１情報と第２情報と第３情報とに基づいて、仮想被写体が撮像部により撮像された場合の像の大きさに関する第４情報を生成する生成部（生成部２９）と、を備える。本実施の形態では、生成部２９は、仮想被写体の距離情報および実サイズ情報と、画角情報と、撮像素子２１のサイズの情報とに基づいて、仮想被写体像のサイズを表す仮想被写体情報を生成する。表示部２３は、仮想被写体情報に基づいて仮想被写体の画像を表示する。このため、ユーザは、表示部２３に表示される画像によって、構図と写り具合を確認することができる。

（２）本実施の形態に係る生成部２９は、仮想被写体像の回転角を示す情報を含む仮想被写体情報を生成し得る。表示部２３は、仮想被写体情報が示す回転角に応じて回転した仮想被写体の画像を表示する。このため、撮像画像と仮想被写体の画像とを適切に重畳して表示することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
カメラ１のボディ制御部２５は、絞りの絞り値に関する情報と、光学系３１の合焦情報とに応じて、仮想被写体の画像に適用するボケ量を調整するようにしてもよい。ボディ制御部２５の生成部２９は、例えば、絞りの絞り値と、仮想被写体の位置にピントが合う場合のデフォーカス量とに基づいて仮想被写体の画像のボケ量を算出し、仮想被写体の画像のボケ量を変更する。この場合、生成部２９は、絞り値及びデフォーカス量に応じて決定したＰＳＦ（Point spread function）を仮想被写体の画像に適用して、表示部２３に表示させるようにしてもよい。ユーザは、ボケ効果が付与された仮想被写体の画像及び撮像画像によって、構図と写り具合の確認を行うことができる。

本変形例に係るカメラ１は、絞り値に応じてアバターの画像のボケ量を制御して表示することで、所望の焦点深度を得るための絞り値（絞り量）を事前にシミュレーションすることが可能になる。ピントの合っていない位置に配置したアバターの画像には、デフォーカス量及び絞り値に基づいてＰＳＦが適用され、ぼかしが付与される。これにより、合焦させる領域外に位置することが予想される被写体の撮影像の状態を予測することができる。撮影光学系３１の絞りをどのくらい絞ることで複数の被写体を焦点深度内に収めることが可能かを、実際の被写体を配置することなく事前に確認することが可能になる。

（変形例２）
カメラ１のボディ制御部２５は、カメラ１の仰俯角に基づき、仮想被写体の画像の形状を変形するようにしてもよい。ボディ制御部２５は、例えば、不図示の水準器（水平器）の角度センサから出力される信号に基づき、カメラ１の仰俯角を検出する。ボディ制御部２５の生成部２９は、カメラ１から仮想被写体の配置位置までの距離、及びカメラ１の仰俯角θ３に基づき、カメラ１から地面までの距離を次式（４）により算出する。
カメラ１と地面との距離＝（仮想被写体までの距離）×ｓｉｎθ３ …（４）

生成部２９は、上述した式（４）により、カメラ１と地面との距離を算出する。生成部２９は、カメラ１と地面との距離及び仮想被写体の実サイズによって仮想被写体を見る向き（下向き、上向き、又は正面）を把握し、仮想被写体の形状に関する情報を含む仮想被写体情報を生成する。仮想被写体情報は、仮想被写体の画像の変形量を示す情報ともいえる。生成部２９は、仮想被写体情報に応じて変形した仮想被写体の画像を表示するための画像データを生成する。

表示部２３は、画像データに基づき、変形した仮想被写体の画像を撮像画像に重ねて表示する。ボディ制御部２５は、カメラ１の仰俯角に応じて、表示部２３に表示される仮想被写体の画像、例えばアバターの画像を台形状に変形させてもよい。カメラを地面付近の低高度または天井などの高高度に設置してリモート撮影を行う場合に、カメラ本体の仰俯角に応じて仮想被写体の画像を台形状に変形させて表示することができる。このように、本変形例では、カメラ１の仰俯角に応じて仮想被写体の形状が変更され、仮想被写体の画像をより正確に表示することが可能となる。

ボディ制御部２５は、カメラ１と仮想被写体の配置位置との距離に応じて、仮想被写体の画像の形状を調整してもよい。図５は、変形例に係るカメラ１による処理の一例を説明するための図である。図５に示す例では、第１列目～第５列目の人物（第１列目の人物２０ａ～第５列目の人物２０ｅ）のアバターを仮想被写体として配置し、集合写真の構図確認を行う場合の例を模式的に示している。

生成部２９は、カメラ１の仰俯角、及びカメラ１から仮想被写体が立つ地面の位置までの距離に基づき、仮想被写体の画像の変形量を決定し、変形した仮想被写体の画像に関する仮想被写体情報を生成する。生成部２９は、位置Ｃ１までの距離に応じて決定した人物２０ａのアバターの形状に関する仮想被写体情報と、位置Ｃ２までの距離に応じて決定した人物２０ｂのアバターの形状に関する仮想被写体情報とを生成する。

また、生成部２９は、位置Ｃ３までの距離に応じて決定した人物２０ｃのアバターの形状に関する仮想被写体情報と、位置Ｃ４までの距離に応じて決定した人物２０ｄのアバターの形状に関する仮想被写体情報と、位置Ｃ５までの距離に応じて決定した人物２０ｅのアバターの形状に関する仮想被写体情報とを生成する。生成部２９は、人物毎に生成される仮想被写体情報に基づき、人物２０ａ～人物２０ｅの各アバターの画像を表示部２３に表示させる。仮想被写体の配置位置に応じて第１列目～第５列目の各アバターの画像の形状が調整され、仮想被写体の画像をより正確に表示することが可能となる。

（変形例３）
ユーザによる操作部２４の操作、タッチパネルに対する操作等によって、撮像画像と仮想被写体の画像とを重畳して表示するか否かを選択可能としてもよい。表示部２３は、撮像画像と仮想被写体の画像とを重畳して表示させずに、ユーザによる操作部２４の操作等によって、いずれか一方のみを表示させるようにしてもよい。

（変形例４）
ユーザによる操作部２４の操作、タッチパネルに対する操作等によって、仮想被写体を配置する位置、仮想被写体の形状、仮想被写体の向き等を調整可能としてもよい。

（変形例５）
上述した実施の形態および変形例に係る処理を行うプログラムをコンピュータ（プロセッサ）に実行させることにより、撮像装置の機能を実現してもよい。プログラムは、記憶媒体、通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…カメラ、２…カメラボディ、３…交換レンズ、２１…撮像素子、２３…表示部、２５…ボディ制御部、２７…距離検出部、２８…取得部、２９…生成部、３１…撮影光学系、３２…レンズ制御部

Claims (14)

1. 光学系により形成される像を撮像する撮像部と、
   前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報とを取得する取得部と、
   前記第１情報と前記第２情報と前記第３情報とに基づいて、前記仮想被写体が前記撮像部により撮像された場合の像の大きさに関する第４情報を生成する生成部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部は、前記光学系により形成される像を撮像して信号を出力し、
   前記生成部は、前記第１情報と前記第２情報と前記第３情報とに基づいて、前記撮像部から出力される前記信号に基づく画像における前記仮想被写体の領域の大きさを算出して前記第４情報を生成する撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   画像を表示する表示部を有し、
   前記表示部は、前記第４情報に基づいて前記仮想被写体の画像を表示する撮像装置。
4. 請求項３に記載の撮像装置において、
   前記表示部は、前記撮像部から出力される信号に基づく画像と、前記第４情報に基づく前記仮想被写体の画像とを重畳して表示する撮像装置。
5. 請求項３または請求項４に記載の撮像装置において、
   前記表示部は、前記仮想被写体の画像として、アバターの画像又は前記アバターの領域の大きさに対応するオブジェクトを表示する撮像装置。
6. 請求項１から請求項５までのいずれか一項に記載の撮像装置において、
   前記仮想被写体を配置する位置までの距離を検出する検出部を有し、
   前記生成部は、前記検出部から出力される前記第３情報に基づいて前記第４情報を生成する撮像装置。
7. 請求項６に記載の撮像装置において、
   ２つの前記仮想被写体における、いずれか一方の前記仮想被写体の前記第３情報は、前記検出部で検出される前記いずれか一方の仮想被写体を配置する位置までの距離に基づいて取得され、
   前記２つの前記仮想被写体における、他方の前記仮想被写体の前記第３情報は、前記他方の仮想被写体を配置する位置までの距離に対応する情報に基づいて取得される、撮像装置。
8. 請求項７に記載の撮像装置において、
   前記他方の仮想被写体を配置する位置までの距離に対応する情報は、前記光学系の合焦情報である、撮像装置。
9. 請求項６に記載の撮像装置において、
   前記検出部は、前記撮像部の撮像範囲のうちの第１位置までの第１距離と、前記撮像範囲のうちの第２位置までの第２距離とを検出し、
   前記生成部は、前記第１距離と前記第２距離とに基づいて、前記仮想被写体の回転角を決定して前記第４情報を生成する撮像装置。
10. 請求項１から請求項９までのいずれか一項に記載の撮像装置において、
    前記取得部は、前記光学系の絞りの絞り値に関する第５情報を取得し、
    前記生成部は、前記第１情報と前記第２情報と前記第３情報と前記第５情報とに基づいて、前記第４情報を生成する撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記生成部は、前記第５情報と前記光学系の合焦情報に基づいて前記仮想被写体の画像に適用するボケ量を算出する、撮像装置。
12. 光学系により形成される像を撮像する撮像部と、
    前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報と、撮像装置の仰俯角に関する第４情報とを取得する取得部と、
    前記第１情報と前記第２情報と前記第３情報と前記第４情報とに基づいて、前記仮想被写体が前記撮像部により撮像された場合の像の形状に関する第５情報を生成する生成部と、
    を備える撮像装置。
13. 光学系により形成される像を撮像することと、
    前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報とを取得することと、
    前記第１情報と前記第２情報と前記第３情報とに基づいて、前記仮想被写体が撮像された場合の像の大きさに関する第４情報を生成することと、
    を含む情報処理方法。
14. 光学系により形成される像を撮像することと、
    前記光学系の画角に関する第１情報と、仮想被写体の大きさに関する第２情報と、前記仮想被写体を配置する位置までの距離に関する第３情報と、撮像装置の仰俯角に関する第４情報とを取得することと、
    前記第１情報と前記第２情報と前記第３情報と前記第４情報とに基づいて、前記仮想被写体が撮像された場合の像の形状に関する第５情報を生成することと、
    を含む情報処理方法。
    

Images