JP2017098851A - 表示制御方法、表示制御プログラムおよび情報処理装置 - Google Patents

Abstract

【課題】カメラの動きに影響されず被写体を画角内に安定して捉え続けることが可能な表示制御方法、表示制御プログラムおよび情報処理装置を提供する。【解決手段】カメラにより撮像された撮像画像に基準物を検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、基準物の位置が、取得した撮像画像のうち、範囲の中心を含み、かつ、範囲の内側の第１のエリアと、第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定し、基準物の位置が第１のエリアに含まれる場合、基準物に対応付けられたオブジェクトデータを、撮像画像のうちの範囲の画像に重畳してディスプレイに表示し、基準物の位置が第２のエリアに含まれる場合、オブジェクトデータを、撮像画像のうちの範囲から何れかの方向にずれた他の範囲の画像に重畳してディスプレイに表示する、処理をコンピュータが実行する。【選択図】図５

Description

本発明は、表示制御方法、表示制御プログラムおよび情報処理装置に関する。

人の顔やマーカーなどの特定の被写体を検出し、その位置や大きさに合わせて何らかの機能を実行することができる装置が提供されている。例えば、人の顔の領域を基準としたオートフォーカス機能や、撮像画面内の特定のパターンが印刷された標識（ＡＲマーカー）上に仮想的なコンテンツを重畳する画像認識型ＡＲ（拡張現実）機能等がある。

このような装置においては、目的の被写体が画角内に捉えられている間のみ、機能が利用可能となることが多い。つまり、被写体が画角外に移動すると機能を利用することができなくなる。

また、カメラがズーム機能を有する場合、ズームにより拡大をしている際には、カメラが少し動くだけで撮像される領域が大きく動いてしまい、被写体を画角内に捉え続けることが比較的困難となる。

一方、ズーム機能に関する技術が知られている（例えば、特許文献１−６、非特許文献１等を参照）。

特開２０１２−６０５９５号公報 特開２０１５−１０２８５３号公報 特開２００９−２２５０２７号公報 特開２０１４−１７９９４２号公報 特開２０１２−１９９６３７号公報 特開２０００−１５６８１７号公報

「人の顔を検出して、画面に対する顔の大きさを一定に保つ方法（PowerShot SX510 HS）」、更新日：2013年8月22日、文書番号：Q000075003、http://cweb.canon.jp/e-support/faq/answer/digitalcamera/75003-1.htmlhttp://cweb.canon.jp/e-support/faq/answer/digitalcamera/75003-1.html

上述したように、特定の被写体（基準物）を検出し、検出した被写体の領域等を利用して何らかの機能を実行する装置において、被写体が画角から外れると、機能が利用できなくなるものが多い。

例えば、センサー・制御系・モーターなどを利用して、カメラの焦点を自動的に合わせるオートフォーカス機能を持つカメラの中には、撮像画像から人の顔の領域を検出し、その検出した領域で焦点が合っているかどうかを判定する。これにより、常に人の顔に焦点が合うように制御する。この場合、人の顔が一度画角から外れてしまうと、再度、オートフォーカスを実行しなければならず、撮影に時間がかかってしまう可能性がある。

また、画像認識型ＡＲ機能においては、例えば図１（ａ）に示すような特定のパターンが印刷されたＡＲマーカーＭの領域を、図１（ｂ）に示すように、カメラのプレビュー画面内から検出し、その位置等を基準にして、図１（ｃ）に示すように、仮想的なコンテンツＣをプレビュー画面において重畳して表示する。コンテンツＣのオブジェクトデータは、ＡＲマーカーＭに予め対応付けられている。なお、図示の例ではＡＲマーカーＭにコンテンツＣを重ねているが、ＡＲマーカーＭから所定の方向に所定のずれをもって重畳して表示する場合もある。

ＡＲマーカーＭにコンテンツＣを重ねる場合、図１（ｄ）に示すように、ＡＲマーカーＭがプレビュー画面の周辺部で検出されると、図１（ｅ）に示すように、仮想的なコンテンツＣもプレビュー画面の周辺部位に表示され、画面からはみ出してしまうことがある。当然ながら、コンテンツＣのはみ出した部分は視認することはできない。

一部のヘッドマウントディスプレイ等においては、画面の周辺部が中心部に比較して見づらくなることが知られている。このようなディスプレイにおいて、画像認識型ＡＲ機能を利用する場合、ＡＲマーカーがプレビュー画面の周辺部で検出された場合、仮想的なコンテンツも画面周辺部へ重畳表示されるため、表示されたコンテンツが見づらくなってしまう。特に、ズーム機能により拡大している場合、カメラが少し動くだけで撮影される領域が大きく動いてしまい、被写体を画角内に捉え続けることが比較的困難となる。

そこで、一側面では、カメラの動きに影響されず被写体を画角内に安定して捉え続けることを目的とする。

一つの形態では、カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定し、前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する、処理をコンピュータが実行する。

カメラの動きに影響されず被写体を画角内に安定して捉え続けることができる。

画像認識型ＡＲ機能の例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 情報処理装置のソフトウェア構成例を示す図である。 処理に使用されるデータの例を示す図である。 実施形態の処理例を示すフローチャート（その１）である。 実施形態の処理例を示すフローチャート（その２）である。 最大シフト量の説明図である。 重心と中心の例を示す図である。 被写体としてのＡＲマーカーの位置によるプレビュー画面のシフトの例を示す図である。 変形例１における被写体としてのＡＲマーカーの位置によるプレビュー画面のシフトの例を示す図（その１）である。 変形例１における被写体としてのＡＲマーカーの位置によるプレビュー画面のシフトの例を示す図（その２）である。 ＡＲマーカーがプレビュー画面から出てしまう例を示す図である。 変形例２における被写体としてのＡＲマーカーの位置によるプレビュー画面のシフトの例を示す図（その１）である。 変形例２における被写体としてのＡＲマーカーの位置によるプレビュー画面のシフトの例を示す図（その２）である。 実施形態の他の処理例を示すフローチャートである。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図２は一実施形態にかかる情報処理装置１００のハードウェア構成例を示す図である。図２において、情報処理装置１００は、システム制御部１０１とレンズ駆動部１０２とレンズ１０３と撮像素子１０４と画像処理回路１０５と画像メモリ１０６と操作部１０７と表示部１０８とメモリ１０９と記録装置１１０とを備えている。

システム制御部１０１は、ＣＰＵ（Central Processing Unit）等により構成され、装置全体の制御を行う。レンズ駆動部１０２は、システム制御部１０１からの指示に従い、レンズ１０３のフォーカスレンズを制御する。レンズ１０３は、ピント合わせによりフォーカス状態にするための、可動するフォーカスレンズを有する。撮像素子１０４は、ＣＣＤやＣＭＯＳセンサー等から構成され、レンズ１０３からの被写体像を光電変換して撮像画像信号を得る。画像処理回路１０５は、撮像素子１０４からの撮像画像信号に対してノイズの低減などの処理を施す。画像メモリ１０６は、画像処理回路１０５により処理が施された撮像画像信号に基づき、撮像画像データが記録される。

操作部１０７は、タッチパネルや機械式ボタンから構成され、ユーザからの操作を受け付ける。表示部１０８は、液晶ディスプレイ等から構成され、ユーザに対してプレビュー画面（撮像中の画像）や操作メニュー等を表示する。メモリ１０９は、システム制御部１０１の作業領域としてプログラムやデータが一時的に記録される。記録装置１１０は、フラッシュメモリやＨＤＤ等から構成され、意図的に消去されるまで永続的にプログラムやデータが記録される。

図３は情報処理装置１００のソフトウェア構成例を示す図である。図３において、情報処理装置１００は、システム制御部１０１においてソフトウェア（プログラム）により実現される機能として、被写体検出部１１１と被写体追従制御部１１２と対被写体処理部１１３と電子ズーム制御部１１４と表示制御部１１５とを備えている。なお、ソフトウェアは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

被写体検出部１１１は、画像メモリ１０６から撮像画像データを取得し、画像中に被写体（基準物）が含まれるか否かを判断し、含まれる場合、その被写体の領域となる画素の座標を被写体追従制御部１１２へ渡す。被写体追従制御部１１２は、電子ズーム制御部１１４の保持する現在の倍率から、画像メモリ１０６中の表示部１０８に表示される領域を計算し、上方向、右方向、下方向、左方向に表示領域をシフト可能な限界を示す最大シフト量を取得する。また、被写体追従制御部１１２は、被写体検出部１１１から渡された被写体の領域の画素の座標から、被写体の領域の重心を計算し、その重心を画面の中心に近づけるためのシフト量を計算し、最大シフト量から最終的なシフト量を算出して表示制御部１１５へ渡す。

対被写体処理部１１３は、検出した被写体に対し、コンテンツの重畳表示を行ったり、フォーカスエリアの設定を行ったりする。電子ズーム制御部１１４は、事前に指定された電子ズームの倍率または操作部１０７を介してユーザから設定された電子ズームの倍率を保持する。表示制御部１１５は、被写体追従制御部１１２から渡されたシフト量と画像メモリ１０６の画像と電子ズームの倍率から、最終的に表示する画像の範囲を決定し、表示部１０８により画像を表示する。

図４は処理に使用されるデータの例を示す図である。図４（ａ）は画像メモリ１０６に記憶される撮像画像データを示しており、撮像画像データには表示部１０８に表示される表示画像データが含まれる。なお、表示画像データは、座標から表示されない領域のデータと区別が可能であるが、表示画像データを別に記憶してもよい。

図４（ｂ）はメモリ１０９または記録装置１１０に記憶されるコンテンツの表示のためのデータの例を示しており、「電子ズーム倍率」「表示範囲」等の項目が対応付けられたデータと、「マーカーＩＤ」「コンテンツＩＤ」「表示相対位置」等の項目が対応付けられたデータとを有している。「電子ズーム倍率」は、現時点の電子ズームの倍率を示す値である。「表示範囲」は、電子ズームにより拡大されて表示される撮像画像上の範囲を示す座標値である。

「マーカーＩＤ」は、ＡＲマーカーを識別する情報である。「コンテンツＩＤ」は、「マーカーＩＤ」で特定されるＡＲマーカーに対応付けられたコンテンツを識別する情報である。コンテンツＩＤにはオブジェクトデータが対応付けられている。「表示相対位置」は、「コンテンツＩＤ」で特定されるコンテンツを表示する、ＡＲマーカーの中心（重心）に対する相対位置を示す情報である。例えば、ＡＲマーカーの重心からＴ_Ｘピクセルだけ左に表示するといった情報が規定される。

＜動作＞
図５および図６は上記の実施形態の処理例を示すフローチャートである。図５において、撮像を開始すると、電子ズーム制御部１１４により電子ズームを所定の倍率（拡大）に設定し、表示部１０８のプレビュー画面上に撮像領域よりも小さい範囲の領域の撮像画像が拡大されて表示される状態とする（ステップＳ１）。なお、ユーザにより既に電子ズームが所定の倍率を超える状態に設定されている場合には、電子ズームの制御を省略することができる。これにより、プレビュー画面に実際に表示されるのは、実際に撮像素子１０４が取得した画角の一部になる。電子ズームの倍率と表示範囲はメモリ１０９または記録装置１１０に記録される（図４（ｂ））。

ここで、プレビュー画面の表示範囲が決まると、後のシフト量を計算する際の限界のシフト量を示す最大シフト量が定まる。すなわち、図７に示すように、表示されない領域の、表示領域（プレビュー画面）から上方向、右方向、下方向、左方向の幅ｓ_Ｕ、ｓ_Ｒ、ｓ_Ｂ、ｓ_Ｌが方向別の最大シフト量となる。

次いで、図５に戻り、被写体検出部１１１は、１フレーム分の画像を画像メモリ１０６から取得し（ステップＳ２）、取得した画像内に検出対象である被写体を検出したか否か判断する（ステップＳ３）。被写体の検出方法は既知の技術であるため詳細については省略するが、例えば、人の顔であれば、人の顔を特徴付ける所定のパターンを検出したか否かで判断する。ＡＲマーカーであれば、ＡＲマーカーを特徴付ける所定のパターンを検出したか否かで判断する。

次いで、被写体を検出した場合（ステップＳ３のＹｅｓ）、被写体検出部１１１は、その被写体の領域となる画素の座標を被写体追従制御部１１２へ渡し、被写体追従制御部１１２は、シフト量を計算する（ステップＳ４）。すなわち、被写体追従制御部１１２は、被写体の重心がプレビュー画面の中心からずれている場合、できるだけプレビュー画面の中心に近づくように、プレビュー画面として撮像画像から切り出す範囲のシフト量（平行移動量）を計算する。

図６はシフト量の計算の処理例を示している。図６において、被写体追従制御部１１２は、被写体検出部１１１から渡された被写体の領域の画素の座標から、被写体の領域の重心を計算する（ステップＳ４１）。重心（ｍ_ｘ，ｍ_ｙ）は、被写体の領域と判定されたＮ点の画素の座標をそれぞれ（ｘ_ｎ，ｙ_ｎ）（ｎ＝１，…，Ｎ）とすると、

により計算することができる。

なお、被写体を代表する位置として、被写体の上下の端部の位置または左右の端部の位置から求めた中心を用いることも考えられるが、上述した重心を用いることで、ノイズ等に対する耐性を高くすることができる。図８は、図示のような形状の被写体画像Ｔについての重心Ｈ１と中心Ｈ２とを示しているが、被写体画像Ｔの下に伸びた部分がもしノイズに起因するものである場合、中心Ｈ２は大きく影響を受けるが、重心Ｈ１への影響は少なくなる。

次いで、図６に戻り、被写体追従制御部１１２は、被写体の重心とプレビュー画面の中心の差分からシフト量を計算する（ステップＳ４２）。この際、最大シフト量を考慮し、最終的なシフト量を算出する。

すなわち、シフト量（ｓ_ｘ，ｓ_ｙ）は、プレビュー画面の中心の座標を（ｘ_ｃ，ｙ_ｃ）とすると、
ｓ_ｘ＝ｍ_ｘ−ｘ_ｃ
ｓ_ｙ＝ｍ_ｙ−ｙ_ｃ
となる。ただし、シフト量が最大シフト量を越える（ｓ_ｘ＞ｓ_Ｒ，ｓ_ｘ＜−ｓ_Ｌ，ｓ_ｙ＞ｓ_Ｕ，ｓ_ｙ＜−ｓ_Ｂ）とき、シフト量は最大シフト量とする。

次いで、被写体追従制御部１１２は、シフト量が所定の閾値以内であるか否か判断し（ステップＳ４３）、閾値以内でない場合（ステップＳ４３のＮｏ）はそのままとし、閾値以内である場合（ステップＳ４３のＹｅｓ）はシフト量を「０」とする（ステップＳ４４）。すなわち、画面シフトの頻度を減らすことが情報処理装置１００の負荷低減の面で有利になるため、重心が所定の閾値に対応する、プレビュー画面の中心に置かれた矩形領域内ならシフト不要とする。つまり、閾値Ｔ_Ｘ、Ｔ_Ｙを用いて、
｜ｓ_ｘ｜≦Ｔ_ｘ
のときはｓ_ｘ＝０とし、
｜ｓ_ｙ｜≦Ｔ_Ｙ
のときはｓ_ｙ＝０とする。また、矩形領域に代え、所定の閾値に対応する円領域としてもよく、この場合、円領域内にあるならシフト不要とする、つまり、閾値Ｔ_Ｒを用いて、
ｓ_ｘ ^２＋ｓ_ｙ ^２≦Ｔ_Ｒ ^２
のとき、ｓ_ｘ＝ｓ_ｙ＝０とする。

なお、シフト量が閾値以内か否かを判断する前に最大シフト量を考慮した場合について説明したが、シフト量が閾値以内でない場合に最大シフト量を考慮するようにしてもよい。

また、画面シフトの頻度を減らす必要性がない場合は、シフト量が所定の閾値以内であるか否かの判断（ステップＳ４３）とシフト量の変更（ステップＳ４４）を省略することもできる。

次に、図５に戻り、計算されたシフト量が「０」でない場合（ステップＳ５のＮｏ）、表示制御部１１５は、プレビュー画面の表示位置（撮像画像から切り出す範囲）をシフト量に応じてシフトする（ステップＳ６）。シフト量が「０」である場合（ステップＳ５のＹｅｓ）、シフトは行わない。

次いで、対被写体処理部１１３は、被写体の検出後の処理として、オートフォーカスやコンテンツの重畳等を行う（ステップＳ７）。

その後、および検出対象が検出されなかった場合（ステップＳ３のＮｏ）、ユーザ操作等により撮像が終了したか否か判断し（ステップＳ８）、撮像終了でない場合（ステップＳ８のＮｏ）は１フレーム分の画像の取得（ステップＳ２）から処理を繰り返し、撮像終了である場合（ステップＳ８のＹｅｓ）は撮像を終了する。

図９は被写体としてのＡＲマーカーＭの位置によるプレビュー画面のシフトの例を示す図である。図９（ａ）は撮像領域とプレビュー画面とＡＲマーカーＭの画像の中心（重心）がほぼ揃っている状態を示している。これが、カメラ（情報処理装置１００）の動きにより、図９（ｂ）に示すようにＡＲマーカーＭの画像が右下方向に移動した場合、図９（ｃ）に示すようにプレビュー画面を右下方向（右方向と下方向）にシフトし、ＡＲマーカーＭの画像ができるだけプレビュー画面の中心に近づくようにする。これにより、ＡＲマーカーＭの画像またはその周辺にコンテンツを重畳表示する場合に、コンテンツの表示が不安定になることを防止することができる。なお、図９（ｄ）はＡＲマーカーＭの画像が更に右下方向に移動した場合を示しているが、この場合は最大シフト量に達してしまうため、プレビュー画面を更にシフトすることはできない。

なお、プレビュー画面として撮像画像から切り出す範囲をシフトする場合について説明してきたが、被写体検出部１１１において、被写体の回転も検出可能である場合、その被写体ができるだけ水平になるように、表示制御部１１５においてプレビュー画面の表示領域を回転させることもできる。

＜変形例１＞
上述した例では、ＡＲマーカー等の被写体の重心がプレビュー画面の中心にできるだけ近づくように制御を行ったが、ＡＲマーカーについて所定の表示相対位置にコンテンツが表示される設定がされている場合には、その表示相対位置を利用した擬似的な重心を用いることができる。

変形例１では、擬似的な重心をコンテンツの中心（重心）とすることで、ＡＲマーカーよりも重畳されるコンテンツの視認性を高めることができる。この場合、前述したシフト量の計算に用いた被写体の重心に代え、擬似的な重心を用いる。

図１０（ａ）は、ＡＲマーカーＭの中心に対してＴ_Ｘピクセル左にコンテンツＣの中心が位置するように設定（図４（ｂ）の表示相対位置）されている場合に、コンテンツＣの中心を擬似的な重心とし、この擬似的な重心がプレビュー画面の中心にできるだけ近づくように制御を行う場合を示している。この例では、ＡＲマーカーＭの重心を（ｍ_ｘ，ｍ_ｙ）とすると、擬似的な重心は（ｍ_ｘ−Ｔ_ｘ，ｍ_ｙ）となる。図１０（ａ）ではコンテンツＣの中心がプレビュー画面の中心より左にずれているため、図１０（ｂ）に示すように、プレビュー画面を左にシフトすることで、コンテンツＣの中心ができるだけプレビュー画面の中心に近づくようにする。

図１１（ａ）はコンテンツＣの左の半分ほどがプレビュー画面から出てしまっているが、この場合も、図１１（ｂ）に示すように、プレビュー画面を左にシフトし、コンテンツＣの中心ができるだけプレビュー画面の中心に近づくようにしてコンテンツＣを見やすくする。

＜変形例２＞
上述した例では、ＡＲマーカーの重心に代えて、コンテンツの中心を擬似的な重心として用い、コンテンツの中心がプレビュー画面の中心にできるだけ近づくように制御を行ったが、この場合、ＡＲマーカーがプレビュー画面から出てしまう場合がある。図１２は、コンテンツＣの中心をプレビュー画面の中心になるように制御した結果、ＡＲマーカーＭがプレビュー画面から出てしまった場合を示している。一般に、プレビュー画面にＡＲマーカーＭが入っていない場合はそれに対応付けられたコンテンツＣの表示も行わないとすることが多いため、この場合はコンテンツＣも表示されなくなってしまう。

そこで、変形例２では、定数Ｋ（Ｋ≧１）を用いてＡＲマーカーとコンテンツの間に擬似的な重心を置き、その擬似的な重心がプレビュー画面の中心にできるだけ近づくように制御を行う。これにより、ＡＲマーカーと重畳されるコンテンツの両者の視認性をバランスさせることができる。Ｋが例えば「２」の場合は、ＡＲマーカーとコンテンツの中間点が擬似的な重心となる。Ｋ＞２のときは、ＡＲマーカー寄りの点が擬似的な重心となり、Ｋ＜２のときは、コンテンツ寄りの点が擬似的な重心となる。前述した変形例１はＫ＝１の特別な場合とみなすこともできる。

図１３は、ＡＲマーカーＭの中心に対してＴ_Ｘピクセル左にコンテンツＣの中心が位置するように設定（図４（ｂ）の表示相対位置）されている場合に、擬似的な重心を、ＡＲマーカーＭの重心とコンテンツＣの中心の間の（ｍ_ｘ−Ｔ_ｘ／Ｋ，ｍ_ｙ）とした場合を示している。なお、Ｋ＝２を想定している。

例えば、図１４（ａ）に示すように、擬似的な重心がプレビュー画面の中心より右にずれ、ＡＲマーカーＭの一部がプレビュー画面から出てしまった場合、図１４（ｂ）に示すように、プレビュー画面を右にシフトし、ＡＲマーカーＭがプレビュー画面からできるだけはみ出さないように調整する。

＜変形例３＞
ボタンやスイッチ等の機構またはソフトウェア上のユーザインタフェースにより、被写体追従制御部１１２での処理を実行しないようにしてもよい。これにより、ユーザが意図的に被写体をフレームアウトした場合には、ユーザの意図しない画面シフトの発生によりユーザが不便を感じることがなくなる。

また、被写体追従制御部１１２あるいは被写体検出部１１１において、ＡＲマーカーのＩＤなど、被写体の種類を識別し、ＡＲマーカーのＩＤに紐付けられた、画面シフトを実行するか否かの設定によって、被写体追従制御部１１２での処理を実行しないようにしてもよい。これにより、例えば重要な情報は画面シフトしてフレームアウトさせず、比較的重要でない情報は画面シフトさせずに処理負荷を軽減する、というような使い分けが可能となる。

また、ＡＲマーカーのＩＤに紐付けられた矩形範囲や半径の設定によって、シフト量の閾値（図６のステップＳ４３）に対応する矩形範囲や半径を変えてもよい。これにより、より細かい使い分けが可能となる。

＜変形例４＞
図１５は他の処理例を示している。この処理例では、検出対象を検出（ステップＳ３）し、シフト量を計算（ステップＳ４）した後、シフト量が「０」でない場合（ステップＳ５のＮｏ）、検出対象の検出位置が現在のプレビュー画面の範囲内であるか、シフトした場合のプレビュー画面の範囲内であるか判断する（ステップＳ５−２）。そして、検出対象の検出位置が現在のプレビュー画面の範囲内である場合はシフトを行わず、検出対象の検出位置がシフトした場合のプレビュー画面の範囲内である場合は実際にプレビュー画面の表示位置をシフト（ステップＳ６）するようにしている。その他の動作は図５に示したのと同様であり、図５についての詳細や変形も同様に適用することができる。

この例によれば、基準物としてのＡＲマーカーがプレビュー画面からはみ出すこととなる場合にだけシフト処理を行うことになり、処理に要する負荷を小さくすることができる。

＜総括＞
以上説明したように、本実施形態によれば、カメラの動きに応じて被写体の撮像画像上の位置がずれても、所定の範囲内で表示領域を追従させて被写体を捉え続けることができ、目的の被写体が画角の中心に表示されやすくなる。

すなわち、カメラが少し移動しただけでは、被写体が画角の外に出ないようになり、被写体の位置等を利用した機能がより継続的に利用できるようになる。

また、画像認識型ＡＲ機能において、プレビュー画面の周辺部が見づらい場合も、重畳されるコンテンツが画角の中心に表示されやすくなる。その結果、コンテンツの表示状態が不安定になることを抑制することができる。

また、被写体の中心の判定方法として、検出された被写体領域の重心を計算することで、誤って抽出された非被写体領域を含む抽出領域が利用される場合においても、上記の利点が発揮されやすくなる。

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

以上の説明に関し、更に以下の項を開示する。
（付記１）
カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定し、
前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）
撮像画像のうちの所定の部分領域の画像を拡大表示するとともに、
前記所定の部分領域から検出した基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示し、
撮像画像のうちの前記所定の部分領域外の他の部分領域から前記基準物を検出した場合に、拡大表示する対象を該他の部分領域に制御し、該他の部分領域から検出した前記基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記３）
カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の前記範囲の中心からのずれを算出し、
算出した前記ずれを低減させる方向に前記範囲をずらす、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記４）
前記ずれは、前記撮像画像内で前記範囲をずらすことが可能な方向ごとの最大のずれを超えない値に制限する、
ことを特徴とする付記３に記載の表示制御方法。
（付記５）
基準物とオブジェクトデータとの位置関係を記憶する記憶部を参照して、検出した前記基準物に対する前記オブジェクトデータの表示位置を取得し、
検出した前記基準物の位置および取得した前記オブジェクトデータの表示位置に基づき、前記ずれを算出する、
ことを特徴とする付記３または４に記載の表示制御方法。
（付記６）
前記基準物の位置は、該基準物の撮像画像に含まれる画素の重心である、
ことを特徴とする付記３乃至５のいずれか一項に記載の表示制御方法。
（付記７）
前記範囲の中心に設けた、特定の閾値の大きさを有する矩形または円形の領域内に前記ずれが収まる場合は、前記ずれをゼロとする、
ことを特徴とする付記３乃至６のいずれか一項に記載の表示制御方法。
（付記８）
前記範囲内に基準物が存在する場合に、前記基準物に対応付けられたオブジェクトデータを、画像に重畳して前記ディスプレイに表示する、
ことを特徴とする付記３乃至７のいずれか一項に記載の表示制御方法。
（付記９）
カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定し、
前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記１０）
撮像画像のうちの所定の部分領域の画像を拡大表示するとともに、
前記所定の部分領域から検出した基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示し、
撮像画像のうちの前記所定の部分領域外の他の部分領域から前記基準物を検出した場合に、拡大表示する対象を該他の部分領域に制御し、該他の部分領域から検出した前記基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記１１）
カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の前記範囲の中心からのずれを算出し、
算出した前記ずれを低減させる方向に前記範囲をずらす、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記１２）
前記ずれは、前記撮像画像内で前記範囲をずらすことが可能な方向ごとの最大のずれを超えない値に制限する、
ことを特徴とする付記１１に記載の表示制御プログラム。
（付記１３）
基準物とオブジェクトデータとの位置関係を記憶する記憶部を参照して、検出した前記基準物に対する前記オブジェクトデータの表示位置を取得し、
検出した前記基準物の位置および取得した前記オブジェクトデータの表示位置に基づき、前記ずれを算出する、
ことを特徴とする付記１１または１２に記載の表示制御プログラム。
（付記１４）
前記基準物の位置は、該基準物の撮像画像に含まれる画素の重心である、
ことを特徴とする付記１１乃至１３のいずれか一項に記載の表示制御プログラム。
（付記１５）
前記範囲の中心に設けた、特定の閾値の大きさを有する矩形または円形の領域内に前記ずれが収まる場合は、前記ずれをゼロとする、
ことを特徴とする付記１１乃至１４のいずれか一項に記載の表示制御プログラム。
（付記１６）
前記範囲内に基準物が存在する場合に、前記基準物に対応付けられたオブジェクトデータを、画像に重畳して前記ディスプレイに表示する、
ことを特徴とする付記１１乃至１５のいずれか一項に記載の表示制御プログラム。
（付記１７）
カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定する手段と、
前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する手段と、
を備えたことを特徴とする情報処理装置。
（付記１８）
撮像画像のうちの所定の部分領域の画像を拡大表示するとともに、
前記所定の部分領域から検出した基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する手段と、
撮像画像のうちの前記所定の部分領域外の他の部分領域から前記基準物を検出した場合に、拡大表示する対象を該他の部分領域に制御し、該他の部分領域から検出した前記基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する手段と、
を備えたことを特徴とする情報処理装置。
（付記１９）
カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の前記範囲の中心からのずれを算出する手段と、
算出した前記ずれを低減させる方向に前記範囲をずらす手段と、
を備えたことを特徴とする情報処理装置。
（付記２０）
前記ずれは、前記撮像画像内で前記範囲をずらすことが可能な方向ごとの最大のずれを超えない値に制限する、
ことを特徴とする付記１９に記載の情報処理装置。
（付記２１）
基準物とオブジェクトデータとの位置関係を記憶する記憶部を参照して、検出した前記基準物に対する前記オブジェクトデータの表示位置を取得し、
検出した前記基準物の位置および取得した前記オブジェクトデータの表示位置に基づき、前記ずれを算出する、
ことを特徴とする付記１９または２０に記載の情報処理装置。
（付記２２）
前記基準物の位置は、該基準物の撮像画像に含まれる画素の重心である、
ことを特徴とする付記１９乃至２１のいずれか一項に記載の情報処理装置。
（付記２３）
前記範囲の中心に設けた、特定の閾値の大きさを有する矩形または円形の領域内に前記ずれが収まる場合は、前記ずれをゼロとする、
ことを特徴とする付記１９乃至２２のいずれか一項付記１９に記載の情報処理装置。
（付記２４）
前記範囲内に基準物が存在する場合に、前記基準物に対応付けられたオブジェクトデータを、画像に重畳して前記ディスプレイに表示する、
ことを特徴とする付記１９乃至２３のいずれか一項に記載の情報処理装置。

１００ 情報処理装置
１０１ システム制御部
１０２ レンズ駆動部
１０３ レンズ
１０４ 撮像素子
１０５ 画像処理回路
１０６ 画像メモリ
１０７ 操作部
１０８ 表示部
１０９ メモリ
１１０ 記録装置
１１１ 被写体検出部
１１２ 被写体追従制御部
１１３ 対被写体処理部
１１４ 電子ズーム制御部
１１５ 表示制御部

Claims (14)

1. カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定し、
   前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
2. 撮像画像のうちの所定の部分領域の画像を拡大表示するとともに、
   前記所定の部分領域から検出した基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示し、
   撮像画像のうちの前記所定の部分領域外の他の部分領域から前記基準物を検出した場合に、拡大表示する対象を該他の部分領域に制御し、該他の部分領域から検出した前記基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
3. カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の前記範囲の中心からのずれを算出し、
   算出した前記ずれを低減させる方向に前記範囲をずらす、
   処理をコンピュータが実行することを特徴とする表示制御方法。
4. 前記ずれは、前記撮像画像内で前記範囲をずらすことが可能な方向ごとの最大のずれを超えない値に制限する、
   ことを特徴とする請求項３に記載の表示制御方法。
5. 基準物とオブジェクトデータとの位置関係を記憶する記憶部を参照して、検出した前記基準物に対する前記オブジェクトデータの表示位置を取得し、
   検出した前記基準物の位置および取得した前記オブジェクトデータの表示位置に基づき、前記ずれを算出する、
   ことを特徴とする請求項３または４に記載の表示制御方法。
6. 前記基準物の位置は、該基準物の撮像画像に含まれる画素の重心である、
   ことを特徴とする請求項３乃至５のいずれか一項に記載の表示制御方法。
7. 前記範囲の中心に設けた、特定の閾値の大きさを有する矩形または円形の領域内に前記ずれが収まる場合は、前記ずれをゼロとする、
   ことを特徴とする請求項３乃至６のいずれか一項に記載の表示制御方法。
8. 前記範囲内に基準物が存在する場合に、前記基準物に対応付けられたオブジェクトデータを、画像に重畳して前記ディスプレイに表示する、
   ことを特徴とする請求項３乃至７のいずれか一項に記載の表示制御方法。
9. カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定し、
   前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
10. 撮像画像のうちの所定の部分領域の画像を拡大表示するとともに、
    前記所定の部分領域から検出した基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示し、
    撮像画像のうちの前記所定の部分領域外の他の部分領域から前記基準物を検出した場合に、拡大表示する対象を該他の部分領域に制御し、該他の部分領域から検出した前記基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する、
    処理をコンピュータに実行させることを特徴とする表示制御プログラム。
11. カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の前記範囲の中心からのずれを算出し、
    算出した前記ずれを低減させる方向に前記範囲をずらす、
    処理をコンピュータに実行させることを特徴とする表示制御プログラム。
12. カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の位置が、取得した前記撮像画像のうち、前記範囲の中心を含み、かつ、前記範囲の内側の第１のエリアと、前記第１のエリアから何れかの方向にずれた第２のエリアと、の何れのエリアに含まれるかを判定する手段と、
    前記基準物の位置が前記第１のエリアに含まれる場合、前記基準物に対応付けられたオブジェクトデータを、前記撮像画像のうちの前記範囲の画像に重畳して前記ディスプレイに表示し、前記基準物の位置が前記第２のエリアに含まれる場合、前記オブジェクトデータを、前記撮像画像のうちの前記範囲から前記何れかの方向にずれた他の範囲の画像に重畳して前記ディスプレイに表示する手段と、
    を備えたことを特徴とする情報処理装置。
13. 撮像画像のうちの所定の部分領域の画像を拡大表示するとともに、
    前記所定の部分領域から検出した基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する手段と、
    撮像画像のうちの前記所定の部分領域外の他の部分領域から前記基準物を検出した場合に、拡大表示する対象を該他の部分領域に制御し、該他の部分領域から検出した前記基準物の検出位置に応じてコンテンツを前記拡大表示と重畳して表示する手段と、
    を備えたことを特徴とする情報処理装置。
14. カメラにより撮像された撮像画像に基準物が含まれることを検出すると、撮像画像のうちのディスプレイに表示する対象の範囲を記憶する記憶部を参照して、前記基準物の前記範囲の中心からのずれを算出する手段と、
    算出した前記ずれを低減させる方向に前記範囲をずらす手段と、
    を備えたことを特徴とする情報処理装置。

Images