JP2022122479A - 撮像システム、表示装置、撮像装置、および撮像システムの制御方法 - Google Patents

Abstract

【課題】ＡＲグラスを装着したユーザーが撮像装置の表示画面を観賞した際に、撮像装置による撮像画像に合ったＡＲコンテンツをユーザーに違和感なく提示することができる。【解決手段】撮像装置および頭部装着型の表示装置を含む撮像システムは、前記撮像装置は、撮像手段と、前記撮像手段が撮像した撮像画像を表示する表示制御手段と、を有し、前記表示装置は、コンテンツを表示する表示制御手段を有し、前記撮像装置の前記表示制御手段は、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記撮像画像の撮影状態の情報に基づいて、前記コンテンツを前記撮像画像に重畳表示する。【選択図】図３

Description

本発明は、撮像システム、表示装置、撮像装置、および撮像システムの制御方法に関する。

近年、現実空間と仮想空間をリアルタイムで継ぎ目なく融合する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、以下ＡＲと呼ぶ）技術に関する研究開発が盛んになってきている。拡張現実の技術を応用した表示装置は、ＡＲグラスと呼ばれ、実用化されつつある。ＡＲグラスは、現実空間に重畳して、仮想空間上のオブジェクト（以下、ＡＲコンテンツと呼ぶ）を表示することができる。ＡＲグラスは、ＡＲコンテンツを表示することにより、ユーザーに対して、現実空間にあたかもＡＲコンテンツが出現したかのように知覚させることが可能になる。

また、近年は撮像装置の高性能化により、ＡＲコンテンツを撮像装置による画像に重畳させる製品が見られるようになってきている。特許文献１は、撮像装置が、クラウド上から受信したＡＲコンテンツを撮像装置の姿勢を基にして変換し、撮像装置の表示画像上に重畳表示する技術を開示する。

特許第６７１５４４１号公報

ＡＲグラスは、実空間の人、動物、物等のオブジェクトおよび背景に合わせて、ＡＲコンテンツを重畳表示する。ＡＲグラスを装着したユーザーが、撮像装置の表示画面を観賞する場合、ユーザーが意図しない表示状態となる場合がある。

ＡＲグラスに表示されるＡＲコンテンツは、実空間に合わせて重畳表示させるために、表示位置等の表示状態が変換される。このように、ＡＲコンテンツは実空間に合わせて変換されるため、ＡＲグラスに表示されているＡＲコンテンツの表示空間は、撮像装置の表示画面の表示空間とは乖離している。

したがって、ユーザーがＡＲグラスを装着して撮像装置の表示画面を観賞した場合、ＡＲグラスに表示されるＡＲコンテンツは、撮像装置の表示画面に合わせた状態では表示されないという課題がある。また、ＡＲグラスを介して撮像装置の表示画面を観賞する場合に、ＡＲコンテンツを撮像装置の表示画面にも表示させると、ＡＲコンテンツは、撮像装置とＡＲグラスとで二重に表示されてしまうという課題も起こりうる。

本発明は上記課題に鑑みてなされたものであり、ＡＲグラスを装着したユーザーが撮像装置の表示画面を観賞した際に、撮像装置による撮像画像に合ったＡＲコンテンツをユーザーに違和感なく提示することを目的とする。

上記目的を達成するために、本発明の撮像システムは、
撮像装置および頭部装着型の表示装置を含む撮像システムであって、
前記撮像装置は、
撮像手段と、
前記撮像手段が撮像した撮像画像を表示する表示制御手段と、を有し、
前記表示装置は、
コンテンツを表示する表示制御手段を有し、
前記撮像装置の前記表示制御手段は、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記撮像画像の撮影状態の情報に基づいて、前記コンテンツを前記撮像画像に重畳表示する
ことを特徴とする。

本発明によれば、ＡＲグラスを装着したユーザーが撮像装置の表示画面を観賞した際に、撮像装置による撮像画像に合ったＡＲコンテンツをユーザーに違和感なく提示することが可能となる。

撮像システムの概要図およびブロック図である。 撮像装置および表示装置での表示について説明する図である。 実施形態１に係るＡＲコンテンツの表示について説明する図である。 実施形態１に係る表示処理を例示するフローチャートである。 実施形態１の変形例について説明する図である。 実施形態２に係る表示処理を例示するフローチャートである。 実施形態３に係る表示処理を例示するフローチャートである。

＜実施形態１＞
以下、図面を参照して本発明の好適な実施形態を説明する。図１から図５は、実施形態１に係る撮像システムについて説明する図である。

（装置構成）
図１（Ａ）は、本発明による撮像システムの概要図である。撮像システムは、撮像装置１および頭部装着型の表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２を含む。図１（Ａ）では、ユーザーは、表示装置２としてのＡＲグラスを装着し、撮像装置１としてのスマートフォンを構えている。ユーザーは、表示装置２を介して撮像装置１の表示画面を観賞している。図１（Ｂ）は、撮像システムに含まれる撮像装置１および表示装置２のブロック図を例示する。

撮像装置１は、撮像画像（ライブビュー画像）の表示が可能な電子機器であり、例えば、スマートフォン、カメラ等である。表示装置２は、ＡＲコンテンツを表示させることができる拡張現実表示装置であり、例えば、ＡＲグラスである。本実施形態でのＡＲグラスは、透明なディスプレイを使用した光学シースルー型のＨＭＤが想定されるが、外界をビデオ映像化し、仮想世界の映像と電子的に合成するビデオシースルー型のＨＭＤであってもよい。なお、以下では、撮像装置１はスマートフォン１、表示装置２はＡＲグラス２として説明する。

図１（Ｂ）を参照して、まず、スマートフォン（撮像装置）１の構成について説明する。撮影光学系１０３は、複数のレンズで構成される。ブレ補正用レンズ１０３ａは、手ぶれが検知された場合に、ブレを打ち消す方向に動いて、光軸１０４を補正する。

システム制御部１０５は、少なくとも１つのプロセッサまたは回路からなる制御部であり、スマートフォン１の全体を制御する。システム制御部１０５は、不揮発性メモリ（不
図示）に格納されたプログラムを実行することで、本実施形態の各処理を実現する。具体的には、システム制御部１０５は、撮像手段として、撮像素子１０６等を制御することにより撮影処理を実行する。また、システム制御部１０５は、表示制御手段として、表示部１０７への表示を制御する。また、システム制御部１０５は、検知手段として、ＡＲグラス２を介してスマートフォン１の表示部１０７が観賞されていることを検知する。

撮像素子１０６は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。表示部１０７は、スマートフォン１に設けられた表示部であり、画像および各種情報を表示する。表示部１０７は、例えば、液晶等のモニタである。

検出部１０８は、不図示のシャッターレリーズ釦などを含む操作部からの信号、およびユーザーがＡＲグラス２を介してスマートフォン１の表示部１０７を観賞したことなどを検知する。ブレ検出部１０９は、スマートフォン１のブレの状態を検出する。ブレ補正部１１０は、ブレ検出部１０９によって手ぶれが検出されると、ブレ補正用レンズ１０３ａを動かしてブレを補正する。

通信部１１４は、有線または無線による通信インタフェースであって、システム制御部１０５とシステム制御部２１１との間のデータのやり取りを可能にする。通信部１１４は、ＡＲグラス２に撮像画像、撮影状態の情報等を送信する。撮影状態は、例えば、スマートフォン１の姿勢情報、焦点距離情報、被写界深度情報である。また、通信部１１４は、ＡＲグラス２からＡＲコンテンツ、ＡＲグラス２の姿勢情報等を受信する。

スマートフォン１は、撮影光学系１０３および撮像素子１０６を含む撮像部（カメラ）を複数備えてもよい。例えば、スマートフォン１は、撮影者側を撮影するための前面カメラおよび、被写体側を撮影するための背面カメラを備える。

次に、図１（Ｂ）を参照して、ＡＲグラス（表示装置）２の構成について説明する。システム制御部２１１は、少なくとも１つのプロセッサまたは回路からなる制御部であり、ＡＲグラス２の全体を制御する。システム制御部２１１は、不揮発性メモリ（不図示）に記録されたプログラムを実行することで、本実施形態の各処理を実現する。具体的には、システム制御部２１１は、表示制御手段として、ＡＲコンテンツの生成、変換、表示を制御する。また、システム制御部２１１は、検知手段として、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されていることを検知する。拡張現実生成部２１１ａは、ＡＲコンテンツを生成する。

表示部２１２は、ＡＲグラス２のグラス部分に相当する。検出部２１３は、ＡＲグラス２に設けられた不図示の操作部からの信号、およびユーザーがＡＲグラス２を介してスマートフォン１の表示部１０７を観賞したことなどを検知する。また、検出部２１３は、ＡＲグラス２の周辺環境を検出する。例えば、ＡＲグラス２は、小型のカメラなどを用いて、周辺環境の状態を検出し、ＡＲコンテンツを適切な表示状態へ変換するために用いるデータを生成する。表示状態の変換は、例えば、スマートフォン１およびＡＲグラス２のブレの情報に基づく座標変換、ＡＲコンテンツの向きおよび大きさの変換などを含む。

通信部２１４は、有線または無線による通信インタフェースであって、システム制御部１０５とシステム制御部２１１との間のデータのやり取りを可能にする。通信部２１４は、スマートフォン１から撮像画像、撮影状態の情報等を受信する。撮影状態は、例えば、スマートフォン１の姿勢情報、焦点距離情報、被写界深度情報である。また、通信部２１４は、スマートフォン１にＡＲコンテンツ、ＡＲグラス２の姿勢情報等を送信する。ブレ検出部２１５は、ＡＲグラス２のブレ状態を検出する。

図１（Ａ）に示すスマートフォン１およびＡＲグラス２を含む撮像システムは、ユーザーがＡＲグラス２の表示部２１２を介して、撮像装置であるスマートフォン１の表示部１０７を観賞した際に、撮像画像およびＡＲコンテンツを違和感なく表示する。

ユーザーがＡＲグラス２を単体で使用する場合、拡張現実生成部２１１ａが生成したＡＲコンテンツは、検出部２１３が検出した周辺環境に合わせて、表示部２１２上に表示される。

本実施形態では、ユーザーがスマートフォン１のカメラを構えて、表示部１０７を観賞する際、拡張現実生成部２１１ａが生成したＡＲコンテンツは、通信部２１４および通信部１１４を介して、スマートフォン１に送信される。スマートフォン１に送信されたＡＲコンテンツは、スマートフォン１の撮影状態に合わせて変換され、表示部１０７に表示される。撮影状態は、例えば、フォーカス（被写界深度）情報、焦点距離情報、スマートフォン１およびＡＲグラス２の姿勢情報などである。スマートフォン１およびＡＲグラス２のブレ状態は、スマートフォン１およびＡＲグラス２の姿勢情報に基づいて取得することができる。

ＡＲグラス２のブレ状態（頭のブレ状態）と、カメラのブレ状態とは異なるため、ＡＲコンテンツは、ＡＲグラス２の姿勢情報に基づいて、ＡＲグラス２の動きによるブレを抑制するために補正される。スマートフォン１では、ＡＲグラス２のブレ状態が補正されたＡＲコンテンツは、スマートフォン１のブレ状態に基づいてさらに補正され、表示部１０７に表示される。

なお、ＡＲコンテンツの表示状態は、ＡＲグラス２で変換されても、スマートフォン１で変換されてもよい。ＡＲコンテンツがＡＲグラス２で変換される場合、ＡＲグラス２は、スマートフォン１から、撮像画像および撮影状態を受信する。ＡＲグラス２は、受信した撮影状態に基づいて、ＡＲコンテンツの座標、フォーカス状態、手ぶれ状態を撮像画像に合わせて変換し、スマートフォン１で表示するためのＡＲコンテンツを生成する。ＡＲグラス２は、生成したＡＲコンテンツをスマートフォン１に送信する。スマートフォン１は、ＡＲグラス２から受信したＡＲコンテンツを表示部１０７に表示する。

また、ＡＲコンテンツがスマートフォン１で変換される場合、ＡＲグラス２は、拡張現実生成部２１１ａが生成したＡＲコンテンツおよびＡＲグラス２の姿勢情報を、スマートフォン１に送信する。スマートフォン１は、受信したＡＲグラス２の姿勢情報に基づいて、ＡＲグラス２の動きによるＡＲコンテンツのブレを補正する。スマートフォン１は、さらに、カメラの姿勢情報、焦点距離、被写界深度情報に基づいてＡＲコンテンツを補正し、表示部１０７に表示する。

ＡＲコンテンツがスマートフォン１の撮影状態に合わせて表示部１０７に表示されるため、スマートフォン１は、ＡＲコンテンツが撮像画像に適切に重畳された状態で、撮影することが可能になる。また、ＡＲグラス２は、表示部２１２でのＡＲコンテンツの表示を停止する。ＡＲコンテンツは、スマートフォン１の表示部１０７およびＡＲグラス２の表示部２１２に二重に表示されることが回避され、撮像画像に違和感なく重畳表示される。

なお、ＡＲコンテンツは、拡張現実生成部２１１ａによって生成されるものとして説明するが、ＡＲグラス２で生成されなくてもよい。ＡＲコンテンツは、ＡＲグラス２で生成する代わりに、スマートフォンやその他の外部装置（ＰＣ、クラウド上のサーバ装置等）で生成されてもよい。外部装置（スマートフォン、ＰＣ、クラウド上のサーバ装置等）でＡＲコンテンツを生成することにより、ＡＲグラス２は、高性能で大型のＳｏＣ（System-on-a-chip）を搭載しなくてもよく、小型化（ゴーグル型でなくグラス型）が可能となる
。

（画面表示）
図２を参照して、スマートフォン１およびＡＲグラス２の画面表示について説明する。図２（Ａ）は、実空間の被写体２１（テーブルとソファー）が置かれた実空間の風景を示す。

図２（Ｂ）は、図２（Ａ）で示した被写体２１を、スマートフォン１のカメラを介して観賞した様子を示す。被写体像２２は、スマートフォン１の表示部１０７に表示される被写体の撮像画像である。被写体２１に対してユーザーがスマートフォン１のカメラを構えた場合、被写体２１は、撮影光学系１０３を介して撮像素子１０６にて撮像される。システム制御部１０５は、撮像素子１０６から出力された電気信号を現像処理等することにより、被写体像２２を表示部１０７に表示する。

図２（Ｂ）は、スマートフォン１のカメラを起動し、レンズを被写体２１に向けることにより表示されるライブビュー画像である。表示部１０７に表示されたライブビュー画像は、スマートフォン１でのカメラの撮影動作により撮影される。

図２（Ｃ）は、図２（Ａ）で示した被写体２１を、ＡＲグラス２を介して観賞した様子を示す。ＡＲコンテンツ２３は、拡張現実生成部２１１ａによって生成されたキャラクターである。ユーザーがＡＲグラス２を介して被写体２１を観賞した際、ＡＲコンテンツ２３は、システム制御部２１１により、周囲の環境に合わせて変換され、表示部２１２に表示される。

周囲の環境に合わせた変換は、例えば、ブレ検出部２１５が検出したＡＲグラス２のブレ状態などに応じて、ＡＲコンテンツの表示位置および大きさなどの表示状態を変更することである。ＡＲコンテンツは、ＡＲグラス２を装着したユーザーが、ＡＲグラス２を起動して被写体２１を観賞することにより、表示部２１２に表示される。ユーザーが移動をしたり、被写体２１を観賞する向きを変えたりした場合、ＡＲコンテンツ２３は、ＡＲグラス２の表示部２１２を介して観賞される周囲の環境に合わせて表示状態が変更され、表示部２１２に表示される。

図３を参照して、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合の表示について説明する。ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されていることは、スマートフォン１の検出部１０８またはＡＲグラス２の検出部２１３により検知される。

スマートフォン１の検出部１０８は、例えば、スマートフォン１の記憶部（不図示）に記録しておいたＡＲグラス２の画像および特徴のデータに基づいて、スマートフォン１の前面カメラの撮像画像からＡＲグラス２を検出する。検出部１０８は、前面カメラの撮像画像からＡＲグラス２が検出された場合に、表示部１０７が観賞されていることを検知することができる。

また、ＡＲグラス２の検出部２１３は、周囲の環境を検出するカメラを備え、カメラの撮像画像からスマートフォン１を検出する。検出部２１３は、例えば、ＡＲグラス２の記憶部（不図示）に記録しておいたスマートフォン１の画像および特徴のデータに基づいて、ＡＲグラス２のカメラの撮像画像からスマートフォン１を検出する。検出部２１３は、ＡＲグラス２のカメラの撮像画像からスマートフォン１を検出した場合に、表示部２１２を介して表示部１０７が観賞されていることを検知することができる。

また、ＡＲグラス２の検出部２１３は、カメラを備える場合に限られず、対象物の撮像画像（距離画像）を取得できる機能を有していればよい。例えば、検出部２１３は、ライダー（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサを備え、ライダーセンサによりスマートフォン１を検出してもよい。

なお、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されていることを、ＡＲグラス２の検出部２１３だけで検知し、その検知結果を通信部２１４および通信部１１４を介して、スマートフォン１に送信してもよい。同様に、スマートフォン１の検出部１０８だけで検知し、その検知結果を通信部１１４および通信部２１４を介して、スマートフォン１に送信してもよい。それらの場合、受信した検知結果に基づいて、システム制御部１０５またはシステム制御部２１１は、ユーザーがＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７を観賞しているか否かを判定する。

図３（Ａ）は、ユーザーがＡＲグラス２で被写体２１を観賞している際に、スマートフォン１を見ていない状態を示す。図３（Ｂ）は、図３（Ａ）の状態から、ユーザーがスマートフォン１をカメラとして構えた状態を示す。図３（Ｂ）では、ユーザーは、ＡＲグラス２の表示部２１２を介して、スマートフォン１の表示部１０７を観賞し、ＡＲグラス２とスマートフォン１のカメラとを通して被写体２１を観賞している。

図３（Ｃ）は、図３（Ｂ）の状態で、ユーザーがスマートフォン１のカメラを構え、被写体を撮影している際の、表示部１０７の表示内容を示す。スマートフォン１の表示部１０７は、被写体像２２およびＡＲコンテンツ３１のキャラクターを表示する。被写体像２２は、図２（Ｂ）で示したように、被写体２１をスマートフォン１のカメラで撮影した撮像画像であり、スマートフォン１の表示部１０７に表示されている。ＡＲコンテンツ３１は、スマートフォン１の表示部１０７に表示されたＡＲコンテンツのキャラクターである。

ＡＲコンテンツ３１は、図２（Ｃ）で示した、拡張現実生成部２１１ａが生成したＡＲコンテンツ２３の表示状態を変換して、表示部１０７に表示したコンテンツである。システム制御部１０５は、通信部１１４および通信部２１４を介してＡＲコンテンツ２３の情報を、ＡＲグラス２から受信する。システム制御部１０５は、スマートフォン１のブレ検出部１０９などにより得られる撮影状態（カメラと被写体の相対位置、向きなどを含む）に基づいて、ＡＲコンテンツ２３を変換し、表示部１０７に表示する。

このように、ＡＲグラス２から見た被写体２１に重畳されたＡＲコンテンツ２３は、スマートフォン１のカメラから見た被写体２１に重畳されたＡＲコンテンツ３１（キャラクター）に変換される。

図３（Ｄ）は、図３（Ｃ）のスマートフォン１の表示部１０７に、ＡＲグラス２の表示部２１２を重ねた図である。図３（Ｃ）と同様に、スマートフォン１の表示部１０７は、スマートフォン１のカメラの撮影状態に合わせて変換されたＡＲコンテンツ３１を表示する。

ＡＲコンテンツ３２は、ＡＲグラス２単体で周囲の環境を観賞した場合の表示状態で表示されている。また、ＡＲコンテンツ３２は、ＡＲグラス２の表示部２１２で、実際には非表示に設定され、図３（Ｄ）では破線で示されている。システム制御部２１１は、ＡＲコンテンツ３２を非表示とすることにより、スマートフォン１の表示部１０７とＡＲグラス２の表示部２１２とで二重にキャラクター（ＡＲコンテンツ）が表示されないように制御する。

なお、図３（Ｄ）では、ＡＲグラス２の表示部２１２でキャラクターを非表示としたが、これに限られない。例えば、表示部２１２に表示されるＡＲコンテンツがスマートフォン１よりも大きい場合、システム制御部２１１は、スマートフォン１の形状を認識し、表示部２１２に表示されるＡＲコンテンツのうち、スマートフォン１と重なる領域を非表示としてもよい。

上述のように、スマートフォン１は、ＡＲグラス２から受信したＡＲコンテンツのデータを、撮像画像の被写体に合わせて変換して表示部１０７に表示し、ＡＲグラス２は、表示部２１２でのＡＲコンテンツの表示を停止する。これにより、スマートフォン１は、撮像画像に合わせてＡＲコンテンツを表示することができる。また、表示部１０７と表示部２１２に二重にＡＲコンテンツが表示されることがないため、ユーザーは、撮像画像に重畳されたＡＲコンテンツを、違和感なく観賞することができる。

（実施形態１の表示処理）
図４を参照して、ＡＲコンテンツの表示処理について説明する。図４は、実施形態１に係るＡＲコンテンツの表示処理を例示するフローチャートである。図４に示す表示処理は、ＡＲグラス２の電源が入ることにより開始される。

ステップＳ４０１では、システム制御部２１１は、ＡＲグラス２の表示部２１２に、ＡＲコンテンツ（以下、コンテンツとも称する）を表示するか否かを判定する。ＡＲグラス２の表示部２１２にコンテンツを表示する場合、処理はステップＳ４０２へ進む。ＡＲグラス２の表示部２１２にコンテンツを表示しない場合、処理はステップＳ４０６へ進む。

Ｓ４０１の判定方法として、システム制御部２１１は、例えば、ユーザーからの指示（操作）に応じて、コンテンツを表示するか否かを判定することができる。具体的には、ユーザーの操作などによってＡＲコンテンツを表示するモードに設定されている場合、システム制御部２１１は、コンテンツを表示すると判定することができる。また、システム制御部２１１は、周囲の環境に配置されているＡＲコンテンツの情報を検出した場合に、コンテンツを表示すると判定してもよい。

ステップＳ４０２では、システム制御部２１１は、ＡＲグラス２の表示部２１２にコンテンツを表示する。ステップＳ４０３では、システム制御部２１１は、スマートフォン１にＡＲコンテンツの情報を送信する。スマートフォン１のシステム制御部１０５は、撮影状態に合わせて、受信したＡＲコンテンツを変換し、表示部１０７に表示する。システム制御部１０５は、被写体に対するＡＲコンテンツの大きさ、位置および向きが、ＡＲグラス２で観賞した場合と同じになるように、表示部１０７に表示させるＡＲコンテンツを変換する。

ステップＳ４０４では、システム制御部２１１は、ユーザーがＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７を観賞しているか否かを判定する。ユーザーがＡＲグラス２の表示部２１２を介して観賞している場合、処理はステップＳ４０５へ進む。ユーザーがＡＲグラス２の表示部２１２を介して観賞していない場合、処理はステップＳ４０６へ進む。

なお、ステップＳ４０４の判定は、スマートフォン１のシステム制御部１０５によって判定されてもよい。また、ステップＳ４０４で、ユーザーがＡＲグラス２の表示部２１２を介して表示部１０７を観賞しているか否かは、スマートフォン１またはＡＲグラス２の操作部に対するユーザーの操作に基づいて判定してもよい。ユーザーの操作は、例えば、ＡＲグラス２の表示部２１２を介して表示部１０７を観賞するためのモードの設定または
解除の操作である。

また、スマートフォン１の検出部１０８またはＡＲグラス２の検出部２１３は、ＡＲグラス２の表示部２１２を介して表示部１０７が観賞されているか否かを、自動的に検知してもよい。この場合、システム制御部２１１は、検知結果に応じて、ユーザーがＡＲグラス２の表示部２１２を介して表示部１０７を観賞しているか否かを判定することができる。

ステップＳ４０５では、システム制御部２１１は、ＡＲグラス２の表示部２１２でのＡＲコンテンツの表示を停止する。システム制御部２１１は、表示部２１２に表示されたＡＲコンテンツのうち、スマートフォン１と重なる一部の領域を非表示にするようにしてもよい。

なお、スマートフォン１のシステム制御部１０５がステップＳ４０４の判定をした場合、システム制御部２１１は、スマートフォン１から、ＡＲグラス２の表示部２１２を介して観賞されていることの判定結果を受信するようにしてもよい。システム制御部２１１は、当該判定結果を受信して、表示部２１２でのＡＲコンテンツの表示を停止することができる。

ステップＳ４０６では、システム制御部１０５は、スマートフォン１に対して、ユーザーから撮影指示の操作があったか否かを判定する。撮影指示の操作があった場合、処理はステップＳ４０７へ進む。撮影指示の操作がない場合、処理はステップＳ４０１へ戻る。

ステップＳ４０７では、システム制御部１０５は、スマートフォン１のカメラ機能を用いて撮影動作を行う。スマートフォン１の表示部１０７にＡＲコンテンツが表示されている場合、スマートフォン１は、撮影動作によりＡＲコンテンツが重畳された撮像画像を撮影することができる。

ステップＳ４０８では、システム制御部２１１は、電源釦などの操作部によって、ユーザーがＡＲグラス２の電源が切ったか否かを判定する。ユーザーがＡＲグラス２の電源を切った場合、図４に示す処理は終了する。ユーザーがＡＲグラス２の電源を切っていない場合、処理はステップＳ４０１へ戻る。

図４に例示するＡＲコンテンツの表示処理では、ＡＲコンテンツのデータは、ＡＲグラス２からスマートフォン１に送信される。スマートフォン１は、受信したＡＲコンテンツを、スマートフォン１の撮影状態に基づいて変換し、表示部１０７に表示する。また、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている間、ＡＲグラス２は、表示部２１２でのＡＲコンテンツの表示を停止する。

これにより、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、スマートフォン１は、表示部１０７に表示された撮像画像（ライブビュー画像）に合わせて、違和感なくＡＲコンテンツを表示することができる。

（変形例）
実施形態１は、撮像装置１がスマートフォンであること想定して説明したが、これに限られない。変形例では、撮像装置１は、カメラであると想定される。撮像装置１がカメラである場合、撮像装置１に設けられた表示部１０７は、カメラの背面液晶画面、またはカメラのファインダ内に設けられたＥＶＦ（電子ビューファインダー）などである。

図５は、実施形態１の変形例について説明する図である。実施形態１の変形例では、撮
像装置１はカメラ５１である。図５（Ｂ）および図５（Ｃ）は、ＡＲグラス２の表示部２１２を介してカメラ５１の表示部１０７が観賞されている場合の様子を示す。

図５（Ａ）は、図３（Ａ）と同様に、ＡＲグラス２を用いてＡＲコンテンツを観賞している様子を示す。図５（Ｂ）は、図５（Ａ）の状態からカメラ５１を構えた様子を示す。図５（Ｂ）では、ユーザーは、ＡＲグラス２を装着した状態で、カメラ５１のＥＶＦをのぞいている。図３（Ｂ）の場合と同様に、ユーザーは、ＡＲグラス２の表示部２１２を介して、カメラ５１のＥＶＦをのぞくこととなる。

したがって、ＡＲコンテンツは、撮像装置１の表示部１０７であるＥＶＦに表示される画像合わせて、表示状態が変換される。図３の場合と同様に、カメラ５１は、ＡＲグラス２との通信により、ＡＲコンテンツのデータを受信し、ＡＲコンテンツを撮影状態に合わせて変換してＥＶＦに表示する。また、ＡＲグラス２は、表示部２１２でＡＲコンテンツの表示を停止する。これにより、撮像装置１は、表示部１０７上でＡＲコンテンツを適切に表示することができる。

図５（Ｃ）は、撮像装置１の表示部１０７として、カメラ５１の背面液晶を用いる場合の様子を示す。図３（Ｂ）および図５（Ｂ）の場合と同様に、カメラ５１は、ＡＲグラス２と通信することにより、撮像画像に合わせて変換したＡＲコンテンツを、表示部１０７に表示することができる。

実施形態１では、ＡＲグラス２の表示部２１２を介して撮像装置１の表示部１０７が観賞されている場合、スマートフォン１は、表示画面（表示部１０７）に表示される撮像画像に合ったＡＲコンテンツを、ユーザーに違和感なく提示することができる。

＜実施形態２＞
実施形態１では、撮像画像およびＡＲコンテンツは、スマートフォン１の表示部１０７に表示され、ＡＲグラス２の表示部２１２には表示されない。これに対し、実施形態２では、撮像画像およびＡＲコンテンツは、ＡＲグラス２の表示部２１２に表示され、スマートフォン１の表示部１０７には表示されない。

即ち、実施形態２は、スマートフォン１の表示部１０７およびＡＲグラス２の表示部２１２に表示する表示内容が、実施形態１と異なる。なお、スマートフォン１およびＡＲグラス２の装置構成は、実施形態１と同様である。以下、実施形態１と差異のある処理等について詳細に説明する。

実施形態２では、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、スマートフォン１は表示部１０７の表示を停止する。また、ＡＲグラス２は、表示部１０７での表示内容（撮像画像）をＡＲコンテンツとともに表示部２１２上に表示する。実施形態２は、図５（Ｂ）に示すように、撮像装置１（カメラ５１）の表示部１０７としてＥＶＦを用いた場合に、特に有用である。

（実施形態２の表示処理）
図６を参照して、ＡＲコンテンツの表示処理について説明する。図６は、実施形態２に係るＡＲコンテンツの表示処理を例示するフローチャートである。図６に示す表示処理は、ＡＲグラス２の電源が入ることにより開始される。図４に示す処理と同じ処理については、同じ符号を付して詳細な説明は省略する。

ステップＳ４０２で、ＡＲグラスにコンテンツが表示されると、処理はステップＳ６０３へ進む。ステップＳ６０３では、ステップＳ４０４と同様に、システム制御部２１１は
、ユーザーがＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７を観賞しているか否かを判定する。ユーザーがＡＲグラス２の表示部２１２を介して観賞している場合、処理はステップＳ６０４へ進む。ユーザーがＡＲグラス２の表示部２１２を介して観賞していない場合、処理はステップＳ４０６へ進む。

ステップＳ６０４では、システム制御部２１１は、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されていることを、スマートフォン１に通知する。システム制御部１０５は、ＡＲグラス２からの通知を受信すると、表示部１０７への撮像画像の表示を停止する。なお、スマートフォン１のシステム制御部１０５がステップＳ４０３の判定をした場合、システム制御部１０５は、ＡＲグラス２と通信することなく、表示部１０７の表示を停止すればよい。

ステップＳ６０５では、システム制御部２１１は、システム制御部１０５と通信し、スマートフォン１のカメラで取得された撮像画像および撮影状態等のデータを取得する。システム制御部２１１は、スマートフォン１から取得したデータに基づいて、ＡＲコンテンツの大きさ、位置および向きを撮像画像に合わせて変換する。

ステップＳ６０６では、システム制御部２１１は、変換したＡＲコンテンツを撮像画像に重畳させた重畳画像を表示部２１２に表示する。システム制御部２１１は、撮像画像にＡＲコンテンツを重畳させた十畳画像を、表示部２１２上で、検出部２１３によって検出されたスマートフォン１の表示部１０７に対応する位置に表示する。ステップＳ４０６からステップＳ４０８までの処理は、図４と同様である。

図６に例示するＡＲコンテンツの表示処理では、実施形態１と異なり、スマートフォン１の撮像画像および撮影状態のデータは、スマートフォン１からＡＲグラス２に送信される。ＡＲグラス２は、受信したデータに基づいてＡＲコンテンツを撮像画像に合わせて変換する。ＡＲグラス２は、変換したＡＲコンテンツを撮像画像に重畳させて、表示部２１２に表示する。また、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている間、スマートフォン１は、表示部１０７での撮像画像の表示を停止する。

これにより、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、ＡＲグラス２は、スマートフォン１の撮像画像に合わせたＡＲコンテンツを、違和感なくユーザーに提示することができる。

実施形態２では、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、ＡＲグラス２は、スマートフォン１から受信した撮像画像に合ったＡＲコンテンツをユーザーに提示することができる。

＜実施形態３＞
実施形態１では、撮像画像およびＡＲコンテンツは、スマートフォン１の表示部１０７に表示される。また、実施形態２では、撮像画像およびＡＲコンテンツは、ＡＲグラス２の表示部２１２に表示される。これに対し、実施形態３では、撮像画像はスマートフォン１の表示部１０７に表示され、ＡＲコンテンツは撮像画像に合わせて変換されてＡＲグラス２の表示部２１２に表示される。

即ち、実施形態３は、スマートフォン１の表示部１０７およびＡＲグラス２の表示部２１２に表示する表示内容が、実施形態１および実施形態２と異なる。なお、スマートフォン１およびＡＲグラス２の装置構成は、実施形態１と同様である。以下、実施形態１と差異のある処理等について詳細に説明する。

実施形態３では、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、スマートフォン１は、表示部１０７に撮像画像を表示した状態のまま変更しない。また、ＡＲグラス２は、表示部１０７に表示された撮像画像に合わせてＡＲコンテンツを変換し、変換したＡＲコンテンツを表示部２１２に表示する。

（実施形態３の表示処理）
図７を参照して、ＡＲコンテンツの表示処理について説明する。図７は、実施形態３に係るＡＲコンテンツの表示処理を例示するフローチャートである。図７に示す表示処理は、ＡＲグラス２の電源が入ることにより開始される。図４に示す処理と同じ処理については、同じ符号を付して詳細な説明は省略する。

ステップＳ４０２で、ＡＲグラスにコンテンツが表示されると、処理はステップＳ７０３へ進む。ステップＳ７０３では、ステップＳ４０４と同様に、システム制御部２１１は、ユーザーがＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７を観賞しているか否かを判定する。ユーザーがＡＲグラス２の表示部２１２を介して観賞している場合、処理はステップＳ７０４へ進む。ユーザーがＡＲグラス２の表示部２１２を介して観賞していない場合、処理はステップＳ４０６へ進む。

ステップＳ７０４では、ステップＳ６０５と同様に、システム制御部２１１は、システム制御部１０５と通信を行い、スマートフォン１のカメラで取得された撮像画像および撮影状態等のデータを取得する。システム制御部２１１は、スマートフォン１から取得したデータに基づいてＡＲコンテンツを撮像画像に合わせて変換する。

ステップＳ７０５では、システム制御部２１１は、表示部２１２上でのスマートフォン１の表示部１０７の位置を検出する。システム制御部２１１は、表示部２１２上のスマートフォン１の表示部１０７の位置に合わせて、変換したＡＲコンテンツを表示部２１２に表示する。即ち、スマートフォン１の表示部１０７に表示されている撮像画像に重畳するように、表示部２１２に変換したＡＲコンテンツを表示する。ステップＳ４０６からステップＳ４０８までの処理は、図４と同様である。

図７に例示するＡＲコンテンツの表示処理では、実施形態１および実施形態２と異なり、スマートフォン１の撮像画像は、スマートフォン１の表示部１０７に表示され、ＡＲコンテンツは、ＡＲグラス２の表示部２１２に表示される。ＡＲコンテンツは、スマートフォン１の表示部１０７に表示された撮像画像に合わせて変換されて、ＡＲグラス２の表示部２１２に表示される。これにより、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、スマートフォン１およびＡＲグラス２は、スマートフォン１の撮像画像に合わせたＡＲコンテンツをユーザーに提示することが可能となる。

実施形態３では、ＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７が観賞されている場合、ＡＲグラス２は、スマートフォン１に表示されている撮像画像に合ったＡＲコンテンツを、ユーザーに違和感なく提示することができる。

＜その他の実施形態＞
なお、上述の各実施形態による表示方法は、ユーザー操作により切り替えられてもよい。例えば、撮像画像およびＡＲコンテンツがＡＲグラス２に表示されている場合（実施形態２）であっても、ユーザーから操作を受け付けた場合には、撮像画像およびＡＲコンテンツは、スマートフォン１への表示に切り替えられる（実施形態１）。ここでの、ユーザーからの操作は、例えば、撮影操作またはズームの変更など撮影準備の操作である。

また、各実施形態による表示方法は、スマートフォン１とＡＲグラス２との間の距離または位置関係に基づいて変更されてもよい。例えば、撮像装置１がカメラであるとすると、図５（Ｂ）に示すようにユーザーがＥＶＦ越しに観賞する際、ＡＲグラス２は表示を停止し、ＡＲコンテンツはスマートフォン１に表示される（実施形態１）。一方、図５（Ｃ）に示すように、ユーザーが背面液晶越しに観賞するように構え直した場合、スマートフォン１は表示を停止し、撮像画像およびＡＲコンテンツはＡＲグラス２に表示される（実施形態２）。

このように、ユーザー操作、またはユーザーがＡＲグラス２の表示部２１２を介してスマートフォン１の表示部１０７を観賞している状況に基づいて、撮像画像およびＡＲコンテンツの表示方法は、各実施形態間で切り替えることが可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：撮像装置（スマートフォン）、１０３：撮影光学系、１０５：システム制御部、
１０６：撮像素子、１０７：表示部
２：表示装置（ＡＲグラス）、２１１：システム制御部、２１１ａ：拡張現実生成部、
２１２：表示部

上記目的を達成するために、本発明の撮像システムは、
撮像装置および頭部装着型の表示装置を含む撮像システムであって、
前記撮像装置は、
撮像手段と、
前記撮像手段が撮像した撮像画像と仮想空間上のオブジェクトとを表示する表示制御
手段と、を有し、
前記表示装置は、
前記オブジェクトを表示する表示制御手段を有し、
前記表示装置を介して前記撮像装置の表示部が観察されている場合、
前記撮像装置の前記表示制御手段および前記表示装置の前記表示制御手段の一方は、前記撮像装置の撮影状態の情報に基づいて変換された前記オブジェクトを表示し、
前記撮像装置の前記表示制御手段および前記表示装置の前記表示制御手段の他方は、前記オブジェクトを表示しない
ことを特徴とする。

（装置構成）
図１（Ａ）は、本発明による撮像システムの概要図である。撮像システムは、撮像装置１および頭部装着型の表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）２を含む。図１（Ａ）では、ユーザーは、表示装置２としてのＡＲグラスを装着し、撮像装置１としてのスマートフォンを構えている。ユーザーは、表示装置２を介して撮像装置１の表示画面を観賞（観察）している。図１（Ｂ）は、撮像システムに含まれる撮像装置１および表示装置２のブロック図を例示する。

Claims (18)

1. 撮像装置および頭部装着型の表示装置を含む撮像システムであって、
   前記撮像装置は、
   撮像手段と、
   前記撮像手段が撮像した撮像画像を表示する表示制御手段と、を有し、
   前記表示装置は、
   コンテンツを表示する表示制御手段を有し、
   前記撮像装置の前記表示制御手段は、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記撮像画像の撮影状態の情報に基づいて、前記コンテンツを前記撮像画像に重畳表示する
   ことを特徴とする撮像システム。
2. 前記表示装置の前記表示制御手段は、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記コンテンツの表示状態を変更する
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記表示装置は、前記コンテンツを生成する生成手段を有し、
   前記撮像装置の前記表示制御手段は、前記撮影状態の情報に基づいて変換された前記コンテンツを前記撮像画像に重畳表示する
   ことを特徴とする請求項１に記載の撮像システム。
4. 前記撮影状態の情報は、前記撮像装置の姿勢情報、前記撮像装置の焦点距離情報、および前記撮像装置の被写界深度の情報のうち少なくともいずれかを含む
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
5. 前記撮像装置または前記表示装置は、前記表示装置を介して前記撮像装置の表示部が観賞されていることを検知する検知手段をさらに有する
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
6. 前記表示装置を介して前記撮像装置の表示部が観賞されている場合、
   前記表示装置の表示制御手段は、前記表示装置の表示部への表示を停止し、
   前記撮像装置の表示制御手段は、前記撮像画像および前記撮影状態の情報に基づいて変換された前記コンテンツを前記撮像装置の表示部に表示する
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像システム。
7. 前記撮像装置は、前記コンテンツおよび前記表示装置の姿勢情報を前記表示装置から受信する通信手段をさらに有し、
   前記表示装置は、前記コンテンツおよび前記表示装置の姿勢情報を前記撮像装置に送信する通信手段をさらに有し、
   前記撮像装置の表示制御手段は、前記撮影状態および前記表示装置から受信した前記表示装置の姿勢情報に基づいて、前記コンテンツを変換する
   ことを特徴とする請求項６に記載の撮像システム。
8. 前記表示装置を介して前記撮像装置の表示部が観賞されている場合、
   前記撮像装置の表示制御手段は、前記撮像装置の表示部への表示を停止し、
   前記表示装置の表示制御手段は、前記撮像画像および前記撮影状態の情報に基づいて変換された前記コンテンツを前記表示装置の表示部に表示する
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像システム。
9. 前記撮像装置は、前記撮像画像および前記撮影状態の情報を前記表示装置に送信する通信手段をさらに有し、
   前記表示装置は、前記撮像画像および前記撮影状態の情報を前記撮像装置から受信する通信手段をさらに有し、
   前記表示装置の表示制御手段は、前記表示装置の姿勢情報および前記撮像装置から受信した前記撮影状態の情報に基づいて、前記コンテンツを変換する
   ことを特徴とする請求項８に記載の撮像システム。
10. 前記表示装置を介して前記撮像装置の表示部が観賞されている場合、
    前記撮像装置の表示制御手段は、前記撮像画像を前記撮像装置の表示部に表示し、
    前記表示装置の表示制御手段は、前記撮影状態の情報に基づいて変換された前記コンテンツを、前記表示装置の表示部に表示する
    ことを特徴とする請求項１から５のいずれか１項に記載の撮像システム。
11. 前記撮像装置は、前記撮像画像および前記撮影状態の情報を前記表示装置に送信する通信手段をさらに有し、
    前記表示装置は、前記撮像画像および前記撮影状態の情報を前記撮像装置から受信する通信手段をさらに有し、
    前記表示装置の表示制御手段は、前記表示装置の姿勢情報および前記撮像装置から受信した前記撮影状態の情報に基づいて、前記コンテンツを変換する
    ことを特徴とする請求項１０に記載の撮像システム。
12. 前記コンテンツは、
    前記表示装置の姿勢情報に基づいて、前記表示装置の動きによるぶれが補正され、
    前記撮像装置の姿勢情報、焦点距離情報および被写界深度の情報のうち少なくともいずれかに基づいてさらに補正される
    ことを特徴とする請求項１から１１のいずれか１項に記載の撮像システム。
13. 前記撮像装置の表示制御手段および前記表示装置の表示制御手段は、ユーザー操作または前記表示装置を介して前記撮像装置の表示部が観賞されている状況に基づいて、前記撮像画像および前記コンテンツの表示および非表示を切り替える
    ことを特徴とする請求項１から１２のいずれか１項に記載の撮像システム。
14. 撮像装置と通信する頭部装着型の表示装置であって、
    コンテンツを表示する表示制御手段を有し、
    前記表示制御手段は、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記コンテンツの表示状態を変更する
    ことを特徴とする表示装置。
15. 頭部装着型の表示装置と通信する撮像装置であって、
    撮像手段と、
    前記撮像手段が撮像した撮像画像を表示する表示制御手段と、を有し、
    前記表示制御手段は、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記撮像画像の撮影状態の情報に基づいて、コンテンツを前記撮像画像に重畳表示する
    ことを特徴とする撮像装置。
16. 撮像装置および頭部装着型の表示装置を含む撮像システムの制御方法であって、
    前記撮像装置が撮像した撮像画像を表示する表示するステップと、
    前記表示装置がコンテンツを表示するステップと、
    前記撮像装置が、前記表示装置を介して前記撮像装置の表示部が観賞されている場合、前記撮像画像の撮影状態の情報に基づいて、前記コンテンツを前記撮像画像に重畳表示するステップと、
    を有することを特徴とする撮像システムの制御方法。
17. コンピュータを、請求項１から１３のいずれか１項に記載の撮像システムの各手段として機能させるためのプログラム。
18. コンピュータを、請求項１から１３のいずれか１項に記載の撮像システムの各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images