JP2020136801A - 画像調整システム、画像調整装置、及び画像調整方法 - Google Patents

Abstract

【課題】右目用画像と左目用画像とのずれを簡便に補正することができる画像調整システムを提供する。【解決手段】画像調整システム１０１はカメラ１０２と画像調整装置１１０と画像表示装置１０４とコントローラ１０５とを備える。画像表示装置１０４は画像調整装置１１０により調整された撮影画像ＩＭ１を表示する。画像調整装置１１０は画像処理部１１１と画像生成部１１２とを有する。画像生成部１１２は球面状画像ＶＳＳ１を生成する。画像処理部１１１はコントローラ１０５から出力された指示情報ＮＮ１に基づいて画像生成部１１２から球面状画像ＶＳＳ１を取得して画像表示装置１０４に表示する。画像処理部１１１は指示情報ＮＮ１に基づいて球面状画像ＶＳＳ１を回転させる。画像処理部１１１は球面状画像ＶＳＳ１の回転に対応させて画像表示装置１０４に表示されている撮影画像ＩＭ１における右目用画像ＩＭＲ１または左目用画像ＩＭＬ１を調整する。【選択図】図１

Description

本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。

近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。

特開２００５−５６２９５号公報

３６０度の範囲を撮影できる全方位カメラとして、右目用画像と左目用画像とを撮影できるステレオカメラを用いて撮影された画像をヘッドマウントディスプレイに表示することにより、使用者はヘッドマウントディスプレイに表示された画像を立体的に見ることができる。

しかし、右目用画像と左目用画像とのずれが大きいと、使用者はＶＲ(Virtual Reality)酔いと称される乗り物酔いに似た症状を生じる場合がある。ＶＲ酔いは、右目用画像と左目用画像との上下方向のずれ、右目用画像と左目用画像との視差または右目用画像と左目用画像との傾きのずれが大きい場合に生じやすい。

本発明は、右目用画像と左目用画像とのずれを簡便に補正することができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。

本発明は、右目用画像と左目用画像とを撮影するカメラと、前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、前記撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整する画像処理部とを有する画像調整システムを提供する。

本発明は、球面状画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像における右目用画像または左目用画像を、前記球面状画像の回転に対応させて調整する画像処理部とを備える画像調整装置を提供する。

本発明は、カメラが右目用画像と左目用画像とを撮影し、画像処理部が前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、画像表示装置が前記撮影画像を表示し、前記画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、前記画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部が前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を、前記球面状画像の回転に対応させて調整する画像調整方法を提供する。

本発明の画像調整システム、画像調整装置、及び画像調整方法によれば、右目用画像と左目用画像とのずれを簡便に補正することができる。

第１実施形態の画像調整システムを示す構成図である。 球面状画像と使用者との関係を示す図である。 第１実施形態の画像調整方法の一例を示すフローチャートである。 第１実施形態の画像調整方法の一例を示すフローチャートである。 第１実施形態の画像調整方法の一例を示すフローチャートである。 第１実施形態の画像調整方法の一例を示すフローチャートである。 右目用画像と左目用画像とが上下方向にずれている状態の一例を示す図である。 右目用画像と左目用画像との視差が大きい状態の一例を示す図である。 右目用画像と左目用画像との傾きのずれが大きい状態の一例を示す図である。 第２及び第３実施形態の画像調整システムを示す構成図である。 カメラ及び姿勢制御装置の一例を示す図である。 姿勢制御装置がカメラの左右方向の傾きを制御する状態を示す図である。 姿勢制御装置がカメラの前後方向の傾きを制御する状態を示す図である。 姿勢制御装置の一例を示す構成図である。 第３実施形態の画像調整方法の一例を示すフローチャートである。 第３実施形態の画像調整方法の一例を示すフローチャートである。

［第１実施形態］
図１を用いて、第１実施形態の画像調整システムの構成例を説明する。画像調整システム１０１は、カメラ１０２と、通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０と、サーバ１０６とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、通信部１１３とを有する。

カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）であり、右目用画像と左目用画像とを撮影できるステレオカメラである。通信部１０３と通信部１１３とはネットワークを介して接続されている。画像調整装置１１０は、カメラ１０２が３６０度の範囲を撮影した右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１を撮影画像ＩＭ１として、通信部１０３及び１１３とネットワークとを介して取得することができる。

画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。

サーバ１０６は、ネットワークと通信部１０３とを介してカメラ１０２と接続し、ネットワークと通信部１１３とを介して画像調整装置１１０と接続する。サーバ１０６がカメラ１０２から撮影画像ＩＭ１を通信部１０３及びネットワークを介して取得し、画像調整装置１１０がサーバ１０６から撮影画像ＩＭ１をネットワーク及び通信部１１３を介して取得してもよい。

画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像調整装置１１０は、撮影画像ＩＭ１の歪みを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ等に用いられるグローブ型コントローラである。

図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。画像表示装置１０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置１１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ１を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ１を表示することにより、使用者ＵＳは、撮影画像ＩＭ１を立体画像として見ることができる。

サーバ１０６がカメラ１０２から取得した撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像調整装置１１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を見ることができる。

画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、姿勢情報ＰＮ１に基づいて、撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。

コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。

画像生成部１１２は、ＣＧ(Computer Graphics)である球面により構成された仮想画像である球面状画像ＶＳＳ１を生成し、内蔵メモリまたは外部のメモリに保存する。

画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。

画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。

コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。

図３Ａ〜図３Ｄに示すフローチャートを用いて、第１実施形態の画像調整方法の一例を説明する。具体的には、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれを調整する方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）が表示されている。

使用者ＵＳが画像表示装置１０４に表示されている撮影画像ＩＭ１を見て違和感を覚えたりＶＲ酔いが生じたりした場合、図３Ａにおいて、使用者ＵＳがコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０１にて、画像表示装置１０４に設定画面を表示させる。

設定画面には、例えば、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向（垂直方向）のずれを補正するための上下補正の項目、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差を補正するための視差補正の項目、及び、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれを補正するための傾き補正の項目が調整項目として表示される。

図４に示すように、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とが上下方向にずれている場合、使用者ＵＳはコントローラ１０５を操作して、設定画面に表示されている上下補正の項目を選択する。図５に示すように、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が大きい場合、使用者ＵＳはコントローラ１０５を操作して、設定画面に表示されている視差補正の項目を選択する。図６に示すように、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれが大きい場合、使用者ＵＳはコントローラ１０５を操作して、設定画面に表示されている傾き補正の項目を選択する。

使用者ＵＳが設定画面に表示されている上下補正、視差補正、及び傾き補正の項目のうちのいずれかの項目を選択した場合、コントローラ１０５は、ステップＳ１０２にて、選択された項目を含む指示情報ＮＮ１を画像処理部１１１へ出力する。

ステップＳ１０１において上下補正の項目が選択された場合、コントローラ１０５は、上下補正の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１１１にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれを補正するための処理モード（上下補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１１２にて、補正する画像が右目用画像ＩＭＲ１か左目用画像ＩＭＬ１かを選択するための項目を画像表示装置１０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ１を選択した場合、コントローラ１０５は、右目用画像ＩＭＲ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１１３にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１の上下方向を補正するための処理モード（右目用上下補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１１４にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれが小さくなるように球面状画像ＶＳＳ１を垂直方向である上方向または下方向へ回転させる。画像処理部１１１は、ステップＳ１１５にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている右目用画像ＩＭＲ１を上方向または下方向へ移動させる。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

ステップＳ１１２において使用者ＵＳが左目用画像ＩＭＬ１を選択した場合、コントローラ１０５は、左目用画像ＩＭＬ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１１６にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、左目用画像ＩＭＬ１の上下方向を補正するための処理モード（左目用上下補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１１７にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれが小さくなるように球面状画像ＶＳＳ１を上方向または下方向へ回転させる。画像処理部１１１は、ステップＳ１１８にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている左目用画像ＩＭＬ１を上方向または下方向へ移動させる。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との上下方向のずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

ステップＳ１１１において上下補正モードへ移行された場合、ステップＳ１１３において右目用上下補正モードへ移行された場合、または、ステップＳ１１６において左目用上下補正モードへ移行された場合、画像処理部１１１は、球面状画像ＶＳＳ１が上下方向のみに回転するように球面状画像ＶＳＳ１の回転方向を制限してもよい。また、球面状画像ＶＳＳ１を回転させずに、球面状画像ＶＳＳ１を上下に動かすことで左目用画像ＩＭＬ１を上方向または下方向へ移動させてもよい。

ステップＳ１０１において視差補正の項目が選択された場合、コントローラ１０５は、視差補正の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。図３Ｂにおいて、画像処理部１１１は、ステップＳ１２１にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差を補正するための処理モード（視差補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１２２にて、補正する画像が右目用画像ＩＭＲ１か左目用画像ＩＭＬ１かを選択するための項目を画像表示装置１０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ１を選択した場合、コントローラ１０５は、右目用画像ＩＭＲ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１２３にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１の視差を補正するための処理モード（右目用視差補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１２４にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるように球面状画像ＶＳＳ１を水平方向である右方向または左方向へ回転させる。画像処理部１１１は、ステップＳ１２５にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている右目用画像ＩＭＲ１の視差を補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

ステップＳ１２２において使用者ＵＳが左目用画像ＩＭＬ１を選択した場合、コントローラ１０５は、左目用画像ＩＭＬ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１２６にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、左目用画像ＩＭＬ１の視差を補正するための処理モード（左目用視差補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１２７にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるように球面状画像ＶＳＳ１を右方向または左方向へ回転させる。画像処理部１１１は、ステップＳ１２８にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている左目用画像ＩＭＬ１の視差を補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との視差が目的の視差となるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

ステップＳ１２１において視差補正モードへ移行された場合、ステップＳ１２３において右目用視差補正モードへ移行された場合、または、ステップＳ１２６において左目用視差補正モードへ移行された場合、画像処理部１１１は、球面状画像ＶＳＳ１が水平方向のみに回転するように球面状画像ＶＳＳ１の回転方向を制限してもよい。

ステップＳ１０１において傾き補正の項目が選択された場合、コントローラ１０５は、傾き補正の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。図３Ｃにおいて、画像処理部１１１は、ステップＳ１３１にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれを補正するための処理モード（傾き補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１３２にて、補正する画像が右目用画像ＩＭＲ１か左目用画像ＩＭＬ１かを選択するための項目を画像表示装置１０４に表示させる。使用者ＵＳが右目用画像ＩＭＲ１を選択した場合、コントローラ１０５は、右目用画像ＩＭＲ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１３３にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、右目用画像ＩＭＲ１の傾きを補正するための処理モード（右目用傾き補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１３４にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれが小さくなるように球面状画像ＶＳＳ１を任意の方向へ回転させる。画像処理部１１１は、ステップＳ１３５にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている右目用画像ＩＭＲ１の傾きを補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

ステップＳ１３２において使用者ＵＳが左目用画像ＩＭＬ１を選択した場合、コントローラ１０５は、左目用画像ＩＭＬ１が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１３６にて、コントローラ１０５から出力される指示情報ＮＮ１に基づいて、左目用画像ＩＭＬ１の傾きを補正するための処理モード（左目用傾き補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１３７にて、画像生成部１１２から球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１（右目用画像ＩＭＲ１及び左目用画像ＩＭＬ１）と球面状画像ＶＳＳ１とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれが小さくなるように球面状画像ＶＳＳ１を任意の方向へ回転させる。画像処理部１１１は、ステップＳ１３８にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている左目用画像ＩＭＬ１の傾きを補正する。使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との傾きのずれがなくなるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。

ステップＳ１３１において傾き補正モードへ移行された場合、ステップＳ１３３において右目用傾き補正モードへ移行された場合、または、ステップＳ１３６において左目用傾き補正モードへ移行された場合、画像処理部１１１は、球面状画像ＶＳＳ１の回転方向を制限しない。従って、使用者ＵＳは、球面状画像ＶＳＳ１を任意の方向へ回転させることができる。

画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。

球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として、画像処理された撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）と対応付けて保存する。

即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。

画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存してもよい。サーバ１０６がネットワーク及び通信部１１３を介して画像調整装置１１０から補正値ＣＶ１を画像処理された撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）と対応付けて取得してもよい。サーバ１０６は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存する。

使用者ＵＳは右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれが補正されたと判断した場合にコントローラ１０５を操作することにより、図３Ｄにおいて、画像処理部１１１は、ステップＳ１４１にて、球面状画像ＶＳＳ１の表示を終了させ、画像表示装置１０４に設定画面を表示させる。

使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、コントローラ１０５は、ステップＳ１４２にて、終了の項目が選択されたことを示す指示情報ＮＮ１を画像処理部１１１へ出力する。画像処理部１１１は、ステップＳ１４３にて、選択された項目に対応する所定の処理モードへ処理を移行させる。終了の項目が選択された場合、画像処理部１１１は、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１との画像調整を終了するための処理モード（終了モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ１４４にて、球面状画像ＶＳＳ１が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ１の変化量として取得する。画像処理部１１１は、ステップＳ１４５にて、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として、画像処理された撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）と対応付けて保存し、処理を終了する。

第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、画像表示装置１０４に球面状画像ＶＳＳ１を表示させる。第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれが生じた場合に、使用者ＵＳは、コントローラ１０５を操作して球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている右目用画像ＩＭＲ１と左目用画像ＩＭＬ１とのずれを簡便に調整することができる。

第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、補正値ＣＶ１が画像調整装置１１０またはサーバ１０６に保存されている場合、画像処理部１１１は、画像調整装置１１０またはサーバ１０６から補正値ＣＶ１を読み出し、カメラ１０２が撮影した撮影画像ＩＭ１（右目用画像ＩＭＲ１または左目用画像ＩＭＬ１）を補正値ＣＶ１に基づいて画像調整し、画像表示装置１０４に表示することができる。

［第２実施形態］
図７を用いて、第２実施形態の画像調整システムの構成例を説明する。画像調整システム２０１は、カメラ２０２と、姿勢制御装置２２０と、通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、通信部２１３とを有する。

カメラ２０２、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６は、それぞれ、第１実施形態のカメラ１０２、通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及びサーバ１０６に相当する。画像処理部２１１、画像生成部２１２、及び通信部２１３は、それぞれ、第１実施形態の画像処理部１１１、画像生成部１１２、及び通信部１１３に相当する。

図８に示すように、カメラ２０２は、第１の面ＰＬ１と、第１の面ＰＬ１とは反対側の面である第２の面ＰＬ２とを有する。カメラ２０２は、第１の面ＰＬ１側に配置された右目用及び左目用の魚眼レンズＬＲ１及びＬＬ１と、第２の面ＰＬ２側に配置された右目用及び左目用の魚眼レンズＬＲ２及びＬＬ２とを有する。以下、右目用の魚眼レンズＬＲ１を第１の右目用レンズＬＲ１、左目用の魚眼レンズＬＬ１を第１の左目用レンズＬＬ１、右目用の魚眼レンズＬＲ２を第２の右目用レンズＬＲ２、及び、左目用の魚眼レンズＬＬ２を第２の左目用レンズＬＬ２とする。

カメラ２０２は、第１の面ＰＬ１側の１８０度の範囲を第１の右目用レンズＬＲ１と第１の左目用レンズＬＬ１とを用いて撮影する第１のカメラ２０２１と、第２の面ＰＬ２側の１８０度の範囲を第２の右目用レンズＬＲ２と第２の左目用レンズＬＬ２とを用いて撮影する第２のカメラ２０２２とを有する。即ち、カメラ２０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）であり、右目用画像と左目用画像とを撮影できるステレオカメラである。

カメラ２０２は、撮影レンズである第１及び第２の右目用レンズＬＲ１及びＬＲ２を用いて３６０度の範囲を撮影し、右目用画像ＩＭＲ２を生成する。カメラ２０２は、撮影レンズである第１及び第２の左目用レンズＬＬ１及びＬＬ２を用いて３６０度の範囲を撮影し、左目用画像ＩＭＬ２を生成する。

姿勢制御装置２２０は、カメラ２０２の姿勢を制御する。図９に示すように、姿勢制御装置２２０は、カメラ２０２の左右方向の傾きを制御する。例えば、姿勢制御装置２２０は、第１の右目用レンズＬＲ１と第１の左目用レンズＬＬ１との中間の位置、及び、第２の右目用レンズＬＲ２と第２の左目用レンズＬＬ２との中間の位置を通り、かつ、各レンズＬＲ１、ＬＬ１、ＬＲ２、及びＬＬ２の光軸と平行な回転軸ＣＬａ（第１の回転軸）を中心としてカメラ２０２を回転させることにより、カメラ２０２の左右方向の傾きを制御する。即ち、カメラ２０２の左右方向の傾きとは、回転軸ＣＬａを中心とするカメラ２０２の傾きである。

図１０に示すように、姿勢制御装置２２０は、カメラ２０２の前後方向の傾きを制御する。例えば、姿勢制御装置２２０は、第１の右目用レンズＬＲ１と第２の左目用レンズＬＬ２との中間の位置、及び、第１の左目用レンズＬＬ１と第２の右目用レンズＬＲ２との中間の位置を通り、かつ、各レンズＬＲ１、ＬＬ１、ＬＲ２、及びＬＬ２の光軸に直交する回転軸ＣＬｂ（第２の回転軸）を中心としてカメラ２０２を回転させることにより、カメラ２０２の前後方向の傾きを制御する。即ち、カメラ２０２の前後方向の傾きとは、回転軸ＣＬｂを中心とするカメラ２０２の傾きである。

第１の回転軸ＣＬａと第２の回転軸ＣＬｂとは互いに直交する。カメラ２０２が水平に姿勢制御されている状態では、第１及び第２の回転軸ＣＬａ及びＣＬｂは、水平面と平行である。

図１１に示すように、姿勢制御装置２２０は、３軸加速度センサ２２１と、３軸磁気センサ２２２と、３軸ジャイロセンサ２２３と、駆動制御部２２４と、駆動部２２５及び２２６とを有する。３軸加速度センサ２２１を第１のセンサ２２１、３軸磁気センサ２２２を第２のセンサ２２２、３軸ジャイロセンサ２２３を第３のセンサ２２３とする。駆動部２２５を第１の駆動部、駆動部２２６を第２の駆動部とする。

第１のセンサ２２１は、重力の方向を検知することによってカメラ２０２の左右方向及び前後方向の傾きを取得する。第２のセンサ２２２は磁場（磁界）の大きさと方向とを検知し、第３のセンサ２２３は角速度を検知する。

駆動制御部２２４は、第１のセンサ２２１が検知した情報に基づいて駆動部２２５及び２２６の少なくともいずれかを制御する。カメラ２０２が加速または減速しながら移動している場合、駆動制御部２２４は、第１のセンサ２２１が検知した情報と、第２及び第３のセンサ２２２及び２２３の少なくともいずれかが検知した情報とに基づいて駆動部２２５及び２２６の少なくともいずれかを制御する。図９に示すように、駆動部２２５はカメラ２０２を左右方向へ回転させる。図１０に示すように、駆動部２２６はカメラ２０２を前後方向へ回転させる。

画像調整装置２１０は、カメラ２０２が３６０度の範囲を撮影した右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２を撮影画像ＩＭ２として、通信部２０３及び２１３とネットワークとを介して取得することができる。

サーバ２０６は、ネットワークと通信部２０３とを介してカメラ２０２と接続し、ネットワークと通信部２１３とを介して画像調整装置２１０と接続する。サーバ２０６がカメラ２０２から撮影画像ＩＭ２を通信部２０３及びネットワークを介して取得し、画像調整装置２１０がサーバ２０６から撮影画像ＩＭ２をネットワーク及び通信部２１３を介して取得してもよい。図７では、画像調整装置２１０またはサーバ２０６は、撮影画像ＩＭ２を、姿勢制御装置２２０を介して取得するように示しているが、姿勢制御装置２２０を介さずに取得してもよい。

画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像調整装置２１０は、撮影画像ＩＭ２の歪みを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。

画像表示装置２０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置２１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ２を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ２を表示することにより、使用者ＵＳは、撮影画像ＩＭ２を立体画像として見ることができる。

サーバ２０６がカメラ２０２から取得した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を見ることができる。

画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、姿勢情報ＰＮ２に基づいて、撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。

コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を変化させたり調整したりすることができる。

画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２から球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。球面状画像ＶＳＳ２は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。

コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。

姿勢制御装置２２０において、駆動制御部２２４は、第１〜第３のセンサ２２１〜２２３の少なくともいずれかのセンサが検知した情報に基づいて、水平面を取得し、水平面に対するカメラ２０２の左右方向の傾斜角度θａ（第１の傾斜角度）と前後方向の傾斜角度θｂ（第２の傾斜角度）とを取得する。

駆動制御部２２４は、傾斜角度θａが所定の角度α（第１の角度）以下（θａ≦α）になるように、駆動部２２５を制御することにより、カメラ２０２の左右方向の姿勢を調整する。駆動制御部２２４は、傾斜角度θｂが所定の角度β（第２の角度）以下（θｂ≦β）になるように、駆動部２２５を制御することにより、カメラ２０２の前後方向の姿勢を調整する。

図９に示すように、第１の面ＰＬ１側からカメラ２０２を見たときに例えばカメラ２０２が右方向に傾いている状態では、第１の面ＰＬ１側では第１の右目用レンズＬＲ１が第１の左目用レンズＬＬ１よりも上側に位置する。それに対して、第２の面ＰＬ２側では第２の右目用レンズＬＲ２が第２の左目用レンズＬＬ２よりも下側に位置する。

従って、右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２の視差が第１の面ＰＬ１側と第２の面ＰＬ２側とで逆になるため、使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２に違和感を覚える。それに対して、カメラ２０２が前後方向に傾いている状態では、右目用画像ＩＭＲ２及び左目用画像ＩＭＬ２の視差が第１の面ＰＬ１側と第２の面ＰＬ２側とで逆にならないため、使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２に違和感を覚えにくい。

上記の理由により、角度αは角度βよりも小さく（α＜β）なるように設定されている。例えば、角度αは１度に設定され、角度βは５度に設定されている。従って、駆動制御部２２４は、左右方向の傾斜角度θａが前後方向の傾斜角度θｂよりも小さく（θａ＜θｂ）なるように、駆動部２２５及び２２６の少なくともいずれかを制御することによって、カメラ２０２の姿勢を制御する。

姿勢制御装置２２０がカメラ２０２の姿勢を制御した後、画像調整システム２０１は、第１実施形態のステップＳ１０１、Ｓ１１１〜Ｓ１１８、Ｓ１２１〜Ｓ１２８、Ｓ１３１〜Ｓ１３８、またはＳ１４１〜Ｓ１４４と同様の処理を実行する。

第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、画像表示装置２０４に球面状画像ＶＳＳ２を表示させる。第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれが生じた場合に、使用者ＵＳは、コントローラ２０５を操作して球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれを簡便に調整することができる。

第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、補正値ＣＶ１が画像調整装置２１０またはサーバ２０６に保存されている場合、画像処理部２１１は、補正値ＣＶ１を画像調整装置２１０またはサーバ２０６から読み出し、カメラ２０２が撮影した撮影画像ＩＭ２（右目用画像ＩＭＲ２または左目用画像ＩＭＬ２）を補正値ＣＶ１に基づいて画像調整し、画像表示装置２０４に表示することができる。

第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、カメラ２０２は、姿勢制御装置２２０によって水平または水平に近い状態に姿勢制御される。カメラ２０２が姿勢制御された状態において、使用者ＵＳは右目用画像ＩＭＲ２と左目用画像ＩＭＬ２とのずれを調整するため、上記のずれを簡便に調整することができる。

［第３実施形態］
図７を用いて、第３実施形態の画像調整システムの構成例を説明する。画像調整システム３０１は、カメラ３０２と、姿勢制御装置３２０と、通信部３０３と、画像表示装置３０４と、コントローラ３０５と、画像調整装置３１０と、サーバ３０６とを備える。画像調整装置３１０は、画像処理部３１１と、画像生成部３１２と、通信部３１３とを有する。

カメラ３０２、姿勢制御装置３２０、通信部３０３、画像表示装置３０４、コントローラ３０５、画像調整装置３１０、及びサーバ３０６は、それぞれ、第２実施形態のカメラ２０２、姿勢制御装置２２０、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６に相当する。画像処理部３１１、画像生成部３１２、及び通信部３１３は、それぞれ、第２実施形態の画像処理部２１１、画像生成部２１２、及び通信部２１３に相当する。説明をわかりやすくするために、第２実施形態の構成部と同じ構成部には同じ符号を付す。

図８に示すように、カメラ３０２は、第１の面ＰＬ１側の１８０度の範囲を第１の右目用レンズＬＲ１と第１の左目用レンズＬＬ１とを用いて撮影する第１のカメラ３０２１と、第２の面ＰＬ２側の１８０度の範囲を第２の右目用レンズＬＲ２と第２の左目用レンズＬＬ２とを用いて撮影する第２のカメラ３０２２とを有する。第１及び第２のカメラ３０２１及び３０２２は、第２実施形態の第１及び第２のカメラ２０２１及び２０２２に相当する。即ち、カメラ３０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）であり、右目用画像と左目用画像とを撮影できるステレオカメラである。

カメラ３０２は、第１及び第２の右目用レンズＬＲ１及びＬＲ２を用いて３６０度の範囲を撮影し、右目用画像ＩＭＲ３を生成する。カメラ３０２は、第１及び第２の左目用レンズＬＬ１及びＬＬ２を用いて３６０度の範囲を撮影し、左目用画像ＩＭＬ３を生成する。

姿勢制御装置３２０は、カメラ３０２の姿勢を制御する。図９に示すように、姿勢制御装置３２０は、カメラ３０２の左右方向の傾きを制御する。例えば、姿勢制御装置３２０は、回転軸ＣＬａを中心としてカメラ３０２を回転させることにより、カメラ３０２の左右方向の傾きを制御する。即ち、カメラ３０２の左右方向の傾きとは、回転軸ＣＬａを中心とするカメラ３０２の傾きである。図１０に示すように、姿勢制御装置３２０は、カメラ３０２の前後方向の傾きを制御してもよい。例えば、姿勢制御装置３２０は、回転軸ＣＬｂを中心としてカメラ３０２を回転させることにより、カメラ３０２の前後方向の傾きを制御する。即ち、カメラ３０２の前後方向の傾きとは、回転軸ＣＬｂを中心とするカメラ３０２の傾きである。

図１１に示すように、姿勢制御装置３２０は、３軸加速度センサ２２１（第１のセンサ）と、３軸磁気センサ２２２（第２のセンサ）と、３軸ジャイロセンサ２２３（第３のセンサ）と、駆動制御部２２４と、駆動部２２５と、駆動部２２６とを有する。カメラ３０２が加速または減速しながら移動している場合、駆動制御部２２４は、第１のセンサ２２１が検知した情報と、第２及び第３のセンサ２２２及び２２３の少なくともいずれかが検知した情報とに基づいて駆動部２２５及び２２６の少なくともいずれかを制御する。

画像調整装置３１０は、カメラ３０２が３６０度の範囲を撮影した右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３を撮影画像ＩＭ３として、通信部３０３及び３１３とネットワークとを介して取得することができる。

サーバ３０６は、ネットワークと通信部３０３とを介してカメラ３０２と接続し、ネットワークと通信部３１３とを介して画像調整装置３１０と接続する。サーバ３０６がカメラ３０２から撮影画像ＩＭ３を通信部３０３及びネットワークを介して取得し、画像調整装置３１０がサーバ３０６から撮影画像ＩＭ３をネットワーク及び通信部３１３を介して取得してもよい。図７では、画像調整装置３１０またはサーバ３０６は、撮影画像ＩＭ３を、姿勢制御装置３２０を介して取得するように示しているが、姿勢制御装置３２０を介さずに取得してもよい。

画像調整装置３１０が取得した撮影画像ＩＭ３は、画像処理部３１１へ入力される。画像調整装置３１０は、撮影画像ＩＭ３の歪みを補正する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像表示装置３０４へ出力する。

画像表示装置３０４が使用者ＵＳの頭部に装着されている状態で、画像調整装置３１０が使用者ＵＳの右目に対応する領域に右目用画像ＩＭＲ３を表示し、使用者ＵＳの左目に対応する領域に左目用画像ＩＭＬ３を表示することにより、使用者ＵＳは、撮影画像ＩＭ３を立体画像として見ることができる。

サーバ３０６がカメラ３０２から取得した撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像調整装置３１０へ出力してもよい。使用者ＵＳは、その頭部に画像表示装置３０４を装着することにより、画像調整装置３１０またはサーバ３０６によって画像処理された撮影画像ＩＭ３を見ることができる。

画像表示装置３０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ３を生成する。画像処理部３１１は、画像表示装置３０４から姿勢情報ＰＮ３を取得する。即ち、画像処理部３１１は、画像表示装置３０４の姿勢に基づいて姿勢情報ＰＮ３を取得することになる。画像処理部３１１は、姿勢情報ＰＮ３に基づいて、撮影画像ＩＭ３から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置３０４に表示する。

コントローラ３０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ３を生成する。画像処理部３１１は、コントローラ３０５から指示情報ＮＮ３を取得する。画像処理部３１１は、指示情報ＮＮ３に基づいて、画像表示装置３０４に表示されている撮影画像ＩＭ３を変化させたり調整したりすることができる。

画像生成部３１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ３を生成し、内蔵メモリまたは外部のメモリに保存する。画像処理部３１１は、指示情報ＮＮ３に基づいて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置３０４に表示する。球面状画像ＶＳＳ３は、第１及び第２実施形態の球面状画像ＶＳＳ１及びＶＳＳ２に相当する。使用者ＵＳは、コントローラ３０５が装着されている手を、画像表示装置３０４に表示されている球面状画像ＶＳＳ３に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ３に接触しているように感じる。

コントローラ３０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部３１１は、指示情報ＮＮ３に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ３に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ３に接触する感覚を実感として得ることができる。

球面状画像ＶＳＳ３が画像表示装置３０４に表示されている状態において、使用者ＵＳが、コントローラ３０５が装着されている手を任意の方向へ移動させた場合、画像処理部３１１は、指示情報ＮＮ３に基づいて、画像表示装置３０４に表示されている球面状画像ＶＳＳ３と撮影画像ＩＭ３とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。

使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ３を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ３を回転させることができる。画像処理部３１１は、球面状画像ＶＳＳ３の回転に対応させて撮影画像ＩＭ３を移動させる。

図１２Ａ及び図１２Ｂに示すフローチャートを用いて、第３実施形態の画像調整方法の一例を説明する。具体的には、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを調整する方法の一例について説明する。画像表示装置３０４が使用者ＵＳの頭部に装着され、コントローラ３０５が使用者ＵＳの手に装着されている。画像表示装置３０４には撮影画像ＩＭ３（右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３）が表示されている。

使用者ＵＳが画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを補正する場合、図１２Ａにおいて、使用者ＵＳがコントローラ３０５を操作することにより、画像処理部３１１は、ステップＳ３０１にて、画像表示装置３０４に設定画面を表示させる。

設定画面には、例えば、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを補正するための上下補正の項目が調整項目として表示される。画像処理部３１１は、設定画面に、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との視差を補正するための視差補正の項目、及び、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との傾きのずれを補正するための傾き補正の項目を調整項目として表示してもよい。

図４に示すように、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とが上下方向にずれている場合、使用者ＵＳは設定画面に表示されている上下補正の項目を選択する。コントローラ３０５は、ステップＳ３０２にて、上下補正の項目が選択されたことを示す指示情報ＮＮ３を画像処理部３１１へ出力する。画像処理部３１１は、ステップＳ３１１にて、コントローラ３０５から出力される指示情報ＮＮ３に基づいて、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを補正するための処理モード（上下補正モード）へ処理を移行させる。

画像処理部３１１は、ステップＳ３１２にて、補正する画像が右目用画像ＩＭＲ３か左目用画像ＩＭＬ３かを選択するための項目を画像表示装置３０４に表示する。使用者ＵＳが右目用画像ＩＭＲ３を選択した場合、コントローラ３０５は、右目用画像ＩＭＲ３が選択されたことを示す指示情報ＮＮ３を画像処理部３１１へ出力する。画像処理部３１１は、ステップＳ３１３にて、コントローラ３０５から出力される指示情報ＮＮ３に基づいて、右目用画像ＩＭＲ３の上下方向を補正するための処理モード（右目用上下補正モード）へ処理を移行させる。

画像処理部１１１は、ステップＳ３１４にて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ３（右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３）と球面状画像ＶＳＳ３とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれが小さくなるように球面状画像ＶＳＳ３を上方向または下方向へ回転させる。画像処理部３１１は、ステップＳ３１５にて、球面状画像ＶＳＳ３の回転に対応させて、画像表示装置３０４に表示されている右目用画像ＩＭＲ３を上方向または下方向へ移動させる。

ステップＳ３１２において使用者ＵＳが左目用画像ＩＭＬ３を選択した場合、コントローラ３０５は、左目用画像ＩＭＬ３が選択されたことを示す指示情報ＮＮ３を画像処理部３１１へ出力する。画像処理部３１１は、ステップＳ３１６にて、コントローラ３０５から出力される指示情報ＮＮ３に基づいて、左目用画像ＩＭＬ３の上下方向を補正するための処理モード（左目用上下補正モード）へ処理を移行させる。

画像処理部３１１は、ステップＳ３１７にて、画像生成部３１２から球面状画像ＶＳＳ３を取得し、画像表示装置３０４に表示する。画像表示装置３０４には、撮影画像ＩＭ３（右目用画像ＩＭＲ３及び左目用画像ＩＭＬ３）と球面状画像ＶＳＳ３とが混合して表示される。

使用者ＵＳは、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれが小さくなるように球面状画像ＶＳＳ３を上方向または下方向へ回転させる。画像処理部３１１は、ステップＳ３１８にて、球面状画像ＶＳＳ３の回転に対応させて、画像表示装置３０４に表示されている左目用画像ＩＭＬ３を上方向または下方向へ移動させる。

ステップＳ３１１において上下補正モードへ移行された場合、ステップＳ３１３において右目用上下補正モードへ移行された場合、または、ステップＳ３１６において左目用上下補正モードへ移行された場合、画像処理部３１１は、球面状画像ＶＳＳ３が上下方向のみに回転するように球面状画像ＶＳＳ３の回転方向を制限してもよい。また、球面状画像ＶＳＳ３を回転させずに、球面状画像ＶＳＳ３を上下に動かすことで左目用画像ＩＭＬ３を上方向または下方向へ移動させてもよい。

画像処理部３１１は、使用者ＵＳが球面状画像ＶＳＳ３を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ３を回転させることによって球面状画像ＶＳＳ３の座標上のどの位置へ移動したかを判定することができる。画像処理部３１１は、球面状画像ＶＳＳ３の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ３を回転させる前と回転させた後との球面状画像ＶＳＳ３の変化量を算出する。球面状画像ＶＳＳ３の変化量は球面状画像ＶＳＳ１の変化量に相当する。

図９に示すようにカメラ３０２が左右方向に傾いていると、図４に示すように右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とは上下方向にずれる。そのため、使用者ＵＳが球面状画像ＶＳＳ３を回転させて撮影画像ＩＭ３を調整しても、画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との上下方向のずれを十分に補正できない場合がある。

図１２Ｂにおいて、画像処理部３１１は、ステップＳ３２１にて、姿勢情報ＰＮ３、または画像表示装置３０４に表示されている撮影画像ＩＭ３に基づいて、画像表示装置３０４に表示されている撮影画像ＩＭ３が、第１のカメラ３０２１が撮影したものか第２のカメラ３０２２が撮影したものかを判定する。

画像処理部３１１は、ステップＳ３２２にて、ステップＳ３２１における判定結果（第１のカメラ３０２１または第２のカメラ３０２２）と、指示情報ＮＮ３、または画像表示装置３０４に表示されている撮影画像ＩＭ３の調整方向（上方向または下方向）及び調整量とから、カメラ３０２の傾斜方向と傾斜角度とを推定する。画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３との距離をｄ、上方向または下方向の調整量をｈとすると、カメラ３０２の傾斜角度θａは、関係式θａ＝ｔａｎ^−１（ｈ／ｄ）により算出することができる。

画像処理部３１１は、ステップＳ３２３にて、ステップＳ３２２における推定結果（具体的にはカメラ３０２の傾斜方向及び傾斜角度）に基づいて、カメラ３０２の姿勢を補正するための補正情報ＣＮを生成する。さらに、画像処理部３１１は、補正情報ＣＮを、通信部３１３及び３０３とネットワークとを介して姿勢制御装置３２０へ出力する。画像処理部３１１が補正情報ＣＮを通信部３１３とネットワークとを介してサーバ３０６へ出力し、サーバ３０６が補正情報ＣＮをネットワークと通信部３０３とを介して姿勢制御装置３２０へ出力してもよい。

姿勢制御装置３２０は、ステップＳ３２４にて、補正情報ＣＮに基づいて、カメラ３０２の姿勢を制御する。画像処理部３１１は、ステップＳ３２５にて、姿勢制御装置３２０によるカメラ３０２の姿勢制御が終了したことを確認する。姿勢制御装置３２０がカメラ３０２の姿勢制御が終了したことを示す終了信号ＥＳを生成し、通信部３０３及び３１３とネットワークとを介して画像処理部３１１へ出力してもよい。

画像処理部３１１は、ステップＳ３２６にて、球面状画像ＶＳＳ３の表示を終了させ、ステップＳ３１５またはＳ３１８とは逆の補正を実行する。例えば、ステップＳ３１５において右目用画像ＩＭＲ３を上方向へ移動させた場合、画像処理部３１１は、右目用画像ＩＭＲ３を下方向へ移動させて右目用画像ＩＭＲ３がステップＳ３１５の処理が実行される前の状態となるように画像処理を実行する。例えば、ステップＳ３１８において左目用画像ＩＭＬ３を下方向へ移動させた場合、画像処理部３１１は、左目用画像ＩＭＬ３を上方向へ移動させて左目用画像ＩＭＬ３がステップＳ３１８の処理が実行される前の状態となるように画像処理を実行する。

即ち、姿勢制御装置３２０がカメラ３０２の姿勢を制御することにより、画像処理部３１１は、右目用画像ＩＭＲ３に対してステップＳ３１５の処理が実行される前の状態に処理を戻す、または、左目用画像ＩＭＬ３に対してステップＳ３１８の処理が実行される前の状態に処理を戻すように画像処理を実行し、処理を終了する。

第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像表示装置３０４に球面状画像ＶＳＳ３を表示させる。第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とのずれが生じた場合に、使用者ＵＳは、コントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とのずれを簡便に調整することができる。

第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像調整装置３１０による撮影画像ＩＭ３の調整結果に基づいてカメラ３０２の傾斜方向と傾斜角度とを推定し、推定結果に基づいて姿勢制御装置３２０がカメラ３０２の姿勢を制御する。カメラ３０２は姿勢制御装置３２０によって水平または水平に近い状態に姿勢制御されるため、使用者ＵＳは右目用画像ＩＭＲ３と左目用画像ＩＭＬ３とのずれを調整する場合に上記のずれを簡便に調整することができる。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。

１０１，２０１，３０１ 画像調整システム
１０２，２０２，３０２ カメラ
１０４，２０４，３０４ 画像表示装置
１０５，２０５，３０５ コントローラ
１１０，２１０，３１０ 画像調整装置
１１１，２１１，３１１ 画像処理部
１１２，２１２，３１２ 画像生成部
２２０，３２０ 姿勢制御装置
ＣＮ 補正情報
ＩＭ１，ＩＭ２，ＩＭ３ 撮影画像
ＩＭＬ１，ＩＭＬ２，ＩＭＬ３ 左目用画像
ＩＭＲ１，ＩＭＲ２，ＩＭＲ３ 右目用画像
ＮＮ１，ＮＮ２，ＮＮ３ 指示情報
ＶＳＳ１，ＶＳＳ２，ＶＳＳ３ 球面状画像（仮想画像）
θａ，θｂ 傾斜角度

Claims (6)

1. 右目用画像と左目用画像とを撮影するカメラと、
   前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、前記撮影画像を調整する画像調整装置と、
   前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
   前記画像調整装置へ指示情報を出力するコントローラと、
   を備え、
   前記画像調整装置は、
   球面状画像を生成する画像生成部と、
   前記指示情報に基づいて前記画像生成部から前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整する画像処理部と、
   を有する画像調整システム。
2. 前記カメラは３６０度の範囲を撮影する全方位カメラであり、
   前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
   前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
   前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である、
   請求項１に記載の画像調整システム。
3. 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応して前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を調整する、
   請求項２に記載の画像調整システム。
4. 前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像を調整する、
   請求項３に記載の画像調整システム。
5. 球面状画像を生成する画像生成部と、
   コントローラから取得した指示情報に基づいて前記画像生成部から前記球面状画像を取得して画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、カメラにより撮影されて前記画像表示装置に表示されている撮影画像における右目用画像または左目用画像を、前記球面状画像の回転に対応させて調整する画像処理部と、
   を備える画像調整装置。
6. カメラが右目用画像と左目用画像とを撮影し、
   画像処理部が前記カメラから前記右目用画像と前記左目用画像とを撮影画像として取得し、
   画像表示装置が前記撮影画像を表示し、
   前記画像処理部がコントローラから指示情報を取得し、
   前記画像処理部が前記指示情報に基づいて、画像生成部から球面状画像を取得し、
   前記画像表示装置が前記球面状画像を表示し、
   前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
   前記画像処理部が前記画像表示装置に表示されている前記撮影画像における前記右目用画像または前記左目用画像を、前記球面状画像の回転に対応させて調整する、
   画像調整方法。

Images