JP2020134629A - 画像調整システム、画像調整装置、及び画像調整方法 - Google Patents

画像調整システム、画像調整装置、及び画像調整方法 Download PDF

Info

Publication number
JP2020134629A
JP2020134629A JP2019025762A JP2019025762A JP2020134629A JP 2020134629 A JP2020134629 A JP 2020134629A JP 2019025762 A JP2019025762 A JP 2019025762A JP 2019025762 A JP2019025762 A JP 2019025762A JP 2020134629 A JP2020134629 A JP 2020134629A
Authority
JP
Japan
Prior art keywords
image
user
captured
display device
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019025762A
Other languages
English (en)
Other versions
JP7088068B2 (ja
Inventor
崇 日昔
Takashi Hiseki
崇 日昔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019025762A priority Critical patent/JP7088068B2/ja
Priority to PCT/JP2020/004700 priority patent/WO2020166492A1/ja
Publication of JP2020134629A publication Critical patent/JP2020134629A/ja
Priority to US17/361,767 priority patent/US11985298B2/en
Application granted granted Critical
Publication of JP7088068B2 publication Critical patent/JP7088068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像の水平または天頂を簡便に補正することができる画像調整システムを提供する。【解決手段】画像調整システム１０１はカメラ１０２と画像調整装置１１０と画像表示装置１０４とコントローラ１０５とを備える。画像調整装置１１０は画像生成部１１２と画像処理部１１１とを有する。画像生成部１１２は球面状画像ＶＳＳ１、及び、カメラ１０２が撮影した撮影画像ＩＭ１と合成される合成画像ＣＭ１を生成する。画像処理部１１１は画像生成部１１２で生成された球面状画像ＶＳＳ１を取得して画像表示装置１０４に表示する。画像処理部１１１はコントローラ１０５から出力された指示情報ＮＮ１に基づいて球面状画像ＶＳＳ１を回転させ、球面状画像ＶＳＳ１の回転に対応させて画像表示装置１０４に表示されている撮影画像ＩＭ１を調整し、調整された撮影画像ＩＭ１に対応させて合成画像ＣＭ１を調整して撮影画像ＩＭ１と合成する。【選択図】図１

Description

本発明は、画像調整システム、画像調整装置、及び画像調整方法に関する。
近年、画像表示装置としてヘッドマウントディスプレイが注目されている。ヘッドマウントディスプレイは、使用者の頭部に装着された状態で画像を表示することにより、使用者は仮想空間に入り込んだような感覚（没入感）を得ることができる。特許文献１に記載されているように、ヘッドマウントディスプレイは、外部のカメラで撮影した画像をネックワークを介して表示することができる。
特開２００５−５６２９５号公報
しかし、従来のヘッドマウントディスプレイでは、表示される画像によっては画像の水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、表示される画像が使用者の重力感覚と一致しないため、使用者は違和感を覚える。
本発明は、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる画像調整システム、画像調整装置、及び画像調整方法を提供することを目的とする。
本発明は、カメラと、前記カメラが撮影した撮影画像を調整する画像調整装置と、前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、前記画像調整装置へ指示情報を出力するコントローラとを備え、前記画像調整装置は、球面状画像、及び、前記撮影画像と合成される合成画像を生成する画像生成部と、前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する画像処理部とを有する画像調整システムを提供する。
本発明は、球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成する画像生成部と、コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する画像処理部とを備える画像調整装置を提供する。
本発明は、画像処理部がコントローラから指示情報を取得し、前記画像処理部が前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、画像表示装置が前記球面状画像を表示し、前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、前記画像処理部が前記画像生成部で生成され、前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する画像調整方法を提供する。
本発明の画像調整システム、画像調整装置、及び画像調整方法によれば、画像の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、画像の水平または天頂を簡便に補正することができる。
第１及び第２実施形態の画像調整システムを示す構成図である。 球面状画像と使用者との関係を示す図である。 第１実施形態の画像調整方法の一例を示すフローチャートである。 第１実施形態の画像調整方法の一例を示すフローチャートである。 撮影画像の水平面と合成画像の水平面との関係を示す図である。 第２実施形態の画像調整方法の一例を示すフローチャートである。 第２実施形態の画像調整方法の一例を示すフローチャートである。 第２実施形態の画像調整方法の一例を示すフローチャートである。 撮影画像の水平面と合成画像の水平面との関係を示す図である。 第３実施形態の画像調整システムを示す構成図である。 使用者が画像表示装置を見ているときの使用者と他の使用者に対応する合成画像との位置関係の一例を示す図である。 使用者が画像表示装置を見ているときの使用者と他の使用者に対応する合成画像との位置関係の一例を示す図である。 第３実施形態の画像調整方法の一例を示すフローチャートである。 第３実施形態の画像調整方法の一例を示すフローチャートである。 第４実施形態の画像調整システムを示す構成図である。 第３実施形態の画像調整方法の一例を示すフローチャートである。 第３実施形態の画像調整方法の一例を示すフローチャートである。 複数のカメラと他の使用者に対応する合成画像との位置関係の一例を示す図である。
［第１実施形態］
図１を用いて、第１実施形態の画像調整システムの構成例を説明する。画像調整システム１０１は、カメラ１０２と、通信部１０３と、画像表示装置１０４と、コントローラ１０５と、画像調整装置１１０と、サーバ１０６とを備える。画像調整装置１１０は、画像処理部１１１と、画像生成部１１２と、通信部１１３とを有する。
カメラ１０２は、３６０度の範囲を撮影できる全方位カメラ（３６０度カメラ）である。通信部１０３と通信部１１３とはネットワークを介して接続されている。画像調整装置１１０は、カメラ１０２が撮影した撮影画像ＩＭ１を、通信部１０３及び１１３とネットワークとを介して取得することができる。
画像調整装置１１０としてコンピュータ機器を用いてもよい。画像処理部１１１及び画像生成部１１２としてＣＰＵを用いてもよい。画像生成部１１２及び通信部１１３は、画像調整装置１１０の外部に設けられていてもよい。
サーバ１０６は、ネットワークと通信部１０３とを介してカメラ１０２と接続し、ネットワークと通信部１１３とを介して画像調整装置１１０と接続する。サーバ１０６がカメラ１０２が撮影した撮影画像ＩＭ１を通信部１０３及びネットワークを介して取得し、画像調整装置１１０がサーバ１０６から撮影画像ＩＭ１をネットワーク及び通信部１１３を介して取得してもよい。
画像調整装置１１０が取得した撮影画像ＩＭ１は、画像処理部１１１へ入力される。画像処理部１１１は、撮影画像ＩＭ１を解析することにより、撮影画像ＩＭ１における水平方向を認識する。画像処理部１１１は、撮影画像ＩＭ１を解析することにより、撮影画像ＩＭ１における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置１１０は、撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像表示装置１０４へ出力する。
サーバ１０６は、カメラ１０２が撮影した撮影画像ＩＭ１の歪みを補正し、撮影画像ＩＭ１の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ１を画像調整装置１１０へ出力してもよい。画像表示装置１０４は、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を表示する。
画像表示装置１０４は、例えばヘッドマウントディスプレイである。コントローラ１０５は、例えばＶＲ(Virtual Reality)等に用いられるグローブ型コントローラである。
図２は、画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている状態を模式的に示している。図２に示す符号ＺＥは天頂を示している。カメラ１０２の天頂と使用者ＵＳの天頂とは一致していることが望ましい。使用者ＵＳは、その頭部に画像表示装置１０４を装着することにより、画像調整装置１１０またはサーバ１０６によって画像処理された撮影画像ＩＭ１を見ることができる。
画像表示装置１０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ１を生成する。画像処理部１１１は、画像表示装置１０４から姿勢情報ＰＮ１を取得する。即ち、画像処理部１１１は、画像表示装置１０４の姿勢に基づいて姿勢情報ＰＮ１を取得することになる。画像処理部１１１は、姿勢情報ＰＮ１に基づいて、カメラ１０２が撮影した撮影画像ＩＭ１から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置１０４に表示する。
コントローラ１０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢、または、使用者ＵＳの指の動きまたは姿勢等の状態に基づいて指示情報ＮＮ１を生成する。以下、手または指を、単に手と略記する。画像処理部１１１は、コントローラ１０５から指示情報ＮＮ１を取得する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている撮影画像ＩＭ１を変化させたり調整したりすることができる。
画像生成部１１２は、撮影画像ＩＭ１と合成されるＣＧ(Computer Graphics)である合成画像ＣＭ１を生成する。合成画像ＣＭ１は、例えばアバター等のキャラクタの画像である。画像生成部１１２は、合成画像ＣＭ１を内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、画像生成部１１２で生成された合成画像ＣＭ１を取得し、通信部１１３とネットワークとを介してサーバ１０６へ出力してもよい。
サーバ１０６は、合成画像ＣＭ１を画像表示装置１０４または使用者ＵＳと対応付けて内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２またはサーバ１０６から合成画像ＣＭ１を取得し、画像表示装置１０４に表示されている撮影画像ＩＭ１に合成画像ＣＭ１を合成する。従って、画像表示装置１０４は、カメラ１０２が撮影した撮影画像ＩＭ１と、画像生成部１１２またはサーバ１０６から取得されて撮影画像ＩＭ１と合成された合成画像ＣＭ１とを表示することができる。
画像生成部１１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ１を生成する。画像生成部１１２は、球面状画像ＶＳＳ１を内蔵メモリまたは外部のメモリに保存する。画像処理部１１１は、指示情報ＮＮ１に基づいて、画像生成部１１２で生成された球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。
図２は、画像表示装置１０４が使用者ＵＳの頭部に装着された状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときの使用者ＵＳのイメージを模式的に示している。
画像表示装置１０４が使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが画像表示装置１０４に表示されている球面状画像ＶＳＳ１を見たときに、球面状画像ＶＳＳ１は、使用者ＵＳ及び画像表示装置１０４の周囲に配置され、かつ、使用者ＵＳの手が球面状画像ＶＳＳ１に届く範囲に表示されるように設定されている。使用者ＵＳは、コントローラ１０５が装着されている手を、画像表示装置１０４に表示されている球面状画像ＶＳＳ１に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ１に接触しているように感じる。
コントローラ１０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部１１１は、指示情報ＮＮ１に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ１に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ１に接触する感覚を実感として得ることができる。
球面状画像ＶＳＳ１が画像表示装置１０４に表示されている状態において、使用者ＵＳが、コントローラ１０５が装着されている手を任意の方向へ移動させた場合、画像処理部１１１は、指示情報ＮＮ１に基づいて、画像表示装置１０４に表示されている球面状画像ＶＳＳ１と撮影画像ＩＭ１とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ１を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ１を回転させることができる。画像処理部１１１は、球面状画像ＶＳＳ１の回転に対応させて撮影画像ＩＭ１を移動させる。
画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ１を回転させることによって球面状画像ＶＳＳ１の座標上のどの位置へ移動したかを判定することができる。画像処理部１１１は、球面状画像ＶＳＳ１の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ１を回転させる前と回転させた後との球面状画像ＶＳＳ１の変化量を算出する。
球面状画像ＶＳＳ１の変化量とは、球面状画像ＶＳＳ１において、Ｘ軸を回転軸とした回転量（回転角度）と、Ｙ軸を回転軸とした回転量（回転角度）と、Ｚ軸を回転軸とした回転量（回転角度）とが合成された球面状画像ＶＳＳ１の回転量（回転角度）に相当する。画像処理部１１１は、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存する。即ち、補正値ＣＶ１は、球面状画像ＶＳＳ１の回転方向と、天頂ＺＥの移動量または移動角度（球面状画像ＶＳＳ１の回転角度）に基づいて算出されることになる。
画像処理部１１１は、使用者ＵＳが球面状画像ＶＳＳ１を回転させた後の天頂ＺＥの球面状画像ＶＳＳ１上の座標を補正値ＣＶ１として保存してもよい。画像処理部１１１は、補正値ＣＶ１を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ１を通信部１１３及びネットワークを介してサーバ１０６へ出力してもよい。サーバ１０６は、補正値ＣＶ１を画像表示装置１０４または使用者ＵＳと関連付けて内蔵メモリまたは外部のメモリに保存する。
画像処理部１１１は、撮影画像ＩＭ１の水平方向を検出する。しかし、画像処理部１１１は、撮影画像ＩＭ１によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置１０４に表示される撮影画像ＩＭ１が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。
図３及び図４に示すフローチャートを用いて、第１実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ１及び合成画像ＣＭ１の水平を調整する方法の一例について説明する。画像表示装置１０４が使用者ＵＳの頭部に装着され、コントローラ１０５が使用者ＵＳの手に装着されている。画像表示装置１０４には撮影画像ＩＭ１及び合成画像ＣＭ１が表示されている。この時点で、合成画像ＣＭ１は表示されていなくてもよい。
使用者ＵＳが画像表示装置１０４に表示されている撮影画像ＩＭ１が水平でないと判断した場合、図３において、使用者ＵＳがコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０１にて、画像表示装置１０４に設定画面を表示させる。
使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部１１１は、ステップＳ１０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部１１１は、撮影画像ＩＭ１の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。
画像処理部１１１は、ステップＳ１０３にて、画像生成部１１２で生成された球面状画像ＶＳＳ１を取得し、画像表示装置１０４に表示する。画像表示装置１０４には、撮影画像ＩＭ１と球面状画像ＶＳＳ１と合成画像ＣＭ１とが混合して表示される。使用者ＵＳが撮影画像ＩＭ１が水平となるように球面状画像ＶＳＳ１を回転させることにより、画像処理部１１１は、ステップＳ１０４にて、球面状画像ＶＳＳ１の回転に対応させて、画像表示装置１０４に表示されている撮影画像ＩＭ１を移動させる。使用者ＵＳは撮影画像ＩＭ１が水平になるまで球面状画像ＶＳＳ１を回転させる動作を複数回行ってもよい。
使用者ＵＳは撮影画像ＩＭ１が水平になったと判断した場合にコントローラ１０５を操作することにより、画像処理部１１１は、ステップＳ１０５にて、球面状画像ＶＳＳ１の表示を終了させ、画像表示装置１０４に設定画面を表示させる。画像表示装置１０４に表示されている撮影画像ＩＭ１を水平にすることにより、カメラ１０２の天頂と使用者ＵＳの天頂とを一致させることができる。
使用者ＵＳがコントローラ１０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部１１１は、ステップＳ１０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部１１１は、水平調整を終了するための処理モード（終了モード）へ処理を移行させる。
画像処理部１１１は、ステップＳ１０７にて、球面状画像ＶＳＳ１が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ１の変化量として取得する。画像処理部１１１は、ステップＳ１０８にて、球面状画像ＶＳＳ１の変化量を補正値ＣＶ１として保存し、処理を終了する。
図３のステップＳ１０１〜Ｓ１０８において合成画像ＣＭ１が表示されていない場合、使用者ＵＳがコントローラ１０５を操作することにより、画像調整装置１１０（具体的には画像処理部１１１）は、画像生成部１１２で生成された合成画像ＣＭ１を取得し、画像表示装置１０４に表示されている撮影画像ＩＭ１に合成して表示させることができる。
図５は、使用者ＵＳによって水平調整された撮影画像ＩＭ１の水平面ＰＨＰ１と、画像処理部１１１が画像生成部１１２から取得した合成画像ＣＭ１の水平面ＳＨＰ１との関係を模式的に示している。撮影画像ＩＭ１の水平面ＰＨＰ１と合成画像ＣＭ１の水平面ＳＨＰ１とがずれていると、使用者ＵＳは違和感を覚える。
図４において、画像処理部１１１は、ステップＳ１１１にて、撮影画像ＩＭ１が水平調整されたか否かを判定する。画像処理部１１１は、球面状画像ＶＳＳ１が回転された履歴または補正値ＣＶ１等に基づいて、撮影画像ＩＭ１が水平調整されたか否かを判定することができる。
ステップＳ１１１において撮影画像ＩＭ１が水平調整された（ＹＥＳ）と判定された場合、画像処理部１１１は、ステップＳ１１２にて、保存されている補正値ＣＶ１を取得する。画像処理部１１１は、ステップＳ１１３にて、補正値ＣＶ１に基づいて合成画像ＣＭ１の座標軸を回転させ、合成画像ＣＭ１の水平面ＳＨＰ１を撮影画像ＩＭ１の水平面ＰＨＰ１と一致させる。画像処理部１１１は、ステップＳ１１４にて、合成画像ＣＭ１を、補正された水平面ＳＨＰ１に基づいて演算処理し、画像調整する。
画像処理部１１１は、ステップＳ１１５にて、画像調整された合成画像ＣＭ１を撮影画像ＩＭ１と合成して画像表示装置１０４に表示させる。ステップＳ１１１において撮影画像ＩＭ１が水平調整されていない（ＮＯ）と判定された場合、画像処理部１１１は、処理をステップＳ１１５へ移行させる。
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、画像表示装置１０４に球面状画像ＶＳＳ１を表示させる。第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ１０５を操作して球面状画像ＶＳＳ１を回転させることにより、画像表示装置１０４に表示されている撮影画像ＩＭ１を水平になるように調整することができる。
従って、第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ１の水平または天頂を簡便に補正することができる。
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、補正値ＣＶ１が保存されている場合、画像処理部１１１は、補正値ＣＶ１を読み出し、カメラ１０２が撮影した撮影画像ＩＭ１を補正値ＣＶ１に基づいて画像調整し、画像表示装置１０４に表示することができる。
第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法では、撮影画像ＩＭ１が水平調整された場合、補正値ＣＶ１に基づいて合成画像ＣＭ１の座標軸を回転させ、合成画像ＣＭ１の水平面ＳＨＰ１を撮影画像ＩＭ１の水平面ＰＨＰ１と一致させる。第１実施形態の画像調整システム１０１、画像調整装置１１０、及び画像調整方法によれば、撮影画像ＩＭ１と合成画像ＣＭ１とを、使用者ＵＳが違和感を覚えることなく、画像表示装置１０４に表示することができる。
［第２実施形態］
図１を用いて、第２実施形態の画像調整システムの構成例を説明する。画像調整システム２０１は、カメラ２０２と、通信部２０３と、画像表示装置２０４と、コントローラ２０５と、画像調整装置２１０と、サーバ２０６とを備える。画像調整装置２１０は、画像処理部２１１と、画像生成部２１２と、通信部２１３とを有する。
カメラ２０２、通信部２０３、画像表示装置２０４、コントローラ２０５、画像調整装置２１０、及びサーバ２０６は、第１実施形態のカメラ１０２、通信部１０３、画像表示装置１０４、コントローラ１０５、画像調整装置１１０、及びサーバ１０６に相当する。画像処理部２１１、画像生成部２１２、及び通信部２１３は、第１実施形態の画像処理部１１１、画像生成部１１２、及び通信部１１３に相当する。
画像調整装置２１０は、カメラ２０２が撮影した撮影画像ＩＭ２を、通信部２０３及び２１３とネットワークとを介して取得することができる。サーバ２０６がカメラ２０２が撮影した撮影画像ＩＭ２を通信部２０３及びネットワークを介して取得し、画像調整装置２１０がサーバ２０６から撮影画像ＩＭ２をネットワーク及び通信部２１３を介して取得してもよい。
画像調整装置２１０が取得した撮影画像ＩＭ２は、画像処理部２１１へ入力される。画像処理部２１１は、撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における水平方向を認識する。画像処理部２１１は、撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。画像調整装置２１０は、撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像表示装置２０４へ出力する。
サーバ２０６は、カメラ２０２が撮影した撮影画像ＩＭ２の歪みを補正し、撮影画像ＩＭ２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ２を画像調整装置２１０へ出力してもよい。画像表示装置２０４は、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を表示する。使用者ＵＳは、その頭部に画像表示装置２０４を装着することにより、画像調整装置２１０またはサーバ２０６によって画像処理された撮影画像ＩＭ２を見ることができる。
画像表示装置２０４は、使用者ＵＳの頭部に装着されている状態において、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に基づいて姿勢情報ＰＮ２を生成する。画像処理部２１１は、画像表示装置２０４から姿勢情報ＰＮ２を取得する。即ち、画像処理部２１１は、画像表示装置２０４の姿勢に基づいて姿勢情報ＰＮ２を取得することになる。画像処理部２１１は、姿勢情報ＰＮ２に基づいて、カメラ２０２が撮影した撮影画像ＩＭ２から、使用者ＵＳが向いている方向、及び使用者ＵＳの姿勢等の状態に対応する領域の画像を画像表示装置２０４に表示する。
コントローラ２０５は、使用者ＵＳの手に装着されている状態において、使用者ＵＳの手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ２を生成する。画像処理部２１１は、コントローラ２０５から指示情報ＮＮ２を取得する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている撮影画像ＩＭ２を変化させたり調整したりすることができる。
画像生成部２１２は、撮影画像ＩＭ２と合成されるＣＧである合成画像ＣＭ２を生成する。合成画像ＣＭ２は、例えばアバター等のキャラクタの画像である。画像生成部２１２は、合成画像ＣＭ２を内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、画像生成部２１２で生成された合成画像ＣＭ２を取得し、通信部２１３とネットワークとを介してサーバ２０６へ出力してもよい。サーバ２０６は、合成画像ＣＭ２を画像表示装置２０４または使用者ＵＳと対応付けて内蔵メモリまたは外部のメモリに保存する。
画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２またはサーバ２０６から合成画像ＣＭ２を取得し、画像表示装置２０４に表示されている撮影画像ＩＭ２に合成画像ＣＭ２を合成する。従って、画像表示装置２０４は、カメラ２０２が撮影した撮影画像ＩＭ２と、画像生成部２１２またはサーバ２０６から取得されて撮影画像ＩＭ２と合成された合成画像ＣＭ２とを表示することができる。
画像生成部２１２は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ２を生成する。画像生成部２１２は、球面状画像ＶＳＳ２を内蔵メモリまたは外部のメモリに保存する。画像処理部２１１は、指示情報ＮＮ２に基づいて、画像生成部２１２で生成された球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。
球面状画像ＶＳＳ２は、第１実施形態の球面状画像ＶＳＳ１に相当する。使用者ＵＳは、コントローラ２０５が装着されている手を、画像表示装置２０４に表示されている球面状画像ＶＳＳ２に対応する位置に移動させることにより、使用者ＵＳの手が球面状画像ＶＳＳ２に接触しているように感じる。
コントローラ２０５は、使用者ＵＳの手と接触する部分にアクチュエータが配置されていてもよい。画像処理部２１１は、指示情報ＮＮ２に基づいて、使用者ＵＳの手が球面状画像ＶＳＳ２に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳの手に圧力を加えることにより、使用者ＵＳは、その手が球面状画像ＶＳＳ２に接触する感覚を実感として得ることができる。
球面状画像ＶＳＳ２が画像表示装置２０４に表示されている状態において、使用者ＵＳが、コントローラ２０５が装着されている手を任意の方向へ移動させた場合、画像処理部２１１は、指示情報ＮＮ２に基づいて、画像表示装置２０４に表示されている球面状画像ＶＳＳ２と撮影画像ＩＭ２とが、使用者ＵＳの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者ＵＳは、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ２を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳは、その手の動きによって球面状画像ＶＳＳ２を回転させることができる。画像処理部２１１は、球面状画像ＶＳＳ２の回転に対応させて撮影画像ＩＭ２を移動させる。
画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前の天頂ＺＥが、使用者ＵＳが球面状画像ＶＳＳ２を回転させることによって球面状画像ＶＳＳ２の座標上のどの位置へ移動したかを判定することができる。画像処理部２１１は、球面状画像ＶＳＳ２の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳが球面状画像ＶＳＳ２を回転させる前と回転させた後との球面状画像ＶＳＳ２の変化量を算出する。球面状画像ＶＳＳ２の変化量は、第１実施形態の球面状画像ＶＳＳ１の変化量に相当する。
画像処理部２１１は、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として保存する。補正値ＣＶ２は、第１実施形態の補正値ＣＶ１に相当する。画像処理部２１１は、使用者ＵＳが球面状画像ＶＳＳ２を回転させた後の天頂ＺＥの球面状画像ＶＳＳ２上の座標を補正値ＣＶ２として保存してもよい。画像処理部２１１は、補正値ＣＶ２を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ２を通信部２１３及びネットワークを介してサーバ２０６へ出力してもよい。サーバ２０６は、補正値ＣＶ２を画像表示装置２０４または使用者ＵＳと関連付けて内蔵メモリまたは外部のメモリに保存する。
画像処理部２１１は、撮影画像ＩＭ２の水平方向を検出する。しかし、画像処理部２１１は、撮影画像ＩＭ２によってはその水平方向を検出することが難しく、水平方向を間違って検出してしまう場合がある。また、システムの同期等の問題により、水平または天頂の指定がずれてしまう場合がある。撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりすると、画像表示装置２０４に表示される撮影画像ＩＭ２が使用者ＵＳの重力感覚と一致しないため、使用者ＵＳは違和感を覚える。
図６Ａ、図６Ｂ、及び図７に示すフローチャートを用いて、第２実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ２及び合成画像ＣＭ２の水平を調整する方法の一例について説明する。画像表示装置２０４が使用者ＵＳの頭部に装着され、コントローラ２０５が使用者ＵＳの手に装着されている。画像表示装置２０４には撮影画像ＩＭ２及び合成画像ＣＭ２が表示されている。なお、合成画像ＣＭ２は表示されていなくてもよい。
使用者ＵＳが画像表示装置２０４に表示されている撮影画像ＩＭ２が水平でないと判断した場合、図６Ａにおいて、使用者ＵＳがコントローラ２０５を操作することにより、画像処理部２１１は、ステップＳ２０１にて、画像表示装置２０４に設定画面を表示させる。
使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部２１１は、ステップＳ２０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部２１１は、撮影画像ＩＭ２の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。
画像処理部２１１は、ステップＳ２０３にて、画像生成部２１２で生成された球面状画像ＶＳＳ２を取得し、画像表示装置２０４に表示する。画像表示装置２０４には、撮影画像ＩＭ２と球面状画像ＶＳＳ２とが混合して表示される。画像処理部２１１は、ステップＳ２０４にて、合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されているか否かを判定する。
ステップＳ２０４において合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されている（ＹＥＳ）と判定された場合、画像処理部２１１は、ステップＳ２０５にて、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とを分離させる処理を実行する。図８は、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とが分離された状態を模式的に示している。
ステップＳ２０４において合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されていない（ＮＯ）と判定された場合、画像処理部２１１は、処理をステップＳ２０６へ進める。
使用者ＵＳは、撮影画像ＩＭ２が水平となるように球面状画像ＶＳＳ２を回転させる。合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ１の水平面ＰＨＰ２とは分離しているため、球面状画像ＶＳＳ２を回転させても、合成画像ＣＭ２は回転しない。そのため、使用者ＵＳは、合成画像ＣＭ２の回転に惑わされることなく、撮影画像ＩＭ２の水平を容易に補正することができる。
ステップＳ２０５において、画像処理部２１１は合成画像ＣＭ２を非表示にしてもよい。合成画像ＣＭ２を非表示にすることにより、合成画像ＣＭ２が邪魔にならないので、使用者ＵＳは、撮影画像ＩＭ２の水平を容易に補正することができる。
画像処理部２１１は、ステップＳ２０６にて、球面状画像ＶＳＳ２の回転に対応させて、画像表示装置２０４に表示されている撮影画像ＩＭ２を移動させる。使用者ＵＳは撮影画像ＩＭ２が水平になるまで球面状画像ＶＳＳ２を回転させる動作を複数回行ってもよい。
図６Ｂにおいて、使用者ＵＳは撮影画像ＩＭ２が水平になったと判断した場合にコントローラ２０５を操作することにより、画像処理部２１１は、ステップＳ２０７にて、球面状画像ＶＳＳ２の表示を終了させ、画像表示装置２０４に設定画面を表示させる。画像表示装置２０４に表示されている撮影画像ＩＭ２を水平にすることにより、カメラ２０２の天頂と使用者ＵＳの天頂とを一致させることができる。
使用者ＵＳがコントローラ２０５を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部２１１は、ステップＳ２０８にて、選択された項目に対応する所定の処理モードへ処理を移行させる。終了の項目が選択された場合、画像処理部２１１は、水平調整を終了するための処理モード（水平調整終了モード）へ処理を移行させる。
画像処理部２１１は、ステップＳ２０９にて、球面状画像ＶＳＳ２が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ２の変化量として取得する。画像処理部２１１は、ステップＳ２１０にて、球面状画像ＶＳＳ２の変化量を補正値ＣＶ２として保存する。
図６Ａ及び図６ＢのステップＳ２０１〜Ｓ２１０において合成画像ＣＭ２が表示されていない場合、使用者ＵＳがコントローラ２０５を操作することにより、画像調整装置２１０（具体的には画像処理部２１１）は、画像生成部２１２で生成された合成画像ＣＭ２を取得し、画像表示装置２０４に表示させることができる。
画像調整装置２１０（具体的には画像処理部２１１）は、カメラ２０２が撮影する撮影画像ＩＭ２を解析することにより、撮影画像ＩＭ２における水平方向を認識する。使用者ＵＳが球面状画像ＶＳＳ２を回転させて撮影画像ＩＭ２の水平を調整した後に、画像調整装置２１０が画像生成部２１２で生成された合成画像ＣＭ２を取得し、画像表示装置２０４に表示させると、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ２の水平面ＰＨＰ２とは一致しなくなる。撮影画像ＩＭ２の水平面ＰＨＰ２と合成画像ＣＭ２の水平面ＳＨＰ２とがずれていると、使用者ＵＳは違和感を覚える。
図７において、画像処理部２１１は、ステップＳ２１１にて、合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されているか否かを判定する。合成画像ＣＭ２が撮影画像ＩＭ２と合成されて画像表示装置２０４に表示されている（ＹＥＳ）と判定された場合、画像処理部２１１は、ステップＳ２１２にて、保存されている補正値ＣＶ２を取得する。
画像処理部２１１は、ステップＳ２１３にて、補正値ＣＶ２に基づいて合成画像ＣＭ２の座標軸を回転させ、合成画像ＣＭ２の水平面ＳＨＰ２を、使用者ＵＳによって水平調整された撮影画像ＩＭ２の水平面ＰＨＰ２と一致させる。画像処理部２１１は、ステップＳ２１４にて、合成画像ＣＭ２を、補正された水平面ＳＨＰ２に基づいて演算処理し、画像調整する。図８は、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ１の水平面ＰＨＰ２とが一致している状態を模式的に示している。
ステップＳ２１１において撮影画像ＩＭ２が使用者ＵＳによって水平調整されていない（ＮＯ）と判定された場合、画像処理部２１１は、処理をステップＳ２１５へ移行させる。画像処理部２１１は、ステップＳ２１５にて、画像調整された合成画像ＣＭ２を撮影画像ＩＭ２と合成して画像表示装置２０４に表示させる。使用者ＵＳは、画像表示装置２０４に表示され、互いの水平が一致している撮影画像ＩＭ２及び合成画像ＣＭ２を見ることができる。
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、画像表示装置２０４に球面状画像ＶＳＳ２を表示させる。第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ２０５を操作して球面状画像ＶＳＳ２を回転させることにより、画像表示装置２０４に表示されている撮影画像ＩＭ２を水平になるように調整することができる。
従って、第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ２の水平または天頂を簡便に補正することができる。
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、補正値ＣＶ２が保存されている場合、画像処理部２１１は、補正値ＣＶ２を読み出し、カメラ２０２が撮影した撮影画像ＩＭ２を補正値ＣＶ２に基づいて画像調整し、画像表示装置２０４に表示することができる。
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法では、合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ１の水平面ＰＨＰ２とを分離させて、撮影画像ＩＭ１の水平を調整し、調整結果（補正値ＣＶ２）に基づいて合成画像ＣＭ１の水平を調整する。合成画像ＣＭ２の水平面ＳＨＰ２と撮影画像ＩＭ１の水平面ＰＨＰ２とが分離しているため、使用者ＵＳが球面状画像ＶＳＳ２を回転させても、合成画像ＣＭ２は回転しない。そのため、使用者ＵＳは、撮影画像ＩＭ２の水平を容易に補正することができる。
第２実施形態の画像調整システム２０１、画像調整装置２１０、及び画像調整方法によれば、撮影画像ＩＭ２が水平調整された場合、補正値ＣＶ２に基づいて合成画像ＣＭ２の座標軸を回転させ、合成画像ＣＭ２の水平面ＳＨＰ２を撮影画像ＩＭ２の水平面ＰＨＰ２と一致させる。そのため、使用者ＵＳは、画像表示装置２０４に表示されている撮影画像ＩＭ２と合成画像ＣＭ２とを、違和感を覚えることなく見ることができる。
［第３実施形態］
図９を用いて、第３実施形態の画像調整システムの構成例を説明する。画像調整システム３０１は、カメラ３０２と、通信部３０３と、複数の画像表示装置３０４と、複数のコントローラ３０５と、複数の画像調整装置３１０と、サーバ３０６とを備える。画像調整装置３１０は、画像処理部３１１と、画像生成部３１２と、通信部３１３とを有する。
カメラ３０２、通信部３０３、画像表示装置３０４、コントローラ３０５、画像調整装置３１０、及びサーバ３０６は、それぞれ、第１及び第２実施形態のカメラ１０２及び２０２、通信部１０３及び２０３、画像表示装置１０４及び２０４、コントローラ１０５及び２０５、画像調整装置１１０及び２１０、及び、サーバ１０６及び２０６に相当する。画像処理部３１１、画像生成部３１２、及び通信部３１３は、それぞれ、第１及び第２実施形態の画像処理部１１１及び２１１、画像生成部１１２及び２１２、及び、通信部１１３及び２１３に相当する。
図９では、説明をわかりやすくするために、それぞれ２つの画像表示装置３０４、コントローラ３０５、及び画像調整装置３１０を示している。画像表示装置３０４、コントローラ３０５、及び画像調整装置３１０は３つ以上であってもよい。使用者ＵＳａ（第１の使用者）が使用する画像表示装置３０４、コントローラ３０５、及び画像調整装置３１０を、画像表示装置３０４ａ（第３実施形態における第１の画像表示装置）、コントローラ３０５ａ（第３実施形態における第１のコントローラ）、及び画像調整装置３１０ａ（第３実施形態における第１の画像調整装置）とする。使用者ＵＳｂ（第２の使用者）が使用する画像表示装置３０４、コントローラ３０５、及び画像調整装置３１０を画像表示装置３０４ｂ（第３実施形態における第２の画像表示装置）、コントローラ３０５ｂ（第３実施形態における第２のコントローラ）、及び画像調整装置３１０ｂ（第３実施形態における第２の画像調整装置）とする。
画像調整装置３１０ａにおける画像処理部３１１、画像生成部３１２、及び通信部３１３を、画像処理部３１１ａ、画像生成部３１２ａ、及び通信部３１３ａとし、画像調整装置３１０ｂにおける画像処理部３１１、画像生成部３１２、及び通信部３１３を、画像処理部３１１ｂ、画像生成部３１２ｂ、及び通信部３１３ｂとする。
画像調整装置３１０ａは、カメラ３０２が撮影した撮影画像ＩＭ３を、通信部３０３及び３１３ａとネットワークとを介して取得することができる。画像調整装置３１０ｂは、カメラ３０２が撮影した撮影画像ＩＭ３を、通信部３０３及び３１３ｂとネットワークとを介して取得することができる。
サーバ３０６は、カメラ３０２が撮影した撮影画像ＩＭ３を通信部３０３及びネットワークを介して取得し、画像調整装置３１０ａ及び３１０ｂがサーバ３０６から撮影画像ＩＭ３をネットワーク及び通信部３１３ａ及び３１３ｂを介して取得してもよい。
サーバ３０６は、使用者ＵＳａがログイン操作を実行する、または、画像表示装置３０４ａが通信部３１３ａを介してネットワークに接続されることにより、使用者ＵＳａまたは画像表示装置３０４ａを特定することができる。サーバ３０６は、使用者ＵＳｂがログイン操作を実行する、または、画像表示装置３０４ｂが通信部３１３ｂを介してネットワークに接続されることにより、使用者ＵＳｂまたは画像表示装置３０４ｂを特定することができる。
以下、画像調整装置３１０ａ、画像表示装置３０４ａ、及びコントローラ３０５ａにおける処理について説明する。括弧内の符号は、画像調整装置３１０ｂ、画像表示装置３０４ｂ、及びコントローラ３０５ｂにおける処理を示している。
画像調整装置３１０ａ（３１０ｂ）が取得した撮影画像ＩＭ３は、画像処理部３１１ａ（３１１ｂ）へ入力される。画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３を解析することにより、撮影画像ＩＭ３における水平方向を認識する。画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３を解析することにより、撮影画像ＩＭ３における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。
画像調整装置３１０ａ（３１０ｂ）は、撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像表示装置３０４ａ及び３０４ｂへ出力する。
サーバ３０６は、カメラ３０２が撮影した撮影画像ＩＭ３の歪みを補正し、撮影画像ＩＭ３の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ３を画像調整装置３１０ａ（３１０ｂ）へ出力してもよい。画像表示装置３０４ａ（３０４ｂ）は、画像調整装置３１０ａ（３１０ｂ）、またはサーバ３０６によって画像処理された撮影画像ＩＭ３を表示する。
使用者ＵＳａ（ＵＳｂ）は、その頭部に画像表示装置３０４ａ（３０４ｂ）を装着することにより、画像調整装置３１０ａ（３１０ｂ）またはサーバ３０６によって画像処理された撮影画像ＩＭ３を見ることができる。
画像表示装置３０４ａ（３０４ｂ）は、使用者ＵＳａ（ＵＳｂ）の頭部に装着されている状態において、使用者ＵＳａ（ＵＳｂ）が向いている方向、及び使用者ＵＳａ（ＵＳｂ）の姿勢等の状態に基づいて姿勢情報ＰＮ３ａ（ＰＮ３ｂ）を生成する。画像処理部３１１ａ（３１１ｂ）は、画像表示装置３０４ａ（３０４ｂ）から姿勢情報ＰＮ３ａ（ＰＮ３ｂ）を取得する。即ち、画像処理部３１１ａ（３１１ｂ）は、画像表示装置３０４ａ（３０４ｂ）の姿勢に基づいて姿勢情報ＰＮ３ａ（ＰＮ３ｂ）を取得することになる。
画像処理部３１１ａ（３１１ｂ）は、姿勢情報ＰＮ３ａ（ＰＮ３ｂ）に基づいて、カメラ３０２が撮影した撮影画像ＩＭ３から、使用者ＵＳａ（ＵＳｂ）が向いている方向、及び使用者ＵＳａ（ＵＳｂ）の姿勢等の状態に対応する領域の画像を画像表示装置３０４ａ（３０４ｂ）に表示する。
コントローラ３０５ａ（３０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手に装着されている状態において、使用者ＵＳａ（ＵＳｂ）の手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ３ａ（ＮＮ３ｂ）を生成する。画像処理部３１１ａ（３１１ｂ）は、コントローラ３０５ａ（３０５ｂ）から指示情報ＮＮ３ａ（ＮＮ３ｂ）を取得する。画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３を変化させたり調整したりすることができる。
画像生成部３１２ａ（３１２ｂ）は、撮影画像ＩＭ３と合成されるＣＧである合成画像ＣＭ３ｂ（ＣＭ３ａ）を生成する。合成画像ＣＭ３ａ（ＣＭ３ｂ）は、例えばアバター等のキャラクタの画像である。合成画像ＣＭ３ａは使用者ＵＳａのアバターであり、合成画像ＣＭ３ｂは使用者ＵＳｂのアバターである。使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像生成部３１２ａ（３１２ｂ）は、使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）を生成し、内蔵メモリまたは外部のメモリに保存する。
画像処理部３１１ａ（３１１ｂ）は、画像生成部３１２ａ（３１２ｂ）で生成された合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得し、通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６へ出力してもよい。
使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像生成部３１２ａ（３１２ｂ）は、使用者ＵＳａ（ＵＳｂ）のアバターである合成画像ＣＭ３ａ（ＣＭ３ｂ）を生成してもよい。画像処理部３１１ａ（３１１ｂ）は、画像生成部３１２ａ（３１２ｂ）で生成された合成画像ＣＭ３ａ（ＣＭ３ｂ）を取得し、通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６へ出力してもよい。即ち、使用者ＵＳａは、別の使用者ＵＳｂのアバターを設定してもよいし、自身のアバターを設定してもよく、使用者ＵＳｂは、別の使用者ＵＳａのアバターを設定してもよいし、自身のアバターを設定してもよい。
サーバ３０６は、合成画像ＣＭ３ａ（ＣＭ３ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて内蔵メモリまたは外部のメモリに保存する。サーバ３０６が、合成画像ＣＭ３ａ（ＣＭ３ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて自動設定し、内蔵メモリまたは外部のメモリに保存してもよい。
画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像生成部３１２ａ（３１２ｂ）またはサーバ３０６から合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得し、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３に合成画像ＣＭ３ａ（ＣＭ３ｂ）を合成する。従って、画像表示装置３０４ａ（３０４ｂ）は、カメラ３０２が撮影した撮影画像ＩＭ３と、画像生成部３１２ａ（３１２ｂ）またはサーバ３０６から取得されて撮影画像ＩＭ３と合成された合成画像ＣＭ３ａ（ＣＭ３ｂ）とを表示することができる。
画像生成部３１２ａ（３１２ｂ）は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を生成する。画像生成部３１２ａ（３１２ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を内蔵メモリまたは外部のメモリに保存する。画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像生成部３１２ａ（３１２ｂ）で生成された球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を取得し、画像表示装置３０４ａ（３０４ｂ）に表示する。
球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）は、第１及び第２実施形態の球面状画像ＶＳＳ１及びＶＳＳ２に相当する。使用者ＵＳａ（ＵＳｂ）は、コントローラ３０５ａ（３０５ｂ）が装着されている手を、画像表示装置３０４ａ（３０４ｂ）に表示されている球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に対応する位置に移動させることにより、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に接触しているように感じる。
コントローラ３０５ａ（３０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手と接触する部分にアクチュエータが配置されていてもよい。画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳａ（ＵＳｂ）の手に圧力を加えることにより、使用者ＵＳａ（ＵＳｂ）は、その手が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）に接触する感覚を実感として得ることができる。
球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）が画像表示装置３０４ａ（３０４ｂ）に表示されている状態において、使用者ＵＳａ（ＵＳｂ）が、コントローラ３０５ａ（３０５ｂ）が装着されている手を任意の方向へ移動させた場合、画像処理部３１１ａ（３１１ｂ）は、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、画像表示装置３０４ａ（３０４ｂ）に表示されている球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）と撮影画像ＩＭ３とが、使用者ＵＳａ（ＵＳｂ）の手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者ＵＳａ（ＵＳｂ）は、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳａ（ＵＳｂ）は、その手の動きによって球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることができる。画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の回転に対応させて撮影画像ＩＭ３を移動させる。
画像処理部３１１ａ（３１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させる前の天頂ＺＥが、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることによって球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の座標上のどの位置へ移動したかを判定することができる。
画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させる前と回転させた後との球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量を算出する。球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量は、第１及び第２実施形態の球面状画像ＶＳＳ１及びＶＳＳ２の変化量に相当する。
画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量を補正値ＣＶ３ａ（ＣＶ３ｂ）として保存する。補正値ＣＶ３ａ（ＣＶ３ｂ）は、第１及び第２実施形態の補正値ＣＶ１及びＣＶ２に相当する。画像処理部３１１ａ（３１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させた後の天頂ＺＥの球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）上の座標を補正値ＣＶ３ａ（ＣＶ３ｂ）として保存してもよい。
画像処理部３１１ａ（３１１ｂ）は、補正値ＣＶ３ａ（ＣＶ３ｂ）を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ３ａ（ＣＶ３ｂ）を通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６へ出力してもよい。サーバ３０６は、補正値ＣＶ３ａ（ＣＶ３ｂ）を画像表示装置３０４ａ（３０４ｂ）または使用者ＵＳａ（ＵＳｂ）と関連付けて内蔵メモリまたは外部のメモリに保存する。
画像調整システム３０１は、使用者ＵＳａ（ＵＳｂ）が装着している画像表示装置３０４ａ（３０４ｂ）に他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）を撮影画像ＩＭ３と合成して表示することができる。
使用者ＵＳａ及びＵＳｂがカメラ３０２が撮影している撮影画像ＩＭ３を見たとき、使用者ＵＳａ及びＵＳｂは、カメラ３０２の位置からその周囲を見ているように感じる。このような場合、使用者ＵＳａ（ＵＳｂ）が見ている画像表示装置３０４ａ（３０４ｂ）には、使用者ＵＳａ（ＵＳｂ）の位置に他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）が表示されているため、使用者ＵＳａ（ＵＳｂ）は違和感を覚える。他の使用者ＵＳが複数の場合、使用者ＵＳａの位置に複数の使用者ＵＳｂ，ＵＳｃ，，，のアバターが重なって表示される。
サーバ３０６には、複数の使用者ＵＳａ，ＵＳｂ，，，の位置関係が予め設定されている。言い換えれば、サーバ３０６には、複数の使用者ＵＳａ，ＵＳｂ，，，の位置関係を示す位置設定情報が保存されている。複数の使用者ＵＳａ，ＵＳｂ，，，の位置関係は、サーバ３０６が自動設定してもよいし、使用者ＵＳａ，ＵＳｂ，，，が設定してもよい。
図１０は、使用者ＵＳａが画像表示装置３０４ａを見ているときの使用者ＵＳａと他の使用者ＵＳｂのアバターである合成画像ＣＭ３ｂとの位置関係の一例を示している。図１１は、使用者ＵＳｂが画像表示装置３０４ｂを見ているときの使用者ＵＳｂと他の使用者ＵＳａのアバターである合成画像ＣＭ３ａとの位置関係の一例を示している。
図１０及び図１１に示す黒点はカメラ３０２の位置を示し、矢印はカメラ３０２の移動方向を示している。即ち、図１０及び図１１は、使用者ＵＳａ及びＵＳｂがカメラ３０２の移動方向を向いている状態を示している。従って、図１０及び図１１では、使用者ＵＳａと使用者ＵＳｂとは同じ撮影画像ＩＭ３を見ていることになる。
このような場合、使用者ＵＳａから離れた位置に合成画像ＣＭ３ｂを表示させたり、使用者ＵＳｂから離れた位置に合成画像ＣＭ３ａを表示させたりすると、使用者ＵＳａ及びＵＳｂは違和感を覚える。従って、合成画像ＣＭ３ａ及びＣＭ３ｂは使用者ＵＳａ及びＵＳｂ（カメラ３０２）の位置から所定の範囲ＲＧ内の位置に表示させることが望ましい。
図１０に示すように、サーバ３０６には、例えば、使用者ＵＳａまたは画像表示装置３０４ａにおいては、合成画像ＣＭ３ｂが使用者ＵＳａの右側に並んで配置されるように、使用者ＵＳａと使用者ＵＳｂとの位置関係が設定されている。図１１に示すように、サーバ３０６には、例えば、使用者ＵＳｂまたは画像表示装置３０４ｂにおいては、合成画像ＣＭ３ａが使用者ＵＳｂの左側に並んで配置されるように、使用者ＵＳａと使用者ＵＳｂとの位置関係が設定されている。
即ち、図１０及び図１１は、カメラ３０２の移動方向を使用者ＵＳａ及びＵＳｂの前方向としたときに、使用者ＵＳｂが使用者ＵＳａの右側に並んで配置されるように、使用者ＵＳａと使用者ＵＳｂとの位置関係が設定されている。そのため、使用者ＵＳａはその右側には常に使用者ＵＳｂが見え、使用者ＵＳｂはその左側には常に使用者ＵＳａが見えることになる。３６０度カメラであるカメラ３０２が静止している状態では、前後左右の基準がないため、使用者ＵＳａと使用者ＵＳｂとの位置関係は初期設定時に決定しておくことが望ましい。
図１２及び図１３に示すフローチャートを用いて、第３実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ３に合成画像ＣＭ３を合成する方法の一例について説明する。以下、画像調整装置３１０ａ、画像表示装置３０４ａ、及びコントローラ３０５ａにおける処理について説明する。括弧内の符号は、画像調整装置３１０ｂ、画像表示装置３０４ｂ、及びコントローラ３０５ｂにおける処理を示している。
画像表示装置３０４ａ（３０４ｂ）が使用者ＵＳａ（ＵＳｂ）の頭部に装着され、コントローラ３０５ａ（３０５ｂ）が使用者ＵＳａ（ＵＳｂ）の手に装着されている。画像表示装置３０４ａ（３０４ｂ）には撮影画像ＩＭ３が表示されている。
使用者ＵＳａ（ＵＳｂ）が画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３が水平でないと判断した場合、図１２において、使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０１にて、画像表示装置３０４ａ（３０４ｂ）に設定画面を表示させる。
使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。
画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０３にて、画像生成部３１２ａ（３１２ｂ）で生成された球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を取得し、画像表示装置３０４ａ（３０４ｂ）に表示する。画像表示装置３０４ａ（３０４ｂ）には、撮影画像ＩＭ３と球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）とが混合して表示される。
使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ３が水平となるように球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０４にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の回転に対応させて、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３を移動させる。使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ３が水平になるまで球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させる動作を複数回行ってもよい。
使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ３が水平になったと判断した場合にコントローラ３０５ａ（３０５ｂ）を操作することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０５にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の表示を終了させ、画像表示装置３０４ａ（３０４ｂ）に設定画面を表示させる。画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３を水平にすることにより、カメラ３０２の天頂と使用者ＵＳａ（ＵＳｂ）の天頂とを一致させることができる。
使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部３１１ａ（３１１ｂ）は、水平調整を終了するための処理モード（終了モード）へ処理を移行させる。
画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０７にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量として取得する。画像処理部３１１ａ（３１１ｂ）は、ステップＳ３０８にて、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の変化量を補正値ＣＶ３ａ（ＣＶ３ｂ）として保存し、処理を終了する。
図１３に示すフローチャートを用いて、使用者ＵＳａが見ている画像表示装置３０４ａに、使用者ＵＳｂのアバターである合成画像ＣＭ３ｂを撮影画像ＩＭ３と合成して表示する場合について説明する。なお、括弧内の符号は、使用者ＵＳｂが見ている画像表示装置３０４ｂに、使用者ＵＳａのアバターである合成画像ＣＭ３ａを撮影画像ＩＭ３と合成して表示する場合を示している。
図１３において、使用者ＵＳａ（ＵＳｂ）がコントローラ３０５ａ（３０５ｂ）を操作することにより、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１１にて、画像表示装置３０４ａ（３０４ｂ）に設定画面を表示させる。設定画面には、例えば他の使用者ＵＳのアバターを選択するためのアバター選択項目が表示される。
使用者ＵＳａ（ＵＳｂ）は例えば他の使用者である使用者ＵＳｂ（ＵＳａ）を選択する。コントローラ３０５ａ（３０５ｂ）は、ステップＳ３１２にて、使用者ＵＳｂ（ＵＳａ）の選択内容に応じて指示情報ＮＮ３ａ（ＮＮ３ｂ）を生成し、画像処理部３１１ａ（３１１ｂ）へ出力する。
画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１３にて、指示情報ＮＮ３ａ（ＮＮ３ｂ）に基づいて、合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得する。合成画像ＣＭ３ｂ（ＣＭ３ａ）がサーバ３０６に保存されている場合、画像処理部３１１ａ（３１１ｂ）は、通信部３１３ａ（３１３ｂ）とネットワークとを介してサーバ３０６から合成画像ＣＭ３ｂ（ＣＭ３ａ）を取得する。
画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１４にて、カメラ３０２が移動中であるか否かを判定する。ステップＳ３１４においてカメラ３０２が移動中である（ＹＥＳ）と判定された場合、画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１５にて、カメラ３０２の移動方向を認識する。画像処理部３１１ａ（３１１ｂ）は、撮影画像ＩＭ３に基づいて、カメラ３０２が移動中であるか否かを判定し、カメラ３０２の移動方向を認識することができる。
画像処理部３１１ａ（３１１ｂ）は、ステップＳ３１６にて、カメラ３０２の移動方向に対して、合成画像ＣＭ３ｂ（ＣＭ３ａ）が例えば使用者ＵＳａ（ＵＳｂ）の右側（左側）に配置されるように、合成画像ＣＭ３ｂ（ＣＭ３ａ）を撮影画像ＩＭ３と合成して、画像表示装置３０４ａ（３０４ｂ）に表示させる。
ステップＳ３１４においてカメラ３０２が移動中ではない（ＮＯ）と判定された場合、画像処理部３１１ａ（３１１ｂ）は、カメラ３０２が静止している状態であると判断し、ステップＳ３１６にて、初期設定時に決定された使用者ＵＳａと使用者ＵＳｂとの位置関係に基づいて、合成画像ＣＭ３ｂ（ＣＭ３ａ）を撮影画像ＩＭ３と合成して、画像表示装置３０４ａ（３０４ｂ）に表示させる。
第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、画像表示装置３０４に球面状画像ＶＳＳ３を表示させる。第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳは、コントローラ３０５を操作して球面状画像ＶＳＳ３を回転させることにより、画像表示装置３０４に表示されている撮影画像ＩＭ３を水平になるように調整することができる。
従って、第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、撮影画像ＩＭ３の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像ＩＭ３の水平または天頂を簡便に補正することができる。
第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、補正値ＣＶ３が保存されている場合、画像処理部３１１は、補正値ＣＶ３を読み出し、カメラ３０２が撮影した撮影画像ＩＭ３を補正値ＣＶ３に基づいて画像調整し、画像表示装置３０４に表示することができる。
第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法では、複数の使用者ＵＳの位置関係が予め設定されている。これにより、画像表示装置３０４ａ（３０４ｂ）に表示されている撮影画像ＩＭ３に、他の使用者ＵＳのアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）を、予め設定されている位置関係に基づく位置に合成して表示することができる。
第３実施形態の画像調整システム３０１、画像調整装置３１０、及び画像調整方法によれば、使用者ＵＳａ及びＵＳｂがカメラ３０２が撮影している撮影画像ＩＭ３を見たとき、使用者ＵＳａ（ＵＳｂ）の近傍に他の使用者ＵＳｂ（ＵＳａ）のアバターである合成画像ＣＭ３ｂ（ＣＭ３ａ）が表示されるため、使用者ＵＳａ（ＵＳｂ）は、違和感を覚えることなく、他の使用者ＵＳｂ（ＵＳａ）と同じ撮影画像ＩＭ３を見ているように感じることができる。
［第４実施形態］
図１４を用いて、第４実施形態の画像調整システムの構成例を説明する。画像調整システム４０１は、複数のカメラ４０２と、複数の通信部４０３と、複数の画像表示装置４０４と、複数のコントローラ４０５と、複数の画像調整装置４１０と、サーバ４０６とを備える。画像調整装置４１０は、画像処理部４１１と、画像生成部４１２と、通信部４１３とを有する。
カメラ４０２、通信部４０３、及び画像表示装置４０４は、それぞれ、第１〜第３実施形態のカメラ１０２、２０２、及び３０２、通信部１０３、２０３、及び３０３、及び、画像表示装置１０４、２０４、及び３０４に相当する。コントローラ４０５、画像調整装置４１０、及びサーバ４０６は、それぞれ、第１〜第３実施形態のコントローラ１０５、２０５、及び３０５、画像調整装置１１０、２１０、及び３１０、及び、サーバ１０６、２０６、及び３０６に相当する。画像処理部４１１、画像生成部４１２、及び通信部４１３は、それぞれ、第１〜第３実施形態の画像処理部１１１、２１１、及び３１１、画像生成部１１２、２１２、及び３１２、及び、通信部１１３、２１３、及び３１３に相当する。
図１４では、説明をわかりやすくするために、それぞれ２つのカメラ４０２、通信部４０３、画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０を示している。カメラ４０２、通信部４０３、画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０は３つ以上であってもよい。使用者ＵＳａ（第１の使用者）が使用する画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０を、画像表示装置４０４ａ（第４実施形態における第１の画像表示装置）、コントローラ４０５ａ（第４実施形態における第１のコントローラ）、及び画像調整装置４１０ａ（第４実施形態における第１の画像調整装置）とする。使用者ＵＳｂ（第２の使用者）が使用する画像表示装置４０４、コントローラ４０５、及び画像調整装置４１０を、画像表示装置４０４ｂ（第４実施形態における第２の画像表示装置）、コントローラ４０５ｂ（第４実施形態における第２のコントローラ）、及び画像調整装置４１０ｂ（第４実施形態における第２の画像調整装置）とする。
画像調整装置４１０ａにおける画像処理部４１１、画像生成部４１２、及び通信部４１３を、画像処理部４１１ａ、画像生成部４１２ａ、及び通信部４１３ａとし、画像調整装置４１０ｂにおける画像処理部４１１、画像生成部４１２、及び通信部４１３を、画像処理部４１１ｂ、画像生成部４１２ｂ、及び通信部４１３ｂとする。画像調整装置４１０ａは、通信部４１３ａを介してネットワークに接続され、画像調整装置４１０ｂは、通信部４１３ｂを介してネットワークに接続されている。
２つのカメラ４０２の一方をカメラ４０２１（第１のカメラ）とし、他方をカメラ４０２２（第２のカメラ）とする。２つの通信部４０３の一方を通信部４０３１とし、他方を通信部４０３２とする。カメラ４０２１は、通信部４０３１を介してネットワークに接続され、カメラ４０２２は、通信部４０３２を介してネットワークに接続されている。カメラ４０２１及び４０２２は、共通の通信部４０３１または４０３２を介してネットワークに接続されていてもよい。サーバ４０６はネットワークに接続されている。
カメラ４０２１及び４０２２は、それぞれ独立して移動することができる。カメラ４０２１及び４０２２はＧＰＳ機能を有している。サーバ４０６は、ネットワークと通信部４０３１及び４０３２とを介して、カメラ４０２１及び４０２２の位置（現在位置）を継続して取得することができる。
画像調整装置４１０ａは、サーバ４０６からカメラ４０２１及び４０２２の位置を、通信部４１３ａとネットワークとを介して取得することができる。画像調整装置４１０ｂは、サーバ４０６からカメラ４０２１及び４０２２の位置を、通信部４１３ｂとネットワークとを介して取得することができる。
画像調整装置４１０ａは、カメラ４０２１が撮影した撮影画像ＩＭ４１を、通信部４０３１及び４１３ａとネットワークとを介して取得することができる。画像調整装置４１０ｂは、カメラ４０２１が撮影した撮影画像ＩＭ４１を、通信部４０３１及び４１３ｂとネットワークとを介して取得することができる。
画像調整装置４１０ａは、カメラ４０２２が撮影した撮影画像ＩＭ４２を、通信部４０３２及び４１３ａとネットワークとを介して取得することができる。画像調整装置４１０ｂは、カメラ４０２２が撮影した撮影画像ＩＭ４２を、通信部４０３２及び４１３ｂとネットワークとを介して取得することができる。図１４は、画像調整装置４１０ａが撮影画像ＩＭ４１を取得し、画像調整装置４１０ｂが撮影画像ＩＭ４２を取得する場合を示している。
サーバ４０６は、カメラ４０２１及び４０２２が撮影した撮影画像ＩＭ４１及びＩＭ４２を通信部４０３１及び４０３２とネットワークとを介して取得してもよい。この場合、画像調整装置４１０ａは、サーバ４０６から撮影画像ＩＭ４１及びＩＭ４２をネットワーク及び通信部４１３ａを介して取得する。画像調整装置４１０ｂは、サーバ４０６から撮影画像ＩＭ４１及びＩＭ４２をネットワーク及び通信部４１３ｂを介して取得する。
サーバ４０６は、使用者ＵＳａがログイン操作を実行する、または、画像表示装置４０４ａが通信部４１３ａを介してネットワークに接続されることにより、使用者ＵＳａまたは画像表示装置４０４ａを特定することができる。サーバ４０６は、使用者ＵＳｂがログイン操作を実行する、または、画像表示装置４０４ｂが通信部４１３ｂを介してネットワークに接続されることにより、使用者ＵＳｂまたは画像表示装置４０４ｂを特定することができる。
サーバ４０６は、どの画像表示装置にどの撮影画像が表示されているかを認識することができる。例えば、図１４に示すように、撮影画像ＩＭ４１が画像表示装置４０４ａに表示され、撮影画像ＩＭ４２が画像表示装置４０４ｂに表示されている場合、サーバ４０６は、画像表示装置４０４ａに撮影画像ＩＭ４１が表示され、画像表示装置４０４ｂに撮影画像ＩＭ４２が表示されていることを認識する。言い換えれば、サーバ４０６は、使用者ＵＳａがカメラ４０２１が撮影した撮影画像ＩＭ４１を見ていることを認識し、使用者ＵＳｂがカメラ４０２２が撮影した撮影画像ＩＭ４２を見ていることを認識することができる。
画像調整装置４１０ａは、サーバ４０６から、撮影画像ＩＭ４１及びＩＭ４２を撮影しているカメラ４０２１及び４０２２の現在位置、及び、画像調整装置４１０ｂが撮影画像ＩＭ４２を取得していることを認識することができる。画像調整装置４１０ｂは、サーバ４０６から、撮影画像ＩＭ４１及びＩＭ４２を撮影しているカメラ４０２１及び４０２２の現在位置、及び、画像調整装置４１０ａが撮影画像ＩＭ４１を取得していることを認識することができる。
画像調整装置４１０ａが取得した撮影画像ＩＭ４１（ＩＭ４２）は、画像処理部４１１ａへ入力される。画像処理部４１１ａは、撮影画像ＩＭ４１（ＩＭ４２）を解析することにより、撮影画像ＩＭ４１（ＩＭ４２）における水平方向を認識する。画像処理部４１１ａは、撮影画像ＩＭ４１（ＩＭ４２）を解析することにより、撮影画像ＩＭ４１（ＩＭ４２）における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。
画像調整装置４１０ａは、撮影画像ＩＭ４１（ＩＭ４２）の歪みを補正し、撮影画像ＩＭ４１（ＩＭ４２）の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４１（ＩＭ４２）を画像表示装置４０４ａへ出力する。
画像調整装置４１０ｂが取得した撮影画像ＩＭ４２（ＩＭ４１）は、画像処理部４１１ｂへ入力される。画像処理部４１１ｂは、撮影画像ＩＭ４２（ＩＭ４１）を解析することにより、撮影画像ＩＭ４２（ＩＭ４１）における水平方向を認識する。画像処理部４１１ｂは、撮影画像ＩＭ４２（ＩＭ４１）を解析することにより、撮影画像ＩＭ４２（ＩＭ４１）における垂直方向を認識してもよいし、水平方向及び垂直方向を認識してもよい。
画像調整装置４１０ｂは、撮影画像ＩＭ４２（ＩＭ４１）の歪みを補正し、撮影画像ＩＭ４２（ＩＭ４１）の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４２（ＩＭ４１）を画像表示装置４０４ｂへ出力する。
サーバ４０６がカメラ４０２１及び４０２２が撮影した撮影画像ＩＭ４１及びＩＭ４２の歪みを補正し、撮影画像ＩＭ４１及びＩＭ４２の例えば水平を調整する等の画像処理を実行し、画像処理された撮影画像ＩＭ４１及びＩＭ４２を、画像調整装置３１０ａへ出力してもよいし、画像調整装置３１０ｂへ出力してもよい。
画像表示装置４０４ａは、画像調整装置４１０ａまたはサーバ４０６によって画像処理された撮影画像ＩＭ４１（ＩＭ４２）を表示する。使用者ＵＳａは、その頭部に画像表示装置４０４ａを装着することにより、画像調整装置４１０ａまたはサーバ４０６によって画像処理された撮影画像ＩＭ４１（ＩＭ４２）を見ることができる。
画像表示装置４０４ｂは、画像調整装置４１０ｂまたはサーバ４０６によって画像処理された撮影画像ＩＭ４２（ＩＭ４１）を表示する。使用者ＵＳｂは、その頭部に画像表示装置４０４ｂを装着することにより、画像調整装置４１０ｂまたはサーバ４０６によって画像処理された撮影画像ＩＭ４２（ＩＭ４１）を見ることができる。
画像表示装置４０４ａ（４０４ｂ）は、使用者ＵＳａ（ＵＳｂ）の頭部に装着されている状態において、使用者ＵＳａ（ＵＳｂ）が向いている方向、及び使用者ＵＳａ（ＵＳｂ）の姿勢等の状態に基づいて姿勢情報ＰＮ４ａ（ＰＮ４ｂ）を生成する。画像処理部４１１ａ（４１１ｂ）は、画像表示装置４０４ａ（４０４ｂ）から姿勢情報ＰＮ４ａ（ＰＮ４ｂ）を取得する。即ち、画像処理部４１１ａ（４１１ｂ）は、画像表示装置４０４ａ（４０４ｂ）の姿勢に基づいて姿勢情報ＰＮ４ａ（ＰＮ４ｂ）を取得することになる。
画像処理部４１１ａは、姿勢情報ＰＮ４ａに基づいて、カメラ４０２１または４０２２が撮影した撮影画像ＩＭ４１またはＩＭ４２から、使用者ＵＳａが向いている方向、及び使用者ＵＳａの姿勢等の状態に対応する領域の画像を画像表示装置４０４ａに表示する。画像処理部４１１ｂは、姿勢情報ＰＮ４ｂに基づいて、カメラ４０２１または４０２２が撮影した撮影画像ＩＭ４１またはＩＭ４２から、使用者ＵＳｂが向いている方向、及び使用者ＵＳｂの姿勢等の状態に対応する領域の画像を画像表示装置４０４ｂに表示する。
コントローラ４０５ａ（４０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手に装着されている状態において、使用者ＵＳａ（ＵＳｂ）の手の動きまたは姿勢等の状態に基づいて指示情報ＮＮ４ａ（ＮＮ４ｂ）を生成する。画像処理部４１１ａ（４１１ｂ）は、コントローラ４０５ａ（４０５ｂ）から指示情報ＮＮ４ａ（ＮＮ４ｂ）を取得する。
画像処理部４１１ａは、指示情報ＮＮ４ａに基づいて、画像表示装置４０４ａに表示されている撮影画像ＩＭ４１またはＩＭ４２を変化させたり調整したりすることができる。画像処理部４１１ｂは、指示情報ＮＮ４ｂに基づいて、画像表示装置４０４ｂに表示されている撮影画像ＩＭ４１またはＩＭ４２を変化させたり調整したりすることができる。
画像生成部４１２ａは、撮影画像ＩＭ４１（ＩＭ４２）と合成されるＣＧである合成画像ＣＭ４ｂを生成する。画像生成部４１２ｂは、撮影画像ＩＭ４２（ＩＭ４１）と合成されるＣＧである合成画像ＣＭ４ａを生成する。合成画像ＣＭ４ａ及びＣＭ４ｂは、例えばアバター等のキャラクタの画像である。合成画像ＣＭ４ａは使用者ＵＳａのアバターであり、合成画像ＣＭ４ｂは使用者ＵＳｂのアバターである。
使用者ＵＳａがコントローラ４０５ａを操作することにより、画像生成部４１２ａは、使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを生成し、内蔵メモリまたは外部のメモリに保存する。使用者ＵＳｂがコントローラ４０５ｂを操作することにより、画像生成部４１２ｂは、使用者ＵＳａのアバターである合成画像ＣＭ４ａを生成し、内蔵メモリまたは外部のメモリに保存する。
画像処理部４１１ａ及び４１１ｂは、画像生成部４１２ａ及び４１２ｂで生成された合成画像ＣＭ４ｂ及びＣＭ４ａを取得し、通信部４１３ａ及び４１３ｂとネットワークとを介してサーバ４０６へ出力してもよい。
使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作することにより、画像生成部４１２ａ（４１２ｂ）は、使用者ＵＳａ（ＵＳｂ）のアバターである合成画像ＣＭ４ａ（ＣＭ４ｂ）を生成してもよい。画像処理部４１１ａ（４１１ｂ）は、画像生成部４１２ａ（４１２ｂ）で生成された合成画像ＣＭ４ａ（ＣＭ４ｂ）を取得し、通信部４１３ａ（４１３ｂ）とネットワークとを介してサーバ４０６へ出力してもよい。即ち、使用者ＵＳａは、別の使用者ＵＳｂのアバターを設定してもよいし、自身のアバターを設定してもよく、使用者ＵＳｂは、別の使用者ＵＳａのアバターを設定してもよいし、自身のアバターを設定してもよい。
サーバ４０６は、合成画像ＣＭ４ａ（ＣＭ４ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて内蔵メモリまたは外部のメモリに保存する。サーバ４０６が、合成画像ＣＭ４ａ（ＣＭ４ｂ）を使用者ＵＳａ（ＵＳｂ）と対応付けて自動設定し、内蔵メモリまたは外部のメモリに保存してもよい。画像処理部４１１ａ（４１１ｂ）は、指示情報ＮＮ４ａ（ＮＮ４ｂ）に基づいて、画像生成部４１２ａ（４１２ｂ）またはサーバ３０６から合成画像ＣＭ４ｂ（ＣＭ４ａ）を取得し、画像表示装置４０４ａ（４０４ｂ）に表示することができる。
画像生成部４１２ａ（４１２ｂ）は、ＣＧである球面により構成された仮想画像である球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を生成する。画像生成部４１２ａ（４１２ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を内蔵メモリまたは外部のメモリに保存する。画像処理部４１１ａ（４１１ｂ）は、指示情報ＮＮ４ａ（ＮＮ４ｂ）に基づいて、画像生成部４１２ａ（４１２ｂ）で生成された球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を取得し、画像表示装置４０４ａ（４０４ｂ）に表示する。
球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）は、第１〜第３実施形態の球面状画像ＶＳＳ１、ＶＳＳ２、ＶＳＳ３ａ、及びＶＳＳ３ｂに相当する。使用者ＵＳａ（ＵＳｂ）は、コントローラ４０５ａ（４０５ｂ）が装着されている手を、画像表示装置４０４ａ（４０４ｂ）に表示されている球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に対応する位置に移動させることにより、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に接触しているように感じる。
コントローラ４０５ａ（４０５ｂ）は、使用者ＵＳａ（ＵＳｂ）の手と接触する部分にアクチュエータが配置されていてもよい。画像処理部４１１ａ（４１１ｂ）は、指示情報ＮＮ４ａ（ＮＮ４ｂ）に基づいて、使用者ＵＳａ（ＵＳｂ）の手が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に対応する位置に移動したと判断した場合、アクチュエータを作動させる。アクチュエータが使用者ＵＳａ（ＵＳｂ）の手に圧力を加えることにより、使用者ＵＳａ（ＵＳｂ）は、その手が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）に接触する感覚を実感として得ることができる。
球面状画像ＶＳＳ４ａが画像表示装置４０４ａに表示されている状態において、使用者ＵＳａが、コントローラ４０５ａが装着されている手を任意の方向へ移動させた場合、画像処理部４１１ａは、指示情報ＮＮ４ａに基づいて、画像表示装置４０４ａに表示されている球面状画像ＶＳＳ４ａと撮影画像ＩＭ４１またはＩＭ４２とが、使用者ＵＳａの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
球面状画像ＶＳＳ４ｂが画像表示装置４０４ｂに表示されている状態において、使用者ＵＳｂが、コントローラ４０５ｂが装着されている手を任意の方向へ移動させた場合、画像処理部４１１ｂは、指示情報ＮＮ４ｂに基づいて、画像表示装置４０４ｂに表示されている球面状画像ＶＳＳ４ｂと撮影画像ＩＭ４１またはＩＭ４２とが、使用者ＵＳｂの手の移動方向、移動速度、及び移動先の位置に対応して移動するように画像処理を実行する。
使用者ＵＳａ（ＵＳｂ）は、その手を任意の方向に、任意の速度で、任意の位置へ移動させることにより、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を任意の方向に、任意の速度で、任意の位置へ回転させることができる。即ち、使用者ＵＳａ（ＵＳｂ）は、その手の動きによって球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）を回転させることができる。画像処理部３１１ａ（３１１ｂ）は、球面状画像ＶＳＳ３ａ（ＶＳＳ３ｂ）の回転に対応させて撮影画像ＩＭ３を移動させる。
画像処理部４１１ａ（４１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させる前の天頂ＺＥが、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させることによって球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の座標上のどの位置へ移動したかを判定することができる。
画像処理部４１１ａ（４１１ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の座標上における天頂ＺＥの移動方向及び移動先の位置に基づいて、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させる前と回転させた後との球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量を算出する。球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量は、第１〜第３実施形態の球面状画像ＶＳＳ１、ＶＳＳ２、ＶＳＳ３ａ、及びＶＳＳ３ｂの変化量に相当する。
画像処理部４１１ａ（４１１ｂ）は、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量を補正値ＣＶ４ａ（ＣＶ４ｂ）として保存する。補正値ＣＶ４ａ（ＣＶ４ｂ）は、第１〜第３実施形態の補正値ＣＶ１、ＣＶ２、ＣＶ３ａ、及びＣＶ３ｂに相当する。画像処理部４１１ａ（４１１ｂ）は、使用者ＵＳａ（ＵＳｂ）が球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させた後の天頂ＺＥの球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）上の座標を補正値ＣＶ４ａ（ＣＶ４ｂ）として保存してもよい。
画像処理部４１１ａ（４１１ｂ）は、補正値ＣＶ４ａ（ＣＶ４ｂ）を内蔵メモリまたは外部のメモリに保存してもよいし、補正値ＣＶ４ａ（ＣＶ４ｂ）を通信部４１３ａ（４１３ｂ）とネットワークとを介してサーバ４０６へ出力してもよい。サーバ４０６は、補正値ＣＶ４ａ（ＣＶ４ｂ）を画像表示装置４０４ａ（４０４ｂ）または使用者ＵＳａ（ＵＳｂ）と関連付けて内蔵メモリまたは外部のメモリに保存する。
画像調整システム４０１は、使用者ＵＳａが装着している画像表示装置４０４ａに他の使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを撮影画像ＩＭ４１（ＩＭ４２）と合成して表示することができる。画像調整システム４０１は、使用者ＵＳｂが装着している画像表示装置４０４ｂに他の使用者ＵＳａのアバターである合成画像ＣＭ４ａを撮影画像ＩＭ４２（ＩＭ４１）と合成して表示することができる。
図１５及び図１６に示すフローチャートを用いて、第４実施形態の画像調整方法の一例を説明する。具体的には、撮影画像ＩＭ４１に合成画像ＣＭ４ｂを合成する方法の一例について説明する。画像表示装置４０４ａが使用者ＵＳａの頭部に装着され、コントローラ４０５ａが使用者ＵＳａの手に装着されている。画像表示装置４０４ｂが使用者ＵＳｂの頭部に装着され、コントローラ４０５ｂが使用者ＵＳｂの手に装着されている。画像表示装置４０４ａにはカメラ４０２１が撮影した撮影画像ＩＭ４１が表示され、画像表示装置４０４ｂにはカメラ４０２２が撮影した撮影画像ＩＭ４２が表示されている。
使用者ＵＳａ（ＵＳｂ）は画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）が水平でないと判断した場合、図１５において、使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０１にて、画像表示装置４０４ａ（４０４ｂ）に設定画面を表示させる。
使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば水平調整の項目）を選択することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０２にて、選択された項目に対応する所定の処理モードへ処理を移行させる。水平調整の項目が選択された場合、画像処理部４１１ａ（４１１ｂ）は、撮影画像ＩＭ４１（ＩＭ４２）の水平を調整するための処理モード（水平調整モード）へ処理を移行させる。
画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０３にて、画像生成部４１２ａ（４１２ｂ）で生成された球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を取得し、画像表示装置４０４ａ（４０４ｂ）に表示する。画像表示装置４０４ａ（４０４ｂ）には、撮影画像ＩＭ４１（ＩＭ４２）と球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）とが混合して表示される。
使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ４１（ＩＭ４２）が水平となるように球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させることにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０４にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の回転に対応させて、画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）を移動させる。使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ４１（ＩＭ４２）が水平になるまで球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）を回転させる動作を複数回行ってもよい。
使用者ＵＳａ（ＵＳｂ）は撮影画像ＩＭ４１（ＩＭ４２）が水平になったと判断した場合にコントローラ４０５ａ（４０５ｂ）を操作することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０５にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の表示を終了させ、画像表示装置４０４ａ（４０４ｂ）に設定画面を表示させる。画像表示装置４０４ａ（４０４ｂ）に表示されている撮影画像ＩＭ４１（ＩＭ４２）を水平にすることにより、カメラ４０２１（４０２２）の天頂と使用者ＵＳａ（ＵＳｂ）の天頂とを一致させることができる。
使用者ＵＳａ（ＵＳｂ）がコントローラ４０５ａ（４０５ｂ）を操作して、設定画面に表示されている所定の項目（例えば終了の項目）を選択することにより、画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０６にて、選択された項目に対応する所定の処理モードへ処理を移行する。終了の項目が選択された場合、画像処理部４１１ａ（４１１ｂ）は、水平調整を終了するための処理モード（終了モード）へ処理を移行させる。
画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０７にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）が回転する前と後との回転量（回転角度）を、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量として取得する。画像処理部４１１ａ（４１１ｂ）は、ステップＳ４０８にて、球面状画像ＶＳＳ４ａ（ＶＳＳ４ｂ）の変化量を補正値ＣＶ４ａ（ＣＶ４ｂ）として保存し、処理を終了する。
図１６に示すフローチャートを用いて、使用者ＵＳａが見ている画像表示装置４０４ａに、使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを撮影画像ＩＭ４１と合成して表示する場合について説明する。図１６において、画像処理部４１１ａは、ステップＳ４１１にて、取得している撮影画像ＩＭ４１を撮影しているカメラ４０２１を特定する。
画像処理部４１１ａは、ステップＳ４１２にて、カメラ４０２１またはサーバ４０６から、カメラ４０２１の位置情報を取得する。カメラ４０２１の位置情報には、カメラ４０２１の現在位置、及び、カメラ４０２１が向いている方向または移動している方向の情報が含まれている。
画像処理部４１１ａは、ステップＳ４１３にて、サーバ４０６から、他のカメラ（カメラ４０２１以外のカメラ）の情報を取得する。例えば、画像処理部４１１ａは、ステップＳ４１３にて、サーバ４０６から、カメラ４０２２の情報を取得する。カメラ４０２２の情報には、カメラ４０２２が撮影している撮影画像ＩＭ４２を見ている使用者ＵＳｂ、カメラ４０２２の現在位置、及び、カメラ４０２２が向いている方向または移動している方向の情報が含まれている。カメラ４０２２が向いている方向または移動している方向は、使用者ＵＳｂが向いている方向に相当し、画像表示装置４０４ｂに表示されている撮影画像ＩＭ４２に基づいて特定することができる。
画像処理部４１１ａは、ステップＳ４１４にて、撮影画像ＩＭ４１に他のカメラ（カメラ４０２１以外のカメラ）が映っているか否か、言い換えれば他のカメラを撮影しているか否かを、例えば画像認識により判定する。ステップＳ４１４において撮影画像ＩＭ４１に他のカメラが映っていない（ＮＯ）と判定された場合、画像処理部４１１ａは、処理をステップＳ４１４へ戻す。
ステップＳ４１４において撮影画像ＩＭ４１に他のカメラが映っている（ＹＥＳ）と判定された場合、画像処理部４１１ａは、ステップＳ４１５にて、ステップＳ４１３において取得した他のカメラの情報に基づいて、撮影画像ＩＭ４１に映っている他のカメラを特定する。
図１７は、カメラ４０２１が地点Ａに位置し、カメラ４０２２が、カメラ４０２１の前方の地点Ｂに位置している状態を示している。図１７に示す状態では、撮影画像ＩＭ４１には他のカメラであるカメラ４０２２が映っている。画像処理部４１１ａは、ステップＳ４１３において取得したカメラ４０２２の情報に基づいて、撮影画像ＩＭ４１に映っているカメラがカメラ４０２２であることを特定する。
画像処理部４１１ａは、ステップＳ４１６にて、ステップＳ４１２において取得したカメラ４０２１の位置情報と、ステップＳ４１３において取得したカメラ４０２２の情報とに基づいて、カメラ４０２１に対するカメラ４０２２の位置、及び、カメラ４０２２が向いている方向または移動している方向を特定する。
画像処理部４１１ａは、ステップＳ４１７にて、ステップＳ４１５において特定されたカメラが撮影している撮影画像ＩＭを見ている使用者ＵＳを特定する。例えば、画像処理部４１１ａは、カメラ４０２２が撮影している撮影画像ＩＭ４２を見ている使用者ＵＳｂを特定する。画像処理部４１１ａは、ステップＳ４１８にて、使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを取得する。合成画像ＣＭ４ｂがサーバ４０６に保存されている場合、画像処理部４１１ａは、サーバ４０６から合成画像ＣＭ４ｂを取得する。
画像処理部４１１ａは、ステップＳ４１９にて、撮影画像ＩＭ４１に映っているカメラ４０２２に対応する位置に合成画像ＣＭ４ｂを合成し、画像表示装置４０４ａに表示する。ステップＳ４０１〜Ｓ４０８にて撮影画像ＩＭ４１が水平調整されている場合、画像処理部４１１ａは、合成画像ＣＭ４ｂを、撮影画像ＩＭ４１と同様に水平調整し、画像表示装置４０４ａに表示する。補正値ＣＶ４ａが保存されている場合、画像処理部４１１ａは、合成画像ＣＭ４ｂを、補正値ＣＶ４ａに基づいて水平調整し、画像表示装置４０４ａに表示する。
画像処理部４１１ａは、カメラ４０２１に対するカメラ４０２２の位置に対応させて合成画像ＣＭ４ｂの大きさを変えてもよい。例えば、画像処理部４１１ａは、カメラ４０２２がカメラ４０２１から遠く離れたところに位置している場合には、合成画像ＣＭ４ｂの大きさが、カメラ４０２１とカメラ４０２２との距離に応じて小さくなるように合成画像ＣＭ４ｂを画像処理し、撮影画像ＩＭ４１に合成する。
画像処理部４１１ａは、カメラ４０２２が向いている方向または移動している方向に対応させて合成画像ＣＭ４ｂの向きを変えてもよい。画像処理部４１１ａは、カメラ４０２２が向いている方向または移動している方向に対応する向きの合成画像ＣＭ４ｂを取得してもよい。
第４実施形態の画像調整システム４０１、画像調整装置４１０ａ及び４１０ｂ、及び画像調整方法では、画像表示装置４０４ａ及び４０４ｂに球面状画像ＶＳＳ４ａ及びＶＳＳ４ｂを表示させる。第４実施形態の画像調整システム４０１、画像調整装置４１０ａ及び４１０ｂ、及び画像調整方法によれば、撮影画像ＩＭ４１及びＩＭ４２の水平方向が間違って検出されたり、水平または天頂ＺＥの指定がずれたりした場合に、使用者ＵＳａ及びＵＳｂは、コントローラ４０５ａ及び４０５ｂを操作して球面状画像ＶＳＳ４ａ及びＶＳＳ４ｂを回転させることにより、画像表示装置４０４ａ及び４０４ｂに表示されている撮影画像ＩＭ４１及びＩＭ４２を水平になるように調整することができる。
従って、第４実施形態の画像調整システム４０１、画像調整装置４１０ａ及び４１０ｂ、及び画像調整方法によれば、撮影画像ＩＭ４１及びＩＭ４２の水平方向が間違って検出されたり、水平または天頂の指定がずれたりした場合に、使用者ＵＳが撮影画像撮影画像ＩＭ４１及びＩＭ４２の水平または天頂を簡便に補正することができる。
第４実施形態の画像調整システム４０１、画像調整装置４１０ａ及び４１０ｂ、及び画像調整方法によれば、補正値ＣＶ４ａ及びＣＶ４ｂが保存されている場合、画像処理部４１１ａ及び４１１ｂは、補正値ＣＶ４ａ及びＣＶ４ｂを読み出し、カメラ４０２１及び４０２２が撮影した撮影画像ＩＭ４１及びＩＭ４２を補正値ＣＶ４ａ及びＣＶ４ｂに基づいて画像調整し、画像表示装置４０４ａ及び４０４ｂに表示することができる。
第４実施形態の画像調整システム４０１、画像調整装置４１０ａ及び４１０ｂ、及び画像調整方法では、カメラ４０２１に対するカメラ４０２２の位置を特定し、撮影画像ＩＭにおけるカメラ４０２２の位置に、カメラ４０２２が撮影している撮影画像ＩＭ４２を見ている使用者ＵＳｂのアバターである合成画像ＣＭ４ｂを合成する。これにより、使用者ＵＳａは使用者ＵＳｂと同じ空間を共有しているような感覚を得ることができる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
例えば、ＣＧにより生成される仮想画像ＶＳＳは、楕円体の表面（楕円面）であってもよく、さらには使用者ＵＳの手の届く範囲であれば、任意の閉じた面（閉曲面）であればよい。即ち、使用者ＵＳが内側からその閉曲面に接触するような感覚を得て、撮影画像ＩＭの水平調整ができればよい。使用者ＵＳが仮想画像ＶＳＳを回転動作させることから、仮想画像ＶＳＳは球面または楕円面等の球面に近い球面状の形状であることが望ましい。
１０１，２０１，３０１，４０１ 画像調整システム
１０２，２０２，３０２，４０２（４０２１，４０２２） カメラ
１０４，２０４，３０４（３０４ａ，３０４ｂ），４０４（４０４ａ，４０４ｂ） 画像表示装置
１０５，２０５，３０５（３０５ａ，３０５ｂ），４０５（４０５ａ，４０５ｂ） コントローラ
１０６，２０６，３０６，４０６ サーバ
１１０，２１０，３１０（３１０ａ，３１０ｂ），４１０（４１０ａ，４１０ｂ） 画像調整装置
１１１，２１１，３１１（３１１ａ，３１１ｂ），４１１（４１１ａ，４１１ｂ） 画像処理部
１１２，２１２，３１２（３１２ａ，３１２ｂ），４１２（４１２ａ，４１２ｂ） 画像生成部
ＣＭ１，ＣＭ２，ＣＭ３（ＣＭ３ａ，ＣＭ３ｂ），ＣＭ４（ＣＭ４ａ，ＣＭ４ｂ） 合成画像
ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４（ＩＭ４１，ＩＭ４２） 撮影画像
ＮＮ１，ＮＮ２，ＮＮ３（ＮＮ３ａ，ＮＮ３ｂ），ＮＮ４（ＮＮ４ａ，ＮＮ４ｂ） 指示情報
ＰＨＰ１，ＰＨＰ２，ＳＨＰ１，ＳＨＰ２ 水平面
ＵＳ，ＵＳａ，ＵＳｂ 使用者
ＶＳＳ１，ＶＳＳ２，ＶＳＳ３（ＶＳＳ３ａ，ＶＳＳ３ｂ），ＶＳＳ４（ＶＳＳ４ａ，ＶＳＳ４ｂ） 球面状画像（仮想画像）

Claims (7)

  1. カメラと、
    前記カメラが撮影した撮影画像を調整する画像調整装置と、
    前記画像調整装置により調整された前記撮影画像を表示する画像表示装置と、
    前記画像調整装置へ指示情報を出力するコントローラと、
    を備え、
    前記画像調整装置は、
    球面状画像、及び、前記撮影画像と合成される合成画像を生成する画像生成部と、
    前記指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する画像処理部と、
    を有する画像調整システム。
  2. 前記カメラは３６０度の範囲を撮影する全方位カメラであり、
    前記画像表示装置は使用者の頭部に装着されるヘッドマウントディスプレイであり、
    前記コントローラは前記使用者の手に装着されるグローブ型コントローラであり、
    前記画像表示装置が前記使用者の頭部に装着されている状態において、前記使用者が前記画像表示装置に表示されている前記球面状画像を見たときに、前記球面状画像は、前記使用者及び前記画像表示装置の周囲に配置され、かつ、前記使用者の手または指が前記球面状画像に届く範囲に表示されるように設定されている仮想画像である、
    請求項１に記載の画像調整システム。
  3. 前記コントローラが前記使用者の手に装着されている状態において、前記使用者が手または指を任意の方向へ移動させた場合、前記画像処理部は、前記指示情報に基づいて、前記使用者の手または指の移動に対応して前記球面状画像を回転させ、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像を調整する、
    請求項２に記載の画像調整システム。
  4. 前記画像処理部は、前記球面状画像が回転する前と後との変化量を取得し、前記変化量に基づいて前記撮影画像及び前記合成画像を調整する、
    請求項３に記載の画像調整システム。
  5. 前記画像処理部は、前記球面状画像の回転に対応させて前記画像表示装置に表示されている前記撮影画像及び前記合成画像の水平を調整する、
    請求項１〜４のうちのいずれか１項に記載の画像調整システム。
  6. 球面状画像、及び、カメラにより撮影されて画像表示装置に表示されている撮影画像と合成される合成画像を生成する画像生成部と、
    コントローラから取得した指示情報に基づいて前記画像生成部で生成された前記球面状画像を取得して前記画像表示装置に表示し、前記指示情報に基づいて前記球面状画像を回転させ、前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する画像処理部と、
    を備える画像調整装置。
  7. 画像処理部がコントローラから指示情報を取得し、
    前記画像処理部が前記指示情報に基づいて、画像生成部で生成された球面状画像を取得し、
    画像表示装置が前記球面状画像を表示し、
    前記画像処理部が前記指示情報に基づいて前記球面状画像を回転させ、
    前記画像処理部がカメラにより撮影されて前記画像表示装置に表示されている撮影画像を、前記球面状画像の回転に対応させて調整し、
    前記画像処理部が前記画像生成部で生成され、前記画像表示装置に表示されている前記撮影画像と合成される合成画像を取得し、
    前記画像処理部が、調整された前記撮影画像に対応させて前記合成画像を調整して前記撮影画像と合成する、
    画像調整方法。
JP2019025762A 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法 Active JP7088068B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019025762A JP7088068B2 (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法
PCT/JP2020/004700 WO2020166492A1 (ja) 2019-02-15 2020-02-07 画像調整システム、画像調整装置、及び画像調整方法
US17/361,767 US11985298B2 (en) 2019-02-15 2021-06-29 Image adjustment system, image adjustor, and image adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019025762A JP7088068B2 (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法

Publications (2)

Publication Number Publication Date
JP2020134629A true JP2020134629A (ja) 2020-08-31
JP7088068B2 JP7088068B2 (ja) 2022-06-21

Family

ID=72278477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019025762A Active JP7088068B2 (ja) 2019-02-15 2019-02-15 画像調整システム、画像調整装置、及び画像調整方法

Country Status (1)

Country Link
JP (1) JP7088068B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022030494A1 (ja) 2020-08-07 2022-02-10 住友化学株式会社 液状組成物、液状組成物の製造方法、液晶ポリエステルフィルムの製造方法及び積層体の製造方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114543A (ja) * 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
JP2005319136A (ja) * 2004-05-10 2005-11-17 Namco Ltd プログラム、情報記憶媒体及び電子機器
JP2007116538A (ja) * 2005-10-21 2007-05-10 Canon Inc 画像表示プログラム、画像表示装置および画像表示方法
US20070206030A1 (en) * 2006-03-06 2007-09-06 The Protomold Company, Inc. Graphical user interface for three-dimensional manipulation of a part
US20090153477A1 (en) * 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
JP2013016020A (ja) * 2011-07-04 2013-01-24 Nec Corp 作業支援システム、装置、方法及びプログラム
WO2013114844A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 触覚提示装置および触覚提示装置の駆動方法、駆動プログラム
JP2016528592A (ja) * 2013-06-18 2016-09-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デバイスリーダ及びデバイスリーダのための画像を生成する手段

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114543A (ja) * 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
JP2005319136A (ja) * 2004-05-10 2005-11-17 Namco Ltd プログラム、情報記憶媒体及び電子機器
JP2007116538A (ja) * 2005-10-21 2007-05-10 Canon Inc 画像表示プログラム、画像表示装置および画像表示方法
US20070206030A1 (en) * 2006-03-06 2007-09-06 The Protomold Company, Inc. Graphical user interface for three-dimensional manipulation of a part
US20090153477A1 (en) * 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
JP2013016020A (ja) * 2011-07-04 2013-01-24 Nec Corp 作業支援システム、装置、方法及びプログラム
WO2013114844A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 触覚提示装置および触覚提示装置の駆動方法、駆動プログラム
JP2016528592A (ja) * 2013-06-18 2016-09-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． デバイスリーダ及びデバイスリーダのための画像を生成する手段

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022030494A1 (ja) 2020-08-07 2022-02-10 住友化学株式会社 液状組成物、液状組成物の製造方法、液晶ポリエステルフィルムの製造方法及び積層体の製造方法

Also Published As

Publication number Publication date
JP7088068B2 (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
AU2021290132B2 (en) Presenting avatars in three-dimensional environments
WO2017086263A1 (ja) 情報処理装置および画像生成方法
JP7496460B2 (ja) 画像生成装置および画像生成方法
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JPWO2020026419A1 (ja) 画像生成装置および画像生成方法
JP7088068B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
WO2020166492A1 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134632A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP7560835B2 (ja) プログラム及び情報処理方法
WO2020166491A1 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134631A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134630A (ja) 画像調整システム、画像調整装置、及び画像調整方法
GB2525304A (en) Interactive information display
WO2020166582A1 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP7088064B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
EP3926618B1 (en) Image adjustment system, image adjustment device, and image adjustment method
JP2020136799A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020134616A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP2020136798A (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP7247636B2 (ja) 画像調整システム、画像調整装置、及び画像調整方法
JP7167760B2 (ja) 画像調整システム
WO2017098999A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
WO2023048018A1 (ja) 表示装置、表示装置の制御方法およびプログラム
WO2024205852A1 (en) Sound randomization
JP2020136802A (ja) 画像調整システム、画像調整装置、及び画像調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7088068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150