JP2023102947A - 情報処理装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】ユーザが画像表示装置を装着していないときの処理を軽減することを目的とする。【解決手段】本発明は、受信者が装着する画像表示装置に画像を送信する情報処理装置であって、前記画像を歪みが抑制されるように変換する変換手段と、前記画像表示装置の使用状態を示す情報を取得する取得手段と、前記取得手段により取得された使用状態を示す情報に応じて、前記変換手段により変換される前または前記変換手段により変換された後の画像を送信する送信手段と、を有することを特徴とする。【選択図】図６

Description

本発明は、情報処理装置、その制御方法およびプログラムに関するものである。

２台のカメラで視差のある２つの画像を撮像し、撮像した２つの画像を立体視可能に表示する技術が知られている。特許文献１には、２つの光学系を有するレンズユニットを装着して、視差のある２つの画像を一度に撮像できるカメラが開示されている。

２つの光学系が同じ方向を撮像するように配置されていれば、それぞれ取得した２つの視差のある画像から、１８０度の範囲を撮像した画像（半天球の画像）や立体視が可能な画像を生成することができる。２つの光学系が正反対の方向を撮像するように配置されていれば、それぞれ取得した２つの画像から、３６０度の範囲の画像（全天球の画像）を生成することができる。

このような２つのレンズ光学系を有するカメラは、インターネット等の通信ネットワークを介してビデオ通話を行うシステムに利用することも可能である。カメラで撮像された立体視可能な画像は、ユーザが適切に視聴できるように変換され、送信側から遠隔地の受信側の通信端末に送信される。受信側では変換された画像をヘッドマウントディスプレイ（ＨＭＤ）等の表示装置に表示することで、受信者はあたかも送信者と同じ空間にいるような感覚でコミュニケーションを図ることができる。

特開２０１３－１４１０５２号公報

このようなシステムにおいて、長時間視聴による吐き気やめまい等の身体的な不調の発症といった、いわゆるＶＲ酔いがある。ＶＲ酔いを軽減するためには定期的にＨＭＤをとり外すことが効果的である。また、ＶＲ酔い対策以外でも、例えば、ユーザがメモを取ったり外部資料を見たりするために、ＨＭＤをとり外すことがある。このように、ユーザがＨＭＤを装着していないにもかかわらず、一律に画像を変換しつづけるのは処理に負荷が掛かってしまう。

本発明は、上述したような問題点に鑑みてなされたものであり、ユーザが画像表示装置を装着していないときの処理を軽減することを目的とする。

本発明は、受信者が装着する画像表示装置に画像を送信する情報処理装置であって、前記画像を歪みが抑制されるように変換する変換手段と、前記画像表示装置の使用状態を示す情報を取得する取得手段と、前記取得手段により取得された使用状態を示す情報に応じて、前記変換手段により変換される前または前記変換手段により変換された後の画像を送信する送信手段と、を有することを特徴とする。

本発明によれば、ユーザが画像表示装置を装着していないときの処理を軽減することができる。

第１の実施形態のシステム構成を示す図である。 カメラの外観図である。 カメラの構成を示すブロック図である。 レンズユニットの構成を示す図である。 情報処理装置の構成を示すブロック図である。 第１の実施形態の処理を示すフローチャートである。 画像の一例を示す図である。 第２の実施形態のシステム構成を示す図である。 第２の実施形態の処理を示すフローチャートである。

以下、本発明の好ましい実施形態について添付の図面を参照して説明する。
＜第１の実施形態＞
図１は、第１の実施形態のシステムの全体構成の一例を示す模式図である。
本実施形態に係るシステムは、通信ネットワークを介して通信する複数の視聴環境の間でビデオ通話が可能に構成されている。
送信側環境１５１は、立体視可能な画像を撮像する送信者１５５がいる環境である。送信側環境１５１は、デジタルカメラ（カメラ）１００とパーソナルコンピュータ（ＰＣ）５００ａとを含んで構成される。一方、受信側環境１５２は、撮像された画像を視聴する受信者１５６がいる環境である。受信側環境１５２は、ヘッドマウントディスプレイ（ＨＭＤ）１５４とＰＣ５００ｂとを含んで構成される。送信側環境１５１と受信側環境１５２とは、インターネット等の通信ネットワーク１５３を介して通信可能である。

カメラ１００にはレンズユニット３００が装着（接続）されている。カメラ１００は、レンズユニット３００を装着することで、所定の視差を有する２つの画像（静止画または動画）を一度に撮像することができる。なお、レンズユニット３００についての詳細は、後述する。ＰＣ５００ａは、カメラ１００で撮像された画像を処理する情報処理装置である。ＰＣ５００ｂは、送信側環境１５１から受信した画像を処理する情報処理装置である。ＰＣ５００ａとＰＣ５００ｂは、通信ネットワーク１５３を介して通信可能に接続され、互いにデータの送受信が可能である。ここでは、ＰＣ５００ａおよびＰＣ５００ｂはそれぞれ、表示装置と一体の構成であるが、別体の表示装置と接続されていてもよい。カメラ１００とＰＣ５００ａとの間およびＨＭＤ１５４とＰＣ５００ｂとの間は無線や有線等で互いに通信可能に接続されている。なお、ＰＣ５００ａとＰＣ５００ｂとを区別しない場合にはＰＣ５００という。

図２（ａ），（ｂ）は、カメラ１００の外観の一例を示す外観図である。図２（ａ）はカメラ１００を前面側から見た斜視図であり、図２（ｂ）はカメラ１００を背面側から見た斜視図である。
カメラ１００は、上面に、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、ファインダ外表示部１０７を有する。シャッターボタン１０１は、撮影準備指示あるいは撮影指示を行うための操作部である。電源スイッチ１０２は、カメラ１００の電源のオンとオフとを切り替えるための操作部である。モード切替スイッチ１０３は、各種モードを切り替えるための操作部である。メイン電子ダイヤル１０４は、シャッター速度や絞り等の設定値を変更するための回転式の操作部である。サブ電子ダイヤル１０５は、選択枠（カーソル）の移動や画像送り等を行うための回転式の操作部である。動画ボタン１０６は、動画撮影（記録）の開始や停止の指示を行うための操作部である。ファインダ外表示部１０７は、シャッター速度や絞り等の様々な設定値を表示する。

カメラ１００は、背面に、表示部１０８、タッチパネル１０９、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、接眼部１１６、接眼検知部１１８、タッチバー１１９を有する。表示部１０８は、画像や各種情報を表示する。タッチパネル１０９は、表示部１０８の表示面（タッチ操作面）に対するタッチ操作を検出する操作部である。方向キー１１０は、上下左右にそれぞれ押下可能なキー（４方向キー）から構成される操作部である。方向キー１１０の押下した位置に応じた処理が可能である。ＳＥＴボタン１１１は、主に選択項目を決定するときに押下される操作部である。ＡＥロックボタン１１２は、撮影待機状態で露出状態を固定するときに押下される操作部である。拡大ボタン１１３は、撮影モードのライブビュー表示（ＬＶ表示）において拡大モードのオンとオフとを切り替えるための操作部である。拡大モードがオンである場合にはメイン電子ダイヤル１０４を操作することにより、ライブビュー画像（ＬＶ画像）が拡大または縮小する。また、拡大ボタン１１３は、再生モードにおいて再生画像を拡大したり、拡大率を大きくしたりするときに用いられる。再生ボタン１１４は、撮影モードと再生モードとを切り替えるための操作部である。撮影モードの場合に再生ボタン１１４を押下することで再生モードに移行し、後述する記録媒体２２７に記録された画像のうち最新の画像を表示部１０８に表示することができる。

メニューボタン１１５は、各種設定が可能なメニュー画面を表示部１０８に表示するために押下される操作部である。ユーザは、表示部１０８に表示されたメニュー画面と、方向キー１１０やＳＥＴボタン１１１とを用いて、直感的に各種設定を行うことができる。接眼部１１６は、接眼ファインダ（覗き込み型のファインダ）１１７に対して接眼して覗き込む部位である。ユーザは接眼部１１６を介して、カメラ１００内部の後述するＥＶＦ２１７（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）に表示された画像を視認することができる。接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）にユーザが接眼しているか否かを検知するセンサである。

タッチバー１１９は、タッチ操作を受け付けることが可能なライン状のタッチ操作部（ラインタッチセンサ）である。タッチバー１１９は、右手の人差し指でシャッターボタン１０１を押下可能なようにグリップ部１２０を右手で握った状態（右手の小指、薬指、中指で握った状態）で、右手の親指でタッチ操作可能（タッチ可能）な位置に配置される。すなわち、タッチバー１１９は、接眼ファインダ１１７に接眼して接眼部１１６を覗き、いつでもシャッターボタン１０１を押下できるように構えた状態（撮影姿勢）で操作可能である。タッチバー１１９は、タッチバー１１９に対するタップ操作（タッチして所定期間以内にタッチ位置を移動せずに離す操作）、左右へのスライド操作（タッチした後、タッチしたままタッチ位置を移動する操作）等を受け付け可能である。タッチバー１１９は、タッチパネル１０９とは異なる操作部であり、表示機能を備えていない。タッチバー１１９は、例えば各種機能を割当可能なマルチファンクションバー（Ｍ－Ｆｎバー）として機能する。

また、カメラ１００は、グリップ部１２０、サムレスト部１２１、端子カバー１２２、蓋１２３、通信端子１２４等を有する。グリップ部１２０は、ユーザがカメラ１００を構える際に右手で握りやすい形状に形成された保持部である。グリップ部１２０を右手の小指、薬指、中指で握ってカメラ１００を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン１０１とメイン電子ダイヤル１０４が配置される。また、同様な状態で、右手の親指で操作可能な位置にサブ電子ダイヤル１０５とタッチバー１１９が配置される。サムレスト部１２１（親指待機位置）は、カメラ１００の背面側の、どの操作部も操作しない状態でグリップ部１２０を握った右手の親指を置きやすい箇所に設けられたグリップ部である。サムレスト部１２１は、保持力（グリップ感）を高めるためのラバー部材等で構成される。端子カバー１２２は、カメラ１００を外部機器（外部装置）に接続する接続ケーブル等のコネクタを保護する。蓋１２３は、後述する記録媒体２２７を格納するためのスロットを閉塞することで記録媒体２２７およびスロットを保護する。通信端子１２４は、カメラ１００に対して着脱可能なレンズユニット（後述するレンズユニット２００や、レンズユニット３００等）側と通信を行うための端子である。

図３は、カメラ１００の構成の一例を示すブロック図である。なお、図２と同一の構成要素には図２と同一の符号を付し、その構成要素の説明は適宜、省略する。図３では、カメラ１００にレンズユニット２００が装着されている。
まず、レンズユニット２００について説明する。レンズユニット２００は、カメラ１００に対して着脱可能な交換レンズの一種である。レンズユニット２００は、１眼レンズであり、通常のレンズの一例である。レンズユニット２００は、絞り２０１、レンズ２０２、絞り駆動回路２０３、ＡＦ（オートフォーカス）駆動回路２０４、レンズシステム制御回路２０５、通信端子２０６等を有する。

絞り２０１は、開口径が調整可能に構成される。レンズ２０２は、複数枚のレンズから構成される。絞り駆動回路２０３は、絞り２０１の開口径を制御することで光量を調整する。ＡＦ駆動回路２０４は、レンズ２０２を駆動して焦点を合わせる。レンズシステム制御回路２０５は、後述するシステム制御部５０の指示に基づいて、絞り駆動回路２０３、ＡＦ駆動回路２０４等を制御する。レンズシステム制御回路２０５は、絞り駆動回路２０３を介して絞り２０１の制御を行い、ＡＦ駆動回路２０４を介してレンズ２０２の位置を変えることで焦点を合わせる。レンズシステム制御回路２０５は、カメラ１００との間で通信可能である。具体的には、レンズユニット２００の通信端子２０６と、カメラ１００の通信端子１２４とを介して通信が行われる。通信端子２０６は、レンズユニット２００がカメラ１００側と通信を行うための端子である。

次に、カメラ１００について説明する。カメラ１００は、シャッター２１０、撮像部２１１、Ａ／Ｄ変換器２１２、メモリ制御部２１３、画像処理部２１４、メモリ２１５、Ｄ／Ａ変換器２１６、ＥＶＦ２１７、表示部１０８、システム制御部５０を有する。
シャッター２１０は、システム制御部５０の指示に基づいて撮像部２１１の露光時間を自由に制御できるフォーカルプレーンシャッターである。撮像部２１１は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（イメージセンサ）である。撮像部２１１は、システム制御部５０にデフォーカス量情報を出力する撮像面位相差センサを有していてもよい。Ａ／Ｄ変換器２１２は、撮像部２１１から出力されるアナログ信号をデジタル信号に変換する。画像処理部２１４は、Ａ／Ｄ変換器２１２からのデータまたはメモリ制御部２１３からのデータに対し所定の処理（画素補間、縮小等のリサイズ処理、色変換処理等）を行う。また、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御や測距制御を行う。この処理により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に、画像処理部２１４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０がＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４およびメモリ制御部２１３を介してメモリ２１５に書き込まれる。あるいは、Ａ／Ｄ変換器２１２からの画像データは、画像処理部２１４を介さずにメモリ制御部２１３を介してメモリ２１５に書き込まれる。メモリ２１５は、撮像部２１１によって得られＡ／Ｄ変換器２１２によりデジタルデータに変換された画像データや、表示部１０８やＥＶＦ２１７に表示するための画像データを格納する。メモリ２１５は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ２１５は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１６は、メモリ２１５に格納されている表示用の画像データをアナログ信号に変換して表示部１０８やＥＶＦ２１７に供給する。したがって、メモリ２１５に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１６を介して表示部１０８やＥＶＦ２１７に表示される。表示部１０８やＥＶＦ２１７は、Ｄ／Ａ変換器２１６からのアナログ信号に応じた表示を行う。表示部１０８やＥＶＦ２１７は、例えば、ＬＣＤや有機ＥＬ等のディスプレイである。Ａ／Ｄ変換器２１２によってＡ／Ｄ変換されメモリ２１５に蓄積されたデジタル信号をＤ／Ａ変換器２１６でアナログ信号に変換し、表示部１０８やＥＶＦ２１７に逐次転送して表示することで、ライブビュー表示が行われる。

システム制御部５０は、少なくとも１つのプロセッサおよび／または少なくとも１つの回路からなる制御部である。すなわち、システム制御部５０は、プロセッサであってもよく、回路であってもよく、プロセッサと回路の組み合わせであってもよい。システム制御部５０は、カメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ２１９に記録されたプログラムを実行する。また、システム制御部５０は、メモリ２１５、Ｄ／Ａ変換器２１６、表示部１０８、ＥＶＦ２１７等を制御することにより表示制御も行う。

また、カメラ１００は、システムメモリ２１８、不揮発性メモリ２１９、システムタイマ２２０、通信部２２１、姿勢検知部２２２、接眼検知部１１８を有する。
システムメモリ２１８は、例えばＲＡＭが用いられる。システムメモリ２１８には、システム制御部５０の動作用の定数、変数、不揮発性メモリ２１９から読み出したプログラ等が展開される。不揮発性メモリ２１９は電気的に消去・記録可能なメモリである。不揮発性メモリ２１９は、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ２１９には、システム制御部５０の動作用の定数、プログラム等が記録される。システムタイマ２２０は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

通信部２２１は、無線または有線ケーブルによって接続された外部機器との間で、映像信号や音声信号の送受信を行う。通信部２２１は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットとも接続可能である。また、通信部２２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙでも外部機器と通信可能である。通信部２２１は撮像部２１１で撮像された画像（ライブ画像を含む）や、記録媒体２２７に記録された画像を送信可能である。また、通信部２２１は、外部機器から画像やその他の各種情報を受信可能である。

姿勢検知部２２２は、重力方向に対するカメラ１００の姿勢を検知する。姿勢検知部２２２で検知された姿勢に基づいて、撮像部２１１で撮像された画像が、カメラ１００を横に構えて撮像された画像であるか、縦に構えて撮像された画像であるかを判別可能である。システム制御部５０は、姿勢検知部２２２で検知された姿勢に応じた向き情報を撮像部２１１で撮像された画像の画像ファイルに付加したり、検知された姿勢に応じて画像を回転したりすることが可能である。姿勢検知部２２２には、例えば、加速度センサやジャイロセンサ等を用いることができる。姿勢検知部２２２を用いて、カメラ１００の動き（パン、チルト、持ち上げ、静止しているか否か等）を検知することも可能である。

接眼検知部１１８は、接眼部１１６（接眼ファインダ１１７）に対する何らかの物体の接近を検知することができる。接眼検知部１１８には、例えば、赤外線近接センサを用いることができる。物体が接近した場合、接眼検知部１１８の投光部から投光した赤外線が物体で反射して赤外線近接センサの受光部で受光される。受光された赤外線の量によって接眼部１１６から物体までの距離を判別することができる。このように、接眼検知部１１８は、接眼部１１６に対する物体の近接距離を検知する接眼検知を行う。接眼検知部１１８は、接眼部１１６に対する眼（物体）の接近（接眼）および離反（離眼）を検知する接眼検知センサである。非接眼状態（非接近状態）から、接眼部１１６に対して所定距離以内に近づく物体が検知された場合に、接眼されたと検知する。一方、接眼状態（接近状態）から、接近を検知していた物体が所定距離以上離れた場合に、離眼されたと検知する。接眼を検知する閾値と、離眼を検知する閾値とは例えばヒステリシスを設ける等して異なっていてもよい。また、接眼を検知した後は、離眼を検知するまでは接眼状態であるものとする。離眼を検知した後は、接眼を検知するまでは非接眼状態であるものとする。システム制御部５０は、接眼検知部１１８で検知された状態に応じて、表示部１０８とＥＶＦ２１７の表示（表示状態）／非表示（非表示状態）を切り替える。具体的には、少なくとも撮影待機状態であって、かつ、表示先の切替設定が自動切替である場合、非接眼中は表示先を表示部１０８として表示をオンとし、ＥＶＦ２１７は非表示とする。また、接眼中は表示先をＥＶＦ２１７として表示をオンとし、表示部１０８は非表示とする。なお、接眼検知部１１８は赤外線近接センサに限られず、接眼とみなせる状態を検知できるものであればよく、他のセンサを用いてもよい。

また、カメラ１００は、ファインダ外表示部１０７、ファインダ外表示駆動回路２２３、電源制御部２２４、電源部２２５、記録媒体Ｉ／Ｆ２２６、操作部２２８等を有する。
ファインダ外表示部１０７は、ファインダ外表示駆動回路２２３によって駆動され、シャッター速度や絞り等のカメラ１００の様々な設定値を表示する。電源制御部２２４は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出等を行う。また、電源制御部２２４は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２７を含む各部へ供給する。電源部２２５は、アルカリ電池およびリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池およびＬｉ電池等の二次電池、ＡＣアダプター等である。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２７とのインターフェースである。記録媒体２２７は、撮像された画像を記録するためのメモリカード等であり、半導体メモリや磁気ディスク等から構成される。記録媒体２２７は、カメラ１００に対して着脱可能であってもよいし、カメラ１００に内蔵されていてもよい。

操作部２２８は、ユーザからの操作（ユーザ操作）を受け付ける入力部であり、システム制御部５０に各種の指示を入力するために用いられる。操作部２２８は、シャッターボタン１０１、電源スイッチ１０２、モード切替スイッチ１０３、タッチパネル１０９、他の操作部２２９等が含まれる。他の操作部２２９には、メイン電子ダイヤル１０４、サブ電子ダイヤル１０５、動画ボタン１０６、方向キー１１０、ＳＥＴボタン１１１、ＡＥロックボタン１１２、拡大ボタン１１３、再生ボタン１１４、メニューボタン１１５、タッチバー１１９等が含まれる。

シャッターボタン１０１は、第１シャッタースイッチ２３０と第２シャッタースイッチ２３１を有する。第１シャッタースイッチ２３０は、シャッターボタン１０１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、第１シャッタースイッチ信号ＳＷ１を出力する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１に応じて、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の撮影準備処理を開始する。第２シャッタースイッチ２３１は、シャッターボタン１０１の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を出力する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２に応じて、撮像部２１１からの信号読み出しから、撮像された画像を含む画像ファイルを生成して記録媒体２２７に書き込むまでの一連の撮影処理を開始する。

モード切替スイッチ１０３は、システム制御部５０の動作モードを静止画撮影モード、動画撮影モード、再生モード等の何れかに切り替える。静止画撮影モードに含まれるモードには、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）、プログラムＡＥモード（Ｐモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、カスタムモード等がある。ユーザは、モード切替スイッチ１０３により、上述した撮影モードの何れかに直接、切り替えることができる。あるいは、ユーザは、モード切替スイッチ１０３により撮影モードの一覧画面に一旦切り替えた後に、表示された複数のモードの何れかに操作部２２８を用いて選択的に切り替えることができる。同様に、動画撮影モードにも複数のモードが含まれていてもよい。

タッチパネル１０９は、表示部１０８の表示面（タッチパネル１０９の操作面）への各種タッチ操作を検出するタッチセンサである。タッチパネル１０９と表示部１０８とは一体的に構成することができる。例えば、タッチパネル１０９は、光の透過率が表示部１０８の表示を妨げないように、表示部１０８の表示面の上層に取り付けられる。そして、タッチパネル１０９における入力座標と、表示部１０８の表示面上の表示座標とを対応付けることで、あたかもユーザが表示部１０８上に表示された画面を直接的に操作可能であるかのようなＧＵＩ（グラフィカルユーザインターフェース）を構成できる。タッチパネル１０９には、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等の様々な方式のうち何れかの方式を用いることができる。方式によって、タッチパネル１０９に対する接触があったことでタッチがあったと検知する方式や、タッチパネル１０９に対する指やペンの接近があったことでタッチがあったと検知する方式があるが、何れの方式であってもよい。

システム制御部５０は、タッチパネル１０９に対する以下の操作あるいは状態を検出できる。
・タッチパネル１０９にタッチしていなかった指やペンが新たにタッチパネル１０９にタッチしたこと、すなわちタッチの開始（以下、タッチダウン（Ｔｏｕｃｈ－Ｄｏｗｎ）という）。
・タッチパネル１０９を指やペンでタッチしている状態（以下、タッチオン（Ｔｏｕｃｈ－Ｏｎ）という）。
・タッチパネル１０９を指やペンがタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ－Ｍｏｖｅ）という）。
・タッチパネル１０９へタッチしていた指やペンがタッチパネル１０９から離れた（リリースされた）こと、すなわちタッチの終了（以下、タッチアップ（Ｔｏｕｃｈ－Ｕｐ）という）。
・タッチパネル１０９に何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ－Ｏｆｆ）という）。

タッチダウンが検出されると、同時にタッチオンも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出された場合も、同時にタッチオンが検出される。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。

これらの操作・状態や、タッチパネル１０９上に指やペンがタッチしている位置座標は内部バスを通じてシステム制御部５０に通知される。システム制御部５０は通知された情報に基づいてタッチパネル１０９上にどのような操作（タッチ操作）が行われたかを判定する。タッチムーブについてはタッチパネル１０９上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル１０９上の垂直成分・水平成分毎に判定できる。所定距離以上をタッチムーブしたことが検出された場合はスライド操作が行われたと判定される。タッチパネル１０９上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作をフリックという。フリックは、言い換えればタッチパネル１０９上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行われたと判定される（スライド操作に続いてフリックがあったものと判定できる）。更に、複数箇所（例えば２点）を共にタッチして（マルチタッチして）、互いのタッチ位置を近づけるタッチ操作をピンチイン、互いのタッチ位置を遠ざけるタッチ操作をピンチアウトという。ピンチアウトとピンチインを総称してピンチ操作（あるいは単にピンチ）という。

図４は、レンズユニット３００の構成の一例を示す模式図である。図４では、レンズユニット３００をカメラ１００に装着した状態を示している。なお、図４に示すカメラ１００のうち、図３で説明した構成要素と同一の構成要素には、図３と同一の符号を付し、その構成要素の説明は適宜、省略する。
レンズユニット３００は、カメラ１００に対して着脱可能な交換レンズの一種である。レンズユニット３００は、視差のある右像および左像を撮像可能な２眼レンズである。本実施形態では、レンズユニット３００は２つの光学系を有し、２つの光学系それぞれで、略１８０度の広視野角の範囲を撮像できる。具体的に、レンズユニット３００の２つの光学系それぞれで、左右方向（水平角度、方位角、ヨー角）１８０度、上下方向（垂直角度、仰俯角、ピッチ角）１８０度の視野分（画角分）の被写体を撮像できる。つまり、２つの光学系それぞれで、前方半球の範囲を撮像できる。

レンズユニット３００は、複数のレンズと反射ミラー等を有する右眼光学系３０１Ｒ、複数のレンズと反射ミラー等を有する左眼光学系３０１Ｌ、レンズシステム制御回路３０３を有する。右眼光学系３０１Ｒは第１の光学系の一例であり、左眼光学系３０１Ｌは第２の光学系の一例である。右眼光学系３０１Ｒは被写体側に配置されるレンズ３０２Ｒを有し、左眼光学系３０１Ｌは被写体側に配置されるレンズ３０２Ｌを有する。レンズ３０２Ｒとレンズ３０２Ｌは同じ方向を向いており、それらの光軸は略平行である。

レンズユニット３００は、２眼立体視が可能なＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）画像のフォーマットの１つであるＶＲ１８０の画像を得るための２眼レンズ（ＶＲ１８０レンズ）である。本実施形態では、レンズユニット３００は、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれに、略１８０度の範囲を捉えることが可能な魚眼レンズを有する。なお、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌのそれぞれが有するレンズで捉えることが可能な範囲は、１８０度の範囲よりも狭い１６０度程度であってもよい。レンズユニット３００は、右眼光学系３０１Ｒを介して形成される右像（第１画像）と、左眼光学系３０１Ｌを介して形成される左像（第２画像）とを、レンズユニット３００が装着されたカメラの１つまたは２つの撮像素子上に結像することができる。

レンズユニット３００は、レンズマウント部３０４と、カメラ１００のカメラマウント部３０５とを介して、カメラ１００に装着される。こうすることで、カメラ１００の通信端子１２４と、レンズユニット３００の通信端子３０６とを介して、カメラ１００のシステム制御部５０とレンズユニット３００のレンズシステム制御回路３０３とが電気的に接続される。

本実施形態では、右眼光学系３０１Ｒを介して形成される右像と、左眼光学系３０１Ｌを介して形成される左像とが、同時に（セットで）カメラ１００の撮像部２１１に結像される。すなわち、右眼光学系３０１Ｒおよび左眼光学系３０１Ｌにより形成される２つの光学像が１つの撮像素子上に形成される。撮像部２１１は、結像された被写体像（光信号）をアナログ電気信号に変換する。このようにレンズユニット３００を用いることで、右眼光学系３０１Ｒと左眼光学系３０１Ｌとの２つの箇所（光学系）から、視差がある２つの画像を同時に（セットで）取得することができる。取得された画像を左眼用の画像と右眼用の画像とに分けてＶＲ表示することで、ユーザは略１８０度の範囲の立体的なＶＲ画像を視聴することができる。つまり、ユーザは、ＶＲ１８０の画像を立体視することができる。

ここで、ＶＲ画像とは、後述するＶＲ表示することができる画像である。ＶＲ画像には、全方位カメラ（全天球カメラ）で撮像した全方位画像（全天球画像）や、表示部に一度で表示できる表示範囲より広い映像範囲（有効映像範囲）を持つパノラマ画像等が含まれる。また、ＶＲ画像は、静止画に限られず、動画、ライブ画像（カメラからほぼリアルタイムで取得した画像）も含まれる。ＶＲ画像は、最大で、左右方向３６０度、上下方向３６０度の視野分の映像範囲（有効映像範囲）を持つ。また、ＶＲ画像には、左右方向３６０度未満、上下方向３６０度未満であっても、通常のカメラで撮像可能な画角よりも広範な画角、あるいは、表示部に一度で表示できる表示範囲より広い映像範囲を持つ画像も含まれる。上述したレンズユニット３００を用いてカメラ１００で撮像される画像は、ＶＲ画像の一種である。

ＨＭＤ１５４は、表示装置が実装されており、ＰＣ５００ｂにより送信された画像を表示する。ＨＭＤ１５４は、受信者１５６の頭部に装着される画像表示装置の一例である。ＨＭＤ１５４は、ＰＣ５００ｂと無線または有線ケーブルによって接続されている。ＨＭＤ１５４には、ＰＣ５００ｂによる制御に基づいて画像が表示される。
ここで、ＨＭＤ１５４は、表示モードを「ＶＲビュー」に設定することで、ＶＲ画像をＶＲ表示することができる。３６０度の画角を有するＶＲ画像をＶＲ表示して、ユーザが表示装置の姿勢を左右方向（水平回転方向）に変化させることで、左右方向に継ぎ目のない全方位の画像を視聴することができる。

ＶＲ表示（ＶＲビュー）とは、ＶＲ画像のうち、表示装置の姿勢に応じた視野範囲の映像を表示する、表示範囲を変更可能な表示方法（表示モード）である。ＶＲ表示には、ＶＲ画像を仮想球体にマッピングする変形（歪曲補正）を行って１つの画像を表示する「１眼ＶＲ表示（１眼ＶＲビュー）」がある。また、ＶＲ表示には、左眼用のＶＲ画像と右眼用のＶＲ画像とをそれぞれ仮想球体にマッピングする変形を行って左右の領域に並べて表示する「２眼ＶＲ表示（２眼ＶＲビュー）」がある。互いに視差のある左眼用のＶＲ画像と右眼用のＶＲ画像を用いて「２眼ＶＲ表示」を行うことで、それらＶＲ画像を立体視することが可能である。何れのＶＲ表示であっても、例えば、ユーザがＨＭＤを装着した場合、ユーザの顔の向きに応じた視野範囲の画像が表示される。例えば、ＶＲ画像のうち、ある時点で左右方向に０度（特定の方位、例えば北）、上下方向に９０度（天頂から９０度、すなわち水平）を中心とした視野範囲の画像を表示しているとする。この状態から表示装置の姿勢を表裏反転させる（例えば、表示面を南向きから北向きに変更する）と、同じＶＲ画像のうち、左右方向に１８０度（逆の方位、例えば南）、上下方向に９０度を中心とした視野範囲の画像に、表示範囲が変更される。すなわち、ユーザがＨＭＤを装着した状態で、顔を北から南に向く（すなわち後ろを向く）ことで、ＨＭＤに表示される画像も北の画像から南の画像に変更される。なお、本実施形態のレンズユニット３００を用いて撮像したＶＲ画像は、前方略１８０度の範囲を撮像した画像（１８０°画像）であり、後方略１８０度の範囲の画像は存在しない。このような画像をＶＲ表示して、画像が存在しない側に表示装置の姿勢を変更した場合にはブランク領域が表示される。

このようにＶＲ画像をＶＲ表示することによって、ユーザは視覚的にあたかもＶＲ画像内（ＶＲ空間内）にいるような感覚（没入感）を得ることができる。なお、ＶＲ画像の表示方法は表示装置の姿勢を変更する方法に限られない。例えば、カメラ１００やＰＣ５００ａ、５００ｂにおいてタッチパネルや方向ボタン等を介したユーザ操作に応じて、表示範囲を移動（スクロール）させてもよい。また、ＶＲ表示時（表示モード「ＶＲビュー」）において、姿勢変化による表示範囲の変更に加え、カメラ１００やＰＣ５００ａ、５００ｂにおいてタッチパネルでのタッチムーブ、マウス等でのドラッグ操作、方向ボタンの押下等に応じて表示範囲を変更してもよい。なお、ＶＲゴーグル（ヘッドマウントアダプタ）に装着されたスマートフォン端末やタブレット端末はＨＭＤの一種である。

図５は、ＰＣ５００（５００ａ、５００ｂ）の構成の一例を示すブロック図である。
制御部５０１は、例えばＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）であり、ＰＣ５００全体を制御する。Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）５０２は、プログラムやパラメータを非一時的に記憶する。Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）５０３は、外部機器等から供給されるプログラムやデータを一時的に記憶する。記録媒体５０４は、ＰＣ５００に固定して設置されたハードディスクやフラッシュメモリ、あるいはＰＣ５００に対して着脱可能な光ディスク、磁気カード、光カード、ＩＣカード、メモリカード等である。操作部５０５は、ＰＣ５００に対するユーザの操作を受け付ける。操作部５０５は、ユーザが操作を行う際に用いられる、ＰＣ５００に設けられたボタンやタッチパネル等であってもよいし、ＰＣ５００に対して着脱可能なキーボードやマウス等であってもよい。表示部５０６は、ＰＣ５００が保持するデータや外部装置から送信された画像等を制御部５０１による制御に基づいて表示する。表示部５０６は、ＨＭＤ１５４とは異なり、ユーザが装着することなく視認可能な表示装置である。また、表示部５０６は、画像を２次元で表示する２次元表示装置である。なお、表示部５０６はＰＣ５００の一部であってもよいし、ＰＣ５００とは別体の表示装置であってもよい。通信部５０７は、他のＰＣ等の外部装置、カメラ１００あるいはＨＭＤ１５４との通信を行う。例えば、ＰＣ５００ａから見てＰＣ５００ｂは外部装置であり、ＰＣ５００ｂから見てＰＣ５００ａは外部装置である。システムバス５０８は、ＰＣ５００の構成要素間を通信可能に接続する。

ここで、レンズユニット３００（２眼レンズ）を装着して撮像される画像の特徴について説明する。レンズユニット２００（通常の１眼レンズ）の場合、撮像部２１１上には、実際の見えに対して上下左右に反転した像（１８０度回転した像）が結像する。そのため、結像された画像全体を１８０度回転して、実際の見えに合った画像を取得（撮像）している。一方で、レンズユニット３００（２眼レンズ）の場合は、右像と左像それぞれが、実際の見えに対して１８０度回転して撮像部２１１上に結像する。右像と左像の並びは特に限定されないが、本実施形態では、撮像部２１１上において、右像が右側に結像され、左像が左側に結像されるとする。そして、レンズユニット２００（通常の１眼レンズ）の場合と同様に、結像された画像（右像と左像を含む画像）全体を１８０度回転すると、右像と左像それぞれを実際の見えに合わせることはできるが、右像と左像の位置が入れ替わってしまう。つまり、左右の位置関係が反転して、右像が左側に配置され、左像が右側に配置された画像が撮像されることになる。本実施形態では、右像と左像の位置を２つの光学系（右眼光学系３０１Ｒと左眼光学系３０１Ｌ）と対応するような表示を可能にする。

次に、上述したように構成されるシステムのうち、ＰＣ５００ａによる処理について図６のフローチャートを用いて説明する。図６のフローチャートは、ＰＣ５００ａの制御部５０１がＲＯＭ５０２に記憶されたプログラムをＲＡＭ５０３に展開して実行することにより実現される。また、図６のフローチャートは、ＰＣ５００ａとＰＣ５００ｂとの間で通信可能に接続され、レンズユニット３００を装着したカメラ１００が画像を撮像することにより開始され、定期的に実行される。

Ｓ６０１では、ＰＣ５００ａの制御部５０１は、カメラ１００で撮像された画像を取得する。具体的には、カメラ１００で撮像された画像が通信部５０７を介してＰＣ５００ａに転送され、ＰＣ５００ａの制御部５０１は転送された画像を読み込むことで画像を取得する。読み込まれた画像は、図７（ａ）に示すような２眼レンズで得られた左右２つの円周魚眼画像７０２ａ、７０２ｂを含む画像７０１である。円周魚眼画像７０２ａは右眼光学系３０１Ｒを介して撮像された画像であり、円周魚眼画像７０２ｂは左眼光学系３０１Ｌを介して撮像された画像である。円周魚眼画像７０２ａ、７０２ｂは、円形の外縁に近づくほど大きく歪んでいる。

Ｓ６０２では、ＰＣ５００ａの制御部５０１は、通信部５０７を介して受信側環境１５２のＨＭＤ１５４の使用情報をＰＣ５００ｂから取得する。ＨＭＤ１５４の使用情報とは、ＨＭＤ１５４の使用状態を示す情報である。ＰＣ５００ｂはＨＭＤ１５４から使用情報を取得しており、ＰＣ５００ａの制御部５０１はＰＣ５００ｂを介してＨＭＤ１５４の使用情報を継続的に取得する。なお、Ｓ６０１とＳ６０２とは処理の順序が逆であってもよく、Ｓ６０１とＳ６０２とを並行に処理してもよい。

ここで、ＨＭＤ１５４の使用情報には様々なものがある。
ＨＭＤ１５４の使用情報として、ＨＭＤ１５４の電源がオンであるかオフであるかを示す情報（電源のオンオフ信号）を用いることができる。例えば、ＰＣ５００ａの制御部５０１は、ＨＭＤ１５４の電源のオンオフ信号をＨＭＤ１５４からＰＣ５００ｂを介して受信することでＨＭＤ１５４の使用情報を取得することができる。
また、ＨＭＤ１５４の使用情報として、ユーザとしての受信者がＨＭＤ１５４を装着しているか否かを示す装着状態を示す情報（加速度センサの信号データ）を用いることができる。ＨＭＤ１５４に加速度センサを設けておき、ＰＣ５００ａの制御部５０１が加速度センサの信号データをＨＭＤ１５４からＰＣ５００ｂを介して受信することでＨＭＤ１５４の使用情報を取得することができる。

Ｓ６０３では、ＰＣ５００ａの制御部５０１は、取得したＨＭＤ１５４の使用情報に基づいて、受信側環境１５２のＨＭＤ１５４が使用状態であるか否か、すなわちＨＭＤ１５４が使用中であるか否かを判定する。使用中である場合にはＳ６０４に進み、使用中ではない場合にはＳ６０５に進む。
例えば、ＨＭＤ１５４の使用情報がＨＭＤ１５４の電源のオンオフ信号である場合、制御部５０１は、電源がオンである場合にはＨＭＤ１５４が使用中であると判定し、電源がオフである場合にはＨＭＤ１５４が使用中ではないと判定する。
また、例えば、ＨＭＤ１５４の使用情報が、ＨＭＤ１５４に設けられた加速度センサの信号である場合、制御部５０１は、加速度センサの信号によって使用中であるか否かを判定する。すなわち、受信者１５６がＨＭＤ１５４を頭部に装着した状態では頭部の動きに合わせて加速度センサの信号が変動する。したがって、制御部５０１は加速度センサの信号の変化を検知してから一定の時間内に次の変化を検知している限り、ＨＭＤ１５４が使用中であると判定する。一方、制御部５０１は、加速度センサの信号が一定の時間内に変化を検知しなかった場合にはＨＭＤ１５４が使用中ではないと判定する。

このように、制御部５０１は、Ｓ６０２で取得したＨＭＤ１５４の電源のオンオフ信号やＨＭＤ１５４に設けられた加速度センサの信号に基づいて現在のＨＭＤ１５４の使用状態を判定する。ただし、ＨＭＤ１５４の使用状態を判定する方法は、上述した方法に限られない。
また、送信側環境１５１のＰＣ５００ａの制御部５０１が、ＨＭＤ１５４の使用状態を判定する場合に限られず、受信側環境１５２のＰＣ５００ｂの制御部５０１がＨＭＤ１５４の使用状態を判定してもよい。この場合には、ＰＣ５００ａの制御部５０１は判定結果をＰＣ５００ｂから受信し、判定結果に基づいてＨＭＤ１５４の使用状態を判定することができる。このようにＰＣ５００ａの制御部５０１が判定結果をＰＣ５００ｂから受信する場合には、判定結果の情報がＨＭＤ１５４の使用情報に相当する。

Ｓ６０４は、制御部５０１は、ＨＭＤ１５４に画像をＶＲ表示に対応させるために必要な画像の変換として、画像の歪みが抑制される変換を行う。Ｓ６０４に進む場合とはＨＭＤ１５４が使用中、すなわち受信者１５６がＨＭＤ１５４を装着している状態であるため、ここではＨＭＤ１５４に画像をＶＲ表示するために必要あるいは適切な処理を行う。具体的に、制御部５０１は、Ｓ６０１で取得した２つの円周魚眼画像に対して、それぞれ正距円筒変換（第１の変換）を適用することで、「２眼ＶＲ表示」に対応させる。ここで、図７（ａ）に示す画像７０１に含まれる２つの円周魚眼画像７０２ａ、７０２ｂのそれぞれに対して、正距円筒変換を適用した結果の画像を図７（ｂ）に示す。変換された画像は、図７（ｂ）に示すような画像７０４ａ、画像７０４ｂを含む画像７０３である。画像７０４ａ、７０４ｂのそれぞれに注目すると、円形の外縁が引き伸ばされることなく外縁の歪みが抑制されている。

Ｓ６０５では、制御部５０１は、上述した正距円筒変換を行わず、２つの円周魚眼画像のうち一部を切り出す。Ｓ６０５に進む場合とはＨＭＤ１５４が使用中ではない、すなわち受信者１５６がＨＭＤ１５４を装着していない状態であるため、ここではＨＭＤ１５４に画像をＶＲ表示させるための正距円筒変換を行わない。具体的には、制御部５０１は、Ｓ６０１で取得した２つの円周魚眼画像のうち左側の円周魚眼領域のみを切り出す。このように、正距円筒変換を行わないことにより画像を変換する処理の軽減を図ることができる。ここで、図７（ａ）に示す画像７０１に含まれる２つの円周魚眼画像７０２ａ、７０２ｂのうち左側の円周魚眼画像７０２ｂを切り出した結果の画像を図７（ｃ）に示す。変換された画像は、図７（ｃ）に示すような画像７０５である。
なお、ここでは、左側の円周魚眼領域を切り出す場合について説明したが、左右の何れか一方を切り出せばよく、右側の円周魚眼領域を切り出してもよい。
また、片側の円周魚眼領域の切り出した画像を、２次元表示装置への表示に対応させるために必要あるいは適切な変換を行ってもよい。具体的には、制御部５０１は、片側の円周魚眼領域の切り出した画像に対して透視投影変換（第２の変換）を行ってもよい。透視投影変換することで、変換された画像は外縁の歪みが抑制される。透視投影変換された画像は図７（ｄ）に示すような画像７０６であり、正距円筒変換の中心部分だけ切り出したような見た目になり、円周魚眼画像や正距円筒変換画像に比べて歪みが少なく、２次元表示の場合では、ユーザにとって自然に見えるものである。

Ｓ６０６では、制御部５０１は、処理した画像を受信側環境１５２に送信する。ここで、ＨＭＤ１５４が使用中である場合にはＳ６０４において正距円筒変換された後の画像が送信される。一方、ＨＭＤ１５４が使用中ではない場合には正距円筒変換される前の画像であって、Ｓ６０５において左側の円周魚眼領域のみ切り出された画像が送信される。

受信側環境１５２ではＰＣ５００ｂの制御部５０１は、受信した画像をそれぞれＨＭＤ１５４および表示部５０６に表示する。具体的には、ＰＣ５００ｂの制御部５０１は、受信した画像を表示部５０６に表示すると共に、ＨＭＤ１５４に表示されるようにＨＭＤ１５４に転送する。
ここで、ＨＭＤ１５４が使用中である場合、すなわちＨＭＤ１５４が装着された状態では、ＨＭＤ１５４および表示部５０６に正距円筒変換された後の画像が表示される。したがって、ＨＭＤ１５４を装着している受信者１５６はＨＭＤ１５４を介して、「２眼ＶＲ表示」に対応した画像を視聴することができる。なお、ＰＣ５００ｂの制御部５０１は、表示部５０６にも正距円筒変換された後の画像を表示しているが、受信者１５６はＨＭＤ１５４を視聴していることになる。
一方、ＨＭＤ１５４が使用中ではない場合、すなわちＨＭＤ１５４が装着されていない状態では、ＨＭＤ１５４および表示部５０６に正距円筒変換される前の画像が表示される。したがって、受信者１５６はＨＭＤ１５４を装着していない場合には、表示部５０６を視認することにより画像を視聴することができる。したがって、受信者１５６はＨＭＤ１５４を装着していなくても、表示部５０６に表示される画像に基づいて、送信側環境１５１の送信者１５５とコミュニケーションを図ることができる。なお、表示部５０６に表示される画像が一方の円周魚眼領域のみに透視投影変換された画像である場合には、受信者１５６は外縁の歪みが抑制された画像を視聴することができる。

したがって、上述した処理によれば、受信者１５６がＨＭＤ１５４を装着した状態から装着していない状態に移行することで、ＨＭＤ１５４および表示部５０６では表示される画像が、正距円筒変換された後の画像から正距円筒変換される前の画像に切り替わる。具体的には、図７（ｂ）に示す画像７０３から図７（ｃ）に示す画像７０５に切り替わる。
一方、受信者１５６がＨＭＤ１５４を装着していない状態から装着した状態に移行することで、ＨＭＤ１５４および表示部５０６では表示される画像が、正距円筒変換される前の画像から正距円筒変換された後の画像に切り替わる。具体的には、図７（ｃ）に示す画像７０５から図７（ｂ）に示す画像７０３に切り替わる。

ただし、ＰＣ５００ｂの制御部５０１は、受信者１５６がＨＭＤ１５４を装着している状態では正距円筒変換された後の画像を表示部５０６に表示せず、ＨＭＤ１５６のみに表示してもよい。また、ＰＣ５００ｂの制御部５０１は、受信者１５６がＨＭＤ１５４を装着していない状態では正距円筒変換される前の画像をＨＭＤ１５６に表示せず、表示部５０６のみに表示してもよい。

以上のように本実施形態によれば、ＨＭＤ１５４の使用状態を示す情報に応じて、変換する前または変換した後の画像を送信することから、画像を変換する処理の軽減を図ることができる。具体的には、ＨＭＤ１５４が使用中ではない場合には、正距円筒変換せずに一部のみを切り出すことから、正距円筒変換する処理の軽減を図ることができる。また、ＨＭＤ１５４が使用中ではない場合に、正距円筒変換せずに一部のみを切り出した画像を透視投影変換する場合であっても、一部のみの画像に対して変換することから、処理の軽減を図ることができる。また、必要な画像のみを送信することができるため、不要な画像の送信を削減でき、処理の軽減を図ることができると共に、送信するデータ量を抑制することができる。

＜第２の実施形態＞
本実施形態では、ＨＭＤ１５４の使用情報として、受信者を撮像した画像を用いる場合について説明する。なお、第１の実施形態と同一の符号は、第１の実施形態と同様の処理を行うものとして適宜、説明は省略する。
図８は、第２の実施形態のシステムの全体構成の一例を示す模式図である。
本実施形態の受信側環境１５２は、ＨＭＤ１５４を装着する受信者１５６を撮像するカメラ８００を含んで構成される。カメラ８００が撮像した画像はＰＣ５００ｂに入力され、送信側環境１５１のＰＣ５００ａに送信される。送信側環境１５１では、カメラ８００で撮像された画像がＰＣ５００ａに設けられた表示部５０６上にリアルタイムで表示される。本実施形態では、カメラ８００により撮像された画像がＨＭＤ１５４の使用情報として用いられる。

次に、上述したように構成されるシステムのうち、ＰＣ５００ａによる処理について図９のフローチャートを用いて説明する。なお、図９のフローチャートのうち、図６のフローチャートと同様の処理は、同一のステップ番号を付して適宜、説明を省略する。本実施形態では、Ｓ６０１とＳ６０３との間にＳ９０１とＳ９０２とが追加されている。

Ｓ９０１では、ＰＣ５００ａの制御部５０１は、受信者１５６を撮像しているカメラ８００からの画像を通信部５０７を介して受信することで取得する。ここでは、カメラ８００により撮像されている画像がＰＣ５００ｂに取り込まれ、ＰＣ５００ｂに取り込まれた画像がＰＣ５００ａに送信されることで、ＰＣ５００ａの制御部５０１はカメラ８００からの画像を取得する。また、ＰＣ５００ａの制御部５０１は、受信した画像をＰＣ５００ａに設けられた表示部５０６に表示する。

Ｓ９０２では、ＰＣ５００ａの制御部５０１は、カメラ８００により撮像された画像に対して画像認識処理を行う。なお、Ｓ９０１およびＳ９０２は、Ｓ６０１と並行に処理してもよい。

Ｓ６０３では、ＰＣ５００ａの制御部５０１は、カメラ８００により撮像された画像をＨＭＤ１５４の使用情報として用いて、受信側環境１５２のＨＭＤ１５４が使用中であるか否かを判定する。具体的には、制御部５０１は、カメラ８００により撮像された画像を画像認識処理した結果からＨＭＤ１５４が使用中であるか否かを判定する。

例えば、ＨＭＤ１５４の存在の有無を画像認識して、制御部５０１がＨＭＤ１５４の存在を認識できた場合にはＨＭＤ１５４が使用中であると判定し、ＨＭＤ１５４の存在を認識できない場合にはＨＭＤ１５４が使用中ではないと判定する。
また、例えば、人間の瞳を画像認識して、制御部５０１が瞳を検出できない場合にはＨＭＤ１５４の使用中であると判定し、瞳が検出できた場合にはＨＭＤ１５４の使用中ではないと判定する。

ＨＭＤ１５４が使用中である場合にはＳ６０４に進み、使用中ではない場合にはＳ６０５に進む。以降のＳ６０４～Ｓ６０６の処理は、第１の実施形態と同様の処理であり説明を省略する。

以上のように本実施形態によれば、受信者１５６を撮像しているカメラ８００からの画像に基づいて現在のＨＭＤ１５４の使用状態を判定する。したがって、ＨＭＤ１５４の使用状態を精度よく判定することができる。なお、カメラ８００はＰＣ５００ｂと一体で設けられていてもよいし、ＰＣ５００ｂとは別体であってもよい。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。
本実施形態では、画像の歪みが抑制される変換として、正距円筒変換する場合について説明したが、この場合に限られず、その他の変換をしてもよい。

１００：カメラ（撮像装置） １５４：ＨＭＤ（画像表示装置） １５６：受信者 ５００ａ：ＰＣ（情報処理装置） ５０１：制御部 ５０７：通信部

Claims (16)

1. 受信者が装着する画像表示装置に画像を送信する情報処理装置であって、
   前記画像を歪みが抑制されるように変換する変換手段と、
   前記画像表示装置の使用状態を示す情報を取得する取得手段と、
   前記取得手段により取得された使用状態を示す情報に応じて、前記変換手段により変換される前または前記変換手段により変換された後の画像を送信する送信手段と、
   を有することを特徴とする情報処理装置。
2. 前記送信手段は、
   前記取得手段により取得された情報が、前記画像表示装置が使用されていないことを示す情報である場合には、前記変換手段により変換される前の画像を送信することを特徴とする請求項１に記載の情報処理装置。
3. 前記送信手段は、
   前記取得手段により取得された情報が、前記画像表示装置が使用されていないことを示す情報である場合には、前記変換手段により変換される前の画像を前記受信者が装着することなく視認可能な表示装置に表示させるように送信することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記送信手段は、
   前記取得手段により取得された情報が、前記画像表示装置が使用されていないことを示す情報である場合には、前記変換手段により変換される前の画像の一部を送信することを特徴とする請求項１ないし３の何れか１項に記載の情報処理装置。
5. 前記画像は、第１の光学系を介して撮像された画像と第２の光学系を介して撮像された画像とを含み、
   前記送信手段は、
   前記取得手段により取得された情報が、前記画像表示装置が使用されていないことを示す情報である場合には、前記変換手段により変換される前の画像であって、前記第１の光学系を介して撮像された画像および前記第２の光学系を介して撮像された画像のうち何れか一方の画像を送信することを特徴とする請求項１ないし４の何れか１項に記載の情報処理装置。
6. 前記送信手段は、
   前記取得手段により取得された情報が、前記画像表示装置が使用されていることを示す情報である場合には、前記変換手段により変換された後の画像を送信することを特徴とする請求項１ないし５の何れか１項に記載の情報処理装置。
7. 前記画像は、魚眼レンズを介して撮像された画像であって、
   前記変換手段は、前記撮像された画像を正距円筒変換することを特徴とする請求項１ないし６の何れか１項に記載の情報処理装置。
8. 前記変換手段を、第１の変換手段とすると、
   前記第１の変換手段とは異なる方式で前記画像を変換する第２の変換手段を有し、
   前記送信手段は、
   前記取得手段により取得された情報が、前記画像表示装置が使用されていないことを示す情報である場合には、前記第１の変換手段により変換される前であって、前記第２の変換手段により変換された後の画像を送信することを特徴とする請求項１ないし７の何れか１項に記載の情報処理装置。
9. 前記第２の変換手段は、前記画像を透視投影変換することを特徴とする請求項８に記載の情報処理装置。
10. 前記画像表示装置の使用状態を示す情報は、前記画像表示装置の電源のオンオフを示す情報であることを特徴とする請求項１ないし９の何れか１項に記載の情報処理装置。
11. 前記画像表示装置の使用状態を示す情報は、前記画像表示装置の装着状態を示す情報であることを特徴とする請求項１ないし９の何れか１項に記載の情報処理装置。
12. 前記画像表示装置の使用状態を示す情報は、前記受信者を撮像した画像であることを特徴とする請求項１ないし９の何れか１項に記載の情報処理装置。
13. 前記送信手段は、
    前記変換手段により変換された後の画像を、前記画像表示装置を制御する外部装置を介して前記画像表示装置に送信することを特徴とする請求項１ないし１２の何れか１項に記載の情報処理装置。
14. 前記画像表示装置は、ユーザの頭部に装着される表示装置であることを特徴とする請求項１ないし１３の何れか１項に記載の情報処理装置。
15. 受信者が装着する画像表示装置に画像を送信する情報処理装置の制御方法であって、
    前記画像を歪みが抑制されるように変換する変換ステップと、
    前記画像表示装置の使用状態を示す情報を取得する取得ステップと、
    前記取得ステップにより取得された使用状態を示す情報に応じて、前記変換ステップにより変換される前または前記変換ステップにより変換された後の画像を送信する送信ステップと、
    を有することを特徴とする制御方法。
16. コンピュータを、請求項１ないし１４の何れか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images