JP2020202499A - 画像観察システム - Google Patents

画像観察システム Download PDF

Info

Publication number
JP2020202499A
JP2020202499A JP2019108695A JP2019108695A JP2020202499A JP 2020202499 A JP2020202499 A JP 2020202499A JP 2019108695 A JP2019108695 A JP 2019108695A JP 2019108695 A JP2019108695 A JP 2019108695A JP 2020202499 A JP2020202499 A JP 2020202499A
Authority
JP
Japan
Prior art keywords
image
camera
observer
observation
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019108695A
Other languages
English (en)
Other versions
JP7356697B2 (ja
Inventor
嘉伸 海老澤
Yoshinobu Ebisawa
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2019108695A priority Critical patent/JP7356697B2/ja
Publication of JP2020202499A publication Critical patent/JP2020202499A/ja
Application granted granted Critical
Publication of JP7356697B2 publication Critical patent/JP7356697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】観察者がリアリティをもって遠隔地の対象物を観察することを可能にすること。【解決手段】画像観察システム１は、対象物Ｓｐ２を撮像することで観察画像を取得する観察画像取得用カメラ５ｂと、観察画像取得用カメラ５ｂの位置及び姿勢を制御するカメラ駆動系７と、観察画像を表示させるディスプレイ装置１１と、ディスプレイ装置１１の前面の観察者Ｓｐ１の顔画像を検出して、顔画像を基に観察者Ｓｐ１の瞳孔の三次元位置を検出する観察者検出用カメラ５ａ及びコンピュータ９ａと、コンピュータ９ａによって検出された瞳孔の三次元位置に基づいて、観察画像取得用カメラ５ｂの位置及び姿勢を変更するようにカメラ駆動系７を動作させるコンピュータ９ｂとを備える。【選択図】図１

Description

本発明は、対象物の遠隔での観察を可能にする画像観察システムに関する。
一般に、遠隔地から対象物を観察する技術としては、建築物等の対象物の三次元構造を何らかの方法（ステレオ法、TOF（time of flight）法等）で算出し、その構造への色の貼り付け（レンダリング）を行って色付きの三次元構造を作成し、その色付きの三次元構造をPC（Personal Computer）の画面に映し出す技術が知られている。このような技術では、ユーザは、マウス等を利用して映し出す三次元構造の画像を回転させたり並進移動させたりして、好きな視点から見た対象物を観察することができる。ただし、このような技術では、リアリティをもって対象物を再現するためには、高いレンダリング性能及び特殊かつ高速な計算能力を持つ計算機が必要となる。また、事前に三次元構造とそれに対応した色付けの情報を取得しておく必要があるため、リアルタイムに対象物を観察することは難しい。
その一方で、下記非特許文献１に記載されたように、１台のカラーカメラを搭載したロボットを遠隔操作し、撮影画像をディスプレイに表示することができるシステムも知られている。このようなシステムによれば、リアルタイムで遠隔地から対象物の画像を好きな視点から観察することができる。
T Baron,MD Levine, Y Yeshurun，"Exploring with a foveated roboteye system"，IEEE，Proceedings ofthe 12th IAPR International Conference on Pattern Recognition, Vol. 2 -Conference B: Computer Vision & Image Processing.，1994．
しかしながら、上述した非特許文献１に記載のシステムによっても、観察者に実際に対象物を観察しているような感覚を持たせながら画像を表示することは難しい。すなわち、観察者の操作時の感覚と実際の観察時の感覚とがかけ離れており、リアリティをもって遠隔地の対象物を観察させることには限界がある。
本発明は、上記課題に鑑みて為されたものであり、観察者がリアリティをもって遠隔地の対象物を観察することが可能な画像観察システムを提供することを目的とする。
上記課題を解決するため、本発明の一形態に係る画像観察システムは、対象物を撮像することで観察画像を取得するカメラと、カメラの位置及び姿勢を制御するカメラ制御装置と、観察画像を表示させる表示装置と、表示装置の前面の観察者の顔画像を検出して、顔画像を基に観察者の顔部の三次元位置を検出する検出部と、検出部によって検出された顔部の三次元位置に基づいて、カメラの位置及び姿勢を変更するようにカメラ制御装置を動作させる情報処理部と、を備える。
上記形態の画像観察システムによれば、観察者の顔部の三次元位置が検出され、その三次元位置に基づいてカメラの位置及び姿勢が変更されるように制御され、それに応じてカメラで取得される観察画像が表示装置に表示される。これにより、観察者が表示画面に表示された対象物と向き合いながら、その時の観察者の位置に応じて、対象物の像を様々な位置及び様々な角度から観察させることができる。その結果、観察者がリアリティをもって遠隔地の対象物を観察することができる。ここで、上記顔部は、観察者の眼部であることが好適である。
また、眼部は瞳孔であってよい。この場合には、画像処理によって確実に観察者の眼部の位置を検出することができ、対象物の像を、眼部の位置に応じて様々な位置及び様々な角度から観察させることができる。
ここで、情報処理部は、顔部の三次元位置に基づいて、観察画像の歪を補正し、補正した観察画像を表示装置に出力する、こととしてもよい。かかる構成においては、観察者と表示装置との位置関係が変化しても、表示装置によって表示された画像を観察者に歪なく観察させることができる。
また、情報処理部は、顔部の三次元位置に基づいて計算した移動量を基に、カメラの三次元位置を移動させるように動作させる、こととしてもよい。この場合、観察者が表示画面に表示された対象物と向き合いながら、その時の観察者の位置に応じて、対象物の像を様々な位置から観察させることができ、実際に観察者が対象物を直接観察しているような感覚を生じさせることができる。
また、情報処理部は、顔部の三次元位置に基づいて観察者の姿勢を算出し、観察者の姿勢に基づいてカメラの姿勢を変更するように動作させる、こととしてもよい。こうすれば、観察者が表示画面に表示された対象物と向き合いながら、その時の観察者の姿勢に応じて、対象物の像を様々な角度から観察させることができ、実際に観察者が対象物を直接観察しているような感覚を生じさせることができる。
また、情報処理部は、観察者の姿勢を、顔部の三次元位置と表示装置との位置関係から計算する、こととしてもよい。この場合、簡易な演算によって観察者の姿勢を求めることができ、リアルタイムな画像表示を実現することができる。
また、情報処理部は、観察者の姿勢を、顔部の三次元位置から導出した視線方向から計算する、こととしてもよい。この場合、観察者の姿勢を正確に求めることができ、対象物の観察のリアリティを高めることができる。
また、カメラは、対象物とともに複数のマーカーを撮像することで観察画像を取得し、情報処理部は、観察画像上の複数のマーカーの位置を基にカメラの姿勢を推定し、推定したカメラの姿勢を基に観察画像のブレ及び歪を補正して観察画像を表示装置に表示させる、こととしてもいてもよい。この場合には、カメラ制御装置において制御されるカメラの姿勢にブレが生じた場合であっても、観察画像上の複数のマーカーの位置を用いて観察画像のブレ及び歪を補正することができる。これにより、対象物の観察のリアリティをより高めることができる。
さらに、情報処理部は、カメラから複数のマーカーを基準に固定された視対象に向かうベクトルに垂直な理想画像面を設定し、カメラの撮像面上に対応する観察画像の画素の値を、カメラの光学中心から理想画像面上に投影することにより、観察画像を補正する、こととしてもよい。かかる構成により、観察画像のブレ及び歪を画素の投影処理によって効率的に補正することができる。
あるいは、本発明の他の形態に係る画像観察システムは、カメラを２台備え、検出部は、顔画像を基に観察者の右の眼部及び左の眼部の三次元位置を検出し、情報処理部は、検出部によって検出された右の眼部及び左の眼部の三次元位置のそれぞれに基づいて、２台のカメラの位置及び姿勢を変更するように動作させ、表示装置は、２台のカメラによって取得された観察画像を用いて立体画像を表示させる。
上記形態の画像観察システムによれば、観察者の右の眼部及び左の眼部の三次元位置が検出され、それぞれの三次元位置に基づいて２台のカメラの位置及び姿勢が変更されるように制御され、それに応じて２台のカメラで取得される観察画像を用いて立体画像が表示される。これにより、観察者が表示画面に表示された対象物と向き合いながら、その時の観察者の両眼の位置に応じて、対象物の像を様々な位置及び様々な角度から立体感をもって観察させることができる。その結果、観察者がより一層のリアリティをもって遠隔地の対象物を観察することができる。
ここで、情報処理部は、２台のカメラによって取得された観察画像間で観察者に対して視差を変化させるようにずらし量を調整して立体画像を表示装置に出力する、こととしてもよい。かかる構成によれば、観察者が立体画像を観察する際に対象物に対して感じる距離感を様々に変化させることができる。
また、情報処理部は、ずらし量の調整とともに、観察画像の拡大率を調整して観察画像を拡大あるいは縮小して立体画像を出力する、こととしてもよい。この場合、観察者が立体画像を観察する際に対象物に対して感じる距離感に応じて、対象物の像の大きさを調整することができる。その結果、対象物の観察のリアリティをより高めることができる。
上記形態の画像観察システムは、観察者の周囲に表示装置及び検出部が複数組配置されて構成されてもよい。かかる構成によれば、観察者の様々な位置及び姿勢に対応して、複数の対象物の像をリアリティをもって観察させることができる。
本発明によれば、観察者がリアリティをもって遠隔地の対象物を観察することができる。
第１実施形態に係る画像観察システムの構成を示す側面図である。 第１実施形態に係るコンピュータのハードウェア構成を示すブロック図である。 図１のコンピュータ９ａにより設定される表示画面上の観察画像の表示位置を示す概念図である。 第１実施形態に係るコンピュータ９ｂの機能構成を示すブロック図である。 図４のカメラ駆動系制御部２１によって推定される観察者Ｓｐ１の頭部姿勢を表す頭部基準座標系を示す図である。 図４のカメラ駆動系制御部２１によって推定される観察者Ｓｐ１の頭部方向を表すベクトルを示す図である。 ３個のマーカーＭを基準に設定される背景座標系ＣＳ１と対象物Ｓｐ２を基準に設定される視対象座標系ＣＳ２との関係を示す図である。 カメラ座標系ＣＳ０と理想画像座標系ＣＳ３との関係を示す図である。 図４の画像処理部２７による処理前の観察画像ＧＢと処理後の観察画像ＧＡのイメージを示す図である。 第２実施形態に係る画像観察システム２０１の構成を示す側面図である。 図１０の観察画像取得用カメラ２０５ｂ及びカメラ駆動系２０７の対象物Ｓｐ２側から見た外観を示す正面図である。 図１０のディスプレイ装置２１１によって遠近感を変更して表示される立体画像の位置を示す図である。 図１０のディスプレイ装置２１１によって手前の位置Ｐ１に対象物Ｓｐ２を浮かび上がらせて表示させた際の視差を示す図である。 図１０のディスプレイ装置２１１の画面上に表示する観察画像のずらしの量及び方向を示す図である。 図１０のディスプレイ装置２１１によって遠近感を変更して表示される立体画像の表示イメージを示す図である。 図１０のディスプレイ装置２１１によって遠近感を変更して表示される立体画像の表示イメージを示す図である。 変形例に係る画像観察システム３０１の構成を示す側面図である。 変形例に係る画像観察システムの構成を示す平面図である。 内視鏡に組み込んだ観察画像取得用カメラ２０５ｂの構成の変形例を示す図である。
以下、図面を参照しつつ本発明に係る画像観察システムの好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
［第１実施形態に係る画像観察システムの構成］
図１は、第１実施形態に係る画像観察システム１の構成を示している。この画像観察システム１は、観察者Ｓｐ１が遠隔地から美術品を代表とする鑑賞物、商品等の様々な有体物である対象物Ｓｐ２を観察するための画像処理システムである。この画像処理システムは、観察者Ｓｐ１が遠隔地に位置する対象物Ｓｐ２を観察するための観察者Ｓｐ１側の装置と対象物Ｓｐ２側の装置とを含むシステムとして構成されることが想定される。ただし、必ずしも観察者Ｓｐ１側の装置と対象物Ｓｐ２側の装置とが物理的に離れて配置される必要はなく、互いに近くに配置されていてもよいし、一体の装置として構成されていてもよい。特に、コンピュータ９ａとコンピュータ９ｂとは、同一の装置上で一体的に構成されていてもよいし、別々の装置として構成されていてもよい。
図１に示すように、画像観察システム１は、観察者Ｓｐ１側に配置される観察者検出用カメラ（検出部）５ａ、コンピュータ（検出部、情報処理部）９ａ、及びディスプレイ装置（表示装置）１１と、観察対象である対象物Ｓｐ２側に配置される観察画像処理装置３とを含んで構成される。観察画像処理装置３は、観察画像取得用カメラ５ｂ、カメラ駆動系（カメラ制御装置）７、及びコンピュータ（情報処理部）９ｂを含んでいる。これらのコンピュータ９ａ，９ｂは、図示しない通信ネットワークを介して互いに画像データ等のデータを送受信可能に構成される。なお、本実施形態では、表示装置として表示画面上から直接画像を投影するディスプレイ装置を使用しているが、表示画面から間接的に画像を投影するプロジェクタ装置等を使用してもよい。
コンピュータ９ａ，９ｂを構成するコンピュータ９の一般的なハードウェア構成を図２に示す。コンピュータ９は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。
後述するコンピュータ９ａ，９ｂの各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
観察者検出用カメラ５ａは、ディスプレイ装置１１の下部において観察者Ｓｐ１に向けられた２台のカメラを含み、それぞれのカメラは予めカメラ較正がされており、ディスプレイ装置１１の前面に位置する観察者Ｓｐ１の顔を撮像し、顔画像を検出および出力する。本実施形態では、観察者検出用カメラ５ａを構成する２台のカメラは、インターレーススキャン方式の一つであるＮＴＳＣ方式のビデオカメラであり、各カメラには、観察者Ｓｐ１の瞳孔、角膜反射、あるいは鼻孔等の特徴点を検出するために特許第４５００９９２号に記載の構成の近赤外光源が取り付けられている。観察者検出用カメラ５ａを構成するそれぞれのカメラは、コンピュータ９ａからの命令に応じて観察者Ｓｐ１を撮像し、顔画像のデータをコンピュータ９ａに出力する。なお、観察者検出用カメラ５ａは２台のカメラで構成されることには限定されず、予備のカメラを含んでいてもよい。
コンピュータ９ａは、特許第４５００９９２号に記載の方法を用いて、観察者検出用カメラ５ａに取り付けられた近赤外光源の点灯タイミングを撮像タイミングに応じて制御し、その結果として観察者検出用カメラ５ａの２台のカメラから出力された顔画像を用いて、ステレオマッチングによりフレーム毎に観察者Ｓｐ１の顔部として左右の瞳孔（眼部）の三次元位置（三次元座標）を検出する。そして、コンピュータ９ａは、左右の瞳孔の三次元位置に関する情報をコンピュータ９ｂに送信する。なお、本実施形態では、観察者Ｓｐ１の顔部として左右の眼部の三次元位置を検出しているが、顔の中心部、左右の鼻孔等の他の顔の一部の三次元位置を検出してもよい。
加えて、コンピュータ９ａは、コンピュータ９ｂから受信された対象物Ｓｐ２が映った観察画像をディスプレイ装置１１に表示させる機能も有する。このとき、コンピュータ９ａは、特開２０１７−０２６８９３号公報に記載の手法を用いて、対象物Ｓｐ２が映った観察画像を、観察者Ｓｐ１の左右の瞳孔の三次元位置に応じて、斜めから見てもディスプレイ装置１１の正面から見たように映るように画像の歪を補正し、補正した観察画像をディスプレイ装置１１に表示させる。
この歪補正処理の詳細について説明する。コンピュータ９ａは、ディスプレイ装置１１の表示画面Ｇ２上に表示される画像を予め変形させることにより観察者Ｓｐ１において観察される観察画像の歪を無くすように制御する。図３は、コンピュータ９ａにより設定される表示画面Ｇ２上の観察画像の表示位置を示す概念図である。まず、コンピュータ９ａは、観察者Ｓｐ１の両眼の瞳孔の三次元座標ＰＲ，ＰＬを基に、瞳孔間中点ＰＭと表示画面Ｇ２の中心Ｃ１を結ぶ直線ＰＭＣ１を設定する。さらに、コンピュータ９ａは、直線ＰＭＣ１に垂直な瞳孔間中点ＰＭからの距離が所定値Ｌの平面Ｓ１を設定し、ＰＭＣ１とその平面Ｓ１との交点Ｏを特定する。また、コンピュータ９ａは、平面Ｓ１上に頂点Ａ，Ｂ，Ｃ，Ｄを有し、交点Ｏを中心とする所定の大きさの長方形の範囲ＡＢＣＤを決定する。次に、コンピュータ９ａは、両眼の瞳孔の三次元座標ＰＲ，ＰＬから平面Ｓ１上に垂線をおろしそれぞれの垂線と平面Ｓ１との交点Ｅ，Ｆの位置を算出する。さらに、コンピュータ９ａは、線分ＥＦの傾きを両眼を結ぶ線の平面Ｓ１を基準とした傾きとして計算し、線分ＡＤ及び線分ＢＣがその傾きと等しくなるように（線分ＥＦと平行になるように）範囲ＡＢＣＤを回転させることによりその範囲の位置を計算する。そして、コンピュータ９ａは、瞳孔間中点ＰＭと点Ａ，Ｂ，Ｃ，Ｄのそれぞれとを結ぶ線と表示画面Ｇ２との交点Ａ’，Ｂ’，Ｃ’，Ｄ’の座標を計算する。この表示画面Ｇ２上の四角形Ａ’Ｂ’Ｃ’Ｄ’の範囲に表示される画像が長方形ＡＢＣＤを通過して観察者Ｓｐ１に向けて投影されることになる。そこで、コンピュータ９ａは、長方形ＡＢＣＤの範囲に歪の無い観察画像を投影するために、観察画像を変形させて表示画面Ｇ２上に表示させるように、その画像を構成する画素の表示画面Ｇ２上での表示位置を設定する。これにより、長方形ＡＢＣＤの範囲に投影される観察画像の位置が観察者Ｓｐ１の両眼を結ぶ線の傾きに応じて回転される。
コンピュータ９ａによる観察画像の変形方法についてさらに詳細に説明する。コンピュータ９ａは、設定した長方形ＡＢＣＤの範囲内において、平面Ｓ１に沿った二次元座標系ｘ３−ｙ３における座標（ｘｉ，ｙｉ）を算出する。さらに、コンピュータ９ａは、長方形ＡＢＣＤの範囲内の座標（ｘｉ，ｙｉ）と瞳孔間中点ＰＭとを通る直線を特定し、その直線と表示画面Ｇ２との交点の座標（Ｘｉ，Ｙｉ）を、表示画面Ｇ２に沿った二次元座標系Ｘ１−Ｙ１上で求める。そして、観察画像を長方形ＡＢＣＤの範囲に当てはめた場合の観察画像における座標（ｘｉ，ｙｉ）に対応する位置の輝度値を算出し、算出した座標（ｘｉ，ｙｉ）の輝度値を表示画面Ｇ２上の対応する座標（Ｘｉ，Ｙｉ）の輝度値として設定する。さらに、コンピュータ９ａは、長方形ＡＢＣＤの範囲内に含まれる複数の座標（ｘｉ，ｙｉ）について上記処理を繰り返し、長方形ＡＢＣＤの範囲内の各座標（ｘｉ，ｘｉ）に対応する観察画像の輝度値を表示画面Ｇ２上の長方形Ａ’Ｂ’Ｃ’Ｄ’の範囲内の画素に投影する。その後、コンピュータ９ａは、各座標（Ｘｉ，Ｙｉ）の輝度値を参照しながらバイリニア補間法などを用いて画素を補間することにより、表示画面Ｇ２上の四角形Ａ’Ｂ’Ｃ’Ｄ’内に表示する画像を生成する。このような観察画像の変形処理により、観察者Ｓｐ１が斜めから表示画面Ｇ２を観察しても、観察者Ｓｐ１の瞳孔間中点ＰＭに向けて投影される観察画像の歪を無くすように制御されることにより、観察者Ｓｐ１が歪の無い画像を観察することができる。
ここで、コンピュータ９ａは、特許第４５００９９２号に記載の方法を用いて、観察者検出用カメラ５ａから出力された顔画像を基に検出した瞳孔の三次元位置と、顔画像を基に検出した顔画像上の瞳孔及び角膜反射の位置を基に、観察者Ｓｐ１の左右の眼の視線ベクトル（視線方向）を算出してもよい。この場合は、コンピュータ９ａは、算出した左右の眼の視線ベクトルの情報をコンピュータ９ｂに送信する。
観察画像取得用カメラ５ｂは、対象物Ｓｐ２と、対象物Ｓｐ２の後部の暗幕、壁等の垂直面Ｓｖ上に二次元的に配置された複数のマーカーＭとを同時に撮影するビデオカメラである。観察画像取得用カメラ５ｂは、コンピュータ９ｂからの命令に応じて対象物Ｓｐ２及びマーカーＭを撮像し、その結果取得した観察画像をコンピュータ９ｂに出力する。
撮像対象のマーカーとしては、白色等のカメラ画像上で目立つ色彩のマーカーが好ましく、ＬＥＤ等の発光体をマーカーとして用いてもよく、発光体を用いる場合はカメラの画像において中心精度が高まるような形状に映るように、発光部の高さが低く指向性が弱いＬＥＤを用いる。また、観察画像取得用カメラ５ｂとして近赤外線カメラを使用する場合には、再帰（再帰性）反射材料のマーカーを用いることが好ましく、観察画像取得用カメラ５ｂとしてカラーカメラを使用する場合には、背景に対して目立つ色（例えば、青色）のマーカーＭを用いてもよい。マーカーＭは、後述する観察画像の補正処理を可能にするために、３個以上設けられることが好適である。例えば、マーカーＭは、観察画像取得用カメラ５ｂに向かい合う垂直面Ｓｖ上の三角形の頂点上に３個で配置されている。
カメラ駆動系７は、観察画像取得用カメラ５ｂの位置及び姿勢を制御する制御装置であり、観察画像取得用カメラ５ｂをパンチルト可能に支持するパンチルト台１９、観察画像取得用カメラ５ｂをパンチルト台１９と一体に移動可能に支持するアクチュエータ１３，１５，１７により構成される。このアクチュエータ１３は、観察画像取得用カメラ５ｂを対象物Ｓｐ２側から見て左右方向に移動させるように駆動し、アクチュエータ１５は、観察画像取得用カメラ５ｂを対象物Ｓｐ２側から見て上下方向に移動させるように駆動し、アクチュエータ１７は、観察画像取得用カメラ５ｂを対象物Ｓｐ２側から見て前後方向に移動させるように駆動する。パンチルト台１９、及びアクチュエータ１３，１５，１７は、コンピュータ９ｂからの命令に応じて、観察画像取得用カメラ５ｂの三次元位置及び姿勢を変化させるように駆動する。
図４に示すように、コンピュータ９ｂは、機能的構成要素として、カメラ駆動系制御部２１、撮像制御部２３、カメラ位置／姿勢検出部２５、及び画像処理部２７を備える。以下、コンピュータ９ｂの各構成要素の機能を説明する。
カメラ駆動系制御部２１は、対象物Ｓｐ２の観察画像の取得処理が開始されたことに応じて、コンピュータ９ａから受信された観察者Ｓｐ１の左右の瞳孔の三次元位置に関する情報に基づいて、観察画像取得用カメラ５ｂの三次元位置及び姿勢を変更するように、カメラ駆動系７を動作させる。これにより、観察者Ｓｐ１があたかも対象物Ｓｐ２に対面しているような状態を仮想的に作り出してその状態に応じた観察画像を取得できる。具体的には、観察者Ｓｐ１が、頭部を動かすことによってディスプレイ装置１１上に表示される対象物Ｓｐ２を別の距離及び角度で見ようとすると、それに相当する位置及び姿勢に変更されるようにカメラの位置及び姿勢が制御される。
カメラ駆動系制御部２１によるカメラ駆動系７の制御の機能について詳細に説明する。
カメラ駆動系制御部２１は、図５に示すような座標系を用いて、観察者Ｓｐ１の頭部姿勢を左右の瞳孔の三次元位置とディスプレイ装置１１との位置関係から推定し、推定した頭部姿勢を基にカメラ駆動系７を駆動するように制御する。すなわち、カメラ駆動系制御部２１は、世界座標系ＸＹＺにおける右の瞳孔の三次元位置ＰＲと左の瞳孔の三次元位置ＰＬとの間の中点ＰＭを算出し、図６に示すような中点ＰＭからディスプレイ装置１１上の基準位置である画面中心点Ｃ１に向かうベクトルＶＮを算出する。そして、カメラ駆動系制御部２１は、右の瞳孔の三次元位置ＰＲと左の瞳孔の三次元位置ＰＬとを通る軸をＸ軸とし、ベクトルＶＮに沿った軸をＺ軸とし、原点を中点ＰＭとする頭部基準座標系を設定し、この頭部基準座標系の位置及び姿勢の変化を検出し、その変化の量を基に観察画像取得用カメラ５ｂの位置及び姿勢を制御する。具体的には、カメラ駆動系制御部２１は、観察者Ｓｐ１の頭部のピッチ角度であるＸ軸周りの回転角度と、観察者Ｓｐ１の頭部のヨー角度であるＹ軸周りの回転角度とを計算し、それらの角度がパンチルト台１９のパン及びチルトのそれぞれの回転角度となるようにパンチルト台１９の回転角を決定する。同時に、カメラ駆動系制御部２１は、直前の駆動タイミングからの中点ＰＭの移動量を計算し、それを基に直前の駆動タイミングからのアクチュエータ１３，１５，１７におけるそれぞれの移動量を決定する。そして、カメラ駆動系制御部２１は、決定した回転角度及び移動量で駆動するようにカメラ駆動系７の駆動を制御する。
ただし、パンチルト台１９の回転軸と観察画像取得用カメラ５ｂの光学中心の位置との間にはズレが存在するため、単に中点ＰＭの移動量のみからアクチュエータ１３，１５，１７の移動量を決定した場合には観察画像取得用カメラ５ｂの三次元位置の移動量に誤差が生じてしまう。このような誤差を防ぐため、カメラ駆動系制御部２１は、パンチルト台１９の駆動に伴う観察画像取得用カメラ５ｂの三次元位置の変動を求め、アクチュエータ１３，１５，１７の移動量をこの変動を打ち消すように予め補正する。
なお、本実施形態では、カメラ駆動系制御部２１は、観察者Ｓｐ１の頭部姿勢を、左右の瞳孔の三次元位置とディスプレイ装置１１との位置関係から推定していた。それに代えて、カメラ駆動系制御部２１は、特開２０１８−９９１７４号公報に記載の手法を用いて観察者Ｓｐ１の左右の眼球回転中心の位置を検出し、これらの眼球回転中心の位置を基に観察者Ｓｐ１の頭部姿勢を推定してもよい。このように眼球回転中心を用いることで、眼球でサッケードが生じて瞳孔中心が小刻みに動く場合であっても、安定して頭部姿勢を検出して観察画像の小刻みな変化を抑制できる。
また、コンピュータ９ａによって観察者Ｓｐ１の左右の眼の視線ベクトル（視線方向）が検出されている場合には、カメラ駆動系制御部２１は、この視線ベクトルを基にベクトルＶＮを設定して観察者Ｓｐ１の頭部姿勢を推定してもよい。すなわち、カメラ駆動系制御部２１は、観察者Ｓｐ１の左右の眼の視線ベクトルを平均化した直線に平行な中点ＰＭを通る直線を特定し、この直線を基準に頭部姿勢を推定する。このようにすれば、ディスプレイ装置１１上に映る同一の対象物Ｓｐ２の別の箇所、又は、別の対象物Ｓｐ２に視線を移しても、それに応じて観察画像取得用カメラ５ｂの姿勢を制御できる。ここでは、カメラ駆動系制御部２１は、左右の眼のうち利き目と想定されるほうの眼に関して検出された視線ベクトルを基に頭部姿勢を推定してもよい。ただし、観察画像取得用カメラ５ｂから対象物Ｓｐ２までの距離が、直前に観察していた対象物Ｓｐ２までの距離と異なる場合には、カメラ駆動系制御部２１は、観察画像取得用カメラ５ｂから対象物Ｓｐ２までの距離が、観察者Ｓｐ１とディスプレイ装置１１との間の距離に相当する距離になるように、カメラ駆動系７のアクチュエータ１３，１５，１７を駆動させる。ただし、観察者Ｓｐ１の視線方向が変化する度に観察画像取得用カメラ５ｂの姿勢が変化してしまうと、観察者Ｓｐ１から見てディスプレイ装置１１上の対象物画像が視線変化に伴って移動するため、リアリティが失われて不自然である。そこで、カメラ駆動系制御部２１は、観察者Ｓｐ１の視線方向の示す位置が異なる対象物Ｓｐ２間で変化した場合にのみ、視線ベクトルを利用して観察画像取得用カメラ５ｂの姿勢を変更するように制御することが好ましい。
撮像制御部２３は、対象物Ｓｐ２の観察画像の取得処理が開始されたことに応じて、観察画像取得用カメラ５ｂによる対象物Ｓｐ２の観察画像の取得を開始するように制御する。また、撮像制御部２３は、観察画像取得用カメラ５ｂによって取得されたフレーム毎の観察画像を、カメラ位置／姿勢検出部２５及び画像処理部２７に引き渡す。
カメラ位置／姿勢検出部２５は、観察画像取得用カメラ５ｂによって取得された観察画像上のマーカーＭの位置を基に、観察画像取得用カメラ５ｂの位置及び姿勢をフレーム毎に検出する。具体的には、観察画像上において３個以上のマーカーＭの位置を検出し、それらのマーカーＭの間の距離が既知であることを利用して、特許第４４３１７４９号に記載の手法を応用して、観察画像取得用カメラ５ｂのカメラ座標系におけるマーカーＭの三次元座標を検出する。観察画像上のマーカーＭの位置の検出は、マーカーＭの色が青色の場合には、カラー画像である観察画像をＲＧＢ成分に分割し、Ｂ成分とＲ成分との差分をとった後に、その差分画像を対象に二値化、孤立点除去、及びラベリングを施すことにより行われる。
そして、カメラ位置／姿勢検出部２５は、図７に示すように、右のマーカーＭの位置ＭＲ、左のマーカーＭの位置ＭＬ、及び上のマーカーＭの位置ＭＵを基準に、左右のマーカーの中点ＭＭを原点とする背景座標系ＣＳ１を設定する。また、カメラ位置／姿勢検出部２５は、観察画像取得用カメラ５ｂの光学中心を原点とするカメラ座標系ＣＳ０から背景座標系ＣＳ１に座標変換するための回転行列及び並進ベクトルを計算する。ここで、マーカーＭと対象物Ｓｐ２との既知の位置関係を基に、対象物Ｓｐ２の中心を原点Ｏとする視対象座標系ＣＳ２が予め定義されている。例えば、視対象座標系ＣＳ２は、各座標軸が背景座標系ＣＳ１の各座標軸と平行であり、Ｙ軸周りに背景座標系ＣＳ１を１８０度回転させた座標系である。そして、カメラ位置／姿勢検出部２５は、カメラ座標系ＣＳ０を視対象座標系ＣＳ２に座標変換するための回転行列及び並進ベクトルも計算する。これにより、観察画像取得用カメラ５ｂの位置及び姿勢が検出される。
画像処理部２７は、カメラ位置／姿勢検出部２５によって検出されたフレーム毎の観察画像取得用カメラ５ｂの位置及び姿勢を基に、観察画像取得用カメラ５ｂによって取得されたフレーム毎の観察画像に対して画像処理を施し、画像処理後の観察画像をコンピュータ９ａに送信する。具体的には、画像処理部２７は、フレーム毎に次のような画像処理を実行する。
つまり、カメラ駆動系７のパンチルト台１９による駆動においてはブレが生じる場合があり、それによって観察画像においてブレや歪が生じる場合がある。この場合は、図８に示すように、観察画像取得用カメラ５ｂの光軸の方向であるカメラ座標系ＣＳ０のＺ軸の方向が、観察画像取得用カメラ５ｂの光学中心ＯＣから対象物Ｓｐ２の中心に向かうベクトルＶＩの方向と一致しない場合がある。ここで、ベクトルＶＩが理想的な観察画像取得用カメラ５ｂの光軸とすると理想的な観察画像では視対象の中心が画像中心と一致し画像の歪は生じないと考えられる。この理想的な光軸と考えられるベクトルＶＩを法線とする平面が理想画像面ＳＩと定義され、この理想画像面ＳＩの中心ＯＩを原点としベクトルＶＩをＺ軸とする平面が理想画像座標系ＣＳ３と定義される。理想画像座標系ＣＳ３は、その中心ＯＩが視対象座標系ＣＳ２の原点Ｏと一致するように定義されることにより、透視投影モデルに基づいて観察画像中の対象物Ｓｐ２の像が実物と対応した大きさに拡大／縮小されるように設定される。
そこで、画像処理部２７は、視対象座標系ＣＳ２におけるベクトルＶＩのＸ軸周りの回転角度、Ｙ軸周りの回転角度、及びＺ軸周りの回転角度をそれぞれ計算する。次に、画像処理部２７は、計算した回転角度を用いて、理想画像座標系ＣＳ３からカメラ座標系ＣＳ０に変換するための回転行列及び並進ベクトルを計算する。その後、画像処理部２７は、計算した回転行列及び並進ベクトルを用いて、理想画像面ＳＩ上の点Ｐｉ（Ｘｉ，Ｙｉ，０）をカメラ座標系ＣＳ０の点Ｐｉ’（ｘｉ，ｙｉ，ｚｉ）に変換する。さらに、既知の観察画像取得用カメラ５ｂの焦点距離ｆを用いて、画像処理部２７は、光学中心ＯＣと点Ｐｉ’とを結ぶ直線と実際の撮像面との交点を計算し、点Ｐｉに対応する撮像面上の点Ｐｃ（ｘｊ，ｙｊ，ｆ）の座標を計算する。そして、画像処理部２７は、観察画像の点Ｐｃに対応する画素の輝度値を理想画面ＳＩ上の点Ｐｉの画素に投影する。その後、画像処理部２７は、理想画像面ＳＩ上の複数の点Ｐｉ（Ｘｉ，Ｙｉ，０）について上記処理を繰り返し、バイリニア補間法を用いることにより理想画像面ＳＩ上の画素を補完し、その結果理想画像面ＳＩ上に生成された理想の画像を観察画像と設定することにより、観察画像の補正処理を実行する。
さらに、画像処理部２７は、観察画像上に映りこんだマーカーＭの像をディスプレイ装置１１上で表示されないように塗りつぶし処理を行うこともできる。例えば、対象物Ｓｐ２の背景が白色である場合には、マーカーＭの中心座標を中心とした円領域を白色の輝度値に設定することにより塗りつぶし処理を行う。
図９には、コンピュータ９ｂの画像処理部２７による処理前の観察画像ＧＢと処理後の観察画像ＧＡのイメージを示している。このように、観察画像取得用カメラ５ｂの駆動によって観察画像において対象物Ｓｐ２の像の位置ずれ及び歪が生じていても、画像処理によって位置ずれ及び歪が補正されて適切な画像に加工することができる。
以上説明した画像観察システム１によれば、観察者Ｓｐ１の瞳孔の三次元位置が検出され、その三次元位置に基づいて観察画像取得用カメラ５ｂの位置及び姿勢が変更されるように制御され、それに応じて観察画像取得用カメラ５ｂで取得される観察画像がディスプレイ装置１１に表示される。これにより、観察者Ｓｐ１がディスプレイ装置１１の表示画面に表示された対象物Ｓｐ２と向き合いながら、その時の観察者Ｓｐ１の位置に応じて、対象物Ｓｐ２の像を様々な位置及び様々な角度から観察させることができる。その結果、観察者Ｓｐ１がリアリティをもって遠隔地の対象物Ｓｐ２を観察することができる。
例えば、このような画像観察システム１を用いれば、現場に立ち入ることができない場所（原子力発電所等）に観察画像取得用カメラ５ｂ及びカメラ駆動系（カメラ制御装置）７を設置して、観察者が遠隔地において見たい位置から見たい方向を見るだけで、その位置及び方向に対応して原子力発電所の設備等の対象物の画像を得ることができる。また、その画像を保存しておけば別の人が後からリアルな画像として観察することもできる。
また、本実施形態では、観察者Ｓｐ１の瞳孔の三次元位置に基づいて、観察画像の歪を補正する機能を有している。このような機能により、観察者Ｓｐ１とディスプレイ装置１１との位置関係が変化しても、ディスプレイ装置１１によって表示された画像を観察者に歪なく観察させることができる。
また、本実施形態では、観察者Ｓｐ１の瞳孔の三次元位置の移動量及び観察者Ｓｐ１の姿勢の検出結果を基に、観察画像取得用カメラ５ｂの三次元位置及び姿勢を変更するように制御されている。このような制御により、観察者Ｓｐ１がディスプレイ装置１１の表示画面に表示された対象物Ｓｐ２と向き合いながら、その時の観察者Ｓｐ１の位置及び姿勢に応じて、対象物の像を様々な位置及び角度から観察させることができ、実際に観察者Ｓｐ１が対象物Ｓｐ２を直接観察しているような感覚を生じさせることができる。
特に、本実施形態では、観察者Ｓｐ１の姿勢が、瞳孔の三次元位置とディスプレイ装置１１との位置関係から計算されているので、簡易な演算によって観察者Ｓｐ１の姿勢を求めることができ、リアルタイムな画像表示を実現することができる。また、観察者Ｓｐ１の姿勢を、観察者Ｓｐ１の視線方向を基に計算することもでき、その場合は観察者Ｓｐ１の姿勢を正確に求めることができ、対象物Ｓｐ２の観察のリアリティを高めることができる。
さらに、本実施形態では、観察画像上の複数のマーカーＭの位置を基に観察画像取得用カメラ５ｂの姿勢を推定し、推定した観察画像取得用カメラ５ｂの姿勢を基に観察画像のブレ及び歪を補正している。このような補正機能により、カメラ駆動系７において制御される観察画像取得用カメラ５ｂの姿勢にブレが生じた場合であっても、観察画像上の複数のマーカーＭの位置を用いて観察画像のブレ及び歪を補正することができる。これにより、対象物Ｓｐ２の観察のリアリティをより高めることができる。
［第２実施形態に係る画像観察システムの構成］
図１０は、第２実施形態に係る画像観察システム２０１の構成を示す図であり、図１１は、図１０の観察画像取得用カメラ２０５ｂ及びカメラ駆動系２０７の対象物Ｓｐ２側から見た外観を示す正面図である。本実施形態の画像観察システム２０１の構成は、画像観察システム１の構成と比較して、ディスプレイ装置２１１、コンピュータ２０９ａ、観察画像取得用カメラ２０５ｂ、カメラ駆動系２０７、及びコンピュータ２０９ｂの構成が異なっている。以下、画像観察システム２０１の構成における第１実施形態との相違点のみ説明する。
ディスプレイ装置２１１及びコンピュータ２０９ａは、観察者Ｓｐ１に対して立体画像を表示させる立体画像表示システムを構成する。すなわち、コンピュータ２０９ａは、コンピュータ２０９ｂから左右の眼への投射用の２つの観察画像を受信し、２つの観察画像を立体画像としてディスプレイ装置２１１に表示させる。立体画像を表示可能なコンピュータ２０９ａ及びディスプレイ装置２１１としては、アクティブ型あるいはパッシブ型のいずれかの構成が採用される。アクティブ型の構成はディスプレイ装置２１１にフレーム毎に交互に別々の観察画像を映し出すことができ、観察者Ｓｐ１は左右の眼用のフレーム内にフレーム毎に交互にシャッタをオン／オフ可能な偏光部材を備える３Ｄ眼鏡を装着することにより、視差のある立体画像を観察することができる。パッシブ型の構成においては、ディスプレイ装置２１１の画面上に奇数ライン／偶数ラインのフィールド毎に９０度偏光方向をずらしたフィルタが配置される。この構成はフィールド毎に別々の観察画像を映し出すことができ、観察者Ｓｐ１は左右の眼用のフレーム内に９０度偏光方向をずらしたフィルムフィルタを備える３Ｄ眼鏡を装着することにより、視差のある立体画像を観察することができる。
このような３Ｄ眼鏡は、一般的に近赤外光を透過させる性質を有するものが多いので、観察者検出用カメラ５ａによる近赤外光を用いた瞳孔検出及び視線検出に支障を与えることはない。また、視力矯正用眼鏡を装着していても３Ｄ眼鏡を使用できる。特に、偏光部材を備える３Ｄ眼鏡は比較的軽いために、観察者Ｓｐ１に与える違和感が少なく、裸眼で立体画像を観察可能なディスプレイ装置を用いなくても、観察者Ｓｐ１の負担が少ない状態でリアルな画像を観察可能な立体画像を表示できる。もちろん、ディスプレイ装置２１１としては裸眼で立体画像を観察可能な立体画像を表示する構成であってもよい。
また、コンピュータ２０９ａは、左右の眼用の２つの観察画像を立体画像として表示させる際に、第１実施形態と同様にして、観察者Ｓｐ１の左右の瞳孔の三次元位置に応じて、観察画像の歪補正処理を行う機能を有する。これにより、観察者Ｓｐ１が、対象物Ｓｐ２の画像を歪なく見ることができる。ただし、コンピュータ２０９ａは、左右の瞳孔間中点ＰＭを基準に観察画像の歪を無くすように補正してもよいし（図３）、それに代えて、右の瞳孔の三次元位置ＰＲ、あるいは左の瞳孔の三次元位置ＰＬを基準に観察画像の歪を無くすように補正してもよい。より正確に歪を補正するという点で、瞳孔の三次元位置ＰＲ，ＰＬを基準に観察画像の歪を無くすように補正することが好適である。また、後述するように、観察画像を取得する観察画像取得用カメラ２０５ｂは観察者Ｓｐ１の頭部のロール回転（左右に傾く動き）に応じて２台のステレオカメラが左右に傾く（光軸周りに傾く）ように制御される。その結果、観察画像取得用カメラ２０５ｂによって取得される観察画像は、観察画像取得用カメラ２０５ｂの傾きに応じてその反対方向に傾いた画像として得られる。そのため、本実施形態では、観察画像において対象物Ｓｐ２が静止したように見せるために、観察画像の歪補正処理において観察画像の投影範囲の回転動作は不要である（実行しない）。
図１１に示すように、観察画像取得用カメラ２０５ｂは、対象物Ｓｐ２をマーカーＭとともに撮影するための左右の２台のカメラ５ｂを含むステレオカメラの構成を採る。カメラ駆動系２０７は、２台のカメラ５ｂを別々にパンチルト可能な２つのパンチルト台２１９ａと、２台のカメラ５ｂをパンチルト台２１９ａとともにパン／ロールが可能なカメラ制御台２１９ｂと、２台のカメラ５ｂをパンチルト台２１９ａ及びカメラ制御台２１９ｂとともに移動可能に支持するアクチュエータ１３，１５，１７とにより構成される。カメラ駆動系２０７は、合計６台のサーボモータを含む。このようなカメラ駆動系２０７においては、パンチルト台２１９ａにより、一方のカメラ５ｂを他方のカメラと独立にパン／チルトが可能にされ、カメラ制御台２１９ｂにより、２台のカメラ５ｂの姿勢の関係を保ったままパン／ロールが可能とされ、アクチュエータ１３，１５，１７によって２台のカメラ５ｂを一体的に移動可能とされる。このような構成により、観察者Ｓｐ１の頭部のパンロール回転及び観察者Ｓｐ１の左右の眼球のパンチルト回転を再現することができる。なお、観察者Ｓｐ１の頭部と眼球の位置及び姿勢の再現性を高めるために、カメラ駆動系２０７は、２台のカメラ５ｂの間隔を観察者Ｓｐ１の左右の眼球の間隔とほぼ等しくなるように２台のカメラ５ｂを支持する。
コンピュータ２０９ｂは、第１実施形態のコンピュータ９ｂの構成（図４）と同様な機能構成を有する。以下に、コンピュータ２０９ｂの機能について第１実施形態との相違点を中心に述べる。
カメラ駆動系制御部２１は、原点を中点ＰＭとする頭部基準座標系において、左の瞳孔の三次元位置ＰＬ（ＸＬ，ＹＬ，ＺＬ）及び右の瞳孔の三次元位置ＰＲ（ＸＲ，ＹＲ，ＺＲ）の位置関係を利用して、頭部のＹ軸回り（パン）の回転角度αｈと、頭部のＺ軸周り（ロール）回転角度γｈを計算する。ここで、頭部基準座標系を、Ｙ軸周りに角度αｈ、Ｚ軸周りに角度γｈほど回転させ、左右の瞳孔の三次元位置ＰＬ，ＰＲを原点とする座標系を、それぞれ左右の眼に対応する頭部座標系と定義する。
次に、カメラ駆動系制御部２１は、計算した頭部の回転角度αｈ，γｈを基に、頭部座標系を用いて、それぞれの眼球の回転角度を計算する。詳細には、左の瞳孔の三次元位置ＰＬから画面中心点Ｃ１に向かう視線ベクトルＶＬを算出する。観察者Ｓｐ１が両眼で画面中心点Ｃ１を見ている状態を想定した場合、眼球は頭部の回転と反対方向に同じ角度で回転するので、カメラ駆動系制御部２１は、回転角度αｈ，γｈを用いて、視線ベクトルＶＬを反対方向に回転させた視線ベクトルＶＬ’を計算する。さらに、カメラ駆動系制御部２１は、この視線ベクトルＶＬ’を用いて、眼部座標系を基準に、左眼のＹ軸周り（パン）の回転角度αｅｌ及びＸ軸周り（チルト）の回転角度βｅｌを算出する。同様にして、カメラ駆動系制御部２１は、右の瞳孔の三次元位置ＰＲを用いて、右眼のＹ軸周りの回転角度αｅｒ及びＸ軸周り（チルト）の回転角度βｅｒを算出する。
そして、カメラ駆動系制御部２１は、計算した回転角度αｈ，γｈに対応してカメラ制御台２１９ｂを回転させるように制御し、計算した回転角度αｅｌ，βｅｌに対応して左眼に対応するパンチルト台２１９ａを回転させ、計算した回転角度αｅｒ，βｅｒに対応して右眼に対応するパンチルト台２１９ａを回転させるように制御する。また、カメラ駆動系制御部２１は、第１実施形態と同様にして、直前の駆動タイミングからの中点ＰＭの移動量を基にアクチュエータ１３，１５，１７の移動量を制御する。ただし、カメラ駆動系２０７を構成するサーボモータの回転軸とカメラ５ｂの光学中心の位置とのずれを考慮して、カメラ駆動系制御部２１は、パンチルト台２１９ａの駆動に伴う回転後の移動量の誤差を求め、その誤差を打ち消すようにアクチュエータ１３，１５，１７の移動量を補正してもよい。
カメラ位置／姿勢検出部２５は、２台のカメラ５ｂによって取得された観察画像を用いて、２台のカメラ５ｂの位置及び姿勢をフレーム毎にそれぞれ検出する。画像処理部２７は、検出されたそれぞれのカメラ５ｂの位置及び姿勢を基に、それぞれのカメラ５ｂから出力された観察画像の補正処理を実行する。
また、コンピュータ２０９ｂは、立体画像を表示させるための２つの観察画像を対象にして次に述べるような処理を実行する機能も有する。
すなわち、コンピュータ２０９ｂは、２つの観察画像のずらし量を調整して立体画像によって生じる視差を変化させることによって、観察者Ｓｐ１に対して与える対象物Ｓｐ２に関する遠近感を変更する機能を有する。例えば、ディスプレイ装置２１１の画面中心点Ｃ１から距離ＺＴの手前の位置Ｐ１に対象物Ｓｐ２が位置するように立体画像を表示させる場合を想定する（図１２）。この場合は、カメラ駆動系制御部２１は、左右の眼球の回転角度を計算する際には、画面中心点Ｃ１に代えて位置Ｐ１の座標を用いて計算し、計算した回転角度を用いて左右の眼に対応する２台のパンチルト台２１９ａの回転を制御する。また、カメラ駆動系制御部２１は、制御位置の目標値を距離ＺＴだけ対象物Ｓｐ２に近づけるようにアクチュエータ１３，１５，１７の移動量を制御する。
このとき、画像処理部２７は、ディスプレイ装置２１１に表示させる立体画像の視差を調整する。すなわち、図１３に示すように、ディスプレイ装置２１１の手前の位置Ｐ１に対象物Ｓｐ２を浮かび上がらせて表示するには、ディスプレイ装置２１１上において、右の瞳孔ＰＲに向けて投影する観察画像と、左の瞳孔ＰＬに向けて投影する観察画像とを、互いにずらす必要がある。このずらしの量及び方向は、左右の瞳孔ＰＬ，ＰＲから位置Ｐ１に向かうベクトルＶＮＬ，ＶＮＲのディスプレイ装置２１１の画面上の交点と、画面中心点Ｃ１との関係によって決まる。詳細には、画像処理部２７は、図１４に示すように、右の瞳孔ＰＲから位置Ｐ１に向くベクトルＶＮＲを計算し、このベクトルＶＮＲとディスプレイ装置２１１の画面との交点の位置Ｐ２を計算する。そして、画像処理部２７は、位置Ｃ１から位置Ｐ２に向かうベクトルＶＣを計算してそのベクトルＶＣの大きさ及び方向を基に、右眼に対応する観察画像のずらしの量及び方向を決定し、観察画像をその量及び方向でずらすように補正する。同様にして、画像処理部２７は、左眼に対応する観察画像をずらすように補正する。
上記のようなコンピュータ２０９ｂの機能により、観察者Ｓｐ１が移動することなく、対象物Ｓｐ２に接近した立体画像を表示させることができる。また、コンピュータ２０９ｂは、同様の原理により、ディスプレイ装置２１１の画面中心点Ｃ１から画面の奥側に対象物Ｓｐ２が位置するように立体画像を表示させることも可能である。
また、対象物Ｓｐ２に関する遠近感を変更する際には、コンピュータ２０９ｂは、それに対応して観察画像を拡大あるいは縮小する処理を加える機能も有する。すなわち、画像処理部２７は、立体画像をディスプレイ装置２１１の手前に表示させるように視差を変化させた場合には、その際に計算したベクトルＶＮＲと、位置Ｐ１から位置Ｐ２に向かうベクトルＶＤＲを計算して、下記式；
Ｒｒ＝（｜ＶＮＲ｜＋｜ＶＤＲ｜）／｜ＶＮＲ｜
を用いて拡大率Ｒｒを計算する。そして、画像処理部２７は、右眼に対応する観察画像を拡大率Ｒｒで拡大するように補正する。同様にして、画像処理部２７は、左眼に対応する拡大率Ｒｌを計算して、その拡大率Ｒｌで左眼に対応する観察画像を拡大するように補正する。また、立体画像をディスプレイ装置２１１の奥側に表示させるように視差を変化させた場合には、画像処理部２７は、同様の原理を用いて、両眼に対応する２つの観察画像を縮小するように補正する。このような拡大／縮小の機能により、観察者にとって常に同じ大きさに感じる対象物Ｓｐ２の立体画像を表示させることができる（図１５、図１６）。
以上説明した画像観察システム２０１によれば、観察者Ｓｐ１の右の瞳孔及び左の瞳孔の三次元位置が検出され、それぞれの三次元位置に基づいて２台のカメラ５ｂの位置及び姿勢が変更されるように制御され、それに応じて２台のカメラ５ｂで取得される観察画像を用いて立体画像が表示される。これにより、観察者Ｓｐ１がディスプレイ装置１１に表示された対象物Ｓｐ２と向き合いながら、その時の観察者Ｓｐ１の左右の瞳孔の位置に応じて、対象物Ｓｐ２の像を様々な位置及び様々な角度から立体感をもって観察させることができる。その結果、観察者Ｓｐ１がより一層のリアリティをもって遠隔地の対象物Ｓｐ２を観察することができる。
ここで、画像観察システム２０１では、２台のカメラ５ｂによって取得された観察画像間で観察者Ｓｐ１に対して視差を変化させるようにずらし量を調整している。このような構成により、観察者Ｓｐ１が立体画像を観察する際に、観察者Ｓｐ１が移動することなく対象物Ｓｐ２に対して感じる距離感を様々に変化させることができる。さらに、画像観察システム２０１は、このようなずらし量の調整とともに観察画像を拡大あるいは縮小して立体画像を出力する機能も有している。これにより、観察者Ｓｐ１が立体画像を観察する際に対象物Ｓｐ２に対して感じる距離感に応じて、対象物Ｓｐ２の像の大きさを調整することができる。例えば、観察者Ｓｐ１が感じる対象物Ｓｐ２の立体像の大きさを常に同じに保つことができる。その結果、対象物Ｓｐ２の観察のリアリティをより高めることができる。
本発明は上述した実施形態に限定されるものではない。
例えば、上記第１〜第２実施形態で撮像するマーカーＭとしては、実際に個別に設置されたマーカーである必要はない。例えば観察画像に含まれる背景画像からマーカーとみなせるような特徴点を抽出して、それをマーカーとして認識してもよい。また、マーカーＭは存在していなくてもよく、全体の三次元構造を把握してそれを利用してカメラ姿勢を求めてもよい。
また、上記第１〜第２実施形態における観察者Ｓｐ１側の各装置は観察者Ｓｐ１の周囲を取り囲むように複数設けられてもよい。図１７は、変形例に係る画像観察システム３０１の構成を示している。同図に示す画像観察システム３０１は、ディスプレイ装置２１１とその下部に固定された観察者検出用カメラ５ａとの組が観察者Ｓｐ１を取り囲むように複数組設けられている。この画像観察システム３０１は、観察者Ｓｐ１の視線方向が隣接するディスプレイ装置２１１間を跨いで変化した場合に、その視線方向に対応して、観察画像取得用カメラ２０５ｂが対象物Ｓｐ２の方向を向くようにその姿勢を変化させる。ただし、画像観察システム３０１は、常に観察者Ｓｐ１の視線の方向と一致するように観察画像取得用カメラ２０５ｂの姿勢を変化させてもよい。このような構成によれば、観察者Ｓｐ１が様々な方向を向いてもそれに対応して複数の対象物Ｓｐ２に観察画像取得用カメラ２０５ｂを向けることができる。この場合は、視野角の広いカメラを観察画像取得用カメラ２０５ｂの近傍に同じ方向に向けて配置し、ディスプレイ装置２１１にはその画面の中央付近に観察画像取得用カメラ２０５ｂで取得された観察画像を表示させ、その観察画像の周囲に視野角の広いカメラで取得された画像を表示してもよい。このようにすれば、観察者Ｓｐ１の視野周辺にも映像が表示されるために臨場感を高めることができる。
また、上記第２実施形態における画像観察システム２０１は、２台のカメラ５ｂの間隔を様々に変更可能な構成を有していてもよい。カメラの間隔を変化させることでスケール変換が可能となる。例えば、対象物Ｓｐ２が小さい物体の場合に２台のカメラ５ｂの間隔を狭めることによって対象物Ｓｐ２に近づいた立体画像を得ることができる。すなわち、スケール変換の度合いに応じて２台のカメラ５ｂの間隔を変化させることができる。
また、図１７に示す変形例の構成では観察者Ｓｐ１の周囲を囲むようにディスプレイ装置２１１が設けられているが、観察者Ｓｐ１に閉塞感を与えないように図１８のような構成に変更されてもよい。すなわち、図１８に示す変形例は、観察者Ｓｐ１を囲むように湾曲する表示画面を有するディスプレイ装置２１１と、その表示画面の下部に固定された観察者検出用カメラ５ａとを含む。このディスプレイ装置２１１は、複数設けられてもよい。また、この変形例には、観察者Ｓｐ１を載せる台座としての椅子５０１も含まれ、椅子５０１には、コンピュータ２０９ａの制御により、ディスプレイ装置２１１と一体的に回転駆動が可能な駆動機構（図示せず）が設けられている。詳細には、椅子５０１と、ディスプレイ装置２１１とは、椅子５０１に座った状態の観察者Ｓｐ１の頭部を上下に貫く回転軸５０３を中心に一体的に回転可能とされている。ただし、ディスプレイ装置２１１は、椅子５０１と必ずしも一体で回転可能とされていなくともよく、両者は別々に回転可能とされていてもよい。また、椅子５０１は回転駆動されない構成であってもよい。また、ディスプレイ装置２１１は、画像表示の領域の方向が回転可能とされていればよく、ディスプレイ装置２１１の代わりにプロジェクタ装置を使用する場合には、プロジェクタ装置が壁またはスクリーンに対して歪補正処理をして投影する表示画像の領域の方向が回転可能とされていればよい。また、本変形例では、表示画像の領域が水平方向に移動可能とされているが、それに加えてあるいはそれに代えて、上下方向に移動可能とされてもよい。なお、図１８においては、観察者Ｓｐ１に対して遠隔に配置される対象物Ｓｐ３，Ｓｐ４が、観察画像取得用カメラ２０５ｂと対象物Ｓｐ３，Ｓｐ４との位置関係を観察者Ｓｐ１との位置関係に置き換えて仮想的に表示されている。ここで、歪補正処理を行うため、壁またはスクリーンの形状は、円筒形のように湾曲していても、９０度の角がある平面でもよい。また、壁またはスクリーンまでの距離が方向によって異なってよい。究極的には、観察者Ｓｐ１は、回転するだけでなく、椅子に座ることなく歩くなどして前後左右に移動してもよい。
図１８の（ａ）部に示すように、初期状態においては、観察者Ｓｐ１がディスプレイ装置２１１の正面を向いた状態では、観察画像取得用カメラ２０５ｂによって対象物Ｓｐ３の立体像が観察者Ｓｐ１の正面に表示されるようにその姿勢が制御されるとする。このとき、対象物Ｓｐ３の右側に対象物Ｓｐ４が存在する場合を考える。ディスプレイ装置２１１の横方向のサイズが小さい場合には、対象物Ｓｐ４はディスプレイ装置２１１には映らない。ディスプレイ装置２１１が横方向に大きく、かつ、観察画像取得用カメラ２０５ｂの視野が広ければ、対象物Ｓｐ４を対象物Ｓｐ３と同時に表示することが可能である。この場合、コンピュータ２０９ａは、所定の歪補正方法により、観察画像取得用カメラ２０５ｂで取得される観察画像を歪補正して自然な画像に修正してからディスプレイ装置２１１に表示する。
また、図１８の（ｂ）部に示すように、観察者Ｓｐ１が対象物Ｓｐ３を見ていた状態から、対象物Ｓｐ４を見る状態に変化した場合を想定する。このとき、一般には、観察者Ｓｐ１の視線が対象物Ｓｐ４に向くと同時に観察者Ｓｐ１の顔の向きも対象物Ｓｐ４の方に向くことになる。すなわち、観察者Ｓｐ１の頭部が回転すると同時に観察者Ｓｐ１の眼球が回転して、頭部の回転角度と視線の移動（回転角度）の両方により補い合うように（頭部回転角度と視線回転角度とを合わせた角度が観察者Ｓｐ１から見た対象物Ｓｐ３と対象物Ｓｐ４との間の角度となるように）、観察者Ｓｐ１の視線が対象物Ｓｐ４の方を向くのが普通である。このような状態変化は、開始から100ms以内に終了するような高速運動になりうるが、もっと遅い場合もある。
本変形例のコンピュータ２０９ａは、上述した第１実施形態と同様にして観察者Ｓｐ１の頭部の回転及び視線の移動を姿勢の変化として検出し、検出結果を基に、観察者Ｓｐ１の視線が捉えている方向にディスプレイ装置２１１及び椅子５０１とを同時に回転させるように制御する（図１８の（ｃ）部）。その際には、人間の性質として、観察者Ｓｐ１は、椅子５０１の回転に伴って体の回転が生じても、それを相殺するように頭部の回転と視線の移動（回転）とを生じさせ、対象物Ｓｐ４の方向を見続けることができる。その結果、観察画像取得用カメラ２０５ｂの姿勢も対象物Ｓｐ４の方向を向くように制御される。これにより、ディスプレイ装置２１１の横幅が短い場合に、ディスプレイ装置２１１が回転する前には対象物Ｓｐ４がディスプレイ装置２１１には映っていなかったのが、回転後にはディスプレイ装置２１１に表示させることができる。回転中においては、ディスプレイ装置２１１上にもともと表示されていた対象物Ｓｐ３及び対象物Ｓｐ４は、ディスプレイ装置２１１の回転速度に依存して，ディスプレイ装置２１１上を右から左に移動するように表示される。これにより、観察者Ｓｐ１から見た場合に、対象物Ｓｐ３及び対象物Ｓｐ４を空間に静止しているように表示させることができる。なお、椅子５０１とディスプレイ装置２１１の回転制御は、ある程度同期するように行われればよく、あるいは、最終的な回転角度が一致するように行われればよく、完全に同期するように行われる必要はない。本変形例の構成によれば、観察者Ｓｐ１の視線移動に関係なしに、対象物Ｓｐ３，Ｓｐ４を空間内に静止した状態で観察することができ、臨場感（リアル感）を高めることができる。
また、上記第２実施形態における画像観察システム２０１は、遠隔医療の分野に応用されてもよい。例えば、外科手術において使用する内視鏡に小型の観察画像取得用カメラ２０５ｂを取り付け、その観察画像取得用カメラ２０５ｂを外科医の頭部の動きに合わせて動かすような構成が採用可能である。このような構成にスケール変換の機能を組み込むことで、内視鏡の先端に位置する小型手術器具（例えば、電気メス、ドリルなど）と身体部位の両方を互いの位置関係（奥行き位置の関係）を含めて観察することができる。例えば、国際公開ＷＯ２０１５／０１６１６６号公報に記載の内視鏡の構成に第２実施形態の構成を応用することにより、内視鏡を介して画像を取得するステレオカメラの視野方向（光軸）を観察者の頭部の動きに合わせて変更することが可能である。
図１９には、内視鏡に組み込んだ観察画像取得用カメラ２０５ｂの構成の変形例を示している。同図に示す内視鏡４０１には、照明光を照射するためのライトガイド４０３と、先端において鉗子４０５を出し入れするための孔部４０７と、先端から水、空気等を送り出すためのノズル４０９とが設けられるとともに、その先端には観察画像取得用カメラ２０５ｂを構成するステレオカメラである２つのカメラ５ｂが埋め込まれている。これらのカメラ５ｂは、ディスプレイ装置２１１に対する、外科医等の観察者Ｓｐ１の眼部の位置及び観察者Ｓｐ１の姿勢に応じてそれらの対物レンズの光軸の位置及び方向が変更されるように制御可能とされる。このような観察画像取得用カメラ２０５ｂを含む画像観察システム２０１の構成は、医師が遠隔地の患者を対象にモニタ上の画像を見ながら手術を行うようなロボット手術に応用することができる。
上記第１〜第２実施形態及びそれらの変形例の構成は、遠隔地における美術品等の鑑賞のためのシステム、自由に外出できない老人あるいは病人等を対象とした、病院あるいは介護施設等における福祉用機器あるいは監視システム等に応用することができる。また、上記第１〜第２実施形態及びそれらの変形例の構成は、バーチャルリアリティ技術を利用したゲーム機器、教育機器、会議システム等にも応用することができる。さらに、人間を模擬した動作が可能なロボット等に上記第１〜第２実施形態及びそれらの変形例のカメラ構成を搭載すれば、防災分野での調査・探索、原子力発電所の内部等の危険区域あるいは宇宙空間等での調査・観測の目的に応用することができる。
なお、上記第１〜第２実施形態及びそれらの変形例では、表示装置として表示画面上から直接画像を投影するディスプレイ装置を使用しているが、表示画面から間接的に画像を投影するプロジェクタ装置等を使用してもよい。
１，２０１，３０１…画像観察システム、Ｓｐ１…観察者、５ａ…観察者検出用カメラ（検出部）、５ｂ，２０５ｂ…観察画像取得用カメラ、７，２０７…カメラ駆動系（カメラ制御装置）、９ａ，９ｂ，２０９ａ，２０９ｂ…コンピュータ（情報処理部）、１１，２１１…ディスプレイ装置（表示装置）、Ｍ…マーカー、Ｓｐ２…対象物。

Claims (16)

  1. 対象物を撮像することで観察画像を取得するカメラと、
    前記カメラの位置及び姿勢を制御するカメラ制御装置と、
    前記観察画像を表示させる表示装置と、
    前記表示装置の前面の観察者の顔画像を検出して、前記顔画像を基に観察者の顔部の三次元位置を検出する検出部と、
    前記検出部によって検出された前記顔部の三次元位置に基づいて、前記カメラの位置及び姿勢を変更するように前記カメラ制御装置を動作させる情報処理部と、
    を備える画像観察システム。
  2. 前記顔部は、前記観察者の眼部である、
    請求項１記載の画像観察システム。
  3. 前記眼部は、瞳孔である、
    請求項２に記載の画像観察システム。
  4. 前記情報処理部は、前記顔部の三次元位置に基づいて、前記観察画像の歪を補正し、補正した前記観察画像を前記表示装置に出力する、
    請求項１〜３のいずれか１項に記載の画像観察システム。
  5. 前記情報処理部は、前記顔部の三次元位置に基づいて計算した移動量を基に、前記カメラの三次元位置を移動させるように動作させる、
    請求項１〜４のいずれか１項に記載の画像観察システム。
  6. 前記情報処理部は、前記顔部の三次元位置に基づいて前記観察者の姿勢を算出し、前記観察者の姿勢に基づいて前記カメラの姿勢を変更するように動作させる、
    請求項１〜５のいずれか１項に記載の画像観察システム。
  7. 前記情報処理部は、前記観察者の姿勢を、前記顔部の三次元位置と前記表示装置との位置関係から計算する、
    請求項６に記載の画像観察システム。
  8. 前記情報処理部は、前記観察者の姿勢を、前記顔部の三次元位置から導出した視線方向から計算する、
    請求項６に記載の画像観察システム。
  9. 前記カメラは、対象物とともに複数のマーカーを撮像することで観察画像を取得し、
    前記情報処理部は、前記観察画像上の前記複数のマーカーの位置を基に前記カメラの姿勢を推定し、推定した前記カメラの姿勢を基に前記観察画像のブレ及び歪を補正して前記観察画像を前記表示装置に表示させる、
    請求項１〜８のいずれか１項に記載の画像観察システム。
  10. 前記情報処理部は、前記カメラから前記複数のマーカーを基準に固定された視対象に向かうベクトルに垂直な理想画像面を設定し、前記カメラの撮像面上に対応する前記観察画像の画素の値を、前記カメラの光学中心から前記理想画像面上に投影することにより、前記観察画像を補正する、
    請求項９に記載の画像観察システム。
  11. 前記カメラを２台備え、
    前記検出部は、前記顔画像を基に観察者の右の眼部及び左の眼部の三次元位置を検出し、
    前記情報処理部は、前記検出部によって検出された前記右の眼部及び前記左の眼部の三次元位置のそれぞれに基づいて、前記２台のカメラの位置及び姿勢を変更するように動作させ、
    前記表示装置は、前記２台のカメラによって取得された前記観察画像を用いて立体画像を表示させる、
    請求項２または３に記載の画像観察システム。
  12. 前記情報処理部は、前記２台のカメラによって取得された前記観察画像間で前記観察者に対して視差を変化させるようにずらし量を調整して前記立体画像を前記表示装置に出力する、
    請求項１１記載の画像観察システム。
  13. 前記情報処理部は、前記ずらし量の調整とともに、前記観察画像の拡大率を調整して前記観察画像を拡大あるいは縮小して前記立体画像を出力する、
    請求項１２記載の画像観察システム。
  14. 前記観察者の周囲に前記表示装置及び前記検出部が複数組配置されている、
    請求項１〜１３のいずれか１項に記載の画像観察システム。
  15. 前記カメラは、内視鏡の先端において対物レンズの光軸の位置及び方向を制御可能に埋め込まれている、
    請求項１〜１４のいずれか１項に記載の画像観察システム。
  16. 前記情報処理部は、前記表示装置による画像表示の領域を、検出した前記観察者の姿勢に基づいて、回転駆動するように制御する、
    請求項６に記載の画像観察システム。
JP2019108695A 2019-06-11 2019-06-11 画像観察システム Active JP7356697B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019108695A JP7356697B2 (ja) 2019-06-11 2019-06-11 画像観察システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019108695A JP7356697B2 (ja) 2019-06-11 2019-06-11 画像観察システム

Publications (2)

Publication Number Publication Date
JP2020202499A true JP2020202499A (ja) 2020-12-17
JP7356697B2 JP7356697B2 (ja) 2023-10-05

Family

ID=73742151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019108695A Active JP7356697B2 (ja) 2019-06-11 2019-06-11 画像観察システム

Country Status (1)

Country Link
JP (1) JP7356697B2 (ja)

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05341206A (ja) * 1992-06-09 1993-12-24 Olympus Optical Co Ltd 立体視内視鏡装置
JPH0630328A (ja) * 1992-07-08 1994-02-04 Nec Corp 画像端末制御システム
JPH07309577A (ja) * 1994-05-17 1995-11-28 Ohbayashi Corp クレーン用テレビモニタ装置
JPH09163192A (ja) * 1995-12-08 1997-06-20 Sony Corp 遠隔監視装置
JPH1014938A (ja) * 1996-07-04 1998-01-20 Olympus Optical Co Ltd 手術用顕微鏡
JPH10234057A (ja) * 1997-02-17 1998-09-02 Canon Inc 立体映像装置及びこれを含むコンピュータシステム
JP2004078125A (ja) * 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
WO2004061387A1 (ja) * 2002-12-27 2004-07-22 Hiroshi Arisawa 多視点ビデオキャプチャシステム
JP2005033319A (ja) * 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
JP2005100134A (ja) * 2003-09-25 2005-04-14 Canon Inc 複合現実感装置
JP2005099064A (ja) * 2002-09-05 2005-04-14 Sony Computer Entertainment Inc 表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置
JP2008005208A (ja) * 2006-06-22 2008-01-10 Nec Corp スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
WO2012002347A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
JP2012118188A (ja) * 2010-11-30 2012-06-21 Ditect:Kk 撮影システム
JP2013009111A (ja) * 2011-06-23 2013-01-10 Oki Electric Ind Co Ltd コミュニケーションシステム及びコミュニケーション装置
WO2013125122A1 (ja) * 2012-02-23 2013-08-29 富士フイルム株式会社 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法
JP2013223666A (ja) * 2012-04-23 2013-10-31 Hoya Corp 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
JP2014010227A (ja) * 2012-06-28 2014-01-20 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
WO2014163109A1 (ja) * 2013-04-03 2014-10-09 オリンパスメディカルシステムズ株式会社 ３ｄ映像を表示する内視鏡システム
JP2014197109A (ja) * 2013-03-29 2014-10-16 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法及びコンピュータプログラム
WO2015016166A1 (ja) * 2013-07-29 2015-02-05 国立大学法人浜松医科大学 立体視硬性内視鏡
JP2015065514A (ja) * 2013-09-24 2015-04-09 株式会社日立国際電気 映像監視システム
JP2016046780A (ja) * 2014-08-26 2016-04-04 オリンパス株式会社 画像記録装置
WO2017104320A1 (ja) * 2015-12-16 2017-06-22 ソニー株式会社 画像表示装置
JP2018031733A (ja) * 2016-08-26 2018-03-01 株式会社豊田中央研究所 距離計測装置及び距離計測方法
JP2018152738A (ja) * 2017-03-13 2018-09-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
JP2018160081A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 画像表示制御装置、画像表示制御方法、及びプログラム

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05341206A (ja) * 1992-06-09 1993-12-24 Olympus Optical Co Ltd 立体視内視鏡装置
JPH0630328A (ja) * 1992-07-08 1994-02-04 Nec Corp 画像端末制御システム
JPH07309577A (ja) * 1994-05-17 1995-11-28 Ohbayashi Corp クレーン用テレビモニタ装置
JPH09163192A (ja) * 1995-12-08 1997-06-20 Sony Corp 遠隔監視装置
JPH1014938A (ja) * 1996-07-04 1998-01-20 Olympus Optical Co Ltd 手術用顕微鏡
JPH10234057A (ja) * 1997-02-17 1998-09-02 Canon Inc 立体映像装置及びこれを含むコンピュータシステム
JP2004078125A (ja) * 2002-08-22 2004-03-11 Sharp Corp 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
JP2005099064A (ja) * 2002-09-05 2005-04-14 Sony Computer Entertainment Inc 表示システム、表示制御装置、表示装置、表示方法、およびユーザインタフェイス装置
WO2004061387A1 (ja) * 2002-12-27 2004-07-22 Hiroshi Arisawa 多視点ビデオキャプチャシステム
JP2005033319A (ja) * 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
JP2005100134A (ja) * 2003-09-25 2005-04-14 Canon Inc 複合現実感装置
JP2008005208A (ja) * 2006-06-22 2008-01-10 Nec Corp スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
WO2012002347A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
JP2012118188A (ja) * 2010-11-30 2012-06-21 Ditect:Kk 撮影システム
JP2013009111A (ja) * 2011-06-23 2013-01-10 Oki Electric Ind Co Ltd コミュニケーションシステム及びコミュニケーション装置
WO2013125122A1 (ja) * 2012-02-23 2013-08-29 富士フイルム株式会社 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法
JP2013223666A (ja) * 2012-04-23 2013-10-31 Hoya Corp 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
JP2014010227A (ja) * 2012-06-28 2014-01-20 Nec Saitama Ltd 携帯電子機器、その制御方法及びプログラム
JP2014197109A (ja) * 2013-03-29 2014-10-16 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法及びコンピュータプログラム
WO2014163109A1 (ja) * 2013-04-03 2014-10-09 オリンパスメディカルシステムズ株式会社 ３ｄ映像を表示する内視鏡システム
WO2015016166A1 (ja) * 2013-07-29 2015-02-05 国立大学法人浜松医科大学 立体視硬性内視鏡
JP2015065514A (ja) * 2013-09-24 2015-04-09 株式会社日立国際電気 映像監視システム
JP2016046780A (ja) * 2014-08-26 2016-04-04 オリンパス株式会社 画像記録装置
WO2017104320A1 (ja) * 2015-12-16 2017-06-22 ソニー株式会社 画像表示装置
JP2018031733A (ja) * 2016-08-26 2018-03-01 株式会社豊田中央研究所 距離計測装置及び距離計測方法
JP2018152738A (ja) * 2017-03-13 2018-09-27 株式会社小松製作所 表示システム、表示方法、及び遠隔操作システム
JP2018160081A (ja) * 2017-03-22 2018-10-11 日本電気株式会社 画像表示制御装置、画像表示制御方法、及びプログラム

Also Published As

Publication number Publication date
JP7356697B2 (ja) 2023-10-05

Similar Documents

Publication Publication Date Title
US11217028B2 (en) Surgeon head-mounted display apparatuses
US11030975B2 (en) Information processing apparatus and information processing method
US6891518B2 (en) Augmented reality visualization device
US9077973B2 (en) Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US9330477B2 (en) Surgical stereo vision systems and methods for microsurgery
US20190238827A1 (en) Eye gaze responsive virtual reality headset
JP2020516090A (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
CN104094162A (zh) 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
CN108828779B (zh) 一种头戴式显示设备
JP2008256946A (ja) 画像表示装置のための酔い防止装置
US20140285632A1 (en) Imaging device and method
TWI825891B (zh) 用於真實空間導航的擴增實境系統以及使用該系統的手術系統
US20210278671A1 (en) Head wearable device with adjustable image sensing modules and its system
WO2021105549A1 (en) Display apparatus and method of correcting image distortion therefor
JP2005312605A (ja) 注視点位置表示装置
Wibirama et al. 3D gaze tracking on stereoscopic display using optimized geometric method
US20210014475A1 (en) System and method for corrected video-see-through for head mounted displays
JP7356697B2 (ja) 画像観察システム
JP2008017348A (ja) 映像表示装置、映像信号の歪み補正処理方法
Schneider et al. Gaze-aligned head-mounted camera with pan, tilt, and roll motion control for medical documentation and teaching applications
JP2020081756A (ja) 顔画像処理装置、画像観察システム、及び瞳孔検出システム
JP6103743B2 (ja) ディスプレイ装置
JP2018125727A (ja) 顔画像処理装置
US20230147711A1 (en) Methods for generating stereoscopic views in multicamera systems, and associated devices and systems
JP2008017347A (ja) 映像表示装置、映像信号の歪み補正処理方法

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230915

R150 Certificate of patent or registration of utility model

Ref document number: 7356697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150