JP2000341721A - 奥行き画像計測装置、視差画像計測装置、複合現実感提示システム、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体 - Google Patents

奥行き画像計測装置、視差画像計測装置、複合現実感提示システム、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体

Info

Publication number
JP2000341721A
JP2000341721A JP2000085145A JP2000085145A JP2000341721A JP 2000341721 A JP2000341721 A JP 2000341721A JP 2000085145 A JP2000085145 A JP 2000085145A JP 2000085145 A JP2000085145 A JP 2000085145A JP 2000341721 A JP2000341721 A JP 2000341721A
Authority
JP
Japan
Prior art keywords
depth image
viewpoint position
image
depth
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000085145A
Other languages
English (en)
Other versions
JP3450792B2 (ja
Inventor
Kiyohide Sato
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MR SYSTEM KENKYUSHO KK
MR System Kenkyusho KK
Original Assignee
MR SYSTEM KENKYUSHO KK
MR System Kenkyusho KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MR SYSTEM KENKYUSHO KK, MR System Kenkyusho KK filed Critical MR SYSTEM KENKYUSHO KK
Priority to JP2000085145A priority Critical patent/JP3450792B2/ja
Publication of JP2000341721A publication Critical patent/JP2000341721A/ja
Application granted granted Critical
Publication of JP3450792B2 publication Critical patent/JP3450792B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 視点位置の整合性のとれた奥行き画像を出力
する。 【解決手段】 情景の奥行き情報を獲得するための奥行
き画像計測装置であって、第1の視点位置V0の前記情景
の第1の奥行き画像DV0を計測する奥行き画像生成手段
と、第2の視点位置Vuの視点位置情報を推定する位置情
報推定手段と、前記位置情報推定手段が推定した前記第
2の視点位置についての視点位置情報に基づいて、前記
奥行き画像生成手段により生成された前記第1の視点位
置での前記情景の前記第1の奥行き画像を、前記第2の
視点位置における第2の奥行き画像DVuに変形する変形
手段とを具備する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、現実空間の奥行き
情報を任意の視点位置で獲得するために必要な画像処理
技術に関する。本発明は更に矛盾のない複合現実感を観
測者に提供するために必要な画像融合処理技術に関す
る。本発明は更に画像処理のためのプログラムの記憶媒
体にも関する。
【0002】
【従来の技術】例えば、光学シースルーHMD(head mount
display)等を用いた複合現実感提示システムにおい
て、現実世界と仮想世界を3次元的に整合のとれた形で
融合しようとした場合、現実の物体と仮想物体の前後関
係を正しく認識して、その前後関係に矛盾しない形で仮
想物体を描画することが必要となる。そのためには、観
測者の視点から見た現実世界の奥行き情報(三次元情
報)を獲得する必要があり、さらに、その獲得は、実時
間に近い速度で行われる必要がある。
【0003】現実世界の奥行き情報の実時間計測手段と
して、いくつかの実時間ステレオ画像処理ハードウェア
を用いた奥行き画像計測装置が作成されている。例え
ば、"CMU Video-Rate Stereo Machine", Mobile Mappin
g Symposium, May 24-26, 1995, Columbus, OHは5台の
カメラからの画像に対してパイプライン処理を行って、
処理の高速化を図っている。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな奥行き画像計測装置は、その撮像部が非常に大掛か
りで重量があるため、観測者の頭部に装着することはで
きず、頭部から離れた位置に固定させる必要がある。従
って、観測者の1人称視点からみた奥行き情報を得るこ
とはできない。もし仮に、観測者の近くにこの装置を設
置し、そこから得られる奥行き画像をそのまま前後判定
に用いたとすると、奥行き画像計測装置のカメラ視点位
置と観測者の視点位置との相違に基づいて、計測された
奥行き情報にずれが生じてしまうため、合成される映像
は観測者に違和感を与えるものになってしまう。
【0005】第1図を用いて、この問題を詳しく説明す
る。第1図に於いて、400は実空間中の物体(例えば
ブロック)とし、複合現実感提示システム(不図示)
は、視点位置Vuにいる観測者500に、この実物体40
0の背後に仮想物体410を融合させて見せるための複
合現実感画像を提示するものとする。ここで、視点位置
Vuでは、観測者500にはシーン510が見えている。
また、視点位置V0に設置された奥行き画像計測装置60
0からはシーン511が見えており、カメラ視点位置V0
から観測したシーン511の奥行き画像521が複合現
実感提示システムへと出力されているものとする。
【0006】もし仮に、シーン510のごとき奥行き画
像(即ち、視点位置Vuから観測したこのシーンの奥行き
画像520)が得られているとすれば、複合現実感提示
システムは、この物体400の背後に、正しい隠れの関
係で仮想物体410を描画することができる(53
0)。しかし、この複合現実感提示システムが利用でき
る奥行き画像は、カメラ視点位置V0から観測した奥行き
画像521である。観測者視点位置Vuは、カメラ視点位
置V0に比して右側を向いており、シーン510に示すよ
うに、物体400は、シーン511で見えるであろう位
置と比べて、より左側に観測されることとなる、シーン
510に対応する奥行き画像520も、シーン511に
対応した奥行き画像521に比してずれたものとなる。
従って、奥行き画像521に従って現実世界と仮想世界
の前後判定を行うと、531に示すように、本来ならば
手前に実物体は存在しないので隠されるべきではない仮
想物体410の一部が、誤って隠されてしまったり、反
対に、本来隠されるべきではない現実物体の一部が誤っ
て隠されてしまうことになる。
【0007】
【課題を解決するための手段】本発明は、上記従来技術
の問題点を解決するために提案されたもので、その目的
は、位置ずれを起こさせることない、視点位置の整合性
のとれた奥行き画像を獲得することのできる奥行き画像
計測装置及び奥行き画像計測方法を提案する。
【0008】上記課題を達成するために、請求項1に記
載の本発明の、情景の奥行き情報を獲得するための奥行
き画像計測装置は、第1の視点位置の前記情景の奥行き
画像を計測する奥行き画像生成手段と、第2の視点位置
の視点位置情報を推定する位置情報推定手段と、前記位
置情報推定手段が推定した前記第2の視点位置について
の視点位置情報に基づいて、前記奥行き画像生成手段に
より生成された前記第1の視点位置での前記情景の奥行
き画像を、前記第2の視点位置における第2の奥行き画
像に変形する変形手段と、前記変形手段が生成した前記
第2の奥行き画像を出力する出力手段とを具備すること
を特徴とする。
【0009】観測者が第2の視点位置にいる場合には、
本発明の好適な一態様である請求項2に拠れば、前記第
2の視点位置は時間経過に従って移動する。
【0010】請求項1に記載の装置は、第1の視点位置
と第2の視点位置とを分離することを可能とする。換言
すれば、請求項3のように、観測者が複数いる場合で
も、その観測者が複数の第2の視点位置に存在すること
を可能にする。
【0011】本発明の好適な一態様である請求項5に拠
れば、前記第2の視点位置は、前記観測者の左右の視点
位置である。
【0012】本発明の好適な一態様である請求項6に拠
れば、前記第2の視点位置は、ビデオカメラの視点位置
である。この場合、前記ビデオカメラは、観測者の頭部
に装着されていることが好ましい。
【0013】一方、本発明の好適な一態様である請求項
8に拠れば、前記第2の視点位置は、観測者の左右の視
点に対応した2台のビデオカメラの視点位置である。
【0014】本発明の好適な一態様である請求項9に拠
れば、前記第1の視点位置は3次元位置の既知な位置に
固定されていることを特徴とする。第2の視点位置の位
置情報の推定が容易となる。
【0015】本発明の好適な一態様である請求項10に
拠れば、前記第1の視点位置は複数存在し、前記生成手
段は各々の前記第1の視点位置に対して前記第1の奥行
き画像を生成し、前記変形手段は、前記視点位置情報に
基づいて各々の前記第1の奥行き画像を変形統合し、前
記第2の奥行き画像を出力することを特徴とする。
【0016】本発明の好適な一態様である請求項11に
拠れば、前記奥行き画像生成手段は、前記第1の視点位
置を含む複数の視点位置からの画像を入力する第1の入
力手段を有し、前記第1の入力手段が入力した前記画像
にステレオ画像処理を施すことによって前記第1の奥行
き画像を生成する。
【0017】本発明の好適な一態様である請求項12に
拠れば、前記奥行き画像生成手段は、能動的なレンジフ
ァインダーによって前記第1の奥行き画像を生成する。
【0018】本発明の好適な一態様である請求項13に
拠れば、前記奥行き画像生成手段は、前記第1の視点位
置を含む複数の視点位置からの第1の画像を入力する第
1の入力手段を有し、前記第1の入力手段が入力した前
記第1の画像にステレオ画像処理を施すことによって前
記第1の奥行き画像を生成する第1の奥行き画像生成手
段と、能動的なレンジファインダーによって前記第1の
奥行き画像を生成する第2の奥行き画像生成手段とを有
することを特徴とする。
【0019】本発明の好適な一態様である請求項14に
拠れば、前記推定手段は、前記第2の視点位置から見た
第2の画像を入力する第2の入力手段をさらに有し、前
記第2の入力手段が入力した前記第2の画像に基づいて
前記視点位置情報を推定することを特徴とする。
【0020】本発明の好適な一態様である請求項15に
拠れば、前記推定手段は、前記第2の視点位置付近に装
着された視点位置センサからの位置信号を入力し、前記
視点位置センサからの前記位置信号に基づいて前記視点
位置情報を推定することを特徴とする。
【0021】本発明の好適な一態様である請求項16に
拠れば、前記推定手段は、前記視点位置情報として、前
記第1の視点位置から前記第2の視点位置への座標変換
行列を出力する。
【0022】本発明の好適な一態様である請求項17に
拠れば、前記変形手段は、前記視点位置情報に基づいた
3次元座標変換により、前記第1の奥行き画像上の点に
対応する前記第2の奥行き画像上の1点の座標値とその
奥行き値を算出する算出手段をさらに有する。
【0023】本発明の好適な一態様である請求項18に
拠れば、前記算出手段は、前記第1の奥行き画像上の全
ての点に対して、前記算出処理を行うことを特徴とす
る。
【0024】本発明の好適な一態様である請求項19に
拠れば、前記算出手段は、前記第1の奥行き画像上の一
部の点に対して、前記算出処理を行うことを特徴とす
る。
【0025】本発明の好適な一態様である請求項20に
拠れば、前記変形手段は、前記算出手段によって算出で
きなかった前記第2の奥行き画像上の各点の奥行き値を
補完する補完手段をさらに有する。
【0026】本発明の出力画像は奥行き画像に限られな
い、例えば請求項21のように、奥行き画像と共にステ
ータス画像が生成されても良い。或いは、請求項32の
ように、視差画像が奥行き画像の代わりに或いは奥行き
画像と共に生成されても良い。
【0027】一般的には奥行き画像などをコンピュータ
で演算するときには時間がかかる。換言すれば、第2の
奥行き画像を出力したときには、観測者は既に、視点位
置推定手段が推定した第2の視点位置から離れた、第3
の視点位置に移動している可能性が高い。そこで、請求
項22のように、観測者が移動するときには、前記第2
の視点位置が移動する場合において、前記視点位置推定
手段は、前記第2の視点位置の現時点よりも未来時刻で
の視点位置(第3の視点位置)を推定し、前記変形手段
は、前記第1の奥行き画像を、前記第3の視点位置にお
ける前記第3の奥行き画像に変形し出力する。
【0028】本発明の好適な一態様である請求項24に
拠れば、複数の視点からの奥行き画像を小数の観測者の
ために利用できるので、奥行き画像の精度が向上する。
【0029】本発明の他の目的は、三次元的に整合のと
れた複合現実感画像を提示することのできる複合現実感
提示システム及び複合現実感提示方法を提案する。
【0030】この目的のために、請求項25の複合現実
感提示システムは、請求項1乃至請求項24のいずれか
1項に記載の奥行き画像計測装置を含み、前記第2の奥
行き画像と前記視点位置情報に基づいて複合現実感画像
を生成するための複合現実感画像生成手段と、この生成
された複合現実感画像を表示するための表示器を具備し
たヘッドマウントデイスプレイを有し、前記観測者に
は、前記複合現実感画像が提示される。
【0031】更に、請求項25の複合現実感提示システ
ムが光学シースルー方式のヘッドマウントディスプレイ
を具備するときは、前記複合現実感画像生成手段が生成
する前記複合現実感画像は、前記第2の奥行き画像に基
づいて、現実物体の手前に来ると推定される点のみを可
視としながら前記視点位置情報に従って描画されたコン
ピュータグラフィック図形であることを特徴とする。
【0032】また、請求項25の複合現実感提示システ
ムがビデオシースルー方式のヘッドマウントディスプレ
イを具備するときは、前記複合現実感画像生成手段が生
成する前記複合現実感画像は、前記第2の奥行き画像に
基づいて、現実物体の手前に来ると推定される点のみを
可視としながら前記視点位置情報に従って描画されたコ
ンピュータグラフィック図形を、前記第2の視点位置で
撮影した画像に重畳した画像であることを特徴とする。
【0033】上記目的は、上記奥行き画像計測装置を制
御するための奥行き画像計測方法、或いは、この方法を
コンピュータによって実現するプログラムを記憶する記
憶媒体によっても達成される。
【0034】上記目的は複合現実感提示システムを制御
する複合現実感提示方法、或いは、この方法をコンピュ
ータによって実現するプログラムを記憶する記憶媒体に
よっても達成される。
【0035】本発明の他の目的は、特許請求の範囲に記
載の他の構成の発明によって達成される。
【0036】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明を適用した好適な実施形態に係る画像処理装置を
説明する。
【0037】第2図は、実施形態に係る画像処理装置2
00の原理的構成を示す。奥行き画像計測部100は、
前方のシーンをステレオ撮影するための2台のカメラ1
01R,101Lを有する。夫々のカメラで撮影された実
空間のシーンを表す画像信号はIR,ILとして奥行き推定
モジュール102に送られる。奥行き推定モジュール1
02は、画像信号IR,ILを入力として、カメラ101R
の視点位置(視点位置V0)における奥行き画像DV0を推
定する。奥行き画像計測部100は、奥行き画像修正部
120に奥行き画像DV0を出力する。
【0038】この画像処理装置は、観測者とは切り離さ
れ固定位置におかれるもので、一方、観測者は頭部に三
次元位置方位センサ112を装着する。三次元位置方位
センサ112と画像処理装置200とは信号を伝送する
バスラインを含むケーブルで接続されている。
【0039】視点位置推定部110は、観測者500の
視点位置Vuを推定し奥行き画像修正部120に出力す
る。視点位置推定部110は、センサ112の位置
(xS,yS,zS)と方位(ωS,φS,κS)(以下ではこ
れらをまとめて視点位置VSと呼ぶ)を入力し、あらかじ
め計測しておいたところの、センサ112と観測者50
0の視点位置との相対的な位置関係(オフセットVOFF
をセンサ自身の視点位置VSに付加することにより、観測
者500の視点位置Vuを推定する。
【0040】奥行き画像修正部120は、奥行き画像計
測部100が計測した奥行き画像DV 0に変形処理を施
し、視点位置推定部110が推定した観測者の視点位置
Vuにおける奥行き画像DVuに変形する。この変形処理の
具体的動作については後述する。
【0041】以上によって、観測者の頭部に重量の重い
奥行き計測装置の撮像部を装着することなく、観測者の
視点位置から見た奥行き画像を得ることが可能となる。
以上が、本実施形態の基本原理の説明である。
【0042】第3図を用いて、第1図に示した環境に対
して第2図の実施形態装置を適用した場合の同装置の動
作を説明する。即ち、光学シースルー方式の複合現実感
提示システムのために第2図の画像処理装置を用いるこ
とを考える。この場合、画像計測装置200より出力さ
れた奥行き画像Dvuと、視点位置推定部110より出力
された観測者500の視点位置情報Vuは、複合現実感提
示システムの画像生成モジュール(不図示)へと入力され
る。更に、観測者500は頭部に光学シースルー方式の
HMD(不図示)を装着しており、画像生成モジュールが生
成した仮想世界の映像はHMDへ伝送され、観測者500
へ提示される。本発明の奥行き画像推定をビデオ・シー
・スルー方式のHMDに適用する場合については別の実施
形態で説明する。
【0043】第2図の画像処理装置の視点位置推定部1
10は、第1図に示された環境における観測者500の
視点位置Vuを推定する。また、奥行き画像修正部120
は、奥行き画像計測部100によって得られたカメラ1
01Rの視点位置V0における奥行き画像521を、観測
者視点位置Vuで得られるであろう奥行き画像522(第
3図を参照)に変形する。上記変形した奥行き画像52
2は、視点位置Vuからの奥行き画像520(第1図を参
照)に類似するはずである。従って、この変形奥行き画
像522に基づいて前後関係を判定しながら仮想物体を
描画して観測者に提示することで、視点位置Vuにおい
て、仮想物体410が実物体400と正しい前後関係に
あるように、複合現実感画像を観測者の眼に映ずること
ができる。
【0044】
【実施例】以下に、上記第1図および第2図に関連して
説明した実施形態の原理を適用した更に具体的な実施例
装置を3つあげて説明する。
【0045】第1実施例の装置は、実施形態の原理をよ
り具体的に、かつ、奥行き画像生成の部分に限定して説
明した奥行き画像生成装置である。
【0046】第2実施例と第3実施例の装置は、奥行き
画像を実空間とズレなくリアルタイムで生成する実施形
態の原理を複合現実感提示システムに適用したものであ
る。即ち、第2実施例は、光学シースルー方式のHMDを
用いた光学シースルー方式の複合現実感提示システムで
あり、第3実施例は、ビデオシースルー方式のHMDを用
いたビデオシースルー方式の複合現実感提示システムで
ある。
【0047】〈第1実施例〉 第4図は、第1実施例の
奥行き画像生成のための画像処理装置300のブロック
図を示す。第1実施例の画像処理装置300は、第2図
の実地形態と異なり、奥行き画像生成のための視点位置
の計測対象は、観測者500ではなく、カメラ113で
ある。この画像処理装置300は、カメラ113が観測
する画像IVCに対応した奥行き画像DVCを生成する。要素
111は、観測者ではなく台座を表すものとし、台座1
11にセンサ112とカメラ113が装着されているも
のとする。
【0048】第1実施例の視点位置推定部110の動作
を説明する。第5図は、視点位置推定部110の制御手
順を示す。
【0049】台座111に装着された位置センサ112
は、センサ112自身の視点位置Vs(xs,ys,zs
ωs,φs,κs)を連続的に出力する(ステップS1
0)。尚、ω,φ,κは第6図に示すように夫々X軸,
Y軸,Z軸周りの回転角度である。
【0050】視点位置推定部110は、位置センサ11
2から視点位置Vsを入力して、これに、前述のオフセッ
トVOFFを付加することでカメラ113の視点位置Vcを出
力する。即ち、視点位置推定部110は、台座111上
のセンサ112の視点位置Vsから、対応するビューイン
グ変換行列(即ち、世界座標系から視点座標系への変換
行列)Msを、
【0051】[EQ1]
【0052】として算出する(ステップS12)。
【0053】位置センサ112の視点位置Vsとカメラ1
13の視点位置VcとのオフセットΔVCS=(ΔxCS,Δy
CS,ΔzCS,ΔωCS,ΔφCS,ΔκCS)は、システム構
築時にあらかじめ測定することが出来るのでMSの演算時
点では既知である。このオフセットに対応する変換行列
をΔMCSとすると、カメラ113の視点位置VCに対応す
るビューイング変換行列Mcは、
【0054】[EQ2] MC = ΔMCS・MS
【0055】として求める事が出来る(ステップS1
4)。
【0056】最後に、視点位置推定部110は、EQ2の
行列Mcを視点位置Vcの視点位置情報として、奥行き画像
修正部120に出力する(ステップS16)。
【0057】奥行き画像計測部100は、カメラ101
Rとカメラ101Lと奥行き画像推定モジュール102か
ら構成される。奥行き画像推定モジュール102は、カ
メラ101R(既知の視点位置V0にある)とカメラ10
1Lから入力した画像信号IR(IV0),ILを夫々入力し
て、これらの画像信号IR,ILに基づいて周知の三角測量
の原理で奥行き情報を演算する。
【0058】第7図は奥行き推定部100の制御手順で
あって、奥行き画像DV0を生成出力する。
【0059】即ち、ステップS20で、右側カメラで捉
えた画像IR上の点(XR i,YR i)の、画像IL上での対応点(X
L i,YL i)を探索する。ここで、1対の対応点とは、対象
物体の同一点からの投影像を記録する画素である。
【0060】ステップS22では、ステップS20で対
応付けられた点の組(XR i,YR i)と(X L i,YL i)について三
角測量を適用し、カメラ101Rから見た点(XR i,YR i)
の奥行き値Ziを求める。尚、この例ではカメラ101R
での視点を基準にしているが、カメラ101Lからの奥
行きを求めるように変更することは容易である。
【0061】ステップS24では、得られた奥行き値Zi
を、奥行き画像DV0の座標(XR i,YR i)に格納する。これ
らの処理を画像IR内の全ての画素または特徴的な画素に
ついて行うことで、奥行き画像DV0を生成し、奥行き画
像修正部120に出力する(ステップS28)。
【0062】第2図に示すように、奥行き画像修正部1
20は、奥行き画像計測部100から受け取ったところ
の、カメラ101での視点位置V0における奥行き画像D
V0を、台座111に装着されたカメラ113での視点位
置Vcにおける奥行き画像DVCに変形(warping)する。
【0063】奥行き画像修正部120における処理の原
理は以下のようである。視点位置V0で獲得された奥行き
画像DV0を空間に逆投影して、視点位置Vcに想定した撮
像面に再度投影することが(即ち、奥行き画像DVCに対
応する出力画像上の点(xi’,yi’)に奥行き値ZDiを与
えることが)、奥行き画像修正部120の基本的な動作
である。
【0064】奥行き画像修正部120は、まず第一に、
視点位置推定部110より入力されるカメラ113の視
点位置情報Mc(前述したように、カメラ113の視点位
置は変換行列Mcとして得られている)と、既知の情報と
してあらかじめ入力されているカメラ101Rの視点位
置V0を表す視点位置情報M0に基づいて、カメラ101R
の視点位置V0からカメラ113の視点位置Vcへと移動す
るような三次元運動ΔMを、
【0065】[EQ3]ΔM =MC・Mo −1 と推定する。カメ
ラ101Rの焦点距離をf0とする。また、カメラ101R
の視点位置V0での奥行き画像DV0の任意の点(xi,yi)で
の値がZi=DV0(xi,yi)であったとすると、第8図から
明らかなように、この点(xi,yi)は次式に従って、カメ
ラ101Rの撮像面上の点(xi,yi,f0)から、視点位置
V0におけるカメラ101Rの視点座標系における3次元
空間中の点(Xi”,Yi”,Zi”)に、
【0066】[EQ4]
【0067】に変換される。この点(Xi”,Yi”,
Zi”)は、視点位置V0からカメラ113の視点位置Vcへ
と移動するような三次元運動の行列ΔMが表す3次元座
標変換により、視点位置Vcにおけるカメラ113の視点
座標系において、
【0068】[EQ5]
【0069】で表される3次元空間中の点(XDi,YDi,Z
Di)に移動する筈である。カメラ113の焦点距離がfC
であったとすると、カメラ113の視点位置Vcでの視点
座標系の点(XDi,YDi,ZDi)は、第9図に示すように、
下記式で表される画像面上の点(xi’,yi’)に投影さ
れるはずである。
【0070】[EQ6]
【0071】従って、ZDiを、変形された奥行き画像DVC
(xi’,yi’)の画素値として出力する。
【0072】第10図は、カメラ101Rでの奥行き画
像DV0をカメラ113の視点での奥行き画像DVCに変換す
るための、奥行き画像修正部120の処理手順を説明す
る。
【0073】まず、ステップS30において、奥行き画
像DV0の1つの点(xi,yi)を取り出し、ステップS32
で、EQ4に従って、この点を視点位置V0におけるカメラ
101の視点座標系に逆射影する。即ち、カメラ101
の視点座標系における点(xi,yi)の座標(Xi”,Yi”,Z
i”)を求める。ステップS34では、点(Xi”,Yi”,
Zi”)の、視点位置Vcにおけるカメラ113の視点座標
系からみた座標(XDI,YDI,ZDI)をEQ5に従って求め
る。次に、ステップS36でEQ6に従って奥行き画像の
変形後の位置(xi’,yi’)を求め、ステップS38で
は、この出力画像D VC上の画素(xi’,yi’)をZDiで埋
める。これらの処理を奥行き画像DV0上の全ての点に対
して施すことにより、warping処理、即ち、奥行き画像
の変形が達成される。
【0074】尚、例えば(xi1,yi1)と(xi2,yi2)とい
う奥行き画像DV0上の複数の点が変形後に出力画像DVC
で同一の座標に投影された場合には(すなわち、
(xi1’,y i1’)=(xi2’,yi2’)となった場合に
は)、奥行き値(ZDi1,ZDi2)の小さな点の(すなわ
ち、より視点位置に近い点の)奥行き値をこの画素の値
とすればよい。
【0075】また、変形後の奥行き画像DVCの画素の中
には、DV0上に対応点が存在しないために画素値が与え
られない画素が存在し、その結果奥行き画像DVCが「穴
あき」状態になってしまう場合がある。この「穴あき」
状態は、値の欠落した画素の画素値を値の得られている
周辺の画素の画素値の線形補間で補うことで、解消する
ことができる。また、例えば、"View Interpolation fo
r Image Synthesis" (S. E. ChenとL. Williams, In P
roceedings of SIGGRAPH 93, pages 279-288, Anaheim,
California, August 1993)の手法を用いることによっ
ても、この穴あき状態を解消することができる。
【0076】〈第1実施例の変形例〉 変形例1:第1実施例では、奥行き画像計測部100
は、右側のカメラ101Rの視点位置をV0としている
が、いずれのカメラを基準とした奥行き画像を用いても
よい。
【0077】変形例2:また、第1実施例では奥行き画
像計測部100は、2眼ステレオカメラを用いている
が、カメラ101の数は2個に限られることはない。奥
行き推定の精度を上げるためには、2個以上の方が好ま
しい。例えば、前述の"CMU Video-Rate Stereo Machin
e"に開示されているような多眼ステレオ法、或いはアク
ティブなレンジファインダを用いてもよい。また、奥行
き画像を計測できれば、他のいかなる装置、手法を用い
てもよい。
【0078】変形例3:また、第1実施例では、カメラ
113の視点位置は、3次元センサ112の出力に基づ
いて視点位置推定部110が推定した。カメラ113の
視点位置を、カメラ113自身の出力を用いて推定する
方法を提案する。第4図において、視点位置推定部11
0への他方の入力経路は、台座111に装着されたカメ
ラ113からの画像信号IVCである。視点位置推定部1
10が画像信号IVCを入力する場合には、視点位置推定
部110はこの画像信号IVCからカメラ113の視点位
置Vcを推定するように変更することができる。この場
合、視点位置推定部110は、時系列で入力される三次
元位置方位センサ112あるいはカメラ113のいずれ
かからの信号に基づいて、カメラ113の視点位置Vcを
時系列で抽出する。この場合、位置センサ112を装着
しない構成も考えられる。また、位置センサ112とカ
メラ113からの信号を併用して、視点位置Vcを求める
手法を用いることもできる。
【0079】1つのカメラを用いてカメラの視点位置を
求める手法は、例えば、4つの位置が既知のランドマー
クをカメラによって撮像し、これらのランドマークの画
像座標から視点位置を求める手法として、例えば、ラン
ドマークの見かけの大きさsiが視点からランドマークま
での距離に反比例することを利用した、Mellor(J. P.
Mellor: “Realtime camera calibration for enhanced
reality visualization,” Proc. CVRMed ’95, pp.47
1-475, 1995.)の方法がある。
【0080】変形例4:また、台座111は必ずしも必
要ではない。カメラ113に位置センサ112を装着し
てもよいし、カメラ113の信号から視点位置Vcを推定
する場合には位置センサ112を装着する必要もない。
【0081】変形例5:また、第1実施例では、奥行き
画像を推定する視点位置はカメラ113の視点位置のみ
であったが、用途によっては、第11図に示すように、
独立して移動する複数のカメラ(113A,113B,1
13C,...)の視点位置からの奥行き画像を生成しても
よい。この場合、夫々に対応する台座(111A,11
1B,111C,...)に3次元センサ(112A,112
B,112C,...)を装着し、夫々のカメラの視点位置V
cA,VcB,VcC,...に対応する奥行き画像DVC A,DVC B,D
VC C,...を、対応する視点位置推定部(110A,11
0B,110C,...)や奥行き画像修正部(120A,1
20B,120C,...)によって推定する。
【0082】第11図の設定では、画像処理装置300
は、1台で複数の観測者のカメラについての奥行き画像
を生成するので、奥行き画像サーバとして機能する。
【0083】変形例6:また、第1実施例では、1つの
台座に装着されるカメラはカメラ113のみであった。
このカメラは1台に限定する必要はなく、例えば、左右
2台のカメラ113Lと113Rを台座に装着し、夫々の
視点位置VcL,VcRに対して上記と同様の処理を行い、夫
々の視点位置での奥行き画像DVC L,DVC Rを求めてもよ
い。さらに、3台以上のカメラを装着する場合も同様に
行うことができる。
【0084】変形例7:また、奥行き画像を推定する視
点位置は、カメラ113の視点位置に限定する必要はな
い。用途に応じて、台座111のセンサ位置Vsから任意
のオフセットを付加した視点位置を設定し、その視点位
置での奥行き画像を求めてもよい。さらに、複数の視点
位置を設定し、夫々の視点位置での奥行き画像を求める
事もできる。
【0085】尚、画像処理装置200は必ずしも固定で
ある必要はない。但し、可動の場合は、視点位置推定部
110は更に、カメラ101Rの視点位置VOを表わす視
点位置情報MOをリアルタイムで推定し、奥行き画像修正
部へと出力する必要がある。カメラ101Rの視点位置V
Oを表わす視点位置情報MOの推定は、例えば、カメラ1
01Rに三次元位置方位センサ103を装着することで
行うことができる。
【0086】変形例8:視点位置推定部の出力は、視点
の位置方位の情報を含むものであれば座標変換行列の形
式でなくともよく、他のいかなる形式であっても良い。
例えば、位置と方位の情報(Xc、Yc、Zc、ωc、
φc、κc)をそのまま出力するように構成しても良
い。
【0087】変形例9:上記第1実施例(第4図)は奥
行き画像計測部は1台が設けられていたが、奥行き画像
計測部は1組に限られることはない。第12図に示すよ
うに、2組以上の奥行き画像計測部100A,100
B,...を視点V0 A,V0 B,...に設置し、夫々から得られ
る奥行き画像DV0 A,DV0 B,...を用いて奥行き画像DVC
生成することで、精度を向上させることができる。
【0088】第13図に、複数の奥行き画像DV0 A
DV0 B,...を用いて、一台のカメラのための奥行き画像D
VCを生成するための奥行き画像修正部120の制御手順
を示す。
【0089】まず、ステップS40において、各奥行き
画像計測部100A,100B,...から奥行き画像
DV0 A,DV0 B,...を入力する。次に、ステップS42に
おいて、第9図の処理手順により、夫々の奥行き画像に
基づいて、視点位置Vcに対応する奥行き画像DVC A
DVC B,...を生成する。さらに、ステップS44で、生
成された奥行き画像DVC A,DVC B,...を統合すること
で、奥行き画像DVCを生成する。ステップS46では、
奥行き画像DVCに生じた穴埋め処理を行い、最後にステ
ップS48で、奥行き画像DVCを出力する。
【0090】第13図ステップS44の統合処理は、様
々な方法で行うことができる。例えば、奥行き画像
DVC A,DVC B,...の同一座標の画素値の単純な平均値をD
VCの画素値とすればよい。ただしこの場合は、値の得ら
れていない画素を参照しない。また、奥行き画像DVC A
DVC B,...の同一座標の画素値の最小値をDVCの画素値と
してもよい。
【0091】または、視点位置V0 A,V0 B,...の中からV
cに最も近い視点位置を選び、この視点位置によって得
られる奥行き画像をDVCとし、このDVCの中で値の得られ
ていない画素についてのみ、残りの視点位置から得られ
る奥行き画像の同一座標の画素値によって補完すること
もできる。本変形例における奥行き画像計測部100
は、前述の2眼ステレオカメラや多眼ステレオカメラ、
アクティブなレンジファインダのように奥行き画像を計
測可能な手段であればいかなる装置、方法を用いてもよ
い。また、奥行き画像計測部100を100A、100
B、・・・と複数設け、これらを組み合わせて用いるこ
ともできる。
【0092】〈第2実施例〉 第2実施例は、第2図の
実施形態の原理を光学シースルー方式の複合現実感提示
システムに適用したものである。第14図は、第2実施
例のシステムを示すブロック図であり、第2図と同じ番
号の要素は実施形態の要素と同じである。ただし、第1
4図中の要素111は光学シースルー方式のHMDを表す
ものとする。
【0093】第14図を参照して、第2実施例は、HMD
111、画像処理装置700、画像生成モジュール40
0、三次元CGデータベース401によって構成される。
HMD111は、光学シースルー方式であるために、右目
用画像を表示するLCD114Rと左目用画像を表示するLC
D114Lが設けられている。また、視点位置を精度よく
検出するために、三次元位置方位センサ112がHMD1
11に設けられている。
【0094】第2実施例の画像処理装置700は、第1
4図に示すように、実施形態の画像処理装置200(第
2図)に比して、以下の点が異なっている。まず第1
に、画像処理装置700が出力しようとする奥行き画像
は、観測者500(不図示)の左右の視点位置Vu R,Vu L
における奥行き画像である。第2に、視点位置推定部1
10の出力が、奥行き画像修正部120のみならず画像
生成モジュール400にも出力されている。即ち、視点
位置推定部110は画像生成モジュール400に対し
て、画像提示時における観測者500の左右の視点位置
Vu R,Vu Lを表す行列Mu R,Mu Lを出力する。さらに奥行き
画像修正部120は、視点位置推定部110から入力し
た行列Mu L、Mu Rが表わす観測者500の左右の視点位置
Vu R、Vu Lの夫々に対応した奥行き画像DVu R,DVu Lを生成
し、画像生成モジュール400へと出力する。
【0095】画像生成モジュール400は、視点位置推
定部110から入力した行列MU L、M U Rが表す視点位置Vu
R,Vu LをCG描画の視点位置として、また、画像処理装置
700より入力した奥行き画像DVu R,DVu Lが表現する現
実世界の物体までの距離にしたがって、三次元CGデータ
ベース401を用いて複合現実感画像を生成し、これを
LCD114へと提示する。
【0096】三次元CGデータベース401は、例えば第
1図に示した仮想物体410のCGデータを記憶する。
【0097】第2実施例の視点位置推定部110は、HM
D111を装着した際の観測者500の左右の視点位置V
u R,Vu Lを表すビューイング変換行列Mu R,Mu Lを、奥行
き画像修正部120と画像生成モジュール400に出力
する。ビューイング変換行列Mu R,Mu Lを求めるための処
理は、視点位置が観測者500の左右の視点位置である
ことを除けば、第1実施例のそれと同じであるので、説
明を省略する。
【0098】第2実施例の奥行き画像計測部100の処
理は第1実施例のそれと同じであるので、説明を省略す
る。
【0099】第1実施例と異なり、第2実施例における
変形後の奥行き画像は、観測者の視点位置からLCD11
4を通して観測される現実世界の奥行き画像である。即
ち、観測者の視点に等価な仮想的なカメラを想定し、そ
の仮想カメラの焦点距離をfU( Uはユーザ(観測者)を
表す)で表わした場合に、視点位置V0で獲得された奥行
き画像DV0を空間に逆投影して、視点位置Vuに想定した
焦点距離fUの仮想カメラの撮像面に再度投影すること
が、第2実施例における奥行き画像修正部120の動作
である。
【0100】この動作は、奥行き画像DVuへの投影を表
すEQ6におけるカメラ113の焦点距離fCの値を、仮想
カメラの焦点距離fUに置き換えることによって達成され
る。即ち、
【0101】[EQ7]
【0102】によって得ることができる。
【0103】さらに、第1実施例に比して、第2実施例
の奥行き画像修正部は以下の点が異なっている。即ち、
第14図に示すように、視点位置を表す行列Muとして、
第2実施例の奥行き画像修正部120には、観測者50
0の左右の視点位置Vu R,Vu Lに対応する2つの行列
Mu R,Mu Lが入力され、奥行き画像として、左右の視点位
置Vu R,Vu Lに対応する2つの奥行き画像DVu R,DVu Lが出
力される。これは、左右の視点に対して夫々独立に上記
の奥行き修正処理を行うことで実現される。
【0104】第15図は第2実施例の画像生成モジュー
ル400の構成を示す。まず、観測者の右眼に提示され
るLCD114Rへの表示画像の生成について説明する。
【0105】画像生成モジュール400は、三次元CGデ
ータベース401からのCGデータと、視点位置推定部1
10から入力したMU Rが表わす観測者500の右眼の視
点位置Vu Rに基づいて、そのCGの濃淡画像(或いはカラ
ー画像)と奥行き画像を生成する。生成された濃淡画像
(或いはカラー画像)はマスク処理部403に、奥行き
画像は前後判定処理部404に送られる。
【0106】前後判定処理部404は、奥行き画像修正
部120からの変形された奥行き画像DVu Rをも入力す
る。この奥行き画像DVu Rは実空間の奥行き情報を表す。
従って、前後判定処理部404は、表示されるべきCG画
像の奥行きと実空間の奥行きとを画素ごとに比較して、
現実の奥行きがCGの奥行きより手前になる全ての画素に
“0”を、手前にならない画素に“1”を設定したマス
ク画像を生成して、マスク処理部403に出力する。
【0107】マスク画像上のある座標の画素値が0であ
るということは、CG画像上の同一座標に描画されたCG図
形が現実空間の物体より後ろにあり、CG図形は隠されて
いて見えないはずであると判断されたことに相当する。
【0108】マスク処理部403は、マスク画像に基づ
いて、CG画像をマスク処理する。即ち、マスク画像上の
各々の座標について、その座標の画素値が0であれば、
CG画像上の同一座標の画素値を0に設定する。マスク処
理部403からの出力はLCD114Rに出力される。
【0109】観測者の左眼に提示されるLCD114Lへの
表示画像の生成も、同様の過程で行われる。かくして、
第2実施例の装置によれば、観測者の視点位置における
奥行き画像に基づいてCG画像のマスク処理が施されるの
で、現実空間とCG画像との矛盾のない複合現実感を与え
ることができる。
【0110】尚、第2実施例では、観測者の左右の眼に
別個の映像を提示する例を示したが、単眼の表示系をも
つ光学シースルー方式の複合現実感提示システムの場合
には、観測者の一方の眼にのみ対応した処理を行えばよ
い。
【0111】尚、画像生成モジュール400は必ずしも
第15図の構成をとらなくてもよく、奥行き画像DVu R
考慮して、現実物体の手前に来ると推測される点のみを
可視としながら視点位置Vu Rに対応したコンピュータグ
ラフィック図形を描画して出力するものであれば、周知
のコンピュータグラフィック手法を用いたいずれの構成
をとってもよい。例えば、奥行き画像DVu Rをデプスバッ
ファに入力し、その後に視点位置Vu Rに対応したコンピ
ュータグラフィック図形を描画することでも、同様の動
作が実現できる。
【0112】〈第3実施例〉 第3実施例は、第2図の
実施形態の原理をビデオシースルー方式の複合現実感提
示システムに適用したもので、その構成は第16図に示
される。
【0113】第16図に示された第3実施例のシステム
の構成要素は、構成的には、第14図の第3実施例のシ
ステム構成と比較すれば、前者(第3実施例)は、HMD
111が遮蔽型になっている点、位置センサ112の代
わりにカメラ113L,113Rを有しており、視点位置
推定部110がカメラ113L,113Rが取得した画像
から夫々のカメラの視点位置VcR,VcLを推定できるよう
にした点で、後者(第3実施例)と異なる。また、第3
実施例は、ビデオシースルー方式を採用しているること
から、画像生成モジュール400の構成も後述するよう
に第3実施例と異なり、更に、LCD114に表示すべき
画像の一部はカメラ113から得ることとなる。
【0114】第3実施例の視点位置推定部110(第1
6図)は、HMD111に装着された左右のカメラ113
R,113Lの視点位置VcR,VcLを表すビューイング変換
行列McR,McLを、奥行き画像修正部120と画像生成モ
ジュール400に出力する。
【0115】第1実施例と第2実施例の視点位置推定部
110は位置センサ112によって視点位置を検出して
いたが、この第3実施例の視点位置推定部110は、カ
メラ113R,113Lからの画像に基づいて視点位置を
推定する。
【0116】画像情報に基づいて視点位置を推定する手
法には色々のものがある。例えば、実空間上の位置が既
知の特徴点の画像内における座標値の変化を追跡するこ
とによって、視点位置の移動を推定することができる。
【0117】例えば、第17図では、実空間に存在する
物体600は特徴点として頂点Q1,Q2,Q3を有するもの
とする。頂点Q1,Q2,Q3の実空間上での座標値は既知で
あるとする。時刻t1における頂点Q1,Q2,Q3の画像上
での夫々の座標値と、それら頂点の既知の実空間上での
座標値から、視点Vt1を演算することができる。また、
カメラが移動して時刻t2において同図に示すような画
像が得られたとしても、同じようにして、視点位置Vt2
を計算することができる。
【0118】尚、上記手法で用いられる既知の特徴点の
数は、アルゴリズムによって変更されるべきである。例
えば、" A self-tracking augmented reality system "
(U. NeumannとY. Cho, In Proceedings VRST'96, pag
es 109-115, 1996)のアルゴリズムでは3点の特徴点
が、"画像中の特徴点に基づく実写画像とCG画像との動
画像合成システム" (中沢,中野,小松,斎藤,映像情
報メディア学会誌,Vol.51,No.7,pages 1086-1095,1
997)のアルゴリズムでは4点の特徴点が必要とされる。
さらに、左右のカメラ113で撮影された2枚の映像か
ら、視点位置を推定する手法(例えば、"Superior augm
ented reality registration by integrating landmark
tracking and magnetic tracking," (A. State et a
l., Proceedings SIGGRAPH'96, pages 429-438, 199
6))を用いることも可能である。
【0119】かくして、第3実施例の視点位置推定部1
10も、カメラ113R,113Lの視点位置VcR,VcL
得た後は、第1実施例と同様の処理にしたがって、カメ
ラ113R,113Lの視点位置VcR,VcLを表すビューイ
ング変換行列McR,McLを、夫々、奥行き画像修正部12
0と画像生成モジュール400に出力する。
【0120】第3実施例の奥行き画像計測部100の処
理は第1実施例のそれと同じであるので、説明を省略す
る。
【0121】第3実施例の奥行き画像修正部120は、
カメラ113R,113Lの視点位置VcR,VcLを表すビュ
ーイング変換行列McR,McLと、視点位置V0における奥行
き画像DV0を入力し、左右の視点位置に対応する2つの
奥行き画像DVC R,DVC Lを出力する。
【0122】ただし、視点位置はカメラ113の視点位
置であるので、奥行き画像DVCへの投影を表す第6式に
おける焦点距離には、カメラ113の焦点距離fCの値を
用いればよい。
【0123】第18図に第3実施例の画像生成モジュー
ル400の構成を示す。第3実施例の画像生成モジュー
ル400(第15図)と比較すると、第3実施例のCG描
画部402と前後判定処理部404は第3実施例のそれ
らと実質的に同一である。一方、融合処理部405は、
カメラ113からの実空間の画像とCG描画部402から
の画像とを融合して出力する。
【0124】説明を簡単にするために、観測者の右眼に
提示されるLCD114Rへの表示画像の生成についてのみ
説明する。LCD114Lへの表示画像の生成も同様の手続
きによって行われる。
【0125】第3実施例の画像生成モジュール400
は、三次元CGデータベース401からのCGデータと、視
点位置推定部110から入力した行列MC Rが表すカメラ
113Rの視点位置VcRに基づいて、そのCGの濃淡画像
(或いはカラー画像)と奥行き画像を生成する。生成さ
れた濃淡画像(或いはカラー画像)は融合処理部405
に、奥行き画像は前後判定処理部404に送られる。
【0126】前後判定処理部404の処理は第3実施例
のそれと同じであるので、説明を省略する。但し、第3
実施例では、前後判定処理部404が出力する画像を、
マスク画像ではなく前後判定画像と呼ぶ。
【0127】融合処理部405は、前後判定画像に基づ
いて、描画部402からのCG画像(濃淡或いはカラー画
像)とカメラからの実空間の濃淡画像(或いはカラー画
像)IVc Rとを融合する。即ち、前後判定画像上の各々の
座標について、その座標の画素値が1であれば、CG画像
上の同一座標の画素値を出力画像上の同一座標の画素値
に、画素値が0であれば、実画像上の同一座標の画素値
を出力画像上の同一座標の画素値へと設定する。融合処
理部405からの出力はLCD114Rに出力される。
【0128】尚、画像生成モジュール400は必ずしも
第18図の構成をとらなくてもよく、奥行き画像DVc R
考慮して、現実物体の手前に来ると推測される点のみを
可視としながら視点位置Vc Rに対応したコンピュータグ
ラフィック図形を描画して、実空間の濃淡画像(或いは
カラー画像)IVc Rに重畳して出力するものであれば、周
知のコンピュータグラフィック手法を用いたいずれの構
成をとってもよい。例えば、実空間の濃淡画像(或いは
カラー画像)IVc Rを描画した後に、奥行き画像DVc Rをデ
プスバッファに入力し、その後に視点位置Vc Rに対応し
たコンピュータグラフィック図形を描画することでも、
同様の動作が実現できる。
【0129】かくして、第3実施例の装置によれば、観
測者の視点位置における奥行き画像に基づいて融合処理
が施されるので、現実空間の画像とCG画像との矛盾のな
い複合現実感を与えることができるという、第3実施例
と同様な効果を発揮することができる。
【0130】尚、第3実施例では、観測者の左右の眼に
左右のカメラ113R,113Lの映像に基づいた映像を
提示する例を示したが、単眼のLCD114を持つビデオ
シースルー方式の複合現実感提示システムの場合には、
カメラ113を1台のみ装着し、観測者の一方の眼にの
み対応した処理を行えばよい。また、左右の目に対応し
たLCD114L,114Rを持つビデオシースルー方式の
複合現実感提示システムの場合でも、単眼のカメラ11
3から得られる映像のみを処理し、同一の映像をLCD1
14L,114R双方に表示することも可能である。
【0131】(第3の実施例の変形例) 変形例1:上
記第3実施例では、カメラ113はHMD111に装着
されていたが、HMD111を用いずに、カメラ113
が取得した画像に対してコンピュータグラフィック図形
を重畳し、据え置き型のディスプレイ装置に提示するよ
うな、カメラがディスプレイに装着されていないタイプ
の複合現実感提示システムにおいても、本発明を適用す
ることができる。この場合、画像生成モジュール400
が出力する画像(複合現実感画像)は、HMD111で
はなくディスプレイ装置115に出力される。
【0132】〈その他の変形例〉 変形例1:前述の第2実施例、第3実施例は、複合現実
感提示システムにおける現実世界と仮想画像との前後判
定への適用を説明したものであったが、本発明の奥行き
画像測定装置は、複合現実感提示システムにおける現実
世界と仮想画像との衝突判定にも適用可能である。
【0133】変形例2:さらに、本発明の奥行き画像測
定装置は、移動ロボットの環境入力装置など、実環境の
奥行き情報を移動物体の視点位置で獲得することが要求
されるアプリケーションには、いずれも適用可能であ
る。
【0134】変形例3:第1の実施例の変形例9または
第2実施例における視点位置推定部は三次元位置方位セ
ンサを用い、第3実施例における視点位置推定部はカメ
ラからの画像情報を用いていたが、各実施例はいずれの
手法を用いても実現可能である。
【0135】変形例4:上記の実施形態や全ての実施例
における視点位置推定部110において、画像特徴によ
る視点位置推定を用いた場合、特徴点の実空間上の位置
が未知であっても、視点位置を得ることができる。
【0136】この変形例では、奥行き画像計測部100
は、奥行き画像DV0を奥行き画像修正部120へ出力す
る他に、奥行き画像DV0と、視点位置V0でカメラ101
によって撮影された画像IV0を視点位置推定部110へ
出力する。
【0137】視点位置推定部110は、奥行き画像DV0
と、視点位置V0でカメラ101によって撮影された画像
IV0を奥行き画像計測部100より入力し、画像IV0から
特徴的な点を数点(Pi:i=1,2,3,...)抽出
し、視点位置V0の視点座標系における座標(Xi”,
Yi”,Zi”)をEQ4によって求め、世界座標系における
各点の座標(XWi,YWi,ZWi)を、
【0138】[EQ8]
【0139】によって推定する。視点位置推定部110
はさらに、カメラ113から画像IVCを入力し、画像IVC
上で点Piの対応点を探索し、画像IVC上で各特徴点Pi
の画像座標と3次元情報(即ち世界座標)に基づいて、
視点位置Vcを推定する。この処理は、第3実施例の視点
位置推定部110の動作で示した処理と同様に、様々な
手法を用いることが可能である。この変形例4によれ
ば、実空間とズレのない仮想画像を生成する場合などに
使用可能な視点位置センサを提供することができる。
【0140】変形例5:上記の実施形態や全ての実施例
における視点位置推定部110において、画像特徴によ
る視点位置推定を用いた場合、環境中におけるカメラ1
01の位置が不定であっても、カメラ113の視点位置
Vcからみた奥行き画像DVcを計測することができる。
【0141】この変形例では、変形例4と同様、奥行き
画像計測部100は、奥行き画像DV 0を奥行き画像修正
部120へ出力する他に、奥行き画像DV0と、視点位置V
0でカメラ101によって撮影された画像IV0を視点位置
推定部110へ出力する。
【0142】視点位置推定部110は、奥行き画像DV0
と、画像IV0を奥行き画像計測部100より入力し、画
像IV0から特徴的な点を数点(Pi:i=1,2,
3,...)抽出し、視点位置V0の視点座標系における座
標(Xi”,Yi”,Zi”)をEQ4によって推定する。
【0143】視点位置推定部110はさらに、カメラ1
13から画像IVCを入力し、画像IVC上において各特徴点
iの対応点を検出する。視点位置推定部110はさら
に、対応点の得られた特徴点Piの画像IVC上での画像座
標と視点位置V0の視点座標系における3次元座標に基づ
いて、視点位置V0の視点座標系における視点位置Vcを推
定し、視点位置V0から視点位置Vcへの視点変換行列MC
奥行き画像修正部120へと出力する。この処理には、
視点位置V0の視点座標系自身を世界座標系と定義するこ
とで、第3実施例の視点位置推定部110の動作で示し
た処理と同様に、様々な手法を用いることが可能であ
る。
【0144】本変形例では、カメラ101が世界座標系
の原点に位置し変換行列MOが単位行列となるので、奥行
き画像修正部120は、EQ5の座標変換演算に用いる行
列ΔMとして、視点位置推定部110から入力した視点
変換行列MCを用いることができる。
【0145】この変形例5によれば、カメラ101の位
置が不定であっても、カメラ113の視点位置Vcから見
た奥行き画像DVcを計測することが可能になる。
【0146】変形例6:第2実施例や第3実施例のよう
に変形後の奥行き画像を複数生成する必要がある場合に
おいて、視点位置推定部110は、代表的な視点位置
(例えば右のカメラ113Rの視点位置)を表す行列
(例えばMcR)のみを出力しても良い。この場合、奥行
き画像修正部120は、その内部で、各視点位置の相対
的な位置関係に基づいて、夫々の視点位置を表す行列Mc
を演算する。
【0147】変形例7:上記の実施形態や実施例におい
て、奥行き画像生成装置の出力する画像は、現実空間の
奥行き値そのものを表すものでなくても良い。即ち、奥
行き情報と一対一に対応する例えば視差の情報を保持し
た視差画像でも良く、この場合の演算は、ステレオ画像
計測において通常用いられるような奥行き情報と視差情
報との対応関係に基づいて、容易に行うことができる。
【0148】変形例8:上記の実施形態や実施例におい
て、画像処理装置200,300,700が出力する情
報は視点位置Vcにおける奥行き画像DVCのみでなくても
よく、奥行き画像DVCと共に、奥行き画像DVCの各画素の
ステータスを同一座標の画素の画素値として記録したス
テーテス画像EVCを出力しても良い。
【0149】即ち、奥行き画像計測部100は、奥行き
画像DV0を生成する際に、例えば各画素毎に対応の確か
らしさを数値化した確信度を求め、対応する座標へと記
録したステーテス画像EV0を生成し、奥行き画像DV0と共
にステーテス画像EV0を奥行き画像修正部へと出力す
る。奥行き画像修正部は、奥行き画像DV0と共にステー
テス画像EV0を入力し、奥行き画像DVCを生成するととも
に、ステーテス画像EV0にも同様な変形(Warping)を施
し、奥行き画像DVCの各画素に対応したステーテス画像E
VCを生成する。このステーテス画像EVCの生成は、例え
ば、奥行き画像DVCを生成した後に、奥行き画像DVCの各
画素に対応する奥行き画像DV0の画素の座標を求め、同
一座標におけるステーテス画像EV0の画素値を、対応す
るステーテス画像EVCの画素値へ代入することで実現さ
れる。
【0150】また、例えば、ステータス画像EVCの内容
としては、対応するDVCの画素値が変形処理によってDV0
から投影されたものか、穴埋め処理によって補完された
ものかを記録することも可能であり、さらに、複数の情
報を夫々に格納した複数のステータス画像を出力しても
よい。
【0151】また、第1の実施例の変形例9において、
それぞれの奥行き画像DV0 A,DV0 B,...のステータス画
像EVC A,EVC B,...(視点位置Vcにおける奥行き画像DVC
A,DV C B,...のステータスをそれぞれ示している)を、
奥行き画像DVC A,DVC B,...の統合処理に利用すること
で、信頼度の高い奥行き情報を得ることが可能になる。
これは、例えばステータス画像EVC A,EVC B,...の同一
座標の画素値を比較し、最も信頼度の高いステータスに
対応する奥行き画像の画素値を選択することで実現され
る。
【0152】変形例9:上記の実施形態や実施例におい
て、画像処理装置200,300,700が出力する情
報は、3次元センサ112やカメラ113が情報を出力
した時点(時刻t)での視点位置VC の奥行き画像では
なく、台座またはHMD111の動きを予測して、未来の
(奥行き画像が利用されるであろう時刻(時刻t+α)
における)視点位置VC t+αの奥行き画像であってもよ
い。このとき視点位置推定部110は、時刻tまでに入
力された情報から時刻t+αにおける視点位置Vct+α
を推定し、奥行き画像修正部120へと出力する。
【0153】奥行き画像の推定および修正にはコンピュ
ータ上での演算時間がかかる。特に観測者が移動してい
る場合には、この遅れは無視できず、演算されて得られ
た奥行き画像は、上記演算時間分だけ過去の時点での奥
行き画像であるために、このような遅れた奥行き画像を
用いて複合現実感画像を観測者に呈示したのでは、位置
ずれの発生が起こってしまう。ところが、上記のように
未来の時刻における奥行き画像を予想することによって
上記時間遅れはキャンセルされる。
【0154】変形例10:上記の実施形態や実施例にお
ける奥行き画像修正部120において、視点位置Vcがカ
メラ113の視点位置である場合、出力である奥行き画
像DVCの精度を向上させるために、カメラ113の画像I
VCを利用することができる。即ち、奥行き画像修正部1
20は、視点位置V0における奥行き画像DV0と視点位置V
Cを表す行列Mcの他に、カメラ101から画像IV0を、カ
メラ113から画像IVCを入力し、これらの情報に基づ
いて、第10図の手順によって生成される奥行き画像D
VCを修正する。
【0155】この修正には、いくつかの方法が考えられ
る。例えば、第10図の手順によって、奥行き画像DV0
の座標(xi,yi)の奥行き値が奥行き画像DVCの座標
(xi’,yi’)に投影されたとする。このとき、画像IV0
の対応する座標(xi,yi)の画素値と、画像IVCの対応す
る座標(xi’,yi’)の画素値とを比較することによ
り、この投影が正しいものであるかどうかを検証するこ
とが可能となる。即ち、この画素値の差(カラー画像の
場合には、RGB距離や、赤,青,緑夫々のバンドでの差
分の絶対値の合計、または代表するバンド(例えば緑)
の差分の絶対値など)が予め定めたある一定値以上を持
つ場合には、この投影は正しくないものと判断し、奥行
き画像DVCの座標(xi’,yi’)の値を削除する。また、
投影の正誤判定は、注目する画素のみの比較ではなく、
例えば、注目する画素を中心とした近傍領域の相関値と
いった、画像特徴の対応探索に従来より用いられている
ようないずれの処理を用いることもできる。
【0156】画像IVCは、第10図の手順によって生成
された奥行き画像DVCの「穴あき」状態の解消に利用す
ることも可能である。即ち、奥行き画像DVC上の座標
(xi’,yi’)の値が「穴あき」になっている場合に、
画像IVC上の対応する座標(xi’,yi’)の画素値と、そ
の近傍領域の画素値との比較から、奥行き画像DVCの座
標(xi’,yi’)の値を決定する。この処理は、例えば
以下のように行うことができる。まず第一に、画像IVC
上の座標(xi’,yi’)の近傍領域で、座標(xi’,
yi’)の画素値と画素値が一致する画素(x’,
y’)を抽出し、抽出された各々の点に対応する奥行
き画像DVC上の画素(x’,y’)の値のヒストグラム
を作成する。作成されたヒストグラムの中で、最も頻度
の高い奥行き値Dを選択し、この値Dを画像IVC上の座標
(xi’,yi’)に代入する。以上の処理を、奥行き画像D
VC上で「穴あき」の生じている全ての点に対して行うこ
とで、「穴あき」状態の解消が実現される。また、上記
の穴埋め処理は、ヒストグラムの作成に用いる領域を注
目画素毎の近傍領域に限定する必要は必ずしもなく、画
像全体で単一のヒストグラムを作成してもよく、さら
に、奥行き値の得られている他の画素の画像IVC上での
画素値との様々な類似性に基づいて、決定することがで
きる。
【0157】変形例11:上記の実施形態や全ての実施
例における奥行き画像修正部120では、奥行き画像D
V0の全ての画素に対して上記の変形処理を行ったが、他
の方法によっても同様な効果を得ることができる。例え
ば、奥行き画像DV0上の一定間隔毎の画素に対してのみ
上記の変形処理を行い、それによって生成された画像D
Vc(又はDVu)上の他の(値の求まっていない)画素に
関しては、内挿補間によって値を求めるという方法を採
っても良い。また、奥行き画像DV0に周知のパッチ分割
処理を適用し、パッチの頂点に関してのみ上記変形処理
を行うように構成することもできる。本変形例に拠れ
ば、奥行き画像計測の高速化が実現できる。
【0158】変形例12:上記第2実施例又は第3の実
施例において、画像生成モジュール400が使用する視
点位置情報は、必ずしも画像処理装置700(または2
00)の視点位置推定部110からの出力を使用しなく
てもよい。この場合、例えば周知の複合現実感システム
で用いられている他の任意の方法を用いて視点位置情報
を得ることができる。
【0159】
【発明の効果】以上説明したように本発明に因れば、実
空間とズレのない奥行き画像若しくは視差画像、さらに
はステータス画像を生成することができる。
【図面の簡単な説明】
【図1】 従来の複合現実感提示システムの動作原理を
説明する図。
【図2】 本発明を適用した実施形態に係る画像処理装
置200のブロック図。
【図3】 実施形態の画像処理装置200による奥行き
画像が位置ずれを起こさない理由を説明する図。
【図4】 本発明の第1実施例に係る画像処理装置の構
成を示すブロック図。
【図5】 第1実施例乃至第3実施例での、視点位置推
定部110の制御手順を示すフローチャート。
【図6】 第1実施例乃至第3実施例での、視点位置
(X、Y、Z)及び方位(ω,φ,κ)との関係を説明する
図。
【図7】 第1実施例乃至第3実施例での、奥行き画像
計測部100の動作手順を説明するフローチャート。
【図8】 第1実施例乃至第3実施例での、奥行き画像
修正部120の動作原理を説明する図。
【図9】 第1実施例乃至第3実施例での、奥行き画像
修正部120の動作原理を説明する図。
【図10】 第1実施例乃至第3実施例での、奥行き画
像修正部120の動作手順を説明するフローチャート。
【図11】 第1実施例の変形例に関わり、複数の観測
者がいるシステムの構成を示す図。
【図12】 第1実施例の変形例に関わり、複数の第1
の視点位置(カメラ)を有するシステムの構成を示す
図。
【図13】 第1実施例の変形例に関わり、奥行き画像
修正部120の動作手順を説明するフローチャート。
【図14】 第2実施例に係る光学シースルー方式の複
合現実感提示システムの構成を示すブロック図。
【図15】 第2実施例での画像生成モジュール400
の構成を示すブロック図。
【図16】 第3実施例に係るビデオシースルー方式の
複合現実感提示システムの構成を示すブロック図。
【図17】 第3実施例において、視点位置推定の第1
の方法を説明する図。
【図18】 第3実施例での画像生成モジュール400
の構成を示すブロック図。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06T 1/00 315 H04N 13/04 H04N 13/04 G06F 15/62 350V

Claims (32)

    【特許請求の範囲】
  1. 【請求項1】 情景の奥行き情報を獲得するための奥行
    き画像計測装置であって、 第1の視点位置の前記情景の奥行き画像を計測する奥行
    き画像生成手段と、 第2の視点位置の視点位置情報を推定する位置情報推定
    手段と、 前記位置情報推定手段が推定した前記第2の視点位置に
    ついての視点位置情報に基づいて、前記奥行き画像生成
    手段により生成された前記第1の視点位置での前記情景
    の奥行き画像を、前記第2の視点位置における第2の奥
    行き画像に変形する変形手段と、 前記変形手段が生成した前記第2の奥行き画像を出力す
    る出力手段とを具備することを特徴とする奥行き画像計
    測装置。
  2. 【請求項2】 前記第2の視点位置は時間経過に従って
    移動することを特徴とする、請求項1に記載の奥行き画
    像計測装置。
  3. 【請求項3】 前記第2の視点位置は複数存在すること
    を特徴とする、請求項1または請求項2に記載の奥行き
    画像計測装置。
  4. 【請求項4】 前記第2の視点位置は、観測者の視点位
    置であることを特徴とする、請求項1乃至請求項3のい
    ずれか1項に記載の奥行き画像計測装置。
  5. 【請求項5】 前記第2の視点位置は、前記観測者の左
    右の視点位置であることを特徴とする、請求項4に記載
    の奥行き画像計測装置。
  6. 【請求項6】 前記第2の視点位置は、ビデオカメラの
    視点位置であることを特徴とする、請求項1乃至請求項
    3のいずれか1項に記載の奥行き画像計測装置。
  7. 【請求項7】 前記ビデオカメラは、観測者の頭部に装
    着されていることを特徴とする、請求項6に記載の奥行
    き画像計測装置。
  8. 【請求項8】 前記第2の視点位置は、観測者の左右の
    視点に対応した2台のビデオカメラの視点位置であるこ
    とを特徴とする、請求項6または請求項7に記載の奥行
    き画像計測装置。
  9. 【請求項9】 前記第1の視点位置は3次元位置の既知
    な位置に固定されていることを特徴とする、請求項1乃
    至請求項8のいずれか1項に記載の奥行き画像計測装
    置。
  10. 【請求項10】 前記第1の視点位置は複数存在し、 前記生成手段は複数存在し、各々の前記生成手段は前記
    第1の視点位置に対して各々の前記第1の奥行き画像を
    生成し、 前記変形手段は、前記視点位置情報に基づいて各々の前
    記第1の奥行き画像を変形統合し、前記第2の奥行き画
    像を出力することを特徴とする請求項1乃至請求項9の
    いずれか1項に記載の奥行き画像計測装置。
  11. 【請求項11】 前記奥行き画像生成手段は、前記第1
    の視点位置を含む複数の視点位置からの第1の画像を入
    力する第1の入力手段を有し、 前記第1の入力手段が入力した前記第1の画像にステレ
    オ画像処理を施すことによって前記第1の奥行き画像を
    生成することを特徴とする請求項1乃至請求項10のい
    ずれか1項に記載の奥行き画像計測装置。
  12. 【請求項12】 前記奥行き画像生成手段は、 能動的なレンジファインダーによって前記第1の奥行き
    画像を生成することを特徴とする請求項1乃至請求項1
    0のいずれか1項に記載の奥行き画像計測装置。
  13. 【請求項13】 前記奥行き画像生成手段は、 前記第1の視点位置を含む複数の視点位置からの第1の
    画像を入力する第1の入力手段を有し、前記第1の入力
    手段が入力した前記第1の画像にステレオ画像処理を施
    すことによって前記第1の奥行き画像を生成する第1の
    奥行き画像生成手段と、 能動的なレンジファインダーによって前記第1の奥行き
    画像を生成する第2の奥行き画像生成手段とを有するこ
    とを特徴とする請求項10記載の奥行き画像計測装置。
  14. 【請求項14】 前記推定手段は、前記第2の視点位置
    から見た第2の画像を入力する第2の入力手段をさらに
    有し、 前記第2の入力手段が入力した前記第2の画像に基づい
    て前記視点位置情報を推定することを特徴とする請求項
    1乃至請求項12のいずれか1項に記載の奥行き画像計
    測装置。
  15. 【請求項15】 前記推定手段は、 前記第2の視点位置付近に装着された視点位置センサか
    らの位置信号を入力し、 前記視点位置センサからの前記位置信号に基づいて前記
    視点位置情報を推定することを特徴とする請求項1乃至
    請求項12のいずれか1項に記載の奥行き画像計測装
    置。
  16. 【請求項16】 前記推定手段は、前記視点位置情報と
    して、前記第1の視点位置から前記第2の視点位置への
    座標変換行列を出力することを特徴とする請求項1乃至
    請求項15のいずれか1項に記載の奥行き画像計測装
    置。
  17. 【請求項17】 前記変形手段は、前記視点位置情報に
    基づいた3次元座標変換により、前記第1の奥行き画像
    上の点に対応する前記第2の奥行き画像上の1点の座標
    値とその奥行き値を算出する算出手段をさらに有する事
    を特徴とする請求項1乃至請求項16のいずれか1項に
    記載の奥行き画像計測装置。
  18. 【請求項18】 前記算出手段は、前記第1の奥行き画
    像上の全ての点に対して、前記算出処理を行うことを特
    徴とする請求項17に記載の奥行き画像計測装置。
  19. 【請求項19】 前記算出手段は、前記第1の奥行き画
    像上の一部の点に対して、前記算出処理を行うことを特
    徴とする請求項17に記載の奥行き画像計測装置。
  20. 【請求項20】 前記変形手段は、前記算出手段によっ
    て算出できなかった前記第2の奥行き画像上の各点の奥
    行き値を補完する補完手段をさらに有することを特徴と
    する請求項17乃至請求項19のいずれか1項に記載の
    奥行き画像計測装置。
  21. 【請求項21】 前記奥行き画像生成手段は前記第1の
    奥行き画像と共に前記第1の奥行き画像の第1のステー
    タス画像を更に生成し、 前記変形手段は、更に、 前記第1のステータス画像を前記第2の視点位置におけ
    る第2のステータス画像へと変形し、前記出力手段は、
    更に、前記第2のステータス画像をも出力することを特
    徴とすることを特徴とする請求項1乃至請求項20のい
    ずれか1項に記載の奥行き画像計測装置。
  22. 【請求項22】 前記第2の視点位置が移動する場合に
    おいて、 前記推定手段は前記第2の視点位置の現時点よりも未来
    時刻における第3の視点位置についての視点位置情報を
    推定し、前記変形手段は、前記第1の奥行き画像を、前
    記第3の視点位置における第3の奥行き画像に変形する
    ことを特徴とする請求項1乃至請求項21のいずれか1
    項に記載の奥行き画像計測装置。
  23. 【請求項23】 前記第1の視点位置は第1のカメラの
    視点位置であって、前記第2の視点位置は第2のカメラ
    の視点位置であって、 前記変形手段の出力である第2の奥行き画像を前記第1
    と第2のカメラの画像に基づいて補正する手段を更に具
    備したことを特徴とする請求項1乃至請求項22のいず
    れか1項に記載の奥行き画像計測装置。
  24. 【請求項24】 前記第1の視点位置は複数設けられて
    いることを特徴とする請求項1乃至請求項23のいずれ
    か1項に記載の奥行き画像計測装置。
  25. 【請求項25】 請求項1乃至請求項24のいずれか1
    項に記載の奥行き画像計測装置を含む複合現実感提示シ
    ステムであって、 前記第2の奥行き画像と前記視点位置情報に基づいて複
    合現実感画像を生成するための複合現実感画像生成手段
    と、 この生成された複合現実感画像を表示するための表示器
    を具備したヘッドマウントデイスプレイを有し、 前記観測者には、前記複合現実感画像が提示されること
    を特徴とする複合現実感提示システム。
  26. 【請求項26】 前記ヘッドマウントディスプレイは光
    学シースルー方式であり、前記複合現実感画像生成手段
    が生成する前記複合現実感画像は、前記第2の奥行き画
    像に基づいて、現実物体の手前に来ると推定される点の
    みを可視としながら前記視点位置情報に従って描画され
    たコンピュータグラフィック図形であることを特徴とす
    る請求項25に記載の複合現実感提示システム。
  27. 【請求項27】 前記ヘッドマウントディスプレイはビ
    デオシースルー方式であり、前記複合現実感画像生成手
    段が生成する前記複合現実感画像は、前記第2の奥行き
    画像に基づいて、現実物体の手前に来ると推定される点
    のみを可視としながら前記視点位置情報に従って描画さ
    れたコンピュータグラフィック図形を、前記第2の視点
    位置で撮影した画像に重畳した画像であることを特徴と
    する請求項25に記載の複合現実感提示システム。
  28. 【請求項28】 請求項1乃至請求項24のいずれか1
    項に記載の奥行き画像計測装置を制御する奥行き画像計
    測方法。
  29. 【請求項29】 請求項25乃至請求項27のいずれか
    1項に記載の複合現実感提示システムを制御する複合現
    実感提示方法。
  30. 【請求項30】 コンピュータ上で実行されて観測者に
    三次元画像を連続的に提示する画像処理プログラムを記
    憶する記憶媒体であって、 第1の視点位置から、第1の奥行き画像を連続的な時系
    列で生成する奥行き画像生成プログラムコードと、 連続的に移動する第2の視点位置の、前記第1の視点位
    置からみた視点位置情報を連続的な時系列で推定する位
    置情報推定プログラムコードと、 連続的に生成される前記第1の奥行き画像を、前記視点
    位置情報に基づいて前記第2の視点位置における第2の
    奥行き画像に連続的に変形する変形プログラムコード
    と、 前記第2の奥行き画像に従って生成された三次元の濃淡
    (またはカラー)画像を前記観測者に提示するプログラ
    ムコードとを記憶するプログラムの記憶媒体。
  31. 【請求項31】 前記各プログラムコードは単体のプロ
    グラムコードモジュールとして他のプログラムコードモ
    ジュールから切り離されて独立に記憶されていることを
    特徴とする請求項30に記載のプログラムの記憶媒体。
  32. 【請求項32】 情景の視差情報を獲得するための視差
    画像計測装置であって、 第1の視点位置の前記情景の視差画像を計測する視差画
    像生成手段と、 第2の視点位置の視点位置情報を推定する位置情報推定
    手段と、 前記位置情報推定手段が推定した前記第2の視点位置に
    ついての視点位置情報に基づいて、前記視差画像生成手
    段により生成された前記第1の視点位置での前記情景の
    視差画像を、前記第2の視点位置における第2の視差画
    像に変形する変形手段とを具備することを特徴とする視
    差画像計測装置。
JP2000085145A 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム Expired - Fee Related JP3450792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000085145A JP3450792B2 (ja) 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP11-82454 1999-03-25
JP8245499 1999-03-25
JP2000085145A JP3450792B2 (ja) 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Publications (2)

Publication Number Publication Date
JP2000341721A true JP2000341721A (ja) 2000-12-08
JP3450792B2 JP3450792B2 (ja) 2003-09-29

Family

ID=26423465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000085145A Expired - Fee Related JP3450792B2 (ja) 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Country Status (1)

Country Link
JP (1) JP3450792B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157329A (ja) * 2003-10-30 2005-06-16 Brother Ind Ltd 画像表示装置
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2006003263A (ja) * 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
JP2006238082A (ja) * 2005-02-25 2006-09-07 Casio Comput Co Ltd デジタルカメラ及びカメラの撮影位置モニタ方法
JP2012013514A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置、3次元位置算出方法及びプログラム
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
WO2012157540A1 (ja) * 2011-05-19 2012-11-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2013069360A1 (ja) * 2011-11-09 2013-05-16 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
JPWO2014024649A1 (ja) * 2012-08-06 2016-07-25 ソニー株式会社 画像表示装置および画像表示方法
JP2016522889A (ja) * 2013-04-15 2016-08-04 マイクロソフト テクノロジー ライセンシング,エルエルシー 1つ以上の衛星デバイスを有する能動的なステレオ
JP2018018358A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP2018029304A (ja) * 2016-08-19 2018-02-22 日本電信電話株式会社 虚像表示システム、虚像表示装置、及び虚像表示方法
JP2020198115A (ja) * 2016-03-15 2020-12-10 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実(ar)システムを動作させる方法
CN113865481A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005157329A (ja) * 2003-10-30 2005-06-16 Brother Ind Ltd 画像表示装置
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
US7728852B2 (en) 2004-03-31 2010-06-01 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
JP2006003263A (ja) * 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
JP2006238082A (ja) * 2005-02-25 2006-09-07 Casio Comput Co Ltd デジタルカメラ及びカメラの撮影位置モニタ方法
JP4552131B2 (ja) * 2005-02-25 2010-09-29 カシオ計算機株式会社 デジタルカメラ、デジタルカメラの制御方法及びプログラム
JP2012013514A (ja) * 2010-06-30 2012-01-19 Canon Inc 情報処理装置、3次元位置算出方法及びプログラム
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US9049428B2 (en) 2010-09-08 2015-06-02 Bandai Namco Games Inc. Image generation system, image generation method, and information storage medium
WO2012157540A1 (ja) * 2011-05-19 2012-11-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9710955B2 (en) 2011-05-19 2017-07-18 Sony Corporation Image processing device, image processing method, and program for correcting depth image based on positional information
WO2013069360A1 (ja) * 2011-11-09 2013-05-16 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US9865094B2 (en) 2011-11-09 2018-01-09 Sony Corporation Information processing apparatus, display control method, and program
US9569895B2 (en) 2011-11-09 2017-02-14 Sony Corporation Information processing apparatus, display control method, and program
US10670880B2 (en) 2012-08-06 2020-06-02 Sony Corporation Image display apparatus and image display method
JPWO2014024649A1 (ja) * 2012-08-06 2016-07-25 ソニー株式会社 画像表示装置および画像表示方法
JP2016522889A (ja) * 2013-04-15 2016-08-04 マイクロソフト テクノロジー ライセンシング,エルエルシー 1つ以上の衛星デバイスを有する能動的なステレオ
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US10816331B2 (en) 2013-04-15 2020-10-27 Microsoft Technology Licensing, Llc Super-resolving depth map by moving pattern projector
US10928189B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Intensity-modulated light pattern for active stereo
US10929658B2 (en) 2013-04-15 2021-02-23 Microsoft Technology Licensing, Llc Active stereo with adaptive support weights from a separate image
JP2020198115A (ja) * 2016-03-15 2020-12-10 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実(ar)システムを動作させる方法
US11257285B2 (en) 2016-03-15 2022-02-22 Magic Leap, Inc. Direct light compensation technique for augmented reality system
JP7054406B2 (ja) 2016-03-15 2022-04-13 マジック リープ, インコーポレイテッド 拡張現実(ar)システムを動作させる方法
JP2018018358A (ja) * 2016-07-29 2018-02-01 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP2018029304A (ja) * 2016-08-19 2018-02-22 日本電信電話株式会社 虚像表示システム、虚像表示装置、及び虚像表示方法
CN113865481A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质

Also Published As

Publication number Publication date
JP3450792B2 (ja) 2003-09-29

Similar Documents

Publication Publication Date Title
JP3745117B2 (ja) 画像処理装置及び画像処理方法
US6438507B1 (en) Data processing method and processing device
JP3338618B2 (ja) 実空間画像と仮想空間画像の表示方法及び表示装置
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US5963664A (en) Method and system for image combination using a parallax-based technique
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
US10930008B2 (en) Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image
EP3067861A2 (en) Determination of a coordinate conversion parameter
JP3976900B2 (ja) 視点位置姿勢の決定方法及びカメラ装置
JP2018511098A (ja) 複合現実システム
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2000341721A (ja) 奥行き画像計測装置、視差画像計測装置、複合現実感提示システム、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体
US11348323B2 (en) Information processing apparatus for correcting three-dimensional map, information processing method for correcting three-dimensional map, and non-transitory computer-readable storage medium for correcting three-dimensional map
US20100302234A1 (en) Method of establishing dof data of 3d image and system thereof
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
KR100945307B1 (ko) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
JP3352454B2 (ja) 画像処理装置及びその方法並びに記憶媒体
JP7074546B2 (ja) 画像処理装置および方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR100447778B1 (ko) 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법
JPH07220113A (ja) 画像記録再生装置
JP3052926B2 (ja) 三次元座標計測装置
JP4144981B2 (ja) 立体画像表示装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070711

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090711

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090711

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130711

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees