JP2009163610A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2009163610A
JP2009163610A JP2008002163A JP2008002163A JP2009163610A JP 2009163610 A JP2009163610 A JP 2009163610A JP 2008002163 A JP2008002163 A JP 2008002163A JP 2008002163 A JP2008002163 A JP 2008002163A JP 2009163610 A JP2009163610 A JP 2009163610A
Authority
JP
Japan
Prior art keywords
shadow
virtual
image processing
pixel value
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008002163A
Other languages
English (en)
Other versions
JP2009163610A5 (ja
JP5025496B2 (ja
Inventor
Kaname Tomite
要 冨手
Masakazu Fujiki
真和 藤木
Takayuki Hashimoto
隆之 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008002163A priority Critical patent/JP5025496B2/ja
Priority to US12/265,546 priority patent/US9082213B2/en
Publication of JP2009163610A publication Critical patent/JP2009163610A/ja
Publication of JP2009163610A5 publication Critical patent/JP2009163610A5/ja
Application granted granted Critical
Publication of JP5025496B2 publication Critical patent/JP5025496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 コンピュータグラフィックスによる画像生成手法において、現実物体と仮想物体が相互に生じる影の描画を正しく表現する。
【解決手段】 現実物体を表現する第1の仮想物体および第2の仮想物体を3次元空間内に有し、第1および第2の仮想物体が相互に及ぼす影の影響を光学的に正しく描画する。
【選択図】 図2

Description

本発明は、コンピュータグラフィックスによる画像生成手法において、特に現実物体を表現する第1の仮想物体および第2の仮想物体を3次元空間内に有し、光学的に正しい描画を行うことを特徴とする技術に関する。
実写風景を背景として、その上にコンピュータグラフィックス(以下、CGと記述)を重畳して提示し、観察者に対して、あたかもその場に仮想の物体が存在するかのような体験を行わせる複合現実感(MR:MixedReality)の技術がある。
従来、前記複合現実感の技術と光線追跡(レイトレーシング)を組み合わせ、現実物体(床)に仮想物体(CG)が影を落とすシステムが提案されている(非特許文献1)。非特許文献1で示される描画システムは、ビデオ映像として取得される実写画像を背景にして、CG物体をレイトレーシング法で描画し重畳することにより複合現実画像を生成している。このシステムを利用した描画の一例では、現実物体である床に仮想物体であるCGの球が影を落とす様子を表現している。このような表現を実現するために、現実の床を表現する仮想物体を定義している。その上で、この床に対応する仮想物体に落ちる影の像を生成し、実写画像と合成する。
また、現実物体の位置姿勢をセンシングした結果に基づき、その現実物体を表現するCGモデルを複合現実空間に配置して、複合現実空間における仮想物体と現実物体の正しい奥行き関係を表現する手法が提案されている(特許文献1)。
特開2005−293142号公報 Interactive Mixed Reality Rendering in a Distributed Ray Tracing Framework Andreas Pomi,and Philipp Slusallek IEEE and ACM International Symposium on Mixed and Augmented Reality(ISMAR) 2004,Student Colloquium,Arlington,USA,November 2−5,2004
一般的に、人間が視覚情報から物体間の位置関係を把握する際には、影の像を手がかりにしている。したがって、複合現実感の場合も、観察者が物体間の位置関係を正しく把握するためには、影を正しく表現することが必要不可欠である。つまり、現実物体同士の影や仮想物体同士の影だけではなく、現実物体と仮想物体が相互に影を落とす表現が必要である。
非特許文献1では、仮想物体から現実物体である床を表現する仮想物体(透明な物体として表現されている)に落ちる影を描画している。非特許文献1において、仮想空間の中で現実物体を表すための仮想物体は床と人間の2つである。現実の空間では、人間が床に影を落としている。この場合の影の像は現実空間を撮影した画像の中に現れている。したがって、当然のことながらCGで人間の影を描画する必要はない。
しかしながら、非特許文献1はこのような場合を考慮していないため、現実画像中の影に加えて、不必要な影の像を生成してしまう。
この問題は、1つの現実物体を模した仮想物体の内部で影(セルフシャドウ)が生じる場合も起こりうる。例えば、観察者が観察者自身の手を丸めて、丸めた手の平をみると、現実に生じた影の他に、現実物体を模した仮想物体の影によって更に濃い影が生じる。この問題はレイトレーシング法に留まらず、CGによる一般的な画像生成手法にも言える問題である。
図1は上記の問題を説明する原理図である。図1は、シーン上方から順に仮想光源101、観察者の手102、仮想物体である球103、床104の順番で配置されている。現実の光源状況と仮想の光源状況は一致しているものとする。
ここで、現実近似物体以外の仮想物体を“非現実近似物体”と呼び、現実近似物体および非現実近似物体を包括した全ての仮想物体を“全仮想物体”と呼ぶことにする。
原理図における光学的に正しい描画について説明する。
1.観察者の手102(現実物体)は、球103(非現実近似物体)の上に影を落とす(影(1)105)
2.観察者の手102(現実物体)は、床104(現実物体)に影を落とす(影(2)106)
3.球103(非現実近似物体)は、床104(現実物体)に影を落とす(影(3)107)
4.現実の影(影(2)106)と仮想の影(影(3)107)が重なる領域は、現実の影のみで仮想の影は描画しない(影(4)108)。
影(1)105は、現実に存在しない影である。したがって、影(1)105を観察者に提示するにはCGの影を計算し、球の上に描画する必要がある。ここで、現実物体が仮想物体上に影を落とすには、仮想空間内に現実物体の形状情報を仮想物体として定義する必要がある。
本提案では、このように仮想空間内に定義した現実物体を模擬した仮想物体を現実近似物体と呼ぶ(現実近似物体についての詳細は後述)。
そして、球(非現実近似物体)の表面を描画する際に、仮想空間に定義した現実近似物体の影をCGで描画をすることによって、観察者の手の影を球に描画することが可能になる。
次に、観察者の手は、床に現実の影を落とす(影(2)106)。これは自然現象であり、そもそもCGで影を描画する必要はない。
そして、球103は床104に影を落とす必要がある(影(3)107)。この効果を実現するためには、観察者の手と同様に床を現実近似物体として仮想空間に定義して影を落とす領域を計算する必要がある。
最後に、影(4)108は、影(2)106と影(3)107が重なる領域である。この領域は現実の影の上にCGの影が描画されるため、現実の影よりも濃い影になってしまう。
上記の問題を解決するための本発明による画像処理装置は以下の構成を備える。
コンピュータグラフィックスにより現実物体を模した第1の仮想物体および第2の仮想物体を含む3次元空間の影を含む像を生成する画像処理装置であって、前記第1の仮想物体が落とす影の領域を計算する第1影領域計算手段と、前記第1影領域計算手段による計算した影の領域に基づいて画素値を算出することを特徴とする。
本発明によれば、コンピュータグラフィックスによる画像生成手法において、現実物体と仮想物体が相互に生じる影の描画を正しく表現することを可能にする。
以下、添付の図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
本実施形態に係る画像処理装置は、非現実近似物体が影を落とす領域から、現実物体が占有する領域に対応する3次元空間に存在する貴下形状である現実近似物体が影を落とす領域を除外することにより非現実近似物体のみの影領域を計算するものである。
本実施形態における現実物体の計測・推定方法は、公知の技術を用いるため、ここでの詳細な説明は省略する。一例としては、複数台のカメラを利用したステレオマッチングによる3次元復元や、3次元レンジファインダなどの計測機器を利用した計測・推定方法などが挙げられる。
(影領域の引き算によって非現実近似物体領域を算出)
図2は、実施例1に係る画像処理装置の構成を説明するためのブロック図である。仮想空間データベース(以下DB)201は、全仮想物体の形状・材質・光源・仮想視点の位置姿勢等の情報を格納しているものである。仮想空間DB201は、ユーザの操作により個々の仮想物体の位置情報が変更された場合や材質等の属性情報が変更された場合に逐次的に更新される。
現実物体計測・推定部202は、現実物体の幾何形状・位置姿勢および材質情報などを計測または推定し、仮想空間DB201に出力する。本実施例では、実写画像入力部203より得られる実写画像からステレオマッチングで奥行き推定を行う。奥行き推定で得られた結果を元に3次元の形状推定を行い、仮想空間DB201に登録する。
現実物体計測・推定部202により仮想空間DB201に出力された仮想物体には現実近似物体である旨の属性情報を付与する。ここで付与する属性情報は、現実近似物体であるか、または一般的な仮想物体(非現実近似物体)であるかの2値の情報である。ただし、ここで付与した情報を区別する方法は問わない。また属性情報を付与する代わりに仮想物体の透明度や、仮想物体に割り当てられた名称などの属性情報から現実近似物体と非現実近似物体の区別を行ってもよい。そして、これらの情報を元に影を落とす領域を計算する。
実写画像入力部203は、観察者の頭部位置に備え付けられたビデオカメラより撮影された映像(画像)を入力データとして取り込む。入力として得られる実写画像は、現実物体計測・推定部202と画素値演算部207に供給される。
視点位置姿勢制御部204は、観察者の頭部位置姿勢を検出し仮想視点の位置姿勢を制御するものである。観察者の頭部位置姿勢の検出方法は、6自由度センサによる位置姿勢計測や2次元マーカをカメラで撮影し、頭部位置姿勢に変換することで、計測する手法などがある。観察者の頭部位置姿勢検出の方法は公知の技術を用いるため、ここでの詳細な説明は省略する。
第1影領域計算部205は、仮想空間DB201に登録されている現実近似物体の影領域を計算する処理を行う。影の計算方法は、シャドウマップによる手法がある。
シャドウマップは、各仮想光源から見た仮想シーンの深度値(デプス情報)をレンダリングして影を落とす領域を計算する方法である。レンダリングによって得られた深度値は、深度バッファまたはテクスチャ情報として保存する。シャドウマップによる画像生成は、2パスのレンダリングが必要である。
まず、1パス目のレンダリングでシャドウマップを作成する。シャドウマップは仮想視点を仮想光源の位置において射影空間のz値をレンダリングする。射影空間のz値を利用しシャドウマップを可視化すると、手前の色が黒で、奥の色が白いテクスチャ情報が得られる。
2パス目のレンダリングでは、仮想物体の深度値と深度バッファの値を比較しながら仮想空間DB201のシーンをレンダリングする。比較する値は、仮想光源からの距離である。
比較方法としては、まず仮想光源から見た深度値をシャドウマップとして書き込む。次に通常の仮想視点からみた画面にシャドウマップをマッピングする。一方で、通常の仮想視点から仮想物体を観測した際の仮想物体上の各ピクセルに関して各仮想光源からの距離を求める。そして、それぞれのピクセルに関してシャドウマップの値と計算で求めた仮想光源との距離を比較し、シャドウマップの値が小さい部分を影と判定する。
影が落ちると判定された画素は、影を生じさせている光源の輝度情報を基に影を落とす前の画素値から光源の輝度を減算することにより計算することができる。この処理を各光源に対して繰り返す。ここで、光源輝度と物体表面の明るさの関係は線形性を有しているため、光源一つ一つの輝度を独立に減算することより影の濃さを計算することが可能である。このようにして、影を落とす領域の計算を行う。
以上がシャドウマップの概要である。シャドウマップによる計算手法は、公知技術として広く一般に使われる手法であるためこれ以上の詳細な説明は省略する。
第2影領域計算部206は、仮想空間DB201に登録されている非現実近似物体のみが影を落とす領域を計算する。影を落とす領域の計算方法は第1影領域計算部205と同じ手法を用いる。
画素値演算部207は、実写画像入力部203を背景画像として、視点位置制御部204で取得した仮想視点位置に則り、仮想空間DB201と第1および第2影領域計算部の情報を元にレンダリングを行い、画素値を決定する。
画面出力部208は、画素値演算部207で計算した全画素値の結果を表示装置に出力するものである。
図3は、本発明の第1の実施形態に係る画像処理装置のフローチャートを示す図である。処理を開始すると、ステップS301で、初期化を行う。具体的には、処理の実行に必要な記憶領域の確保などを行うものである。
ステップS302は、視点位置姿勢制御部204により観察者の頭部位置姿勢情報を取得する。頭部位置姿勢情報から視点位置姿勢情報への変換は公知の技術を用いる。
ステップS303は、現実物体計測・推定部202が現実物体の形状・材質情報・現実の光源情報の取り込みを行う。現実物体の形状・材質情報の取得方法ならびに現実の光源情報の取得方法は公知の技術を用いる。ここで、CGによる影の向きや濃さと現実の影の向きや濃さがかけ離れていると、臨場感を損なう大きな要因となる。したがって、現実の光源の位置・向き・強さの情報を忠実に仮想空間内に反映できることが望まれる。
従来より、現実の光源環境を仮想空間内に再現する手法が提案されている。一例としては、ビデオ映像として取得した実写画像からハイライト成分を抽出し分析をすることにより、現実の光源情報(位置・向き・強さ)を算出し推定するものなどが挙げられる(池内克史、佐藤洋一、西野恒、佐藤いまり:“複合現実感における光学的整合性の実現、”日本バーチャルリアリティ学会論文誌「複合現実感」特集号、Vol.4、No.4、pp.623−630、December 1999)。
このように3次元形状の取得方法、並びに、現実環境の光源推定方法は多岐に渡って提案されているため、構築したいシステムに応じて好適な手段を選択すればよい。
ステップS304は、ステップS302、ステップS303の結果を受け、仮想空間DB201の更新を行う。具体的には、ステップS302で取得した観察者の頭部位置姿勢情報を仮想空間内の仮想視点位置姿勢に割り当てる。そして、ステップS303で取得した現実物体の形状情報を仮想空間内に登録する。
ここで、現実近似物体の形状を仮想空間内に登録するため、3次元位置情報を有する点群データから三角形パッチを生成しポリゴン化を行う。また、現実物体の形状は必ずしもポリゴン化する必要は無く、NURBS曲面によって表現された任意の形状でも良い。構築するシステムによっては、ポリゴンやメッシュ表現の他にメタボール表現を使うなどの方法で現実近似物体を表現してもよい。
また、ステップS303で取得した現実環境の光源情報に従い、仮想光源を仮想空間内に配置する。ステップS305は、画素値演算部207においてステップS302で取得した視点位置姿勢に基づいてレンダリング処理を行う。レンダリング処理の詳細は後述する。ステップS306はステップS305で生成した画像を画面出力部208で表示装置に描画を行う。
ステップS307は、システムを終了するか否かの判定を行う。システムを終了させなければ、ステップS302に戻る。そして、システムを終了させる場合はプログラムの終了処理に基づき終了処理を行う。
以上が本実施例に係る画像処理装置の全体の流れである。次に、レンダリング部分の詳細について説明する。図4は、レンダリング部分の流れを説明する図である。
ステップS401は、現実近似物体が影を落とす領域を計算する。ステップS401の影を落とす領域の計算では、各仮想光源に仮想視点を配置して仮想空間DB201の深度情報を計算しシャドウマップを生成する。このとき、第1影領域計算部205では仮想空間DB201より現実近似物体を計算対象としてシャドウマップAを生成する。そして、ステップS402は、仮想空間DB201より非現実近似物体のみを計算対象としてシャドウマップBを生成する。この2つのシャドウマップを計算する処理を各光源に対して繰り返す。そして、各光源に対してシャドウマップAとシャドウマップBを生成しテクスチャ情報としてメモリに保存する。
ここで、シャドウマップAおよびシャドウマップBの計算は完全に独立しているため、各CPUをそれぞれのシャドウマップ生成に割り当て、並列計算することが可能である。
ステップS403は、背景となる実写画像を描画するために、実写画像入力部203で取得した画像を画素値演算部207でフレームバッファに書き込む。
ステップS404は、画素値演算部207で背景となる実写の上に重畳する非現実近似物体を描画する処理を行う。
ステップS405は、ステップS401およびステップS402で計算したシャドウマップを元に、仮想視点から見たシーンの影領域を計算する。実際にCGで影を描画する領域は、非現実近似物体が落とす影の領域から、現実近似物体が落とす影の領域を引き算することによって算出することができる。
ステップS405における影の領域計算は、第1影領域計算部および第2影領域計算部に、視点位置姿勢制御部204から仮想視点情報を入力し、各光源に対してシャドウマップを参照するとによって計算する。そして、仮想視点においてシャドウマップBを参照して算出した影領域BとシャドウマップAより算出した影領域Aで差をとる。影領域Bと影領域Aの差は、2次元画像上でマスク処理(または画素値の減算処理)をすることによって計算することができる。このようにして、非現実近似物体のみが落とす影の領域を計算する。
その結果、非現実近似物体のみが落とす影の領域のみCGで影を描画することができ、現実の影を阻害せずにCGの影を描画することが可能になる。
ここで、影の領域を計算する手法としては、本実施形態で説明したシャドウマップの他に、影の影響範囲をボリュームデータとして計算するシャドウボリュームの手法や事前計算済み放射輝度伝播(Precomputed Radiance Transfer)を算出しておいてグローバルイルミネーションの計算を行う手法も広く利用されている。本発明は、上記のいずれにも応用が可能であり、影の描画手法に制限はない。
また、本実施形態では、図1でCGの球が観察者の手と床にそれぞれ影を落とす場合について説明した。本実施形態はそれ以外の配置についても有効である。例えば、図1のCGの球と観察者の手の上下関係が逆転した場合などである。このように本実施形態によれば仮想物体と現実物体が任意の上下関係であっても適応可能であり、さらに物体の個数に関係無く適応可能である。
さらに、非現実近似物体のみの影領域を計算する代わりに、全仮想物体を対象にした影領域を計算した場合も同様に、現実近似物体の影領域を除外することによって求めたい影領域を計算することが可能である。
(一旦全仮想物体の影を描画した後、影の描画を打ち消す)
実施例1に係る画像処理装置は、全仮想物体が落とす影の領域から現実近似物体のみが落とす影の領域を引き算することによって、現実の影を阻害せずにCGで描画する影の領域を計算するものであった。実施例2に係る画像処理装置は、個々の画素値を計算する際に、現実近似物体が落とすCGによる影の影響を差し引くものである。
本実施形態に係る原理図・構成図は第1の実施形態の原理図・構成図と同一であるため、説明は省略する。
図5は、第2の実施形態に係るレンダリング処理の流れを説明する図である。第1の実施形態との違いは、図5のステップS501とステップS502の処理である。またステップS402でシャドウマップを作成する対象は全仮想物体である。
ステップS501は、全仮想物体が落とす影の領域(シャドウマップB)に基づいてステップS404で生成した画像にCGで影を描画する。この段階では現実近似物体を含む全仮想物体が落とす影の領域に対してCGの影が描画されるため、正しい描画にはならない(現実の影とCGの影が重なる領域が存在する)。
ステップS502は、現実近似物体のみが落とす影の領域(シャドウマップA)に基づいてステップS501で描画した余分な影の領域(現実の影とCGの影が重なる領域)を取り消す処理を行う。この取り消し処理は、シャドウマップAで算出した影の領域内を対象として各画素の値を再計算することよって実現する。具体的には、シャドウマップAを参照し、現実近似物体で遮ることとなった仮想光源を全て算出し、全ての仮想光源の輝度値を対象画素に加算することによってCGで描画した影を取り消すことが可能になる。
このようにして、一度全仮想物体が落とす影の領域を描画しておき、現実近似物体が落とす影の領域において、CGによる影の影響を打ち消すことによって現実の影を阻害せずにCGの影を描画することが可能になる。
(画素単位で影描画の判定処理を行う)
実施例3に係る画像処理装置は、非現実物体の描画時に画素単位で影の描画計算を行うものである。本実施形態に係る原理図・構成図は第1の実施形態の原理図・構成図と同一であるため、説明は省略する。
図6は、第3の実施形態に係るレンダリング処理の流れを説明する図である。第1の実施形態との違いは、図6のステップS601〜ステップS603の処理である。故にステップS401〜ステップS404までの処理は第1の実施形態における処理と同一であるため説明を省略する。
ただし、ステップS601〜ステップS603の処理は、ステップS404における各画素単位での処理の流れになっているので、ステップS404は非現実近似物体の画素値を算出した後、その画素に影を描画するか否かの判定処理を行う。
ステップS601は、対象画素にCGの影を描画するかどうかを判定する。具体的には、まずシャドウマップBを参照し、非現実近似物体が対象画素に影を落とすかどうかを調べる。非現実近似物体が対象画素に影を落とさない場合は、CGで影を描画する必要が無いため次の処理に移る。
次に、シャドウマップAを参照し、現実近似物体が対象画素に影を落とすかどうかを調べる。現実近似物体および非現実近似物体が影を落とす場合は、現実に影が存在するためCGで影を描画する必要がないため次の処理に移る。
そして、非現実近似物体のみが影を落とす場合のみ、ステップS602に移行し対象画素に影を描画する処理を行う。
ここで、シャドウマップは各光源に対して存在するため、ステップS601における判定処理は、各光源に対して繰り返しシャドウマップを参照する必要がある。
ステップS602は、対象画素に影の描画を行う。具体的には、対象画素に影を落とす原因となっている仮想光源を特定し、背景となる実写画像または非現実近似物体の画素値から仮想光源の輝度値を減算することによって影を描画することが可能になる。
仮想光源は、対象画素に影を落とすシャドウマップAを生成した仮想光源を特定することで特定することができる。
ステップS603は仮想スクリーン上の全ての画素において計算が終了したかどうかを判定する。計算が終了していない場合は、ステップS404に戻り次の画素値を計算する。そして、全ての画素に関して計算が終了したら、レンダリング処理を終了する。
なお、本発明の目的は次のようにしても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。このようにしても目的が達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読取可能な記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、本発明に係る実施の形態は、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、本発明に係る実施形態の機能は次のようにしても実現される。即ち、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。この処理により前述した実施形態の機能が実現されることは言うまでもない。
第1の実施形態に係る画像処理装置の原理を説明する原理図である。 第1の実施形態に係る画像処理装置の構成を説明するブロック図である。 第1の実施形態に係る画像処理装置の処理の流れを説明するフローチャートである。 第1の実施形態に係る画像処理装置のレンダリング処理の詳細を説明するフローチャートである。 第2の実施形態に係る画像処理装置のレンダリング処理の詳細を説明するフローチャートである。 第3の実施形態に係る画像処理装置のレンダリング処理の詳細を説明するフローチャートである。

Claims (8)

  1. 現実物体が占有する領域に対応する3次元空間に存在する幾何形状である第1の仮想物体及び第2の仮想物体を含む3次元空間を、コンピュータグラフィックスを使って描画する画像処理装置であって、
    前記第1の仮想物体が前記3次元空間に落とす影の領域を計算する第1影領域計算手段と、
    前記影領域計算手段により計算した領域に基づいて画素値を算出する画素値演算手段と、
    を有することを特徴とする画像処理装置。
  2. 前記画素値演算手段は、前記影領域計算手段により算出した影領域を除外して影の影響を画素値に加えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記画素値演算手段は、前記影領域計算手段で算出した領域内の画素について、前記第1の仮想物体が前記3次元空間に落とす影の影響を画素値から打ち消すことを特徴とする請求項1に記載の画像処理装置。
  4. 前記第2の仮想物体が前記3次元空間に落とす影の領域を計算する第2影領域計算手段をさらに有し、
    前記画素値演算手段は、前記第1影領域計算手段及び第2影領域計算手段により算出した領域に基づいて画素値を算出することを特徴とする請求項1に記載の画像処理装置。
  5. 前記画素値演算手段は、前記第2の仮想物体のみが影を落とす領域内の画素について影の影響を画素値に加えることを特徴とする請求項4に記載の画像処理装置。
  6. 現実物体が占有する領域に対応する3次元空間に存在する幾何形状である第1の仮想物体及び第2の仮想物体を含む3次元空間を、コンピュータグラフィックスを使って描画する画像処理方法であって、
    前記第1の仮想物体が3次元空間に落とす影の領域を計算する影領域計算工程と、
    前記影領域計算工程により計算した領域に基づいて画素値を算出する画素値演算工程と、
    を有することを特徴とする画像処理方法。
  7. コンピュータに請求項6に記載の画像処理方法を実行させることを特徴とするプログラム。
  8. 請求項7に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2008002163A 2007-11-07 2008-01-09 画像処理装置及び画像処理方法 Active JP5025496B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008002163A JP5025496B2 (ja) 2008-01-09 2008-01-09 画像処理装置及び画像処理方法
US12/265,546 US9082213B2 (en) 2007-11-07 2008-11-05 Image processing apparatus for combining real object and virtual object and processing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008002163A JP5025496B2 (ja) 2008-01-09 2008-01-09 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2009163610A true JP2009163610A (ja) 2009-07-23
JP2009163610A5 JP2009163610A5 (ja) 2011-01-27
JP5025496B2 JP5025496B2 (ja) 2012-09-12

Family

ID=40966134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008002163A Active JP5025496B2 (ja) 2007-11-07 2008-01-09 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP5025496B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012063911A1 (ja) * 2010-11-12 2012-05-18 シャープ株式会社 3dコンテンツ表示装置、および3dコンテンツ表示方法
JP2013517579A (ja) * 2010-03-25 2013-05-16 ビズモードライン カンパニー リミテッド 拡張現実システム
JP2013242865A (ja) * 2012-04-27 2013-12-05 Canon Marketing Japan Inc 仮想空間表示システム、その制御方法、及びプログラム
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2015185176A (ja) * 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
JP2016085648A (ja) * 2014-10-28 2016-05-19 大日本印刷株式会社 画像表示システム、画像表示装置、及びプログラム
JP2017162132A (ja) * 2016-03-09 2017-09-14 日本電気株式会社 描画装置、描画方法およびプログラム
KR20180071928A (ko) * 2016-12-20 2018-06-28 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템
JP2018153235A (ja) * 2017-03-15 2018-10-04 本田技研工業株式会社 歩行支援装置、歩行支援方法、及びプログラム
JP6487578B1 (ja) * 2018-01-05 2019-03-20 株式会社スクウェア・エニックス プログラム、記録媒体、及び影描画方法
CN109643465A (zh) * 2016-06-20 2019-04-16 Cy游戏公司 用于创建混合现实环境的系统等
JP2019185072A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2019185070A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2019185069A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2020512089A (ja) * 2017-03-24 2020-04-23 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 奥行き知覚を高める仮想陰影
JP2020198066A (ja) * 2019-06-03 2020-12-10 アイドス インタラクティブ コープ 拡張現実アプリケーション用システム及び方法
JP2021524628A (ja) * 2018-05-24 2021-09-13 マイクロソフト テクノロジー ライセンシング,エルエルシー 照明推定
JP2022030844A (ja) * 2020-08-07 2022-02-18 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法
WO2023105784A1 (ja) * 2021-12-10 2023-06-15 日本電信電話株式会社 生成装置、生成方法及び生成プログラム
WO2023181904A1 (ja) * 2022-03-24 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188917A (ja) * 1999-12-28 2001-07-10 Square Co Ltd 3次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体および影描画処理方法およびビデオゲーム装置
JP2002092635A (ja) * 2000-09-20 2002-03-29 Sega Corp 画像処理装置
JP2004295916A (ja) * 2004-06-07 2004-10-21 Namco Ltd 画像処理装置及び画像処理方法
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2007042055A (ja) * 2005-06-30 2007-02-15 Canon Inc 画像処理方法、画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188917A (ja) * 1999-12-28 2001-07-10 Square Co Ltd 3次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体および影描画処理方法およびビデオゲーム装置
JP2002092635A (ja) * 2000-09-20 2002-03-29 Sega Corp 画像処理装置
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2004295916A (ja) * 2004-06-07 2004-10-21 Namco Ltd 画像処理装置及び画像処理方法
JP2007042055A (ja) * 2005-06-30 2007-02-15 Canon Inc 画像処理方法、画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
新田拓哉, 外2名: ""インタラクティブな陰影処理による複合現実感"", 映像メディア処理シンポジウム 第5回シンポジウム資料, JPN6011067049, 15 November 2000 (2000-11-15), pages 91 - 92, ISSN: 0002227392 *
池内克史, 外3名: ""複合現実感における光学的整合性の実現"", 日本バーチャルリアリティ学会論文誌, vol. 第4巻, 第4号, JPN6011067051, 31 December 1999 (1999-12-31), JP, pages 623 - 630, ISSN: 0002227393 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517579A (ja) * 2010-03-25 2013-05-16 ビズモードライン カンパニー リミテッド 拡張現実システム
WO2012063911A1 (ja) * 2010-11-12 2012-05-18 シャープ株式会社 3dコンテンツ表示装置、および3dコンテンツ表示方法
JP2012105200A (ja) * 2010-11-12 2012-05-31 Sharp Corp 3dコンテンツ表示装置、および3dコンテンツ表示方法
JP2013242865A (ja) * 2012-04-27 2013-12-05 Canon Marketing Japan Inc 仮想空間表示システム、その制御方法、及びプログラム
JP2014106543A (ja) * 2012-11-22 2014-06-09 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2015185176A (ja) * 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
JP2016085648A (ja) * 2014-10-28 2016-05-19 大日本印刷株式会社 画像表示システム、画像表示装置、及びプログラム
JP2017162132A (ja) * 2016-03-09 2017-09-14 日本電気株式会社 描画装置、描画方法およびプログラム
US10891772B2 (en) 2016-03-09 2021-01-12 Nec Corporation Rendering apparatus, rendering method and recording medium
CN109643465A (zh) * 2016-06-20 2019-04-16 Cy游戏公司 用于创建混合现实环境的系统等
KR101949609B1 (ko) 2016-12-20 2019-02-19 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템
KR20180071928A (ko) * 2016-12-20 2018-06-28 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템
JP2018153235A (ja) * 2017-03-15 2018-10-04 本田技研工業株式会社 歩行支援装置、歩行支援方法、及びプログラム
US11080543B2 (en) 2017-03-15 2021-08-03 Honda Motor Co., Ltd. Walking support device, walking support method and program
JP2020512089A (ja) * 2017-03-24 2020-04-23 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 奥行き知覚を高める仮想陰影
JP6487578B1 (ja) * 2018-01-05 2019-03-20 株式会社スクウェア・エニックス プログラム、記録媒体、及び影描画方法
JP2019121193A (ja) * 2018-01-05 2019-07-22 株式会社スクウェア・エニックス プログラム、記録媒体、及び影描画方法
JP2019185072A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2019185069A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2019185070A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP7188902B2 (ja) 2018-03-30 2022-12-13 東京ガスiネット株式会社 情報処理システム及びプログラム
JP7188901B2 (ja) 2018-03-30 2022-12-13 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2021524628A (ja) * 2018-05-24 2021-09-13 マイクロソフト テクノロジー ライセンシング,エルエルシー 照明推定
JP7386812B2 (ja) 2018-05-24 2023-11-27 マイクロソフト テクノロジー ライセンシング,エルエルシー 照明推定
JP2020198066A (ja) * 2019-06-03 2020-12-10 アイドス インタラクティブ コープ 拡張現実アプリケーション用システム及び方法
JP7089495B2 (ja) 2019-06-03 2022-06-22 アイドス インタラクティブ コープ 拡張現実アプリケーション用システム及び方法
JP2022030844A (ja) * 2020-08-07 2022-02-18 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法
JP7125963B2 (ja) 2020-08-07 2022-08-25 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法
WO2023105784A1 (ja) * 2021-12-10 2023-06-15 日本電信電話株式会社 生成装置、生成方法及び生成プログラム
WO2023181904A1 (ja) * 2022-03-24 2023-09-28 ソニーグループ株式会社 情報処理装置、情報処理方法および記録媒体

Also Published As

Publication number Publication date
JP5025496B2 (ja) 2012-09-12

Similar Documents

Publication Publication Date Title
JP5025496B2 (ja) 画像処理装置及び画像処理方法
JP4401727B2 (ja) 画像表示装置及び方法
JP4804256B2 (ja) 情報処理方法
US9082213B2 (en) Image processing apparatus for combining real object and virtual object and processing method therefor
JP6340017B2 (ja) 被写体と3次元仮想空間をリアルタイムに合成する撮影システム
US7965304B2 (en) Image processing method and image processing apparatus
US8698804B2 (en) Image processing apparatus and image processing method
JP2020526818A (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
JP2010520565A (ja) 三次元の物体を追跡記録するシステム及び方法
JP2009123018A (ja) 画像処理装置、画像処理方法
JP2009134681A (ja) 画像処理装置、画像処理方法
JP4885042B2 (ja) 画像処理方法および装置ならびにプログラム
JP2016071645A (ja) オブジェクト3次元モデル復元方法、装置およびプログラム
JP7403967B2 (ja) 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム
KR20150124208A (ko) 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
JP2009048237A (ja) 画像処理装置、画像処理方法
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JP2006323450A (ja) シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体
JP4366165B2 (ja) 画像表示装置及び方法並びに記憶媒体
Chung et al. Enhancement of visual realism with BRDF for patient specific bronchoscopy simulation
Casas et al. Props alive: a framework for augmented reality stop motion animation
JP2006059165A (ja) 3次元モデリング装置、幾何学パターン、3次元モデリングデータの生成方法、3次元モデリングプログラム、記録媒体
JP2009015648A (ja) 画像処理装置、画像処理方法
US20220044351A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
JP2021131853A5 (ja)

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120619

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5025496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151