JP2003244726A - 画像合成処理装置 - Google Patents

画像合成処理装置

Info

Publication number
JP2003244726A
JP2003244726A JP2002043123A JP2002043123A JP2003244726A JP 2003244726 A JP2003244726 A JP 2003244726A JP 2002043123 A JP2002043123 A JP 2002043123A JP 2002043123 A JP2002043123 A JP 2002043123A JP 2003244726 A JP2003244726 A JP 2003244726A
Authority
JP
Japan
Prior art keywords
image
eye
virtual space
synthesizing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002043123A
Other languages
English (en)
Other versions
JP3913076B2 (ja
Inventor
Kenji Morita
憲司 守田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002043123A priority Critical patent/JP3913076B2/ja
Publication of JP2003244726A publication Critical patent/JP2003244726A/ja
Application granted granted Critical
Publication of JP3913076B2 publication Critical patent/JP3913076B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 本発明は、安価な装置で、2系統以上の実写
映像の各々に仮想空間画像を合成した合成画像を同期ず
れなく実時間で表示可能にすることを目的とする。 【解決手段】 2系統以上の実写映像に仮想空間画像を
合成して出力する画像合成処理装置において、複数のカ
メラそれぞれから送られてくるビデオ信号のフレームレ
ートとほぼ同じ高フレームレートにて、各カメラからの
ビデオ信号を非同期にてバッファーに記憶する手段と、
前記フレームレートとは非同期に、前記各カメラから前
記バッファーに最後に記録された画像を同時に取得する
手段と、仮想空間画像と前記取得した各画像とを合成す
る合成手段と、前記合成画像のそれぞれを表示する手段
とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、2系統以上の実写
映像と仮想画像を実時間で合成する画像合成処理装置に
関する。
【0002】
【従来の技術】2系統の実写映像の入力の同期をとる方
法としては、2系統のNTSCのビデオ信号のそれぞれ
を、1つのビデオ信号のODDフィールドとEVENフ
ィールドに割り当て、1つのNTSC信号にしてから、
それを単一の入力装置で1フレーム分同時に取り込むと
いう方法があった。
【0003】また、非同期に2系統の実写映像を取り込
み表示する場合でも、30fps程度の処理速度が保た
れていれば、複数の入力映像の同期ずれは、実用上大き
な問題にならない程度に抑える事がきる。
【0004】図3、図4は従来例の非同期に2系統の実
写映像を取り込む場合の内部的な処理に関する部分のフ
ローと概念図である。図3では、図1および図2に示さ
れるシステムに適用した場合の処理手順について説明す
る。
【0005】処理装置おいて複合現実空間映像を生成す
る手順を、図3のフローチャートに基づいて説明する。
【0006】まず、位置センサ本体から送信されてきた
視点位置および視線方向、手の位置および方向を取り込
む(ステップS301)。なお、ステップS301で
は、位置センサ本体から送信されてきた視点位置および
視線方向、手の位置および方向を定期的に取り込むスレ
ッドS311を利用する。
【0007】次に、仮想空間の時間を更新し、仮想空間
の状態(仮想空間物体の種類、位置、状態)を更新する
(ステップS302)。このとき、現実空間物体の位置
方向に同期して位置方向が変化する仮想空間物体がある
場合は、それらも合わせて状態を更新する。例えば、手
の上に常に仮想物体のキャラクタが乗っているように見
せる場合は、このステップS302でグローブの位置方
向が更新される。
【0008】次に、現実空間物体の位置方向(手の位
置、視点位置)と仮想空間物体の位置方向の関係を調
べ、予め定義されているイベントが発生したと判断され
る場合には、そのイベントに応じて仮想空間の状態を更
新する(ステップS303)。例えば、手で仮想空間物
体に触れた場合に仮想空間物体を爆発させること等が考
えられる。
【0009】次に、ビデオカメラ111から得られた観
察者の視点位置および視線方向での現実空間映像を取り
込む(ステップS304)。このステップS304で
は、ビデオカメラ111から得られた現実空間映像をビ
デオキャプチャーカードから定期的に取得するスレッド
S314を利用する。
【0010】そして、ステップS301で取得した観察
者の視点位置および視線方向からの仮想空間映像を、ス
テップS302,S303で更新された仮想空間の状態
に応じて生成する(ステップS305)。例えばここ
で、170、171に示すような仮想キャラクタが、あ
たかも現実空間に存在するかのように描画される。
【0011】最後に、ステップS305で生成された仮
想空間映像と、ステップS304で取り込まれた現実空
間映像を合成し、HMD110のLCD112に出力す
る(ステップS306)。
【0012】以上の処理を、何らかの終了操作が行われ
るまで(ステップS307)、繰り返し実行する。
【0013】つぎに図3のS304、S314について
図4の現実空間画像取得の概念図を使って詳しく説明す
る。
【0014】S314では図3のフローの繰り返しのレ
ートと同じレートでS314の映像キャプチャスレッド
が動作する。つまり、画像の表示レートとキャプチャレ
ートが同一である。
【0015】例として表示内容が非常に多く10fps
程度の表示しかできない場合のS314の処理内容につ
いて説明する。
【0016】450右目用キャプチャーボード、451
左目用キャプチャーボードは左右非同期に動作してお
り、表示のレートに合わせて、それぞれ10fpsでそ
れぞれ、492右目用画像バッファ、左目用画像バッフ
ァに現実空間画像を記録する。左右非同期で10fps
である事から、ここで記録される画像は最大で1/6
秒、平均でも1/12秒程度ずれを生じてしまう。この
時間のずれは、人にとって十分認識できるずれであり、
現実空間画像の変化が大きい場面においては立体視が不
可能になってしまう。
【0017】
【発明が解決しようとする課題】2系統のNTSCのビ
デオ信号のそれぞれを、1つのビデオ信号のODDフィ
ールドとEVENフィールドに割り当て、1つのNTS
C信号にしてから、それを単一の入力装置で1フレーム
分同時に取り込むという方法では、以下のような問題点
がある。 ・2つのビデオ信号を一つに合成する特殊な装置が必要
で高価である。 ・合成する時に画質が劣化する。EVEN、ODDのフ
ィールドを使うため縦方向の解像度が1/2に低下す
る。 ・合成装置の内部で遅れが生じる。 ・入力に一般的なフィールドシーケンスシャルのカメラ
を用いた場合、2系統の画像に1/60秒の定常的なず
れを生じてしまう。
【0018】一方、非同期に2系統の実写映像を取り込
む場合には30fpsの処理速度が必須なり、高性能な
装置が高価となる。もしくは表示内容を充実させようと
した場合に、処理能力不足のため実現できなくなるか、
処理速度が低下し、左右の実写映像の同期がずれてしま
い、立体視できなくなってしまうといった現象が生じ
る。
【0019】本発明は、安価な装置で、2系統以上の実
写映像の各々に仮想空間画像を合成した合成画像を同期
ずれなく実時間で表示可能にすることを目的とする。
【0020】
【課題を解決するための手段】上述の目的を達成するた
めに本発明は以下の構成を有することを特徴とする。
【0021】本願請求項1の発明は、2系統以上の実写
映像に仮想空間画像を合成して出力する画像合成処理装
置において、複数のカメラそれぞれから送られてくるビ
デオ信号のフレームレートとほぼ同じ高フレームレート
にて、各カメラからのビデオ信号を非同期にてバッファ
ーに記憶する手段と、前記フレームレートとは非同期
に、前記各カメラから前記バッファーに最後に記録され
た画像を同時に取得する手段と、仮想空間画像と前記取
得した各画像とを合成する合成手段と、前記合成画像の
それぞれを表示する手段とを有する事を特徴とする。
【0022】本願請求項4の発明は、撮影された右目用
および左目用の実写画像の夫々に仮想空間画像を合成
し、リアルタイムにステレオ画像を表示する画像合成処
理装置において、各カメラからのビデオ信号を取得し、
右目用および左目用の実写画像としてメモリに格納する
右目用および左目用のキャブチャボード、前記メモリか
ら読み出された前記右目用および左目用の実写画像に、
生成した仮想空間画像を合成し、右目用および左目用の
表示画像を生成するグラフィックボードとを有し、前記
右目用および左目用のキャブチャボードは夫々が非同期
かつ前記グラフィックボードの動作と非同期に高いフレ
ームレートでビデオ信号を取得することを特徴とする。
【0023】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。
【0024】[第1の実施形態]図1は、本発明の第1
の実施形態を適用した複合現実感システムの概略構成を
示すシステム構成図である。
【0025】第一の観察者100は、HMD(Head
MountDisplay)110を頭部に、グローブ
120を手に装着している。
【0026】HMD110は、図2に示したように、ビ
デオカメラ111、LCD112、位置方向測定装置受
信機(目用位置センサ)113、光学プリズム114,
115で構成されている。ビデオカメラ111は、光学
プリズム115によって導かれた観察者の視点位置およ
び視線方向の現実空間映像を撮影する。目用位置センサ
113は、観察者の視点位置および視線方向を測定する
ために利用される。LCD113は、複合現実空間映像
を表示し、その映像は光学プリズム114によって観察
者の瞳に導かれる。
【0027】グローブ120には、手用位置センサ12
1、スピーカ122(図示省略)が内蔵されている。手
用位置センサ121は、観察者の手の位置および方向を
測定するためのセンサとして利用される。スピーカ12
2からは手の位置において発生したイベントに応じた音
が発生される。この音としては、例えば、手で仮想空間
物体に触ったり叩いたりした時の音や、手の位置に同期
して表示される仮想空間物体の状態が変わったときに発
生する音などが考えられる。
【0028】130は位置方向測定装置発信機(位置セ
ンサ発信機)、131は位置方向測定装置本体(位置セ
ンサ本体)である。目用位置センサ113、手用位置セ
ンサ121、及び位置センサ発信機130は、位置セン
サ本体131に接続されている。位置センサ発信機13
0からは磁気が発信されており、この磁気は、目用位置
センサ113、手用位置センサ121で受信される。位
置センサ本体131は、目用位置センサ113、手用位
置センサ121からの受信強度信号に基づいて、夫々
目、手の位置および方向を算出する。ここで、位置方向
測定装置としては、米国Polhemus社製FASTRAKなどが利
用可能である。
【0029】140は観察者1人分の複合現実空間映像
を生成して、HMD110に表示する処理装置である。
この処理装置140は、例えば、パーソナルコンピュー
タとビデオキャプチャーカード、CG描画機能を有する
ビデオカード、サウンドカード等で構成される。処理装
置140には、HMD110、スピーカ122、位置セ
ンサ本体131が接続されている。
【0030】170は第一の観察者100の手の上に乗
っているかの様に複合される仮想キャラクタである。1
80は第一の観察者の視線を示す。視線は目用位置セン
サ113、位置センサ発信機130、位置センサ本体1
31によって計測可能である。
【0031】第二の観察者101も第一の観察者と同様
の構成である。
【0032】次に、処理装置140において複合現実空
間映像を生成する手順を、図8のフローチャートに基づ
いて説明する。
【0033】処理装置140は、まず、位置センサ本体
131から送信されてきた視点位置および視線方向、手
の位置および方向を取り込む(ステップS2001)。
なお、ステップS2001では、位置センサ本体131
から送信されてきた視点位置および視線方向、手の位置
および方向を定期的に取り込むスレッドS2011を利
用する。
【0034】次に、仮想空間の時間を更新し、仮想空間
の状態(仮想空間物体の種類、位置、状態)を更新する
(ステップS2002)。このとき、現実空間物体の位
置方向に同期して位置方向が変化する仮想空間物体があ
る場合は、それらも合わせて状態を更新する。例えば、
手の上に常に仮想物体のキャラクタが乗っているように
見せる場合は、このステップS2002でグローブの位
置方向が更新される。
【0035】次に、現実空間物体の位置方向(手の位
置、視点位置)と仮想空間物体の位置方向の関係を調
べ、予め定義されているイベントが発生したと判断され
る場合には、そのイベントに応じて仮想空間の状態を更
新する(ステップS2003)。例えば、手で仮想空間
物体に触れた場合に仮想空間物体を爆発させること等が
考えられる。
【0036】次に、左右両方のの現実空間画像バッファ
をロックして変更不能にする(ステップS2004)。
【0037】次にバッファに取り込まれている内容で、
現実空間描画用の映像を更新する(ステップS200
5)。現実空間画像バッファには別処理で、カメラ11
1からの画像が取り込まれているが、その部分は本実施
形態に特有の方式であり詳細は後述する。本実施形態で
は現実空間画像バッファにカメラからの画像を書き込む
処理を、現時空間画像バッファに書き込まれた画像に基
づく表示画像の生成を独立、非同期に行っている。
【0038】ステップS2005で更新した後にはステ
ップS2004でロックしたバッファを開放する。(ス
テップS2006) 次にステップS2005で更新された現実空間画像を描
画する。(ステップS2007) そして、ステップS2001で取得した観察者の視点位
置および視線方向からの仮想空間映像を、ステップS2
002,S2003で更新された仮想空間の状態に応じ
て生成する(ステップS2008)。
【0039】最後に、ステップS2008で生成された
仮想空間映像と、ステップS2007で取り込まれた現
実空間映像を合成し、HMD110のLCD112に出
力する(ステップS2009)。
【0040】以上の処理を、何らかの終了操作が行われ
るまで(ステップS2010)、繰り返し実行する。
【0041】これらの一連の処理はステップS2008
で描画される仮想空間映像の内容等によって処理時間が
大きく変わり、1/30秒で処理できない場合が多々生
じてしまう。
【0042】しかしながら、本実施形態では、左右の現
実空間画像の時間ずれを問題がないレベルまでに抑制す
ることができる。S2005で更新される実写画像は1
/30fpsで更新されている最後に更新された映像で
あるため、最大でも1/30秒の遅れ、平均では1/6
0秒の遅れに抑えることができる。つまり、左右の映像
の更新に遅れの偏りがでるといった現象を防ぐことがで
きる。
【0043】図5、図6は、HMD110の外観図であ
り、図5は撮影部の方向から見た外観図、図6は表示部
の方向から見た外観図である。
【0044】201はHMD表示部である。このHMD表
示部201としては、右目用表示201Rと左目用表示
部201Lの2つが有り、共にカラー液晶とプリズムを
有し、観察者の視点位置および視線方向に対応する複合
現実空間映像が表示される。
【0045】204〜208は、頭部装着用の構成部材
である。HMD301を頭部に装着するには、まず、ア
ジャスタ205で長さ調整部206を緩めた状態で頭に
かぶる。そして、額装着部208を額に密着させてから
側頭装着部204と後頭装着部207を各々側頭部、後
頭部に密着させるように、アジャスタ205で長さ調整
部206を絞めればよい。
【0046】203は観察者の視点位置および視線方向
の現実空間映像を撮影するためのHMD撮影部であり、こ
のHMD撮影部203としては、右目用撮影部203R
と左目撮影用203Lの2つがあり、共にNTSC方式
の小型ビデオカメラにより構成されている。撮影された
現実空間映像は、仮想空間映像と重畳されて複合現実空
間映像となる。
【0047】受信機302は、観察者の視点位置および
視線方向を測定するための情報として発信機304から
発せられた磁気を受信するために利用される。この受信
機302のHMD301への取付部としては、受信機接
合部200R,200L,200Cの3つが形成されて
おり、これら受信機接合部200R,200L,200
Cの任意の接合部に受信機302を着脱自在に取付ける
ことが可能となっている。すなわち、図5,図6では、
受信機302は、観察者の視線の進行方向の右側の受信
機接合部200Rに取付けられているが、観察者の視線
の進行方向の左側の受信機接合部200L、或いは観察
者の正中線上の受信機接合部200Cに取付けることも
可能である。
【0048】受信機接合部200R,200L,200
Cは、本実施形態では、受信機302を嵌めこんで固定
するための差込口を有する構成となつているが、他の着
脱自在な接合(取付)方式を採用してもよい。
【0049】210は受信機信号線であり、受信機接合
部200Cの近傍からHMD301の外部に露出してい
る。この受信機信号線210は、受信機接合部200
R,200L,200Cの何れにも受信機302を取付
けられるように、十分な長さが確保されている。
【0050】209はHMD表示部201、HMD撮影
部203等への信号線や電源供給線、上記受信機信号線
210等の各種の線を纏めた結束線材であり、後頭装着
部207に取り付けられている。そして、結束線材20
9中の左右のHMD表示部201R,201L、HMD
撮影部203R,203L等への信号線や電源供給線
は、各々、左右の側頭装着部204を通っている。
【0051】図7は、図1のシステムにおける観察者1
人分のハードウェア構成を示すブロック図である。処理
装置(コンピュータ)307には、右目用ビデオキャプ
チャーボード350、左目用ビデオキャプチャーボード
351、右目用グラフィックボード352、左目用グラ
フィックボード353、I/Oインターフェース35
4、ネットワークインターフェース359が搭載されて
おり、これら構成要素は、CPU356、HDD35
5、メモリ357と接続されている。
【0052】左右の目用のビデオキャプチャーボード3
51,350は、夫々、左右の目用のビデオカメラ20
3L,203Rに接続され、これらビデオカメラ203
L,203Rにて撮影された実写映像を本処理装置30
7で仮想空間映像と構成可能な形式に変換する。また、
左右の目用のグラフィックボード353,352は、夫
々、左右の目用の表示部(装置)201L,201Rに
接続され、これら左右の目用の表示部201L,201
Rに対する表示制御を行う。
【0053】また、I/Oインターフェース354は、
位置方向測定装置本体306と接続され、ネットワーク
インターフェース359は、ネットワーク330と接続
されている。
【0054】次に本実施形態に固有の現実空間画像バッ
ファの処理に関して、コンピュータ140の内部の関連
する部分の概念を示した図11と図9を用いて説明す
る。図10は左目に関する処理で、図9の右目に関する
処理と同等である。
【0055】まず1フレーム分の映像信号の取り込みが
右目用キャプチャーカード350で完了するのを待つ
(ステップS2101)。次に右目用キャプチャーカー
ド350から1フレーム分の画像を取得する。(ステッ
プS2102) 次にメモリ357中の右目用現実空間画像バッファ23
02をロックする(ステップS2103)。このロック
によって、更新中の右目用現実空間画像バッファ230
2を描画に使ってしまい更新中の乱れた映像を描画して
しまうという事を防ぐことができる。
【0056】次に右目用現実空間画像バッファ2302
に現実空間絵画像をコピーする(ステップS210
4)。このときに、バッファが上書きされる事が重要で
ある。画像がキューに積まれて、順番に処理されてしま
うと、表示のレートが、キャプチャーのレートよりも遅
い場合に、古いデータから順に画像が処理される事にな
ってしまい、以下の分だけ遅れが生じてしまう。
【0057】遅れ=キューに溜まっている画像の数×1
/30秒(キャプチャレートによる) 他の部分の実装方法によってはリングバッファー、ダブ
ルバッファー、などいくつかバッファーを設けて、読み
出しと書き込みを同時に行う、コピーの処理を除いて高
速化するなどの事も可能であるが、いずれの場合にも、
最後に書き込んだバッファーを保持し、描画においては
最後に書き込んだ最新の画像を参照する事が本実施形態
において重要である。
【0058】最後に右目用現実空間画像バッファ230
2のロックを開放し(S2106)次のフレームの処理
を行う。
【0059】本実施形態の現実空間画像バッファ処理に
よれば、高いフレームレートでカメラからの画像をキャ
プチャするので、現実空間映像の遅れを実用上問題ない
レベルまで抑え、左右の現実空間映像の時間的差を実用
上問題ないレベルにする事が可能である。
【0060】従来すぐに次のフレームの処理を行わず、
最新の画像による描画を待つような処理手順が一般的で
あったが、そのような方式ではCPU負荷は軽減できる
ものの、現実空間映像の遅れが目立ってしまう。
【0061】以上のように、本実施形態によれば、現実
空間映像と仮想空間映像を合成して、複合現実感空間映
像を生成・表示する装置において、比較的安価な装置に
おいても、現実空間映像の遅れを実用上問題ないレベル
まで抑え、左右の現実空間映像の、時間的差も最小にす
る事が可能である。
【0062】
【発明の効果】本発明によれば、現実空間映像と仮想空
間映像を合成して、複合現実感空間映像を生成・表示す
る装置において、比較的安価な装置においても、現実空
間映像の遅れを実用上問題ないレベルまで抑え、左右の
現実空間映像の時間的差も最小にする事が可能である。
【図面の簡単な説明】
【図1】本発明の第3の実施形態を適用した複合現実感
システムの概略構成を示すシステム構成図である。
【図2】HMDの構成を示す構成図である。
【図3】従来の複合現実空間映像の生成処理を示すフロ
ーチャートである。
【図4】従来のハードウェアの概念図である。
【図5】HMDを撮影部の方向から見た場合の外観図で
ある。
【図6】HMDを表示部の方向から見た場合の外観図で
ある。
【図7】図1のシステムにおける観察者1人分のハード
ウェア構成を示すブロック図である。
【図8】本発明の複合現実空間映像の生成処理を示すフ
ローチャートである。
【図9】本発明の右目の現実空間映像の処理を示すフロ
ーチャートである。
【図10】本発明の右目の現実空間映像の処理を示すフ
ローチャートである。
【図11】図7のハードウエアの中で実施形態分の概念
を示す図である。
フロントページの続き Fターム(参考) 5B050 BA06 BA07 BA11 EA19 EA24 FA02 FA06 5B057 BA13 CA08 CA13 CA16 CB08 CB13 CB16 CE08 CH11 5C061 AA20 AB04 AB08 AB12 AB18 AB21 AB24 5C082 AA27 AA34 BA12 BA47 BB15 BB22 BD06 BD09 CA56 DA55 DA65 DA76 MM06 MM10

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 2系統以上の実写映像に仮想空間画像を
    合成して出力する画像合成処理装置において、 複数のカメラそれぞれから送られてくるビデオ信号のフ
    レームレートとほぼ同じ高フレームレートにて、各カメ
    ラからのビデオ信号を非同期にてバッファーに記憶する
    手段と、 前記フレームレートとは非同期に、前記各カメラから前
    記バッファーに最後に記録された画像を同時に取得する
    手段と、 仮想空間画像と前記取得した各画像とを合成する合成手
    段と、 前記合成画像のそれぞれを表示する手段とを有すること
    を特徴とする画像合成処理装置。
  2. 【請求項2】 さらに、位置センサと、 該位置センサによって求められた前記実写映像の位置情
    報に応じて前記仮想空間画像を生成する生成手段とを有
    することを特徴とする請求項1記載の画像合成処理装
    置。
  3. 【請求項3】 さらに、イベントの発生に応じて、前記
    バッファーへのビデオ信号の書き込みを制御することを
    特徴とする請求項1記載の画像合成装置。
  4. 【請求項4】 撮影された右目用および左目用の実写画
    像の夫々に仮想空間画像を合成し、リアルタイムにステ
    レオ画像を表示する画像合成処理装置において、 各カメラからのビデオ信号を取得し、右目用および左目
    用の実写画像としてメモリに格納する右目用および左目
    用のキャブチャボード、 前記メモリから読み出された前記右目用および左目用の
    実写画像に、生成した仮想空間画像を合成し、右目用お
    よび左目用の表示画像を生成するグラフィックボードと
    を有し、 前記右目用および左目用のキャブチャボードは夫々が非
    同期かつ前記グラフィックボードの動作と非同期に高い
    フレームレートでビデオ信号を取得することを特徴とす
    る画像合成処理装置。
JP2002043123A 2002-02-20 2002-02-20 画像合成処理装置 Expired - Fee Related JP3913076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002043123A JP3913076B2 (ja) 2002-02-20 2002-02-20 画像合成処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002043123A JP3913076B2 (ja) 2002-02-20 2002-02-20 画像合成処理装置

Publications (2)

Publication Number Publication Date
JP2003244726A true JP2003244726A (ja) 2003-08-29
JP3913076B2 JP3913076B2 (ja) 2007-05-09

Family

ID=27783014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002043123A Expired - Fee Related JP3913076B2 (ja) 2002-02-20 2002-02-20 画像合成処理装置

Country Status (1)

Country Link
JP (1) JP3913076B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008542833A (ja) * 2005-05-31 2008-11-27 フィリップ・モーリス・プロダクツ・ソシエテ・アノニム 仮想現実喫煙システム
JP2011128220A (ja) * 2009-12-15 2011-06-30 Toshiba Corp 情報提示装置、情報提示方法及びプログラム
WO2016043893A1 (en) * 2014-09-17 2016-03-24 Intel Corporation Technologies for adjusting a perspective of a captured image for display
KR101678861B1 (ko) * 2015-07-28 2016-11-23 엘지전자 주식회사 이동단말기 및 그 제어방법
US11284646B2 (en) 2018-03-22 2022-03-29 Altria Client Services Llc Augmented reality and/or virtual reality based e-vaping device vapor simulation systems and methods

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327433A (ja) * 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327433A (ja) * 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
JP2000353248A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実感装置及び複合現実感提示方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008542833A (ja) * 2005-05-31 2008-11-27 フィリップ・モーリス・プロダクツ・ソシエテ・アノニム 仮想現実喫煙システム
US9648907B2 (en) 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
JP2011128220A (ja) * 2009-12-15 2011-06-30 Toshiba Corp 情報提示装置、情報提示方法及びプログラム
US8094091B2 (en) 2009-12-15 2012-01-10 Kabushiki Kaisha Toshiba Information presenting apparatus, method, and computer program product
WO2016043893A1 (en) * 2014-09-17 2016-03-24 Intel Corporation Technologies for adjusting a perspective of a captured image for display
US9934573B2 (en) 2014-09-17 2018-04-03 Intel Corporation Technologies for adjusting a perspective of a captured image for display
KR101678861B1 (ko) * 2015-07-28 2016-11-23 엘지전자 주식회사 이동단말기 및 그 제어방법
US11284646B2 (en) 2018-03-22 2022-03-29 Altria Client Services Llc Augmented reality and/or virtual reality based e-vaping device vapor simulation systems and methods
US11930856B2 (en) 2018-03-22 2024-03-19 Altria Client Services Llc Devices, systems and methods for performing age verification

Also Published As

Publication number Publication date
JP3913076B2 (ja) 2007-05-09

Similar Documents

Publication Publication Date Title
JP2008146109A (ja) 画像処理方法、画像処理装置
JP2003242527A (ja) 情報処理装置および方法
JP6218787B2 (ja) 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
KR20180002607A (ko) 캡처된 이미지에 대한 패스-스루 디스플레이
US20110254844A1 (en) Three-dimensional image display device and three-dimensional image display method
JP2002157607A (ja) 画像生成システム、画像生成方法および記憶媒体
WO2019098198A1 (ja) 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
WO2023103954A1 (zh) 视频读取方法、装置、电子设备及存储介质
JP2011035638A (ja) 仮想現実空間映像制作システム
JP2002271817A (ja) 複合現実感システム、ヘッドマウントディスプレイ装置、画像生成方法
JP2003346190A (ja) 画像処理装置
JP2012108793A (ja) 情報表示システム、装置、方法及びプログラム
JP2003244726A (ja) 画像合成処理装置
JP2003240532A (ja) 位置方向測定装置および情報処理方法
CN113206991A (zh) 全息显示方法、系统、计算机程序产品及存储介质
JP2017046233A (ja) 表示装置及び情報処理装置及びその制御方法
JPH1188912A (ja) 複眼カメラ及び複眼カメラにおける表示制御方法
JP6614835B2 (ja) 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム
WO2019073925A1 (ja) 画像生成装置および画像生成方法
JP2002269593A (ja) 画像処理装置及び方法、並びに記憶媒体
JPH10336703A (ja) 画像合成装置、方法および記憶媒体
JP4125085B2 (ja) 画像処理装置、画像処理方法
JP6921204B2 (ja) 情報処理装置および画像出力方法
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
JP4249187B2 (ja) 立体映像処理装置並びにそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070130

R150 Certificate of patent or registration of utility model

Ref document number: 3913076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100209

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110209

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120209

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130209

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140209

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees