JP2008306602A5 - - Google Patents

Download PDF

Info

Publication number
JP2008306602A5
JP2008306602A5 JP2007153389A JP2007153389A JP2008306602A5 JP 2008306602 A5 JP2008306602 A5 JP 2008306602A5 JP 2007153389 A JP2007153389 A JP 2007153389A JP 2007153389 A JP2007153389 A JP 2007153389A JP 2008306602 A5 JP2008306602 A5 JP 2008306602A5
Authority
JP
Japan
Prior art keywords
image
frame
interest
composite image
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007153389A
Other languages
Japanese (ja)
Other versions
JP4912224B2 (en
JP2008306602A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2007153389A priority Critical patent/JP4912224B2/en
Priority claimed from JP2007153389A external-priority patent/JP4912224B2/en
Publication of JP2008306602A publication Critical patent/JP2008306602A/en
Publication of JP2008306602A5 publication Critical patent/JP2008306602A5/ja
Application granted granted Critical
Publication of JP4912224B2 publication Critical patent/JP4912224B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (8)

観察者の一方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、他方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、を有する画像表示システムであって、
それぞれの前記画像提示部は、
各フレームの現実空間画像を入力する入力手段と、
前記現実空間画像を撮像したときの位置姿勢を取得する取得手段と、
前記取得手段が取得した位置姿勢に基づいて仮想空間画像を生成し、前記入力手段が入力した現実空間画像と合成することで、合成画像を生成する生成手段と、
前記生成手段が生成した合成画像を送出する送出手段と、
前記送出された合成画像を受信する受信手段と、
前記受信手段が受信した注目フレームの合成画像のデータにエラーが発生しているか否かを判断する判断手段と、
前記注目フレームの合成画像のデータにエラーが発生していないと前記判断手段が判断した場合には、前記注目フレームの合成画像を表示し、
前記注目フレームの合成画像のデータにエラーが発生していると前記判断手段が判断した場合には、前記注目フレームにおける動き量を示す参照値を求め、
前記参照値が予め定められた閾値よりも小さい場合には、前記注目フレームにおける合成画像を前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を他方の画像提示部が有する前記生成手段が生成した注目フレームにおける合成画像を用いて修正した合成画像を表示する表示手段と
を備えることを特徴とする画像表示システム。
An image presentation unit for capturing a real space image for one eye of an observer and presenting the captured real space image; for capturing a real space image for the other eye and presenting the captured real space image An image display system having an image presentation unit,
Each of the image presentation units
An input means for inputting a real space image of each frame;
An acquisition means for acquiring a position and orientation when the real space image is captured;
A generation unit that generates a virtual space image based on the position and orientation acquired by the acquisition unit, and generates a composite image by combining with a real space image input by the input unit;
Sending means for sending the composite image generated by the generating means;
Receiving means for receiving the transmitted composite image;
Determining means for determining whether an error has occurred in the composite image data of the frame of interest received by the receiving means;
If the determination means determines that no error has occurred in the composite image data of the target frame, the composite image of the target frame is displayed,
If the determination means determines that an error has occurred in the composite image data of the frame of interest , a reference value indicating the amount of motion in the frame of interest is obtained,
If the reference value is smaller than a predetermined threshold, a composite image obtained by correcting the composite image in the frame of interest using the composite image in the frame immediately before the frame of interest is displayed.
When the reference value is equal to or greater than the threshold value, display means for displaying a composite image obtained by correcting the composite image in the frame of interest using the composite image in the frame of interest generated by the generation unit included in the other image presentation unit An image display system comprising:
前記表示手段は、
前記参照値が前記閾値よりも小さい場合には、前記注目フレームにおける合成画像を、前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を表示する
ことを特徴とする請求項1に記載の画像表示システム。
The display means includes
If the reference value is smaller than the threshold value, display a composite image obtained by correcting the composite image in the frame of interest using the composite image in the frame immediately before the frame of interest;
The image display system according to claim 1, wherein when the reference value is equal to or greater than the threshold value, a composite image in the frame of interest is displayed.
前記修正は、画像全体の置き換え、若しくは前記判断手段がエラー箇所として判断した箇所についての画像の置き換え、の何れかによって行われることを特徴とする請求項1又は2に記載の画像表示システム。 The modification, replacement of the entire image, or the image display system according to claim 1 or 2, wherein the determination unit replacement image for the portion is determined as an error location, characterized in that it is carried out by either. 前記表示手段は、前記注目フレームについて前記取得手段が取得した位置姿勢と、当該注目フレームの直前のフレームについて前記取得手段が取得した位置姿勢と、の差分前記参照値として求めることを特徴とする請求項1に記載の画像表示システム。 The display means, and obtaining the position and orientation acquired by the acquisition unit for the frame of interest, the position and orientation for the previous frame is the acquisition unit has acquired of the frame of interest of the difference as the reference value The image display system according to claim 1. 前記表示手段は、前記注目フレームにおける合成画像と、当該注目フレームの直前のフレームにおける合成画像と、のオプティカルフローを前記参照値として求めることを特徴とする請求項1に記載の画像表示システム。   The image display system according to claim 1, wherein the display unit obtains an optical flow of a synthesized image in the frame of interest and a synthesized image in a frame immediately before the frame of interest as the reference value. 前記取得手段は、前記入力手段が入力した画像を用いて、前記位置姿勢を求めることを特徴とする請求項1乃至の何れか1項に記載の画像表示システム。 The acquisition unit, an image display system according to any one of claims 1 to 5 wherein the input means using the image input, and obtains the position and orientation. それぞれの前記画像提示部は、頭部装着型表示装置に取り付けれており、
前記取得手段は、前記頭部装着型表示装置に取り付けられた位置姿勢センサが計測した結果から、前記頭部装着型表示装置の位置姿勢を求めることを特徴とする請求項1乃至の何れか1項に記載の画像表示システム。
Each of the image presentation units is attached to a head-mounted display device,
The acquisition unit, from the result of the position and orientation sensor attached to the head-mounted display device has been measured, one of claims 1 to 5, characterized in that determining the position and orientation of the head mounted display device 2. The image display system according to item 1.
観察者の一方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、他方の目に対する現実空間画像を撮像し、撮像した現実空間画像を提示する為の画像提示部と、を有する画像表示システムの制御方法であって、
それぞれの前記画像提示部
各フレームの現実空間画像を入力する入力工程と、
前記現実空間画像を撮像したときの位置姿勢を取得する取得工程と、
前記取得工程で取得した位置姿勢に基づいて仮想空間画像を生成し、前記入力工程で入力した現実空間画像と合成することで、合成画像を生成する生成工程と、
前記生成工程で生成した合成画像を送出する送出工程と、
前記送出された合成画像を受信する受信工程と、
前記受信工程で受信した注目フレームの合成画像のデータにエラーが発生しているか否かを判断する判断工程と、
前記注目フレームの合成画像のデータにエラーが発生していないと前記判断工程で判断した場合には、前記注目フレームの合成画像を表示し、
前記注目フレームの合成画像のデータにエラーが発生していると前記判断工程で判断した場合には、前記注目フレームにおける動き量を示す参照値を求め、
前記参照値が予め定められた閾値よりも小さい場合には、前記注目フレームにおける合成画像を前記注目フレームの直前のフレームにおける合成画像を用いて修正した合成画像を表示し、
前記参照値が前記閾値以上である場合には、前記注目フレームにおける合成画像を他方の画像提示部における前記生成工程で生成した注目フレームにおける合成画像を用いて修正した合成画像を表示する表示工程と
を備えることを特徴とする画像表示システムの制御方法。
An image presentation unit for capturing a real space image for one eye of an observer and presenting the captured real space image; for capturing a real space image for the other eye and presenting the captured real space image An image display system comprising: an image presentation unit;
Each of the image display unit,
An input process for inputting a real space image of each frame;
An acquisition step of acquiring a position and orientation when the real space image is captured;
Generating a virtual space image based on the position and orientation acquired in the acquisition step, and generating a composite image by combining with the real space image input in the input step; and
A sending step of sending the composite image generated in the generating step;
A receiving step of receiving the transmitted composite image;
A determination step of determining whether an error has occurred in the composite image data of the frame of interest received in the reception step;
If it is determined in the determination step that no error has occurred in the composite image data of the frame of interest, the composite image of the frame of interest is displayed;
If it is determined in the determination step that an error has occurred in the composite image data of the frame of interest , a reference value indicating the amount of motion in the frame of interest is obtained;
If the reference value is smaller than a predetermined threshold, a composite image obtained by correcting the composite image in the frame of interest using the composite image in the frame immediately before the frame of interest is displayed.
When the reference value is equal to or greater than the threshold value, a display step of displaying a composite image in which the composite image in the target frame is corrected using the composite image in the target frame generated in the generation step in the other image presentation unit ; An image display system control method comprising:
JP2007153389A 2007-06-08 2007-06-08 Image display system and control method thereof Expired - Fee Related JP4912224B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007153389A JP4912224B2 (en) 2007-06-08 2007-06-08 Image display system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007153389A JP4912224B2 (en) 2007-06-08 2007-06-08 Image display system and control method thereof

Publications (3)

Publication Number Publication Date
JP2008306602A JP2008306602A (en) 2008-12-18
JP2008306602A5 true JP2008306602A5 (en) 2010-07-22
JP4912224B2 JP4912224B2 (en) 2012-04-11

Family

ID=40234892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007153389A Expired - Fee Related JP4912224B2 (en) 2007-06-08 2007-06-08 Image display system and control method thereof

Country Status (1)

Country Link
JP (1) JP4912224B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5299111B2 (en) * 2009-06-19 2013-09-25 ソニー株式会社 Image processing apparatus, image processing method, and program
JP4875127B2 (en) 2009-09-28 2012-02-15 パナソニック株式会社 3D image processing device
JP4733764B2 (en) 2009-11-10 2011-07-27 パナソニック株式会社 3D image processing apparatus and 3D image processing method
JP4823349B2 (en) * 2009-11-11 2011-11-24 パナソニック株式会社 3D video decoding apparatus and 3D video decoding method
JP4762343B2 (en) * 2009-12-28 2011-08-31 株式会社東芝 Image quality adjusting apparatus and image quality adjusting method
JP5527603B2 (en) * 2010-06-24 2014-06-18 ソニー株式会社 Information processing apparatus and information processing method
JP5622537B2 (en) * 2010-11-30 2014-11-12 三菱電機株式会社 Error concealment device
JP5422597B2 (en) * 2011-04-22 2014-02-19 パナソニック株式会社 3D image processing device
JP6397243B2 (en) 2014-07-22 2018-09-26 キヤノン株式会社 Display device, control method, and program
JP6949475B2 (en) * 2016-11-28 2021-10-13 キヤノン株式会社 Image processing equipment, image processing methods and programs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332575B2 (en) * 1994-05-23 2002-10-07 三洋電機株式会社 3D video playback device
JP3992533B2 (en) * 2002-04-25 2007-10-17 シャープ株式会社 Data decoding apparatus for stereoscopic moving images enabling stereoscopic viewing
JP2006254308A (en) * 2005-03-14 2006-09-21 Matsushita Electric Ind Co Ltd Video recording apparatus and video recording method
JP2007034628A (en) * 2005-07-26 2007-02-08 Canon Inc Method and system for image processing
JP4717728B2 (en) * 2005-08-29 2011-07-06 キヤノン株式会社 Stereo display device and control method thereof

Similar Documents

Publication Publication Date Title
JP2008306602A5 (en)
JP2013179397A5 (en)
KR102292031B1 (en) Electronic display stabilization for head mounted displays
US8233011B2 (en) Head mounted display and control method therefor
JP2006285787A5 (en)
RU2019131371A (en) MIXED REALITY VIEWER SYSTEM AND METHOD FOR IT
JP2016520891A5 (en)
JP2011227875A5 (en) Information processing system, information processing method, and program
MY173040A (en) Information processing apparatus, system, vacant space guidance method and program
JP2017054201A5 (en)
JP2010092436A5 (en)
EP3572916B1 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
WO2012173998A3 (en) Volumetric video presentation
WO2008099092A3 (en) Device and method for watching real-time augmented reality
JP2015095045A5 (en)
JP2013030122A5 (en)
JP2009156992A5 (en)
JP2009123018A (en) Image processor and image processing method
JP2007110683A5 (en)
JP2013031896A5 (en)
JP2014186487A (en) Mixed reality presenting system, virtual reality presenting system, display apparatus, information processing apparatus, control method, and program
EP2529813A3 (en) Image processing apparatus and image processing method for displaying video image capable of achieving improved operability and realism, and program for controlling image processing apparatus
JP2013077987A5 (en)
EP2413610A3 (en) Method and apparatus for displaying a 3-dimensional image
JP2020004325A5 (en)