CN101232577B - 能摄像的显示设备、图像处理方法和图像显示系统 - Google Patents

能摄像的显示设备、图像处理方法和图像显示系统 Download PDF

Info

Publication number
CN101232577B
CN101232577B CN2007101079792A CN200710107979A CN101232577B CN 101232577 B CN101232577 B CN 101232577B CN 2007101079792 A CN2007101079792 A CN 2007101079792A CN 200710107979 A CN200710107979 A CN 200710107979A CN 101232577 B CN101232577 B CN 101232577B
Authority
CN
China
Prior art keywords
image
distortion correction
distortion
unit
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101079792A
Other languages
English (en)
Other versions
CN101232577A (zh
Inventor
梶田佳树
片山昭宏
内山晋二
铃木雅博
辻本卓哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101232577A publication Critical patent/CN101232577A/zh
Application granted granted Critical
Publication of CN101232577B publication Critical patent/CN101232577B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Endoscopes (AREA)

Abstract

一种具有摄像功能的显示设备、图像处理方法和图像显示系统。该具有摄像功能的显示设备包括：输出单元，用于将图像信号输出到外部设备；输入单元，用于从外部设备输入图像信号；摄像单元；显示单元；摄像畸变校正器，用于对摄像单元拍摄的图像信号进行摄像畸变校正；显示畸变校正器，用于进行显示畸变校正；以及控制器，用于对摄像畸变校正器是否进行摄像畸变校正以及显示畸变校正器是否进行显示畸变校正进行控制。因此，在包括具有摄像功能的显示设备和外部设备的整个系统中，可以适当校正由具有摄像功能的显示设备的摄像系统和显示系统所引起的畸变。

Description

能摄像的显示设备、图像处理方法和图像显示系统
技术领域
本发明涉及一种具有摄像功能的显示设备、图像处理设备、图像处理方法和图像显示系统。 
背景技术
通常，当在混合现实(mixed reality，MR)环境中使用具有摄像功能的显示设备时，将摄像装置拍摄的图像载入个人计算机(PC)来进行畸变校正处理，以校正由摄像装置引起的畸变。以下将具有摄像功能的显示设备称为“头盔式显示器(headmounted displays，HMD)”。HMD不局限于头盔式设备，还可以包括双筒望远镜等手持式设备。 
PC将计算机图形(computer graphics，CG)图像与校正后的图像进行合成，并将合成后的图像提供给显示装置用于显示。S.Uchiyama等在“MR Platform：A basic body on which mixedreality applications are built”，Proc.IEEE/ACM Internat.Symp.on Mixed and Augmented Reality(ISMAR 2002)，pp.246-253，2002”中公开了一种相关技术领域的对摄像系统引起的畸变的校正技术。 
另一方面，还未十分重视对HMD的显示系统引起的畸变的校正，存在的问题是，当HMD的显示系统具有广角视野时，所显示的图像发生畸变。如果单纯引入针对显示系统的畸变校正来补偿该畸变，则再次针对显示系统引起的畸变校正针对摄像系统引起的畸变校正后的图像。 
因此，当使用HMD的显示装置直接观察使用HMD拍摄的图像时，进行两次针对畸变校正的算术运算。导致出现由于运算误差而降低最终显示的图像质量的问题。 
当HMD具有不同畸变校正功能时，例如，当一个HMD具有针对摄像系统的内置畸变校正功能，而另一个HMD不具有这种功能时，出现其它问题。在这种情况下，即使由PC统一进行校正处理，畸变校正后的图像还要经过畸变校正处理，并且所显示的图像可能还会发生畸变。 
发明内容
本发明提供一种具有摄像功能的显示设备，其中，可以在包括具有摄像功能的显示设备和外部设备的整个系统内适当校正由具有摄像功能的显示设备的摄像系统和显示系统所引起的畸变。 
根据一方面，本发明包括一种具有摄像功能的显示设备，该显示设备包括：输出单元，用于将图像信号输出到外部设备；输入单元，用于从外部设备输入图像信号；摄像单元；显示单元；摄像畸变校正器，用于对摄像单元拍摄的图像信号进行摄像畸变校正；显示畸变校正器，用于进行显示畸变校正；以及控制器，用于对摄像畸变校正器是否进行摄像畸变校正以及显示畸变校正器是否进行显示畸变校正进行控制。 
根据另一方面，本发明提供一种具有摄像功能的显示设备的图像处理方法，该显示设备包括：输出单元，用于将图像信号输出到外部设备；输入单元，用于从外部设备输入图像信号；摄像单元；以及显示单元；该图像处理方法包括以下步骤：摄像畸变校正步骤，用于对摄像单元拍摄的图像信号进行摄像畸变校正；显示畸变校正步骤，用于进行显示畸变校正；以及控制步骤，用于对是否在摄像畸变校正步骤中进行摄像畸变校正以及是否在显示畸变校正步骤中进行显示畸变校正进行控制。 
根据另一方面，本发明提供一种图像显示系统，该图像显示系统包括：具有摄像功能的显示设备、图像处理设备、图像合成单元、设置单元以及畸变校正器，其中，具有摄像功能的显示设备包括：用于从外部设备输入图像信号的输入单元、用于将图像信号输出到外部设备的输出单元、用于拍摄现实空间图像的摄像单元、以及用于显示图像的显示单元，该图像处理设备包括图像生成器，该图像生成器用于生成与具有摄像功能的显示设备的摄像单元拍摄的现实空间图像进行合成的合成用图像，该图像合成单元用于将图像生成器生成的图像与摄像单元拍摄的现实空间图像进行合成以生成合成后的图像，该设置单元用于设置畸变校正类型，该畸变校正器用于根据设置单元设置的畸变校正类型来校正图像畸变。 
根据另一方面，本发明提供一种图像处理设备，该图像处理设备包括：输入单元，用于从外部设备输入图像信号；图像生成器，用于生成将与输入到图像处理设备的外部输入图像进行合成的合成用图像；输出单元，用于将图像信号输出到外部设备；图像合成单元，用于将合成用图像与外部输入图像进行合成；至少一个畸变校正器，用于校正图像畸变；以及设置单元，用于设置畸变校正器所进行的畸变校正的类型，并确定图像合成单元是否进行图像合成。 
通过以下参照附图对典型实施例的说明，本发明的其它特征显而易见。 
附图说明
图1是示出本发明第一实施例的示意性框图。 
图2是示出本发明第二实施例的示意性框图。 
图3是示出本发明第三实施例的示意性框图。 
图4是根据本发明第五实施例的MR系统的示意图。 
图5是根据第五实施例的HMD的示意性框图。 
图6是示出根据第五实施例的HMD的设置的表。 
图7是示出根据第五实施例的设置处理的流程图。 
图8是根据本发明第六实施例的图像显示系统的示意性框图。 
图9是示出根据第六实施例的图像显示系统的设置的表。 
图10是根据本发明第七实施例的图像处理设备的示意性框图。 
图11是示出根据第七实施例的图像处理设备的设置的表。 
具体实施方式
第一实施例
现参照附图说明本发明的第一实施例。 
在第一实施例中，具有摄像功能的显示设备是指包括摄像单元的显示设备，例如带有照相机的头盔式显示器(HMD)、带有照相机的手持式显示设备或带有照相机的双筒望远镜等。 
为了简化说明，就单筒(monocular)设备的情况做出以下说明。应该理解，两个单筒设备的组合起到具有立体摄像功能的显示设备的作用。 
图1是第一实施例的HMD(单筒)15的框图。第一实施例的HMD 15通常被配置成将使用内置摄像单元拍摄的图像的信号(图像信号)输出到个人计算机(PC)等外部设备。PC将计算机图形(computer graphics，C G)图像和该图像信号进行合成，并输出合成后的图像。HMD 15将表示从PC输出的合成后的图像的图像信号显示在显示单元上。 
参照图1，HMD 15包括用以拍摄现实世界(real-world)图像 的摄像单元1、选择器2、4、5、7、13和14、摄像畸变校正器3、显示畸变校正器6、显示单元8、设置单元9、设置存储单元10、以及控制器11。 
在控制器11的控制下，通过选择器2将使用摄像单元1拍摄的现实世界图像的图像信号输出到摄像畸变校正器3或选择器4。摄像畸变校正器3校正接收到的信号中所包括的镜头畸变和其它畸变成分，并将校正后的信号输出到选择器13。选择器13根据来自控制器11的指令，将畸变校正后的信号输出到选择器4或14。选择器4根据来自控制器11的指令将畸变校正后的信号或原始图像信号作为信号102输出到外部信号处理器12。例如，信号处理器12可以是PC或图像处理设备等信息处理设备。尽管在第一实施例中未示出，但是，可以将磁性传感器或陀螺仪传感器等用于获得位置、方向、或这两者的传感器连接到信号处理器12。 
信号处理器12将处理后的信号103输出到选择器5。选择器5根据来自控制器11的指令，将信号103输出到选择器7或14。选择器14根据来自控制器11的指令将已针对摄像畸变进行了校正的通过选择器13输入的信号、或通过选择器5从外部输入的信号103输出到显示畸变校正器6。显示畸变校正器6进行用于消除显示畸变的校正处理，并将处理结果输出到选择器7。选择器7根据来自控制器11的指令，将从显示畸变校正器6输入的显示畸变校正后的信号、或从选择器5输入的信号输出到显示单元8。显示单元8基于所接收的信号显示图像。 
设置单元9设置控制器11的工作条件。有多种用于设置控制器11的工作条件的方法，例如，通过来自外部的信号101设置工作条件的方法、在设置面板等上直接设置工作条件的方法、通过通用串行总线(Universal Serial Bus，USB)存储器或 CF(Compact Flash)卡等介质设置工作条件的方法。 
通过设置单元9设置的信息被存储在设置存储单元10中。控制器11根据存储在设置存储单元10中的设置信息来控制HMD15的组件。可以从外部设备等读取存储在设置存储单元10中的信息。可以使用存储在设置存储单元10中的信息来识别HMD 15的操作。因此，可以防止HMD 15和外部设备两者对摄像畸变的校正等的处理误差。 
存储在设置存储单元10中的信息具有以下五种模式。 
在模式1中，HMD 15将图像信号输出到外部而不校正摄像畸变。HMD 15显示从外部输入的信号103而不进行显示畸变校正。 
在模式2中，HMD 15将图像信号输出到外部而不校正摄像畸变。HMD 15对从外部输入的信号103进行显示畸变校正，然后显示显示畸变校正后的信号。 
在模式3中，HMD 15对拍摄图像信号进行摄像畸变校正，然后将针对摄像畸变校正后的信号输出到外部。HMD 15显示从外部输入的信号103而不进行显示畸变校正。 
在模式4中，HMD 15对拍摄图像信号进行摄像畸变校正，然后将针对摄像畸变校正后的信号输出到外部。HMD 15对从外部输入的信号103进行显示畸变校正，然后显示显示畸变校正后的信号。 
在模式5中，HMD 15使用摄像畸变校正器3对拍摄图像信号进行摄像畸变校正，然后通过选择器13和14直接将作为结果的信号输出到显示畸变校正器6(而不将该结果输出到外部)。显示畸变校正器6进行显示畸变校正，然后显示作为结果的信号。 
如果在设置存储单元10中设置的信息具有模式1，则通过选 择器2和4将来自摄像单元1的信号作为信号102输出到外部。通过选择器5和7将从外部输入的信号103提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式2，则通过选择器2和4将来自摄像单元1的信号作为信号102输出到外部。通过选择器5和14将从外部输入的信号103输入到显示畸变校正器6。显示畸变校正器6进行显示畸变校正以提供正确显示。通过选择器7将作为结果的信号提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式3，则通过选择器2将来自摄像单元1的信号输出到摄像畸变校正器3。摄像畸变校正器3对拍摄图像进行畸变校正，然后通过选择器13和4将校正后的信号作为信号102输出到外部。通过选择器5和7将从外部输入的信号103提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式4，则通过选择器2将来自摄像单元1的信号输出到摄像畸变校正器3。摄像畸变校正器3对拍摄图像进行畸变校正，然后通过选择器13和4将校正后的信号作为信号102输出到外部。通过选择器5和14将从外部输入的信号103输入到显示畸变校正器6。显示畸变校正器6进行显示畸变校正以提供正确显示。通过选择器7将作为结果的信号提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式5，则通过选择器2将来自摄像单元1的信号输出到摄像畸变校正器3。摄像畸变校正器3对拍摄图像进行畸变校正，并通过选择器13和14将校正后的信号输入到显示畸变校正器6。显示畸变校正器6进行显示畸变校正以提供正确显示。通过选择器7将作为结果的信号提供给显示单元8。 
根据经由通信线路(未示出)来自信号处理器12的指令或来自设置面板(未示出)的指令来选择模式。已提出了多种畸 变校正技术，并且可以采用这些技术中的任何一种。因此省略对这些技术的详细说明。 
利用该结构，可以在HMD内校正摄像畸变和显示畸变，并且信号处理器不需要考虑对显示畸变的校正。由于可以根据信号处理器的处理性能来选择是否进行畸变校正，因而，可以根据信号处理器的性能灵活进行校正处理。例如，当信号处理器具有高处理性能时，可以由信号处理器进行部分校正处理。 
尽管就单筒HMD说明了第一实施例，但是还可以添加与单筒HMD具有相似结构的另一电路以实现立体HMD。这种立体HMD可以包括一个设置单元9、一个设置存储单元10、以及一个控制器11。在这种情况下，不针对左眼和右眼分别进行与左眼和右眼相对应的摄像系统和显示系统的两个校正处理。 
第二实施例
在第一实施例中，可以在无信号处理器介入的情况下，校正并直接显示拍摄图像。 
然而，在这种情况下，进行两次畸变校正处理，也就是说，进行针对拍摄图像的畸变的校正和针对显示图像的畸变的校正。因此可能由于运算误差等而使得显示图像的质量下降。 
本发明的第二实施例提供一种解决该问题的结构。如第一实施例中那样，也就单筒HMD的情况说明第二实施例。然而，如第一实施例中那样，也可以将第二实施例扩展成立体HMD。 
参照图2说明第二实施例的结构。在图2中，以相同附图标记表示与图1所示相同的组件。 
如第一实施例中那样，存储在设置存储单元10中的信息具有模式1～5中的任何一种。控制器11根据存储在设置存储单元10中的信息适当操作。 
如果在设置存储单元10中设置的信息具有模式1，则通过选 择器22和24将来自摄像单元1的信号作为信号102输出到外部。通过选择器25和27将从外部输入的信号103提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式2，则通过选择器22和24将来自摄像单元1的信号作为信号102输出到外部。通过选择器25将从外部输入的信号103输入到显示畸变校正器6。显示畸变校正器6进行显示畸变校正以提供正确显示。通过选择器27将作为结果的信号提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式3，则通过选择器22将来自摄像单元1的信号输出到摄像畸变校正器3。摄像畸变校正器3对拍摄图像进行畸变校正，然后通过选择器24将校正后的信号作为信号102输出到外部。通过选择器25和27将从外部输入的信号103提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式4，则通过选择器22将来自摄像单元1的信号输出到摄像畸变校正器3。摄像畸变校正器3对拍摄图像进行畸变校正，然后通过选择器24将校正后的信号作为信号102输出到外部。通过选择器25将从外部输入的信号103输入到显示畸变校正器6。显示畸变校正器6进行显示畸变校正以提供正确显示。通过选择器27将作为结果的信号提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式5，则通过选择器22将来自摄像单元1的信号输出到摄像畸变/显示畸变校正器23，这是第二实施例的特征。摄像畸变/显示畸变校正器23通过进行单个算术运算来同时校正拍摄图像的畸变和显示畸变。通过选择器27将作为结果的信号提供给显示单元8。 
可以通过例如进行以下测量并进行用于消除该测量的变换来同时校正摄像系统引起的畸变和显示系统引起的畸变： 
(a)将以下图像直接显示在显示单元8上(不进行任何校 正)：在该图像中，使用摄像单元1拍摄几何信息已知的网格点； 
(b)通过显示光学系统获得显示在显示单元8上的图像，并测量所获得的网格点对于相应的原始网格点的位移量；以及 
(c)求出用于消除所测量出的位移量的变换，并通过摄像畸变/显示畸变校正器23实现该变换。 
如果光学系统的设计值是可用的，则可以使用该值来确定变换公式。 
代替确定变换公式，如果已知显示系统的信息(例如，垂直和水平像素的数量和景角)，则可以以表的形式存储预先变换的值。在这种情况下，通过简单处理就可以进行畸变校正。 
当根据来自信号处理器12或设置面板的指令设置模式时，或当中断与信号处理器12的通信时，可以直接将来自摄像系统的信号输出到显示系统。 
可以提供用以检查图2所示的选择器27和显示单元8之间的信号的信号检查单元来检查是否存在来自信号处理器12的信号。可以识别来自信号处理器12的通信状态。也就是说，如果在模式1～4的任一模式中中断来自信号处理器12的信号传输，则模式改变单元(未示出)自动将当前模式改变成模式5。即使来自信号处理器12的信号传输中断，也可以将外部环境的状态通知给HMD用户。因此，HMD用户可以方便地获得舒适的视野。 
因此，由于可以通过单个算术运算来校正摄像系统引起的畸变和显示系统引起的畸变，因而，可以降低运算误差量。可以将最终获得的显示图像的质量下降减小到最小。 
第三实施例
在本发明的第三实施例中，以时分方式由单个电路进行第一和第二实施例中由多个畸变校正电路进行的处理。因此，可以简化电路结构。 
参照图3说明第三实施例的结构。在图3中，以相同附图标记表示与图1所示相同的组件。 
第三实施例的HMD 15″包括摄像单元1、显示单元8、设置单元9、设置存储单元10、控制器11、选择器31、32、33、34、37和38、畸变校正器35、以及畸变校正表存储单元36。畸变校正表存储单元36存储摄像系统的畸变校正数据、显示系统的畸变校正数据以及用于同时校正摄像系统所引起的畸变和显示系统所引起的畸变的数据。存储在畸变校正表存储单元36中的数据不局限于上述数据，还可以存储多条摄像畸变数据和多条显示畸变数据等 
在立体HMD的情况下，右眼的校正数据和左眼的校正数据基本上彼此不同。因此，存储右眼的校正数据和左眼的校正数据两者。存储在设置存储单元10中的信息具有与第一实施例中相似的模式1～5。 
利用上述结构，如果在设置存储单元10中设置的信息具有模式1，则通过选择器31和33将来自摄像单元1的信号作为信号102输出到外部。通过选择器34和38将从外部输入的信号103提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式2，则通过选择器31和33将来自摄像单元1的信号作为信号102输出到外部。通过选择器34和32将从外部输入的信号103输入到畸变校正器35。畸变校正器35从畸变校正表存储单元36中检索与该显示畸变校正相对应的畸变表信息，并使用检索到的信息进行畸变校正。通过选择器37和38将校正后的结果提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式3，则通过选择器31和32将来自摄像单元1的信号输出到畸变校正器35。畸变校正器35从畸变校正表存储单元36中检索与摄像畸变数据相对 应的畸变校正表，并使用检索到的信息校正摄像畸变。通过选择器37和33将校正后的信号作为信号102输出到外部。通过选择器34和38将从信号处理器12输入的信号103提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式4，则通过选择器31和32将来自摄像单元1的信号输出到畸变校正器35。畸变校正器35从畸变校正表存储单元36中检索与摄像畸变数据相对应的畸变校正表，并使用检索到的信息校正摄像畸变。通过选择器37和33将校正后的信号作为信号102输出到外部。通过选择器34和32将从信号处理器12输入的信号103输入到畸变校正器35。畸变校正器35从畸变校正表存储单元36中检索与显示畸变数据相对应的畸变校正表，并使用检索到的信息校正显示畸变。通过选择器37和38将该结果提供给显示单元8。 
如果在设置存储单元10中设置的信息具有模式5，则通过选择器31和32将来自摄像单元1的信号输出到畸变校正器35。畸变校正器35从畸变校正表存储单元36中检索与摄像畸变数据相对应的畸变校正表，并使用检索到的信息通过进行单个算术运算来同时校正拍摄图像的畸变和显示畸变。通过选择器37和38将该结果提供给显示单元8。 
利用上述结构，仅使用一个畸变校正电路来进行畸变校正处理。因此，可以简化电路结构，并可以缩小电路大小。 
第四实施例
从信号处理器12(例如，PC)控制设置存储单元10可以获得多种优点。例如，从外部设备控制畸变校正模式(以改变HMD的模式、读取HMD中设置的模式等)，从而防止HMD和外部设备进行的多余畸变校正。 
图3中所示的信号处理器12利用摄像畸变生成CG图像，这是用于减小最终显示的图像信号的运算误差量的另一方法。也 就是说，所生成的CG图像不是一般的无畸变图像，而是与摄像系统获得的图像(即，未校正畸变的图像信号)相似的具有摄像畸变的图像。合成所生成的CG图像和从摄像单元1获得的未校正畸变的图像信号以生成合成后的图像信号。合成后的图像信号经过摄像畸变/显示畸变校正处理，然后输出作为结果的信号。 
利用上述结构，可以通过单个算术运算进行校正处理，并且可以避免运算误差的累加。因此，可以减少或抑制显示图像的质量下降。 
可以使用纹理映射(texture-mapping)方法作为用于生成考虑显示畸变的图像的方法。确定原始图像中的网格点被如何移位以通过显示系统提供正确显示，并使用网格点的对应关系进行纹理映射。因此，可以容易地生成考虑显示畸变的图像。 
第五实施例
参照附图说明本发明的第五实施例。 
图4是示出根据第五实施例的MR系统的结构的图。 
视频透视式(video see-through)HMD 401包括摄像单元和图像显示单元。摄像单元配置成拍摄HMD 401的用户观察到的现实空间的图像(以下称之为“现实空间图像”)。图像显示单元包括图像显示部分，用以向用户提供MR图像、所拍摄的现实空间图像、以及从图像处理设备403输出的图像等，其中，在MR图像中，图像处理设备403生成的CG图像被叠加在所拍摄的现实空间图像上。 
HMD 401与连接到HMD 401的控制器单元402通信。HMD401和控制器单元402之间所进行的通信不局限于有线通信，还可以使用用于建立无线局域网(wireless local area network，WLAN)或无线个人区域网(wireless personal area network， WPAN)等小型网络的无线通信系统来实现。 
可以通过来自控制器单元402的电源来驱动HMD 401、或通过电池来驱动HMD 401。 
图像处理设备403通过有线系统连接到控制器单元402，并包括用于绘制CG图像的图像处理器。图像处理设备403通过控制器单元402与HMD 401通信。HMD 401合成所接收的CG图像和HMD 401拍摄的现实空间图像，并将作为结果的合成后的MR图像显示在图像显示单元上，以将其提供给HMD用户。 
尽管在图4中作为单独硬件单元示出图像处理设备403和控制器单元402，但是，可以将控制器单元402的所有功能包含在图像处理设备403中，以将控制器单元402和图像处理设备403合成为一个单元。可选地，可以汇集图像处理设备403的功能和控制器单元402的功能来配置专用图像处理设备。HMD 401不是必须具有图像合成功能。可以将图像合成功能包含在图像处理设备403或控制器单元402中。 
以下从功能观点出发将图像处理设备403的功能和控制器单元402的功能的组合称为“图像处理设备”。 
图5是根据本发明第五实施例的HMD 50的功能框图。 
HMD 50包括摄像单元501、显示单元502、接口(I/F)503、图像合成单元504、第一畸变校正器505、第二畸变校正器506、设置单元507、控制器508、位置/方向传感器510、以及位置信息生成器511。 
如图5所示，第一畸变校正器505和第二畸变校正器506到其它功能块具有不同的路径，并且第一畸变校正器505和第二畸变校正器506中的一个可以限制另一个的功能。然而，到其它功能块的路径可以彼此相同，从而可以无区别地利用第一畸变校正器505和第二畸变校正器506。 
摄像单元501拍摄HMD用户观察到的现实空间的图像，并生成拍摄图像。显示单元502将该图像显示给HMD用户。I/F 503与连接到HMD 50的外部设备通信。图像合成单元504将通过I/F503从外部设备输入的外部输入图像和使用摄像单元501拍摄的拍摄图像进行合成，以生成合成后的图像。第一畸变校正器505和第二畸变校正器506对拍摄图像、外部输入图像、或合成后的图像进行畸变校正。设置单元507进行对HMD 50的设置，控制器508根据对HMD 50的设置来控制图像合成单元504、第一畸变校正器505、第二畸变校正器506、以及位置信息生成器511。 
尽管通过图5中的设置单元507进行设置，但也可以通过I/F503将设置信息从连接到HMD 50的外部设备传送给控制器508。 
位置/方向传感器510获得计算HMD 50的空间位置或方向所需的各种类型的感测信息。位置信息生成器511使用摄像单元501拍摄的图像的拍摄图像信息或位置/方向传感器510获得的感测信息来生成HMD 50的三维位置和方向信息。三维位置和方向信息用于外部设备，以生成与拍摄图像进行合成的图像。当外部设备具有位置信息生成功能时，不使用HMD 50的位置信息生成器511，并通过I/F 503将使用摄像单元510拍摄的拍摄图像或通过位置/方向传感器510获得的感测信息传送给外部设备，使得外部设备可以生成三维位置和方向信息。 
图6是示出可以在根据第五实施例的HMD 50中进行的设置的表。 
在该表中，标记“拍摄的”表示拍摄图像经过畸变校正列中所定义的校正。标记“外部的”表示从外部设备输入的外部输入图像经过畸变校正列中所定义的校正。标记“合成的”表示合成后的图像经过畸变校正列中所定义的校正。 
在该表中，标题为“合成”的列表示是HMD 50还是外部设备 进行图像合成。将合成列设置成“不应用”的设置表示以下类型：不将使用HMD 50的摄像单元501拍摄的图像输出到外部设备、也不在HMD 50内合成该图像，而是将拍摄图像显示在显示单元502上。将合成列设置成“HMD”的设置表示以下类型：在HMD50内合成使用摄像单元501拍摄的图像和通过I/F 503输入的外部输入图像，并将作为结果的合成后的图像显示在显示单元502上。将合成列设置成“外部设备”的设置表示以下类型：外部设备将待合成的图像与拍摄图像进行合成，从I/F 503输入作为结果的合成后的图像，并将该图像显示在显示单元502上，或表示以下类型：外部设备或HMD 50不进行图像合成，从I/F 503将图像输入到HMD 50，并显示在显示单元502上。 
将参照图5所示的框图说明图6所示的表中所定义的设置中的操作。 
设置1～5表示以下类型：将使用HMD 50的摄像单元501拍摄的拍摄图像显示在显示单元502上。 
在设置1中，第一畸变校正器505对摄像单元501获得的拍摄图像进行畸变校正处理，以同时校正摄像畸变和显示畸变，并将校正后的图像显示在显示单元502上。 
在设置2中，分别通过第一畸变校正器505和第二畸变校正器506校正拍摄图像的摄像畸变和显示畸变。将校正后的图像显示在显示单元502上。 
在设置3中，第一畸变校正器505校正摄像畸变，并将校正后的图像显示在显示单元502上。 
在设置4中，第一畸变校正器505校正显示畸变，并将校正后的图像显示在显示单元502上。 
在设置5中，将拍摄图像直接显示在显示单元502上，而不经过畸变校正处理。 
在设置1和2中，校正拍摄图像的摄像畸变和显示畸变两者。尽管在设置1中，通过处理的一次迭代同时校正摄像畸变和显示畸变，但是，设置2需要畸变校正处理的两次迭代。因此，与设置1相比，设置2可能具有较大的运算误差，设置1更有效。 
当HMD 50具有摄像畸变或显示畸变、或这种畸变可忽略时，或当HMD 50不具有摄像畸变或显示畸变、或这种畸变可忽略时，可以使用设置3、4和5。当用户不希望进行畸变校正时，也可以有意地使用设置3、4和5。 
设置6～13表示以下类型：在HMD 50内将使用摄像单元501拍摄的拍摄图像和从I/F 503输入的外部输入图像进行合成，并将合成后的图像显示在显示单元502上。 
现详细说明校正摄像畸变和显示畸变两者的设置6～8。 
在设置6中，第二畸变校正器506将等同于HMD 50所引起的摄像畸变的畸变施加到通过I/F 503从外部设备输入的外部输入图像。该操作被称为“摄像逆畸变校正”。在摄像逆畸变校正处理中，不是在进行图像合成前消除畸变，而是在对具有相同类型的畸变的图像进行合成后，通过该处理的一次迭代来校正摄像畸变和显示畸变的组合。 
然后，图像合成单元504将拍摄图像与经过摄像逆畸变校正的具有摄像畸变的外部输入图像进行合成。在合成图像后，第一畸变校正器505对作为结果的合成后图像进行畸变校正处理，以同时校正摄像畸变和显示畸变，并将校正后的图像显示在显示单元502上。 
在设置7中，第一畸变校正器505针对摄像畸变校正拍摄图像，并将外部输入图像与校正后的图像进行合成。然后，第二畸变校正器506针对显示畸变校正作为结果的合成后的图像，并将校正后的图像显示在显示单元502上。通常在MR系统中，外 部输入图像是CG图像，并认为，由畸变校正处理引起的运算误差导致的HMD用户感觉到的图像质量的下降小于现实空间的拍摄图像等的自然图像质量的下降。因此，HMD用户可以感觉到在设置6中获得的最终显示的合成后图像的质量高于在设置7中所获得的，其中，在设置6中，拍摄图像即自然图像经过一次校正处理，而CG图像经过两次校正处理；在设置7中，CG图像经过一次校正处理，而拍摄图像经过两次校正处理。 
在设置8中，第一畸变校正器505对拍摄图像进行畸变校正处理以同时校正摄像畸变和显示畸变，而第二畸变校正器506针对显示畸变校正外部输入图像。图像合成单元504合成这些畸变校正后的图像，并将校正后的合成后的图像显示在显示单元502上。在设置8中，拍摄图像和外部输入图像两者均经过一次畸变校正，与设置6和7相比运算误差较小。因此设置8更有效。 
在设置9和10中，仅校正摄像畸变。在设置11和12中，仅校正显示畸变。在设置13中，对摄像畸变或显示畸变均不进行校正。 
设置14～22表示以下类型：外部设备将待合成的图像与拍摄图像进行合成，并通过I/F 503从外部设备输入合成后的图像，并将其显示在显示单元502上；或表示以下类型：通过I/F 503从外部设备输入未经过外部设备合成的图像，并将其显示在显示单元502上。 
在设置14、17、18和21中，在HMD 50内校正摄像畸变和显示畸变两者。 
在设置15和19中，在HMD 50内仅校正摄像畸变。在设置16和20中，在HMD 50内仅校正显示畸变。 
在设置22中，在HMD 50内对摄像畸变或显示畸变均不进行校正。 
图7是示出根据第五实施例的HMD设置处理的流程图。 
当打开电源时，HMD 50判断是否连接了外部设备(步骤S701)。如果连接了外部设备，则HMD 50读取外部设备的设置信息(步骤S702)，并判断是否读取了该设置信息(步骤S703)。 
如果读取了外部设备的设置信息，则HMD 50参考外部设备的设置信息(步骤S704)，并判断该设置信息是否包括用于在外部设备的控制下对HMD 50进行设置的信息(步骤S705)。如果包括用于在外部设备的控制下对HMD 50进行设置的信息，则根据该设置信息执行对HMD 50的设置(步骤S708)，并根据该设置控制图像合成单元504、畸变校正器505和506、以及位置信息生成器511的功能(步骤S509)。然后，结束设置处理。 
如果没有包括用于在外部设备的控制下对HMD 50进行设置的信息，则确认外部设备有无合成功能、有无畸变校正功能、畸变校正功能的类型、有无位置信息生成功能、以及位置信息生成功能的类型，并确定从HMD 50的设置中可选择的设置(步骤S706)。 
术语“可选择的设置”意为：在该设置中，例如，外部设备和HMD 50不多余地进行畸变校正或图像合成。优选地，在步骤S706中从对HMD的设置中确定这种设置。然而，用户可以指定用于确定可选择的设置的标准，并且可选择的设置不局限于以上所述的。 
然后，判断可选择的设置的数量是否是一个(步骤S707)。如果可选择的设置的数量是一个，则在HMD 50中执行这个可选择的设置(步骤S708)。然后，根据该设置控制图像合成单元504、畸变校正器505和506、以及位置信息生成器511的功能(步骤S709)，然后结束处理。 
如果在步骤S707中判断出可选择的设置的数量不只一个， 则将可选择的设置通知给用户(步骤S710)，根据来自用户的指示选择可选择的设置中的一个(步骤S711)。在HMD 50中执行所选择的设置(步骤S708)，并根据该设置控制图像合成单元504、畸变校正器505和506、以及位置信息生成器511的功能(步骤S709)。然后结束设置处理。 
如果在步骤S701判断出没有连接外部设备，或在步骤S703判断出未成功读取外部设备的设置信息，则以上述方式从对HMD 50的所有设置中选择一个设置(步骤S711)。 
在HMD 50中执行所选择的设置(步骤S708)，并根据该设置控制图像合成单元504、畸变校正器505和506、以及位置信息生成器511的功能(步骤S709)。然后结束设置处理。 
因此，由于HMD具有多个设置，因而有以下优点。可以将所希望的针对摄像畸变和显示畸变校正后显示的图像提供给HMD用户，而不管与HMD连接的外部设备有无合成功能、畸变校正功能和位置信息生成功能、以及外部设备的畸变校正功能的类型。 
第六实施例
现参照附图说明本发明的第六实施例。 
图8是根据第六实施例的图像显示系统的功能框图。 
该图像显示系统包括HMD 80和图像处理设备81。 
HMD 80包括摄像单元801、显示单元802、I/F 803和804、图像合成单元805、畸变校正器806、控制器807、位置/方向传感器808、以及位置信息生成器809。 
图像处理设备81包括I/F 810和815、位置信息生成器811、CG图像绘制单元812、畸变校正器813、图像合成单元814、设置单元816、以及控制器817。 
图像处理设备81的CG图像绘制单元812基于HMD 80的位 置信息生成器809或图像处理设备81的位置信息生成器811所生成的三维位置和方向信息来绘制将与拍摄图像进行合成的CG图像。其它块的功能与第五实施例的相似。也就是说，HMD 80和图像处理设备81被配置成根据通过设置单元816输入的设置，分别通过控制器807和817控制HMD 80的图像合成单元805、畸变校正器806和位置信息生成器809、以及图像处理设备81的图像合成单元814、畸变校正器813、位置信息生成器811和CG图像绘制单元812。可以合并使用这些功能以实现下述各种功能。 
尽管在第六实施例中，图像处理设备81配置有设置单元816，但是，HMD 80也可以配置有设置单元，该设置单元用以通过HMD 80的控制器807和I/F 804、以及图像处理设备81的I/F815将设置信息传送给图像处理设备81的控制器817。可选地，HMD 80或图像处理设备81可以配置有设置I/F，通过该设置I/F从外部设备进行设置。 
图9示出可以在根据第六实施例的图像显示系统中进行的设置的表。 
在该表中，标记“拍摄的”表示拍摄图像经过该畸变校正列中所定义的校正。标记“CG”表示CG图像经过该畸变校正列中所定义的校正，而标记“合成的”表示合成后的图像经过该畸变校正列中所定义的校正。 
在该表中，标题为“合成”的列表示是HMD 80的图像合成单元805还是图像处理设备81的图像合成单元814进行图像合成。将合成列设置成“不应用”的设置表示以下类型：不将使用HMD80的摄像单元801拍摄的图像发送到图像处理设备81、也不在HMD 80内进行合成，而是将拍摄图像显示在显示单元802上。 
将参照图8所示的功能框图说明图9所示的设置中的操作。 
设置1～4表示以下类型：将使用HMD 80的摄像单元801拍 摄的图像显示在显示单元802上，而不经过图像合成。 
在设置1中，畸变校正器806对使用摄像单元801拍摄的拍摄图像进行畸变校正处理，以同时校正摄像畸变和显示畸变，并将校正后的图像显示在显示单元802上。 
在设置2中，畸变校正器806校正拍摄图像的摄像畸变。在设置3中，畸变校正器806校正拍摄图像的显示畸变。在设置4中，将拍摄图像显示在显示单元802上，而不经过畸变校正处理。 
当HMD 80具有摄像畸变或显示畸变、或不具有摄像畸变或显示畸变时，可以使用设置2、3和4。当用户不希望进行畸变校正时，也可以有意地使用设置2、3和4。 
设置5～11表示以下类型：通过HMD 80的图像合成单元805对使用HMD 80的摄像单元801拍摄的图像和通过图像处理设备81的CG图像绘制单元812生成的CG图像进行合成，并将作为结果的合成后的图像显示在显示单元802上。 
现详细说明校正摄像畸变和显示畸变两者的设置5和6。 
在设置5中，图像处理设备81的畸变校正器813对图像处理设备81生成的CG图像进行摄像逆畸变校正，并通过I/F 815和804将校正后的图像传送给HMD 80。然后，HMD 80的图像合成单元805将拍摄图像与经过摄像逆畸变校正的具有摄像畸变的CG图像进行合成。HMD 80的畸变校正器806对作为结果的合成后的图像进行畸变校正处理，以同时校正摄像畸变和显示畸变，并将校正后的图像显示在显示单元802上。 
在设置6中，HMD 80的畸变校正器806对拍摄图像进行畸变校正，以同时校正摄像畸变和显示畸变，图像处理设备81的畸变校正器813对CG图像进行显示畸变校正。HMD 80的图像合成单元805合成这些畸变校正后的图像，并将作为结果的合成后的图像显示在显示单元802上。在设置6中，拍摄图像和外部输 入图像两者均经过一次畸变校正，因而与设置5中的相比运算误差较小。因此设置6更有效。 
在设置7和8中，仅校正摄像畸变。在设置9和10中，仅校正显示畸变。在设置11中，对摄像畸变或显示畸变均不进行校正。 
设置12～22表示以下类型：在图像处理设备81内对拍摄图像和CG图像进行合成，并通过I/F 815和804将作为结果的合成后的图像传送给HMD 80，并将其显示在显示单元802上。 
现详细说明校正摄像畸变和显示畸变两者的设置12～15。 
在设置12中，首先，图像处理设备81的畸变校正器813对图像处理设备81生成的CG图像进行摄像逆畸变校正。然后，图像处理设备81的图像合成单元814将拍摄图像与经过摄像逆畸变校正的具有摄像畸变的CG图像进行合成。然后，通过I/F 815和804将合成后的图像传送给HMD 80，并且HMD 80的畸变校正器806对合成后的图像进行畸变校正处理，以同时校正摄像畸变和显示畸变。将作为结果的图像显示在显示单元802上。 
在设置13中，HMD 80的畸变校正器806对拍摄图像进行畸变校正处理，以同时校正摄像畸变和显示畸变，并且，图像处理设备81的畸变校正器813对CG图像进行显示畸变校正。图像处理设备81的图像合成单元814合成这些畸变校正后的图像，并通过I/F 815和804将合成后的图像传送到HMD 80。将传送来图像显示在显示单元802上。在设置13中，如在设置6中一样，拍摄图像和CG图像两者均经过一次畸变校正，因而与设置12相比，运算误差较小。因此，设置13更有效。 
在设置14中，HMD 80的畸变校正器806对使用摄像单元801拍摄的拍摄图像进行摄像畸变校正，并通过I/F 803和810将经过摄像畸变校正的拍摄图像传送给图像处理设备81。图像处理设备81的图像合成单元814将CG图像绘制单元812生成的CG图像 与经过摄像畸变校正的拍摄图像进行合成，并且图像处理设备81的畸变校正器813对合成后的图像进行显示畸变校正。通过I/F 815和804将经过畸变校正的合成后的图像传送给HMD 80，并将其显示在显示单元802上。 
在设置15中，通过I/F 803和810将使用摄像单元801拍摄的拍摄图像传送给图像处理设备81，并且图像处理设备81的畸变校正器813校正摄像畸变。图像处理设备81的图像合成单元814将CG图像绘制单元812生成的CG图像与针对摄像畸变校正的拍摄图像进行合成。通过I/F 815和804将经过畸变校正的合成后的图像传送给HMD 80。HMD 80的畸变校正器806对合成后的图像进行显示畸变校正，并将作为结果的图像显示在显示单元802上。 
在设置16、17和18中，仅校正摄像畸变。在设置19、20和21中，仅校正显示畸变。在设置22中，对摄像畸变或显示畸变均不进行校正。 
因此，提供多个设置。因此，在具有HMD 80和图像处理设备81的图像显示系统中，通过组合使用图像合成单元的功能和畸变校正功能，可以将针对摄像畸变和显示畸变校正后的MR图像提供给HMD用户。 
第七实施例
将参照附图说明本发明的第七实施例。 
图10是根据第七实施例的图像处理设备100的功能框图。 
图像处理设备100包括I/F 1001、图像合成单元1003、第一畸变校正器1004、第二畸变校正器1005、设置单元1006、控制器1007、位置信息生成器1008、以及CG图像绘制单元1009。 
各块的功能与第五和第六实施例中的相同。也就是说，图像处理设备100配置成控制器1007根据设置单元1006输入的设 置来控制图像合成单元1003、第一畸变校正器1004、第二畸变校正器1005、位置和方向信息生成器1008、以及CG图像绘制单元1009。可以组合使用这些功能以实现下述各种功能。 
尽管在图10中，通过设置单元1006进行设置，但是连接到图像处理设备100的外部设备可以通过I/F 1001将设置信息传送给控制器1007。 
如图10所示，第一畸变校正器1004和第二畸变校正器1005到其它功能块具有不同的路径，并且第一畸变校正器1004和第二畸变校正器1005中的一个可以限制另一个的功能。可选地，到其它功能块的路径可以彼此相同，以使得可以在毫无区别的情况下利用第一畸变校正器1004和第二畸变校正器1005。 
图11是示出可以在根据第七实施例的图像处理设备100中进行的设置的表。 
该表中，标记“外部的”表示来自连接到图像处理设备100的外部设备的外部输入图像经过该畸变校正列中所定义的校正。标记“CG”表示CG图像绘制单元1009生成的CG图像经过该畸变校正列中所定义的校正，标记“合成的”表示合成后的图像经过该畸变校正列中所定义的校正。在该表中，标题为“合成”的列表示图像处理设备100是否进行图像合成。将合成列设置成“不应用”的设置表示不进行图像合成。将合成列设置成“图像处理设备”的设置表示以下类型：通过图像处理设备100合成从I/F1001输入的外部输入图像，并将作为结果的合成后的图像从I/F1001输出到外部设备。 
参照图10所示的功能框图说明图11所示的设置中的操作。 
设置1～5表示以下类型：从外部设备输入的外部输入图像不经过图像合成，并通过I/F 1001将该图像输出到外部设备。 
在设置1中，第一畸变校正器1004对从外部设备输入的图像 进行畸变校正处理，以同时校正摄像畸变和显示畸变，并通过I/F 1001将作为结果的图像输出到外部设备。 
在设置2中，第一畸变校正器1004对外部输入图像进行摄像畸变校正，其后，第二畸变校正器1005进行显示畸变校正。通过I/F 1001将畸变校正后的CG图像输出到外部设备。可以以相反的顺序进行校正处理。 
在设置3中，第一畸变校正器1004对外部输入图像进行摄像畸变校正。在设置4中，第一畸变校正器1004对外部输入图像进行显示畸变校正。 
在设置5中，通过I/F 1001将外部输入图像输出到外部设备，而不经过畸变校正处理。 
在设置1中通过处理的一次迭代同时校正摄像畸变和显示畸变，而设置2需要畸变校正处理的两次迭代。因此，与设置1相比，设置2包含较大运算误差，因而设置1更有效。 
当连接到图像处理设备100的外部设备具有摄像畸变或显示畸变、或不具有摄像畸变或显示畸变时，使用设置3、4和5。 
在上述说明中，设置3表示以下类型：如果需要，针对畸变校正从外部设备输入的图像，并且通过I/F 1001再次将作为结果的外部输入图像输出到外部设备。然而，在实际应用中，可以不将外部输入图像输出到外部设备。以下将说明这种情况。 
位置信息生成器1008可以使用外部输入图像数据或通过各种传感装置获得的传感信息来生成CG图像绘制单元1009用来绘制与外部输入图像合成的CG图像的三维位置和方向信息。 
在根据外部输入图像数据生成三维位置和方向信息的情况下，如果图像包括摄像畸变，则所生成的三维位置和方向信息的精确性低。在这种情况下，第一畸变校正器1004针对摄像畸变校正外部输入图像，并且位置信息生成器1008使用针对摄像 畸变校正后的图像数据。因此，可以获得较高精确性的三维位置和方向信息。 
因此，在根据第七实施例的图像处理设备100中，可以提供以下设置：校正外部输入图像的摄像畸变以生成高精确性的三维位置和方向信息，而且不输出图像。还可以提供以下设置：根据需要，校正外部输入图像的摄像畸变以生成高精确性的三维位置和方向信息，并且对使用所生成的三维位置和方向信息绘制的CG图像进行畸变校正处理，然后将其输出到外部设备。 
设置6～11表示以下类型：不在图像处理设备100内合成CG图像绘制单元1009所生成的CG图像，并通过I/F 1001将该图像输出到外部设备。 
在设置6中，第一畸变校正器1004对CG图像绘制单元1009生成的CG图像进行畸变校正处理，以同时校正摄像畸变和显示畸变，并通过I/F 1001将作为结果的图像输出到外部设备。 
在设置7中，第一畸变校正器1004对CG图像进行摄像畸变校正，其后，第二畸变校正器1005进行显示畸变校正。通过I/F1001将畸变校正后的CG图像输出到外部设备。可以以相反的顺序进行校正处理。 
在设置8、9和10中，第一畸变校正器1004对CG图像进行摄像畸变校正、显示畸变校正和摄像逆畸变校正中的任何一个，并通过I/F 1001将畸变校正后的CG图像输出到外部设备。 
在设置11中，通过I/F 1001将CG图像输出到外部设备，而不经过畸变校正处理。 
对校正摄像畸变和显示畸变的设置6和7进行比较。在设置6中，如设置1中那样，可以通过处理的一次迭代同时校正摄像畸变和显示畸变，因而，与需要畸变校正处理的两次迭代的设置7相比，运算误差较小。因此，设置6更有效。 
设置12～19表示以下类型：图像处理设备100的图像合成单元1003对CG图像绘制单元1009生成的CG图像和通过I/F 1001从外部设备输入的外部输入图像进行合成，并通过I/F 1001将合成后的图像输出到外部设备。 
在设置12、13和14中，图像处理设备100校正摄像畸变和显示畸变两者。 
在设置15和16中，图像处理设备100仅校正摄像畸变。 
在设置17和18中，图像处理设备100仅校正显示畸变。 
在设置19中，对摄像畸变或显示畸变均不进行校正。 
因此，由于提供了多个设置而具有以下优点。可以生成考虑针对摄像畸变和显示畸变两者进行校正的输出图像，而不管连接到图像处理设备100的外部设备有无合成功能、畸变校正功能和位置信息生成功能，也不管外部设备的畸变校正功能的类型。 
其它实施例
应该理解，通过向系统或设备提供存储有用于实现上述实施例的功能的软件的程序代码的存储介质，以使该系统或设备的计算机(或中央处理单元(CPU)、或微处理单元(MPU))可以读取和执行存储在存储介质中的程序代码，从而可以实现本发明的优点。 
在这种情况下，由从存储介质读取的程序代码来实现上述实施例的功能，该程序代码和存储该程序代码的存储介质构成本发明的实施例。 
用于提供该程序代码的存储介质的例子包括软盘、硬盘、光盘、磁光盘、光盘只读存储器(CD-ROM)、可读光盘(CD-R)、磁带、非易失性存储卡、以及ROM。 
不仅可以通过执行计算机读取的程序代码来实现上述实施 例的功能，运行在计算机上的操作系统(OS)等也可以根据该程序代码的指令来执行部分或全部实际处理，以实现上述实施例的功能。这也落入本发明的范围内。 
而且，可以将从存储介质读取的程序代码写入位于计算机中的功能扩展板或与计算机连接的功能扩展单元的存储器中，其后，该功能扩展板或功能扩展单元的CPU等可以根据该程序代码的指令来执行部分或全部实际处理，以实现上述实施例的功能。这也落入本发明的范围。 
尽管参照典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改和等同结构及功能。 

Claims (13)

1.一种具有摄像功能的显示设备，包括：
输出单元，用于将图像信号输出到外部设备；
输入单元，用于从所述外部设备输入图像信号；
摄像单元；
显示单元；
校正器，用于对所述摄像单元拍摄的图像信号进行摄像畸变校正和显示畸变校正；以及
控制器，用于在设置了摄像畸变的校正模式的情况下控制所述校正器以进行所述摄像畸变校正，在设置了显示畸变的校正模式的情况下控制所述校正器以进行所述显示畸变校正，以及在设置了摄像畸变的校正模式和显示畸变的校正模式的情况下同时进行所述摄像畸变校正和所述显示畸变校正，
其中，所述校正器以时分处理的方式通过单个电路来使用包括摄像畸变校正数据的第一校正表进行所述摄像畸变校正，以及使用包括显示畸变校正数据的第二校正表进行所述显示畸变校正。
2.根据权利要求1所述的具有摄像功能的显示设备，其特征在于，还包括：
图像合成单元，用于将从所述输入单元输入的外部输入图像与使用所述摄像单元拍摄的图像进行合成；以及
设置单元，用于设置所述校正器所进行的畸变校正的类型，并确定所述图像合成单元是否进行图像合成；
其中，所述控制器根据所述设置单元所进行的设置来进行所述控制。
3.根据权利要求2所述的具有摄像功能的显示设备，其特征在于，如果不经过图像合成而将所述摄像单元拍摄的现实空间图像显示在所述显示单元上，则对所述现实空间图像进行摄像畸变校正和显示畸变校正。
4.根据权利要求2所述的具有摄像功能的显示设备，其特征在于，当所述图像合成单元进行图像合成以生成合成后的图像时，所述校正器通过施加等同于由所述摄像单元所引起的摄像畸变的畸变来对所述外部输入图像进行摄像逆畸变校正，并且所述校正器对所述合成后的图像进行摄像畸变校正和显示畸变校正。
5.根据权利要求2所述的具有摄像功能的显示设备，其特征在于，如果所述图像合成单元进行图像合成以生成合成后的图像，则所述校正器对所述外部输入图像进行显示畸变校正，并且，所述校正器对拍摄图像进行摄像畸变校正和显示畸变校正。
6.一种用于具有摄像功能的显示设备的图像处理方法，所述显示设备包括：输出单元，用于将图像信号输出到外部设备；输入单元，用于从所述外部设备输入图像信号；摄像单元；以及显示单元；所述图像处理方法包括以下步骤：
校正步骤，用于对所述摄像单元拍摄的图像信号进行摄像畸变校正和显示畸变校正；以及
控制步骤，用于在设置了摄像畸变的校正模式的情况下控制所述校正步骤以进行所述摄像畸变校正，在设置了显示畸变的校正模式的情况下控制所述校正步骤以进行所述显示畸变校正，以及在设置了摄像畸变的校正模式和显示畸变的校正模式的情况下同时进行所述摄像畸变校正和所述显示畸变校正，
其中，在所述校正步骤中，以时分处理的方式通过单个电路来使用包括摄像畸变校正数据的第一校正表进行所述摄像畸变校正，以及使用包括显示畸变校正数据的第二校正表进行所述显示畸变校正。
7.一种图像显示系统，包括：
具有摄像功能的显示设备，该显示设备包括：
输入单元，用于从外部设备输入图像信号；
输出单元，用于将图像信号输出到外部设备；
摄像单元，用于拍摄现实空间图像；以及
显示单元，用于显示图像；
图像处理设备，其包括图像生成器，该图像生成器用以生成与所述具有摄像功能的显示设备的摄像单元所拍摄的现实空间图像进行合成的合成用图像；
图像合成单元，用于将所述图像生成器生成的所述图像与所述摄像单元拍摄的所述现实空间图像进行合成，以生成合成后的图像；
设置单元，用于设置畸变校正类型；以及
畸变校正器，用于根据所述设置单元设置的畸变校正类型来校正图像畸变，
其中，在所述设置单元设置了摄像畸变的校正模式的情况下所述畸变校正器进行摄像畸变校正，在所述设置单元设置了显示畸变的校正模式的情况下所述畸变校正器进行显示畸变校正，以及在所述设置单元设置了摄像畸变的校正模式和显示畸变的校正模式的情况下所述畸变校正器同时进行所述摄像畸变校正和所述显示畸变校正，
其中，所述畸变校正器以时分处理的方式通过单个电路来使用包括摄像畸变校正数据的第一校正表进行所述摄像畸变校正，以及使用包括显示畸变校正数据的第二校正表进行所述显示畸变校正。
8.根据权利要求7所述的图像显示系统，其特征在于，所述具有摄像功能的显示设备和所述图像处理设备中的每一个均包括图像合成单元和畸变校正器。
9.根据权利要求8所述的图像显示系统，其特征在于，如果不经过图像合成而将所述摄像单元拍摄的所述现实空间图像显示在所述显示单元上，则所述具有摄像功能的显示设备中的所述畸变校正器同时进行摄像畸变校正和显示畸变校正。
10.根据权利要求8所述的图像显示系统，其特征在于，如果所述具有摄像功能的显示设备中的所述图像合成单元进行图像合成，则所述图像处理设备中的畸变校正器通过施加等同于由所述摄像单元所引起的摄像畸变的畸变来对所述合成用图像进行摄像逆畸变校正，并且，所述具有摄像功能的显示设备中的所述畸变校正器对所述合成后的图像进行摄像畸变校正和显示畸变校正。
11.根据权利要求8所述的图像显示系统，其特征在于，当所述具有摄像功能的显示设备中的所述图像合成单元进行图像合成时，所述图像处理设备中的畸变校正器对所述合成用图像进行显示畸变校正，并且，所述具有摄像功能的显示设备中的所述畸变校正器对所述现实空间图像进行摄像畸变校正和显示畸变校正。
12.根据权利要求8所述的图像显示系统，其特征在于，如果所述图像处理设备中的所述图像合成单元进行图像合成，则所述图像处理设备中的所述畸变校正器通过施加等同于由所述摄像单元所引起的摄像畸变的畸变来对所述合成用图像进行摄像逆畸变校正，并且，所述具有摄像功能的显示设备中的所述畸变校正器对所述合成后的图像进行摄像畸变校正和显示畸变校正。
13.根据权利要求8所述的图像显示系统，其特征在于，如果所述图像处理设备中的所述图像合成单元进行图像合成，则所述图像处理设备中的所述畸变校正器对所述合成用图像进行显示畸变校正，并且，所述具有摄像功能的显示设备中的所述畸变校正器对所述现实空间图像进行摄像畸变校正和显示畸变校正。
CN2007101079792A 2006-05-22 2007-05-22 能摄像的显示设备、图像处理方法和图像显示系统 Expired - Fee Related CN101232577B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006141621 2006-05-22
JP2006-141621 2006-05-22
JP2006141621 2006-05-22
JP2007015064 2007-01-25
JP2007-015064 2007-01-25
JP2007015064A JP5074777B2 (ja) 2006-05-22 2007-01-25 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム

Publications (2)

Publication Number Publication Date
CN101232577A CN101232577A (zh) 2008-07-30
CN101232577B true CN101232577B (zh) 2012-12-19

Family

ID=38268939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101079792A Expired - Fee Related CN101232577B (zh) 2006-05-22 2007-05-22 能摄像的显示设备、图像处理方法和图像显示系统

Country Status (4)

Country Link
US (2) US8953057B2 (zh)
EP (1) EP1860612B1 (zh)
JP (1) JP5074777B2 (zh)
CN (1) CN101232577B (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816569B2 (ja) * 2006-07-06 2011-11-16 セイコーエプソン株式会社 画像表示システム
JP4854582B2 (ja) * 2007-04-25 2012-01-18 キヤノン株式会社 画像処理装置、画像処理方法
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP5443844B2 (ja) * 2009-06-17 2014-03-19 オリンパス株式会社 画像処理装置及び撮像装置
JP2011091571A (ja) * 2009-10-21 2011-05-06 Olympus Imaging Corp 動画像作成装置及び動画像作成方法
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
WO2012168069A1 (en) * 2011-06-10 2012-12-13 International Business Machines Corporation Adapted digital device and adapter for a digital device
JP2013031109A (ja) * 2011-07-29 2013-02-07 Clarion Co Ltd カメラシステム
JP5948823B2 (ja) * 2011-11-30 2016-07-06 セイコーエプソン株式会社 表示システム及び画像表示方法
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
CN102842117B (zh) * 2012-07-13 2015-02-25 浙江工业大学 显微视觉系统中运动误差矫正方法
WO2014034378A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム
EP2985652A4 (en) 2013-04-11 2016-12-14 Sony Corp IMAGE DISPLAY DEVICE AND DISPLAY DEVICE
WO2014167934A1 (ja) 2013-04-11 2014-10-16 ソニー株式会社 画像表示装置及び表示装置
GB201310360D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
WO2015008530A1 (ja) 2013-07-16 2015-01-22 ソニー株式会社 表示装置
CN104769935B (zh) 2013-07-16 2019-11-19 索尼公司 显示装置
JP6191412B2 (ja) * 2013-11-21 2017-09-06 株式会社リコー 情報処理装置、画像投影装置、画像投影システム、歪み補正指示方法及びプログラム
JP2015119373A (ja) * 2013-12-19 2015-06-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP2887124A1 (en) 2013-12-20 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical unit
KR102183397B1 (ko) * 2014-01-06 2020-11-26 삼성전자주식회사 이미지 처리 방법 및 이를 구현하는 전자 장치
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
CN104216533B (zh) * 2014-08-28 2017-06-06 东华大学 一种基于DirectX9的头戴式虚拟现实显示器
JP5914714B2 (ja) * 2015-02-12 2016-05-11 オリンパス株式会社 撮影機器および撮影方法
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US10419770B2 (en) 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법
CN105869110B (zh) 2016-03-28 2018-09-28 腾讯科技（深圳）有限公司 图像显示方法和装置、异形曲面幕布的定制方法和装置
JP6711670B2 (ja) * 2016-04-04 2020-06-17 キヤノン株式会社 情報処理装置、画像表示装置、画像表示システム、および情報処理方法
CN105791789B (zh) * 2016-04-28 2019-03-19 努比亚技术有限公司 头戴设备、显示设备及自动调整显示输出的方法
WO2018010004A1 (en) * 2016-07-13 2018-01-18 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
WO2018105534A1 (ja) * 2016-12-07 2018-06-14 京セラ株式会社 光源装置、ディスプレイ装置、移動体、３次元投影装置、３次元投影システム、画像投影装置、および画像表示装置
US10405374B2 (en) * 2017-03-17 2019-09-03 Google Llc Antenna system for head mounted display device
JP2019036925A (ja) 2017-08-21 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP7134017B2 (ja) 2018-08-14 2022-09-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11143874B2 (en) 2019-03-29 2021-10-12 Sony Interactive Entertainment Inc. Image processing apparatus, head-mounted display, and image displaying method
JP7365184B2 (ja) * 2019-03-29 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP7365185B2 (ja) 2019-03-29 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
US11106042B2 (en) * 2019-03-29 2021-08-31 Sony Interactive Entertainment Inc. Image processing apparatus, head-mounted display, and image displaying method
US11119313B1 (en) * 2020-07-31 2021-09-14 Varjo Technologies Oy Imaging systems and methods for expanding field of view of captured images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607824A (zh) * 2003-10-14 2005-04-20 卡西欧计算机株式会社 图像处理系统及图像处理方法和电子相机及图像处理装置
CN1659592A (zh) * 2002-06-12 2005-08-24 奥普提克斯晶硅有限公司 用于光学异常的电子校正的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259541A (ja) * 1992-10-30 1994-09-16 Toshiba Corp 画像歪み補正方法およびそのシステム
DE69529548T2 (de) * 1994-04-22 2003-11-27 Canon Kk Bilderzeugungsverfahren und -gerät
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
US6563535B1 (en) * 1998-05-19 2003-05-13 Flashpoint Technology, Inc. Image processing system for high performance digital imaging devices
KR100414083B1 (ko) * 1999-12-18 2004-01-07 엘지전자 주식회사 영상왜곡 보정방법 및 이를 이용한 영상표시기기
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US7312766B1 (en) * 2000-09-22 2007-12-25 Canadian Space Agency Method and system for time/motion compensation for head mounted displays
US7088855B1 (en) * 2001-01-22 2006-08-08 Adolfo Pinheiro Vide Method and system for removal of red eye effects
JP2002271691A (ja) * 2001-03-13 2002-09-20 Canon Inc 画像処理方法、画像処理装置、記憶媒体及びプログラム
EP1385335B1 (en) * 2002-07-23 2009-04-22 NEC Display Solutions, Ltd. Image projector with image-feedback control
JP2004165944A (ja) * 2002-11-13 2004-06-10 Nippon Telegr & Teleph Corp <Ntt> 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体
JP2004350130A (ja) * 2003-05-23 2004-12-09 Fuji Photo Film Co Ltd デジタルカメラ
GB0315116D0 (en) * 2003-06-27 2003-07-30 Seos Ltd Image display apparatus for displaying composite images
EP1503333A1 (en) * 2003-08-01 2005-02-02 Sony International (Europe) GmbH Correction of non-uniform image display
JP2005064667A (ja) * 2003-08-08 2005-03-10 Nec Viewtechnology Ltd プロジェクション装置並びにプロジェクション方法
JP4496465B2 (ja) * 2004-04-23 2010-07-07 ノーリツ鋼機株式会社 赤目補正方法、プログラム、及びこの方法を実施する装置
US20060008169A1 (en) * 2004-06-30 2006-01-12 Deer Anna Y Red eye reduction apparatus and method
JP4693552B2 (ja) * 2005-08-30 2011-06-01 キヤノン株式会社 表示装置、制御装置、及び制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1659592A (zh) * 2002-06-12 2005-08-24 奥普提克斯晶硅有限公司 用于光学异常的电子校正的系统和方法
CN1607824A (zh) * 2003-10-14 2005-04-20 卡西欧计算机株式会社 图像处理系统及图像处理方法和电子相机及图像处理装置

Also Published As

Publication number Publication date
EP1860612A3 (en) 2011-08-31
CN101232577A (zh) 2008-07-30
EP1860612A2 (en) 2007-11-28
US9390480B2 (en) 2016-07-12
JP5074777B2 (ja) 2012-11-14
JP2008005460A (ja) 2008-01-10
US20150116359A1 (en) 2015-04-30
US8953057B2 (en) 2015-02-10
EP1860612B1 (en) 2019-04-17
US20070268316A1 (en) 2007-11-22

Similar Documents

Publication Publication Date Title
CN101232577B (zh) 能摄像的显示设备、图像处理方法和图像显示系统
EP1521216B1 (en) Mixed reality space image generation method and mixed reality system
US7095424B2 (en) Image display apparatus and method, and storage medium
WO2020171909A1 (en) Ergonomic mixed reality step-by-step instructions tethered to 3d holograms in real-world locations
US7557816B2 (en) Image processing apparatus, method and computer-readable storage medium for generating and presenting an image of virtual objects including the operation panel viewed from the position and orientation of the viewpoint of the observer
JP4909176B2 (ja) 複合現実感提示装置及びその制御方法、コンピュータプログラム
KR20220047882A (ko) 증강 현실 데이터를 레코딩하기 위한 기술
EP1708139A2 (en) Calibration method and apparatus
CN104238665A (zh) 图像处理装置及图像处理方法
CN105701863A (zh) 图像处理的方法和装置
US20060256036A1 (en) Image processing method and image processing apparatus
WO1995001630A1 (fr) Dispositif et procede de traitement d&#39;images et dispositif electronique dote dudit dispositif
JP2005038321A (ja) ヘッドマウントディスプレイ装置
JP2005149175A (ja) 表示制御装置およびプログラム
JP2006215750A (ja) 画像処理方法、画像処理装置
JP2006018444A (ja) 画像処理システム及び付加情報指示装置
US20210239973A1 (en) Video display system, video display device, and video display method
JP4703744B2 (ja) コンテンツ表現制御装置、コンテンツ表現制御システム、コンテンツ表現制御用基準物体およびコンテンツ表現制御プログラム
KR20220093985A (ko) 이미지 지연 보정 방법 및 이를 이용한 장치
JP2006277618A (ja) 画像生成装置及び方法
JP4330637B2 (ja) 携帯機器
US12034908B2 (en) Stereoscopic-image playback device and method for generating stereoscopic images
EP4216544A1 (en) Stereoscopic-image playback device and method for generating stereoscopic images
JP2004013309A (ja) 情報処理方法および複合現実感提示装置
JP6734537B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121219

Termination date: 20180522