CN1841272A - 校准方法和装置 - Google Patents
校准方法和装置 Download PDFInfo
- Publication number
- CN1841272A CN1841272A CNA200610071042XA CN200610071042A CN1841272A CN 1841272 A CN1841272 A CN 1841272A CN A200610071042X A CNA200610071042X A CN A200610071042XA CN 200610071042 A CN200610071042 A CN 200610071042A CN 1841272 A CN1841272 A CN 1841272A
- Authority
- CN
- China
- Prior art keywords
- virtual objects
- orientation
- practical object
- image
- modified value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 28
- 238000012937 correction Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 17
- 238000009434 installation Methods 0.000 claims description 13
- 230000008676 import Effects 0.000 claims 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000010276 construction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
检测指示以预定的位置关系观察实际对象和虚拟对象的指令，其中实际对象具有其能够在上面移动的固定的平面，并且再现虚拟对象使其位于能够移动实际对象的平面上。然后获得当检测到指令时的虚拟对象的位置及方位值与实际对象的位置及方位值之间的差，使得该差用作用于修正实际对象与虚拟对象之间的差的修正值。
Description
技术领域
本发明涉及一种用于获得修正值的校准方法和装置，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差。
背景技术
虚拟现实(VR)系统是一种通过将计算机产生的三维计算机图形(CG)呈现给用户从而带给用户虚拟空间好像是现实空间的体验的系统。此外，近年来，也开发了用于通过合成三维CG与现实空间的被捕捉图像将现实世界中不存在信息呈现给用户的技术。这些技术被称作增强现实(Augmented Reality)系统和混合现实(Mixed reality)系统。
在AR系统中，三维CG能够叠加在实际(现实)对象(实际物体)上。例如，在日本专利公开No.2000-353248(US 6,972,734 B1)中所示的游戏中，例如剑和武器的三维CG以叠加在用户手持的交互操作输入装置的被捕捉图像上的方式被显示，使得用户能够自由地操作虚拟对象(在此情况下，是剑和武器)。
在这样的系统中，为了带给用户身临其境的感觉，实际对象与虚拟对象之间的重合精度是很重要的。但是，为了使虚拟对象精确地叠加在实际对象上要花费较长的时间进行校准，并且需要适于执行校准的技巧。
发明内容
考虑到现有技术的上述问题而提出本发明。本发明的目的是减少获得用于修正实际对象与虚拟对象之间定位差的修正量的校准处理所需的时间，并方便校准处理。
按照本发明的一方面，提供一种用于获得修正值的校准方法，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准方法包括：测量步骤，测量实际对象的位置及方位；虚拟对象产生步骤，产生存在于实际对象可在其上移动的平面上的虚拟对象的图像；显示步骤，显示通过将虚拟对象的图像叠加在实际对象的被捕捉图像上而形成的合成图像；检测步骤，检测用于获得修正值的指令，该修正值用于修正合成图像中实际对象的位置及方位与虚拟对象的位置及方位之间的差；和获取步骤，响应该指令来获取由实际对象在该平面上的平行移动以及实际对象围绕设置在垂直于该平面的方向上的轴的转动表示的修正值。
按照本发明的另一方面，提供一种用于获得修正值的校准方法，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准方法包括：第一测量步骤，测量能够被移动的实际对象的位置及方位；捕捉步骤，通过提供在由观察者佩戴的头配式显示装置上的相机来捕捉实际对象的图像；第二测量步骤，测量相机的位置及方位；虚拟对象产生步骤，以观察者将虚拟对象视为存在于预定平面上的方式，根据第二测量步骤中测量的位置及方位再现虚拟对象；显示步骤，合成再现的虚拟对象与相机捕捉的图像，并在头配式显示装置上显示合成的图像；检测步骤，检测观察者的指令，该指令指示出观察者通过满足了实际对象与虚拟对象之间的预定位置关系的条件来观察该实际对象；和获取步骤，获取在检测到指令时的实际对象与虚拟对象之间的位置及方位的差作为修正值；其中在虚拟对象产生步骤中，根据第一测量步骤中测量的位置及方位在该平面上以移动和/或转动的方式再现虚拟对象。
按照本发明的另一方面，提供一种用于获得修正值的校准装置，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准装置包括：测量单元，用于测量实际对象的位置及方位；虚拟对象产生单元，用于产生存在于实际对象可在其上移动的平面上的虚拟对象的图像；显示单元，用于显示通过将虚拟对象的图像叠加在实际对象的被捕捉图像上而形成的合成图像；检测单元，用于检测获得修正值的指令，该修正值用于修正合成图像中实际对象的位置及方位与虚拟对象的位置及方位之间的差；和获取单元，用于响应该指令来获取由实际对象在该平面上的平行移动以及实际对象围绕设置在垂直于该平面的方向上的轴的转动表示的修正值。
按照本发明的另一方面，提供一种用于获得修正值的校准装置，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准装置包括：第一测量单元，用于测量能够被移动的实际对象的位置及方位；捕捉单元，用于通过提供在由观察者佩戴的头配式显示装置上的相机来捕捉实际对象的图像；第二测量单元，用于测量相机的位置及方位；虚拟对象产生单元，用于以观察者将虚拟对象视为存在于预定平面上的方式，根据第二测量单元测量的位置及方位再现虚拟对象；显示单元，用于合成再现的虚拟对象与相机捕捉的图像，并在头配式显示装置上显示合成的图像；检测单元，用于检测观察者的指令，该指令指示出观察者通过满足了实际对象与虚拟对象之间的预定位置关系的条件来观察该实际对象；和获取单元，用于获取在检测到指令时的实际对象与虚拟对象之间的位置及方位的差作为修正值；其中在虚拟对象产生单元中，根据第一测量单元测量的位置及方位在该平面上以移动和/或转动的方式再现虚拟对象。
通过这些布置，按照本发明能够减少校准处理所需的时间，并方便校准处理。
根据下面结合附图的说明，本发明的其它特征和优点将显而易见，其中类似的参考字符在全部附图中表示相同或相似的部分。
附图说明
图1是显示按照本发明实施例的MR呈现系统的示意性配置的视图；
图2是显示在本实施例的系统中用于校准的实际对象和虚拟对象的示例的视图；
图3是说明在本实施例的系统中的校准处理的流程图；和
图4是说明本实施例的系统的校准方法的视图。
具体实施方式
图1是显示按照本发明实施例的MR呈现系统的示意性配置的方块图。该MR呈现系统具有图像输入单元102、图像构成单元103、图像输出单元104、相机位置及方位测量单元105和虚拟对象产生单元106。此外，该MR呈现系统具有系统控制单元101、由用户佩戴的视频透明(see-through)型头配式显示器(HMD)132和实际对象(实际物体)108，系统控制单元101设置有实际对象位置及方位测量单元107。注意，实际对象108设置有位置及方位传感器B(109)。
系统控制单元101具有数据输入接口，并通过计算机来实现，该计算机可运行存储在非易失性存储器(没有显示)等中的控制程序。此处，作为数据输入接口，例如有显示接口、视频捕捉板、串行接口等。
视频透明型头配式显示器(HMD)132具有相机133和图像输出单元134，相机133从用户观察点位置附近获得摄影图像，图像输出单元134输出由相机133捕捉或感测的图像。此外，HMD 132具有例如是LCD的图像显示单元136和图像输入单元135，图像输入单元135从系统控制单元101的图像输出单元104接收将要显示在图像显示单元136上的图像。此外，HMD 132具有位置及方位传感器A(137)。
安装在用户头上的HMD 132的相机133在用户视线方向上感测用户观察点附近位置的现实空间。现实空间的被捕捉图像被发送到图像输出单元134。图像输出单元134将现实空间的图像发送至系统控制单元101的图像输入单元102。
在系统控制单元101中，从图像输入单元102接收的现实空间的图像数据被发送至图像构成单元103。相机位置及方位测量单元105通过HMD 132的位置及方位传感器A(137)测量相机103的位置及方位，并将测量结果发送到虚拟对象产生单元106作为相机位置及方位信息。
在本实施例中，使用实际对象108以便使虚拟对象(虚拟物体)叠加其上。实际对象位置及方位测量单元107通过使用设置在实际对象108上的位置及方位传感器B(109)测量实际对象108的位置及方位。测量结果被发送到虚拟对象产生单元106作为实际对象位置及方位信息。
在虚拟对象产生单元106中，根据相机位置及方位信息和实际对象位置及方位信息，在从相机133的观察点看到的实际对象108的位置及方位中产生虚拟对象图像。虚拟对象产生单元106将产生的虚拟对象图像发送至图像构成单元103。
在图像构成单元103中，组合现实空间的图像与虚拟对象图像以产生MR空间图像，该MR空间图像被发送至图像输出单元104。图像输出单元104将MR空间图像发送至HMD 132的图像输入单元135。图像输入单元135将接收到的MR空间图像发送至图像显示单元136。图像显示单元136例如是提供在用户眼前的显示装置，其显示MR空间图像。用户观察MR空间图像，由此能够产生重合在现实空间中的虚拟对象好像确实存在的体验。此外，存储单元110存储某些类型的信息，包括产生MR空间图像所需的虚拟对象的模型信息。
注意，为了便于说明和理解此处省略了说明，但是实际中，在用于产生上述MR空间图像的配置和操作中具有用于左眼和右眼的两个系统。也就是，相机133由用于左眼的相机和用于右眼的相机构成，并且这些相机的每个的位置及方位都被测量。相机133在从每个相机的观察点位置看到的实际对象的位置及方位中产生虚拟对象图像，由此产生并显示用于左眼和右眼的MR空间图像。这样的配置能够实现利用视差的三维显示，并且用户物理地将MR空间图像感觉为更现实的空间。
接下来说明本系统中的校准操作。
如上所述，校准是至少在MR空间图像产生之前进行的在虚拟空间与现实空间之间的一种重合(registration)过程。图2示意性地显示了在本系统中执行校准的情形。此处，使用相机108作为用于在本系统中校准的实际对象，实际对象的位置及方位是可测量的。此外，图2显示了通过计算机图形(CG)再现与相机108具有相同尺寸和形状的相机的情况，该再现形成的相机作为用于与实际对象重合的虚拟对象。
但是，实际对象和虚拟对象的尺寸和形状没有限制，只要具备以下条件即可：
(1)用户能够容易地识别实际对象与虚拟对象之间的位置及方位的匹配条件，
(2)通过在预定的平面上平行移动以及通过围绕设置在垂直于该平面的方向上的轴转动能够唯一地匹配实际对象与虚拟对象之间的位置及方位，
(3)用户能够手动地移动实际对象。
在下面说明的例子中，为了便于说明和理解，说明了预定方向是水平方向、垂直于预定平面的方向是垂直方向的情况。
此外在图2中，由基座203的上表面形成水平面，布置虚拟对象202和实际对象108，使得构成这些对象的下表面的平面与基座203的上表面接触。这样，实际对象108在基座203上滑动的同时以平行和旋转方式被移动，由此能够实现在实际对象108与虚拟对象202之间的重合。
此处注意，由基座203的上表面形成预定平面，使用基座203作为用于放置实际对象的工作台，使得实际对象108可在其上移动的平面被固定到水平面。但是，当实际对象108可在其上移动的平面被固定到一个平面时，不需要基座203。也就是说，能够利用任意的配置作为将实际对象108固定到某平面的机构。但是，从可操作性和容易计算的观点来看，实际对象108可在其上移动的平面优选地是水平面。
通过使用图3所示的流程图来说明校准使用上述的实际对象108和虚拟对象202的系统的处理。通过安装了HMD 132的用户的指令来开始此处理。
首先，在S301，虚拟对象产生单元106从存储单元110读取虚拟对象202的模型。然后，虚拟对象产生单元106基于预先测量的基座203的世界坐标系的坐标值和HMD 132的位置及方位传感器A(137)的输出将虚拟对象202再现在一个位置，以使其放置在基座203的上表面上。预先测量的基座203的世界坐标系的坐标值存储在存储单元110中。注意，此时的虚拟对象202在其底部与水平面接触，或通过用于保持固定的水平状态的机构与基座203的上表面接触，以便水平地保持虚拟对象202的方位。虚拟对象202的图像与通过相机133拾取的现实空间图像(也就是基座203的图像)在图像构成单元103中组合，合成的图像经过图像输出单元104和图像输入单元135由HMD 132的图像显示单元136显示。
在此状态下，虚拟对象202和实际对象108的位置关系是它们的下表面形成在共同平面上。因此，如图4所示，用户能够在S302中通过组合在基座203的水平面上的水平移动与围绕设置在垂直方向上的轴的转动，使得实际对象108的位置及方位与虚拟对象202的位置及方位匹配。
相机位置及方位测量单元105根据HMD 132的位置及方位传感器A(137)的输出检测相机133的位置及方位。虚拟对象产生单元106产生并再现虚拟对象，使其与检测到的位置及方位匹配。另一方面，实际对象位置及方位测量单元107根据设置在实际对象108上的位置及方位传感器B(109)的输出检测实际对象108的位置及方位，并将检测到的位置及方位输出到图像构成单元103。
系统控制单元101检查用户是否通过输入单元138输入匹配指令(S303)。然后，执行虚拟对象202的产生和显示处理，以使虚拟对象连续显示在正确的方位上，即使在相机133的位置及方位根据用户的移动被改变时(S305)。
另一方面，用户在HMD 132中观察实际对象108和虚拟对象202的同时移动实际对象108，使其看起来与虚拟对象202完全重叠。然后，当实际对象108看起来与虚拟对象202完全重叠时，用户按下输入单元138中所含的匹配指令按钮等，并通知系统控制单元101：两个对象满足匹配条件。
在此情况下，优选地通过从实际对象108上方垂直地观察实际对象108与虚拟对象202之间的重叠状态来确定的位置及方位中的重叠。这是因为实际对象与虚拟对象除了水平位置和围绕垂直方向上的轴的转动量之外彼此匹配，因此不匹配的水平位置和围绕垂直方向上的轴的转动量只能通过从实际对象108上方垂直地观察来视觉地识别。
当在S303中检测到从用户输入的匹配指令时，系统控制单元101记录此时的偏移值，该值用作系统上实际对象108的位置及方位测量值与虚拟对象202的位置及方位值之间的差(S307)。由此能够确定随后过程中必须的位置及方位修正量，并完成校准过程。
在随后的过程中，当再现虚拟对象使其跟随实际对象108移动时，使用通过上述的偏移值修正的位置及方位值作为系统上的位置及方位值。因此，即使实际对象108被移动或其方位发生变化，用户也能够一直在虚拟对象202与实际对象108完全重合的状态下观察虚拟对象202。
如上所述，按照本实施例，能够检测指示以预定的位置关系观察实际对象和虚拟对象的指令，其中实际对象具有其能够在上面移动的固定的平面，并且再现虚拟对象使其位于实际对象可移动的平面上。然后获得当检测到指令时的虚拟对象的位置及方位值与实际对象的位置及方位值之间的差，并将其用作用于修正实际对象与虚拟对象之间的差的修正值。通过这样的配置，能够容易并精确地执行校准处理。
或者，按照本发明，当两个对象满足预定的位置关系时，获得实际对象的位置及方位与虚拟对象的位置及方位之间的差作为修正值，其中实际对象具有其能够在上面移动的固定的平面，并且再现虚拟对象使其位于实际对象可移动的平面上。然后，通过组合实际对象的预定平面上的平行移动与围绕设置在垂直于预定平面的方向上的轴的转动来表示修正值。通过这样的配置，能够容易并精确地执行校准处理。
此外，在显示CG的情况下，可以显示使用实体模型和线框模型的CG，或者也可以显示当CG投射在预定平面时的轮廓(阴影)。在此情况下，能够容易地将作为虚拟对象的CG叠加在实际对象上。
此外，可将CG的形态排列成可通过用户的指令而改变。
<其它的实施例>
注意，一种情况也包含在本发明的范围内，其中将用于实现上述实施例的功能的软件程序直接从记录介质或通过使用有线/无线通信提供给具有能够运行该程序的计算机的系统或装置，由此通过使该系统或装置的计算机运行所提供的程序来获得与上述实施例的功能等同的功能。
因此，程序代码本身被提供或安装在计算机中，以便通过计算机实现本发明的功能处理，也实现本发明。也就是说，用于实现本发明的功能处理的计算机程序本身也包含在本发明的范围内。
在此情况下，可以包括任何形式的程序，包括目标代码、由编译器运行的程序、提供给OS的脚本数据等，只要它们具有该程序的功能即可。
例如，用于提供该程序的记录介质包括磁记录媒体(诸如软盘、硬盘和磁带)，光/光磁存储媒体(诸如MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW)，非易失性半导体存储器等。
例如，通过使用有线/无线通信提供该程序的方法包括其中数据文件(程序数据文件)存储在计算机网络的服务器上并被下载到允许连接到该服务器的客户计算机的方法等，其中数据文件能够用作在客户计算机上形成本发明的计算机程序，例如形成本发明的该计算机程序本身、或者被压缩并包括自动安装功能的文件。在此情况下，还能够将该程序数据文件分成多个片段文件，并在不同的服务器中放置这些片段文件。
也就是说，能够使得用于实现本发明功能处理的程序数据文件下载到多个用户的服务器装置也包含在本发明的范围内。
此外，还能通过下面的布置来实现上述实施例的功能，其中将本发明的程序加密存储在例如CD-ROM的记录介质中并分配给用户，通过允许满足预定条件的用户例如经过因特网从主页下载密钥信息，将用于对该加密程序进行解密的密钥信息提供给所述用户，以及通过使用密钥信息运行该加密的程序使其安装在计算机中。
此外，除了通过使得该程序由计算机读取并运行来实现上述实施例的功能之外，计算机上工作的OS等基于该程序的指令运行部分或全部的实际处理，结果也能够通过处理来实现上述实施例的功能。
此外，将从记录介质读取的该程序写入插在计算机中的功能扩展板或者连接到计算机的功能扩展单元上所提供的存储器中，之后，提供在功能扩展板或功能扩展单元上的CPU等根据该程序的指令运行部分或全部的实际处理，结果也能够通过处理来实现上述实施例的功能。
因为能构成许多明显宽泛的本发明的不同实施例，而不脱离其实质和范围，所以应当理解，除了后附权利要求限定的之外，本发明不限于其具体实施例。
Claims (12)
1.一种用于获得修正值的校准方法，该修正值用于修正实际对象与叠加在该实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准方法包括：
测量步骤，测量实际对象的位置及方位；
虚拟对象产生步骤，产生存在于所述实际对象可在其上移动的平面上的虚拟对象的图像；
显示步骤，显示通过将所述虚拟对象的图像叠加在所述实际对象的被捕捉图像上而形成的合成图像；
检测步骤，检测用于获得修正值的指令，该修正值用于修正所述合成图像中实际对象的位置及方位与虚拟对象的位置及方位之间的差；和
获取步骤，响应所述指令来获取由所述实际对象在该平面上的平行移动以及所述实际对象围绕设置在垂直于该平面的方向上的轴的转动表示的修正值。
2.如权利要求1所述的校准方法，
其中检测步骤基于由所述合成图像的观察者输入的指令来检测是否满足预定关系。
3.一种用于获得修正值的校准方法，该修正值用于修正实际对象与叠加在所述实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准方法包括：
第一测量步骤，测量能够被移动的实际对象的位置及方位；
捕捉步骤，通过提供在由观察者佩戴的头配式显示装置上的相机来捕捉所述实际对象的图像；
第二测量步骤，测量所述相机的位置及方位；
虚拟对象产生步骤，以观察者将虚拟对象视为存在于预定平面上的方式，根据第二测量步骤中测量的位置及方位再现虚拟对象；
显示步骤，合成所述再现的虚拟对象与所述相机捕捉的图像，并在所述头配式显示装置上显示所述合成的图像；
检测步骤，检测观察者的指令，该指令指示出观察者通过满足了所述实际对象与虚拟对象之间的预定位置关系的条件来观察该实际对象；和
获取步骤，获取在检测到指令时的实际对象与虚拟对象之间的位置及方位的差作为修正值；
其中在所述虚拟对象产生步骤中，根据第一测量步骤中测量的位置及方位在该平面上以移动和/或转动的方式再现虚拟对象。
4.如权利要求3所述的校准方法，
其中所述预定平面是水平面，垂直于该平面的方向是垂直方向。
5.如权利要求3所述的校准方法，
其中所述虚拟对象产生步骤对应于所述实际对象的位置及方位再现虚拟对象。
6.如权利要求3所述的校准方法，
其中所述虚拟对象产生步骤使用通过利用所获得的修正值修正的位置及方位来再现虚拟对象。
7.一种用于获得修正值的校准装置，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准装置包括：
测量单元，用于测量实际对象的位置及方位；
虚拟对象产生单元，用于产生存在于所述实际对象可在其上移动的平面上的虚拟对象的图像；
显示单元，用于显示通过将所述虚拟对象的图像叠加在所述实际对象的被捕捉图像上而形成的合成图像；
检测单元，用于检测获得修正值的指令，该修正值用于修正所述合成图像中实际对象的位置及方位与虚拟对象的位置及方位之间的差；和
获取单元，用于响应该指令来获取由所述实际对象在该平面上的平行移动以及所述实际对象围绕设置在垂直于该平面的方向上的轴的转动表示的修正值。
8.如权利要求7所述的校准装置，
其中检测单元基于由所述合成图像的观察者输入的指令来检测是否满足预定关系。
9.一种用于获得修正值的校准装置，该修正值用于修正实际对象与叠加在实际对象的被捕捉图像上的虚拟对象之间的位置及方位的差，该校准装置包括：
第一测量单元，用于测量能够被移动的实际对象的位置及方位；
捕捉单元，用于通过提供在由观察者佩戴的头配式显示装置上的相机来捕捉所述实际对象的图像；
第二测量单元，用于测量所述相机的位置及方位；
虚拟对象产生单元，用于以观察者将虚拟对象视为存在于预定平面上的方式，根据第二测量单元测量的位置及方位再现虚拟对象；
显示单元，用于合成所述再现的虚拟对象与所述相机捕捉的图像，并在所述头配式显示装置上显示所述合成的图像；
检测单元，用于检测观察者的指令，该指令指示出观察者通过满足了实际对象与虚拟对象之间的预定位置关系的条件来观察该实际对象；和
获取单元，用于获取在检测到指令时的实际对象与虚拟对象之间的位置及方位的差作为修正值；
其中在虚拟对象产生单元中，根据第一测量单元测量的位置及方位在该平面上以移动和/或转动的方式再现虚拟对象。
10.如权利要求9所述的校准装置，
其中所述预定平面是水平面，垂直于该平面的方向是垂直方向。
11.如权利要求9所述的校准装置，
其中所述虚拟对象产生单元对应于所述实际对象的位置及方位再现虚拟对象。
12.如权利要求9所述的校准装置，
其中所述虚拟对象产生单元使用通过利用所获得的修正值修正的位置及方位来再现虚拟对象。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005-106792 | 2005-04-01 | ||
| JP2005106792A JP4726194B2 (ja) | 2005-04-01 | 2005-04-01 | キャリブレーション方法及び装置 |
| JP2005106792 | 2005-04-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1841272A true CN1841272A (zh) | 2006-10-04 |
| CN100426198C CN100426198C (zh) | 2008-10-15 |
Family
ID=36405983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB200610071042XA Expired - Fee Related CN100426198C (zh) | 2005-04-01 | 2006-03-31 | 校准方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7542051B2 (zh) |
| EP (1) | EP1708139B1 (zh) |
| JP (1) | JP4726194B2 (zh) |
| KR (1) | KR100823649B1 (zh) |
| CN (1) | CN100426198C (zh) |
| DE (1) | DE602006020651D1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867169A (zh) * | 2011-04-08 | 2013-01-09 | 索尼公司 | 图像处理设备、显示控制方法及程序 |
| CN103907139A (zh) * | 2011-11-11 | 2014-07-02 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN105719299A (zh) * | 2016-01-22 | 2016-06-29 | 吉林大学 | 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示 |
| CN105788003A (zh) * | 2016-03-09 | 2016-07-20 | 深圳市瑞立夫网络科技有限公司 | 虚拟场景与现实场景的无缝对接方法 |
| CN108140247A (zh) * | 2015-10-05 | 2018-06-08 | 谷歌有限责任公司 | 使用合成图像的相机校准 |
| CN109215076A (zh) * | 2017-07-05 | 2019-01-15 | 上海宝冶集团有限公司 | 应用混合现实技术的模型与实体间的定位校准方法 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7868904B2 (en) * | 2005-04-01 | 2011-01-11 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
| JP4667111B2 (ja) * | 2005-04-21 | 2011-04-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP4914123B2 (ja) * | 2005-07-15 | 2012-04-11 | キヤノン株式会社 | 画像処理装置及び方法 |
| DE102007045835B4 (de) | 2007-09-25 | 2012-12-20 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| DE102007045834B4 (de) | 2007-09-25 | 2012-01-26 | Metaio Gmbh | Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung |
| FR2933218B1 (fr) * | 2008-06-30 | 2011-02-11 | Total Immersion | Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee |
| JP2010033367A (ja) * | 2008-07-29 | 2010-02-12 | Canon Inc | 情報処理装置及び情報処理方法 |
| KR100941749B1 (ko) * | 2008-08-25 | 2010-02-11 | 에이알비전 (주) | 증강 현실 장치 및 가상 이미지 합성 방법 |
| GB0915589D0 (en) * | 2009-09-07 | 2009-10-07 | Sony Comp Entertainment Europe | Image processing method, apparatus and system |
| US8947455B2 (en) | 2010-02-22 | 2015-02-03 | Nike, Inc. | Augmented reality design system |
| US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
| US20120120103A1 (en) * | 2010-02-28 | 2012-05-17 | Osterhout Group, Inc. | Alignment control in an augmented reality headpiece |
| US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
| US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
| US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
| US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
| US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
| US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
| US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
| US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
| US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
| US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
| US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
| US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
| KR20130000401A (ko) | 2010-02-28 | 2013-01-02 | 오스터하우트 그룹 인코포레이티드 | 대화형 머리장착식 아이피스 상의 지역 광고 컨텐츠 |
| US9188973B2 (en) | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
| US9311883B2 (en) * | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
| DE102011122206A1 (de) | 2011-12-23 | 2013-06-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betrieb eines Augmented-Reality-Systems |
| US10444845B2 (en) * | 2012-12-21 | 2019-10-15 | Qualcomm Incorporated | Display of separate computer vision based pose and inertial sensor based pose |
| CA2892554C (en) * | 2013-03-15 | 2017-04-18 | Synaptive Medical (Barbados) Inc. | System and method for dynamic validation, correction of registration for surgical navigation |
| JP5796726B2 (ja) * | 2013-03-29 | 2015-10-21 | コニカミノルタ株式会社 | ジョブ情報表示装置 |
| US8922589B2 (en) | 2013-04-07 | 2014-12-30 | Laor Consulting Llc | Augmented reality apparatus |
| JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
| US20150077340A1 (en) * | 2013-09-18 | 2015-03-19 | Genius Toy Taiwan Co., Ltd. | Method, system and computer program product for real-time touchless interaction |
| JP6033209B2 (ja) * | 2013-12-11 | 2016-11-30 | 三菱電機株式会社 | 携帯用端末装置 |
| KR102256057B1 (ko) * | 2014-03-17 | 2021-05-25 | 에스케이플래닛 주식회사 | 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
| KR102221152B1 (ko) * | 2014-03-18 | 2021-02-26 | 에스케이플래닛 주식회사 | 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체 |
| DE102014009699B4 (de) * | 2014-06-26 | 2022-05-19 | Audi Ag | Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung |
| CN106796447A (zh) * | 2014-07-31 | 2017-05-31 | 惠普发展公司，有限责任合伙企业 | 安置在可移动表面上的对象的模型数据 |
| GB2529682A (en) | 2014-08-29 | 2016-03-02 | Bae Systems Plc | Image display |
| GB2529683A (en) * | 2014-08-29 | 2016-03-02 | Bae Systems Plc | Image display |
| US10235774B1 (en) | 2017-11-14 | 2019-03-19 | Caterpillar Inc. | Method and system for calibration of an image capturing device mounted on a machine |
| JP2019185475A (ja) * | 2018-04-12 | 2019-10-24 | 富士通株式会社 | 特定プログラム、特定方法及び情報処理装置 |
| US11825230B2 (en) * | 2020-02-14 | 2023-11-21 | Canon Kabushiki Kaisha | Imaging apparatus and storage medium |
| WO2023049086A2 (en) * | 2021-09-22 | 2023-03-30 | Veyezer, Llc | Holographic real space refractive system |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
| CN1242851A (zh) * | 1996-12-29 | 2000-01-26 | 网上冲浪有限公司 | 互动虚拟现实系统的基于模型的景像外推 |
| US6025839A (en) * | 1997-06-06 | 2000-02-15 | International Business Machines Corp. | Method for displaying information in a virtual reality environment |
| US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
| KR100248374B1 (ko) | 1997-11-25 | 2000-03-15 | 정선종 | 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 |
| US6625299B1 (en) * | 1998-04-08 | 2003-09-23 | Jeffrey Meisner | Augmented reality technology |
| US7073129B1 (en) * | 1998-12-18 | 2006-07-04 | Tangis Corporation | Automated selection of appropriate information based on a computer user's context |
| JP3413127B2 (ja) | 1999-06-11 | 2003-06-03 | キヤノン株式会社 | 複合現実感装置及び複合現実感提示方法 |
| US6972734B1 (en) * | 1999-06-11 | 2005-12-06 | Canon Kabushiki Kaisha | Mixed reality apparatus and mixed reality presentation method |
| US6898307B1 (en) * | 1999-09-22 | 2005-05-24 | Xerox Corporation | Object identification method and system for an augmented-reality display |
| JP3631151B2 (ja) * | 2000-11-30 | 2005-03-23 | キヤノン株式会社 | 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体 |
| EP1371019A2 (en) * | 2001-01-26 | 2003-12-17 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
| US7274380B2 (en) * | 2001-10-04 | 2007-09-25 | Siemens Corporate Research, Inc. | Augmented reality system |
| US7190331B2 (en) * | 2002-06-06 | 2007-03-13 | Siemens Corporate Research, Inc. | System and method for measuring the registration accuracy of an augmented reality system |
| US7138963B2 (en) * | 2002-07-18 | 2006-11-21 | Metamersion, Llc | Method for automatically tracking objects in augmented reality |
| JP2004126869A (ja) * | 2002-10-01 | 2004-04-22 | Canon Inc | 位置姿勢設定器具及び変換パラメータ設定方法並びに複合現実感システム |
| US6867753B2 (en) * | 2002-10-28 | 2005-03-15 | University Of Washington | Virtual image registration in augmented display field |
| US7120875B2 (en) * | 2002-10-29 | 2006-10-10 | X-Labs Holdings, Llc | Method and apparatus for augmented reality hybrid tracking system with fiducial-based heading correction |
| US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
| JP2004287699A (ja) * | 2003-03-20 | 2004-10-14 | Tama Tlo Kk | 画像合成装置及びその合成方法 |
| US7369101B2 (en) * | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
| JP4401728B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
| JP4401727B2 (ja) | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 画像表示装置及び方法 |
| CA2556082A1 (en) * | 2004-03-12 | 2005-09-29 | Bracco Imaging S.P.A. | Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems |
| US7474318B2 (en) * | 2004-05-28 | 2009-01-06 | National University Of Singapore | Interactive system and method |
-
2005
- 2005-04-01 JP JP2005106792A patent/JP4726194B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-28 US US11/390,437 patent/US7542051B2/en active Active
- 2006-03-31 DE DE602006020651T patent/DE602006020651D1/de active Active
- 2006-03-31 EP EP06006952A patent/EP1708139B1/en not_active Ceased
- 2006-03-31 CN CNB200610071042XA patent/CN100426198C/zh not_active Expired - Fee Related
- 2006-04-03 KR KR1020060030034A patent/KR100823649B1/ko active IP Right Grant
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10930083B2 (en) | 2011-04-08 | 2021-02-23 | Sony Corporation | Image processing apparatus and display control method |
| CN102867169A (zh) * | 2011-04-08 | 2013-01-09 | 索尼公司 | 图像处理设备、显示控制方法及程序 |
| US9582938B2 (en) | 2011-04-08 | 2017-02-28 | Sony Corporation | Image processing apparatus, display control method and program |
| CN102867169B (zh) * | 2011-04-08 | 2017-07-11 | 索尼公司 | 图像处理设备和显示控制方法 |
| US9836887B2 (en) | 2011-04-08 | 2017-12-05 | Sony Corporation | Image processing apparatus and method to control display of a virtual object |
| US10395429B2 (en) | 2011-04-08 | 2019-08-27 | Sony Corporation | Image processing apparatus and display control method |
| CN103907139A (zh) * | 2011-11-11 | 2014-07-02 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN103907139B (zh) * | 2011-11-11 | 2018-03-06 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| CN108140247A (zh) * | 2015-10-05 | 2018-06-08 | 谷歌有限责任公司 | 使用合成图像的相机校准 |
| CN108140247B (zh) * | 2015-10-05 | 2022-07-05 | 谷歌有限责任公司 | 用于使用合成图像的相机校准的方法和装置 |
| CN105719299A (zh) * | 2016-01-22 | 2016-06-29 | 吉林大学 | 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示 |
| CN105788003A (zh) * | 2016-03-09 | 2016-07-20 | 深圳市瑞立夫网络科技有限公司 | 虚拟场景与现实场景的无缝对接方法 |
| CN109215076A (zh) * | 2017-07-05 | 2019-01-15 | 上海宝冶集团有限公司 | 应用混合现实技术的模型与实体间的定位校准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1708139B1 (en) | 2011-03-16 |
| EP1708139A3 (en) | 2008-11-19 |
| JP4726194B2 (ja) | 2011-07-20 |
| US7542051B2 (en) | 2009-06-02 |
| CN100426198C (zh) | 2008-10-15 |
| EP1708139A2 (en) | 2006-10-04 |
| KR20060106773A (ko) | 2006-10-12 |
| US20060221098A1 (en) | 2006-10-05 |
| JP2006285787A (ja) | 2006-10-19 |
| KR100823649B1 (ko) | 2008-04-21 |
| DE602006020651D1 (de) | 2011-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1841272A (zh) | 校准方法和装置 | |
| US11727644B2 (en) | Immersive content production system with multiple targets | |
| US10893219B2 (en) | System and method for acquiring virtual and augmented reality scenes by a user | |
| US10560687B2 (en) | LED-based integral imaging display system as well as its control method and device | |
| US9271025B2 (en) | System and method for sharing virtual and augmented reality scenes between users and viewers | |
| EP2132710B1 (fr) | Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video | |
| US10547822B2 (en) | Image processing apparatus and method to generate high-definition viewpoint interpolation image | |
| WO2017131970A1 (en) | Methods and systems for navigation within virtual reality space using head mounted display | |
| US20100033479A1 (en) | Apparatus, method, and computer program product for displaying stereoscopic images | |
| CN107925722A (zh) | 基于加速度计数据的稳定化 | |
| CN1677060A (zh) | 测量数据处理系统、电子地图的存储媒体、电子地图显示装置 | |
| CN105229412A (zh) | 用于主动立体的强度调制光图案 | |
| CN1578414A (zh) | 位置姿势测量方法及装置 | |
| CN104322052A (zh) | 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的系统 | |
| CN101164084A (zh) | 图像处理方法和图像处理设备 | |
| US11580616B2 (en) | Photogrammetric alignment for immersive content production | |
| US11003812B2 (en) | Experience driven development of mixed reality devices with immersive feedback | |
| CN105791663B (zh) | 距离估算系统及距离估算方法 | |
| CN110337674A (zh) | 三维重建方法、装置、设备及存储介质 | |
| KR20150082195A (ko) | 어노테이션 방법 및 기기 | |
| US20130040737A1 (en) | Input device, system and method | |
| CN1373883A (zh) | 具有折射的图象的重现方法和设备 | |
| EP0847201A1 (fr) | Système de suivi de mobiles en temps réel sur un terrain de sports | |
| CN108346183B (zh) | 一种用于ar基准定位的方法及系统 | |
| CN116309881A (zh) | 一种云台相机外参测算方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081015 |