CN109884793B - 用于估计虚拟屏幕的参数的方法和设备 - Google Patents

用于估计虚拟屏幕的参数的方法和设备 Download PDF

Info

Publication number
CN109884793B
CN109884793B CN201810895968.3A CN201810895968A CN109884793B CN 109884793 B CN109884793 B CN 109884793B CN 201810895968 A CN201810895968 A CN 201810895968A CN 109884793 B CN109884793 B CN 109884793B
Authority
CN
China
Prior art keywords
virtual
camera
physical
transformation
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810895968.3A
Other languages
English (en)
Other versions
CN109884793A (zh
Inventor
南东暻
黄孝锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109884793A publication Critical patent/CN109884793A/zh
Application granted granted Critical
Publication of CN109884793B publication Critical patent/CN109884793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

公开一种用于估计虚拟屏幕的参数的方法和设备，所述方法包括：基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数；基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。

Description

用于估计虚拟屏幕的参数的方法和设备
本申请要求于2017年12月6日提交到韩国知识产权局的第10-2017-0166725号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例性实施例一致的方法和设备涉及一种用于估计虚拟屏幕的参数的方法和设备。
背景技术
平视显示器(HUD)系统可在驾驶员前方产生虚拟图像，并在虚拟图像中显示信息以将信息提供给驾驶员。提供给驾驶员的信息可包括导航信息和仪表盘信息，诸如，车辆速度、燃油油位和发动机每分钟的转速(RPM)。驾驶员可在驾驶期间，在不需要移动视线的情况下容易地获取显示的信息，因此，驾驶稳定性可被提高。除了仪表盘信息和导航信息之外，HUD系统可基于增强现实(AR)技术将关于车道标记、施工标记、交通事故标记和针对行人的警告标志的信息提供给驾驶员。
发明内容
一个或多个示例性实施例可至少解决以上问题和/或缺点以及以上没有描述的其他缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服上述的任何问题。
根据示例性实施例的一方面，提供一种估计虚拟屏幕的参数的方法，所述方法包括：从物理相机获取表示反射虚拟屏幕上显示的虚拟图案以及物理平面上显示的物理图案的反射器的多个拍摄图像；针对反射器的每个反射角度来估计与物理相机对应的虚拟相机；基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数；基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。
估计尺寸参数的步骤可包括：将使第一变换参数与第二变换参数之间的差最小化的值估计为尺寸参数。
所述方法还可包括：基于估计的尺寸参数来估计虚拟屏幕相对于物理相机的变换参数。
所述方法还可包括：基于虚拟相机相对于虚拟屏幕的变换参数以及物理相机相对于虚拟相机的变换参数来估计虚拟屏幕相对于物理相机的变换参数。
所述方法还可包括：基于所述多个拍摄图像来估计物理相机相对于虚拟相机的变换参数。
所述方法还可包括：基于第一变换参数与第二变换参数来估计虚拟相机相对于虚拟屏幕的变换参数。
根据示例性实施例的另一方面，还提供一种估计虚拟屏幕的参数的方法，所述方法包括：从物理相机获取表示包括物理图案并反射虚拟屏幕上显示的虚拟图案的反射器的多个拍摄图像；针对反射器的每个反射角度来估计与物理相机对应的虚拟相机；基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数；基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。
根据示例性实施例的另一方面，还提供一种存储指令的非暂时性计算机可读存储介质，当由处理器执行所述指令时使得处理器执行如上所述的方法。
根据示例性实施例的另一方面，还提供一种用于估计虚拟屏幕的参数的设备，所述设备包括：处理器；存储器，包括将由处理器读取的指令，其中，当在处理器中执行所述指令时，处理器被配置为：从物理相机获取表示反射虚拟屏幕上显示的虚拟图案以及物理平面上显示的物理图案的反射器的多个拍摄图像；针对反射器的每个反射角度来估计与物理相机对应的虚拟相机；基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数；基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。
附图说明
通过参照附图描述特定示例性实施例，以上和/或其它方面将更清楚，其中：
图1是示出根据示例性实施例的增强现实(AR)系统的示图；
图2是示出根据示例性实施例的校准结果的示图；
图3是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图；
图4是示出根据示例性实施例的用于估计虚拟屏幕的参数的系统的示图；
图5是示出根据示例性实施例的多个拍摄图像的示图；
图6是示出根据示例性实施例的估计虚拟相机的位置的处理的示图；
图7是示出根据示例性实施例的使用变换参数来估计虚拟屏幕的尺寸参数的方法的流程图；
图8是示出根据示例性实施例的物理图案的相对坐标和虚拟图案的相对坐标的示图；
图9是示出根据示例性实施例的针对每个尺寸参数的相对坐标的示图；
图10是示出根据示例性实施例的尺寸参数的相对坐标之间的差的曲线图；
图11是示出根据示例性实施例的由反射器产生的虚拟图像的示图；
图12是示出根据示例性实施例的图案、反射器和虚拟图像的几何关系的示图；
图13是示出根据示例性实施例的使用图案来估计虚拟屏幕相对于物理相机的变换参数的处理的示图；
图14是示出根据示例性实施例的物理相机、虚拟屏幕和虚拟相机的转换关系的示图；
图15是示出根据示例性实施例的包括物理图案的反射器的示图；
图16是示出根据示例性实施例的使用头戴式显示器的估计系统的示图；
图17是示出根据示例性实施例的使用多个物理相机的估计系统的示图；
图18是示出根据示例性实施例的用于估计虚拟屏幕的参数的设备的框图；
图19是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图；
图20是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图；
图21是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图。
具体实施方式
现在将对示例性实施例做详细参照，示例性实施例的示例在附图中示出，其中，相同的标号始终表示相同的元件。下面为了解释本公开，通过参照附图来描述示例性实施例。
下面的结构的或功能的描述是示例性的，仅用于描述示例性实施例，并且示例性实施例的范围不限于本说明书中提供的描述。本领域的普通技术人员可对其进行各种改变和修改。
虽然“第一”或“第二”的术语用于解释各种组件，但是组件不被这些术语所限制。这些术语应该仅用于将一个组件与另一组件进行区分。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
除非上下文另外清楚地指示，否则如在此所使用的单数形式也意图包括复数形式。还应理解，当在本说明书中使用术语“包括”时，表明存在叙述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
除非在此另有定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本领域普通技术人员通常理解的含义相同的含义。除非在此另有定义，否则在通用字典中定义的术语应该被解释为具有与相关领域的上下文含义相匹配的含义，并且不被解释为理想的或过于正式的含义。
图1是示出根据示例性实施例的增强现实(AR)系统的示图。AR可以是用于将虚拟对象和将被用户观看到的现实世界重叠的技术。例如，AR技术可被应用于平视显示器(HUD)和透射头戴式显示器(HMD)。例如，AR系统100可通过HUD来实现。
参照图1，AR系统100可包括AR光学系统110、透明光学元件120、虚拟屏幕130和视点跟踪相机140。AR光学系统110可包括光源、显示面板以及至少一个光学元件。显示面板和光源可用于提供与AR图像对应的光。该至少一个光学元件可朝着透明光学元件120反射与AR图像对应的光。例如，发光二极管(LED)或激光器可用作光源。
可通过AR光学系统110提供与AR图像对应的光以形成虚拟屏幕130。此外，通过AR光学系统110提供的光的一部分可被位于用户前方的透明光学元件120反射，并被提供给用户。例如，透明光学元件120可以是车辆或飞机的挡风玻璃，或者是与挡风玻璃分开设置并且被配置为反射AR图像的组合器。用户可同时观看来自透明光学元件120前方的源的光以及从AR光学系统110提供的光中的被透明光学元件120反射的部分。在这个示例中，用户可观看到现实对象与虚拟对象重叠。
AR光学系统110可在对应于现实对象的位置显示虚拟对象。例如，关于车辆行驶方向的信息、车道信息和障碍物信息可作为虚拟对象显示在HUD上的对应于现实对象的位置。在下文中，将要显示虚拟对象的位置可被称为目标位置。为了将虚拟对象准确地显示在目标位置，可需要三维(3D)背景信息、虚拟屏幕130的参数以及用户视点信息。AR系统100可估计用户的视点以在虚拟屏幕130与连接视点和目标位置的线之间的交叉点显示虚拟对象。
可通过面向车辆前方的3D传感器(未示出)或相机(未示出)来获取3D背景信息。此外，可通过面向用户的视点跟踪相机140来获取用户的视点。视点跟踪相机140可以是包括多个像素并被配置为拍摄彩色图像或灰度图像的图像传感器。设计值可被用作虚拟屏幕130的参数。当将要显示基本驾驶信息(诸如，当前速度和到达的时间)时，可能不需要执行现实对象与虚拟对象之间的匹配，从而设计值被用作虚拟屏幕130的参数。当使用设计值时，由于设计值可能不准确，因此在目标位置准确地显示虚拟对象可存在限制。即使在设计值准确时，虚拟屏幕130的参数也可能在安装或使用AR系统100时改变。
可使用虚拟屏幕130的参数的估计值来代替设计值。虚拟屏幕130的参数可包括尺寸参数和变换参数。尺寸参数可对应于虚拟屏幕的虚拟图案间隔、虚拟屏幕的像素间隔或者虚拟屏幕的整体尺寸。变换参数可对应于位姿(pose)、方向或者相对坐标。虚拟屏幕130的变换参数可以是虚拟屏幕130相对于视点跟踪相机140的变换参数。使用虚拟屏幕130的变换参数，虚拟屏幕130的坐标可被变换为视点跟踪相机140的坐标。
AR系统100可使用估计的虚拟屏幕130的参数来渲染AR图像，使得虚拟图像准确地显示在目标位置。可在制造AR系统100的过程中、在AR系统100的安装过程中或者在利用AR系统100的过程中，估计虚拟屏幕130的参数。例如，由于可在利用AR系统100的过程中改变虚拟屏幕130的参数，因此，可通过估计虚拟屏幕130的参数的处理来持续地进行更新。
图2是示出根据示例性实施例的校准结果的示图。参照图2，虚拟屏幕210与背景220可被重叠以提供给用户。如图像230中所示，当虚拟屏幕210的参数不准确时，与现实对象不匹配的虚拟对象可被提供给用户。估计设备200可估计虚拟屏幕210的参数，并将估计的虚拟屏幕210的参数提供给AR系统。AR系统可使用估计的虚拟屏幕210的参数来渲染AR图像。通过这样，如图像240中所示，与现实对象匹配的虚拟对象可被提供给用户。
估计设备200可使用视点跟踪相机来拍摄通过反射器反射的虚拟屏幕210的虚拟图像，以估计虚拟屏幕210的参数。当使用视点跟踪相机直接拍摄虚拟屏幕210时，虚拟屏幕210的参数以及视点跟踪相机的位置可能不清楚，从而不能直接分析出测量值。当通过反射器拍摄虚拟屏幕210时，估计设备200可额外地拍摄已知的校准图案。通过这样，估计设备200可从校准图案来估计视点跟踪相机的位置，并基于估计的视点跟踪相机的位置来估计虚拟屏幕210的参数。
图3是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图。参照图3，在操作310中，估计设备可获取多个拍摄图像。在操作320中，估计设备可从多个拍摄图像检测虚拟图案和物理图案。在操作330中，估计设备可估计多个虚拟相机的位置。可使用视点跟踪相机和反射器来获取多个拍摄图像。虚拟相机可以是通过将视点跟踪相机反射到反射器而获得的结果。此外，为了与虚拟相机区分，视点跟踪相机还可被称为物理相机。可通过调节反射器的反射角度来拍摄多个拍摄图像。因此，可针对反射器的每个反射角度来估计多个虚拟相机中的相应的虚拟相机的位置。
在一个示例中，可在参数估计处理中使用在物理平面上显示的物理图案以及在虚拟屏幕上显示的虚拟图案。在这个示例中，估计设备可知道物理图案的尺寸参数。估计设备可基于尺寸参数已知的物理图案来确定虚拟相机的位置，并确定虚拟屏幕的尺寸参数，使得确定的位置与基于虚拟图案估计的虚拟相机的位置之间的差最小。
将参照图4至图6进一步描述操作310至操作330。
图4是示出根据示例性实施例的用于估计虚拟屏幕的参数的系统的示图。参照图4，估计系统400可包括物理相机410、反射器420、虚拟相机430、物理图案440、虚拟图案450和估计设备460。物理图案440可存在于物理平面上。虚拟图案450可存在于虚拟屏幕上。估计设备460可知道物理图案440的尺寸参数。物理图案440可以是第一类型的图案，虚拟图案450可以是与第一类型不同的第二类型的图案。尽管图4示出物理图案440是棋盘图案，虚拟图案450是圆形网格图案，但是除了棋盘图案和圆形网格图案之外，各种校准图案也可被用作物理图案440和虚拟图案450。
反射器420可反射物理图案440和虚拟图案450。物理相机410可拍摄反射物理图案440和虚拟图案450的反射器420。尽管通过物理相机410实际拍摄的是物理图案440的虚拟图像以及虚拟图案450的虚拟图像，但是为了便于描述，物理图案440的虚拟图像也可被称为物理图案440，虚拟图案450的虚拟图像也可被称为虚拟图案450。物理相机410可在反射器420的反射角度被调节时拍摄反射器420。物理相机410可通过拍摄在第一角度的反射器421、在第二角度的反射器422以及在第三角度的反射器423，来获取拍摄图像。
图5是示出根据示例性实施例的多个拍摄图像的示图。参照图5，响应于反射器的反射角度被调节，可以以不同的角度来拍摄物理图案和虚拟图案。例如，可通过图4的反射器421来获取拍摄图像510。同样地，可分别通过图4的反射器422和反射器423来获取拍摄图像520和拍摄图像530。
返回参照图4，估计设备460可使用物理相机410来获取多个拍摄图像。估计设备460可从多个拍摄图像中的每个提取物理图案440和虚拟图案450。估计设备460可从多个拍摄图像中的每个获得交叉点的位置以及校正图案的位置。
估计设备460可针对反射器420的每个反射角度来估计与物理相机410对应的虚拟相机430。虚拟相机430可对应于物理相机410通过反射器420获得的虚拟图像。可基于反射器421来估计虚拟相机431。可基于反射器422来估计虚拟相机432。可基于反射器423来估计虚拟相机433。
如上所述，估计设备460可基于尺寸参数已知的物理图案440来确定虚拟相机430的位置，并确定虚拟屏幕的尺寸参数，使得确定的位置与基于虚拟图案450估计的虚拟相机430的位置之间的差最小。将参照图6描述估计虚拟相机430的位置的处理。
图6是示出根据示例性实施例的估计虚拟相机的位置的处理的示图。估计设备可从拍摄图像中的物理图案提取交叉点。现实世界中的物理图案上的交叉点X可对应于拍摄图像中的物理图案上的坐标(x，y，0)。交叉点X与通过将交叉点X投影到与拍摄图像对应的图像平面而获得的点x之间的关系可如表达式1中所示来表示。
[表达式1]
xij＝KU([Ri|ti]Xij)
在表达式1中，R表示图案的旋转参数，t表示图案的平移参数，i表示拍摄图像的索引，j表示拍摄图像中的交叉点的索引。此外，在表达式1中，K表示相机的内部参数，U表示校准函数。内部参数K可通过表达式2来表示。校准函数U可通过表达式3来表示。
[表达式2]
Figure BDA0001758154670000081
在表达式2中，fx表示相机针对x轴的焦距，fy表示相机针对y轴的焦距，cx和cy表示主点的坐标值。cx和cy可对应于相机的主轴或相机的坐标的z轴与图像平面相交的坐标的x轴值和y轴值。
[表达式3]
Figure BDA0001758154670000082
使用镜头的相机中可发生失真，因此，失真需要被校正。在一个示例中，可基于表达式3考虑径向失真和切像失真。此外，在表达式3中，k1和k2表示与径向失真相关联的参数，k3和k4表示与切向失真相关联的参数，其中，r是
Figure BDA0001758154670000083
可基于表达式1至表达式3来定义表达式4。
[表达式4]
Figure BDA0001758154670000084
如果表达式4被称为
Figure BDA0001758154670000085
则可基于用于最小化
Figure BDA0001758154670000086
的优化方案来获得相机参数。例如，可通过使用功能P将拍摄图像上的点x与通过将现实坐标X投影到拍摄图像上而获得的点之间的差最小化，来获得相机参数。在表达式4中，n表示拍摄图像的数量，m表示拍摄图像中的交叉点的数量。
可使用表达式4来获得每个拍摄图像中的与交叉点相关联的旋转参数R和平移参数t。旋转参数R和平移参数t可表示物理图案相对于物理相机的位姿。如表达式5中所示，可基于旋转参数R和平移参数t来在齐次坐标上表示物理图案相对于物理相机的变换参数T。
[表达式5]
Figure BDA0001758154670000091
由于物理图案处于固定的位置，而虚拟相机移动，因此，虚拟相机相对于物理图案的变换参数
Figure BDA0001758154670000092
可如表达式6中所示来表示。
[表达式6]
Figure BDA0001758154670000093
在表达式6中，l表示虚拟相机的索引，并具有范围从1至n的值。在图6中，
Figure BDA0001758154670000094
表示第一虚拟相机相对于物理图案的变换参数，
Figure BDA0001758154670000095
表示第二虚拟相机相对于物理图案的变换参数，O表示物理图案的参考坐标，
Figure BDA0001758154670000096
至
Figure BDA0001758154670000097
表示第一虚拟相机至第n虚拟相机相对于参考坐标O的相对坐标。在第一虚拟相机至第n虚拟相机之中，可确定参考相机。虚拟相机相对于参考相机的变换参数可如表达式7中所示来表示。
[表达式7]
Figure BDA0001758154670000098
例如，与相对坐标
Figure BDA0001758154670000099
对应的第一虚拟相机可被设置为参考相机。在这个示例中，图6的
Figure BDA00017581546700000910
表示第二虚拟相机相对于第一虚拟相机的变换参数。
可通过与参照图6描述的处理类似的处理来确定虚拟相机相对于虚拟图案的变换参数。通过这样，可确定虚拟相机相对于参考相机的变换参数。在下文中，基于物理图案确定的虚拟相机相对于参考相机的变换参数也可被称为第一变换参数，基于虚拟图案确定的虚拟相机相对于参考相机的变换参数也可被称为第二变换参数。
估计设备可从拍摄图像中的虚拟图案提取交叉点。在虚拟屏幕的尺寸参数已知之前，虚拟屏幕的虚拟图案上的交叉点的准确值可能是未知的。当虚拟图案的间距为d、虚拟图案的水平长度为w、虚拟图案的垂直长度为h、虚拟图案的起始位置为(bx,by)、并且e表示虚拟图案的像素尺寸(即，虚拟屏幕的尺寸参数)时，交叉点Y可如表达式8中所示来确定。
[表达式8]
Figure BDA0001758154670000101
在表达式8中，i表示拍摄图像的索引，j表示交叉点的索引，W表示Yij的第x顺序位置(ordinal position)，H表示Yij的第y顺序位置。W和H可如表达式9和表达式10中所示来定义。在表达式8中，可预先定义除了e之外的值。
[表达式9]
W(Yij)＝mod(j，w)
[表达式10]
Figure BDA0001758154670000102
n点透视(PnP)方法可用于估计虚拟图案相对于虚拟相机的位姿。虚拟图案相对于虚拟相机的位姿可被定义为R'i和t'i，i是拍摄图像的索引或者拍摄图像中出现的虚拟图案的索引。该位姿可对应于虚拟图案的坐标，因此，如表达式11中所示，该位姿可被变换为虚拟相机相对于虚拟图案的位姿。
[表达式11]
Figure BDA0001758154670000103
在表达式11中，1表示虚拟相机的索引。如参照表达式5所描述的，齐次坐标上的虚拟相机相对于虚拟图案的变换参数可如表达式12中所示来表示。
[表达式12]
Figure BDA0001758154670000104
此外，如参考表达式7所描述的，可从虚拟相机来确定参考相机，虚拟相机相对于参考相机的变换参数可如表达式13中所示来表示。
[表达式13]
Figure BDA0001758154670000105
虚拟相机相对于物理图案的变换参数
Figure BDA0001758154670000106
以及虚拟相机相对于参考相机的第一变换参数
Figure BDA0001758154670000107
可使用表达式6和表达式7来确定。虚拟相机相对于虚拟图案的变换参数
Figure BDA0001758154670000108
以及虚拟相机相对于参考相机的第二变换参数
Figure BDA0001758154670000109
可使用表达式12和表达式13来确定。估计设备可基于变换参数
Figure BDA0001758154670000111
来确定第一变换参数
Figure BDA0001758154670000112
并基于变换参数
Figure BDA0001758154670000113
来确定第二变换参数
Figure BDA0001758154670000114
返回参照图3，估计设备可在操作340中估计虚拟屏幕的尺寸参数。估计设备可基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。例如，估计设备可确定第一变换参数的相对坐标以及第二变换参数的相对坐标。第二变换参数的相对坐标可基于虚拟屏幕的尺寸参数而变化。由于使用物理图案的虚拟相机的位置与使用虚拟图案的虚拟相机的位置相同，因此，可从中估计虚拟屏幕的尺寸参数。
估计设备可将使第一变换参数与第二变换参数之间的差最小化的值确定为尺寸参数，这可如下面表达式14中所示来表示。
[表达式14]
Figure BDA0001758154670000115
在表达式14中，
Figure BDA0001758154670000116
表示第一变换参数，
Figure BDA0001758154670000117
表示第二变换参数，n表示拍摄图像的数量，e表示尺寸参数。估计设备可使用表达式14来估计尺寸参数。响应于虚拟屏幕的尺寸参数被估计，虚拟屏幕相对于虚拟相机的位姿也可被估计。
将进一步参照图7至图10来描述操作340。
图7是示出根据示例性实施例的使用变换参数来估计虚拟屏幕的尺寸参数的方法的流程图。参照图7，在操作710中，估计设备可设置候选尺寸参数。候选尺寸参数可被设置为预定值。在操作720中，估计设备可基于候选尺寸参数来确定第二变换参数。在操作730中，估计设备可确定第一变换参数与基于候选尺寸参数确定的第二变换参数之间的差。在操作740中，估计设备可将确定的差与阈值进行比较。阈值可被预先设置。估计设备可基于操作740的比较结果来估计尺寸参数。当确定的差大于或等于阈值时，在操作750中，估计设备可改变候选尺寸参数并再次执行操作720。当确定的差小于阈值时，在操作760中，估计设备可将候选尺寸参数估计为尺寸参数。
图8是示出根据示例性实施例的物理图案的相对坐标和虚拟图案的相对坐标的示图。可通过物理图案的相对坐标811来表示第一变换参数。可通过虚拟图案的相对坐标812来表示第二变换参数。物理图案的相对坐标811和虚拟图案的相对坐标812的分布可基于尺寸参数是否被校准而变化。基于物理图案的虚拟相机的位置可以与基于虚拟图案的虚拟相机的位置相同。当尺寸参数被校准时，物理图案的相对坐标811和虚拟图案的相对坐标812可指示彼此对应的位置。当尺寸参数未被校准时，可获得分布810。当尺寸参数被校准时，可获得分布820。
图9是示出根据示例性实施例的每个尺寸参数的相对坐标的示图，图10是示出根据示例性实施例的尺寸参数的相对坐标之间的差的曲线图。
图9示出当虚拟屏幕具有K1至K6的尺寸参数时获得的物理图案的相对坐标以及虚拟图案的相对坐标。在图9中，以实线表示物理图案的相对坐标，以虚线表示虚拟图案的相对坐标。由于物理图案的尺寸参数是已知的，因此，物理图案的相对坐标可被固定。此外，虚拟图案的相对坐标的位置可响应于虚拟屏幕的尺寸参数的改变而改变。例如，响应于虚拟屏幕的尺寸参数的改变，虚拟图案的相对坐标的位置可接近物理图案的相对坐标，然后与物理图案的相对坐标更远地分开。
在图10的曲线图中，x轴表示虚拟屏幕的尺寸参数，y轴表示物理图案的相对坐标与虚拟图案的相对坐标之间的差。估计设备可计算表示物理图案的相对坐标的第一值以及表示虚拟图案的相对坐标的第二值。估计设备可将第一值与第二值之间的差确定为物理图案的相对坐标与虚拟图案的相对坐标之间的差。
参照图10，物理图案的相对坐标与虚拟图案的相对坐标的差值可在虚拟屏幕的尺寸参数为K4时被最小化。在图9的示例中，当虚拟屏幕的尺寸参数为K4时，物理图案的相对坐标和虚拟的相对坐标可位于基本相同的位置，因此，物理图案的相对坐标与虚拟图案的相对坐标之间的差可被最小化。估计设备可在调节候选尺寸参数时将使差值最小化的候选尺寸参数估计为尺寸参数。此外，估计设备可将使差值减小到小于阈值的候选尺寸参数估计为尺寸参数。
再次返回图3，在操作350中，估计设备可估计虚拟屏幕的变换参数。例如，在下面的描述中，虚拟屏幕的变换参数可以是虚拟屏幕相对于物理相机的变换参数。虚拟屏幕的变换参数可对应于位姿、方向或者相对坐标。
在一个示例中，估计设备可基于在操作340中估计的尺寸参数来估计虚拟屏幕的变换参数。当完成尺寸参数的校准时，虚拟图案可与物理图案起相同作用，因此，可基于虚拟图案来估计虚拟屏幕的变换参数。估计设备可基于拍摄图像来估计图案与反射器之间的几何关系，并基于估计的几何关系来计算该图案与拍摄图像中的该图案的虚拟图像之间的投影误差。估计设备可估计虚拟屏幕相对于物理相机的变换参数，使得投影误差最小化。例如，在此，图案可以是物理图案或虚拟图案。将参照图11至图13进一步描述该示例。
在另一示例中，估计设备可基于物理相机、虚拟相机和虚拟屏幕的变换关系来估计虚拟屏幕相对于物理相机的变换参数。当估计设备知道物理相机相对于虚拟相机的变换参数以及虚拟相机相对于虚拟屏幕的变换参数时，估计设备可基于这些变换参数来估计虚拟屏幕相对于物理相机的变换参数。
当在图3的操作340中估计虚拟屏幕的尺寸参数时，还可估计虚拟屏幕相对于虚拟相机的位姿。估计设备可在图3的操作340中基于第一变换参数和第二变换参数来估计虚拟屏幕相对于虚拟相机的变换参数。此外，估计设备可基于物理图案与反射器之间的几何关系来估计物理相机相对于虚拟相机的变换参数或者使用包括物理图案的反射器来估计物理相机相对于虚拟相机的变换参数。将参考图14进一步描述本示例。
图11是示出根据示例性实施例的由反射器产生的虚拟图像的示图。估计设备可基于拍摄图像来估计虚拟图像的位置。可通过将物理图案反射到反射器或者将虚拟图案反射到反射器来获得虚拟图像。虚拟图像的数量可对应于拍摄图像的数量。
图12是示出根据示例性实施例的图案、反射器和虚拟图像的几何关系的示图。图12示出图案1220、反射器1230和虚拟图像1240的估计的几何关系。例如，图案1220可以是物理图案或虚拟图案。估计设备可基于虚拟屏幕的候选变换参数将图案1220的特征点投影在虚拟图像1240上。随着虚拟屏幕的候选变换参数接近真实，投影的特征点与虚拟图像1240的对应点之间的距离可减小。估计设备可在调节候选变换参数时验证特征点与对应点之间的距离是否减小。
估计设备可通过物理相机1210的外部参数来知道物理相机1210与虚拟相机1240之间的位姿。估计设备可确定物理相机1210的位置以及虚拟图像1240的位置。图案1220的位置可基于候选变换参数的初始值来确定。反射器1230的位置可被确定在图案1220与虚拟图像1240之间的中间。反射器1230与图案1220之间的角度可以与反射器1230与虚拟图像1240之间的角度相同。通过这样，可估计图案1220、反射器1230和虚拟图案1240的几何关系。
估计设备可基于图案1220、反射器1230和虚拟图案1240的几何关系来计算图案1220与虚拟图像1240之间的投影误差。通过对图案1220进行归一化而获得的法向量nmi可如表达式15中所示来表示。
[表达式15]
Figure BDA0001758154670000141
在表达式15中，
Figure BDA0001758154670000142
表示图案1220的法向量，ni表示虚拟图像1240的法向量。当图案1220的特征点
Figure BDA0001758154670000143
沿着反射器1230的法线方向朝着法向量nmi移动距离dij时，特征点
Figure BDA0001758154670000144
可被投影到Xij的位置。dij可如表达式16中所示来表示。
[表达式16]
Figure BDA0001758154670000145
此外，上述的特征点的投影可如表达式17中所示来表示。
[表达式17]
Figure BDA0001758154670000146
投影误差可以是第i个虚拟图像(例如，虚拟图像1240)的特征点Xij与图案1220的特征点
Figure BDA0001758154670000147
被投影到的
Figure BDA0001758154670000148
)之间的欧几里德距离。通过将特征点
Figure BDA0001758154670000149
投影到所有虚拟图像而获得的平均误差Em可如表达式18中所示来表示。
[表达式18]
Figure BDA00017581546700001410
在表达式18中，N表示虚拟图像的数量，M表示每个虚拟图像中的特征点的数量。估计设备可将使Em最小化的候选变换参数确定为变换参数。例如，基于从候选变换参数的初始值改变的值获得的Em小于基于初始值获得的Em，可使用不同的值来更新候选变换参数。估计设备可通过重复执行这样的处理直到候选变换参数不再被改变，来获得最终的变换参数。
图13是示出根据示例性实施例的使用图案来估计虚拟屏幕相对于物理相机的变换参数的处理的示图。参照图13，在
Figure BDA0001758154670000151
与基于图案1320、反射器1331、反射器1332和反射器1333以及虚拟图像1341、虚拟图像1342和虚拟图像1343获得的
Figure BDA0001758154670000152
和
Figure BDA0001758154670000153
之间具有最小差的候选变换参数可被确定为变换参数。
当图案1320是虚拟图案时，确定的变换参数可以是虚拟屏幕相对于物理相机1310的变换参数。当图案1320是物理图案时，确定的变换参数可以是物理平面相对于物理相机1310的变换参数。估计设备可使用物理平面相对于物理相机1310的变换参数，来估计物理相机1310相对于虚拟相机的变换参数。估计设备可基于物理相机1310相对于虚拟相机的变换参数以及虚拟相机相对于虚拟屏幕的变换参数，来估计虚拟屏幕相对于物理相机1310的变换参数。
图14是示出根据示例性实施例的物理相机、虚拟屏幕和虚拟相机的转换关系的示图。参照图14，估计设备可基于物理相机相对于虚拟相机的变换参数Tpv以及虚拟相机相对于虚拟屏幕的变换参数Tvs来估计虚拟屏幕相对于物理相机的变换参数Tps。
在一个示例中，如参照图11至图13描述的，估计设备可基于物理图案与反射器之间的几何关系来估计物理相机相对于虚拟相机的变换参数。此外，在图3的操作340中，估计设备可基于第一变换参数和第二变换参数来估计虚拟屏幕相对于虚拟相机的变换参数。
在另一示例中，估计设备可使用包括物理图案的反射器来估计物理相机相对于虚拟相机的变换参数。
图15是示出根据示例性实施例的包括物理图案的反射器的示图。参照图15，反射器1500可包括反射区域1510和物理图案1520。反射器1500可使用反射区域1510来反射虚拟图案。估计设备可知道物理图案1520的尺寸参数。估计设备可基于物理图案1520来估计反射器1500相对于物理相机的变换参数。此外，估计设备可基于反射器1500相对于物理相机的变换参数，来估计反射器1500与物理相机之间的几何关系以及反射器1500与虚拟相机之间的几何关系。估计设备可基于反射器1500与物理相机之间的几何关系以及反射器1500与虚拟相机之间的几何关系，来估计物理相机相对于虚拟相机的变换参数。
图16是示出根据示例性实施例的使用头戴式显示器的估计系统的示图。头戴式显示器1620可以是附接到用户的头部以提供AR环境的装置(诸如，智能眼镜)。头戴式显示器1620可将现实对象与虚拟对象重叠并在用户前方显示重叠的现实对象。估计设备可使用物理图案1630和虚拟图案1640来估计虚拟屏幕相对于物理相机1610的变换参数。图1至图15的描述以及图17至图21的描述也可应用于估计设备的操作。
图17是示出根据示例性实施例的使用多个物理相机的估计系统的示图。在上述示例中，反射器可用于获取多个拍摄图像。参照图17，可使用多个物理相机1710而不是反射器来获取多个拍摄图像。估计设备可使用物理图案1720和虚拟图案1730来估计虚拟屏幕相对于多个物理相机1710中的至少一个的变换参数。图1至图16的描述以及图18至图21的描述也可应用于估计设备的操作。
图18是示出根据示例性实施例的用于估计虚拟屏幕的参数的设备的框图。参照图18，估计设备1800可包括相机1810、AR光学系统1820、处理器1830以及存储器1840。相机1810可以是包括多个像素并被配置为拍摄彩色图像或灰度图像的图像传感器。相机1810的拍摄图像可被提供给处理器1830和存储器1840中的至少一个。AR光学系统1820可包括光源、显示器面板和至少一个光学元件。显示器面板和光源可用于提供与AR图像对应的光。该至少一个光学元件可将与AR图像对应的光朝着透明光学元件方向反射。例如，LED或激光器可用作光源。可通过AR光学系统1820提供与AR图像对应的光以形成虚拟屏幕。此外，通过AR光学系统1820提供的光的一部分可被位于用户前方的透明光学元件反射，并被提供给用户。
存储器1840可包括将由处理器1830读取的指令。当在处理器1830中执行该指令时，处理器1830可执行用于估计虚拟屏幕的参数的操作。处理器1830可从物理相机获取表示反射虚拟屏幕上显示的虚拟图案以及物理平面上显示的物理图案的反射器的多个拍摄图像，针对反射器的每个反射角度来估计与物理相机对应的虚拟相机，基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数，基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数，基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。图1至图17的描述以及图19至图21的描述也可应用于估计设备1800。
图19是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图。参照图19，在操作1910中，估计设备可从物理相机获取表示反射虚拟屏幕上显示的虚拟图案以及物理平面上显示的物理图案的反射器的多个拍摄图像。在操作1920中，估计设备可针对反射器的每个反射角度来估计与物理相机对应的虚拟相机。在操作1930中，估计设备可基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数。在操作1940中，估计设备可基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数。在操作1950中，估计设备可基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数。在操作1960中，估计设备可基于估计的尺寸参数来估计虚拟屏幕相对于物理相机的变换参数。图1至图18的描述也可应用于估计虚拟屏幕的参数的方法。
图20是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图。参照图20，在操作2010中，估计设备可从物理相机获取表示反射虚拟屏幕上显示的虚拟图案和物理平面上显示的物理图案的反射器的多个拍摄图像。在操作2020中，估计设备可针对反射器的每个反射角度来估计与物理相机对应的虚拟相机。在操作2030中，估计设备可基于多个拍摄图像来估计物理相机相对于虚拟相机的变换参数。在操作2040中，估计设备可基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数。在操作2050中，估计设备可基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数。在操作2060中，估计设备可基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数以及虚拟相机相对于虚拟屏幕的变换参数。在操作2070中，估计设备可基于虚拟相机相对于虚拟屏幕的变换参数以及物理相机相对于虚拟相机的变换参数来估计虚拟屏幕相对于物理相机的变换参数。图1至图18的描述也可应用于估计虚拟屏幕的参数的方法。
图21是示出根据示例性实施例的估计虚拟屏幕的参数的方法的流程图。参照图21，在操作2110中，估计设备可从物理相机获取表示包括物理图案并反射虚拟屏幕上显示的虚拟图案的反射器的多个拍摄图像。在操作2120中，估计设备可针对反射器的每个反射角度来估计与物理相机对应的虚拟相机。在操作2130中，估计设备可基于物理相机与反射器之间的几何关系来估计物理相机相对于虚拟相机的变换参数。在操作2140中，估计设备可基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数。在操作2150中，估计设备可基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数。在操作2160中，估计设备可基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数以及虚拟相机相对于虚拟屏幕的变换参数。在操作2170中，估计设备可基于虚拟相机相对于虚拟屏幕的变换参数以及物理相机相对于虚拟相机的变换参数来估计虚拟屏幕相对于物理相机的变换参数。图1至图18的描述也可应用于估计虚拟屏幕的参数的方法。
可使用硬件组件和软件组件来实现在此描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用一个或多个被配置为通过执行算术、逻辑和输入/输出操作来实现和/或执行程序代码的硬件装置来实现处理装置。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或者能够以限定的方式响应和执行指令的任何其他装置。处理装置可运行操作系统(OS)以及在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行来访问、存储、操控、处理和创建数据。为了简明的目的，处理装置的描述用作单数，然而，本领域的技术人员将理解，处理装置可包括多个处理元件以及多种类型的处理元件。例如，处理装置可包括多个处理器或者一个处理器和一个控制器。此外，不同的处理配置是可能的，诸如并行处理器。
软件可包括计算机程序、代码段、指令或它们的一些组合，用于独立地或共同地指导和/或配置处理装置按照期望进行操作，从而将处理装置变换为专用处理器。软件和数据可以以任何类型的机器、组件、物理装备或虚拟装备、计算机存储介质或装置、或者以能够将指令或数据提供到处理装置或者能够由处理装置解释的传播信号波来永久地或暂时性地实现。软件还可分布在联网的计算机系统上，以使软件以分布式的方式被存储和执行。软件和数据可由一个或多个非暂时性计算机可读记录介质存储。
根据上述示例性实施例的方法可被记录在包括程序指令的非暂时性计算机可读介质中，以实现上述的示例实施例的各种操作。介质还可单独地包括程序指令、数据文件、数据结构等，或与程序指令、数据文件、数据结构等相结合。记录在介质上的程序指令可以是为了示例性实施例的目的而专门设计和构造的程序指令，或者它们可以是公知的种类并且对于计算机软件领域的技术人员是可用的。非暂时性计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)；光学介质(诸如CD ROM盘、DVD和/或蓝光光盘)；磁光介质(诸如光盘)；以及被专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存(例如，USB闪存驱动器、存储器卡、记忆棒等)等)。程序指令的示例包括诸如由编译器产生的机器代码以及包含可由计算机使用解释器执行的高级代码的文件二者。上述装置可被配置作为一个或多个软件模块以执行上述示例性实施例的操作，反之亦然。
上面已经描述了许多示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合和/或由其他组件或它们的等同物代替或补充，则可实现合适的结果。因此，其他实施方式在所附权利要求的范围内。

Claims (18)

1.一种估计虚拟屏幕的参数的方法，所述方法包括：
从物理相机获取表示反射虚拟屏幕上显示的虚拟图案以及物理平面上显示的物理图案的反射器的多个拍摄图像；
针对反射器的每个反射角度来估计与物理相机对应的虚拟相机的位置，其中，与物理相机对应的虚拟相机是通过将物理相机反射到反射器而获得的结果；
基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数，其中，变换参数对应于位姿、方向或相对坐标，其中，虚拟相机的参考相机是在与反射器的每个反射角度对应的虚拟相机中确定的一个虚拟相机；
基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；
基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数，
其中，估计虚拟屏幕的尺寸参数的步骤包括：将使第一变换参数与第二变换参数之间的差最小化的尺寸参数值估计为虚拟屏幕的尺寸参数。
2.根据权利要求1所述的方法，其中，估计尺寸参数的步骤包括：
基于虚拟屏幕的候选尺寸参数来确定第二变换参数；
确定第一变换参数与基于候选尺寸参数确定的第二变换参数之间的差；
将确定的差与阈值进行比较；
基于比较的结果来估计尺寸参数，其中，当确定的差小于阈值时，将候选尺寸参数估计为尺寸参数，当确定的差大于或等于阈值时，改变候选尺寸参数，并再次执行估计尺寸参数的步骤。
3.根据权利要求1所述的方法，还包括：
基于估计的尺寸参数来估计虚拟屏幕相对于物理相机的变换参数。
4.根据权利要求3所述的方法，其中，估计虚拟屏幕相对于物理相机的变换参数的步骤包括：
基于所述多个拍摄图像来估计虚拟图案与反射器之间的几何关系；
基于几何关系来计算所述多个拍摄图像中的虚拟图案的虚拟图像与虚拟图案之间的投影误差；
估计虚拟屏幕相对于物理相机的变换参数，使得投影误差最小化。
5.根据权利要求1所述的方法，还包括：
基于虚拟相机相对于虚拟屏幕的变换参数以及物理相机相对于虚拟相机的变换参数，来估计虚拟屏幕相对于物理相机的变换参数。
6.根据权利要求5所述的方法，还包括：
基于所述多个拍摄图像来估计物理相机相对于虚拟相机的变换参数。
7.根据权利要求6所述的方法，其中，估计物理相机相对于虚拟相机的变换参数的步骤包括：
基于所述多个拍摄图像来估计物理图案与反射器之间的几何关系；
基于几何关系来计算所述多个拍摄图像中的物理图案的虚拟图像与物理图案之间的投影误差；
估计物理相机相对于虚拟相机的变换参数，使得投影误差最小化。
8.根据权利要求5所述的方法，还包括：
基于第一变换参数与第二变换参数来估计虚拟相机相对于虚拟屏幕的变换参数。
9.根据权利要求1所述的方法，其中，通过调节反射器的反射角度来获取所述多个拍摄图像。
10.一种估计虚拟屏幕的参数的方法，所述方法包括：
从物理相机获取表示包括物理图案并反射虚拟屏幕上显示的虚拟图案的反射器的多个拍摄图像；
针对反射器的每个反射角度来估计与物理相机对应的虚拟相机的位置，其中，与物理相机对应的虚拟相机是通过将物理相机反射到反射器而获得的结果；
基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数，其中，变换参数对应于位姿、方向或相对坐标，其中，虚拟相机的参考相机是在与反射器的每个反射角度对应的虚拟相机中确定的一个虚拟相机；
基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；
基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数，
其中，估计虚拟屏幕的尺寸参数的步骤包括：将使第一变换参数与第二变换参数之间的差最小化的尺寸参数值估计为虚拟屏幕的尺寸参数。
11.根据权利要求10所述的方法，还包括：
基于虚拟相机相对于虚拟屏幕的变换参数以及物理相机相对于虚拟相机的变换参数来估计虚拟屏幕相对于物理相机的变换参数。
12.根据权利要求11所述的方法，还包括：
基于物理相机与反射器之间的几何关系来估计物理相机相对于虚拟相机的变换参数。
13.根据权利要求11所述的方法，还包括：
基于第一变换参数与第二变换参数来估计虚拟相机相对于虚拟屏幕的变换参数。
14.一种存储指令的非暂时性计算机可读存储介质，当由处理器执行所述指令时使得处理器执行如权利要求1所述的方法。
15.一种用于估计虚拟屏幕的参数的设备，所述设备包括：
处理器；
存储器，存储将由处理器读取的指令，
其中，当在处理器中执行所述指令时，处理器被配置为：
从物理相机获取表示反射虚拟屏幕上显示的虚拟图案以及物理平面上显示的物理图案的反射器的多个拍摄图像；
针对反射器的每个反射角度来估计与物理相机对应的虚拟相机的位置，其中，与物理相机对应的虚拟相机是通过将物理相机反射到反射器而获得的结果；
基于虚拟相机相对于物理图案的变换参数来确定虚拟相机相对于虚拟相机的参考相机的第一变换参数，其中，变换参数对应于位姿、方向或相对坐标，其中，虚拟相机的参考相机是在与反射器的每个反射角度对应的虚拟相机中确定的一个虚拟相机；
基于虚拟相机相对于虚拟图案的变换参数来确定虚拟相机相对于参考相机的第二变换参数；
基于第一变换参数和第二变换参数来估计虚拟屏幕的尺寸参数，
处理器还被配置为：将使第一变换参数与第二变换参数之间的差最小化的尺寸参数值估计为虚拟屏幕的尺寸参数。
16.根据权利要求15所述的设备，其中，处理器还被配置为：基于估计的尺寸参数来估计虚拟屏幕相对于物理相机的变换参数。
17.根据权利要求15所述的设备，其中，处理器还被配置为：基于虚拟相机相对于虚拟屏幕的变换参数以及物理相机相对于虚拟相机的变换参数来估计虚拟屏幕相对于物理相机的变换参数。
18.根据权利要求15所述的设备，其中，通过调节反射器的反射角度来获取所述多个拍摄图像。
CN201810895968.3A 2017-12-06 2018-08-08 用于估计虚拟屏幕的参数的方法和设备 Active CN109884793B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170166725A KR102436730B1 (ko) 2017-12-06 2017-12-06 가상 스크린의 파라미터 추정 방법 및 장치
KR10-2017-0166725 2017-12-06

Publications (2)

Publication Number Publication Date
CN109884793A CN109884793A (zh) 2019-06-14
CN109884793B true CN109884793B (zh) 2022-07-19

Family

ID=63311756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810895968.3A Active CN109884793B (zh) 2017-12-06 2018-08-08 用于估计虚拟屏幕的参数的方法和设备

Country Status (5)

Country Link
US (1) US10789762B2 (zh)
EP (1) EP3496041A1 (zh)
JP (1) JP6980639B2 (zh)
KR (1) KR102436730B1 (zh)
CN (1) CN109884793B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170016A (zh) * 2018-09-21 2021-07-23 Lg电子株式会社 移动终端及其控制方法
US11487132B2 (en) * 2018-11-12 2022-11-01 Yutou Technology (Hangzhou) Co., Ltd. Active alignment for assembling optical devices
CN110780445A (zh) * 2018-11-12 2020-02-11 芋头科技（杭州）有限公司 用于装配光学成像系统的主动校准的方法及系统
CN111176520B (zh) * 2019-11-13 2021-07-16 联想(北京)有限公司 一种调整方法及装置
WO2022088103A1 (zh) * 2020-10-30 2022-05-05 华为技术有限公司 一种图像标定方法及装置
US11172193B1 (en) * 2020-12-04 2021-11-09 Argo AI, LLC Method and system to calibrate camera devices of a vehicle vision system using a programmable calibration target device
CN112738487B (zh) 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502876A (zh) * 2011-05-12 2014-01-08 罗伯特·博世有限公司 用于校正车辆的投影装置的方法和设备
DE102013219556A1 (de) * 2013-09-27 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung eines Head-Up-Displays
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN105025284A (zh) * 2014-04-18 2015-11-04 北京三星通信技术研究有限公司 标定集成成像显示设备的显示误差的方法和设备
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN106302132A (zh) * 2016-09-14 2017-01-04 华南理工大学 一种基于增强现实的3d即时通讯系统与方法
CN106447727A (zh) * 2015-08-07 2017-02-22 三星电子株式会社 估计3d显示装置的参数的方法和使用其的3d显示装置
JP2017047794A (ja) * 2015-09-02 2017-03-09 カルソニックカンセイ株式会社 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
CN107004277A (zh) * 2014-12-04 2017-08-01 康诺特电子有限公司 机动车辆摄像头系统的在线标定

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3573765B2 (ja) 1993-03-18 2004-10-06 カルソニックカンセイ株式会社 車両のヘッドアップディスプレイ装置
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
JP4699054B2 (ja) * 2005-03-10 2011-06-08 クラリオン株式会社 車両周囲監視装置
JP2010070066A (ja) 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
US8400468B2 (en) 2009-08-27 2013-03-19 Seiko Epson Corporation Projector masks for calibrating projector-based display systems
EP2615838B1 (en) 2012-01-12 2019-08-21 SeeFront GmbH Calibration of an autostereoscopic display system
GB201310360D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
US9819863B2 (en) * 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
KR102252828B1 (ko) 2014-11-20 2021-05-14 엘지디스플레이 주식회사 영상데이터 보상장치 및 이를 포함하는 표시장치
KR101713740B1 (ko) 2014-12-08 2017-03-08 현대자동차주식회사 차량의 증강현실 hud 표시 방법 및 그 표시 장치
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
JP6518952B2 (ja) * 2015-03-27 2019-05-29 パナソニックＩｐマネジメント株式会社 車両用表示装置の位置調整方法
CN104932696B (zh) 2015-06-29 2018-01-05 上海中航光电子有限公司 一种显示图像显示方法
JP6491574B2 (ja) 2015-08-31 2019-03-27 Kddi株式会社 Ａｒ情報表示装置
US10558043B2 (en) 2015-12-02 2020-02-11 Rockwell Collins, Inc. Worn display using a peripheral view
KR20170066749A (ko) 2015-12-04 2017-06-15 현대오트론 주식회사 헤드업 디스플레이의 영상 왜곡 보정 장치 및 방법
WO2017124186A1 (en) * 2016-01-18 2017-07-27 Arcane Technologies Inc. System and method for interactive virtual lighting of a virtual sample representative of a real-life manufactured object

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502876A (zh) * 2011-05-12 2014-01-08 罗伯特·博世有限公司 用于校正车辆的投影装置的方法和设备
DE102013219556A1 (de) * 2013-09-27 2015-04-02 Continental Automotive Gmbh Verfahren und Vorrichtung zur Steuerung einer Bilderzeugungseinrichtung eines Head-Up-Displays
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
CN105025284A (zh) * 2014-04-18 2015-11-04 北京三星通信技术研究有限公司 标定集成成像显示设备的显示误差的方法和设备
CN107004277A (zh) * 2014-12-04 2017-08-01 康诺特电子有限公司 机动车辆摄像头系统的在线标定
CN106447727A (zh) * 2015-08-07 2017-02-22 三星电子株式会社 估计3d显示装置的参数的方法和使用其的3d显示装置
JP2017047794A (ja) * 2015-09-02 2017-03-09 カルソニックカンセイ株式会社 ヘッドアップディスプレイの歪補正方法とそれを用いたヘッドアップディスプレイの歪補正装置
CN106302132A (zh) * 2016-09-14 2017-01-04 华南理工大学 一种基于增强现实的3d即时通讯系统与方法

Also Published As

Publication number Publication date
KR102436730B1 (ko) 2022-08-26
US10789762B2 (en) 2020-09-29
KR20190066882A (ko) 2019-06-14
US20190172250A1 (en) 2019-06-06
EP3496041A1 (en) 2019-06-12
CN109884793A (zh) 2019-06-14
JP6980639B2 (ja) 2021-12-15
JP2019099142A (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
CN109884793B (zh) 用于估计虚拟屏幕的参数的方法和设备
CN111024040B (zh) 距离估计方法和设备
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US11244497B2 (en) Content visualizing device and method
US10928901B2 (en) Calibration method for three-dimensional (3D) augmented reality and apparatus thereof
CN106447727B (zh) 估计3d显示装置的参数的方法和使用其的3d显示装置
JP4618287B2 (ja) 調整方法、及びシステム
CN112655024B (zh) 一种图像标定方法及装置
US20190096092A1 (en) Method and device for calibration
CN108090941B (zh) 三维（3d）图像渲染方法和设备
CN113034612B (zh) 一种标定装置、方法及深度相机
Wientapper et al. A camera-based calibration for automotive augmented reality head-up-displays
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
US20230267632A1 (en) Stereo matching method and image processing device performing same
US20230162442A1 (en) Image processing apparatus, image processing method, and storage medium
CN115205138A (zh) 图像畸变的矫正方法和系统
JP2019012915A (ja) 画像処理装置、画像変換方法
KR102611481B1 (ko) 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치
CN109788196B (zh) 电子设备和移动平台
KR20190020902A (ko) 헤드업 디스플레이 장치 및 방법
CN109756660B (zh) 电子设备和移动平台
US20220358680A1 (en) Full-automatic calibration method and apparatus oriented to structured light 3d vision system
JP2022108714A (ja) 撮像画像データ補正システム、及びヘッドアップディスプレイ装置
CN115409973A (zh) 增强现实抬头显示成像方法、装置、设备以及存储介质
CN117495975A (zh) 一种变焦镜头的标定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant