CN111147834A - 一种基于增强现实抬头显示的虚拟图像标定方法 - Google Patents
一种基于增强现实抬头显示的虚拟图像标定方法 Download PDFInfo
- Publication number
- CN111147834A CN111147834A CN201911416168.XA CN201911416168A CN111147834A CN 111147834 A CN111147834 A CN 111147834A CN 201911416168 A CN201911416168 A CN 201911416168A CN 111147834 A CN111147834 A CN 111147834A
- Authority
- CN
- China
- Prior art keywords
- image
- virtual
- camera device
- virtual image
- curtain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 30
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例涉及抬头现实技术领域，特别涉及一种基于增强现实抬头显示的虚拟图像标定方法，所述方法包括：使所述光机产生虚拟图像；移动摄像装置和幕布，以使所述幕布和所述虚拟图像在第一位置重合，并获得此时所述摄像装置拍摄的图像；根据所述图像获得所述虚拟图像的视窗位置信息；根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系。本发明实施例先通过移动摄像装置和幕布，使得幕布和虚拟图像重合，从而获取虚拟图像的视窗位置信息。然后根据摄像装置的位置、幕布和虚拟图像的重合位置、以及视窗位置信息，获得虚拟图像上的虚拟位置和实景中实物位置的对应关系。标定步骤少，程序简单。
Description
技术领域
本发明实施例涉及抬头显示技术领域，特别涉及一种基于增强现实抬头显示的虚拟图像标定方法、控制设备和抬头显示设备。
背景技术
基于增强现实的抬头显示技术(AR-HUD,Augmented RealityHead Up Display)被广泛运用于汽车驾驶过程中,AR-HUD可以使驾驶员透过挡风玻璃看到的虚拟图像与汽车周围的物体或者路面实景发生重叠，形成增强现实的效果，让驾驶员可以观察现实环境的同时获取到提示信息，方便驾驶员驾驶汽车。
AR-HUD需要在虚拟图像的对应位置显示对应的提示信息(图形或者文字)，因此需要利用标定方法事先对实际环境中的位置(例如距离和方向)与AR-HUD虚拟图像上像素点的对应关系进行标定。
实现本发明过程中，发明人发现相关技术中至少存在如下问题：目前的虚拟图像标定方法均较为复杂，需要繁多的程序才能完成标定。。
发明内容
本发明实施例的目的是提供一种程序简单的的基于增强现实抬头显示的虚拟图像标定方法、控制设备和抬头显示设备。
第一方面，本发明实施例提供了一种基于增强现实抬头显示的虚拟图像标定方法，所述方法包括：
使光机产生虚拟图像；
移动摄像装置和幕布，以使所述幕布和所述虚拟图像在第一位置重合，并获得此时所述摄像装置拍摄的图像；
其中，所述幕布上显示有标定图片，所述图像包括关于标定图片的第一图像和关于虚拟图像的第二图像；
根据所述图像获得所述虚拟图像的视窗位置信息；
根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系，其中，所述虚拟位置为所述虚拟图像中的位置，所述实物位置为物体绝对位置。
在一些实施例中，所述移动摄像装置和幕布，以使所述幕布和所述虚拟图像在第一位置重合，包括：
在第一方向上移动所述摄像装置或者幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合；
固定所述摄像装置的位置，在第二方向上移动所述幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合，所述第一图像和所述第二图像重合时所述幕布的位置为所述第一位置；
其中，所述第一方向和所述第二方向具有角度，所述角度大于45度小于135度。
在一些实施例中，所述根据所述图像获得所述虚拟图像的视窗位置信息，包括：
根据所述图像中的第一图像和第二图像的像素位置关系获得所述虚拟图像的视窗位置信息。
在一些实施例中，所述标定图片中具有标尺信息；
则，所述根据所述图像获得所述虚拟图像的视窗位置信息，包括：
根据所述第二图像的像素位置和所述标尺信息获得所述虚拟图像的视窗位置信息。
在一些实施例中，所述根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系，包括：
基于相似三角形原理根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系。
在一些实施例中，所述视窗位置信息包括视窗上、下边缘距离地面的高度；
所述对应关系为：
所述虚拟位置距离下边缘的距离
其中，所述d为所述实物的距离，所述d1为所述第一位置的距离，所述h为所述摄像装置的高度，所述h1为所述视窗下边缘距离地面的高度；
所述虚拟位置距离零线的距离为：
其中，所述零线为所述虚拟图像上过摄像装置在虚拟图像上的投影点的线，所述s为所述实物相对于所述摄像装置的左、右偏移距离，所述虚拟位置相对于零线的方向与所述实物相对于所述摄像装置的方向相同。
在一些实施例中，所述标定图片包括第一定位标志，所述虚拟图像包括第二定位标志；
所述在第一方向上移动所述摄像装置或者幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合，包括：
在第一方向上移动所述摄像装置或者幕布，以使所述摄像装置拍摄的图像中所述第一图像的第一定位标志和所述第二图像的第二定位标志重合；
所述将所述摄像装置沿第二方向移动，然后固定所述摄像装置，在第一方向上移动所述幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合，包括：
所述在第二方向上移动所述幕布，以使所述摄像装置拍摄的图像中所述第一图像的第一定位标志和所述第二图像的第二定位标志重合。
在一些实施例中，所述标定方法用于控制设备。
第二方面，本发明实施例提供了一种基于增强现实抬头显示的虚拟图像显示方法，用于抬头显示设备所述方法包括：
获得交通工具前方物体的位置信息；
根据所述物体位置信息、以及预设虚拟位置和实物位置的对应关系获得所述物体位置信息对应的虚拟位置信息；
根据所述虚拟位置信息在光机产生的虚拟图像的对应位置显示关于所述物体的提示信息；
其中，所述预设虚拟位置和实物位置的对应关系根据权利要求1-7任意一项所述的标定方法获得。
第三方面，本发明实施例提供了一种控制设备，包括：
至少一个第一处理器；以及，
与所述至少一个第一处理器通信连接的第一存储器；其中，
所述第一存储器存储有可被所述至少一个第一处理器执行的指令，所述指令被所述至少一个第一处理器执行，以使所述至少一个第一处理器能够上述的方法。
第四方面，本发明实施例还提供了一种抬头显示设备，包括：
至少一个第二处理器；以及，
与所述至少一个第二处理器通信连接的第二存储器；其中，
所述第二存储器存储有可被所述至少一个第二处理器执行的指令，所述指令被所述至少一个第二处理器执行，以使所述至少一个第二处理器能够上述的方法。
本发明实施例的基于增强现实抬头显示的虚拟图像标定方法、控制设备和抬头显示设备，先通过移动摄像装置和幕布，使得幕布和虚拟图像重合，从而获取虚拟图像的视窗位置信息。然后根据摄像装置的位置、幕布和虚拟图像的重合位置、以及视窗位置信息，获得虚拟图像上的虚拟位置和实景中实物位置的对应关系。这种虚拟图像的标定方式，标定步骤少，程序简单。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1a是本发明实施例基于增强现实抬头显示的虚拟图像标定原理示意图；
图1b为标定场景示意图；
图2是本发明基于增强现实抬头显示的虚拟图像标定方法的一个实施例的流程示意图；
图3是本发明实施例中摄像装置拍摄的图像的示意图；
图4是本发明基于增强现实抬头显示的虚拟图像标定方法的一个实施例中摄像装置、虚拟位和实物位置三者的位置关系示意图；
图5是本发明基于增强现实抬头显示的虚拟图像显示方法的一个实施例的流程图；
图6是本发明控制设备的一个实施例的硬件结构示意图；
图7是本发明抬头显示设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1a为AR-HUD的显示原理，其利用增强现实的成像技术，在我们看到的真实世界中覆盖上数字图像，使得抬头显示投射出来的信息与真实的驾驶环境融为一体。如图1所示，通过光机系统、反射镜和挡风玻璃在虚像平面处产生一个虚拟图像，驾驶员可以通过挡风玻璃看到虚拟图像，且虚拟图像与汽车周围的物体或者路面实景发生重叠，达到虚拟与现实驾驶环境融为一体。
本发明实施例提供的基于增强现实抬头显示的虚拟图像标定方法用于找出虚拟图像上像素点与实际环境中位置(例如距离和方向)的对应关系。图2为标定场景示意图，包括模拟人眼的摄像装置1、挡风玻璃2、幕布3以及光机系统和反射镜等(图中未示出)。其中，摄像装置1可以是具有图像采集功能的摄像头，例如高清摄像头等。光机用于通过光的发射在虚像平面产生虚拟图像，幕布3可以是任意材质的显示平面，也可以是电子显示屏等，幕布3上显示标定图片，标定图片例如靶行标定图片、棋盘标定图片等。
本发明实施例的虚拟图像标定方法，先通过移动摄像装置和幕布，使得幕布和虚拟图像重合，从而获取虚拟图像的视窗位置信息。然后根据摄像装置的位置、幕布和虚拟图像的重合位置、以及视窗位置信息，获得虚拟图像上的虚拟位置和实景中实物位置的对应关系。具体的，因为虚拟图像是虚无缥缈的，判断虚拟图像和幕布是否重合，可以通过摄像装置拍摄的图像判断。
本发明实施例的标定方法可以采用手动标定的行式，也可以采用自动标定的形式。在采用手动标定时，需人为移动摄像装置和幕布的位置，以及人为通过摄像装置拍摄的图像判断虚拟图像和幕布是否重合。
在采用自动标定时，可以采用控制设备对整个标定过程进行控制。为摄像装置和幕布设置移动装置，移动装置例如机械手臂，或者其他可以使摄像装置和幕布移动的移动装置，例如将摄像装置或幕布通过支架安装在底座上，在底座安装滑轮等滑动装置。移动装置和摄像装置均与控制设备通信连接，控制设备通过接收摄像装置拍摄的图像，并对图像进行识别和判断，确定虚拟图像和幕布是否重合，并指令摄像装置和幕布进行移动，直至控制设备通过摄像装置拍摄的图像确认虚拟图像和幕布重合。
然后，控制设备根据虚拟图像和幕布重合时摄像装置获得的图像获得虚拟图像的视窗位置信息，并根据摄像装置的位置、幕布和虚拟图像的重合位置、以及视窗位置信息，计算虚拟图像上的虚拟位置和实景中实物位置的对应关系。
图2为本发明实施例提供的基于增强现实抬头显示的虚拟图像标定方法的流程示意图，所述方法包括：
步骤S201，使光机产生虚拟图像。
为了获取虚拟图像，首先需要启动光机，启动光机后，通过反射镜、挡风玻璃会在虚像平面上产生一个虚拟图像。
步骤S202，移动摄像装置和幕布，以使所述幕布和所述虚拟图像在第一位置重合，并获得此时所述摄像装置拍摄的图像。其中，所述幕布上显示有标定图片，所述图像包括关于标定图片的第一图像和关于虚拟图像的第二图像。
该步骤的目的是获得虚拟图像的视窗位置信息(例如视窗的尺寸大小、视窗上下边缘距离地面的距离以及视窗的左右边缘相对于摄像装置的偏移角度等)，由于光机产生的虚拟图像无法捕捉，因此需要通过将虚拟图像和幕布重合，从而使虚拟图像和幕布这个实物之间产生一定的联系，进而通过布幕上标定图片的位置信息获得虚拟图像的位置信息。
具体的，由于摄像装置拍摄的图像中会包括针对标定图片的第一图像和针对虚拟图像的第二图像，因此，可以通过判断第一图像和第二图像是否重合来判断摄像装置和幕布是否重合。在其中一个实施例中，可以在标定图片上设置第一定位标志，在虚拟图像中设置第二定位标志，如果摄像装置拍摄的图像中第一图像的第一定位标志和所述第二图像的第二定位标志重合，则第一图像和第二图像重合。
其中，第一定位标志和第二定位标志例如竖直线或者其他具有对齐作用的标志，当第一定位标志和第二定位标志为竖直线的场合，如果摄像装置拍摄的图像中第一图像的竖直线和第二图像的竖直线重合，则第一图像和第二图像重合
具体的，在其中一些实施例中，使虚拟图像和幕布重合，可以分两个步骤，以下以标定图片和虚拟图像中设置竖直线作为第一定位标志和第二定位标志来确定虚拟图像和幕布重合为例，说明使虚拟图像和幕布重合的过程。
首先，在第一方向上移动摄像装置或者幕布(例如固定摄像装置的位置、在第一方向上移动幕布，或者固定幕布的位置、在第一方向上移动摄像装置，或者同时移动幕布和摄像装置)，以使摄像装置拍摄的图像中第一图像的竖直线和第二图像的竖直线重合。其中，第一方向例如光轴的方向，也可以是任何其他合适的方向。
上述步骤确定了幕布和虚拟图像的重合线，还需确定幕布和虚拟图像在重合线上的具体重合点。当幕布和虚拟图像在第一方向上重合后，在第二方向上移动摄像装置，当移动一定距离后，固定摄像装置的位置，在第一方向上移动幕布，使得摄像装置拍摄的图像中的第一图像中的竖直线和第二图像中的竖直线重合。此时，幕布和虚拟图像重合，幕布和虚拟图像重合的位置为第一位置。其中，第二方向与第一方向存在小于180度的夹角。
步骤S203，根据所述图像获得所述虚拟图像的视窗位置信息。
其中，视窗位置信息例如视窗的尺寸大小、视窗上下边缘距离地面的距离以及视窗的左、右边缘相对于摄像装置的角度等，该视窗的左、右边缘相对于摄像装置的角度也可以用视窗的左、右边缘距离零线的距离来表示，所述零线可以是虚拟图像上过摄像装置在虚拟图像上的投影点的线，例如，假设摄像装置沿正前方在虚拟图像上的投影为O点，则零线为过O点且与视窗上、下边缘大致垂直的线。
由于图像中存在近大远小的规则，图像中的每一个像素代表的大小也不尽相同，例如，拍摄近处的物体时，一个像素表示1厘米，则拍摄远处物体时，1个像素可能表示100厘米。当幕布和虚拟图像重合时，第一图像和第二图像中每个像素表示的长度是相同的，则根据第一图像和第二图像的像素长度比例关系可以获得其真实长度比例关系。
在其中一些实施例中，可以根据虚拟图像与幕布重合时摄像装置拍摄的图像中的第一图像和第二图像的像素位置关系获得虚拟图像的视窗位置信息。请参照图3，由于在虚拟图像和幕布重合时，第一图像和第二图像的像素长度比例关系与虚拟图像和幕布中标定图片的真实长度比例关系相同。假如第一图像的像素长度为a*b、第二图像的像素长度为d*c、标定图片的真实尺寸为A*B，则虚拟图像的长度为A*(c/a)，虚拟图像的高度为B*(d/b)。由于标定图片上、下边缘距离地面的高度以及标定图片左右边缘相对于摄像装置的角度均已知，基于同样的对应关系，则可以获得虚拟图像视窗上下边缘距离地面的距离以及视窗的左右边缘相对于摄像装置的角度等。
在另一些实施例中，也可以直接同时在标定图片中显示标尺信息，则对比第二图像的像素尺寸和标尺信息即可以直接获得视窗的大小。
步骤S204，根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系，其中，所述虚拟位置为所述虚拟图像中的位置，所述实物位置为物体绝对位置。
虚拟图像为一个二维的平面，其具有长度方向(即图3中c所在方向)和高度方向(即图3中d所在方向)。如果同时知道长度方向和高度方向的位置关系，则可以确定一点。其长度方向和高度方向的位置关系均可以通过构建图4所示的三角形相似关系来获得。以下仅以高度方向为例说明。
如图4所示，为摄像装置、虚拟位置和实物位置三者在高度方向上的位置关系图，假设点A为摄像装置的位置，B和C分别为光机产生的虚拟图像的上边缘和下边缘。由步骤S201和S203已获得AC长度d1、B离地面的高度h1，由于A离地面的高度h已知，设虚拟位置距离下边缘的距离BG为c，则由图4中的相似三角形关系有(c+h1)/h＝(d-d1)/d，则：
虚拟位置距离下边缘的距离
其中，所述d为所述实物的距离(即沿摄像装置的正前方方向实物距离摄像装置的距离)，所述d1为所述第一位置的距离，所述h为所述摄像装置的高度，所述h1为所述视窗下边缘距离地面的高度。
基于同样的相似三角形原理，所述虚拟位置距离零线的距离为：
其中，所述s为所述实物相对于所述摄像装置的左、右偏移距离，亦即所述实物相对于所述摄像装置在摇头方向上的距离，所述摇头方向与上述的摄像装置正前方方向垂直。所述虚拟位置相对于零线的方向与所述实物相对于所述摄像装置的方向相同，即如果实物在摄像装置左侧，则虚拟位置在零线左侧，如果实物在摄像装置右侧，则虚拟位置在零线右侧。
本发明实施例先通过移动摄像装置和幕布，使得幕布和虚拟图像重合，从而获取虚拟图像的视窗位置信息。然后根据摄像装置的位置、幕布和虚拟图像的重合位置、以及视窗位置信息，获得虚拟图像上的虚拟位置和实景中实物位置的对应关系。这种虚拟图像的标定方式，标定步骤少，程序简单。
如图5所示，本发明实施例还提供了一种基于增强现实抬头显示的虚拟图像显示方法，用于抬头显示设备，如图5所示，所述方法包括：
步骤S501，获得交通工具前方物体的位置信息。
其中，所述物体的位置信息可以通过ADAS系统或者其他传感器测量系统获得。
步骤S502，根据所述物体位置信息、以及预设虚拟位置和实物位置的对应关系获得所述物体位置信息对应的虚拟位置信息。
在行驶过程中，实时获取前方物体的位置信息，然后根据物体位置信息和上述标定方法获得的虚拟位置和实物位置的对应关系，获得所述物体在虚拟图像中对应的虚拟位置。
仍以图4为例说明，获得高度方向上实物位置距离地面的高度为DH，则根据虚拟位置和实物位置的对应关系，可以获得虚拟图像中的高度BG，基于同样的方法，可以获得长度方向上的虚拟位置，基于长度方向上的虚拟位置和高度方向上的虚拟位置，可以在虚拟图像上确定唯一位置。
步骤S503，根据所述虚拟位置信息在光机产生的虚拟图像的对应位置显示关于所述物体的提示信息。
根据所述虚拟位置在虚拟图像的对应位置显示关于物体的提示信息。例如，实物位置在前方的100米处，则在虚拟图像中的对应位置标出“距离100米”。
如图6所示，为控制设备10的硬件结构示意图，所述控制设备10的硬件结构包括：
一个或多个第一处理器101以及第一存储器102，图6中以一个第一处理器101为例。
第一处理器101和第一存储器102可以通过总线或者其他方式连接，图6中以通过总线连接为例。
第一存储器102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。第一处理器101通过运行存储在第一存储器102中的非易失性软件程序、指令以及模块，从而执行用户终端的各种功能应用以及数据处理，即实现上述方法实施例的基于增强现实抬头显示的虚拟图像标定方法。
第一存储器102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据控制设备所创造的数据等。此外，第一存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，第一存储器102可选包括相对于第一处理器101远程设置的存储器，这些远程存储器可以通过网络连接至控制设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述第一存储器102中，当被所述一个或者多个第一处理器执行时，执行上述应用于控制设备的实施例中的在基于增强现实抬头显示的虚拟图像标定方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
如图7是本发明实施例提供的抬头显示设备的硬件结构示意图，该抬头显示设备的硬件结构20包括：
一个或多个第二处理器201以及第二存储器202，图7中以一个第二处理器201为例。
第二处理器201和第二存储器202可以通过总线或者其他方式连接，图7中以通过总线连接为例。
第二存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。第二处理器201通过运行存储在第二存储器202中的非易失性软件程序、指令以及模块，从而执行抬头显示设备的各种功能应用以及数据处理，即实现上述应用于抬头显示设备的方法实施例的在基于增强现实抬头显示的虚拟图像标定方法。
第二存储器202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据抬头显示设备所创造的数据等。此外，第二存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，第二存储器202可选包括相对于第二处理器201远程设置的存储器，这些远程存储器可以通过网络连接至抬头显示设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述第二存储器202中，当被所述一个或者多个第二处理器执行时，执行上述应用于抬头显示设备的实施例中的基于增强现实抬头显示的虚拟图像显示方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得上述一个或多个处理器可执行上述任意方法实施例中的虚拟图像标定方法或者虚拟图像显示方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于增强现实抬头显示的虚拟图像标定方法，其特征在于，所述方法包括：
使光机产生虚拟图像；
移动摄像装置和幕布，以使所述幕布和所述虚拟图像在第一位置重合，并获得此时所述摄像装置拍摄的图像；
其中，所述幕布上显示有标定图片，所述图像包括关于标定图片的第一图像和关于虚拟图像的第二图像；
根据所述图像获得所述虚拟图像的视窗位置信息；
根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系，其中，所述虚拟位置为所述虚拟图像中的位置，所述实物位置为物体绝对位置。
2.根据权利要求1所述的方法，其特征在于，所述移动摄像装置和幕布，以使所述幕布和所述虚拟图像在第一位置重合，包括：
在第一方向上移动所述摄像装置或者幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合；
将所述摄像装置沿第二方向移动，然后固定所述摄像装置，在第一方向上移动所述幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合，所述第一图像和所述第二图像重合时所述幕布的位置为所述第一位置；
其中，所述第一方向和所述第二方向具有角度，所述角度大于45度小于135度。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图像获得所述虚拟图像的视窗位置信息，包括：
根据所述图像中的第一图像和第二图像的像素位置关系获得所述虚拟图像的视窗位置信息。
4.根据权利要求1所述的方法，其特征在于，所述标定图片中具有标尺信息；
则，所述根据所述图像获得所述虚拟图像的视窗位置信息，包括：
根据所述第二图像的像素位置和所述标尺信息获得所述虚拟图像的视窗位置信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系，包括：
基于相似三角形原理根据所述摄像装置的位置、所述第一位置和所述虚拟图像的视窗位置信息获得虚拟位置和实物位置的对应关系。
6.根据权利要求5所述的方法，其特征在于，所述视窗位置信息包括视窗上、下边缘距离地面的高度；
所述对应关系为：
所述虚拟位置距离下边缘的距离
其中，所述d为所述实物的距离，所述d1为所述第一位置的距离，所述h为所述摄像装置的高度，所述h1为所述视窗下边缘距离地面的高度；
所述虚拟位置距离零线的距离为：
其中，所述零线为所述虚拟图像上过摄像装置在虚拟图像上的投影点的线，所述s为所述实物相对于所述摄像装置的左、右偏移距离，所述虚拟位置相对于零线的方向与所述实物相对于所述摄像装置的方向相同。
7.根据权利要求2-6任意一项所述的方法，其特征在于，所述标定图片包括第一定位标志，所述虚拟图像包括第二定位标志；
所述在第一方向上移动所述摄像装置或者幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合，包括：
在第一方向上移动所述摄像装置或者幕布，以使所述摄像装置拍摄的图像中所述第一图像的第一定位标志和所述第二图像的第二定位标志重合；
所述将所述摄像装置沿第二方向移动，然后固定所述摄像装置，在第一方向上移动所述幕布，以使所述摄像装置拍摄的图像中所述第一图像和所述第二图像重合，包括：
所述在第二方向上移动所述幕布，以使所述摄像装置拍摄的图像中所述第一图像的第一定位标志和所述第二图像的第二定位标志重合。
8.一种基于增强现实抬头显示的虚拟图像显示方法，用于抬头显示设备，其特征在于，所述方法包括：
获得交通工具前方物体的位置信息；
根据所述物体位置信息、以及预设虚拟位置和实物位置的对应关系获得所述物体位置信息对应的虚拟位置信息；
根据所述虚拟位置信息在光机产生的虚拟图像的对应位置显示关于所述物体的提示信息；
其中，所述预设虚拟位置和实物位置的对应关系根据权利要求1-7任意一项所述的标定方法获得。
9.一种控制设备，其特征在于，包括：
至少一个第一处理器；以及，
与所述至少一个第一处理器通信连接的第一存储器；其中，
所述第一存储器存储有可被所述至少一个第一处理器执行的指令，所述指令被所述至少一个第一处理器执行，以使所述至少一个第一处理器能够执行权利要求1-8任一项所述的方法。
10.一种抬头显示设备，其特征在于，包括：
至少一个第二处理器；以及，
与所述至少一个第二处理器通信连接的第二存储器；其中，
所述第二存储器存储有可被所述至少一个第二处理器执行的指令，所述指令被所述至少一个第二处理器执行，以使所述至少一个第二处理器能够执行权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911416168.XA CN111147834A (zh) | 2019-12-31 | 2019-12-31 | 一种基于增强现实抬头显示的虚拟图像标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911416168.XA CN111147834A (zh) | 2019-12-31 | 2019-12-31 | 一种基于增强现实抬头显示的虚拟图像标定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111147834A true CN111147834A (zh) | 2020-05-12 |
Family
ID=70522747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911416168.XA Pending CN111147834A (zh) | 2019-12-31 | 2019-12-31 | 一种基于增强现实抬头显示的虚拟图像标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111147834A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111654688A (zh) * | 2020-05-29 | 2020-09-11 | 亮风台（上海）信息科技有限公司 | 一种获取目标控制参数的方法与设备 |
| CN112738487A (zh) * | 2020-12-24 | 2021-04-30 | 北京百度网讯科技有限公司 | 图像投射方法、装置、设备及存储介质 |
| WO2022088103A1 (zh) * | 2020-10-30 | 2022-05-05 | 华为技术有限公司 | 一种图像标定方法及装置 |
| CN114500963A (zh) * | 2020-10-23 | 2022-05-13 | 精工爱普生株式会社 | 确定方法、确定系统和记录介质 |
| US11935267B2 (en) | 2017-12-19 | 2024-03-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Head-mounted display device and method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109649275A (zh) * | 2018-11-29 | 2019-04-19 | 福瑞泰克智能系统有限公司 | 一种基于增强现实的驾驶辅助系统及方法 |
| DE102018215185B3 (de) * | 2018-09-06 | 2019-10-10 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Einstellen eines Head-Up-Displays in einem Kraftfahrzeug, Einstellvorrichtung zur Verwendung in einem solchen Verfahren oder mit einer solchen Vorrichtung |
| CN110365952A (zh) * | 2018-04-11 | 2019-10-22 | 京东方科技集团股份有限公司 | 一种用于投射显示装置的视角测试方法和测试系统 |
-
2019
- 2019-12-31 CN CN201911416168.XA patent/CN111147834A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110365952A (zh) * | 2018-04-11 | 2019-10-22 | 京东方科技集团股份有限公司 | 一种用于投射显示装置的视角测试方法和测试系统 |
| DE102018215185B3 (de) * | 2018-09-06 | 2019-10-10 | Volkswagen Aktiengesellschaft | Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Einstellen eines Head-Up-Displays in einem Kraftfahrzeug, Einstellvorrichtung zur Verwendung in einem solchen Verfahren oder mit einer solchen Vorrichtung |
| CN109649275A (zh) * | 2018-11-29 | 2019-04-19 | 福瑞泰克智能系统有限公司 | 一种基于增强现实的驾驶辅助系统及方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11935267B2 (en) | 2017-12-19 | 2024-03-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Head-mounted display device and method thereof |
| CN111654688A (zh) * | 2020-05-29 | 2020-09-11 | 亮风台（上海）信息科技有限公司 | 一种获取目标控制参数的方法与设备 |
| CN114500963A (zh) * | 2020-10-23 | 2022-05-13 | 精工爱普生株式会社 | 确定方法、确定系统和记录介质 |
| CN114500963B (zh) * | 2020-10-23 | 2024-01-02 | 精工爱普生株式会社 | 确定方法、确定系统和记录介质 |
| WO2022088103A1 (zh) * | 2020-10-30 | 2022-05-05 | 华为技术有限公司 | 一种图像标定方法及装置 |
| CN112738487A (zh) * | 2020-12-24 | 2021-04-30 | 北京百度网讯科技有限公司 | 图像投射方法、装置、设备及存储介质 |
| CN112738487B (zh) * | 2020-12-24 | 2022-10-11 | 阿波罗智联(北京)科技有限公司 | 图像投射方法、装置、设备及存储介质 |
| US11715238B2 (en) | 2020-12-24 | 2023-08-01 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Image projection method, apparatus, device and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111147834A (zh) | 一种基于增强现实抬头显示的虚拟图像标定方法 | |
| NL2010463C2 (nl) | Werkwijze voor het genereren van een panoramabeeld. | |
| JP4435145B2 (ja) | 幾何情報を校正してパノラマ映像を提供する方法および装置 | |
| US10754420B2 (en) | Method and device for displaying image based on virtual reality (VR) apparatus | |
| JP4512584B2 (ja) | イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置 | |
| CN109884793B (zh) | 用于估计虚拟屏幕的参数的方法和设备 | |
| WO2010130987A2 (en) | Image generation method | |
| Wientapper et al. | A camera-based calibration for automotive augmented reality head-up-displays | |
| WO2008114264A2 (en) | A method and apparatus for video image stabilization | |
| KR101690646B1 (ko) | 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법 | |
| CN107532917A (zh) | 显示控制装置、显示控制方法和显示控制程序 | |
| JP2010109451A (ja) | 車両周囲監視装置及び車両周囲監視方法 | |
| CN110832851B (zh) | 图像处理装置、图像变换方法 | |
| KR20200142315A (ko) | 도로 네트워크를 갱신하는 방법 및 장치 | |
| KR101697229B1 (ko) | 차량용 영상 정합을 위한 차선 정보 기반의 자동보정장치 및 그 방법 | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| CN113344789A (zh) | 图像拼接方法及装置、电子设备、计算机可读存储介质 | |
| US9807302B1 (en) | Offset rolling shutter camera model, and applications thereof | |
| KR102437606B1 (ko) | 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터 | |
| US11942008B2 (en) | Smart tracking-based projection method and system | |
| US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
| JP6371547B2 (ja) | 画像処理装置、方法、および、プログラム | |
| US11568552B2 (en) | Imaging systems and methods incorporating improved culling of virtual objects | |
| CN117274558B (zh) | 一种视觉定位的ar导航方法、装置、设备及存储介质 | |
| KR102694286B1 (ko) | 전자 장치의 관심 영역 시각화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 230000 a10-01, 13 / F, block a, building J1, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province Applicant after: Hefei Jiangcheng Technology Co.,Ltd. Address before: 518000 1st floor, North Block A, Room 203, 2nd floor, Jinke office building, 8 Qiongyu Road, Science Park community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN JIANG CHENG TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200512 |