CN111086453A - 一种基于摄像头的hud增强现实显示方法、装置及汽车 - Google Patents

一种基于摄像头的hud增强现实显示方法、装置及汽车 Download PDF

Info

Publication number
CN111086453A
CN111086453A CN201911396459.7A CN201911396459A CN111086453A CN 111086453 A CN111086453 A CN 111086453A CN 201911396459 A CN201911396459 A CN 201911396459A CN 111086453 A CN111086453 A CN 111086453A
Authority
CN
China
Prior art keywords
image
environment
coordinate system
camera
hud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911396459.7A
Other languages
English (en)
Inventor
许强
康栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiang Cheng Technology Co ltd
Original Assignee
Shenzhen Jiang Cheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiang Cheng Technology Co ltd filed Critical Shenzhen Jiang Cheng Technology Co ltd
Priority to CN201911396459.7A priority Critical patent/CN111086453A/zh
Publication of CN111086453A publication Critical patent/CN111086453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Abstract

本发明实施例涉及汽车电子技术领域，公开了一种基于摄像头的HUD增强现实显示方法、装置及汽车，该方法应用于汽车，所述汽车包括车载摄像头，包括：建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系；获取所述车载摄像头拍摄的原始环境图像；根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；确定所述环境增强显示图像与HUD图像的映射关系；根据所述对应关系以及所述映射关系，基于所述原始环境图像，确定所述HUD图像。通过建立原始环境图像、环境增强显示图像以及HUD图像的关系，本发明能够有效地排除车体状态对AR显示效果的影响，实现在任何车体状态下的AR显示。

Description

一种基于摄像头的HUD增强现实显示方法、装置及汽车
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于摄像头的HUD增强现实显示方法、装置及汽车。
背景技术
抬头显示器(Head Up Display，HUD)，最早是运用在航空器上的飞行辅助仪器，随着汽车技术的发展，目前HUD也大规模运用于汽车，其中，平视的意思是指飞行员或驾驶员不需要低头就能够看到重要资讯，并始终保持抬头的姿态，降低低头与抬头之间忽略外界环境的快速变化以及眼睛焦距需要不断调整产生的延迟与不适。
HUD是利用光学反射的原理，将重要的相关资讯投射在汽车的挡风玻璃上面，高度大致与驾驶员的眼睛成水平，投射的文字和影像调整在焦距无限远的距离上面，驾驶员透过HUD往前方看的时候，能够轻易的将外界的景象与HUD显示的资料融合在一起。
HUD投射的资料主要与飞行安全有重要关系，譬如飞行高度，飞行速度，航向，垂直速率变化，飞机倾斜角度等等。使用于战斗环境时，还会加上目标资料，武器与发射相关资料，预估命中点等等。这些显示的资料能够根据不同状况而变换。
目前，抬头显示器安装于车体中控台内部，其发出图像光线，经过风挡反射后进入驾驶员眼睛，在车头前方呈现一幅虚拟图像，该幅图像可以用于汽车增强现实技术(Augmented Reality，AR)进行增强现实显示。由于抬头显示器装置安装于车体内部、道路环境与车体分离，使得该种汽车AR显示变成一个复杂的问题，显示效果与车体状态、路面状态、人眼位置以及ADAS摄像头位置都有关系，要做到AR显示的虚拟图像图标在驾驶员观察处贴合到路面变得困难；车辆承重的多少、各轮胎的胎压的差异、道路的平整性等都会影响AR效果，在驾驶员角度观察会呈现悬浮感，AR体验效果较差，影响使用。
有鉴于此，现有技术有待改进和提高。
发明内容
本发明实施例旨在提供一种基于摄像头的HUD增强现实显示方法、装置及汽车，其能够有效地排除车体状态对AR显示效果的影响，实现在任何车体状态下的AR显示。
为解决上述技术问题，本发明实施例提供以下技术方案：
第一方面，本发明实施例提供一种基于摄像头的HUD增强现实显示方法，应用于汽车，所述汽车包括车载摄像头，包括：
建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系；
获取所述车载摄像头拍摄的原始环境图像；
根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；
确定所述环境增强显示图像与HUD图像的映射关系；
根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。
在一些实施例中，所述确定所述摄像头坐标系和人眼坐标系的对应关系，包括：
标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，其中，所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点。
在一些实施例中，所述标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，包括：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在摄像头坐标系下对应的第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标，求解所述坐标转换矩阵。
在一些实施例中，所述确定所述环境增强显示图像与HUD图像的映射关系，包括：
标定所述环境增强显示图像与HUD图像的映射转换矩阵，其中，所述环境增强显示图像的坐标点＝映射转换矩阵*HUD图像的坐标点。
在一些实施例中，所述标定所述环境增强显示图像与HUD图像的映射转换矩阵，包括：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在HUD图像下对应的第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标，求解所述映射转换矩阵。
在一些实施例中，所述根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像，包括：
根据所述坐标转换矩阵以及所述映射转换矩阵，确定所述原始环境图像与所述HUD图像的对应关系；
根据所述原始环境图像与所述HUD图像的对应关系，基于所述原始环境图像，确定所述HUD图像。
在一些实施例中，所述HUD图像包括AR图标。
第二方面，本发明实施例提供一种基于摄像头的HUD增强现实显示装置，包括：
坐标系单元，用于建立摄像头坐标系、人眼坐标系；
对应关系单元，用于确定所述摄像头坐标系和人眼坐标系的对应关系；
原始环境图像单元，用于获取摄像头拍摄的原始环境图像；
环境增强显示图像单元，用于根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；
映射关系单元，用于确定所述环境增强显示图像与HUD图像的映射关系；
HUD图像单元，用于根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。
在一些实施例中，所述对应关系单元，具体用于：
标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，其中，所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点。
在一些实施例中，所述对应关系单元，具体还用于：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在摄像头坐标系下对应的第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标，求解所述坐标转换矩阵。
在一些实施例中，所述映射关系单元，具体用于：
标定所述环境增强显示图像与HUD图像的映射转换矩阵，其中，所述环境增强显示图像的坐标点＝映射转换矩阵*HUD图像的坐标点。
在一些实施例中，所述映射关系单元，具体还用于：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在HUD图像下对应的第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标，求解所述映射转换矩阵。
在一些实施例中，所述HUD图像单元，具体用于：
根据所述坐标转换矩阵以及所述映射转换矩阵，确定所述原始环境图像与所述HUD图像的对应关系；
根据所述原始环境图像与所述HUD图像的对应关系，基于所述原始环境图像，确定所述HUD图像。
在一些实施例中，所述HUD图像包括AR图标。
第三方面，本发明实施例提供一种汽车，包括：
车载摄像头，用于获取原始环境图像；
抬头显示器，安装于汽车的车体内部，用于根据所述原始环境图像发出AR图像光线；
显示屏，用于反射所述抬头显示器发出的AR图像光线，以向用户呈现AR效果；
其中，所述抬头显示器包括：控制单元，所述控制单元包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于摄像头的HUD增强现实显示方法。
第四方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使控制单元能够执行如上所述的基于摄像头的HUD增强现实显示方法。
本发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例提供的一种基于摄像头的HUD增强现实显示方法，应用于汽车，所述汽车包括车载摄像头，包括：建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系；获取所述车载摄像头拍摄的原始环境图像；根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；确定所述环境增强显示图像与HUD图像的映射关系；根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。通过建立原始环境图像、环境增强显示图像以及HUD图像的关系，本发明能够有效地排除车体状态对AR显示效果的影响，实现在任何车体状态下的AR显示。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种汽车的硬件架构示意图；
图2是本发明实施例提供的一种基于摄像头的HUD增强现实显示方法的流程示意图；
图3是图2中的步骤S10的细化流程图；
图4是图2中的步骤S40的细化流程图；
图5是图2中的步骤S50的细化流程图；
图6是本发明实施例提供的一种生成AR图标的流程图；
图7是本发明实施例提供的一种基于摄像头的HUD增强现实显示装置的结构示意图；
图8是本发明实施例提供的一种控制单元的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参阅图1，图1是本发明实施例提供的一种汽车的硬件架构示意图；
如图1所示，该汽车100包括：车载摄像头10、抬头显示器20以及显示屏30，其中，所述车载摄像头10连接所述抬头显示器20，所述抬头显示器20连接所述显示屏30。
具体的，所述车载摄像头10设置于所述汽车，用于获取原始环境图像，所述车载摄像头10包括车外摄像头以及车内摄像头，所述车外摄像头安装于所述汽车的外部，所述车内摄像头安装于所述汽车的内部，例如：所述汽车安装有透明A柱，所述车外摄像头安装于所述汽车的透明A柱的外部，所述车内摄像头安装于所述汽车的透明A柱的外部。
具体的，所述抬头显示器20(Head Up Display，HUD)，所述抬头显示器20安装于汽车的车体内部，例如：安装于所述汽车的车体中控台内部，用于根据所述车载摄像头获取到的原始环境图像，发出AR图像光线，以使所述显示屏显示所述AR图像光线。
在本发明实施例中，所述抬头显示器包括：投影仪、反射镜、投影镜、调节电机及控制单元，其中，所述控制单元用于从所述汽车的车上数据总线获取车速、导航等信息，并在所述投影仪输出图像。
其中，所述控制单元为电子设备，所述控制单元分别与所述车载摄像头10以及显示屏30通信连接，例如：控制单元与所述车载摄像头10、以及显示屏30通过线缆或无线连接，例如：通过2G、3G、4G、5G、局域网、蓝牙等方式进行通信连接，所述控制单元用于生成HUD图像，具体的，所述控制单元用于将汽车的数据进行整合处理后，进行AR增强现实显示，以生成HUD图像，其中，所述HUD图像包括AR图标，所述AR图标用于标识车外环境的障碍物等，并且，所述控制单元将所述HUD图像投射到所述汽车的显示屏上，以使所述显示屏呈现带有AR图标的HUD图像，在本发明实施例中，所述控制单元包括但不限于：
(1)控制器，例如：中央处理器(Central Process Unit，CPU)、微处理单元(MicroController Unit，MCU)等。
(2)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类电子设备包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(3)移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类电子设备包括：PDA、MID和UMPC设备等，例如iPad。
(4)便携式娱乐设备：这类设备可以显示和播放视频内容，一般也具备移动上网特性。该类设备包括：视频播放器，掌上游戏机，以及智能玩具和便携式车载导航设备。
(5)其他具有视频播放功能和上网功能的电子设备。
具体的，所述显示屏30可以为前挡风玻璃、独立的显示屏或者利用手机在前挡风玻璃上的投影作为显示屏，所述显示屏用于反射所述抬头显示器发出的AR图像光线，以向用户呈现AR效果。
请再参阅图2，图2是本发明实施例提供的一种基于摄像头的HUD增强现实显示方法的流程示意图；
如图2所示，该基于摄像头的HUD增强现实显示方法，包括：
步骤S10：建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系；
具体的，以所述车载摄像头的位置为坐标原点，建立摄像头坐标系，所述摄像头坐标系与世界坐标系的方向相同，以所述驾驶员的人眼位置为坐标原点，建立人眼坐标系，所述人眼坐标系与世界坐标系的方向相同，所述确定所述摄像头坐标系和人眼坐标系的对应关系，包括：标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，其中，所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点。
具体的，请再参阅图3，图3是图2中的步骤S10的细化流程图；
如图3所示，所述标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，包括：
步骤S11：获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
具体的，假设车载摄像头下看到路况环境为三维矩阵C(x1,y1,z1)，人眼看到的路况环境为三维矩阵E(x2,y2,z2)，由于摄像头看到的路况环境和人眼看到的路况环境为同一环境，只是方位坐标不同，一个是基于摄像头坐标系看到的路面环境，另外一个是基于人眼坐标系下看到的路面环境，因此，摄像头坐标系下的环境和人眼坐标系下存在一个坐标对应关系，相当于所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点，假设坐标对应关系为坐标转换矩阵为M(x0,y0,z0)，即E(x2,y2,z2)＝M(x0,y0,z0)C(x1,y1,z1)；坐标转换矩阵M(x0,y0,z0)可以通过标定实际环境对应点以及人眼看到的相同环境点来求解出。
步骤S12：获取所述第一环境标记点、第二环境标记点和第三环境标记点在摄像头坐标系下对应的第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标；
具体的，在驾驶员人眼处为所述人眼坐标系的坐标原点的情况下，测出车头前方三个标记点的坐标E1、E2、E3；然后在车载摄像头处标记三个坐标C1、C2、C3，即获取所述第一环境标记点E1、第二环境标记点E2和第三环境标记点E3在摄像头坐标系下对应的第一摄像头标记点C1、第二摄像头标记点C2和第三摄像头标记点C3的坐标。
步骤S13：根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标，求解所述坐标转换矩阵。
具体的，在驾驶员人眼处为所述人眼坐标系的坐标原点的情况下，测出车头前方三个标记点的坐标E1、E2、E3；然后在车载摄像头出标记三个坐标C1、C2、C3，因此可以得到三个方程：
E1(x2,y2,z2)＝M(x0,y0,z0)C1(x1,y1,z1)；
E2(x2,y2,z2)＝M(x0,y0,z0)C2(x1,y1,z1)；
E3(x2,y2,z2)＝M(x0,y0,z0)C3(x1,y1,z1)；
三个方程三个未知数，即可得到坐标转换矩阵M。
步骤S20：获取所述车载摄像头拍摄的原始环境图像；
具体的，所述车载摄像头获取路况环境的原始环境图像。
步骤S30：根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；
具体的，根据所述摄像头坐标系和人眼坐标系的对应关系，即所述坐标转换矩阵，基于所述原始环境图像，获取所述原始环境图像的每一图像点的坐标，根据所述坐标转换矩阵，得到环境增强显示图像的每一图像点的坐标，即根据公式Ei(xi,yi,zi)＝M*Ci(xi,yi,zi)，确定所述原始环境图像的每一图像点对应的环境增强显示图像的每一图像点的坐标，从而得到所述环境增强显示图像。
步骤S40：确定所述环境增强显示图像与HUD图像的映射关系；
具体的，由于HUD的AR效果是经过驾驶员前方的虚像显示具有透视效果的2D图像来达到增强显示的目的，因此每显示一AR信息时，为了达到增强现实效果，需要将HUD图像映射到环境中去，比如将导航箭头映射到路面，将障碍物图标映射到障碍物上，这样人眼观察时才具有AR效果；因此人眼看到的环境增强显示图像E(x2,y2,z2)可以通过HUD图像I(x3,y3,z3)来表达，相当于所述环境增强显示图像的坐标点＝映射转换矩阵*HUD图像的坐标点，即增强显示图像E(x2,y2,z2)和HUD图像I(x3,y3,z3)存在一个映射转换矩阵N(x’,y’,z’),使得E(x2,y2,z2)＝N(x’,y’,z’)I(x3,y3,z3)；映射转换矩阵N(x’,y’,z’)可以通过标定实际环境对应点以及HUD上的图像点来求解出。
具体的，请再参阅图4，图4是图2中的步骤S40的细化流程图；
如图4所示，该步骤S40：确定所述环境增强显示图像与HUD图像的映射关系，包括：
步骤S41：获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
具体的，在驾驶员人眼处为所述人眼坐标系的坐标原点的情况下，测出车头前方三个标记点的坐标E1、E2、E3，分别为第一环境标记点、第二环境标记点和第三环境标记点的坐标。
步骤S42：获取所述第一环境标记点、第二环境标记点和第三环境标记点在HUD图像下对应的第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标；
具体的，在所述HUD图像中标记与所述第一环境标记点、第二环境标记点和第三环境标记点的坐标分别对应的第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标，即为所述HUD图像下对应的第一HUD图像点I1、第二HUD图像点I2和第三HUD图像点的坐标I3。
步骤S43：根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标，求解所述映射转换矩阵。
具体的，在驾驶员人眼处为所述人眼坐标系的坐标原点的情况下，测出车头前方三个标记点的坐标E1、E2、E3；然后在HUD图像中出标记三个坐标I1、I2、I3，因此可以得到三个方程：
E1(x2,y2,z2)＝N(x’,y’,z’)I1(x1,y1,z1)；
E2(x2,y2,z2)＝N(x’,y’,z’)I2(x1,y1,z1)；
E3(x2,y2,z2)＝N(x’,y’,z’)I3(x1,y1,z1)；
三个方程三个未知数，即可得到映射转换矩阵N。
步骤S50：根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。
具体的，所述HUD图像包括AR图标，请再参阅图5，图5是图2中的步骤S50的细化流程图；
如图5所示，该步骤S50：根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像，包括：
步骤S51：根据所述坐标转换矩阵以及所述映射转换矩阵，确定所述原始环境图像与所述HUD图像的对应关系；
具体的，在HUD图像I(x3,y3,z3)和摄像头拍摄的原始环境图像C(x1,y1,z1)之间存在关系式：
E(x2,y2,z2)＝M(x0,y0,z0)C(x1,y1,z1)＝N(x’,y’,z’)I(x3,y3,z3)，
由于坐标转换矩阵M(x0,y0,z0)以及映射转换矩阵N(x’,y’,z’)已经求得，因此，可以根据所述坐标转换矩阵以及所述映射转换矩阵，确定所述原始环境图像与所述HUD图像的对应关系，例如：根据所述坐标转换矩阵以及所述映射转换矩阵，确定HUD转换矩阵，则确定所述原始环境图像与所述HUD图像的对应关系为：HUD图像I(x3,y3,z3)＝A*原始环境图像C(x1,y1,z1)，其中，A为HUD转换矩阵。由上面的关系式可知，AR增强显示信息与车体的状态无关，即使车体四个轮胎胎压不一致，或者车体在坑洼的道路上行驶，也能达到很好的AR显示效果，因此为了在车头前方显示增强显示信息C(x1,y1,z1)，可以通过上面的关系式求解出HUD所要加载显示的图像信息I(x3,y3,z3)；从而达到增强显示的效果。可以理解的是，驾驶员和车载摄像头是同时随着车体一同变动的，因此本发明可以有效地排除车体状态对AR显示效果的影响。
步骤S52：根据所述原始环境图像与所述HUD图像的对应关系，基于所述原始环境图像，确定所述HUD图像。
具体的，根据所述HUD转换矩阵，基于所述原始环境图像，确定所述HUD图像，即HUD图像＝HUD转换矩阵*原始环境图像。可以理解的是，本申请中的图像之间的转换均是通过对多个坐标点进行处理得到的，本领域技术人员能够理解，在此不再赘述。
现有技术AR实现效果是基于车体路面坐标系来实现的，当车体状态发生改变时，车体与路面的相对坐标系就会发生变动，对于坐在车里面的驾驶员来说，基于路面坐标系的AR效果就会变差，最常见的就是AR效果出现悬浮感，AR图标对不准想要增强显示的物体；本发明通过车载摄像头探测车头前方环境来实现HUD AR图像的产生和显示，可以有效的避免车体状态对AR显示效果的影响，实现在任何车体状态下的AR显示。
现有的AR标定方法是主要是针对特定路面，比如平整路面来进行标定，一旦路面不够平整，车体和路面物体不在一个平面上，将造成标定误差。而选用坐标转换矩阵M(x0,y0,z0)和映射转换矩阵N(x’,y’,z’)，可以在任意道路上进行标定，以便于实验室搭建标定场景，不用依赖于路面情况和车体状况，可以增加标定的精度。
请再参阅图6，图6是本发明实施例提供的一种生成AR图标的流程图；
如图6所示，生成AR图标的流程，包括：
步骤S61：标定摄像头视角与驾驶员视角的坐标转换矩阵；
具体的，所述标定摄像头视角与驾驶员视角的坐标转换矩阵，相当于标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵。
步骤S62：标定驾驶员视角下AR图像与AR目标的映射转换矩阵；
具体的，所述AR图像为上述的环境增强显示图像，所述AR目标为HUD图像中的目标，通过标定所述环境增强显示图像与HUD图像的映射转换矩阵，从而可以标定驾驶员视角下AR图像与AR目标的映射转换矩阵。
步骤S63：生成AR图标。
具体的，生成HUD图像，其中，所述HUD图像中包含AR图标，所述AR图标为对环境障碍物进行标记的图标，用于增强现实显示。
在本发明实施例中，所述方法还包括：对所述HUD图像进行光照补偿处理，以使所述HUD图像投影到所述显示屏上能够更为清晰，有利于增强AR效果，具体的，在将所述HUD图像输出到所述显示屏之前，所述方法还包括：根据环境光的强度，对所述HUD图像进行光线补偿处理，包括：
将进行光线补偿处理后的HUD图像输出到所述显示屏，以使所述显示屏呈现所述光线补偿处理后的HUD图像，其中，所述HUD图像包括AR图标；
其中，车载摄像头在视频采集过程中受诸多因素影响，如夜间或者暗光拍摄条件下表现为光照不足、亮度偏低；光线遮挡使得形成的图像一部分明亮另一部分较暗，造成光照不均；反光或强光源使得获取的图像亮度分布不均勾，高亮区域细节模糊。光照不足或者光照不均一方面会造成图像主观效果不佳，难以满足人们视觉感官的需要，另一方面对于后续的视频处理都会造成较大影响。具体的，所述光线补偿处理，包括：通过光照补偿算法，根据环境光的强度，对所述HUD图像进行光线补偿处理，其中，所述根据环境光的强度，对所述HUD图像进行光线补偿处理，包括：
预设环境光强度中间值；
判断所述环境光的强度是否大于所述环境光强度中间值；
若是，则降低所述HUD图像的光强度；
若否，则提高所述HUD图像的光强度。
通过预设环境光强度中间值，判断所述环境光的强度与所述环境光强度中间值的大小关系，若所述环境光的强度大于所述环境光强度中间值，则降低所述HUD图像的光强度，从而将所述HUD图像的光强度调整到所述环境光强度中间值，若所述环境光的强度小于所述环境光强度中间值，则提高所述HUD图像的光强度，从而将所述HUD图像的光强度调整到所述环境光强度中间值。通过采用光照补偿算法对HUD图像进行处理，使得不管车外光照强度如何变化，最后都能得到比较适合驾驶者观看的AR图像，以增强AR效果。
在本发明实施例中，通过提供一种基于摄像头的HUD增强现实显示方法，应用于汽车，所述汽车包括车载摄像头，包括：建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系；获取所述车载摄像头拍摄的原始环境图像；根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；确定所述环境增强显示图像与HUD图像的映射关系；根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。通过建立原始环境图像、环境增强显示图像以及HUD图像的关系，本发明能够有效地排除车体状态对AR显示效果的影响，实现在任何车体状态下的AR显示。
请再参阅图7，图7为本发明实施例提供的一种基于摄像头的HUD增强现实显示装置的结构示意图；其中，该基于摄像头的HUD增强现实显示装置70应用于抬头显示器的控制单元，例如：控制器，比如MCU。
如图7所示，该基于摄像头的HUD增强现实显示装置70，包括：
坐标系单元71，用于建立摄像头坐标系、人眼坐标系；
对应关系单元72，用于确定所述摄像头坐标系和人眼坐标系的对应关系；
原始环境图像单元73，用于获取摄像头拍摄的原始环境图像；
环境增强显示图像单元74，用于根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；
映射关系单元75，用于确定所述环境增强显示图像与HUD图像的映射关系；
HUD图像单元76，用于根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。
在本发明实施例中，所述对应关系单元72，具体用于：
标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，其中，所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点。
在本发明实施例中，所述对应关系单元72，具体还用于：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在摄像头坐标系下对应的第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标，求解所述坐标转换矩阵。
在本发明实施例中，所述映射关系单元75，具体用于：
标定所述环境增强显示图像与HUD图像的映射转换矩阵，其中，所述环境增强显示图像的坐标点＝映射转换矩阵*HUD图像的坐标点。
在本发明实施例中，所述映射关系单元75，具体还用于：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在HUD图像下对应的第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标，求解所述映射转换矩阵。
在本发明实施例中，所述HUD图像单元76，具体用于：
根据所述坐标转换矩阵以及所述映射转换矩阵，确定所述原始环境图像与所述HUD图像的对应关系；
根据所述原始环境图像与所述HUD图像的对应关系，基于所述原始环境图像，确定所述HUD图像。
在一些实施例中，所述HUD图像包括AR图标。
请参阅图8，图8是本发明实施例提供的一种控制单元的结构示意图。
其中，该控制单元80可以是电子设备，例如：移动终端。
如图8所示，该控制单元80包括一个或多个处理器81以及存储器82。其中，图8中以一个处理器81为例。
处理器81和存储器82可以通过总线或者其他方式连接，图8中以通过总线连接为例。
存储器82作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的一种基于摄像头的HUD增强现实显示方法对应的单元(例如，图7所述的各个单元)。处理器81通过运行存储在存储器82中的非易失性软件程序、指令以及模块，从而执行基于摄像头的HUD增强现实显示方法的各种功能应用以及数据处理，即实现上述方法实施例的基于摄像头的HUD增强现实显示方法以及上述装置实施例的各个模块和单元的功能。
存储器82可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器82可选包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至处理器81。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述模块存储在所述存储器82中，当被所述一个或者多个处理器81执行时，执行上述任意方法实施例中的基于摄像头的HUD增强现实显示方法，例如，执行以上描述的图2所示的各个步骤；也可实现图7所述的各个模块或单元的功能。
本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图8中的一个处理器81，可使得上述一个或多个处理器可执行上述任意方法实施例中的基于摄像头的HUD增强现实显示方法，例如，执行上述任意方法实施例中的基于摄像头的HUD增强现实显示方法，例如，执行以上描述的图2所示的各个步骤；也可实现图7所述的各个单元的功能。
以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用直至得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于摄像头的HUD增强现实显示方法，应用于汽车，所述汽车包括车载摄像头，其特征在于，包括：
建立摄像头坐标系、人眼坐标系，确定所述摄像头坐标系和人眼坐标系的对应关系；
获取所述车载摄像头拍摄的原始环境图像；
根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；
确定所述环境增强显示图像与HUD图像的映射关系；
根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述摄像头坐标系和人眼坐标系的对应关系，包括：
标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，其中，所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点。
3.根据权利要求2所述的方法，其特征在于，所述标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，包括：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在摄像头坐标系下对应的第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一摄像头标记点、第二摄像头标记点和第三摄像头标记点的坐标，求解所述坐标转换矩阵。
4.根据权利要求3所述的方法，其特征在于，所述确定所述环境增强显示图像与HUD图像的映射关系，包括：
标定所述环境增强显示图像与HUD图像的映射转换矩阵，其中，所述环境增强显示图像的坐标点＝映射转换矩阵*HUD图像的坐标点。
5.根据权利要求4所述的方法，其特征在于，所述标定所述环境增强显示图像与HUD图像的映射转换矩阵，包括：
获取人眼坐标系下的第一环境标记点、第二环境标记点和第三环境标记点的坐标；
获取所述第一环境标记点、第二环境标记点和第三环境标记点在HUD图像下对应的第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标；
根据所述第一环境标记点、第二环境标记点和第三环境标记点的坐标，以及，所述第一HUD图像点、第二HUD图像点和第三HUD图像点的坐标，求解所述映射转换矩阵。
6.根据权利要求5所述的方法，其特征在于，所述根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像，包括：
根据所述坐标转换矩阵以及所述映射转换矩阵，确定所述原始环境图像与所述HUD图像的对应关系；
根据所述原始环境图像与所述HUD图像的对应关系，基于所述原始环境图像，确定所述HUD图像。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述HUD图像包括AR图标。
8.一种基于摄像头的HUD增强现实显示装置，其特征在于，包括：
坐标系单元，用于建立摄像头坐标系、人眼坐标系；
对应关系单元，用于确定所述摄像头坐标系和人眼坐标系的对应关系；
原始环境图像单元，用于获取摄像头拍摄的原始环境图像；
环境增强显示图像单元，用于根据所述摄像头坐标系和人眼坐标系的对应关系，基于所述原始环境图像，确定环境增强显示图像；
映射关系单元，用于确定所述环境增强显示图像与HUD图像的映射关系；
HUD图像单元，用于根据所述摄像头坐标系和人眼坐标系的对应关系以及所述环境增强显示图像与HUD图像的映射关系，基于所述原始环境图像，确定所述HUD图像。
9.根据权利要求8所述的装置，其特征在于，所述对应关系单元，具体用于：
标定所述摄像头坐标系和人眼坐标系的坐标转换矩阵，其中，所述环境增强显示图像的坐标点＝坐标转换矩阵*原始环境图像的坐标点。
10.一种汽车，其特征在于，包括：
车载摄像头，用于获取原始环境图像；
抬头显示器，安装于汽车的车体内部，用于根据所述原始环境图像发出AR图像光线；
显示屏，用于反射所述抬头显示器发出的AR图像光线，以向用户呈现AR效果；
其中，所述抬头显示器包括：控制单元，所述控制单元包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于摄像头的HUD增强现实显示方法。
CN201911396459.7A 2019-12-30 2019-12-30 一种基于摄像头的hud增强现实显示方法、装置及汽车 Pending CN111086453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911396459.7A CN111086453A (zh) 2019-12-30 2019-12-30 一种基于摄像头的hud增强现实显示方法、装置及汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911396459.7A CN111086453A (zh) 2019-12-30 2019-12-30 一种基于摄像头的hud增强现实显示方法、装置及汽车

Publications (1)

Publication Number Publication Date
CN111086453A true CN111086453A (zh) 2020-05-01

Family

ID=70397052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911396459.7A Pending CN111086453A (zh) 2019-12-30 2019-12-30 一种基于摄像头的hud增强现实显示方法、装置及汽车

Country Status (1)

Country Link
CN (1) CN111086453A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN113223076A (zh) * 2021-04-07 2021-08-06 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
CN114363591A (zh) * 2020-10-12 2022-04-15 通用汽车环球科技运作有限责任公司 调整投影到挡风玻璃上的图像的位置和失真的系统和方法
CN114454814A (zh) * 2022-01-26 2022-05-10 深圳时空科技集团有限公司 一种增强现实的人机交互方法及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170307881A1 (en) * 2016-04-22 2017-10-26 Electronics And Telecommunications Research Institute Apparatus and method for transforming augmented reality information of head-up display for vehicle
CN108515909A (zh) * 2018-04-04 2018-09-11 京东方科技集团股份有限公司 一种汽车抬头显示系统及其障碍物提示方法
CN109493305A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种人眼视线与前景图像叠加的方法及系统
CN109688392A (zh) * 2018-12-26 2019-04-26 联创汽车电子有限公司 Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
KR20190063601A (ko) * 2017-11-30 2019-06-10 재단법인대구경북과학기술원 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터
CN110304057A (zh) * 2019-06-28 2019-10-08 威马智慧出行科技（上海）有限公司 汽车碰撞预警、导航方法、电子设备、系统及汽车
CN110320664A (zh) * 2018-03-30 2019-10-11 深圳市掌网科技股份有限公司 一种车辆增强现实显示装置以及车辆全景显示系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170307881A1 (en) * 2016-04-22 2017-10-26 Electronics And Telecommunications Research Institute Apparatus and method for transforming augmented reality information of head-up display for vehicle
KR20190063601A (ko) * 2017-11-30 2019-06-10 재단법인대구경북과학기술원 실감형 ｈｕｄ의 향상된 ｕｉ／ｕｘ 제공을 위한 증강정보 시뮬레이터
CN110320664A (zh) * 2018-03-30 2019-10-11 深圳市掌网科技股份有限公司 一种车辆增强现实显示装置以及车辆全景显示系统
CN108515909A (zh) * 2018-04-04 2018-09-11 京东方科技集团股份有限公司 一种汽车抬头显示系统及其障碍物提示方法
CN109493305A (zh) * 2018-08-28 2019-03-19 初速度（苏州）科技有限公司 一种人眼视线与前景图像叠加的方法及系统
CN109688392A (zh) * 2018-12-26 2019-04-26 联创汽车电子有限公司 Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
CN110304057A (zh) * 2019-06-28 2019-10-08 威马智慧出行科技（上海）有限公司 汽车碰撞预警、导航方法、电子设备、系统及汽车

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
安喆，徐熙平等: "《光学透射式汽车抬头显示器系统的虚拟注册方法研究》", 《兵工学报》 *
蒋汪萍，李媛: "《汽车新技术》", 31 May 2016, 吉林大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363591A (zh) * 2020-10-12 2022-04-15 通用汽车环球科技运作有限责任公司 调整投影到挡风玻璃上的图像的位置和失真的系统和方法
CN114363591B (zh) * 2020-10-12 2023-08-29 通用汽车环球科技运作有限责任公司 调整投影到挡风玻璃上的图像的位置和失真的系统和方法
CN112738487A (zh) * 2020-12-24 2021-04-30 北京百度网讯科技有限公司 图像投射方法、装置、设备及存储介质
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质
US11715238B2 (en) 2020-12-24 2023-08-01 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Image projection method, apparatus, device and storage medium
CN113223076A (zh) * 2021-04-07 2021-08-06 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113223076B (zh) * 2021-04-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
CN113434620A (zh) * 2021-06-25 2021-09-24 阿波罗智联(北京)科技有限公司 显示方法、装置、设备、存储介质以及计算机程序产品
CN114454814A (zh) * 2022-01-26 2022-05-10 深圳时空科技集团有限公司 一种增强现实的人机交互方法及设备
CN114454814B (zh) * 2022-01-26 2023-08-11 深圳时空数字科技有限公司 一种增强现实的人机交互方法及设备

Similar Documents

Publication Publication Date Title
CN111086453A (zh) 一种基于摄像头的hud增强现实显示方法、装置及汽车
CN107554425B (zh) 一种增强现实车载平视显示器ar-hud
US10984580B2 (en) Adjusting depth of augmented reality content on a heads up display
US10981055B2 (en) Position-dependent gaming, 3-D controller, and handheld as a remote
US10929997B1 (en) Selective propagation of depth measurements using stereoimaging
US9922464B2 (en) Occluded virtual image display
CN109478345B (zh) 模拟系统、处理方法及信息存储介质
US10843686B2 (en) Augmented reality (AR) visualization of advanced driver-assistance system
CN103885573B (zh) 车用显示系统的自动校正方法及其系统
AU2018206892B2 (en) Augmented reality display reflective of visibility affecting features in real-world environment
CN106373197B (zh) 一种增强现实的方法及增强现实装置
US10120442B2 (en) Eye tracking using a light field camera on a head-mounted display
WO2022241638A1 (zh) 一种投影方法及装置、车辆及ar-hud
CN109840014A (zh) 虚拟触摸识别装置及用于校正其识别误差的方法
CN104076513A (zh) 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104380347A (zh) 视频处理设备、视频处理方法和视频处理系统
CN110703904A (zh) 一种基于视线跟踪的增强虚拟现实投影方法及系统
CN108375830A (zh) 平视显示器装置和显示控制方法
CN207752239U (zh) 一种车载增强现实抬头显示系统
WO2014108799A2 (en) Apparatus and methods of real time presenting 3d visual effects with stereopsis more realistically and substract reality with external display(s)
CN110717945B (zh) 一种视觉标定方法、车机及汽车
CN112703527A (zh) 平视显示器（hud）内容控制系统和方法
CN110895676A (zh) 动态对象跟踪
CN111727399A (zh) 显示系统、移动体以及设计方法
CN210139817U (zh) 汽车增强现实显示系统及汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 230000 a10-01, 13 / F, block a, building J1, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei Jiangcheng Technology Co.,Ltd.

Address before: 518000 1st floor, North Block A, Room 203, 2nd floor, Jinke office building, 8 Qiongyu Road, Science Park community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN JIANG CHENG TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200501

RJ01 Rejection of invention patent application after publication