CN109961522A - 图像投射方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开一种图像投射方法、装置、设备和存储介质。该方法包括：依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；依据目标物体在车辆坐标系中的三维坐标、摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将目标物体的三维虚拟图像投射到各显示设备的实景图像中。本发明实施例在实现将目标物体的三维虚拟图像投射到显示设备的实景图像的基础上，通过统一在车辆坐标系下进行目标物体三维坐标的确定，提高了图像增强效果在不同显示设备上的可迁移性，避免针对不同显示设备进行重复的位置计算导致系统资源浪费等问题，提高了图像增强效果投射效率和准确度，增强了图像增强效果与实景之间的贴合度。

Description

图像投射方法、装置、设备和存储介质

技术领域

本发明实施例涉及智能驾驶以及图像增强技术领域，尤其涉及一种图像投射方法、装置、设备和存储介质。

背景技术

随着计算机技术的快速发展，AR(Augmented Reality，增强现实)技术得到广泛应用，其通过将数字图像覆盖在人们所能看到的真实世界中，实现将AR投射出来的信息与真实环境融合为一体。

在智能驾驶场景中，通过将摄像头采集并处理得到的AR物体投射到显示设备的真实画面中，实现AR效果的渲染。目前，可以直接使用图像坐标系进行AR效果渲染，或者按照固定的坐标系及比例尺将AR效果投射到实景中。其中，针对不同的显示设备，还需进行符合该显示设备的AR物体位置计算。

然而，现有技术对于显示设备的依赖性较强，AR效果难以迁移到不同显示设备的实景图像中，对于不同的显示设备均需重复性的AR物体位置计算，浪费系统资源，降低AR效果投射效率和准确度，与实景贴合度较差。

发明内容

本发明实施例提供了一种图像投射方法、装置、设备和存储介质，提高AR效果投射效率和准确度，增强AR效果与实景之间的贴合度，便于在不同显示设备上的迁移。

第一方面，本发明实施例提供了一种图像投射方法，包括：

依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；

依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中。

第二方面，本发明实施例提供了一种图像投射装置，包括：

AR物体坐标确定模块，用于依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；

AR投射模块，用于依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中。

第三方面，本发明实施例提供了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的图像投射方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的图像投射方法。

本发明实施例以摄像头为基准，确定目标物体在车辆坐标系下三维坐标的确定，利用显示设备的等效摄像机模型，将目标物体的三维虚拟图像投射到显示设备的实景图像当中。本发明实施例在实现将目标物体的三维虚拟图像投射到显示设备的实景图像的基础上，通过统一在车辆坐标系下进行目标物体三维坐标的确定，提高了图像增强效果在不同显示设备上的可迁移性，避免了针对不同显示设备进行重复的位置计算导致系统资源浪费等问题，提高了图像增强效果投射效率和准确度，增强了图像增强效果与实景之间的贴合度。

附图说明

图1为本发明实施例一提供的一种图像投射方法的流程图；

图2为本发明实施例一提供的车辆坐标系的示例图；

图3为本发明实施例二提供的一种图像投射方法的流程图；

图4为本发明实施例二提供的确定目标物体在车辆坐标系中三维坐标的示例图；

图5为本发明实施例二提供的抬头显示器的等效摄像机模型；

图6为本发明实施例二提供的AR投射系统框架示例图；

图7为本发明实施例二提供的AR图像投影效果示例图；

图8为本发明实施例三提供的一种图像投射装置的结构示意图；

图9为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种图像投射方法的流程图，本实施例可适用于在智能驾驶的过程中，将实际目标物体对应的三维虚拟图像投射到能够显示实景的显示设备当中的情况，该方法可由一种图像投射装置来执行，该装置可以采用软件和/或硬件的方式实现，优选是配置于智能驾驶车辆的显示设备上，例如中控屏、仪表盘、抬头显示器以及电子导航设备等。该方法具体包括如下：

S110、依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标。

在本发明具体实施例中，将实际场景中的物体对应的三维虚拟图像投射到实际场景或实际场景的二维图像当中，对实际场景进行图像增强，其使用场景为智能驾驶场景，以获得车辆驾驶参数。在智能驾驶场景中，智能驾驶车辆中可以安装有摄像头和显示设备。其中摄像头为一个，显示设备可以为一个或多个。

其中，摄像头可以是独立于显示设备的外接摄像头，也可以是显示设备上自带的摄像头，用于采集智能驾驶车辆周围环境的图像信息，尤其是行驶方向上的道路环境信息。所采集的实际场景图像可以是单张图像，也可以是多张图像，还可以是视频。摄像头具有内部参数和外部参数，摄像头内部参数可以包括视角(Field of Vision，FOV)、畸变参数、分辨率以及焦距等，摄像头外部参数可以包括摄像头距离地面高度、位置以及姿态角等。摄像头的内部参数和外部参数可以通过摄像机标定的方法预先确定，并进行存储。显示设备可以是中控屏、仪表盘、抬头显示器以及电子导航设备等车载显示设备，用于显示摄像头所采集的实际场景或实际场景的图像。图像中可以包括道路、指示灯、路标以及障碍物等物体。相应的，目标物体可以是图像中任何需要进行图像增强的物体，例如道路、行人、车辆以及路标等。

本实施例采用车辆坐标系对目标物体进行统一衡量，其中车辆坐标系是指用来描述车辆运动的特殊坐标系。图2为车辆坐标系的示例图，如图2所示，本实施例所采用的车辆坐标系以摄像头投影到地面上的投影点为坐标原点O，以平行于地面的车辆行进方向为X轴正方向，以平行于地面的且指向车辆左侧即与X轴垂直的方向为Y轴正方向，以垂直于地面即垂直于X轴与Y轴构成的平面，并指向上方的方向为Z轴正方向。

具体的，采用摄像头对智能驾驶车辆周围环境进行图像采集，对摄像头所采集的图像进行识别，确定目标物体。其中，该目标物体可以是指定待识别的物体，也可以在实际环境中任何一个存在的物体。此外，该目标物体还可以是根据车辆当前行驶的定位信息，从地图数据中提取的在车辆行驶方向上的物体。从而依据摄像头参数以及摄像头的成像平面，计算目标物体在车辆坐标系中的三维坐标。

S120、依据目标物体在车辆坐标系中的三维坐标、摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将目标物体的三维虚拟图像投射到各显示设备的实景图像中。

在本发明具体实施例中，等效摄像机模型用于模拟以显示设备所在的图像采集视角对应的三维虚拟场景，类似于摄像头，等效摄像机模型也具有内部参数和外部参数，并预先存储。等效摄像机模型需要根据显示设备的实现原理来获得，因此，对于能够直接显示摄像头所采集图像的显示设备，例如手机等设备，其等效摄像机模型即为当前采集图像的摄像头本身。相应的，摄像头的外部参数可以直接作为等效摄像机模型的外部参数；基于摄像头的内部参数，可以依据摄像头分辨率与该显示设备分辨率之间的比值，来确定等效摄像机模型的内部参数。对于抬头显示器(Head Up Display，HUD)，其等效摄像机模型为成像平面与光线反向延长线的交点组成的小孔成像模型。相应的，类似于摄像头，可以依据抬头显示器的光机，确定等效摄像机模型的内部参数；可以依据抬头显示器的安装位置，确定等效摄像机模型的外部参数。

具体的，在确定了目标物体在车辆坐标系中的三维坐标之后，可以依据目标物体上各点的三维坐标，构建目标物体在车辆坐标系中的三维虚拟图像。对于每个显示设备，依据摄像头参数以及各显示设备的等效摄像机模型的等效参数，利用配置在图形处理器(Graphics Processing Unit，GPU)上运行的开放式图形库(Open Graphics Library，OpenGL)参数，确定摄像头所采集的当前实际场景与等效摄像机模型模拟的三维虚拟场景之间的转换关系，从而依据当前实际场景与三维虚拟场景之间的转换关系，对目标物体在车辆坐标系中的三维坐标进行转换，启动GPU渲染过程，将目标物体在三维虚拟场景中的三维虚拟图像，投射到各个显示设备的实景图像中。

本实施例的技术方案，以摄像头为基准，确定目标物体在车辆坐标系下三维坐标的确定，利用显示设备的等效摄像机模型，将目标物体的三维虚拟图像投射到显示设备的实景图像当中。本发明实施例在实现将目标物体的三维虚拟图像投射到显示设备的实景图像的基础上，通过统一在车辆坐标系下进行目标物体三维坐标的确定，提高了图像增强效果在不同显示设备上的可迁移性，避免了针对不同显示设备进行重复的位置计算导致系统资源浪费等问题，提高了图像增强效果投射效率和准确度，增强了图像增强效果与实景之间的贴合度。

实施例二

本实施例在上述实施例一的基础上，提供了图像投射方法的一个优选实施方式，能够依据显示设备的等效摄像机模型确定当前实际场景与三维虚拟场景之间的转换关系。图3为本发明实施例二提供的一种图像投射方法的流程图，如图3所示，该方法包括：

S310、依据摄像头参数，确定目标物体在车辆坐标系中的三维坐标。

在本发明具体实施例中，目标物体可以是从实际场景中获取的物体，也可以是依据车辆定位信息，从地图数据中获取的物体。从而依据摄像头参数，确定目标物体在车辆坐标系中的三维坐标。

可选的，对摄像头所采集图像进行识别，确定目标物体；依据摄像头参数以及摄像头的成像平面，计算目标物体在车辆坐标系中的三维坐标。

本实施例中，可以采用深度学习等算法对图像中的物体进行识别，以此确定图像中存在的物体或感兴趣物体。目标物体可以是实际场景中固有的物体，例如道路以及路标等静态物体，也可以是实际场景中随时出现的静态或动态的物体，例如行人或车辆等。本实施例不对图像识别算法进行限定，任何能够实现图像识别的算法都可以应用于本实施例中。从而据摄像头参数以及摄像头的成像平面，计算目标物体在车辆坐标系中的三维坐标。

具体的，依据摄像头焦距、摄像头距离地面高度、摄像头光轴与地平面之间的夹角以及成像平面分辨率，计算目标物体在车辆坐标系上的坐标。图4为确定目标物体在车辆坐标系中三维坐标的示例图，如图4所示，车辆坐标系O由X轴、Y轴和Z轴构成，摄像头在Z轴的位置C处，距离地面高度为H；成像平面I中包括图像坐标系O'，由u轴和v轴构成；车道线位于地平面即XOY平面上。对于车辆坐标系中位于地平面即XOY平面上的一点(x,y,0)，依据该点在图像坐标系中的坐标(u,v)，可以构建如下等效关系，即：其中，f为摄像头焦距，e_u×e_v为图像平面上每个像素的物理大小，θ为摄像机光轴与车道平面即XOY平面之间的夹角，例如俯仰角或倾角。从而可以得到目标物体在车辆坐标系中X坐标值为目标物体在车辆坐标系中Y坐标值为同理，依据同样的转换关系可以得到目标物体在车辆坐标系中Z坐标值。

可选的，依据车辆定位信息，从地图数据中提取车辆行驶方向上的物体作为目标物体；依据摄像头参数，确定目标物体在车辆坐标系中的三维坐标。

本实施例中，车辆中通常安装有GPS定位系统，相应的，可以实时获取车辆的定位信息，从地图数据中提取车辆行驶方向上的物体作为目标物体。目标物体可以是实际场景中固有的并载入地图数据库中的物体，例如道路以及路标等静态物体。从而依据摄像头参数，以及目标物体在地图数据中的位置参数，确定目标物体在车辆坐标系中的三维坐标。由此，在天气恶劣影响驾驶视线的情况下，可以通过从地图数据中获取目标物体信息，对视野内的目标物体进行图像增强，辅助驾驶员了解道路信息。

S320、依据各显示设备，确定各显示设备的等效摄像机模型，以及各等效摄像机模型的等效参数。

在本发明具体实施例中，等效摄像机模型用于模拟以显示设备所在的图像采集视角对应的三维虚拟场景，类似于摄像头，等效摄像机模型也具有内部参数和外部参数。

可选的，若显示设备属于直接显示摄像头所采集图像的设备，则将摄像头确定为该显示设备的等效摄像机模型；相应的，确定各等效摄像机模型的等效参数，包括：确定摄像头的外部参数作为等效摄像机模型的外部参数；基于摄像头的内部参数，依据摄像头分辨率与该显示设备分辨率之间的比值，确定等效摄像机模型的内部参数。

本实施例中，对于能够直接显示摄像头所采集图像的显示设备，例如手机等设备，其等效摄像机模型即为当前采集图像的摄像头本身。相应的，等效摄像机模型的外部参数即为摄像头的外部参数。基于摄像头的内部参数，依据摄像头分辨率与该显示设备分辨率之间的比值进行等比例变换，即可确定等效摄像机模型的内部参数。

可选的，若显示设备为抬头显示器，则确定抬头显示器的等效摄像机模型为小孔成像模型；相应的，确定各等效摄像机模型的等效参数，包括：依据抬头显示器的光机，确定该显示设备的等效摄像机模型的内部参数；依据抬头显示器的安装位置，确定该显示设备的等效摄像机模型的外部参数。

本实施例中，抬头显示器的等效摄像机模型如图5所示，依据小孔成像原理将虚拟图像投射到车辆挡风玻璃上。依据抬头显示器的光机，确定等效摄像机模型的内部参数；可以依据抬头显示器的安装位置，确定等效摄像机模型的外部参数。

S330、依据摄像头参数，以及各等效摄像机模型的等效参数，确定当前实际场景与三维虚拟场景之间的转换关系。

在本发明具体实施例中，对于能够直接显示摄像头所采集图像的显示设备，摄像头采集的图像用于显示设备中实景图像的显示，以及目标物体的投射；对于抬头显示器，摄像头采集的图像用于目标物体的投射。等效摄像机模型用于模拟与显示设备展示的实景对应的三维虚拟场景。因此，依据摄像头参数以及各等效摄像机模型的等效参数，确定转换关系，将基于摄像头参数确定的车辆坐标系，转换至等效摄像机模型模拟的三维虚拟场景，实现实际场景与三维虚拟场景的对应，以使三维虚拟场景与实际场景完全贴合。

S340、依据转换关系，对目标物体在车辆坐标系中的三维坐标进行转换，将目标物体在三维虚拟场景中的三维虚拟图像，投射到各个显示设备的实景图像中。

在本发明具体实施例中，统一在车辆坐标系中计算目标物体的三维坐标，构建目标物体的三维虚拟图像，从而仅仅依据当前实际场景与三维虚拟场景之间的转换关系，将目标物体在三维虚拟场景中的三维虚拟图像，投射到各个显示设备的实景图像中。避免了对于不同的显示设备，都要进行目标物体确定、坐标计算以及转换投射的完整的流程，从而便于将目标物体的图像增强渲染效果迁移到不同的显示设备上，实现图像增强效果的准确投射。

示例性的，图6为AR投射系统框架示例图。如图6所示，本实施例中的AR投射系统可以包括摄像头、图像识别引擎、地图数据输入接口、AR计算引擎、显示设备参数配置以及摄像头参数配置接口、GPU以及至少一个显示设备。具体的，摄像头采集实际场景图像，传输至GPU，作为实景图像待AR效果渲染。同时，可以将实际场景图像传输至图像识别引擎，用于识别目标物体；或者，还可以通过地图数据输入接口，获取地图数据中的目标物体。然后由AR计算引擎计算目标物体在车辆坐标系中的三维坐标，并传输至GPU。最终，由GPU依据参数配置接口确定的摄像头参数以及不同显示设备参数，进行实际场景和三维虚拟场景之间对应关系的确定，以此将目标物体的AR效果渲染至实景图像中，并在对应的显示设备上进行显示，实现图像增强的效果。

示例性的，图7为AR图像投影效果示例图。如图7所示，车辆包括抬头显示器以及手机两个显示设备。在车辆行驶过程中，根据车辆定位信息，从地图数据中获得导航路线信息，并将确定的导航路线以图像增强的形式投射至各个显示设备中。从而在抬头显示器中，对挡风玻璃透视的实景进行导航路线图像增强，并对手机导航中的实景图像进行导航路线图像增强。其中，导航路线作为目标物体，统一确定其在车辆坐标系中的三维坐标，从而只需分别依据摄像头与显示设备等效摄像机模型之间的转换关系，将导航路线的增强图像投射至对应的显示设备中即可，而避免重复计算导航路线在抬头显示器以及手机中所呈现图像的坐标信息。

值得注意的是，上述实现效果仅是示例性说明，并不限制实际方案的显示效果。

本实施例的技术方案，以摄像头为基准，确定目标物体在车辆坐标系下三维坐标的确定，利用显示设备的等效摄像机模型，依据摄像头参数以及各等效摄像机模型的等效参数，确定当前实际场景与三维虚拟场景之间的转换关系，从而依据转换关系将目标物体的三维虚拟图像投射到显示设备的实景图像当中。本发明实施例在实现将目标物体的三维虚拟图像投射到显示设备的实景图像的基础上，通过统一在车辆坐标系下进行目标物体三维坐标的确定，提高了图像增强效果在不同显示设备上的可迁移性，避免了针对不同显示设备进行重复的位置计算导致系统资源浪费等问题，提高了图像增强效果投射效率和准确度，增强了图像增强效果与实景之间的贴合度。

实施例三

图8为本发明实施例三提供的一种图像投射装置的结构示意图，本实施例可适用于在智能驾驶的过程中，将实际目标物体对应的三维虚拟图像投射到能够显示实景的显示设备当中的情况，该装置可实现本发明任意实施例所述的图像投射方法。该装置具体包括：

AR物体坐标确定模块810，用于依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；

AR投射模块820，用于依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中。

可选的，所述AR物体坐标确定模块810包括：

图像识别单元8101，用于对所述摄像头所采集图像进行识别，确定目标物体；

坐标计算单元8102，用于依据所述摄像头参数以及摄像头的成像平面，计算所述目标物体在车辆坐标系中的三维坐标。

可选的，所述坐标计算单元8102具体用于：

依据摄像头焦距、摄像头距离地面高度、摄像头光轴与地平面之间的夹角以及成像平面分辨率，计算所述目标物体在车辆坐标系上的坐标。

可选的，所述AR投射模块820包括：

显示设备等效单元8201，用于依据各显示设备，确定各显示设备的等效摄像机模型，以及各等效摄像机模型的等效参数；其中，所述等效摄像机模型用于模拟三维虚拟场景；

场景转换单元8202，用于依据所述摄像头参数，以及各等效摄像机模型的等效参数，确定当前实际场景与三维虚拟场景之间的转换关系；

AR投射单元8203，用于依据所述转换关系，对所述目标物体在车辆坐标系中的三维坐标进行转换，将所述目标物体在三维虚拟场景中的三维虚拟图像，投射到各个显示设备的实景图像中。

可选的，所述显示设备等效单元8201具体用于：

若显示设备属于直接显示摄像头所采集图像的设备，则将所述摄像头确定为该显示设备的等效摄像机模型；

相应的，确定各等效摄像机模型的等效参数，包括：

确定所述摄像头的外部参数作为所述等效摄像机模型的外部参数；

基于所述摄像头的内部参数，依据摄像头分辨率与该显示设备分辨率之间的比值，确定所述等效摄像机模型的内部参数。

可选的，所述显示设备等效单元8201具体用于：

若显示设备为抬头显示器，则确定所述抬头显示器的等效摄像机模型为小孔成像模型；

相应的，确定各等效摄像机模型的等效参数，包括：

依据所述抬头显示器的光机，确定该显示设备的等效摄像机模型的内部参数；

依据所述抬头显示器的安装位置，确定该显示设备的等效摄像机模型的外部参数。

进一步的，所述装置还包括地图数据获取模块830；所述地图数据获取模块830具体用于：

依据车辆定位信息，从地图数据中提取所述车辆行驶方向上的物体作为目标物体；

依据摄像头参数，确定所述目标物体在车辆坐标系中的三维坐标。

本实施例的技术方案，通过各个功能模块之间的相互配合，实现了实景图像采集、图像识别、地图数据提取、目标物体确定、三维坐标计算、等效模型确定、场景关系转换以及AR效果投射等功能。本发明实施例在实现将目标物体的三维虚拟图像投射到显示设备的实景图像的基础上，通过统一在车辆坐标系下进行目标物体三维坐标的确定，提高了图像增强效果在不同显示设备上的可迁移性，避免了针对不同显示设备进行重复的位置计算导致系统资源浪费等问题，提高了图像增强效果投射效率和准确度，增强了图像增强效果与实景之间的贴合度。

实施例四

图9为本发明实施例四提供的一种设备的结构示意图，图9示出了适于用来实现本发明实施例实施方式的示例性设备的框图。图9显示的设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

图9显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。该设备12优选为智能驾驶车辆的显示设备，例如中控屏、仪表盘、抬头显示器以及电子导航设备等。

如图9所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器16，系统存储器28，连接不同系统组件(包括系统存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明实施例所描述的实施例中的功能和/或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的图像投射方法。

实施例五

本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行一种图像投射方法，该方法包括：

依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；

依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像投射方法，其特征在于，包括：

依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；

依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中。

2.根据权利要求1所述的方法，其特征在于，所述依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标，包括：

对所述摄像头所采集图像进行识别，确定目标物体；

依据所述摄像头参数以及摄像头的成像平面，计算所述目标物体在车辆坐标系中的三维坐标。

3.根据权利要求2所述的方法，其特征在于，所述依据所述摄像头参数以及摄像头的成像平面，计算所述目标物体在车辆坐标系中的三维坐标，包括：

依据摄像头焦距、摄像头距离地面高度、摄像头光轴与地平面之间的夹角以及成像平面分辨率，计算所述目标物体在车辆坐标系上的坐标。

4.根据权利要求1所述的方法，其特征在于，所述依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中，包括：

依据各显示设备，确定各显示设备的等效摄像机模型，以及各等效摄像机模型的等效参数；其中，所述等效摄像机模型用于模拟三维虚拟场景；

依据所述摄像头参数，以及各等效摄像机模型的等效参数，确定当前实际场景与三维虚拟场景之间的转换关系；

依据所述转换关系，对所述目标物体在车辆坐标系中的三维坐标进行转换，将所述目标物体在三维虚拟场景中的三维虚拟图像，投射到各个显示设备的实景图像中。

5.根据权利要求4所述的方法，其特征在于，所述依据各显示设备，确定各显示设备的等效摄像机模型，包括：

若显示设备属于直接显示摄像头所采集图像的设备，则将所述摄像头确定为该显示设备的等效摄像机模型；

相应的，确定各等效摄像机模型的等效参数，包括：

确定所述摄像头的外部参数作为所述等效摄像机模型的外部参数；

基于所述摄像头的内部参数，依据摄像头分辨率与该显示设备分辨率之间的比值，确定所述等效摄像机模型的内部参数。

6.根据权利要求4所述的方法，其特征在于，所述依据各显示设备，确定各显示设备的等效摄像机模型，包括：

若显示设备为抬头显示器，则确定所述抬头显示器的等效摄像机模型为小孔成像模型；

相应的，确定各等效摄像机模型的等效参数，包括：

依据所述抬头显示器的光机，确定该显示设备的等效摄像机模型的内部参数；

依据所述抬头显示器的安装位置，确定该显示设备的等效摄像机模型的外部参数。

7.根据权利要求1所述的方法，其特征在于，在所述依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中之前，所述方法还包括：

依据车辆定位信息，从地图数据中提取所述车辆行驶方向上的物体作为目标物体；

依据摄像头参数，确定所述目标物体在车辆坐标系中的三维坐标。

8.一种图像投射装置，其特征在于，包括：

AR物体坐标确定模块，用于依据摄像头参数，确定摄像头所采集图像中的目标物体在车辆坐标系中的三维坐标；

AR投射模块，用于依据所述目标物体在车辆坐标系中的三维坐标、所述摄像头参数，以及各显示设备的等效摄像机模型的等效参数，将所述目标物体的三维虚拟图像投射到各显示设备的实景图像中。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的图像投射方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的图像投射方法。