CN110750153A - 一种无人驾驶车辆的动态虚拟化装置 - Google Patents
一种无人驾驶车辆的动态虚拟化装置 Download PDFInfo
- Publication number
- CN110750153A CN110750153A CN201910859782.7A CN201910859782A CN110750153A CN 110750153 A CN110750153 A CN 110750153A CN 201910859782 A CN201910859782 A CN 201910859782A CN 110750153 A CN110750153 A CN 110750153A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- virtual
- view camera
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 claims description 28
- 238000010276 construction Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 206010039203 Road traffic accident Diseases 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 3
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 3
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000026676 system process Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请提供了一种无人驾驶车辆的动态虚拟化装置，包括无人驾驶车辆采集系统、车路协同后台系统以及远端VR显示系统；无人驾驶车辆采集系统用于采集无人驾驶车辆的车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据，并将车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据上传至车路协同后台系统；车路协同后台系统用于根据车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据构建虚拟车辆驾驶画面，并将虚拟车辆驾驶画面发送至远端VR显示系统。本申请通过远端VR显示系统将无人驾驶车辆的实际场景呈现，使得远端体验人员在体验驾驶车辆的操作感的同时避免了出现车祸的风险。
Description
技术领域
本申请涉及交通技术领域，特别是涉及一种无人驾驶车辆的动态虚拟化装置。
背景技术
无人驾驶车辆是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。它是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。
无人驾驶车辆的优势在于，远端体验人员不需要随着汽车一同移动，一方面可以获得更多的时间处理其他更重要的事情，另一方面可以避免汽车在行驶过程中可能会遇到的危险。然而，远端体验人员不在车辆中，也就缺少了驾驶车辆的操作感；目前，远端体验人员只能通过地图显示无人驾驶车辆所处的位置和运动轨迹，并不能通过远程体验驾驶车辆的操作感，因此，亟需一种既能够保证远端体验人员不处于驾驶避免其可能存在的车祸风险，也能够体验驾驶车辆的操作感的装置。
发明内容
本申请提供一种无人驾驶车辆的动态虚拟化装置，以解决不能在体验驾驶车辆的操作感和指导以及技术问题判断的同时避免可能存在的车祸的问题。
一种无人驾驶车辆的动态虚拟化装置，包括无人驾驶车辆采集系统、车路协同后台系统以及远端VR显示系统；
所述无人驾驶车辆采集系统用于采集无人驾驶车辆的车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据，并将所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据上传至所述车路协同后台系统；
所述车路协同后台系统用于根据所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据构建虚拟车辆驾驶画面，并将所述虚拟车辆驾驶画面发送至所述远端VR显示系统；
所述远端VR显示系统用于显示所述虚拟车辆驾驶画面。
进一步地，所述车路协同后台系统包括车辆内部虚拟场景构建模块和车辆外部虚拟场景构建模块；
所述车辆内部虚拟场景构建模块用于根据所述车辆内部图像，构建所述虚拟车辆驾驶画面中的车辆内部虚拟场景；
所述车辆内部虚拟场景构建模块用于根据所述人车接口数据，构建包含在所述车辆内部虚拟场景中的操作虚拟组件；
所述车辆外部虚拟场景构建模块用于根据所述车辆外部图像，构建所述虚拟车辆驾驶画面中的车辆外部虚拟场景；
所述车辆外部虚拟场景构建模块用于根据所述车辆传感器数据，构建包含在所述车辆外部虚拟场景中的障碍物虚拟组件；
所述车路协同后台系统将所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件发送至所述远端VR显示系统；
所述远端VR显示系统用于显示所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件，以实现在所述远端VR显示系统中还原无人驾驶车辆所处的真实情景以及操作界面。
进一步地，所述无人驾驶车辆采集系统包括车辆外部摄像头，所述车辆外部摄像头用于采集所述车辆外部图像；
其中，所述车辆外部摄像头包括前视摄像头、后视摄像头以及侧视摄像头；
所述前视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的前方图像；
所述后视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的后方图像；
所述侧视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的侧面图像。
进一步地，所述无人驾驶车辆采集系统还包括图像拼接模块，所述图像拼接模块用于接收所述前方图像、后方图像以及侧面图像，并根据所述前方图像、所述后方图像以及所述侧面图像获得无人驾驶车辆的所述车辆外部图像中包含的全景图像。
进一步地，获得所述全景图像的步骤包括：
校准所述前视摄像头、所述后视摄像头以及所述侧视摄像头在物理位置；
获得所述前视摄像头采集的原始前方图像、所述后视摄像头采集的原始后方图像以及所述侧视摄像头采集的原始侧面图像；
根据所述前视摄像头、所述后视摄像头以及所述侧视摄像头的位置信息和角度信息，将所述原始前方图像、所述原始后方图像以及所述原始侧面图像进行坐标转换，获得坐标转换后的第一前方图像、第一后方图像以及第一侧面图像；
根据图像畸变原理，将所述第一前方图像、所述第一后方图像以及所述第一侧面图像进行畸变校正，获得第二前方图像、第二后方图像以及第二侧面图像；
将所述第二前方图像、所述第二后方图像以及所述第二侧面图像进行投影变换，获得投影变换后的第三前方图像、第三后方图像以及第三侧面图像；
确定所述第三前方图像、所述第三后方图像以及所述第三侧面图像中多个相应的特征匹配点；
根据几何运动模型和所述多个相应的特征匹配点，将所述第三前方图像、所述第三后方图像以及所述第三侧面图像注册到同一个坐标系中，将所述第二前方图像、所述第二后方图像以及所述第二侧面图像在同一个坐标系中合成所述全景图像。
进一步地，在将所述第二前方图像、所述第二后方图像以及所述第二侧面图像在同一个坐标系中合成所述全景图像之后，还包括：
根据所述前视摄像头、所述后视摄像头以及所述侧视摄像头各自的光照模型，分别校正所述全景图像中与所述第二前方图像、所述第二后方图像以及所述第二侧面图像对应的图像的光照不均匀性；
根据所述全景图像中与所述第二前方图像、所述第二后方图像以及所述第二侧面图像对应的相邻两个图像重叠区域之间的关系，建立相邻两个图像之间的直方图映射表；
根据所述直方图映射表，对相邻两个图像进行整体映射变换，获得光照一致的全景图像。
进一步地，所述无人驾驶车辆采集系统还包括车辆内部监控摄像头，所述车辆内部监控摄像头用于采集所述车辆内部图像。
进一步地，所述无人驾驶车辆采集系统还包括激光雷达、毫米波雷达以及超声波雷达中的一种或多种，所述激光雷达、毫米波雷达以及超声波雷达均用于检测无人驾驶车辆周围的障碍物的距离、速度以及加速度。
进一步地，所述无人驾驶车辆采集系统还包括车辆关键部件传感器，所述车辆关键部件传感器用于检测无人驾驶车辆的关键部件的状态数据。
进一步地，所述无人驾驶车辆采集系统与所述车路协同后台系统之间通过5G网络通信传输；所述车路协同后台系统与所述远端VR显示系统之间通过5G网络通信传输。
与现有技术相比，本申请包括以下优点：
本申请将无人驾驶车辆的实际场景转换为图像数据和传感器数据，并将相关数据通过5G网络传输至车路协同后台系统，车路协同后台系统对相关数据进行处理后再通过5G网络传输至远端VR显示系统，通过远端VR显示系统将无人驾驶车辆的实际场景呈现，远端体验人员可以通过远端VR显示系统体验驾驶无人驾驶车辆的操作感，同时，由于远端VR显示系统处于远端，使得远端体验人员在体验驾驶车辆的操作感和指导以及技术问题判断的同时避免了出现车祸的风险。
附图说明
为了更清楚地说明本申请各个实施案例的技术方案，下面将对本申请各个实施案例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施案例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施案例中一种无人驾驶车辆的动态虚拟化装置结构示意图；
图2是本申请实施案例中获取全景图像的流程图；
图3是本申请实施案例中摄像头的运动方式与成像结果之间的关系；
图4a、图4b、图4c是本申请实施案例中对图像进行坐标变换的示例图；
图5a、图5b、图5c是本申请实施案例中对图像进行畸变校正的示例图；
图6是本申请实施案例中图像拼接处理的流程示意图；
图7是本申请实施案例中标定匹配特征点的示例图；
图8是本申请实施案例中需要进行图像拼接的示例图；
图9是本申请实施案例中将图8中的块图进行图像拼接后的示例图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
无人驾驶车辆可以让远端体验人员解放双手，甚至远端体验人员可以不需要在无人驾驶车辆内，就可以实现无人驾驶车辆的驾驶，这样能够避免因远端体验人员在车内遭遇车祸的情况发生或或降低遭遇车祸的几率，但是，这样就缺少了驾驶车辆的操作感。同时，由于自动驾驶技术尚未成熟，需要领导或者技术人员给予远程指导。这就需要具有实际驾驶感受的VR体验装置，以便领导和技术人员及时判断和发现存在的问题。
为了实现在体验驾驶车辆的操作感和指导以及技术问题判断的同时避免可能存在的车祸风险，本申请提出了一种无人驾驶车辆的动态虚拟化装置，将无人驾驶车辆的实际场景转换为图像数据和传感器数据，并将相关数据通过5G网络传输至车路协同后台系统，车路协同后台系统对相关数据进行处理后再通过5G网络传输至远端VR显示系统，通过远端VR显示系统将无人驾驶车辆的实际场景呈现，远端体验人员可以通过远端VR显示系统体验驾驶无人驾驶车辆的操作感，同时，由于远端VR显示系统处于室内，使得远端体验人员在体验驾驶车辆的操作感的同时避免了出现车祸的风险。
本申请实施案例提出的一种无人驾驶车辆的动态虚拟化装置，具体如下：
如图1所示，一种无人驾驶车辆的动态虚拟化装置，包括无人驾驶车辆采集系统、车路协同后台系统以及远端VR显示系统；
所述无人驾驶车辆采集系统与所述车路协同后台系统之间通过5G网络通信传输；所述车路协同后台系统与所述远端VR显示系统之间通过5G网络通信传输。
所述无人驾驶车辆采集系统用于采集无人驾驶车辆的车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据，并将所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据上传至所述车路协同后台系统；
所述车路协同后台系统用于根据所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据构建虚拟车辆驾驶画面，并将所述虚拟车辆驾驶画面发送至所述远端VR显示系统；
所述远端VR显示系统用于显示所述虚拟车辆驾驶画面。
为了实现在远端就能体会到驾驶无人驾驶车辆的操作感，首先需要获知无人驾驶车辆在路上行驶时周围的路况信息，本申请为了获知无人驾驶车辆在路上行驶时周围的路况信息，应用无人驾驶车辆采集系统对无人驾驶车辆周围的路况信息进行采集。
无人驾驶车辆采集系统主要采集的是车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据。
所述无人驾驶车辆采集系统包括车辆内部监控摄像头，所述车辆内部监控摄像头用于采集所述车辆内部图像。
车辆内部监控摄像头可以采用普通监控摄像头。车辆内部图像主要包括驾驶操作台和乘客所处位置，因此一般采用两个普通监控摄像头，一个普通监控摄像头用于采集驾驶操作台的图像，另一个普通监控摄像头用于采集乘客所处位置的图像。
无人驾驶车辆外部的环境状况与无人驾驶车辆的安全驾驶息息相关，因此，车辆外部图像对于无人驾驶车辆是极其重要的。
本申请实施案例中，采用了至少4个摄像头用于采集无人驾驶车辆的前方、后方、左侧、右侧四个方向的图像数据。基于摄像头的成本较低、技术成熟、而且能够识别路牌、交通灯甚至一些文字信息，因此采用摄像头获取前方、后方、左侧、右侧四个方向的图像数据。
本申请实施案例中，所述无人驾驶车辆采集系统包括车辆外部摄像头，所述车辆外部摄像头用于采集所述车辆外部图像；
其中，所述车辆外部摄像头包括前视摄像头、后视摄像头以及侧视摄像头；所述前视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的前方图像；所述后视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的后方图像；所述侧视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的侧面图像。
车辆外部摄像头的作用是记录图像，并将图像发送至自动驾驶系统的计算机，计算机通过图像识别技术分析数据，进而判断车辆周围状况。
本申请实施案例中的车辆外部摄像头可以采用单目、双目或三目摄像头，根据摄像头安装的位置分为了前视摄像头、后视摄像头以及侧视摄像头。
车辆外部摄像头可以实现众多功能，例如预警、识别等ADAS功能(AdvancedDriver Assistance System，ADAS，高级驾驶辅助系统)，是视觉影响处理系统的基础。并且，通过车辆外部摄像头提供直观的视频图像信息，对于乘客或远端体验人员来说更为直观，在出现意外情况时，可以减少反应时间，快速处理意外情况。
如下表所示，是车辆外部摄像头与ADAS功能之间的对应关系。
为了能够更好地通过远端VR显示系统将无人驾驶车辆周围的环境信息还原，本申请实施案例中，所述无人驾驶车辆采集系统还包括图像拼接模块，所述图像拼接模块用于接收所述前方图像、后方图像以及侧面图像，并根据所述前方图像、所述后方图像以及所述侧面图像获得无人驾驶车辆的所述车辆外部图像中包含的全景图像。
图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。
本申请实施案例中，如图2所示，获得所述全景图像的步骤包括：
步骤S200，校准所述前视摄像头、所述后视摄像头以及所述侧视摄像头在物理位置。
由于摄像头的安装设计，以及摄像头之间的差异，会造成视频图像之间有缩放(镜头焦距不一致造成)、倾斜(垂直旋转)、方位角差异(水平旋转)等问题，为了得到一致性好的图像，需要对上述物理差异进行预先校准，便于后续图像拼接。相机的运动方式与成像结果之间的关系如图3所示。
步骤S201，获得所述前视摄像头采集的原始前方图像、所述后视摄像头采集的原始后方图像以及所述侧视摄像头采集的原始侧面图像。
步骤S202，根据所述前视摄像头、所述后视摄像头以及所述侧视摄像头的位置信息和角度信息，将所述原始前方图像、所述原始后方图像以及所述原始侧面图像进行坐标转换，获得坐标转换后的第一前方图像、第一后方图像以及第一侧面图像。
在实际应用中，全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄，而本申请实施案例中的前视摄像头、后视摄像头以及侧面摄像头就是安装在无人驾驶车辆不同的位置。
正是由于摄像头是以不同的位置排列和不同的倾角拍摄的，因此摄像头不会处在同一面上；如柱面投影，不一定在同一个柱面上；平面投影，不一定在同一平面上。另外为了避免出现盲区，摄像头拍摄的时候往往会向下倾斜一定角度。
上述情况比较常见，而且容易被忽略，不进行处理就直接投影再拼接，所得到的全景图像的效果较差。因而有必要在所有图像投影到某个柱面(或平面)之前，需要根据摄像头的位置信息和角度信息来获得坐标变换后的图像。
理论上只要满足静止三维图像或者平面场景的两个条件中的任何一个，两幅图像的对应关系就可以用投影变换矩阵表示，换句话说只要满足这其中任何一个条件，一个摄像头拍摄的图像可以通过坐标变换表示为另一个虚拟摄像头拍摄的图像。
一般情况下8参数的透视投影变换最适合描述图像之间的坐标关系，其中8参数的矩阵为[m0,m1,m2；m3,m4,m5；m6,m7,1]；各参数对应的摄像头运动如下表所示：
| 参数 | 对应摄像头的运动及成像效果 |
| m2 | X方向位移 |
| m5 | Y方向位移 |
| m0，m1，m2，m4 | 缩放、旋转、剪切 |
| m6，m7 | 梯形失真(X方向和y方向形变)，线性调频 |
如图4a(原始图像)、图4b(x方向形变效果)、图4c(倾斜校正后效果)所示，显示的是摄像头向下倾斜一定角度拍摄图像，这个角度与m6和m7具有对应关系，如果要获得校正图像，只需要对8参数矩阵求逆后进行坐标变换。
步骤S203，根据图像畸变原理，将所述第一前方图像、所述第一后方图像以及所述第一侧面图像进行畸变校正，获得第二前方图像、第二后方图像以及第二侧面图像。
由于摄像头本身的制造、安装、工艺等原因，镜头存在着各种畸变。为了提高各个摄像头拍摄的多个图像之间拼接的精度，在进行图像拼接的时候必须考虑成像镜头的畸变。
一般畸变分为内部畸变和外部畸变，内部畸变是由于摄影本身的构造为起因的畸变，外部畸变为投影方式的几何因素起因的畸变。镜头畸变属于内部畸变，由镜头产生的畸变一般可分为径向畸变和切向畸变两类。径向畸变就是集合光学中的畸变像差，主要是由于镜头的径向曲率不同而造成的，有桶形畸变和枕型畸变两种。切向畸变通常被人为是由于镜头透镜组的光学中心不共线引起的，包括有各种生成误差和装配误差等。
光学系统成像过程当中，径向畸变是导致图像畸变的主要因素。径向畸变导致图像内直线成弯曲的像，且越靠近边缘这种效果越明显。
根据径向畸变产生的机理，对视频图像进行校正。如图5a所示，为原始采集图像；经过径向失真校正后得到如图5b所示的图像，经过校正的图像，其有效像素区域缩小，一般可通过电子放大的方式进行校正，经过放大后，如图5c所示。
步骤S204，将所述第二前方图像、所述第二后方图像以及所述第二侧面图像进行投影变换，获得投影变换后的第三前方图像、第三后方图像以及第三侧面图像。
由于每幅图像是摄像头在不同角度下拍摄得到的，所以第二前方图像、第二后方图像以及第二侧面图像并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换，再进行拼接。一般有平面投影、柱面投影、立方体投影和球面投影等。
平面投影就是以序列图像中的一幅图像的坐标系为基准，将其图像都投影变换到这个基准坐标系中，使相邻图像的重叠区对齐，称由此形成的拼接为平面投影拼接；柱面投影是指采集到的图像数据重投影到一个以相机焦距为半径的柱面，在柱面上进行全景图的投影拼接；球面投影是模拟人眼观察的特性，将图像信息通过透视变换投影到眼球部分，构造成一个观察的球面；立方体投影是为了解决球面影射中存在的数据不宜存储的缺点，而发展出来的一种投影拼接方式，它适合于计算机生成图像，但对实景拍摄的图像则比较困难。如图6所示，图像拼接处理流程示意图。
步骤S205，确定所述第三前方图像、所述第三后方图像以及所述第三侧面图像中多个相应的特征匹配点。
由于采用特征匹配点的方法更容易处理图像之间旋转、仿射、透视等变换关系，因而经常被使用，特征匹配点包括图像的角点以及相对于其领域表现出某种奇异性的兴趣点。
Harris等提出了一种角点检测算法，该算法是公认的比较好的角点检测算法，具有刚性变换不变性，并在一定程度上具有仿射变换不变性，但该算法不具有缩放变换不变性。针对这样的缺点，Lowe提出了具有缩放不变性的SIFT特征点。
如图7所示，图像的拼接需要在图像序列中找到有效的特征匹配点。图像的特征匹配点寻找直接影响图像拼接的精度和效率。对于图像序列，如果特征点个数≥4个，则很容易自动标定图像匹配点；如果特征点很少，图像拼接往往不能取得较为理想的效果。
步骤S206，根据几何运动模型和所述多个相应的特征匹配点，将所述第三前方图像、所述第三后方图像以及所述第三侧面图像注册到同一个坐标系中，将所述第二前方图像、所述第二后方图像以及所述第二侧面图像在同一个坐标系中合成所述全景图像。
图像拼接的关键两步是：配准(registration)和融合(blending)。配准的目的是根据几何运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。如图8中的a(第一块图)、b(第二块图)、c(第三块图)、d(第四块图)合成后得到图9(拼接后的全景图像)。
在多幅图像配准的过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿射模型和透视模型。
图像的平移模型是指图像仅在两维空间发生了方向和方向的位移，如果摄像机仅仅发生了平移运动，则可以采用平移模型。图像的相似性模型是指摄像机本身除了平移运动外还可能发生旋转运动，同时，在存在场景的缩放时，还可以利用缩放因子对缩放运动进行描述，因此，当图像可能发生平移、旋转、缩放运动时，可以采用相似性模型。图像的仿射模型是一个6参数的变换模型，即具有平行线变换成平行线，有限点映射到有限点的一般特性，具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，可以描述平移运动、旋转运动以及小范围的缩放和变形。图像的透视模型是具有8个参数的变换模型，可以完美地表述各种表换，是一种最为精确变换模型。
图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。在非多分辨率技术中主要有平均值法、帽子函数法、加权平均法和中值滤波法等。多分辨率技术主要有高斯金字塔、拉普拉斯金字塔、对比度金字塔，梯度金字塔和小波等。
步骤S207，根据所述前视摄像头、所述后视摄像头以及所述侧视摄像头各自的光照模型，分别校正所述全景图像中与所述第二前方图像、所述第二后方图像以及所述第二侧面图像对应的图像的光照不均匀性。
步骤S208，根据所述全景图像中与所述第二前方图像、所述第二后方图像以及所述第二侧面图像对应的相邻两个图像重叠区域之间的关系，建立相邻两个图像之间的直方图映射表；
步骤S209，根据所述直方图映射表，对相邻两个图像进行整体映射变换，获得光照一致的全景图像。
因为摄像头和光照强度的差异，会造成一幅图像内部，以及图像之间亮度的不均匀，拼接后的图像会出现明暗交替，这样给观察造成极大的不便。
亮度与颜色均衡处理，通常的处理方式是通过相机的光照模型，校正一幅图像内部的光照不均匀性，然后通过相邻两幅图像重叠区域之间的关系，建立相邻两幅图像之间直方图映射表，通过映射表对两幅图像做整体的映射变换，最终达到整体的亮度和颜色的一致性。
在本申请提供的另一实施案例中，所述无人驾驶车辆采集系统还包括车辆关键部件传感器，所述车辆关键部件传感器用于检测无人驾驶车辆的关键部件的状态数据。
在本申请提供的另一实施案例中，所述无人驾驶车辆采集系统还包括激光雷达、毫米波雷达以及超声波雷达中的一种或多种，所述激光雷达、毫米波雷达以及超声波雷达均用于检测无人驾驶车辆周围的障碍物的距离、速度以及加速度。
1、激光雷达是目前公认的自动驾驶传感器最佳的工具。激光雷达主要通过向目标物体(障碍物)发射激光束，然后通过计算从目标反射回的脉冲飞行时间来测量距离，以此来测算目标的位置、速度等特征量，感知车辆周围环境，并形成精度高达厘米级的3D环境地图，为下一步的车辆操控建立决策依据。激光雷达多安装在车顶，通过高速旋转，实现360度无死角监控，获得周围空间的点云数据，实时绘制出车辆周边的三维空间地图。
同时，激光雷达还可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息，再结合GPS地图计算出车辆的位置，这些庞大丰富的数据信息传输给ECU分析处理后，以供车辆快速做出判断。
激光雷达的优点包括：
分辨率高。激光雷达可以获得极高的角度、距离和速度分辨率，这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。精度高。激光直线传播、方向性好、光束非常窄，弥散性非常低，因此激光雷达的精度很高。抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同，自然界中能对激光雷达起干扰作用的信号源不多，因此激光雷达抗有源干扰的能力很强。
激光雷达的缺点包括：
激光可视范围内如果有遮挡，例如有树、垃圾桶等遮挡，就无法进行识别。由于激光波束靠反射来识别，所以无法识别颜色图案、文字等标识。激光雷达的成本相对来说依然很高，一个64线激光雷达成本超过十万。
2、毫米波雷达不同于激光雷达，发送电磁波(毫米波)，通过测量反射波从发射到接收的时间，计算车辆到各个目标的距离，而利用多普勒效应可以测量目标速度。毫米波雷达目前技术已经十分成熟，其波长短、频带宽、穿透能力强，能帮助自动驾驶汽车准确地“看”到与附近车辆之间的距离，在变道辅助、自主控制车速、自适应巡航、碰撞预警等方面起着至关重要的作用。
毫米波雷达的优点包括：
毫米波的波长短，毫米波雷达具有体积小、质量轻和空间分辨率高的特点。毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点。性能稳定，不受目标物体形状、颜色等干扰。
毫米波雷达的缺点包括：
难以对目标进行识别；探测角度比较小，并且通常需要多个雷达来完成一个探测任务。
3、超声波雷达是通过发射超声波(>20kHz)，测量反射回来的时间，从而判断障碍物的存在和距离。由于超声波是一种机械波，其使用效果受外部传播介质的影响很大，例如天气情况的影响、汽车高速行驶的影响等，这些都会使误差较大，影响测量精度。因为这些因素，超声波雷达主要用于探测近距离障碍物，用在倒车、自动泊车等方面。超声波的探测距离一般在3-5米以内。
超声波雷达的优点包括：穿透性强，测距的方法简单，成本低。
超声波雷达的缺点包括：作用距离短，传输依赖介质，速度慢，只适用于低速下的停车辅助。超声波散射角大，方向性较差，难以测量较远距离的目标。
所述无人驾驶车辆采集系统在采集了无人驾驶车辆的车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据之间，将所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据上传至所述车路协同后台系统，所述车路协同后台系统对车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据进行处理，具体如下：
所述车路协同后台系统包括车辆内部虚拟场景构建模块和车辆外部虚拟场景构建模块；
所述车辆内部虚拟场景构建模块用于根据所述车辆内部图像，构建所述虚拟车辆驾驶画面中的车辆内部虚拟场景；所述车辆内部虚拟场景构建模块用于根据所述人车接口数据，构建包含在所述车辆内部虚拟场景中的操作虚拟组件。
车辆内部图像主要源于车辆内部摄像头采集的数据，根据车辆内部图像可以构建所述虚拟车辆驾驶画面中的车辆内部虚拟场景，例如呈现车辆的驾驶操作台以及乘客所处的位置。
人车接口数据主要源于车辆内的人车交互接口的数据，人车交互接口一般用于远端体验人员与无人驾驶车辆之间的信息交互，因此需要接收远端体验人员的输入信息，输出远端体验人员需要的信息，因此根据所述人车接口数据，构建包含在所述车辆内部虚拟场景中的操作虚拟组件。
所述车辆外部虚拟场景构建模块用于根据所述车辆外部图像，构建所述虚拟车辆驾驶画面中的车辆外部虚拟场景；所述车辆外部虚拟场景构建模块用于根据所述车辆传感器数据，构建包含在所述车辆外部虚拟场景中的障碍物虚拟组件。
车辆外部图像主要来源于车辆外部摄像头，根据车辆外部摄像头采集的图像可以构建所述虚拟车辆驾驶画面中的车辆外部虚拟场景。
所述车路协同后台系统将所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件发送至所述远端VR显示系统；所述远端VR显示系统用于显示所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件，以实现在所述远端VR显示系统中还原无人驾驶车辆所处的真实情景以及操作界面。
远端VR显示系统根据获得的所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件在远端显示，将无人驾驶车辆内部及其周围的路况环境都还原至VR显示系统，从而实现了在享受驾驶车辆的操作感和指导以及技术问题判断的同时也可以避免遭遇可能会发生的车祸的风险。
以上对本申请所提供的一种无人驾驶车辆的动态虚拟化装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施案例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种无人驾驶车辆的动态虚拟化装置，其特征在于，包括无人驾驶车辆采集系统、车路协同后台系统以及远端VR显示系统；
所述无人驾驶车辆采集系统用于采集无人驾驶车辆的车辆内部图像、车辆外部图像、车辆传感器数据以及人车接口数据，并将所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据上传至所述车路协同后台系统；
所述车路协同后台系统用于根据所述车辆内部图像、所述车辆外部图像、所述车辆传感器数据以及所述人车接口数据构建虚拟车辆驾驶画面，并将所述虚拟车辆驾驶画面发送至所述远端VR显示系统；
所述远端VR显示系统用于显示所述虚拟车辆驾驶画面。
2.根据权利要求1所述的装置，其特征在于，所述车路协同后台系统包括车辆内部虚拟场景构建模块和车辆外部虚拟场景构建模块；
所述车辆内部虚拟场景构建模块用于根据所述车辆内部图像，构建所述虚拟车辆驾驶画面中的车辆内部虚拟场景；
所述车辆内部虚拟场景构建模块用于根据所述人车接口数据，构建包含在所述车辆内部虚拟场景中的操作虚拟组件；
所述车辆外部虚拟场景构建模块用于根据所述车辆外部图像，构建所述虚拟车辆驾驶画面中的车辆外部虚拟场景；
所述车辆外部虚拟场景构建模块用于根据所述车辆传感器数据，构建包含在所述车辆外部虚拟场景中的障碍物虚拟组件；
所述车路协同后台系统将所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件发送至所述远端VR显示系统；
所述远端VR显示系统用于显示所述车辆内部虚拟场景、所述车辆外部虚拟场景、所述障碍物虚拟组件以及所述操作虚拟组件，以实现在所述远端VR显示系统中还原无人驾驶车辆所处的真实情景以及操作界面。
3.根据权利要求1所述的装置，其特征在于，所述无人驾驶车辆采集系统包括车辆外部摄像头，所述车辆外部摄像头用于采集所述车辆外部图像；
其中，所述车辆外部摄像头包括前视摄像头、后视摄像头以及侧视摄像头；
所述前视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的前方图像；
所述后视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的后方图像；
所述侧视摄像头用于采集无人驾驶车辆的所述车辆外部图像中包含的侧面图像。
4.根据权利要求3所述的装置，其特征在于，所述无人驾驶车辆采集系统还包括图像拼接模块，所述图像拼接模块用于接收所述前方图像、后方图像以及侧面图像，并根据所述前方图像、所述后方图像以及所述侧面图像获得无人驾驶车辆的所述车辆外部图像中包含的全景图像。
5.根据权利要求4所述的装置，其特征在于，获得所述全景图像的步骤包括：
校准所述前视摄像头、所述后视摄像头以及所述侧视摄像头在物理位置；
获得所述前视摄像头采集的原始前方图像、所述后视摄像头采集的原始后方图像以及所述侧视摄像头采集的原始侧面图像；
根据所述前视摄像头、所述后视摄像头以及所述侧视摄像头的位置信息和角度信息，将所述原始前方图像、所述原始后方图像以及所述原始侧面图像进行坐标转换，获得坐标转换后的第一前方图像、第一后方图像以及第一侧面图像；
根据图像畸变原理，将所述第一前方图像、所述第一后方图像以及所述第一侧面图像进行畸变校正，获得第二前方图像、第二后方图像以及第二侧面图像；
将所述第二前方图像、所述第二后方图像以及所述第二侧面图像进行投影变换，获得投影变换后的第三前方图像、第三后方图像以及第三侧面图像；
确定所述第三前方图像、所述第三后方图像以及所述第三侧面图像中多个相应的特征匹配点；
根据几何运动模型和所述多个相应的特征匹配点，将所述第三前方图像、所述第三后方图像以及所述第三侧面图像注册到同一个坐标系中，将所述第二前方图像、所述第二后方图像以及所述第二侧面图像在同一个坐标系中合成所述全景图像。
6.根据权利要求5所述的装置，其特征在于，在将所述第二前方图像、所述第二后方图像以及所述第二侧面图像在同一个坐标系中合成所述全景图像之后，还包括：
根据所述前视摄像头、所述后视摄像头以及所述侧视摄像头各自的光照模型，分别校正所述全景图像中与所述第二前方图像、所述第二后方图像以及所述第二侧面图像对应的图像的光照不均匀性；
根据所述全景图像中与所述第二前方图像、所述第二后方图像以及所述第二侧面图像对应的相邻两个图像重叠区域之间的关系，建立相邻两个图像之间的直方图映射表；
根据所述直方图映射表，对相邻两个图像进行整体映射变换，获得光照一致的全景图像。
7.根据权利要求1所述的装置，其特征在于，所述无人驾驶车辆采集系统还包括车辆内部监控摄像头，所述车辆内部监控摄像头用于采集所述车辆内部图像。
8.根据权利要求1所述的装置，其特征在于，所述无人驾驶车辆采集系统还包括激光雷达、毫米波雷达以及超声波雷达中的一种或多种，所述激光雷达、毫米波雷达以及超声波雷达均用于检测无人驾驶车辆周围的障碍物的距离、速度以及加速度。
9.根据权利要求1所述的装置，其特征在于，所述无人驾驶车辆采集系统还包括车辆关键部件传感器，所述车辆关键部件传感器用于检测无人驾驶车辆的关键部件的状态数据。
10.根据权利要求1-9任一所述的装置，其特征在于，所述无人驾驶车辆采集系统与所述车路协同后台系统之间通过5G网络通信传输；所述车路协同后台系统与所述远端VR显示系统之间通过5G网络通信传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910859782.7A CN110750153A (zh) | 2019-09-11 | 2019-09-11 | 一种无人驾驶车辆的动态虚拟化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910859782.7A CN110750153A (zh) | 2019-09-11 | 2019-09-11 | 一种无人驾驶车辆的动态虚拟化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110750153A true CN110750153A (zh) | 2020-02-04 |
Family
ID=69276366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910859782.7A Pending CN110750153A (zh) | 2019-09-11 | 2019-09-11 | 一种无人驾驶车辆的动态虚拟化装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110750153A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102682A (zh) * | 2020-11-09 | 2020-12-18 | 中电科芜湖钻石飞机制造有限公司南京研发中心 | 基于5g通信的飞行器驾驶培训系统和方法 |
| CN112433502A (zh) * | 2020-12-16 | 2021-03-02 | 江苏徐工信息技术股份有限公司 | 基于5g通讯和vr双环视技术的平地机远程遥控系统及方法 |
| CN112967403A (zh) * | 2021-02-07 | 2021-06-15 | 安徽嘻哈网络技术有限公司 | 一种驾培机器人管理中心的虚拟现实系统 |
| CN112987703A (zh) * | 2021-05-19 | 2021-06-18 | 北京博科测试系统股份有限公司 | 一种实验室内整车在环自动驾驶开发测试系统及方法 |
| CN114430483A (zh) * | 2021-12-16 | 2022-05-03 | 泛太通信导航(珠海)有限公司 | 3d视觉无人车监视系统及相应无人车 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106394545A (zh) * | 2016-10-09 | 2017-02-15 | 北京汽车集团有限公司 | 驾驶系统、无人驾驶车辆及车辆远程控制端 |
| WO2019106318A1 (fr) * | 2017-11-30 | 2019-06-06 | Marc Lambert | Système de conduite à distance d'un véhicule sans pilote |
-
2019
- 2019-09-11 CN CN201910859782.7A patent/CN110750153A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106394545A (zh) * | 2016-10-09 | 2017-02-15 | 北京汽车集团有限公司 | 驾驶系统、无人驾驶车辆及车辆远程控制端 |
| WO2019106318A1 (fr) * | 2017-11-30 | 2019-06-06 | Marc Lambert | Système de conduite à distance d'un véhicule sans pilote |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102682A (zh) * | 2020-11-09 | 2020-12-18 | 中电科芜湖钻石飞机制造有限公司南京研发中心 | 基于5g通信的飞行器驾驶培训系统和方法 |
| CN112433502A (zh) * | 2020-12-16 | 2021-03-02 | 江苏徐工信息技术股份有限公司 | 基于5g通讯和vr双环视技术的平地机远程遥控系统及方法 |
| CN112967403A (zh) * | 2021-02-07 | 2021-06-15 | 安徽嘻哈网络技术有限公司 | 一种驾培机器人管理中心的虚拟现实系统 |
| CN112987703A (zh) * | 2021-05-19 | 2021-06-18 | 北京博科测试系统股份有限公司 | 一种实验室内整车在环自动驾驶开发测试系统及方法 |
| CN112987703B (zh) * | 2021-05-19 | 2021-08-03 | 北京博科测试系统股份有限公司 | 一种实验室内整车在环自动驾驶开发测试系统及方法 |
| CN114430483A (zh) * | 2021-12-16 | 2022-05-03 | 泛太通信导航(珠海)有限公司 | 3d视觉无人车监视系统及相应无人车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111352112B (zh) | 基于视觉、激光雷达和毫米波雷达的目标检测方法 | |
| CN110390695B (zh) | 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法 | |
| JP7157054B2 (ja) | 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション | |
| CN109283538B (zh) | 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 | |
| US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
| CN113490863B (zh) | 雷达辅助的单个图像三维深度重建 | |
| CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
| CN110537109B (zh) | 用于自主驾驶的感测组件 | |
| CN110750153A (zh) | 一种无人驾驶车辆的动态虚拟化装置 | |
| EP3792660B1 (en) | Method, apparatus and system for measuring distance | |
| US20140267415A1 (en) | Road marking illuminattion system and method | |
| CN116685873A (zh) | 一种面向车路协同的感知信息融合表征及目标检测方法 | |
| CN106444837A (zh) | 一种无人机避障方法及系统 | |
| CN114637023A (zh) | 用于激光深度图取样的系统及方法 | |
| CN111045000A (zh) | 监测系统和方法 | |
| CN110555407B (zh) | 路面车辆空间识别方法及电子设备 | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP2019128350A (ja) | 画像処理方法、画像処理装置、車載装置、移動体、システム | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| CN115267756A (zh) | 一种基于深度学习目标检测的单目实时测距方法 | |
| CN113988197A (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
| CN110989645B (zh) | 一种基于复眼成像原理的目标空间姿态处理方法 | |
| CN116977806A (zh) | 一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法及系统 | |
| CN114925769B (zh) | 一种多传感器数据融合处理系统 | |
| Rana et al. | Comparative study of Automotive Sensor technologies used for Unmanned Driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |