CN111546985A - 一种基于高精度地图的360度全景影像增强系统 - Google Patents

一种基于高精度地图的360度全景影像增强系统 Download PDF

Info

Publication number
CN111546985A
CN111546985A CN202010340295.2A CN202010340295A CN111546985A CN 111546985 A CN111546985 A CN 111546985A CN 202010340295 A CN202010340295 A CN 202010340295A CN 111546985 A CN111546985 A CN 111546985A
Authority
CN
China
Prior art keywords
information
panoramic image
precision map
degree panoramic
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010340295.2A
Other languages
English (en)
Inventor
翁明
别韦苇
李乂
边宁
赖锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Corp
Original Assignee
Dongfeng Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Corp filed Critical Dongfeng Motor Corp
Priority to CN202010340295.2A priority Critical patent/CN111546985A/zh
Publication of CN111546985A publication Critical patent/CN111546985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于高精度地图的360度全景影像增强系统。它包括组合惯导系统，用于获取车辆定位信息和姿态信息发送至高精度地图系统；高精度地图系统，用于定位信息和姿态信息获取车辆周边的道路信息和POI信息发送至360度全景影像系统；360度全景影像系统，用于获取车辆周边的原始全景影像图像，从原始全景影像图像中提取车道线信息；根据道路信息和车道线信息将高精度地图系统和360度全景影像系统的坐标进行统一标定，将道路信息和POI信息叠加到原始全景影像图像中形成增强全景影像图像。本发明增强了360度全景影像系统的功能，提供更多的驾驶员交互以及更丰富的信息，使驾驶员对于周边环境信息有进一步的了解，为驾驶员驾驶决策提供参考意见。

Description

一种基于高精度地图的360度全景影像增强系统
技术领域
本发明属于汽车技术领域，具体涉及一种基于高精度地图的360度全景影像增强系统。
背景技术
随着传感器技术的不断突破，汽车上先进的配置越来越普及。对于倒车而言，从只能看左右后视镜，到有倒车影像的辅助，到先进360度全景影像的全方位辅助，人们驾驶汽车变得越来越得心应手。目前360度全景影像系统由四颗鱼眼摄像头组成，通过鱼眼摄像头的拼接并进行畸变矫正，从而获得鸟瞰般的全景视图。随着自动驾驶行业的火热，高精度地图成为L3级别自动驾驶不可或缺的一环。高精度地图相较于导航地图而言，具有更高的精度和更丰富的信息。高精度地图中包含许多几何信息和属性信息，可实现车道级别的规划控制。搭配高精度定位组合惯导设备，自动驾驶车辆便能了解自车所处的位置。
目前360度全景影像系统由四颗鱼眼摄像头图像拼接而成，但介于摄像头传感器的局限，驾驶员往往只能了解自车周围有些什么，却无法详细了解周边物体的详细信息，例如距离、被遮挡的物体以及摄像头视距之外的物体。对于智能汽车而言，只让驾驶员看到周边的景色并让驾驶员主动去辨识这是不够“智能”的。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种基于高精度地图的360度全景影像增强系统。
本发明采用的技术方案是：一种基于高精度地图的360度全景影像增强系统，包括
组合惯导系统，用于获取车辆定位信息和姿态信息发送至高精度地图系统；
高精度地图系统，用于定位信息和姿态信息获取车辆周边的道路信息和POI信息发送至360度全景影像系统；
360度全景影像系统，用于获取车辆周边的原始全景影像图像，从原始全景影像图像中提取车道线信息；根据道路信息和车道线信息将高精度地图系统和360度全景影像系统的坐标进行统一标定，标定完成后将道路信息和POI信息叠加到原始全景影像图像中并标注相对距离形成增强全景影像图像。
进一步地，所述道路信息包括车道宽度、车道材质、车道数、车道坡度、曲率、高程、坐标信息，所述POI信息包括红绿灯、指示牌息和建筑物的名称和坐标。
进一步地，从原始全景影像图像中提取车道线信息的过程为：将多个摄像头采集的多个图像进行拼接和畸变矫正，对矫正后的图像进行二值化处理获得灰度图像；对灰度图像进行滤波、腐蚀和膨胀处理，再采用Canny算法检测边缘图像，对检测到的边缘图像进行Hough算法计算，检测图中的直线，从而提取出车道线信息。
进一步地，将高精度地图系统发送的车道线信息与从原始全景影像图像中提取车道线信息进行匹配，获得原始全景影像图像的各个分区的绝对坐标位置，实现高精度地图系统和360度全景影像系统的坐标标定。
更进一步地，还360度全景影像系统设有人机交互界面，驾驶员通过人机交互界面设置360度全景影像系统中显示的叠加信息种类及数量。
本发明增强了360度全景影像系统的功能，提供了更多的驾驶员交互以及更丰富的信息，使驾驶员对于周边环境信息有进一步的了解，为驾驶员驾驶决策提供参考意见。
附图说明
图1为本发明的系统原理图。
图2为本发明360度全景影像增强系统的显示界面示意图。
图3为本发明高精度地图系统和360度全景影像系统的坐标标定的示意图。
图4为本发明道路信息和POI信息叠加到原始全景影像图像中的示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。
如图1-4所示，本发明提供一种基于高精度地图的360度全景影像增强系统，包括在车辆上搭载的组合惯导系统1、高精度地图系统2、由4颗鱼眼摄像头组成的360度全景影像系统3，组合惯导系统提供厘米级的定位。
将4颗鱼眼摄像头获取的图像进行拼接，并且畸变矫正；从校正后的图像中提取周围的车道线，同时高精度地图系统中提取相应车道线的坐标信息，将两者车道线进行重合，从而将360度影像系统与高精度地图系统标定到同一坐标下。
从高精度地图系统中获取需要的几何、属性和POI信息。将高精度地图中提取的车辆周围的车道线、标识牌、车道拓扑信息在360度全景系统中叠加，并标注相对距离，实现即使周围有物体遮挡，也可以让驾驶员对周围的全景有整体的认知。根据组合惯导输出的车辆姿态信息，获取周边环境中POI对于车辆的相对方位，在360度全景影像系统中进行标注。上述从高精度地图中提取的信息可叠加至360度全景影像中，使驾驶员对于周边环境有更详细的了解，驾驶员可在设置中手动添加和取消相关几何、属性和POI信息，提高了人机交互的体验。
以下说明本发明整个系统详细组成过程：
第一步：360度全景影像系统提供4颗鱼眼摄像头得到的画面，并且拼接和畸变矫正，得到360度全景影像系统底图。高精度地图系统提供车辆周边环境几何、属性以及POI信息。高精度定位系统由组合惯导设备提供厘米级的定位精度，确定车辆位置。
第二步：将高精度地图系统和360度全景影像系统进行标定。系统先提取鱼眼摄像头获取到的车道线信息，从高精度地图几何属性信息中获取对应车道线的信息，两个信息标定至重合叠加，此时高精度地图系统和360度全景影像系统就在统一坐标系下。
第三步：车辆从组合惯导设备中获取自车精确位置及姿态信息。车辆从高精度地图系统中获取周边车道线信息，叠加到360度全景影像系统中并且获取车道线的几何属性信息，获取车辆和车道线间的相对距离并且实时显示在360度全景影像中。车辆可从高精度地图系统中获取周边的POI信息，例如饭店、指示牌、路灯、红绿灯等信息，并且根据组合惯导输出的车辆姿态信息获得车辆与POI之间的相对位置关系，将其标注在360度全景影像上。
第四步：为了减少信息的复杂度，并提高驾驶员的人机交互感受。360度全景影像增强系统中可对显示内容进行定制化设置，可添加和取消几何属性及POI的显示。
图3显示了标定高精度地图和360度全景影像系统的过程：
第一步：将车辆搭载360度全景系统和高精度地图系统，并且置于有车道线的标定场中。360度全景影像系统传感器由四颗鱼眼摄像头组成。系统接收四颗鱼眼摄像头获得的图像，并进行拼接和图像畸变矫正。
第二步：对拼接后的图像进行二值化处理，获得灰度图像。对灰度图像进行滤波，对图像进行腐蚀和膨胀，消除图像噪声。再采用Canny算法检测图像边缘。
第三步：对检测到的边缘图像进行Hough算法计算，检测图中的直线，进而提取出车道线并标注。
第四步：高精度地图系统中提取车道线的要素信息，并且获取其经度、纬度和高程信息。将高精度地图系统中的车道线信息与360度全景影像系统中的车道线进行匹配，从而获得360度全景影像的各个分区的绝对坐标位置。
第五步：至此标定完成。标定完成后360度全景影像系统得到的图像中的地物都带有绝对坐标值。
图4是基于叠加了高精度地图的360度全景影像增强系统运行过程：
第一步：标定完成后的360度全景影像增强系统得到的图像都带有绝对坐标信息。在车辆行驶过程中鱼眼摄像头不断获取周边的信息并且拼接得到图像畸变矫正后的图像。
第二步：车辆获取自车定位信息，并且在高精度地图系统中提取车辆周边的POI信息，例如饭店、红绿灯、指示牌等。获取的POI信息包含各个地物的绝对坐标值。同时提取高精度地图系统中的车道线信息，获取车道线的绝对坐标值。
第三步：在360度全景系统得到的图像中相应坐标上进行叠加绘制。饭店、红绿灯、指示牌等POI信息可绘制内置的图例进行表示，同时计算POI坐标与自车定位坐标的差值，体现在全景系统中，使驾驶员了解车辆周边的POI信息相较于车辆的距离。计算车道线坐标和自车定位坐标的差值，主要计算车辆坐标系Y向上的距离，使驾驶员在使用360度全景系统时，知道车辆距离周边车道线的确切距离，增强驾驶员的驾驶判断能力。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种基于高精度地图的360度全景影像增强系统，其特征在于：包括
组合惯导系统，用于获取车辆定位信息和姿态信息发送至高精度地图系统；
高精度地图系统，用于定位信息和姿态信息获取车辆周边的道路信息和POI信息发送至360度全景影像系统；
360度全景影像系统，用于获取车辆周边的原始全景影像图像，从原始全景影像图像中提取车道线信息；根据道路信息和车道线信息将高精度地图系统和360度全景影像系统的坐标进行统一标定，标定完成后将道路信息和POI信息叠加到原始全景影像图像中并标注相对距离形成增强全景影像图像。
2.根据权利要求1所述的基于高精度地图的360度全景影像增强系统，其特征在于：所述道路信息包括车道宽度、车道材质、车道数、车道坡度、曲率、高程、坐标信息，所述POI信息包括红绿灯、指示牌息和建筑物的名称和坐标。
3.根据权利要求1所述的基于高精度地图的360度全景影像增强系统，其特征在于，从原始全景影像图像中提取车道线信息的过程为：将多个摄像头采集的多个图像进行拼接和畸变矫正，对矫正后的图像进行二值化处理获得灰度图像；对灰度图像进行滤波、腐蚀和膨胀处理，再采用Canny算法检测边缘图像，对检测到的边缘图像进行Hough算法计算，检测图中的直线，从而提取出车道线信息。
4.根据权利要求1所述的基于高精度地图的360度全景影像增强系统，其特征在于：将高精度地图系统发送的车道线信息与从原始全景影像图像中提取车道线信息进行匹配，获得原始全景影像图像的各个分区的绝对坐标位置，实现高精度地图系统和360度全景影像系统的坐标标定。
5.根据权利要求1所述的基于高精度地图的360度全景影像增强系统，其特征在于：还包括360度全景影像系统设有人机交互界面，驾驶员通过人机交互界面设置360度全景影像系统中显示的叠加信息种类及数量。
CN202010340295.2A 2020-04-26 2020-04-26 一种基于高精度地图的360度全景影像增强系统 Pending CN111546985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010340295.2A CN111546985A (zh) 2020-04-26 2020-04-26 一种基于高精度地图的360度全景影像增强系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010340295.2A CN111546985A (zh) 2020-04-26 2020-04-26 一种基于高精度地图的360度全景影像增强系统

Publications (1)

Publication Number Publication Date
CN111546985A true CN111546985A (zh) 2020-08-18

Family

ID=71998491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010340295.2A Pending CN111546985A (zh) 2020-04-26 2020-04-26 一种基于高精度地图的360度全景影像增强系统

Country Status (1)

Country Link
CN (1) CN111546985A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971589A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
CN107066952A (zh) * 2017-03-15 2017-08-18 中山大学 一种车道线检测方法
CN109948413A (zh) * 2018-12-29 2019-06-28 禾多科技（北京）有限公司 基于高精度地图融合的车道线检测方法
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971589A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
CN107066952A (zh) * 2017-03-15 2017-08-18 中山大学 一种车道线检测方法
CN109948413A (zh) * 2018-12-29 2019-06-28 禾多科技（北京）有限公司 基于高精度地图融合的车道线检测方法
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备

Similar Documents

Publication Publication Date Title
JP6763448B2 (ja) 視覚強化ナビゲーション
CN107505644B (zh) 基于车载多传感器融合的三维高精度地图生成系统及方法
US10127461B2 (en) Visual odometry for low illumination conditions using fixed light sources
US10291898B2 (en) Method and apparatus for updating navigation map
KR100340451B1 (ko) 디지털지도 데이터처리장치 및 디지털지도 데이터처리방법
US10235580B2 (en) Method and system for automatic detection of parking zones
US8315796B2 (en) Navigation device
CN104833360B (zh) 一种二维坐标到三维坐标的转换方法
EP3671623B1 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
CN110906954A (zh) 一种基于自动驾驶平台的高精度地图测试评估方法和装置
US11215462B2 (en) Method, apparatus, and system for location correction based on feature point correspondence
CN102183261A (zh) 为非照片写实3d地图重新使用照片写实3d地标的方法
JP2008139295A (ja) カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
CN111220143A (zh) 一种成像设备的位置和姿态确定方法及装置
US11361490B2 (en) Attention guidance for ground control labeling in street view imagery
WO2016031229A1 (ja) 道路地図作成システム、データ処理装置および車載装置
CN113834492A (zh) 地图匹配方法、系统、设备及可读存储介质
US8988425B2 (en) Image display control system, image display control method, and image display control program
CN111376902B (zh) 一种自动驾驶的车道保持方法及系统
CN112446915B (zh) 一种基于图像组的建图方法及装置
EP2789978B1 (en) Navigation system and method for displaying photomap on navigation system
CN111546985A (zh) 一种基于高精度地图的360度全景影像增强系统
US20220058825A1 (en) Attention guidance for correspondence labeling in street view image pairs
US10859377B2 (en) Method for improving position information associated with a collection of images
JP3836278B2 (ja) ナビゲーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200818