CN105719284B - 一种数据处理方法、装置及终端 - Google Patents

一种数据处理方法、装置及终端 Download PDF

Info

Publication number
CN105719284B
CN105719284B CN201610031452.5A CN201610031452A CN105719284B CN 105719284 B CN105719284 B CN 105719284B CN 201610031452 A CN201610031452 A CN 201610031452A CN 105719284 B CN105719284 B CN 105719284B
Authority
CN
China
Prior art keywords
image
ground
road traffic
traffic marking
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610031452.5A
Other languages
English (en)
Other versions
CN105719284A (zh
Inventor
付玉锦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610031452.5A priority Critical patent/CN105719284B/zh
Publication of CN105719284A publication Critical patent/CN105719284A/zh
Priority to MYPI2017704510A priority patent/MY188758A/en
Priority to KR1020177036734A priority patent/KR102003152B1/ko
Priority to PCT/CN2016/112671 priority patent/WO2017124901A1/zh
Priority to EP16886160.7A priority patent/EP3407294B1/en
Priority to JP2017565896A priority patent/JP7034530B2/ja
Priority to US15/946,621 priority patent/US10712747B2/en
Application granted granted Critical
Publication of CN105719284B publication Critical patent/CN105719284B/zh
Priority to US16/892,039 priority patent/US11320833B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3819—Road shape data, e.g. outline of a route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Abstract

本发明实施例提供一种数据处理方法、装置及终端，其中的方法可包括：采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据；基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像；检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识；基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标。本发明通过从二维街景图像中检测道路交通标线，提升检测结果的准确性，提升数据处理的实用性。

Description

一种数据处理方法、装置及终端
技术领域
本发明涉及计算机技术领域，具体涉及关于道路数据处理的技术领域，尤其一种数据处理方法、装置及终端。
背景技术
现有的车载导航、车辆自动驾驶、行车安全提示等领域中，最基础且重要的技术莫过于关于车道线、道路标识等道路交通标线的检测技术。目前，主流技术方案主要包括以下两种，一种方案是依靠地面反射率的变化进行检测的方法：道路交通标线的反射率往往高出道路路面其它部分的反射率，那么，可首先获取道路场景空间的三维点云，再依靠此特性从三维点云中提取道路交通标线；这种方案直接从三维点云中检测和提取，若三维点云面临点云稀疏、遮挡、缺失等问题，则可能影响检测结果，并且，若地面反射率出现偏弱、不均匀等变化，直接影响检测结果的准确性。另一种方案是人工检测的方法：获取道路场景空间的二维街景图像以及三维点云，利用二维街景图像对三维点云进行着色生成彩色点云，然后人工对照二维街景图像从彩色点云提取道路交通标线。这种方案依然是从三维点云中直接提取道路交通标线，同样可能由于三维点云所面临的点云稀疏、遮挡、缺失等问题而影响检测结果，并且人工检测的方式效率太低易出错，实用性较差。
发明内容
本发明实施例提供一种数据处理方法、装置及终端，通过从二维街景图像中检测道路交通标线，提升检测结果的准确性，提升数据处理的实用性。
本发明实施例第一方面提供一种数据处理方法，可包括：
采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据；
基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像；
检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识；
基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标。
优选地，所述基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像，包括：
根据所述惯导数据建立三维空间的惯导坐标系；
基于所述惯导坐标系将所述三维点云与所述二维街景图像在三维空间中进行配准；
采用配准后的所述三维点云对所述二维街景图像进行区域分割，提取地面区域图像。
优选地，所述检测所述地面区域图像中的至少一个道路交通标线，包括：
对所述地面区域图像进行二值化处理，获得二值化的地面区域图像；
对所述二值化的地面区域图像进行正射投影变换，生成地面正射投影图；
从所述地面正射投影图中提取至少一个道路交通标线。
优选地，所述从所述地面正射投影图中识别并提取至少一个道路交通标线，包括：
采用图像识别方法从所述地面正射投影图像中提取至少一个第一道路交通标线，并提取干扰物影像；
将所述干扰物影像作为二值掩码反作用于所述地面正射投影图像中；
采用所述图像识别方法从反作用后的地面正射投影图像中提取至少一个第二道路交通标线；
将提取到的所述第一道路交通标线与所述第二道路交通标线进行合并，获得至少一个目标道路交通标线。
优选地，所述基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标，包括：
获取所述地面正射投影图在所述惯导坐标系中的形态数据，所述形态数据包括位置数据及姿态数据；
根据所述形态数据求取所述至少一个目标道路交通标线的三维坐标。
本发明实施例第二方面提供一种数据处理装置，可包括：
采集单元，用于采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据；
分割处理单元，用于基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像；
检测单元，用于检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识；
计算单元，用于基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标。
优选地，所述分割处理单元包括：
建立单元，用于根据所述惯导数据建立三维空间的惯导坐标系；
配准单元，用于基于所述惯导坐标系将所述三维点云与所述二维街景图像在三维空间中进行配准；
区域分割单元，用于采用配准后的所述三维点云对所述二维街景图像进行区域分割；
图像提取单元，用于提取地面区域图像。
优选地，所述检测单元包括：
二值化处理单元，用于对所述地面区域图像进行二值化处理，获得二值化的地面区域图像；
变换单元，用于对所述二值化的地面区域图像进行正射投影变换，生成地面正射投影图；
标线提取单元，用于从所述地面正射投影图中提取至少一个道路交通标线。
优选地，所述标线提取单元包括：
第一提取单元，用于采用图像识别方法从所述地面正射投影图像中提取至少一个第一道路交通标线，并提取干扰物影像；
反作用处理单元，用于将所述干扰物影像作为二值掩码反作用于所述地面正射投影图像中；
第二提取单元，用于采用所述图像识别方法从反作用后的地面正射投影图像中提取至少一个第二道路交通标线；
合并处理单元，用于将提取到的所述第一道路交通标线与所述第二道路交通标线进行合并，获得至少一个目标道路交通标线。
优选地，所述计算单元包括：
形态数据获取单元，用于获取所述地面正射投影图在所述惯导坐标系中的形态数据，所述形态数据包括位置数据及姿态数据；
坐标求取单元，用于根据所述形态数据求取所述至少一个目标道路交通标线的三维坐标。
本发明实施例第三方面提供一种终端，可包括上述第二方面所述的数据处理装置。
实施本发明实施例，具有如下有益效果：
本发明实施例中，通过采集包括二维街景图像、三维点云和惯导数据，借助于三维点云及惯导数据实现对所述二维街景图像进行区域分割并提取地面区域图像，从地面区域图像中检测至少一个目标道路交通标线，并反求目标道路交通标线的三维坐标。由于道路交通标线是从二维街景图像中而非三维点云中检测获得，可避免由于三维点云所面临的点云稀疏、遮挡、缺失等问题而影响检测结果；并且，借助于惯导数据、三维点云实现对二维街景图像的精准区域分割及检测提取，有效地提升了检测结果的准确性，提升了数据处理的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的流程图；
图2a为本发明实施例提供的一种二维街景图像的示意图；
图2b为本发明实施例提供的二维街景图像与三维点云进行配准的示意图；
图2c为本发明实施例提供的一种地面区域图像的示意图；
图3a为本发明实施例提供的一种二值化的地面区域图像的示意图；
图3b为本发明实施例提供的一种地面正射投影图的示意图；
图4为本发明实施例提供的一种终端的结构示意图；
图5为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中，通过采集包括二维街景图像、三维点云和惯导数据，借助于三维点云及惯导数据实现对所述二维街景图像进行区域分割并提取地面区域图像，从地面区域图像中检测至少一个目标道路交通标线，并反求目标道路交通标线的三维坐标，从而达到提升检测结果的准确性，提升数据处理的实用性的目的。
基于上述原理，本发明实施例提供一种数据处理方法，请参见图1，该方法可包括以下步骤S101-步骤S104。
S101，采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据。
其中，二维街景图像可以采用诸如相机、摄像头等摄像设备通过拍摄道路获得，二维街景图像通常包含地面区域的影像及非地面区域的影像，其中地面区域的影像可描述道路路面情况、道路交通标线、道路中运行的车辆、道路中的隔离带等数据。非地面区域的影像可描述道路周边的建筑物、植物等等。此处，道路交通标线是指道路路面上的线条、文字、箭头、立面标记、突起路标、轮廓标等用于传递引导、限制、警告等交通信息的标识。道路交通标线可包括但不限于：车道线和/或道路标识；其中的道路标识可包括但不限于：转向标识、减速标识、禁驶区标识等等。三维点云可通过激光扫描仪来获取。激光扫描仪可以对扫描范围内多个空间点进行扫描，获得每一个空间点的三维坐标，结合每一个空间点对应的激光脉冲强度形成三维点云。惯导数据可采用INS(Inertial Navigation System，惯性导航系统)和IMU(Inertial Measurement Unit，惯性测量单元)扫描获得，具体地INS可获取扫描位置的GPS(Global Positioning System，全球定位系统)数据以及包含速度、加速度等的载体行驶数据；IMU可获取载体的翻滚、俯仰和偏航等数据。
S102，基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像。
本发明实施例中，所采集到的二维街景图像、三维点云及惯导数据均是来自于同一场景空间，因此，基于三者之间的空间位置关系并借助于三维点云，可以对二维街景图像进行区域分割。具体实现中，该方法在执行步骤S102时具体执行如下步骤s11-s13：
s11，根据所述惯导数据建立三维空间的惯导坐标系。
INS是一种不依赖于外部信息、也不向外部辐射能量的自主式导航系统。IMU是一种测量物体三轴姿态角(或角速率)以及加速度的装置。INS及IMU均包含陀螺仪和加速度计，其中陀螺仪会形成一个惯导坐标系，使得加速度计的测量轴稳定在该惯导坐标系中形成航向和姿态角。加速度计用于测量载体运动的加速度，并通过一系列计算转换获得载体的速度、位移、翻滚、俯仰等惯导数据；因此，根据采集到的所述惯导数据可以反推算出三维空间所使用的惯导坐标系，该惯导坐标系作为该三维空间在扫描过程中的位置参考基准。
s12，基于所述惯导坐标系将所述三维点云与所述二维街景图像在三维空间中进行配准。
以所述惯导坐标系作为位置参考基准，将三维点云与二维街景图像在三维空间中进行配准。具体实现中，通过激光扫描仪扫描获得场景空间中的某三维点P(xi,yi,zi)，该三维点P(xi,yi,zi)经过摄像设备成像后可获得二维街景图像中某二维点P'(xj,yj)，配准的目的就是从三维点云及二维街景图像中找出所有相匹配的三维点P(xi,yi,zi)及二维点P'(xj,yj)。
s13，采用配准后的所述三维点云对所述二维街景图像进行区域分割，提取地面区域图像。
当三维点云与二维街景图像在三维空间实现配准之后，借助于三维点云可以比较便捷的实现对二维街景图像的区域分割。由于三维点云中各点均采用三维坐标(x,y,z)表示，那么，依据x、y、z轴的取值可以比较直观地对三维空间进行区域划分，例如：假设地面区域内的三维点的z轴的取值均为0，那么所述三维点云中所有z轴的取值为0的三维点所构筑的空间区域即为地面空间区域；同理，假设某目标空间区域内的三维点的x轴的取值均为一预设值，那么提取所述三维点云中所有x轴的取值为该预设值的三维点所构筑的空间区域即为该目标空间区域。基于此，本步骤可利用三维点云中各点的三维坐标对三维空间进行区域划分，再查找到与地面空间区域内各三维点相配准的所有二维点，这些二维点在二维街景图像中构成的区域图像即为地面区域图像。
针对上述步骤s11-s13，可一并参见图2a-图2c，图2a示出所采集到的二维街景图像，步骤s12中基于惯导坐标系将图2a所示的二维街景图像与三维点云进行配准后，可形成图2b所示的图像。图2b所示的图像经步骤s13进行区域分割后，可获得图2c所示的地面区域图像。
S103，检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识。
二维街景图像的拍摄过程中，地面区域图像的拍摄方式通常采用非正射方式，摄像设备与道路路面基本处于平视范围，也就是说，摄像设备的成像轴与地面不垂直而存在一定的角度，此角度在惯导坐标系中表示为摄像设备的偏航角和/或俯仰角。非正射方式所获得的地面区域图像的景深较远，且由近及远呈渐进过渡，这为道路交通标线的提取提供了基础，但同时非正射方式会导致地面区域图像中的道路交通标线产生变形，从而增加了检测难度。基于此，本步骤在检测过程中需要对地面区域图像进行一些处理，具体地，该方法在执行步骤S103时具体执行如下步骤s21-s23：
s21，对所述地面区域图像进行二值化处理，获得二值化的地面区域图像。
一般地，采集到的二维街景图像为彩色图像，从该二维街景图像所提取的地面区域图像也为彩色图像，而道路交通标线表现为白色，为了使地面区域图像中的道路交通标线更为清晰且更便于检测，本步骤中需要对彩色的地面区域图像进行二值化处理，使之变换为二值化的地面区域图像。
s22，对所述二值化的地面区域图像进行正射投影变换，生成地面正射投影图。
正射投影变换的目的是调整所述地面区域图像的光轴方向为垂直于地面的方向；具体地，可以将二值化的地面区域图像投影至所述三维点云所描述的地面空间区域，生成地面的正射投影图。
s23，从所述地面正射投影图中提取至少一个道路交通标线。
所述地面正射投影图较为清晰的显示了车道线、道路标识等道路交通标线，那么，可以采用图像识别的方式对至少一个道路交通标线进行识别及提取；具体实现中，可以采用Hough变换(霍夫变换)方法来识别所述地面正射投影图中的车道线，而可以采用模板匹配的方法来识别所述地面正射投影图中的道路标识。
针对上述步骤s21-s23，可一并参见图3a-图3b，针对图2c所提取出来的地面区域图像，经步骤s21进行二值化处理后，可获得图3a所示的二值化的地面区域图像。将图3a所示的二值化的地面区域图像经步骤s22进行正射投影变换后，可获得图3b所示的地面正射投影图。可采用图像识别方法从图3b所示的地面正射投影图提取至少一个道路交通标线。
实际应用中，所述地面区域图像中不可避免会有运行车辆、隔离带、路面污渍等干扰物的存在，因此，在二值化后的地面正射投影图中会存在干扰物影像，这些干扰物影像会影响道路交通标线的检测结果。为了解决此问题，本发明实施例的方法在执行步骤s23时具体执行如下步骤s231-s234：
s231，采用图像识别方法从所述地面正射投影图像中提取至少一个第一道路交通标线，并提取干扰物影像。
s232，将所述干扰物影像作为二值掩码反作用于所述地面正射投影图像中。
s233，采用所述图像识别方法从反作用后的地面正射投影图像中提取至少一个第二道路交通标线。
s234，将提取到的所述第一道路交通标线与所述第二道路交通标线进行合并，获得至少一个目标道路交通标线。
步骤s231-步骤s234阐述了通过二次提取道路交通标线的方式来消除干扰物的影响，提升道路交通标线的检测结果的准确性；具体为：从地面正射投影图中首先提取一次道路交通标线，同时提取干扰物的影像作为二值掩码再反作用于正射投影图中，通过反作用可以去除地面正射投影图中的干扰物影像，然后，从地面正射投影图中再次提取道路交通标线，将两次提取的道路交通标线合并。可以理解的是，为了消除干扰物的影响，可以不限于二次提取的方式，例如：还可以采用三次或更多次提取的方式，最后将多次提取的道路交通标线合并。相比为二次提取的方式，三次或更多次的提取方式可能会使得干扰物的消除更为彻底，但同时会以效率降低为代价，具体实现过程中可以根据实际需要进行选择。
S104，基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标。
具体实现中，该方法在执行步骤S104时具体执行如下步骤s31-s32：
s31，获取所述地面正射投影图在所述惯导坐标系中的形态数据，所述形态数据包括位置数据及姿态数据。
s32，根据所述形态数据求取所述至少一个目标道路交通标线的三维坐标。
上述步骤s31-s32中，由于地面正射投影图来源于二维街景图像，基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，可得到地面正射投影图在惯导坐标系中的位置数据和姿态数据；利用地面正射投影图在惯导坐标系中的位置数据和姿态数据可反求目标道路交通标线的三维坐标。
本发明实施例的数据处理方法，通过采集包括二维街景图像、三维点云和惯导数据，借助于三维点云及惯导数据实现对所述二维街景图像进行区域分割并提取地面区域图像，从地面区域图像中检测至少一个目标道路交通标线，并反求目标道路交通标线的三维坐标。由于道路交通标线是从二维街景图像中而非三维点云中检测获得，可避免由于三维点云所面临的点云稀疏、遮挡、缺失等问题而影响检测结果；并且，借助于惯导数据、三维点云实现对二维街景图像的精准区域分割及检测提取，有效地提升了检测结果的准确性，提升了数据处理的实用性。
本发明实施例提供了一种终端，该终端可以为笔记本电脑、手机、PAD(平板电脑)、车载终端等设备。请参见图4，该终端的内部结构可包括但不限于：处理器、用户接口、网络接口及存储器。其中，终端内的处理器、用户接口、网络接口及存储器可通过总线或其他方式连接，在本发明实施例所示图4中以通过总线连接为例。
其中，用户接口是实现用户与终端进行交互和信息交换的媒介，其具体体现可以包括用于输出的显示屏(Display)以及用于输入的键盘(Keyboard)等等，需要说明的是，此处的键盘既可以为实体键盘，也可以为触屏虚拟键盘，还可以为实体与触屏虚拟相结合的键盘。处理器(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其可以解析终端内的各类指令以及处理终端的各类数据，例如：CPU可以用于解析用户向终端所发送的开关机指令，并控制终端进行开关机操作；再如：CPU可以在终端内部结构之间传输各类交互数据，等等。存储器(Memory)是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器既可以包括终端的内置存储器，当然也可以包括终端所支持的扩展存储器。存储器提供存储空间，该存储空间存储了终端的操作系统。本发明实施例中，存储器的存储空间还存储了数据处理装置。终端通过运行存储器中的数据处理装置来执行上述图1-3所示方法流程的相应步骤。请参见图5，该数据处理装置运行如下单元：
采集单元101，用于采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据。
分割处理单元102，用于基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像。
检测单元103，用于检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识。
计算单元104，用于基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标。
具体实现中，该设备在运行所述分割处理单元102的过程中，具体运行如下单元：
建立单元1001，用于根据所述惯导数据建立三维空间的惯导坐标系。
配准单元1002，用于基于所述惯导坐标系将所述三维点云与所述二维街景图像在三维空间中进行配准。
区域分割单元1003，用于采用配准后的所述三维点云对所述二维街景图像进行区域分割。
图像提取单元1004，用于提取地面区域图像。
具体实现中，该设备在运行所述检测单元103的过程中，具体运行如下单元：
二值化处理单元2001，用于对所述地面区域图像进行二值化处理，获得二值化的地面区域图像。
变换单元2002，用于对所述二值化的地面区域图像进行正射投影变换，生成地面正射投影图。
标线提取单元2003，用于从所述地面正射投影图中提取至少一个道路交通标线。
具体实现中，该设备在运行所述标线提取单元2003的过程中，具体运行如下单元：
第一提取单元2331，用于采用图像识别方法从所述地面正射投影图像中提取至少一个第一道路交通标线，并提取干扰物影像。
反作用处理单元2332，用于将所述干扰物影像作为二值掩码反作用于所述地面正射投影图像中。
第二提取单元2333，用于采用所述图像识别方法从反作用后的地面正射投影图像中提取至少一个第二道路交通标线。
合并处理单元2334，用于将提取到的所述第一道路交通标线与所述第二道路交通标线进行合并，获得至少一个目标道路交通标线。
具体实现中，该设备在所述计算单元104的过程中，具体运行如下单元：
形态数据获取单元3001，用于获取所述地面正射投影图在所述惯导坐标系中的形态数据，所述形态数据包括位置数据及姿态数据。
坐标求取单元3002，用于根据所述形态数据求取所述至少一个目标道路交通标线的三维坐标。
与方法同理，本发明实施例的数据处理装置，通过采集包括二维街景图像、三维点云和惯导数据，借助于三维点云及惯导数据实现对所述二维街景图像进行区域分割并提取地面区域图像，从地面区域图像中检测至少一个目标道路交通标线，并反求目标道路交通标线的三维坐标。由于道路交通标线是从二维街景图像中而非三维点云中检测获得，可避免由于三维点云所面临的点云稀疏、遮挡、缺失等问题而影响检测结果；并且，借助于惯导数据、三维点云实现对二维街景图像的精准区域分割及检测提取，有效地提升了检测结果的准确性，提升了数据处理的实用性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种数据处理方法，其特征在于，包括：
采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据；
根据所述惯导数据建立三维空间的惯导坐标系；
基于所述惯导坐标系将所述三维点云与所述二维街景图像在三维空间中进行配准；
采用配准后的所述三维点云对所述二维街景图像进行区域分割，提取地面区域图像；
检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识；
获取地面正射投影图在所述惯导坐标系中的形态数据，所述形态数据包括位置数据及姿态数据；所述地面正射投影图是对所述地面区域图像进行二值化处理及正射投影变换处理得到的；
根据所述形态数据求取所述至少一个目标道路交通标线的三维坐标。
2.如权利要求1所述的方法，其特征在于，所述检测所述地面区域图像中的至少一个道路交通标线，包括：
对所述地面区域图像进行二值化处理，获得二值化的地面区域图像；
对所述二值化的地面区域图像进行正射投影变换，生成地面正射投影图；
从所述地面正射投影图中提取至少一个道路交通标线。
3.如权利要求2所述的方法，其特征在于，所述从所述地面正射投影图中提取至少一个道路交通标线，包括：
采用图像识别方法从所述地面正射投影图像中提取至少一个第一道路交通标线，并提取干扰物影像；
将所述干扰物影像作为二值掩码反作用于所述地面正射投影图像中；
采用所述图像识别方法从反作用后的地面正射投影图像中提取至少一个第二道路交通标线；
将提取到的所述第一道路交通标线与所述第二道路交通标线进行合并，获得至少一个目标道路交通标线。
4.一种数据处理装置，其特征在于，包括：
采集单元，用于采集道路数据，所述道路数据包括二维街景图像、三维点云和惯导数据；
分割处理单元，用于基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系对所述二维街景图像进行区域分割，提取地面区域图像；
检测单元，用于检测所述地面区域图像中的至少一个目标道路交通标线，所述道路交通标线包括车道线和/或道路标识；
计算单元，用于基于所述二维街景图像、所述三维点云及所述惯导数据的空间位置关系，计算所述至少一个目标道路交通标线的三维坐标；
其中，所述分割处理单元包括：
建立单元，用于根据所述惯导数据建立三维空间的惯导坐标系；
配准单元，用于基于所述惯导坐标系将所述三维点云与所述二维街景图像在三维空间中进行配准；
区域分割单元，用于采用配准后的所述三维点云对所述二维街景图像进行区域分割；
图像提取单元，用于提取地面区域图像；
所述计算单元包括：
形态数据获取单元，用于获取地面正射投影图在所述惯导坐标系中的形态数据，所述形态数据包括位置数据及姿态数据；所述地面正射投影图是对所述地面区域图像进行二值化处理及正射投影变换得到的；
坐标求取单元，用于根据所述形态数据求取所述至少一个目标道路交通标线的三维坐标。
5.如权利要求4所述的装置，其特征在于，所述检测单元包括：
二值化处理单元，用于对所述地面区域图像进行二值化处理，获得二值化的地面区域图像；
变换单元，用于对所述二值化的地面区域图像进行正射投影变换，生成地面正射投影图；
标线提取单元，用于从所述地面正射投影图中提取至少一个道路交通标线。
6.如权利要求5所述的装置，其特征在于，所述标线提取单元包括：
第一提取单元，用于采用图像识别方法从所述地面正射投影图像中提取至少一个第一道路交通标线，并提取干扰物影像；
反作用处理单元，用于将所述干扰物影像作为二值掩码反作用于所述地面正射投影图像中；
第二提取单元，用于采用所述图像识别方法从反作用后的地面正射投影图像中提取至少一个第二道路交通标线；
合并处理单元，用于将提取到的所述第一道路交通标线与所述第二道路交通标线进行合并，获得至少一个目标道路交通标线。
7.一种终端，其特征在于，包括如权利要求4-6任一项所述的数据处理装置。
CN201610031452.5A 2016-01-18 2016-01-18 一种数据处理方法、装置及终端 Active CN105719284B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201610031452.5A CN105719284B (zh) 2016-01-18 2016-01-18 一种数据处理方法、装置及终端
EP16886160.7A EP3407294B1 (en) 2016-01-18 2016-12-28 Information processing method, device, and terminal
KR1020177036734A KR102003152B1 (ko) 2016-01-18 2016-12-28 정보 처리 방법, 디바이스, 및 단말기
PCT/CN2016/112671 WO2017124901A1 (zh) 2016-01-18 2016-12-28 一种数据处理方法、装置及终端
MYPI2017704510A MY188758A (en) 2016-01-18 2016-12-28 Information processing method, device, and terminal
JP2017565896A JP7034530B2 (ja) 2016-01-18 2016-12-28 情報処理方法、デバイス、および端末
US15/946,621 US10712747B2 (en) 2016-01-18 2018-04-05 Data processing method, apparatus and terminal
US16/892,039 US11320833B2 (en) 2016-01-18 2020-06-03 Data processing method, apparatus and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610031452.5A CN105719284B (zh) 2016-01-18 2016-01-18 一种数据处理方法、装置及终端

Publications (2)

Publication Number Publication Date
CN105719284A CN105719284A (zh) 2016-06-29
CN105719284B true CN105719284B (zh) 2018-11-06

Family

ID=56147331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610031452.5A Active CN105719284B (zh) 2016-01-18 2016-01-18 一种数据处理方法、装置及终端

Country Status (7)

Country Link
US (2) US10712747B2 (zh)
EP (1) EP3407294B1 (zh)
JP (1) JP7034530B2 (zh)
KR (1) KR102003152B1 (zh)
CN (1) CN105719284B (zh)
MY (1) MY188758A (zh)
WO (1) WO2017124901A1 (zh)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719284B (zh) 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
US10683034B2 (en) * 2017-06-06 2020-06-16 Ford Global Technologies, Llc Vehicle remote parking systems and methods
US10585430B2 (en) 2017-06-16 2020-03-10 Ford Global Technologies, Llc Remote park-assist authentication for vehicles
US10775781B2 (en) 2017-06-16 2020-09-15 Ford Global Technologies, Llc Interface verification for vehicle remote park-assist
CA3066764A1 (en) 2017-06-22 2018-12-27 Agjunction Llc 3-d image system for vehicle control
US10580304B2 (en) 2017-10-02 2020-03-03 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for voice controlled autonomous parking
US10627811B2 (en) 2017-11-07 2020-04-21 Ford Global Technologies, Llc Audio alerts for remote park-assist tethering
US10578676B2 (en) 2017-11-28 2020-03-03 Ford Global Technologies, Llc Vehicle monitoring of mobile device state-of-charge
CN107944425A (zh) * 2017-12-12 2018-04-20 北京小米移动软件有限公司 道路标志的识别方法和装置
US10814864B2 (en) 2018-01-02 2020-10-27 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10737690B2 (en) 2018-01-02 2020-08-11 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10688918B2 (en) 2018-01-02 2020-06-23 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10585431B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US11148661B2 (en) 2018-01-02 2021-10-19 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10583830B2 (en) 2018-01-02 2020-03-10 Ford Global Technologies, Llc Mobile device tethering for a remote parking assist system of a vehicle
US10974717B2 (en) 2018-01-02 2021-04-13 Ford Global Technologies, I.LC Mobile device tethering for a remote parking assist system of a vehicle
US10684773B2 (en) 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10747218B2 (en) 2018-01-12 2020-08-18 Ford Global Technologies, Llc Mobile device tethering for remote parking assist
US10917748B2 (en) 2018-01-25 2021-02-09 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
US10684627B2 (en) 2018-02-06 2020-06-16 Ford Global Technologies, Llc Accelerometer-based external sound monitoring for position aware autonomous parking
US11188070B2 (en) 2018-02-19 2021-11-30 Ford Global Technologies, Llc Mitigating key fob unavailability for remote parking assist systems
US10507868B2 (en) 2018-02-22 2019-12-17 Ford Global Technologies, Llc Tire pressure monitoring for vehicle park-assist
CN110316106B (zh) * 2018-03-30 2021-09-03 比亚迪股份有限公司 车辆及其显示终端系统和通过其建立立体地形数据库的方法
US10732622B2 (en) 2018-04-05 2020-08-04 Ford Global Technologies, Llc Advanced user interaction features for remote park assist
US10759417B2 (en) 2018-04-09 2020-09-01 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10793144B2 (en) 2018-04-09 2020-10-06 Ford Global Technologies, Llc Vehicle remote park-assist communication counters
US10493981B2 (en) 2018-04-09 2019-12-03 Ford Global Technologies, Llc Input signal management for vehicle park-assist
US10683004B2 (en) 2018-04-09 2020-06-16 Ford Global Technologies, Llc Input signal management for vehicle park-assist
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN109271861B (zh) * 2018-08-15 2021-08-17 武汉中海庭数据技术有限公司 多尺度融合的点云交通标识牌自动提取方法
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
US10384605B1 (en) 2018-09-04 2019-08-20 Ford Global Technologies, Llc Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
US10821972B2 (en) 2018-09-13 2020-11-03 Ford Global Technologies, Llc Vehicle remote parking assist systems and methods
US10717432B2 (en) 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
US10529233B1 (en) 2018-09-24 2020-01-07 Ford Global Technologies Llc Vehicle and method for detecting a parking space via a drone
US10967851B2 (en) 2018-09-24 2021-04-06 Ford Global Technologies, Llc Vehicle system and method for setting variable virtual boundary
CN110969592B (zh) * 2018-09-29 2024-03-29 北京嘀嘀无限科技发展有限公司 图像融合方法、自动驾驶控制方法、装置和设备
US10908603B2 (en) 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US10628687B1 (en) 2018-10-12 2020-04-21 Ford Global Technologies, Llc Parking spot identification for vehicle park-assist
US11097723B2 (en) 2018-10-17 2021-08-24 Ford Global Technologies, Llc User interfaces for vehicle remote park assist
US11137754B2 (en) 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
JP7138718B2 (ja) * 2018-10-30 2022-09-16 三菱電機株式会社 地物検出装置、地物検出方法および地物検出プログラム
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN110163064B (zh) * 2018-11-30 2022-04-05 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
JP2022513830A (ja) * 2018-12-13 2022-02-09 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング 道路の表面上の対象体を検出してモデル化する方法
CN109901139B (zh) * 2018-12-28 2023-07-04 文远知行有限公司 激光雷达标定方法、装置、设备和存储介质
US11789442B2 (en) 2019-02-07 2023-10-17 Ford Global Technologies, Llc Anomalous input detection
US11195344B2 (en) 2019-03-15 2021-12-07 Ford Global Technologies, Llc High phone BLE or CPU burden detection and notification
US11275368B2 (en) 2019-04-01 2022-03-15 Ford Global Technologies, Llc Key fobs for vehicle remote park-assist
US11169517B2 (en) 2019-04-01 2021-11-09 Ford Global Technologies, Llc Initiation of vehicle remote park-assist with key fob
WO2020243962A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
US11455813B2 (en) * 2019-11-14 2022-09-27 Nec Corporation Parametric top-view representation of complex road scenes
CN112907659A (zh) * 2019-11-19 2021-06-04 阿里巴巴集团控股有限公司 移动设备定位系统、方法及设备
US11584377B2 (en) * 2019-11-21 2023-02-21 Gm Cruise Holdings Llc Lidar based detection of road surface features
CN111862337B (zh) * 2019-12-18 2024-05-10 北京嘀嘀无限科技发展有限公司 视觉定位方法、装置、电子设备和计算机可读存储介质
CN113091757B (zh) * 2019-12-23 2022-09-27 百度在线网络技术（北京）有限公司 地图生成方法和装置
CN111127459B (zh) * 2019-12-30 2023-05-26 武汉理工大学 路面车辙检测的图像实时处理系统
CN111414809B (zh) * 2020-02-28 2024-03-05 上海牙典软件科技有限公司 一种三维图形识别方法、装置、设备及存储介质
CN111144388B (zh) * 2020-04-03 2020-07-14 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN111551976A (zh) * 2020-05-20 2020-08-18 四川万网鑫成信息科技有限公司 一种结合多种数据对异常定位进行自动补全的方法
US11030893B1 (en) * 2020-06-05 2021-06-08 Samuel Messinger System for reducing speed of a vehicle and method thereof
CN112863194B (zh) * 2021-01-20 2022-08-23 青岛以萨数据技术有限公司 一种图像处理方法、装置、终端及介质
CN112907746A (zh) * 2021-03-25 2021-06-04 上海商汤临港智能科技有限公司 电子地图的生成方法、装置、电子设备及存储介质
CN113222965B (zh) * 2021-05-27 2023-12-29 西安交通大学 放电通道的三维观测方法
JPWO2023286217A1 (zh) * 2021-07-14 2023-01-19
US11608084B1 (en) * 2021-08-27 2023-03-21 Motional Ad Llc Navigation with drivable area detection
CN114419231B (zh) * 2022-03-14 2022-07-19 幂元科技有限公司 基于点云数据和ai技术的交通设施矢量识别提取分析系统
CN115578433B (zh) * 2022-09-30 2023-09-01 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN116468870B (zh) * 2023-06-20 2024-01-23 佛山科学技术学院 一种城市道路三维可视化建模方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346190B2 (en) * 2004-03-08 2008-03-18 Mitsubishi Denki Kabushiki Kaisha Traffic line recognition device
CN104063499A (zh) * 2014-07-04 2014-09-24 纵横皆景（北京)信息技术有限公司 基于车载空间信息采集的空间矢量poi提取方法
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4309920B2 (ja) 2007-01-29 2009-08-05 株式会社東芝 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP4344869B2 (ja) 2007-02-16 2009-10-14 三菱電機株式会社 計測装置
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
EP2320382A4 (en) 2008-08-29 2014-07-09 Mitsubishi Electric Corp DEVICE, METHOD AND PROGRAM FOR IMAGE IMAGE TRAINING
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
KR20130085235A (ko) * 2012-01-19 2013-07-29 김동용 자동차의 무인 운전 시스템
GB2520338A (en) * 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346190B2 (en) * 2004-03-08 2008-03-18 Mitsubishi Denki Kabushiki Kaisha Traffic line recognition device
CN104063499A (zh) * 2014-07-04 2014-09-24 纵横皆景（北京)信息技术有限公司 基于车载空间信息采集的空间矢量poi提取方法
CN104899858A (zh) * 2015-02-15 2015-09-09 北京联合大学 基于双摄像机图像融合的车道线识别方法
CN104766058A (zh) * 2015-03-31 2015-07-08 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置

Also Published As

Publication number Publication date
EP3407294A4 (en) 2019-10-23
JP7034530B2 (ja) 2022-03-14
KR102003152B1 (ko) 2019-07-23
MY188758A (en) 2021-12-29
JP2018523865A (ja) 2018-08-23
US20180224863A1 (en) 2018-08-09
CN105719284A (zh) 2016-06-29
US10712747B2 (en) 2020-07-14
KR20180010238A (ko) 2018-01-30
US20200293058A1 (en) 2020-09-17
US11320833B2 (en) 2022-05-03
EP3407294B1 (en) 2021-03-31
EP3407294A1 (en) 2018-11-28
WO2017124901A1 (zh) 2017-07-27

Similar Documents

Publication Publication Date Title
CN105719284B (zh) 一种数据处理方法、装置及终端
CN105512646B (zh) 一种数据处理方法、装置及终端
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
CN105702151B (zh) 一种室内地图构建方法及装置
CN108955670B (zh) 信息获取方法和装置
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN103941264B (zh) 一种室内未知环境下使用激光雷达定位方法
CN108732582A (zh) 车辆定位方法和装置
CN110426051A (zh) 一种车道线绘制方法、装置及存储介质
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
JP4978615B2 (ja) 対象特定装置
CN105700525B (zh) 基于Kinect传感器深度图机器人工作环境不确定性地图构建法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
KR20120132704A (ko) 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
US20150138193A1 (en) Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium
WO2023060632A1 (zh) 基于点云数据的街景地物多维度提取方法和系统
KR102441100B1 (ko) Las 데이터를 이용한 도로 지문 데이터 구축 시스템 및 그 방법
CN115423968A (zh) 基于点云数据和实景三维模型的输电通道优化方法
CN111121724A (zh) 一种使用无人机进行测距测量的方法和装置
CN113284239B (zh) 一种关于智慧城市的电子沙盘制作方法及装置
CN105424059B (zh) 宽基线近红外相机位姿估计方法
CN110738105A (zh) 一种基于深度学习的计算城市街道小区人流量的方法、装置、系统及存储介质
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及系统
CN113433566A (zh) 地图建构系统以及地图建构方法
JP7117408B1 (ja) 位置算出装置、プログラム及び位置算出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant