CN112016366A - 一种障碍物定位方法及装置 - Google Patents

一种障碍物定位方法及装置 Download PDF

Info

Publication number
CN112016366A
CN112016366A CN201910468735.XA CN201910468735A CN112016366A CN 112016366 A CN112016366 A CN 112016366A CN 201910468735 A CN201910468735 A CN 201910468735A CN 112016366 A CN112016366 A CN 112016366A
Authority
CN
China
Prior art keywords
image
obstacle
coordinates
coordinate system
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910468735.XA
Other languages
English (en)
Inventor
马东辉
段雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing CHJ Automotive Information Technology Co Ltd
Original Assignee
Beijing CHJ Automotive Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing CHJ Automotive Information Technology Co Ltd filed Critical Beijing CHJ Automotive Information Technology Co Ltd
Priority to CN201910468735.XA priority Critical patent/CN112016366A/zh
Publication of CN112016366A publication Critical patent/CN112016366A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施例公开了一种障碍物定位方法及装置,涉及数据处理技术领域,主要目的在于降低车辆驾驶时定位障碍物的成本。本公开的实施例的主要技术方案包括:采集车辆在测试道路上行驶的第一图像;建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系;通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵;利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位。

Description

一种障碍物定位方法及装置
技术领域
本公开的实施例涉及数据处理技术领域,特别是涉及一种障碍物定位方法及装置。
背景技术
随着社会的进步,车辆几乎成为每家每户所必须的交通工具。目前为了提高车辆行驶过程中的安全性和可靠性,在车辆行驶中需要对障碍物进行定位,从而使车辆有效的躲避障碍物。
目前,为了车辆行驶中能够对障碍物进行定位,需要在车辆上部署有雷达、相机、IMU传感器等大量的设备。依赖于雷达、相机、IMU传感器获取车辆行驶过程中的大量姿态数据,基于这些姿态数据对障碍物进行定位。但是,雷达、相机、IMU传感器等大量的设备昂贵,安装复杂。而基于姿态数据对障碍物进行定位时,算法和数据存储要求高。可见,现有的方式,在对障碍物进行定位时会耗费大量的设备成本和计算成本。
发明内容
有鉴于此,本公开的实施例提出了一种障碍物定位方法及装置,主要目的在于降低车辆驾驶时定位地面障碍物的成本。本公开的实施例主要提供如下技术方案:
第一方面,本公开的实施例提供了一种障碍物定位方法,所述方法包括:
采集车辆在测试道路上行驶所产生的第一图像;
建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系;
通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵;
利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位。
第二方面,本公开的实施例提供了一种障碍物定位装置,所述装置包括:
采集单元,用于采集车辆在测试道路上行驶所产生的第一图像;
标注单元,用于建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系;
处理单元,用于通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵;
定位单元,用于利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位。
第三方面,本公开的实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行第一方面所述的障碍物定位方法。
第四方面,本公开的实施例提供了一种人机交互装置,所述装置包括存储介质;及一个或者多个处理器,所述存储介质与所述处理器耦合,所述处理器被配置为执行所述存储介质中存储的程序指令;所述程序指令运行时执行第一方面所述的障碍物定位方法。
借由上述技术方案,本公开的实施例提供的障碍物定位方法及装置,首先采集车辆在测试道路上行驶的第一图像,确定第一图像的像素点在设置于第一图像中的第一坐标系中的坐标和确定第一图像的像素点在反映真实驾驶位置的第二坐标系中的坐标,并基于像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系得到坐标数据。通过预设的流形学习算法对坐标数据进行处理,得到流形学习映射矩阵。最后利用流形学习映射矩阵,对车辆在真实道路上行驶的第二图像中的障碍物进行定位。本公开的实施例利用流形学习算法对低成本采集到的图像数据进行处理,得到表征图像中的坐标与反映真实驾驶位置坐标系中的坐标的对应关系的流形学习映射矩阵,并利用流形学习映射矩阵对车辆在真实道路上行驶中的障碍物进行定位。可见,在对障碍物定位的过程中无需利用昂贵的传感器设备以及摄像设备,因此,可以极大的降低车辆驾驶时定位障碍物的成本。
上述说明仅是本公开的实施例技术方案的概述,为了能够更清楚了解本公开的实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本公开的实施例的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本公开的实施例的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本公开的实施例提供的一种障碍物定位方法的流程图;
图2示出了本公开的实施例提供的另一种障碍物定位方法的流程图;
图3示出了本公开的实施例提供的一种障碍物定位装置的组成框图;
图4示出了本公开的实施例提供的另一种障碍物定位装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
第一方面,本公开的实施例提供了一种障碍物定位方法,如图1所示,所述方法主要包括:
101、采集车辆在测试道路上行驶所产生的第一图像。
在实际应用中,为了提高障碍物定位的准确性,测试道路为平面道路或测试道路为道路中最大坡度小于预设坡度阈值的道路。
在实际应用中,车辆中安装有摄像设备(比如摄像头),该摄像设备朝向车辆正前方。当车辆在测试道路上行驶时拍摄图像,拍摄到的图像为车辆正前方的图像。摄像设备以车规级打孔精密安装,安装在车前向防风玻璃的上方,且在安装时,摄像设备距离车轮后轴中心的偏移量精度为毫米级别。
具体的,为了更好的推算出测试道路的流形面,在图像采集过程中,摄像设备的主轴与测试道路的地面之间的俯仰角(该俯仰角可以基于业务要求确定,比如,180°)保持不变。也就是在图像采集过程中一旦摄像设备的主轴与测试道路的地面之间的俯仰角发生变化,需要及时将俯仰角调节到设定的角度,以使俯仰角维持不变。由于内置有IMU(Inertialmeasurement unit,惯性测量单元)的摄像头的摄像设备,能够实时探测俯仰角等姿态数据,因此,本公开的实施例中选用的摄像设备为内置有IMU的摄像设备,但是对摄像设备的摄像头的类型和数量不作具体限定,比如,摄像头可以包括但不限于单目摄像头、双目摄像头和红外摄像头中的任意一种。
具体的,为了采集到更有利于标注操作的图像,采集图像时,车辆需行驶在有车道线,且路面为平面的平面测试道路上。
102、建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系。
具体的,在确定第一图像的像素点在第一坐标系中的坐标时,需要在第一图像中设定一个坐标原点,然后基于该坐标原点对第一图像的像素点的坐标进行标注。需要说明的是,为了保证数据标注的一致性,则需要保证采集到的每帧第一图像中的坐标原点需相同。在标注第一图像的像素点在第一坐标系中的坐标时,至少存在如下两种方法:第一种,标注第一图像的所有的像素点分别在第一坐标系中的坐标。第二种,仅标注第一图像的部分像素点分别在第一坐标系中的坐标,且这里所述的部分像素点均位于一条直线上,且该直线的延伸方向与车辆的行驶方向一致。
具体的,第二坐标系是车辆所处的坐标系,是可以反映真实驾驶位置的坐标系。示例性的,预设的坐标系可以包括但不限于大地坐标系。在标注第一图像的像素点在第二坐标系中的坐标时,仅标注被标注了第一坐标系中的坐标的像素点。
具体的,在标注第一图像的像素点在第一坐标系中的坐标和第一图像的像素点在第二坐标系中的坐标之后,需要建立这两种坐标之间的对应关系,该对应关系即为坐标数据。在对应关系中,一个像素点对应两种坐标,一种是像素点在第一坐标系中的坐标,另一种是像素点在第二坐标系对应的坐标。示例性的,第一图像存在像素点1,该像素点1在第一标志系中的坐标为(u1,v1),该像素点在第二坐标系中的坐标为(x1,y1,1),在坐标数据中,(u1,v1)和(x1,y1,1)对应存在。
103、通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵。
具体的,通过预设的流形学习算法加载坐标数据,并对坐标数据进行降维处理,得到流形学习映射矩阵。该流形学习映射矩阵可以表征第一坐标系中的坐标与第二坐标系中的坐标的对应关系。
具体的,预设的流形学习算法可以包括但不限于主成分分析(PCA)算法、非线性流形学习等距映射(lsomap)算法、拉普拉斯映射算法和局部线性嵌入算法中的任意一种。
104、利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位。
具体的,在对障碍物进行定位时,上述的第二图像采用的是当前采集的当前单帧第二图像。在采集到第二图像时,使用预设的检测算法检测第二图像中是否存在障碍物,如行人、车辆、地面动物等;若检测出存在障碍物,则利用流形学习映射矩阵对障碍物进行定位,从而确定障碍物与车辆之间的距离。若检测出不存在障碍物,则继续采集下一帧第二图像。
具体的,真实道路的路面情况包括如下两种:第一种,真实道路为路面为平面的道路;第二种,真实道路为存在坡度面的道路。为了提高障碍物定位的准确度,那么基于真实道路上述的两种情况对第二图像中的障碍物进行定位方法至少包括如下两种:
第一种,真实道路为路面为平面的道路时,利用流形学习映射矩阵和障碍物在当前第二图像中的坐标,对当前第二图像中的所述障碍物进行定位。
具体的,利用所述流形学习映射矩阵和障碍物在所述第二图像中的坐标,对障碍物进行定位的过程可以包括:确定当前采集的当前第二图像以及与当前第二图像相邻采集的上一个第二图像,其中这里所述的相邻为采集时间点上的相邻;当前第二图像与上一个第二图像中均包括同一障碍物。判断障碍物在当前第二图像和上一个第二图像中的位置之间的高差是否大于预设的高差。若判断出大于预设的高差,说明车辆在有坡度的道路上行驶,在采集完上一个第二图像之后,车辆进行了上坡或下坡行驶,此时,为了对障碍物进行更为准确的定位,则利用流形学习映射矩阵、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的障碍物进行定位。若判断出不大于预设的高差,说明车辆在路面为平面的道路上行驶,则直接利用流形学习映射矩阵和障碍物在当前第二图像中的坐标,对当前第二图像中的障碍物进行定位。
第二种,真实道路为存在坡度面的道路时,利用流形学习映射矩阵、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的所述障碍物进行定位。
具体的,利用流形学习映射矩阵、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的所述障碍物进行定位的过程可以包括:根据障碍物在当前第二图像中的坐标、障碍物在上一个第二图像中的坐标和预设的参考坐标,确定障碍物的落差角度;利用流形学习映射矩阵、落差角度、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的所述障碍物进行定位。
本公开的实施例提供的障碍物定位方法,首先采集车辆在测试道路上行驶的第一图像,确定第一图像的像素点在设置于第一图像中的第一坐标系中的坐标和确定第一图像的像素点在反映真实驾驶位置的第二坐标系中的坐标,并基于像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系得到坐标数据。通过预设的流形学习算法对坐标数据进行处理,得到流形学习映射矩阵。最后利用流形学习映射矩阵,对车辆在真实道路上行驶的第二图像中的障碍物进行定位。本公开的实施例利用流形学习算法对低成本采集到的图像数据进行处理,得到表征图像中的坐标与反映真实驾驶位置坐标系中的坐标的对应关系的流形学习映射矩阵,并利用流形学习映射矩阵对车辆在真实道路上行驶中的障碍物进行定位。可见,在对障碍物定位的过程中无需利用昂贵的传感器设备以及摄像设备,因此,可以极大的降低车辆驾驶时定位障碍物的成本。
第二方面,依据第一方面所述的方法,本公开的另一个实施例还提供了一种障碍物定位方法,如图2所示,所述方法主要包括:
201、利用内置有惯性测量单元IMU的摄像设备,采集所述车辆在测试道路上行驶的第一图像。
具体的,为了在采集过程中维持摄像设备的主轴与平面测试道路的地面之间的俯仰角保持不变,则在采集第一图像过程中,需要实时检测摄像设备的主轴与平面测试道路的地面之间的俯仰角是否维持在预设的设定角度。若检测出俯仰角发生变动,则及时将俯仰角调整到设定角度。
202、在所述第一图像中添加刻度标尺,并基于第一图像中的刻度标尺,标注所述第一图像的像素点在所述第一坐标系中的坐标。
具体的,在标注第一图像的像素点在第一坐标系中的坐标时,需要在第一图像中设定一个坐标原点,然后基于该坐标原点以及刻度标尺对第一图像的像素点的坐标进行标注,标注出的坐标就是像素点相对于坐标原点的坐标。
具体的,为了降低流形算法的难度,则在单帧第一图像中标注的像素点均位于一条直线上,且该直线的延伸方向与车辆的行驶方向一致。
203、基于所述第二坐标系,标注所述第一图像的像素点在所述第二坐标系中的坐标。
具体的,第二坐标系是车辆所处的坐标系,是可以反映真实驾驶位置的坐标系。示例性的,第二坐标系可以包括但不限于大地坐标系。为了降低标注量,在标注第一图像的像素点在第二坐标系中的坐标时,仅标注被标注了第一坐标系中的坐标的像素点。
204、建立对应于同一个像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系,并基于对应关系得到所述坐标数据。
具体的,在对应关系中,一个像素点对应两种坐标,一种是像素点在第一坐标系中的坐标,另一种是像素点在第二坐标系中的坐标。
205、通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵。
具体的,本步骤的详解与上述的步骤103的详解基本相同,因此在此将不再赘述。
206、检测所述第二图像中的障碍物,并确定所述障碍物对应的图像检测框。
具体的,检测所述第二图像中的障碍物,并确定所述障碍物对应的图像检测框的过程可以包括但不限于:在当前单帧第二图像中划分出覆盖第二图像整个图幅的多个连续的识别框;基于预设的检测算法依次对每一个识别框进行识别,对涉及到同一个障碍物的识别框进行合并,得到障碍物对应的图像检测框。
具体的,这里所述的检测算法可以包括但不限于深度学习目标检测算法。
207、根据所述图像检测框,确定所述障碍物在所述第二图像中的坐标。
具体的,根据所述图像检测框,确定所述障碍物在所述第二图像中的坐标的过程可以包括:确定所述图像检测框内所有像素点在所述第二图像中的坐标;从确定的坐标中,选取一个坐标作为所述障碍物在所述第二图像中的坐标。
具体的,图像检测框中涵盖有障碍物所涉及的至少部分或全部像素点。从图像检测框内所有像素点在所述第二图像中的坐标,选取一个坐标作为所述障碍物在所述第二图像中的坐标的方法至少包括如下三种:
第一种,选取位于图像检测框中心位置的像素点的坐标,作为障碍物在第二图像中的坐标。
第二种,选取图像检测框中,中心位置像素点以外任意一个像素点的坐标,作为障碍物在第二图像中的坐标。
第三种,选取图像检测框中位于障碍物中心位置的像素点的坐标,作为障碍物在第二图像中的坐标。
208、利用所述流形学习映射矩阵和所述障碍物在所述第二图像中的坐标,对所述障碍物进行定位。
具体的,利用所述流形学习映射矩阵和障碍物在所述第二图像中的坐标,对障碍物进行定位的过程可以包括:确定当前采集的当前第二图像以及与当前第二图像相邻采集的上一个第二图像,其中这里所述的相邻为采集时间点上的相邻;当前第二图像与上一个第二图像中均包括同一障碍物。判断障碍物在当前第二图像和上一个第二图像中的位置之间的高差是否大于预设的高差。若判断出大于预设的高差,说明车辆在有坡度的道路上行驶,在采集完上一个第二图像之后,车辆进行了上坡或下坡行驶,此时,为了对障碍物进行更为准确的定位,则利用流形学习映射矩阵、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的障碍物进行定位。若判断出不大于预设的高差,说明车辆在路面为平面的道路上行驶,则直接利用流形学习映射矩阵和障碍物在当前第二图像中的坐标,对当前第二图像中的障碍物进行定位。
具体的,利用流形学习映射矩阵、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的所述障碍物进行定位的过程可以包括:根据障碍物在当前第二图像中的坐标、障碍物在上一个第二图像中的坐标和预设的参考坐标,确定障碍物的落差角度;利用流形学习映射矩阵、落差角度、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的所述障碍物进行定位。
具体的,根据障碍物在当前第二图像中的坐标、障碍物在上一个第二图像中的坐标和预设的参考坐标,确定障碍物的落差角度的过程为:基于障碍物在当前第二图像中的坐标和预设的参考坐标确定第一向量,基于障碍物在上一个第二图像中的坐标和预设的参考坐标确定第二向量。然后采用下述的公式(1)确定出障碍物的落差角度的余弦值。
Figure BDA0002080179440000111
需要说明的是,Xi表征障碍物在当前第二图像中的坐标中水平轴的坐标、Xj表征障碍物在上一个第二图像中的坐标中水平轴的坐标、c表征预设的参考坐标中水平轴的坐标。通过该余弦值就可以推算出落差角的角度。该落差角是由于障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标之间高度落差造成的。
具体的,利用流形学习映射矩阵、落差角度、障碍物在当前第二图像中的坐标和障碍物在上一个第二图像中的坐标,对当前第二图像中的所述障碍物进行定位的过程可以包括:基于下述的公式(2)确定当前第二图像中的障碍物在预设坐标系中的坐标。
Figure BDA0002080179440000112
其中,(X,Y,Z)表征第二图像中的障碍物在预设坐标系中的坐标;(u1,v1)表征障碍物在上一个第二图像中的坐标;(u2,v2)障碍物在当前第二图像中的坐标。在确定出障碍物在预设坐标系中的坐标之后,基于车辆的GPS定位坐标确定车辆在预设坐标系中的坐标,通过两点之间的距离公式,计算车辆的坐标与障碍物的坐标之间的距离,该距离即为障碍物与车辆之间的距离。
具体的,利用流形学习映射矩阵、障碍物在当前第二图像中的坐标,对当前第二图像中的障碍物进行定位的过程包括:基于下述的公式(3)确定当前第二图像中的障碍物在预设坐标系中的坐标。
Figure BDA0002080179440000113
在确定出障碍物在预设坐标系中的坐标之后,基于车辆的GPS定位坐标确定车辆在预设坐标系中的坐标,通过两点之间的距离公式,计算车辆的坐标与障碍物的坐标之间的距离,该距离即为障碍物与车辆之间的距离。
第三方面,依据图1或图2所示的方法,本公开的另一个实施例还提供了一种障碍物定位装置,如图3所示,所述装置主要包括:
采集单元31,用于采集车辆在测试道路上行驶所产生的第一图像;
标注单元32,用于建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系;
处理单元33,用于通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵;
定位单元34,用于利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位。
本公开的实施例提供的障碍物定位装置,首先采集车辆在测试道路上行驶的第一图像,确定第一图像的像素点在设置于第一图像中的第一坐标系中的坐标和确定第一图像的像素点在反映真实驾驶位置的第二坐标系中的坐标,并基于像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系得到坐标数据。通过预设的流形学习算法对坐标数据进行处理,得到流形学习映射矩阵。最后利用流形学习映射矩阵,对车辆在真实道路上行驶的第二图像中的障碍物进行定位。本公开的实施例利用流形学习算法对低成本采集到的图像数据进行处理,得到表征图像中的坐标与反映真实驾驶位置坐标系中的坐标的对应关系的流形学习映射矩阵,并利用流形学习映射矩阵对车辆在真实道路上行驶中的障碍物进行定位。可见,在对障碍物定位的过程中无需利用昂贵的传感器设备以及摄像设备,因此,可以极大的降低车辆驾驶时定位障碍物的成本。
在一些实施例中,如图4所示,所述采集单元31,用于利用内置有惯性测量单元IMU的摄像头,采集所述车辆在平面测试道路上行驶所产生的第二图像,且在采集过程中,维持所述摄像头的主轴与所述平面测试道路的地面之间的俯仰角保持不变。
在一些实施例中,如图4所示,所述标注单元32,包括:
第一标注模块321,用于在所述第一图像中添加刻度标尺;基于所述刻度标尺,标注所述第一图像的像素点在所述第一坐标系中的坐标;
第二标注模块322,用于基于所述预设坐标系,标注所述第一图像的像素点在所述第二坐标系中的坐标;
建立模块323,用于建立对应于同一个像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系,得到所述坐标数据。
在一些实施例中,如图4所示,第一标注模块321标注的像素点均位于一条直线上,且该直线的延伸方向与所述车辆的行驶方向一致。
在一些实施例中,如图4所示,所述定位单元34,包括:
第一确定模块341,用于检测所述第二图像中的障碍物,并确定所述障碍物对应的图像检测框;
第二确定模块342,用于根据所述图像检测框,确定所述障碍物在所述第二图像中的坐标;
定位模块343,用于利用所述流形学习映射矩阵和所述障碍物在所述第二图像中的坐标,对所述障碍物进行定位。
在一些实施例中,如图4所示,所示第二确定模块342,用于确定所述图像检测框内所有像素点在所述第二图像中的坐标;从确定的坐标中,选取一个坐标作为所述障碍物在所述第二图像中的坐标。
在一些实施例中,如图4所示,所述定位模块343,包括:
确定子模块3431,用于确定当前采集的当前第二图像以及与所述当前第二图像相邻采集的上一个第二图像;所述当前第二图像与所述上一个第二图像中均包括同一障碍物;
判断子模块3432,用于判断所述障碍物在所述当前第二图像和所述上一个第二图像中的位置之间的高差是否大于预设的高差;若是,触发第一定位子模块3433;否则,触发第二定位子模块3434;
所述第一定位子模块3433,用于在所述判断子模块3432的触发下,利用所述流形学习映射矩阵、所述障碍物在所述当前第二图像中的坐标和所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位;
所述第二定位子模块3434,用于在所述判断子模块3432的触发下,利用所述流形学习映射矩阵和所述障碍物在所述当前第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位。
在一些实施例中,如图4所示,所述第一定位子模块3433,用于根据所述障碍物在所述当前第二图像中的坐标、所述障碍物在所述上一个第二图像中的坐标和预设的参考坐标,确定所述障碍物的落差角度;利用所述流形学习映射矩阵、所述落差角度、所述障碍物在所述当前第二图像中的坐标和所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位。
在一些实施例中,如图4所示,第二确定模块342,用于定所述图像检测框内所有像素点在所述第二图像中的坐标;从确定的坐标中,选取一个坐标作为所述障碍物在所述第二图像中的坐标。
在一些实施例中,如图4所示,采集单元31,用于利用内置有惯性测量单元IMU的摄像设备,采集所述车辆在测试道路上行驶的第一图像,且在采集过程中,维持所述摄像设备的主轴与所述测试道路的地面之间的俯仰角保持不变。
第三方面的实施例提供的障碍物定位装置,可以用以执行第一方面或第二方面的实施例所提供的障碍物定位方法,相关的用于的含义以及具体的实施方式可以参见第一方面或第二方面的实施例中的相关描述,在此不再详细说明。
第四方面,本公开的实施例提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行第一方面或第二方面所述的障碍物定位方法。
存储介质可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
第五方面,本公开的实施例提供了一种人机交互装置,所述装置包括存储介质;及一个或者多个处理器,所述存储介质与所述处理器耦合,所述处理器被配置为执行所述存储介质中存储的程序指令;所述程序指令运行时执行第一方面或第二方面所述的障碍物定位方法。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本公开的实施例可提供为方法、系统或计算机程序产品。因此,本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (15)

1.一种障碍物定位方法,其特征在于,所述方法包括:
采集车辆在测试道路上行驶的第一图像;
建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系;
通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵;
利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位。
2.根据权利要求1所述的方法,其特征在于,所述建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,包括:
在所述第一图像中添加刻度标尺;
基于所述刻度标尺,标注所述第一图像的像素点在所述第一坐标系中的坐标;
标注所述第一图像的像素点在所述第二坐标系中的坐标;
建立对应于同一个像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系。
3.根据权利要求2所述的方法,其特征在于,所述基于所述刻度标尺,标注所述第一图像的像素点在所述第一坐标系中的坐标,包括:
标注的像素点均位于一条直线上,且该直线的延伸方向与所述车辆的行驶方向一致。
4.根据权利要求1所述的方法,其特征在于,所述利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶的第二图像中的障碍物进行定位,包括:
检测所述第二图像中的障碍物,并确定所述障碍物对应的图像检测框;
根据所述图像检测框,确定所述障碍物在所述第二图像中的坐标;
利用所述流形学习映射矩阵和所述障碍物在所述第二图像中的坐标,对所述障碍物进行定位。
5.根据权利要求4所述的方法,其特征在于,所述利用所述流形学习映射矩阵和所述障碍物在所述第二图像中的坐标,对所述障碍物进行定位,包括:
确定当前采集的当前第二图像以及与所述当前第二图像相邻采集的上一个第二图像;所述当前第二图像与所述上一个第二图像中均包括同一障碍物;
判断所述障碍物在所述当前第二图像和所述上一个第二图像中的位置之间的高差是否大于预设的高差;
若是,利用所述流形学习映射矩阵、所述障碍物在所述当前第二图像中的坐标和所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位;
否则,利用所述流形学习映射矩阵和所述障碍物在所述当前第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位。
6.根据权利要求5所述的方法,其特征在于,所述利用所述流形学习映射矩阵、所述障碍物在所述当前第二图像中的坐标和所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位,包括:
根据所述障碍物在所述当前第二图像中的坐标、所述障碍物在所述上一个第二图像中的坐标和预设的参考坐标,确定所述障碍物的落差角度;
利用所述流形学习映射矩阵、所述落差角度、所述障碍物在所述当前第二图像中的坐标和所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位。
7.根据权利要求4所述的方法,其特征在于,所述根据所述图像检测框,确定所述障碍物在所述第二图像中的坐标,包括:
确定所述图像检测框内所有像素点在所述第二图像中的坐标;
从确定的坐标中,选取一个坐标作为所述障碍物在所述第二图像中的坐标。
8.根据权利要求1-7中任一所述的方法,其特征在于,所述采集车辆在平面测试道路上行驶所产生的第一图像,包括:
利用内置有惯性测量单元IMU的摄像设备,采集所述车辆在测试道路上行驶的第一图像,且在采集过程中,维持所述摄像设备的主轴与所述测试道路的地面之间的俯仰角保持不变。
9.一种障碍物定位装置,其特征在于,所述装置包括:
采集单元,用于采集车辆在测试道路上行驶所产生的第一图像;
标注单元,用于建立所述第一图像的像素点在第一坐标系中的坐标和所述第一图像的像素点在第二坐标系中的坐标之间的对应关系,基于所述对应关系得到坐标数据;所述第一坐标系为设置在所述第一图像中的坐标系;所述第二坐标系为反映真实驾驶位置的坐标系;
处理单元,用于通过预设的流形学习算法对所述坐标数据进行处理,得到流形学习映射矩阵;
定位单元,用于利用所述流形学习映射矩阵,对所述车辆在真实道路上行驶第二图像中的障碍物进行定位。
10.根据权利要求9所述的装置,其特征在于,所述标注单元,包括:
第一标注模块,用于在所述第一图像中添加刻度标尺;基于所述刻度标尺,标注所述第一图像的像素点在所述第一坐标系中的坐标;
第二标注模块,用于基于所述预设坐标系,标注所述第一图像的像素点在所述第二坐标系中的坐标;
建立模块,用于建立对应于同一个像素点的第一坐标系中的坐标与第二坐标系中的坐标之间的对应关系。
11.根据权利要求9所述的装置,其特征在于,所述定位单元,包括:
第一确定模块,用于若利用预设的检测算法,检测所述第二图像中的存在障碍物,并确定所述障碍物对应的图像检测框;
第二确定模块,用于根据所述图像检测框,确定所述障碍物在所述第二图像中的坐标;
定位模块,用于利用所述流形学习映射矩阵和所述障碍物在所述第二图像中的坐标,对所述障碍物进行定位。
12.根据权利要求11所述的装置,其特征在于,所述定位模块,包括:
确定子模块,用于确定当前采集的当前第二图像以及与所述当前第二图像相邻采集的上一个第二图像;所述当前第二图像与所述上一个第二图像中均包括同一障碍物;
判断子模块,用于判断所述障碍物在所述当前第二图像和所述上一个第二图像中的位置之间的高差是否大于预设的高差;若是,触发第一定位子模块;否则,触发第二定位子模块;
所述第一定位子模块,用于在所述判断子模块的触发下,利用所述流形学习映射矩阵、所述障碍物在所述当前第二图像中的坐标和所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位;
所述第二定位子模块,用于在所述判断子模块的触发下,利用所述流形学习映射矩阵和所述障碍物在所述当前第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位。
13.根据权利要求12所述的装置,其特征在于,所述第一定位子模块,用于根据所述障碍物在所述当前第二图像中的坐标、所述障碍物在所述上一个第二图像中的坐标和预设的参考坐标,确定所述障碍物的落差角度;利用所述流形学习映射矩阵、所述落差角度和所述障碍物在所述当前第二图像中的坐标、所述障碍物在所述上一个第二图像中的坐标,对所述当前第二图像中的所述障碍物进行定位。
14.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至8中任一项所述的障碍物定位方法。
15.一种人机交互装置,其特征在于,所述装置包括存储介质;及一个或者多个处理器,所述存储介质与所述处理器耦合,所述处理器被配置为执行所述存储介质中存储的程序指令;所述程序指令运行时执行权利要求1至8中任一项所述的障碍物定位方法。
CN201910468735.XA 2019-05-31 2019-05-31 一种障碍物定位方法及装置 Pending CN112016366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910468735.XA CN112016366A (zh) 2019-05-31 2019-05-31 一种障碍物定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910468735.XA CN112016366A (zh) 2019-05-31 2019-05-31 一种障碍物定位方法及装置

Publications (1)

Publication Number Publication Date
CN112016366A true CN112016366A (zh) 2020-12-01

Family

ID=73501520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910468735.XA Pending CN112016366A (zh) 2019-05-31 2019-05-31 一种障碍物定位方法及装置

Country Status (1)

Country Link
CN (1) CN112016366A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391368A (zh) * 2021-06-30 2021-09-14 山东国瑞新能源有限公司 一种基于虚拟成像技术的道路勘探方法及设备
CN113771573A (zh) * 2021-09-22 2021-12-10 北京车和家信息技术有限公司 一种基于识别路面信息的车辆悬架控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101549683A (zh) * 2009-04-23 2009-10-07 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
JP2010236891A (ja) * 2009-03-30 2010-10-21 Nec Corp カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システム
CN102538766A (zh) * 2011-12-21 2012-07-04 武汉科技大学 一种主动式智能车用障碍物检测方法
CN104008383A (zh) * 2014-06-24 2014-08-27 哈尔滨工业大学 基于流形学习线性化的高光谱图像特征提取算法
CN108909624A (zh) * 2018-05-13 2018-11-30 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010236891A (ja) * 2009-03-30 2010-10-21 Nec Corp カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システム
CN101549683A (zh) * 2009-04-23 2009-10-07 上海交通大学 自动识别道路深坑与障碍物的车辆智能方法
CN102538766A (zh) * 2011-12-21 2012-07-04 武汉科技大学 一种主动式智能车用障碍物检测方法
CN104008383A (zh) * 2014-06-24 2014-08-27 哈尔滨工业大学 基于流形学习线性化的高光谱图像特征提取算法
CN108909624A (zh) * 2018-05-13 2018-11-30 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN109409311A (zh) * 2018-11-07 2019-03-01 上海为森车载传感技术有限公司 一种基于双目立体视觉的限高预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
VHANALE S 等: "Real time obstacle detection for mobile robot navigation using stereo vision", 《2016 INTERNATIONAL CONFERENCE ON COMPUTING, ANALYTICS AND SECURITY TRENDS》, 1 December 2016 (2016-12-01), pages 1 - 6 *
王家渠 等: "基于ARM的清洁机器人障碍检测系统设计与实现", 《工业控制计算机》, vol. 27, no. 06, 25 June 2014 (2014-06-25), pages 17 - 18 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391368A (zh) * 2021-06-30 2021-09-14 山东国瑞新能源有限公司 一种基于虚拟成像技术的道路勘探方法及设备
CN113771573A (zh) * 2021-09-22 2021-12-10 北京车和家信息技术有限公司 一种基于识别路面信息的车辆悬架控制方法及装置

Similar Documents

Publication Publication Date Title
CN109871745B (zh) 识别空车位的方法、系统及车辆
CN112069643B (zh) 一种自动驾驶仿真场景生成方法及装置
CN111830953B (zh) 车辆自定位方法、装置及系统
CN111311902B (zh) 一种数据处理方法、装置、设备和机器可读介质
EP3842735B1 (en) Position coordinates estimation device, position coordinates estimation method, and program
CN112034431B (zh) 一种雷达和rtk的外参标定方法及装置
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
US20230144678A1 (en) Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN112529957A (zh) 确定摄像设备位姿的方法和装置、存储介质、电子设备
CN112016366A (zh) 一种障碍物定位方法及装置
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN114705121A (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN114898314A (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN112902911B (zh) 基于单目相机的测距方法、装置、设备及存储介质
CN105021573A (zh) 用于基于跟踪的视距估计的方法和设备
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN112037536A (zh) 一种基于视频特征识别的车辆测速方法及装置
CN111126154A (zh) 路面元素的识别方法、装置、无人驾驶设备和存储介质
Chen et al. Integrated vehicle and lane detection with distance estimation
CN115546130A (zh) 用于数字孪生的身高测量方法、装置及电子设备
CN115352452A (zh) 车辆环境的感知方法、系统、电子设备及存储介质
CN110023781A (zh) 用于根据车辆周围环境的雷达签名确定车辆的准确位置的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination