CN116755111B - 矿车的障碍物的识别方法、装置、计算机设备及存储介质 - Google Patents

矿车的障碍物的识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116755111B
CN116755111B CN202311068584.1A CN202311068584A CN116755111B CN 116755111 B CN116755111 B CN 116755111B CN 202311068584 A CN202311068584 A CN 202311068584A CN 116755111 B CN116755111 B CN 116755111B
Authority
CN
China
Prior art keywords
thermal imaging
abnormal
region
area
abnormal region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311068584.1A
Other languages
English (en)
Other versions
CN116755111A (zh
Inventor
刘欢
熊飞
吴昊宇
靳东坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeiShen Intelligent System Co Ltd
Original Assignee
LeiShen Intelligent System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeiShen Intelligent System Co Ltd filed Critical LeiShen Intelligent System Co Ltd
Priority to CN202311068584.1A priority Critical patent/CN116755111B/zh
Publication of CN116755111A publication Critical patent/CN116755111A/zh
Application granted granted Critical
Publication of CN116755111B publication Critical patent/CN116755111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动控制技术领域,公开了一种矿车的障碍物的识别方法、装置、计算机设备及存储介质,应用于载具,该方法包括:所述方法包括:通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;若存在尘雾干扰,基于热成像数据对异常区域进行识别。使得矿车可以在矿场中精准识别其他矿车和人,以增加矿车在矿场中的安全性。

Description

矿车的障碍物的识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及自动控制领域,尤其涉及一种矿车的障碍物的识别方法、装置、计算机设备及存储介质。
背景技术
矿用自卸卡车是国内外大型露天矿区汽车运输的主要装备,负责运输矿石、岩土等重要任务。它由车头、车架、车厢、车轮以及附带的动力、制动、减震缓冲装置等构成,具有自重大、载重大、体积大的特点。然而,在露天矿区,由于汽车运输工作量大、道路分布复杂、驾驶工作枯燥等因素,容易发生碰撞事故。此外,由于矿用自卸卡车体积庞大,驾驶室只占车头的一小部分,形成很大区域的视觉盲区,进一步增加了事故风险。
在矿区作业环境,由于基础设施建设水平参差不齐,光线、扬尘等影响驾驶的因素较多,为驾驶员的驾驶安全造成了很大困难,在一些情况下,很难看清前方行进路线上是否存在障碍、行人或小型车辆。同时,货车、卡车、拖车、泥头车和各种大型工程车辆均具有较大的盲区,即使经验丰富的驾驶员仍无法保障驾驶万无一失。
发明内容
第一方面,本申请提供一种矿车的障碍物的识别方法,应用于矿车,所述矿车装载有热成像相机和激光雷达,所述方法包括:
通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;
若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;
将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;
若存在尘雾干扰,基于热成像数据对异常区域进行识别。
进一步的,所述“所述激光雷达在异常区域上的点云数据”通过以下步骤获取:
基于单位时间内所述异常区域的热成像数据是否存在变化,判断所述异常区域中是否存在目标对象;
若所述异常区域中存在目标对象,则基于所述目标区域上的点云数据和所述目标区域上的热成像数据,得到所述异常区域的点云数据。
进一步的,所述“将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较”包括:
根据预设时间段内所述异常区域的热成像的活动痕迹,得到所述异常区域的热成像数据变化;
根据对应的相同时间段内所述异常区域的点云数据的活动痕迹,得到所述异常区域的点云数据变化;
将异常区域的热成像数据变化和异常区域的点云数据变化进行对比。
进一步的,所述“判断矿卡与异常区域之间是否存在尘雾干扰”包括:
若异常区域的热成像数据变化和异常区域的点云数据变化的差异小于预设值,则认定矿卡与异常区域之间不存在尘雾干扰;
若异常区域的热成像数据变化和异常区域的点云数据变化的差异不小于预设值,则认定矿卡与异常区域之间存在尘雾干扰。
进一步的,所述矿车上还设置有基准物,所述基准物设置在热成像相机的采集区域内;所述“若所述异常区域处于所述激光雷达的扫描区域内”,包括:
根据所述基准物和所述热成像相机的预设距离,结合所述热成像图像数据,得到所述异常区域与所述热成像相机的实际距离;
根据所述异常区域与所述热成像相机的实际距离,重复判断所述异常区域是否处于所述激光雷达的扫描区域内。
进一步的,所述“根据所述基准物和所述热成像相机的预设距离,结合所述热成像图像数据,得到所述异常区域与所述热成像相机的实际距离”,包括:
根据所述基准物和所述热成像相机的预设距离,得到当前帧热成像数据中单位像素代表的实际距离,所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离;
基于所述第一基准距离和所述当前帧热成像数据中异常区域与基准物的像素数量,得到所述异常区域与所述热成像相机的实际距离。
进一步的,所述“根据所述异常区域与所述热成像相机的实际距离,重复判断所述异常区域是否处于所述激光雷达的扫描区域内”,包括:
根据所述异常区域与所述热成像相机的实际距离,结合所述激光雷达的扫描距离,确认所述异常区域是否处于所述激光雷达的扫描区域内;
若所述异常区域不处于所述激光雷达的扫描区域内,则不断计算之后每帧热成像数据中异常区域与热成像相机的实际距离,直至所述异常区域处于激光雷达的扫描区域内。
进一步的,所述“若存在尘雾干扰,基于热成像数据对异常区域进行识别”包括:
将目标区域划分为至少2个识别子区域,所述的识别子区域沿所述热成像数据组成的热成像图像帧的高度分布;
将异常区域与识别子区域进行重叠,得到异常区域在识别子区域中的分布信息;
根据异常区域在识别子区域中的分布信息得到障碍物的识别结果。
进一步的,所述基准物为所述激光雷达。
第二方面,本申请还提供一种矿车的障碍物的识别装置,应用于矿车,所述矿车装载有热成像相机和激光雷达,所述装置包括:
热成像模块,用于通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;
划分模块,用于若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;
判断模块,用于将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;
识别模块,用于若存在尘雾干扰,基于热成像数据对异常区域进行识别。
第三方面,本申请还提供一种终端设备,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行所述的矿车的障碍物的识别方法。
第四方面,本申请还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行所述的矿车的障碍物的识别方法。
本发明公开了一种矿车的障碍物的识别方法、装置、计算机设备及存储介质,应用于载具,该方法包括:通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;若存在尘雾干扰,基于热成像数据对异常区域进行识别。使得矿车可以在矿场中精准识别其他矿车和人,以增加矿车在矿场中的安全性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对本发明保护范围的限定。在各个附图中,类似的构成部分采用类似的编号。
图1示出了本申请实施例一种矿车的障碍物的识别方法的流程示意图;
图2示出了本申请实施例一种载具示意图;
图3示出了本申请实施例一种识别子区域示意图;
图4示出了本申请实施例一种矿车的障碍物的识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下文中,可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本发明的各种实施例中被清楚地限定。
本申请的技术方案应用于各种场地的载具上,如矿场的矿用卡车、工地的工程车或者汽车等,具体而言为利用红外热成像相机和激光雷达之间的协作,在尘雾严重的时候,也能帮助矿用卡车在矿场的环境种识别其他的运动型障碍物,从而进行相应的避障操作,以确保矿用卡车在矿场的环境中也能安全驾驶,从而提高矿用卡车的行驶安全。
接下来以具体实施例说明本申请的技术方案。
实施例1
本实施例的技术方案应用于矿场中矿车的避障识别过程,无论是何种类的矿场,都难以避免存在尘雾的问题,而无论对于矿车还是人来讲,在这种多尘雾的环境中能见度低,很容易出现交通事故。而在矿场中,需要矿车避让的障碍物基本是活动型障碍物,例如人或者另一辆矿车,但是在有尘雾的情况下,往往司机无法提前发现这些障碍物,而且使用激光雷达也很难发现尘雾之后的人或者车辆。
如图1所示,本实施例的矿车的障碍物的识别方法应用应用于矿车,所述矿车装载有热成像相机和激光雷达,方法包括:
步骤S100,通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域。
载具可以矿场的矿用卡车、工地的工程车或者汽车等,是为了方便说明,本实施例以矿用卡车为例,其中,该矿用卡车上搭载有多个激光雷达,激光雷达实时扫描矿用卡车的四周空间,可以得到矿用卡车四周空间的点云数据。
具体如图2所示,为矿用卡车100的简易俯视图,矿用卡车100上可以分别在车头、车尾以及车身两侧各设置一个激光雷达110,同时在激光雷达110附近设置有热成像相机120,激光雷达和热成像相机配套设置,这4个激光雷达110通过实时扫描的方式,可以得到矿用卡车100四周的空间信息。为了确保扫描区域尽可能的覆盖矿用卡车100的四周,可以将激光雷达110设置在车头、车尾以及车身两侧的中间位置,热成像相机可以在激光雷达的感知范围内,进行热源的感知。
通过这四个激光雷达110获取矿用卡车周边的点云数据,这些点云数据可以表示矿用卡车周边的障碍物,后续通过对点云数据的分析,可以得到相应的障碍物方位、种类以及距离等数据。其中位于车头的激光雷达可以是扫描角度较小的型号为CH128X1的雷达,位于车身两侧的可以是扫描角度较大的型号为CB64S1的激光雷达。
扫描时,可以通过热成像相机来判断当前的采集范围内,是否存在异常区域。其中该异常区域表示的是可能有热源的区域,热成像相机主要通过红外线来感知采集分为内的热源,而在矿场这种工作环境里,通常只存在矿车和矿工,主要的活动障碍物也是这两种,而矿车搭载有激光雷达,激光雷达也是发热源,而人也是发热源,因此通过热成像相机可以探测到这两种物体。而这两种物体为需要避让的目标,所以当探测到热源时,会将探测到热源的区域标记为异常区域。
步骤S200,若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域。
本实施例中会通过异常区域和热成像相机的实际距离来判断一场区域是否处于激光雷达的扫描区域内,可以理解,激光雷达的扫描区域最远的距离比热成像相机要近一些,因此在热成像相机可以识别到异常区域的时候,该异常区域并不在激光雷达的扫描范围内,所以要先进行判定。
本实施例的矿车上还设置有基准物,该基准物设置于热成像相机的识别区域内,和热成像相机保持固定的预设距离,因此可以通过计算基准物和热成像数据中异常区域的距离来计算矿车和异常区域的距离。
基准物可以是额外设置的可以设置散发热量的设备,也可以直接使用激光雷达作为基准物来计算矿车和异常区域之间的距离,因此只要将基准物设置在热成像相机的采集区域内,并记录下热成像相机和该基准物的预设距离,就可以得到异常区域和热成像相机的实际距离,根据该实际距离,就可以判断异常区域是否已经进入了激光雷达的扫描区域内。
具体而言,可以根据所述基准物和所述热成像相机的预设距离,得到当前帧热成像数据中单位像素代表的实际距离,所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离。
然后可以基于所述第一基准距离和所述当前帧热成像数据中异常区域与基准物的像素数量,得到所述异常区域与所述热成像相机的实际距离。
例如热成像相机和基准物的预设距离为10厘米,在热成像图像中,热成像相机和基准物之间相距30个像素,因此可以得知30个像素表示10厘米,则第一基准距离为单个像素所表示的实际距离,即为三分之一厘米,若测量后得到的异常区域与基准物的像素数量为3000个,则表示异常区域和矿用卡车相距10米。再将该10米和激光雷达的扫描距离进行对比就知道是否是在激光雷达的扫描范围内了。若发现异常区域不处于所述激光雷达的扫描区域内,则不断计算之后每帧热成像数据中异常区域与热成像相机的实际距离,直至所述异常区域处于激光雷达的扫描区域内。
其中,当异常区域处于激光雷达的扫描区域内时,可以根据激光雷达的扫描结果,针对该异常区域划分出一个目标区域,使得目标区域包含该异常区域。
可以理解,热成像相机只是拍摄到热源,而热源具体是什么根据热成像相机拍摄的内容是无法知道的,因为除了需要进行避障的人和矿车外,也存在一些其他的热源的可能,例如路灯、分矿机等会发热的仪器设备,所以还需要通过激光雷达的扫描来确定该异常区域内的物体是什么。在此之前,通过圈定目标区域,以圈定需要分析的图像区域,从而方便后续的分析操作。
步骤S300,将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰。
本实施例中,主要是让矿用卡车避让可活动障碍物,例如其他的矿用卡车和人,甚至或者一些小动物,而这两样需要避让的目标都是会自主活动的,所以可以根据预设时间段内所述异常区域的热成像的活动痕迹,得到所述异常区域的热成像数据变化,从而判断异常区域内的是活动型障碍物还是静态型障碍物。
具体而言,可以根据基于单位时间内所述异常区域的热成像数据是否存在变化,判断所述异常区域中是否存在目标对象,目标对象就是活动型障碍物。可以理解,无论是人还是车,只要其在运动,则在热成像图像中,其图像是数据是会移动或者形变的,因此可以根据单位时间内的热成像数据进行对比,确定热成像数据的变化以确定障碍物是不是活动型障碍物。
若存在目标对象,就可以基于所述目标区域上的点云数据和所述目标区域上的热成像数据,得到所述异常区域的点云数据。而没有目标对象,则表示没有需要避让的物体,因此也不需要获取点云数据进行分析。
当存在目标对象时,就需要对这些点云数据进行分析识别操作,以确定目标对象是人还是车。可以理解,在矿场这种场地,一般都会有很大的扬尘形成尘雾,当场地中不存在尘雾干扰时,可以得到清晰完整的数据,但是当场地中存在尘雾干扰时,就需要考虑尘雾干扰的影响进行识别分析,因此还需要判断是否存在尘雾干扰。
其中激光雷达是通过发射激光来进行点云数据的获取,而激光对于尘雾的穿透性弱,当尘雾浓厚时,无法识别尘雾后的点云数据,而红外线在电磁波谱中的波长介于红光和微波之间,它可以通过许多物体如云层、雾气、烟雾、灰尘、玻璃等,因此即便在尘雾环境中,红外线相机也能拍摄到晨雾之后的热源。
针对是否存在可以通过识别异常区域的热成像数据变化和异常区域的点云数据变化的差异的大小,若该变化差异小于预设值,则认定矿卡与异常区域之间不存在尘雾干扰;若异常区域的热成像数据变化和异常区域的点云数据变化的差异不小于预设值,则认定矿卡与异常区域之间存在尘雾干扰。
其中上述的热成像数据变化和异常区域的点云数据变化的差异指的是在已成区域内,热成像数据和点云数据之间的不同,例如有一个人在识别区域内,热成像数据的获取因为不受尘雾影响,所以可以识别到一个人形,而点云数据识别时受尘雾影响的,因此若识别到的形状和热成像数据差别较大,则表示存在尘雾干扰,让激光雷达识别到了多余的东西,若两者类似,都是一个人形,则表示没有尘雾干扰。其中上述的预设值可以是相似度。
步骤S400,若存在尘雾干扰,基于热成像数据对异常区域进行识别。
可以理解,没有尘雾干扰时,通过激光雷达获取的点云数据可以直接得到矿用卡车和异常区域内的目标物体的距离。识别物体,然后进行相应的避障操作,因此本实施例主要解决在尘雾干扰的情况下进行的识别和避障。
首先,可以将目标区域划分为至少2个识别子区域,所述的识别子区域沿所述热成像数据组成的热成像图像帧的高度分布。
如图3所示,为在目标区域中,划分三个识别子区域的分布示例。除了图3中的上中下三个识别子区域外,也可以设置更多的识别子区域。
将异常区域与识别子区域进行重叠,得到异常区域在识别子区域中的分布信息。
通过将异常区域和识别子区域重叠,就相当于将异常区域进行了划分,而本申请通过划分了识别子区域,主要时用于划分该异常区域的高度,通过划分高度,确定异常区域中的人或者矿用卡车在异常区域中的分布情况。因此子区域可以是每预设高度进行设立,例如每1.5米设立一个子区,则图3中区域的高度为4.5米,若是区域更高,为6米,则设定的子区可以有4个。
然后就可以根据异常区域在识别子区域中的分布信息得到障碍物的识别结果。
具体而言,矿用卡车的高度一般都在4至5米以上,而人的高度一般在一米六到一米八之间,可见车和人的高度存在显著差异,因此在尘雾干扰的情况下,可以通过识别到的热源的高度来判断一场区域内的障碍物是人还是另一辆矿用卡车。例如人会占据第三识别子区域和第二识别子区域,而矿车会占据第一识别子区域、第二识别子区域和第三识别子区域,此外,也可能存在一些动物例如矿场中饲养的狗,其只会占据第三识别子区域,而上述的子区是根据高度设计的,因此可以直接根据是被到的目标对象所在子区,自动确定目标对象是人还是车,然后根据人和车的差别进行相应的避障操作。
可以理解,矿车在矿场的运输环境,跟一般的交通路况的驾驶不一样,矿场中的环境单一,活动型障碍物较少,因此一旦识别到活动型障碍物就需要注意并进行相应的操作,虽然矿场中的环境导致以激光雷达无法准确识别障碍物的轮廓,但是因为出现的活动型障碍物的种类有限,因此不需要准确的进行障碍物识别,只需要进行粗略的分类,就可以根据分类结果确定接下来的避障方式。
本申请实施例提供了一种矿车的障碍物的识别方法,其主要通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;若存在尘雾干扰,基于热成像数据对异常区域进行识别。使得矿用客车在矿坑或者矿场行驶时,可以通过热成像相机和激光雷达的配合,使得即便面对尘雾的干扰,也可以顺利的识别障碍物,并且针对人和车进行相应的分类识别,从而为自动避障方法提供有力情报,增强矿用卡车在矿场环境的障碍物识别能力,进而增加避障能力,并且提高了矿用卡车和矿工们的安全。
实施例2
如图4所示,本实施例提供一种矿车的障碍物的识别装置200,应用于矿车,所述矿车装载有热成像相机和激光雷达,所述装置包括:
热成像模块210,用于通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;
划分模块220,用于若所述异常区域处于所述激光雷达的扫描区域内,在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;
判断模块230,用于将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;
识别模块240,用于若存在尘雾干扰,基于热成像数据对异常区域进行识别。
本申请还提供一种终端设备,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行所述的矿车的障碍物的识别方法。
该终端设备可以是电脑、平板或者车载电脑等可以安装在车上进行相应自动驾驶控制的控制终端。
本申请还提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上运行时执行所述的矿车的障碍物的识别方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (9)

1.矿车的障碍物的识别方法,其特征在于,应用于矿车,所述矿车装载有热成像相机和激光雷达,所述矿车上还设置有基准物,所述基准物设置在所述热成像相机的采集区域内,所述方法包括:
通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;
根据所述基准物和所述热成像相机的预设距离,得到当前帧热成像数据中单位像素代表的实际距离,所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离;
基于所述第一基准距离和所述当前帧热成像数据中异常区域与基准物的像素数量,得到所述异常区域与所述热成像相机的实际距离;
根据所述异常区域与所述热成像相机的实际距离,结合所述激光雷达的扫描距离,确认所述异常区域是否处于所述激光雷达的扫描区域内;
若所述异常区域不处于所述激光雷达的扫描区域内,则不断计算之后每帧热成像数据中异常区域与热成像相机的实际距离,直至所述异常区域处于激光雷达的扫描区域内;
在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;
将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;
若存在尘雾干扰,基于热成像数据对异常区域进行识别。
2.根据权利要求1所述的识别方法,其特征在于,所述激光雷达在异常区域上的点云数据通过以下步骤获取:
基于单位时间内所述异常区域的热成像数据是否存在变化,判断所述异常区域中是否存在目标对象;
若所述异常区域中存在目标对象,则基于所述目标区域上的点云数据和所述目标区域上的热成像数据,得到所述异常区域的点云数据。
3.根据权利要求1或2所述的识别方法,其特征在于,所述将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较包括:
根据预设时间段内所述异常区域的热成像的活动痕迹,得到所述异常区域的热成像数据变化;
根据对应的相同时间段内所述异常区域的点云数据的活动痕迹,得到所述异常区域的点云数据变化;
将异常区域的热成像数据变化和异常区域的点云数据变化进行对比。
4.根据权利要求3所述的识别方法,其特征在于,所述判断矿卡与异常区域之间是否存在尘雾干扰,包括:
若异常区域的热成像数据变化和异常区域的点云数据变化的差异小于预设值,则认定矿卡与异常区域之间不存在尘雾干扰;
若异常区域的热成像数据变化和异常区域的点云数据变化的差异不小于预设值,则认定矿卡与异常区域之间存在尘雾干扰。
5.根据权利要求1所述的识别方法,其特征在于,所述基准物为所述激光雷达。
6.根据权利要求1、2或4所述的识别方法,其特征在于,所述若存在尘雾干扰,基于热成像数据对异常区域进行识别,包括:
将目标区域划分为至少2个识别子区域,所述的识别子区域沿所述热成像数据组成的热成像图像帧的高度分布;
将异常区域与识别子区域进行重叠,得到异常区域在识别子区域中的分布信息;
根据异常区域在识别子区域中的分布信息得到障碍物的识别结果。
7.一种矿车的障碍物的识别装置,其特征在于,应用于矿车,所述矿车装载有热成像相机和激光雷达,所述矿车上还设置有基准物,所述基准物设置在所述热成像相机的采集区域内,所述装置包括:
热成像模块,用于通过所述热成像相机的热成像数据判断热成像相机的采集区域中是否存在异常区域;
划分模块,用于根据所述基准物和所述热成像相机的预设距离,得到当前帧热成像数据中单位像素代表的实际距离,所述当前帧热成像数据中单位像素代表的实际距离定义为第一基准距离;
基于所述第一基准距离和所述当前帧热成像数据中异常区域与基准物的像素数量,得到所述异常区域与所述热成像相机的实际距离;
根据所述异常区域与所述热成像相机的实际距离,结合所述激光雷达的扫描距离,确认所述异常区域是否处于所述激光雷达的扫描区域内;
若所述异常区域不处于所述激光雷达的扫描区域内,则不断计算之后每帧热成像数据中异常区域与热成像相机的实际距离,直至所述异常区域处于激光雷达的扫描区域内;在所述扫描区域中划分出目标区域,所述目标区域包括异常区域;
判断模块,用于将所述激光雷达在异常区域上的点云数据和所述热成像相机在异常区域上的热成像数据进行比较,判断矿卡与异常区域之间是否存在尘雾干扰;
识别模块,用于若存在尘雾干扰,基于热成像数据对异常区域进行识别。
8.一种终端设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器上运行时执行权利要求1至6中任一项所述的矿车的障碍物的识别方法。
9.一种可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上运行时执行权利要求1至6中任一项所述的矿车的障碍物的识别方法。
CN202311068584.1A 2023-08-24 2023-08-24 矿车的障碍物的识别方法、装置、计算机设备及存储介质 Active CN116755111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311068584.1A CN116755111B (zh) 2023-08-24 2023-08-24 矿车的障碍物的识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311068584.1A CN116755111B (zh) 2023-08-24 2023-08-24 矿车的障碍物的识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN116755111A CN116755111A (zh) 2023-09-15
CN116755111B true CN116755111B (zh) 2023-11-03

Family

ID=87955644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311068584.1A Active CN116755111B (zh) 2023-08-24 2023-08-24 矿车的障碍物的识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116755111B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341936A (ja) * 2003-05-16 2004-12-02 Fuji Heavy Ind Ltd 操縦支援画像表示システム
JP2006177726A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法
JP2016024685A (ja) * 2014-07-22 2016-02-08 日立建機株式会社 鉱山用作業車両
JP2018043599A (ja) * 2016-09-13 2018-03-22 日立建機株式会社 鉱山用作業機械及びその後方監視方法
CN109490899A (zh) * 2018-11-12 2019-03-19 广西交通科学研究院有限公司 一种基于激光雷达和红外热成像仪的隧道内火源定位方法
WO2020064835A1 (fr) * 2018-09-25 2020-04-02 Continental Automotive France Système d'identification par radar ou lidar des panneaux de signalisation
CN110992398A (zh) * 2019-11-06 2020-04-10 上海航天控制技术研究所 一种激光雷达与红外探测系统图像融合跟踪与抗干扰方法
CN111880196A (zh) * 2020-06-29 2020-11-03 安徽海博智能科技有限责任公司 一种无人矿车抗干扰方法、系统及计算机设备
CN112218786A (zh) * 2019-03-26 2021-01-12 深圳大学 恶劣天气下的驾驶控制方法、装置、车辆及驾驶控制系统
CN114495065A (zh) * 2022-01-28 2022-05-13 北京三快在线科技有限公司 一种目标物识别的方法及装置
CN115331191A (zh) * 2022-10-13 2022-11-11 深圳市镭神智能系统有限公司 车型识别方法、装置、系统和存储介质
CN115877347A (zh) * 2022-12-08 2023-03-31 北京踏歌智行科技有限公司 一种矿区障碍检测方法、系统、电子设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218267B1 (en) * 2005-05-27 2007-05-15 Weil Gary J System of subterranean anomaly detection and repair using infrared thermography and ground penetrating radar
US9681066B2 (en) * 2013-07-08 2017-06-13 Flir Systems Ab Facilitating improved calibration of captured infrared data values by an IR imaging system in a thermography arrangement
US11740335B2 (en) * 2019-03-27 2023-08-29 Zoox, Inc. Identifying and/or removing false positive detections from LIDAR sensor output

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341936A (ja) * 2003-05-16 2004-12-02 Fuji Heavy Ind Ltd 操縦支援画像表示システム
JP2006177726A (ja) * 2004-12-21 2006-07-06 Nissan Motor Co Ltd 環境評価用赤外線画像作成装置及び環境評価用赤外線画像作成方法、環境評価用レーダ検出結果作成装置及び環境評価用レーダ検出結果作成方法、道路環境評価用データ作成装置及び道路環境評価用データ作成方法
JP2016024685A (ja) * 2014-07-22 2016-02-08 日立建機株式会社 鉱山用作業車両
JP2018043599A (ja) * 2016-09-13 2018-03-22 日立建機株式会社 鉱山用作業機械及びその後方監視方法
WO2020064835A1 (fr) * 2018-09-25 2020-04-02 Continental Automotive France Système d'identification par radar ou lidar des panneaux de signalisation
CN109490899A (zh) * 2018-11-12 2019-03-19 广西交通科学研究院有限公司 一种基于激光雷达和红外热成像仪的隧道内火源定位方法
CN112218786A (zh) * 2019-03-26 2021-01-12 深圳大学 恶劣天气下的驾驶控制方法、装置、车辆及驾驶控制系统
CN110992398A (zh) * 2019-11-06 2020-04-10 上海航天控制技术研究所 一种激光雷达与红外探测系统图像融合跟踪与抗干扰方法
CN111880196A (zh) * 2020-06-29 2020-11-03 安徽海博智能科技有限责任公司 一种无人矿车抗干扰方法、系统及计算机设备
CN114495065A (zh) * 2022-01-28 2022-05-13 北京三快在线科技有限公司 一种目标物识别的方法及装置
CN115331191A (zh) * 2022-10-13 2022-11-11 深圳市镭神智能系统有限公司 车型识别方法、装置、系统和存储介质
CN115877347A (zh) * 2022-12-08 2023-03-31 北京踏歌智行科技有限公司 一种矿区障碍检测方法、系统、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多传感器信息的前方障碍物检测;赵一兵等;计算机工程与应用;第43卷(第26期);178-181,230 *
基于红外传感器参数的红外/主动雷达弱小目标融合检测方法;郭明等;红外技术;第32卷(第08期);475-478,482 *

Also Published As

Publication number Publication date
CN116755111A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110430401B (zh) 车辆盲区预警方法、预警装置、mec平台和存储介质
USRE48322E1 (en) Construction zone sign detection
RU2666010C2 (ru) Способ и устройство для определения интенсивности движения с помощью электронного контроллера, установленного в транспортном средстве
CN105825185B (zh) 车辆防碰撞预警方法及装置
EP2879929B1 (en) Construction zone detection using a plurality of information sources
CN107807633A (zh) 一种路侧设备、车载设备以及自动驾驶感知方法及系统
CN111409630A (zh) 一种车辆避障方法、系统及装置
CN104021541A (zh) 车至车距离计算装置和方法
CN102096803A (zh) 基于机器视觉的行人安全状态识别系统
KR20150141190A (ko) 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들
CN108777065A (zh) 一种车辆弯道会车检测预警装置及其方法
WO2021173198A1 (en) Multi-modal, multi-technique vehicle signal detection
CN102905939A (zh) 用于监视机动车辆周围环境特别是后面空间的监视系统
US11072327B2 (en) Known lane intervals for automated driving
CN111551938A (zh) 一种基于矿区环境的无人驾驶技术感知融合方法
CN105825712A (zh) 一种车辆报警方法及装置
CN114126940A (zh) 电子控制装置
KR101861525B1 (ko) 무인자동차의 보행자 보호 시스템
US20240174274A1 (en) Obstacle detection for a rail vehicle
CN112849141B (zh) 用于自主车道变更的传感器共享的过程和系统
CN111731278B (zh) 一种基于车载单元、路侧单元的自动驾驶视觉检测系统
CN116755111B (zh) 矿车的障碍物的识别方法、装置、计算机设备及存储介质
KR20220014118A (ko) 적재 불량 트럭 단속 시스템
CN111815984A (zh) 一种基于物联网的车辆限高预警方法及系统、车辆
CN111198377A (zh) 矿用自卸卡车露天矿区防撞检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant