CN114071112B - 车辆点云识别成像方法及系统 - Google Patents
车辆点云识别成像方法及系统 Download PDFInfo
- Publication number
- CN114071112B CN114071112B CN202111209381.0A CN202111209381A CN114071112B CN 114071112 B CN114071112 B CN 114071112B CN 202111209381 A CN202111209381 A CN 202111209381A CN 114071112 B CN114071112 B CN 114071112B
- Authority
- CN
- China
- Prior art keywords
- imaging
- point cloud
- vehicle
- cloud data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像识别技术领域,公开了一种车辆点云识别成像方法,该方法包括:根据车辆所处的作业环境建立统一的三维坐标系;通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,所述成像设备包括固定机位式的传感器和移动机位式的传感器;对所述点云数据进行优化处理。本发明解决了原有的车辆三维成像识别精度不高、成像质量差的问题。
Description
技术领域
本发明属于图像识别技术领域,尤其涉及一种车辆点云识别成像方法及系统。
背景技术
随着城市现代化发展进程,自动洗车服务已被社会广泛需求。
在自动洗车领域,需要对车辆的外形进行识别成像以形成后续的路径规划,高质量的车辆成像是完成自动洗车流程的关键前提条件。目前的三维成像方法,大多都存在成像数据质量差等问题。比如,通过成像传感器获取的车辆外形数据往往会出现缺失,异常等问题,也会导致成像效果不良,尤其是在深色镜面与车玻璃部分,成像质量则容易存在缺陷,从而限制了自动洗车服务技术的自动化、智能化发展。
因此,如何设计出一种成像精度高、成像质量好的车辆点云识别成像方法及系统是目前需要解决的技术问题。
发明内容
本发明的目的是,提供一种车辆点云识别成像方法,以解决原有的车辆三维成像识别精度不高、成像质量差的问题。
为此,本发明的第一方面,提供了一种车辆点云识别成像方法,该方法包括:所述方法包括:
根据车辆所处的作业环境建立统一的三维坐标系;
通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,所述成像设备包括固定机位式的传感器和移动机位式的传感器;
对所述点云数据进行优化处理。
进一步地,在对停车区域内的车辆进行扫描之前,还进行如下预处理过程:
对不同的成像设备进行坐标一致性标定;和/或,
在车身表面涂洒去反光材料,其中,所述去反光材料至少覆盖车身表面的深色镜面部分及透明玻璃部分;和/或,
关闭当前作业环境的灯光或减弱灯光的光照强度。
进一步地,所述的优化处理包括如下中的一种或几种:
过滤掉因外部因素干扰产生的噪音成像数据;
祛除点云数据中存在的拖尾数据;
判断点云数据的成像质量,分理出质量高的点云数据和质量低的点云数据,并对低质量的点云数据进行后处理优化;
根据车辆的对称性特点,在检测到单侧扫描得到的图像数据不良时,对另一侧扫描得到的合格的图像数据做镜像处理。
进一步地,所述的后处理优化包括:去除点云数据中的异常点、自动填补缺失的点云数据、调整成像设备的工作参数及滤波器的工作参数。
进一步地,所述的优化处理还包括:对车辆上的具有相同性质的被扫描物体进行大数据积累并分别建立人工智能模型,在扫描到车辆某区域的物体表面时,通过建立的人工智能模型对该区域的物体进行自动识别和算法优化。
进一步地,所述的自动识别和算法优化包括:在扫描到车辆某区域的物体表面时,所述人工智能模型自动识别该物体的所属性质并预测合理的扫描距离,同时调整成像设备的工作参数和/或滤波器的工作参数。
进一步地,判断所述点云数据的成像质量包括:根据车辆不同表面所处的不同空间坐标位置和入射角度,并基于经验数据判断连续表面的点云密度、点云聚类规模,确定各成像区域的扫描质量,并针对性使用不同的优化处理处理方式或使用不同的优化参数。
进一步地,建立统一的三维坐标系包括:根据车辆所在的作业环境的结构布局,确定当前环境内的某一点为坐标原点,同时确定坐标系类型及方向;对该结构布局内的构筑物以及停车区域内的车辆位置进行测量和位置标定,确定它们相对坐标原点的位置坐标。
进一步地,建立所述三维坐标系后,还对成像设备实际扫描得到的图像数据与测量标定的位置数据进行修正,所述修正包括:
以测量出的构筑物及车辆相对原点的位置坐标点为基准,配合事先勾画出的作业场景的三维图纸坐标,并与成像设备扫描获得的图像数据相对原点的坐标点进行对比,计算各成像设备的空间姿态和空间坐标,标定成像精度误差,如存在误差,则将误差范围预设于成像数据中并进行修正,实现现场测量标定的坐标、预设的三维图纸坐标、成像设备实际扫描得到的坐标三者统一。
进一步地,对车辆不同位置进行扫描时,控制并调整成像设备的空间姿态,使得入射源贴近汽车表面的法线方向,其中,对车辆的的扫描基于全局扫描和局部扫描两种方式的配合。
进一步地,对于成像质量不高的部位,减小滤波器的边界滤除范围值。
本发明的另一方面,还提供了一种车辆点云识别成像系统,包括:
三维坐标系建立模块,根据车辆所处的作业环境建立统一的三维坐标系;
成像模块,通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,所述成像设备包括固定机位式的传感器和移动机位式的传感器;
点云数据优化模块,对所述点云数据进行优化处理。
进一步地,所述优化模块包括:
区域成像质量判断单元,对扫描的点云数据的信息密度和信息关联性进行判断,得出点云数据中各个区域的成像质量得分,供后处理优化;
滤波器单元,用于剔除离群点噪音和三维成像中的拖尾噪音数据;
镜像处理单元,根据车辆的对称性特点,在检测到单侧扫描得到的图像数据不良时,对另一侧扫描得到的合格的图像数据做镜像处理。
与现有技术相比,本发明所提供的一种车辆点云识别成像方法及系统,具有如下技术效果:
1、本发明在获取点云数据之前进行了成像传感器的坐标一致性标定、环境光和车身物理处理,在扫描成像时进行了点云质量的分理和判断,对低质量的点云数据进行了后优化处理,综合提高了点云成像的精度。
2、本发明对车辆具有同性质的物体进行了大数据积累和建模,根据不同的扫描区域进行不同的成像设备参数及滤波器参数调整,不仅提升了扫描精度,也克服了黑色镜面以及透明玻璃成像质量不足的问题。
3、本发明对低质量的点云数据进行的后优化处理包括多种处理方式,能够最大限度的形成完整的点云数据。
附图说明
图1是本发明实施例的车辆点云识别成像方法的流程示意图。
图2是本发明实施例的车辆点云识别成像系统的架构图。
图3是本发明实施例的成像设备的布置示意图。
具体实施方式
以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。如在说明书及权利要求当中使用了某些词汇来指称特定部件。本领域技术人员应可理解,硬件或软件制造商可能会用不同名词来称呼同一个部件。本说明书及权利要求并不以名称的差异来作为区分部件的方式,而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明本发明的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
下面结合附图和具体实施例对本发明做进一步详细说明。
本发明实施例提供了一种车辆点云识别成像方法,用于汽车自助洗车时的车辆外形特征获取,其中,自助洗车可以在室内外的洗车房内进行,或者其他特定的环境场景下,在车辆清洗的停靠区域外围安装固定有轨道,轨道可以是环绕车辆一周的椭圆形轨道,或者是沿车辆长度或其他方向平行或非平行设置的一条或更多条直线型轨道,轨道上设置有可沿轨道滑行的运动终端,运动终端可以是机器人也可以是仅含有成像等简单功能的模块,运动终端自带多个且不同类型的传感器,以对车辆的外形特征进行全方位运动式扫描。
参照图1所示,该成像方法包括如下步骤:
步骤S11、根据车辆所处的作业环境建立统一的三维坐标系;
其中,设备安装完毕后需要建立统一的三维坐标系,具体包括:
根据车辆所在的作业环境的结构布局,确定该结构布局内的某一点为坐标原点,同时确定坐标系类型及方向;以洗车房为例,根据洗车房的大小、空间结构布局、停车区域等因素,选定空间内的某一个点为坐标原点,然后再确定坐标轴方向和坐标类型,建立一个三维坐标系,比如选用三维笛卡尔坐标系。建立统一的坐标系后,后续所有扫描得到的图像点的位置数据将在该坐标系中进行计算和判断。
对该结构布局内的构筑物以及停车区域内的车辆位置进行测量和位置标定,确定它们相对坐标原点所处的坐标点。当选定坐标系之后,当前环境结构内的所有静态的构筑物以及后续进入该洗车房内的车辆均具有对应的位置坐标点。其中,选取的构筑物可以包括地面上的轨道、墙壁上的照明灯、墙面线、停车线等等。
在三维坐标系建立完成后,还需要通过测量标定的方法获得成像设备观察坐标的准确数据,具体来说,以人工测量并标定的构筑物及车辆相对原点的坐标点为基准,配合通过计算机软件对作业环境预设的各构筑物位置的三维图纸坐标点,并与成像设备实际扫描获得的某图像点位置数据相对原点的坐标点进行对比,当二者存在误差时,则将误差范围预设于成像数据中,进行修正,比如通过调整成像设备的旋转轴参数进而调整成像的坐标点,如此不断修正,使得对同一部位标定和测算的坐标点尽量保持一致,进而提高图像识别的精度。通过多次扫描成像并实地测量,通过几何计算获得各个成像传感器的空间姿态(在X轴、Y轴、Z轴三个方向上的旋转轴参数)和空间坐标,确保标定的与实测的坐标是一致的,实现现场标定的坐标、勾画的三维图纸坐标、成像传感器实际扫描得到的坐标三者统一,在出现误差时,可实时调整成像传感器工作参数,不断校准,以最大限度的达到三者的统一。
步骤S12、通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,成像设备包括固定机位式的传感器和移动机位式的传感器;
其中,固定机位式的传感器布置在作业环境的特定地方,比如洗车房的顶部墙角、固定架的顶部、固定轨道底部侧端等,固定机位式的传感器一方面能够从特定角度对车辆特定部位进行图像采集,另一方面,也能获取车辆的出、入库状态,对当前作业环境进行实时监控等。
移动机位式的传感器则以实时运动的方式进行扫描进而获取车辆的外形特征,运动方式包括移动扫描、旋转扫描或者二者的组合,移动扫描包括水平方向的扫描,比如沿车辆长度方向进行直线滑移时的扫描或者绕车身周围进行的圆周式扫描或弧形扫描,以及竖直方向上的扫描,比如在车辆高度方向上进行直线滑移时的扫描,成像设备的运动轨迹路径由本地计算机或后台服务器计算后确定,其运动路线是固定且精确的,在移动扫描过程中还可以同时控制成像传感器的成像角度的旋转。本实施例中,成像设备对车辆外形图像特征的获取是通过固定式和运动式两种的配合,固定式能够从大的角度获取车辆的外形轮廓,运动式则主要从车身局部来获取车辆的局部特征,固定式和移动式的配合能够最大限度的保证扫描的完整性。运动过程中实时扫描成像的好处在于,一方面,成像设备在运动,其位置在三维坐标系内会变化,获得的成像数据也是基于成像设备的实时位置关系而确定的,此外,成像设备的运动位移与时间的关系,以及某一时刻下成像设备相对于车辆的位置关系,是相互对应的,由于成像设备的位移是相对确定且明确的,所以,获取的车辆成像数据也是相对明确的。成像设备在任意时刻均可以从不同角度获取车辆的不同部位的点云数据,将点云数据进行积累叠加,明显提升了成像聚合数据的分辨率,也提升了成像质量,成像分辨率从原有高档激光雷达的10cm左右减少到不到1cm,成像精度从原有高档激光雷达的2cm减少到1cm以内。
本实施例中,对车辆外形特征的获取通过多个不同类型的成像设备配合来进行,成像设备包括雷达(如激光雷达、超声波雷达、毫米波雷达等)、图像传感器(如高清摄像头、双目或多目摄像头、TOF摄像头、热成像摄像头等)、距离传感器中的一种或多种,优选采用不同类型的成像设备同时独立进行采集,每个传感器都有自己独特的优势,对不同种类的传感器分别采集的图像数据进行融合处理后,会形成数据冗余,可以从中选取较好的图像特征点,减少单类型传感器存在的成像数据容易发生缺失或某对车辆的某特定部位成像质量差的缺陷,从而更能完整的捕获车辆的完整特征,也能克服车辆深色镜面表面成像质量差的问题。
移动式的成像传感器可以随轨道上的机器一起运动,机器可以是一台、两台或两台以上,成像传感器与车身具有一段间隔,成像传感器的安装高度高于车身最高点为佳,避免漏掉车顶成像数据,且对其他车辆位置成像时获得更好的成像角度。现有技术中,成像传感器的入射源在车辆的俯视与侧视方向,属于垂直入射,在车辆的车头与车尾等垂直部分会有无法捕捉成像数据的显现,本发明在车体不同位置进行扫描时,控制传感器调整不同的空间姿态。例如跟随汽车外形的扫描,保证入射源尽可能多的贴近汽车法线,通过控制传感器的运行轨迹,可完成跟随车辆外形的扫描。具体来说,控制成像传感器在持续移动和/或旋转过程中,至少在某一时刻,某一或某多个成像传感器产生的辐射信号的入射角与车辆表面的法线重合或接近法线。以雷达、距离传感器和TOF摄像头等主动发射信号的传感器为例,从法线进行入射,其反射信号沿法线返回,因接近垂直入射至物体表面,所以信号的反射表现最强,有最大的可能性获得高质量成像数据并保证数据的高准确性和高置信度,具体表现为显著提升的可用分辨率、三维测量精度、深色镜面问题显著改善;便于后续的清洗轨迹及风干轨迹的精准规划,此外,成像传感器是旋转与移动形式的,即使某一时刻的信号源没有接近车辆外形法线,会在下一时刻或其它时刻接近车辆外形的法线或与车辆外形法线重合。上述方式,克服了成像传感器入射角受限的核心问题,配合计算机算法,显著弱化了深色镜面问题,显著提升车身的成像覆盖率和成像质量,显著提升了三维测量精度。
此外,对成像设备进行的图像采集采用全局扫描和局部扫描相配合的方式。具体来说,设置主传感器与局部传感器,主传感器负责车辆数据的整体扫描,局部传感器负责主传感器无法精确获得数据的区域进行扫描成像。主传感器与局部传感器同时进行扫描成像,总体数据以主传感器的扫描数据为准,主传感器要保证尽可能大的扫描覆盖面积,局部传感器负责车后视镜、保险杠等特殊位置的扫描数据。在布置时,主传感器的高度通常较高,以获得相对较好的扫描面积,局部传感器的布置位置则主要根据所要扫描的部位进行个性化布置,比如可以布置于车后视镜等位置,局部传感器同样可进行运动控制(包括移动、旋转等)。
作为本发明一个优选的实施方式,在对停车区域内的车辆进行扫描之前,还进行如下预处理过程:
坐标系处理:对不同的成像设备进行一致性标定,统一它们的坐标系;将不同类型的成像传感器及对应的机位进行一致性标定,统一坐标系,使得不同的传感器扫描获取的点云数据在同一三维空间内呈现,形成数据冗余,防止扫描数据缺失。
物理处理:在启动扫描之前,在车身表面涂洒一层去反光材料,所述的去反光材料可以是清洗泡沫溶剂或者其它能够减少镜面反射的材料,其中,清洗溶剂至少覆盖车身表面的深色镜面部分及透明玻璃部分;通过上述的物理处理手段,增加漫反射率,能够减少深色镜面和透明镜面的反光,有助于后面的图像扫描。
环境处理:关闭当前作业环境的灯光或减弱灯光的光照强度,或者减少某个角度不必要的灯光照射。这样,能够减小环境光的背景干扰,进而减小成像数据获取的噪声声源。
步骤S13、对所述点云数据进行优化处理。
因成像设备可能会因为达到成像表面的射程远近、成像表面的入射角度、成像表面的材料特性、外部环境等因素而表现出不同程度的成像质量下降甚至无法成像的情况,故需要对形成的点云数据进行检测以确定点云数据的成像质量,具体来说,根据车辆不同表面所处的不同空间坐标位置和入射角度,并基于经验数据法判断连续表面的点云密度、点云聚类规模、数据连续性等因素,确定各成像区域的扫描质量,并针对性使用不同的优化处理处理方式或使用不同的优化参数。
本实施例中,优化处理包括如下中的一种或几种:
方式一、通过设置图像噪声滤波器(如高斯滤波器、均值滤波器、中值滤波器、双边滤波器),对采集的点云图像进行过滤处理,过滤掉因外部因素干扰产生的噪音成像数据,其中,易产生噪音的外部因素主要包括空气灰尘、环境光等,经过过滤,能够最大程度的减少噪音干扰。
方式二、通过设置专用的去拖尾算法滤波器(如加权循环卷积法),祛除点云数据中存在的拖尾数据,由于激光雷达等光学传感器发射的信号不是一条直线,而是一个具有小角度的扇形光柱,故信号会在前方形成一个具有一定面积的光斑,当光斑的一部分投射在物体表面,另一部分没在物体表面时,不在物体表面的信号会继续飞行直至遇到下一物体,由此出现拖尾现象,拖尾现象发生时会出现发射一个信号源返回两个甚至更多个的数据,第二个返回的信号数据或者第三个信号数据大概率就是错误点,传感器获取的点云数据经过拖尾算法去除错误点,仅保留较为可靠的点云数据,错误点的滤除范围根据预设的滤波器算法可以进行调整。
方式三、分理出质量高的点云数据和质量低的点云数据,并对质量低的点云数据进行后处理优化。
质量低的点云数据主要包含以下特征:1、成像传感器在该成像角度下呈现出不可预期的点云密度;2、不均匀的点云密度;3、点云数据呈小群化分布;4、车辆表面连续性不足;5、车辆的后视镜、天线等位置固有的点云成像质量不足问题。
对点云数据的质量判断通过人工智能模型实现,在判断出低质量的点云数据后,则根据不同的情况进行不同的后处理优化,具体包括:一、去除点云数据中的异常点,不同机位的传感器对物体的不同位置表面的成像,其点云密度存在明显规律,违反规律的点云就是异常点,采用离群点滤波与点云密度判断滤波对点云数据做后处理,去除异常点;二、自动填补缺失的点云数据,通过区域生长及梯度下降算法判断数据的连续性和异常点,在判断出车辆存在部分外形图像数据不连续的情况,如出现镂空或空白区域时,则进行模糊填充处理,模糊填充可基于插值填充算法,对空白区域自动生成放大的图像;在分离出低质量的点云数据,并进行优化后,还进一步的对设备的参数进行适应性调整,具体包括:调整成像传感器的工作参数、调整传感器机位数量以及调整滤波器的工作参数。成像传感器工作参数主要是指发射功率、入射角角度、扫描的直线距离、移动速度、旋转速度、采样频率等,比如针对特定部位使用更大发射功率的有源传感器提升返回信号的强度,或增加接收的传感器的灵敏性,以提升传感器的灵敏度,或者采用增加传感器机位、提升采样频率等方式获得更多的数据冗余等方式。滤波器的工作参数主要是指与外部环境噪声干扰及拖尾现象相关的参数,比如功率、波长、频率等,以最大限度的起到过滤效果和去拖尾效果,比如通过滤波器来抑制相似波长的环境光,进而减少光噪音源。滤波器的滤除范围值,也是一个重要的调节参数,在成像质量不高的部位,将滤波器的滤除的范围边界缩小,比如在车后视镜、天线、保险杠等雷达成像质量不高的位置,适当缩小错误判断范围,尽量多的保留成像数据。
方式四、根据车辆的对称性特点,在检测到单侧扫描得到的图像数据不良时,对另一侧扫描得到的合格的图像数据做镜像处理。
目前市场上的车辆几乎都是对称设计的,比如汽车外部后视镜大概率不会孤立存在。基于上述特点,在单侧扫描不良时,利用对称的另一侧的扫描结果进行镜像替换。具体来说,通过传感器运动扫描,判断数据是否缺失,如果某部分数据缺失比较严重,但根据车辆的中轴线,寻找该缺失部分对应的另外一侧的扫描结果,在实际操作中,轮毂数据的成像理论上是最好的,这样就很方便的以两侧的轮廓数据及坐标作为参考,在该坐标系内,建立对称面,进行左右图像数据的镜像替换,最终合成一个完整的三维图像数据。
此外,还可以基于建立的包含大量不同车型的车辆完整外形的模型数据库,根据检测的当前车辆的型号从所述模型数据库中查询出同型号的车辆模型数据进行替换;或者,查询当前车辆是否有历史扫描数据,如有,则从历史扫描数据选择对应的车辆模型数据进行替换。此种方式仅仅在扫描的车辆图像经过优化仍然无法满足基本的成像需求时才应用。
作为本发明一个优选的实施方式,还对车辆上的具有相同性质的被扫描物体进行大数据积累并分别建立人工智能模型,相同性质是指结构形状布局等基本一致,比如汽车车窗、汽车天窗、汽车后视镜、汽车前大灯等,在扫描到车辆某区域的物体表面时,通过建立的人工智能模型对该区域的物体进行自动识别和算法优化,在扫描到车辆某区域的物体表面时,通过人工智能模型自动识别该物体的所属性质并预测合理的扫描距离,同时调整成像设备的工作参数(如功率、波长等)和/或滤波器的工作参数(如通带带宽、中心频率、截止频率、驻波比、延迟时间、过滤范围值)。例如,整车扫描时,车窗是一个难以扫描和感知的透明物体,人工智能识别到车窗区域后,预测合理的扫描距离,并实时调整雷达、超声波传感器、视觉传感器等设备的工作参数,提升传感器灵明度和降低噪声阈值,同时给予拖尾滤波器正确的参考距离值等方法,提升扫描和成像质量。一般而言,扫描距离越近,成像质量越高,功率越大或者波长越长,成像质量越高,对于车辆的不同部位,其扫描距离、每秒钟的成像数量、波长会进行适应性调整,此外,对于不同部位扫描产生的拖尾现象,其设定的拖尾祛除的参考距离阈值也会存在不同的容忍度,本发明通过对车辆不同的部位进行扫描,进行大数据建模,获得车辆每个具有同性部位的人工智能模型,学习和理解机器成像过程中存在的数据缺陷并进行完善,在不同的部位进行不同的参数调整或算法的自动优化,提高了扫描成像的效率和精度,尤其是对于深色镜面部分,根据其共性,能够极大节省扫描时间,也克服了黑色镜面及透明玻璃处的成像质量不足的问题。
参照图2所示,与上述实施例相对应地,本发明的另一实施例提供了一种车辆点云识别成像系统,该系统包括:三维坐标系建立模块、成像模块和点云数据优化模块。
三维坐标系建立模块,根据车辆所处的作业环境建立统一的三维坐标系,后续采集的点云数据都在该坐标系内测算;
成像模块,通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,成像设备包括固定机位式的传感器和移动机位式的传感器;图3是本发明实施例中移动机位式的一个场景布置示意图,示例性的,该成像设备随两侧滑轨上的机器A和机器B沿水平方向移动扫描。
点云数据优化模块,对所述点云数据进行优化处理。
本实施例中,点云数据优化模块包括:
区域成像质量判断单元,用于对扫描的点云数据的信息密度和信息关联性进行判断,得出点云数据中各个区域的成像质量得分,供后处理优化;其中,该后处理优化包括:去除点云数据中的异常点、自动填补缺失的点云数据、调整成像设备的工作参数及滤波器的工作参数;
滤波器单元,用于剔除离群点噪音和三维成像中的拖尾噪音数据;
镜像处理单元,根据车辆的对称性特点,在检测到单侧扫描得到的图像数据不良时,对另一侧扫描得到的合格的图像数据做镜像处理。
由于持续的扫描成像,形成了大数据积累,本发明的成像系统还设置有模型建立单元,对机器设备动态实时扫描获取的车辆不同部位的外形图像数据进行积累,分别建立包含对车辆不同部位(如车窗、车轮毂、车大灯、车后备箱等)进行图像扫描的人工智能模型,通过持续学习不同成像设备的优缺点,调整成像设备或者滤波器在扫描对应部位时的参数,进而提高图像获取的精度和扫描效率。
本发明实施例中的车辆点云识别成像系统具有与前一实施例中所述的车辆点云识别成像方法相同的技术效果,故在此不再赘述。
值得注意的是,以上所述仅为本发明的较佳实施例,并非因此限定本发明的专利保护范围,本发明还可以对上述各种零部件的构造进行材料和结构的改进,或者是采用技术等同物进行替换。故凡运用本发明的说明书及图示内容所作的等效结构变化,或直接或间接运用于其他相关技术领域均同理皆包含于本发明所涵盖的范围内。
Claims (7)
1.一种车辆点云识别成像方法,其特征在于,所述方法包括:
根据车辆所处的作业环境建立统一的三维坐标系;
通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,所述成像设备包括固定机位式的传感器和移动机位式的传感器;
对所述点云数据进行优化处理;
其中,所述优化处理包括:
过滤掉因外部因素干扰产生的噪音成像数据;
祛除点云数据中存在的拖尾数据;
判断点云数据的成像质量,分理出质量高的点云数据和质量低的点云数据,并去除低质量的点云数据中的异常点、自动填补缺失的点云数据、调整成像设备的工作参数及滤波器的工作参数;
根据车辆的对称性特点,在检测到单侧扫描得到的图像数据不良时,对另一侧扫描得到的合格的图像数据做镜像处理;
对车辆上的具有相同性质的被扫描物体进行大数据积累并分别建立人工智能模型,在扫描到车辆某区域的物体表面时,通过建立的所述人工智能模型自动识别该物体的所属性质并预测合理的扫描距离,同时调整成像设备的工作参数和/或滤波器的工作参数。
2.如权利要求1所述的成像方法,其特征在于,在对停车区域内的车辆进行扫描之前,还进行如下预处理过程:
对不同的成像设备进行坐标一致性标定;和/或,
在车身表面涂洒去反光材料,其中,所述去反光材料至少覆盖车身表面的深色镜面部分及透明玻璃部分;和/或,
关闭当前作业环境的灯光或减弱灯光的光照强度。
3.如权利要求1所述的成像方法,其特征在于,判断所述点云数据的成像质量包括:根据车辆不同表面所处的不同空间坐标位置和入射角度,并基于经验数据判断连续表面的点云密度、点云聚类规模,确定各成像区域的扫描质量,并针对性使用不同的优化处理处理方式或使用不同的优化参数。
4.如权利要求1所述的成像方法,其特征在于,建立统一的三维坐标系包括:根据车辆所在的作业环境的结构布局,确定当前环境内的某一点为坐标原点,同时确定坐标系类型及方向;对该结构布局内的构筑物以及停车区域内的车辆位置进行测量和位置标定,确定它们相对坐标原点的位置坐标。
5.如权利要求4所述的成像方法,其特征在于,建立所述三维坐标系后,还对成像设备实际扫描得到的图像数据与测量标定的位置数据进行修正,所述修正包括:
以测量出的构筑物及车辆相对原点的位置坐标点为基准,配合事先勾画出的作业场景的三维图纸坐标,并与成像设备扫描获得的图像数据相对原点的坐标点进行对比,计算各成像设备的空间姿态和空间坐标,标定成像精度误差,如存在误差,则将误差范围预设于成像数据中并进行修正,实现现场测量标定的坐标、预设的三维图纸坐标、成像设备实际扫描得到的坐标三者统一。
6.如权利要求1所述的成像方法,其特征在于,对于成像质量不高的部位,减小滤波器的边界滤除范围值。
7.一种车辆点云识别成像系统,其特征在于,所述系统包括:
三维坐标系建立模块,根据车辆所处的作业环境建立统一的三维坐标系;
成像模块,通过成像设备对停靠在停车区域内的车辆进行扫描,得到不同时刻的车辆外形的点云数据并统一呈现于所述三维坐标系内,其中,所述成像设备包括固定机位式的传感器和移动机位式的传感器;
点云数据优化模块,对所述点云数据进行优化处理;其中,所述优化处理包括:过滤掉因外部因素干扰产生的噪音成像数据;祛除点云数据中存在的拖尾数据;判断点云数据的成像质量,分理出质量高的点云数据和质量低的点云数据,并去除低质量的点云数据中的异常点、自动填补缺失的点云数据、调整成像设备的工作参数及滤波器的工作参数;根据车辆的对称性特点,在检测到单侧扫描得到的图像数据不良时,对另一侧扫描得到的合格的图像数据做镜像处理;对车辆上的具有相同性质的被扫描物体进行大数据积累并分别建立人工智能模型,在扫描到车辆某区域的物体表面时,通过建立的所述人工智能模型自动识别该物体的所属性质并预测合理的扫描距离,同时调整成像设备的工作参数和/或滤波器的工作参数。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111209381.0A CN114071112B (zh) | 2021-10-18 | 2021-10-18 | 车辆点云识别成像方法及系统 |
PCT/CN2022/125860 WO2023066231A1 (zh) | 2021-10-18 | 2022-10-18 | 车辆点云识别成像方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111209381.0A CN114071112B (zh) | 2021-10-18 | 2021-10-18 | 车辆点云识别成像方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114071112A CN114071112A (zh) | 2022-02-18 |
CN114071112B true CN114071112B (zh) | 2023-09-01 |
Family
ID=80234808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111209381.0A Active CN114071112B (zh) | 2021-10-18 | 2021-10-18 | 车辆点云识别成像方法及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114071112B (zh) |
WO (1) | WO2023066231A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114071112B (zh) * | 2021-10-18 | 2023-09-01 | 北京魔鬼鱼科技有限公司 | 车辆点云识别成像方法及系统 |
CN116994202B (zh) * | 2023-08-03 | 2024-03-15 | 杭州宸悦智能工程有限公司 | 智能洗车机及其系统 |
CN116882035B (zh) * | 2023-09-07 | 2023-11-21 | 湖南省国土资源规划院 | 一种基于人工智能的空间对象识别与建模方法及相关设备 |
CN117152399A (zh) * | 2023-10-30 | 2023-12-01 | 长沙能川信息科技有限公司 | 基于变电站的模型制作方法、装置、设备和存储介质 |
CN117372850A (zh) * | 2023-11-01 | 2024-01-09 | 广西壮族自治区自然资源遥感院 | 一种激光点云建模的数据识别方法及系统 |
CN117593592B (zh) * | 2024-01-18 | 2024-04-16 | 山东华时数字技术有限公司 | 车底异物智能扫描识别系统及方法 |
CN117808703B (zh) * | 2024-02-29 | 2024-05-10 | 南京航空航天大学 | 一种多尺度大型部件装配间隙点云滤波方法 |
CN117912665B (zh) * | 2024-03-18 | 2024-06-07 | 大连经典牙科科技有限公司 | 一种基于口腔扫描数据的远程管理系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103162659A (zh) * | 2013-03-22 | 2013-06-19 | 张振宇 | 一种车辆三维扫描台的构造和生成货物随机采样点的方法 |
CN106370100A (zh) * | 2016-08-17 | 2017-02-01 | 北京汽车股份有限公司 | 车身对称偏差检测方法及系统 |
KR20180066618A (ko) * | 2016-12-09 | 2018-06-19 | (주)엠아이테크 | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 |
CN110095061A (zh) * | 2019-03-31 | 2019-08-06 | 唐山百川智能机器股份有限公司 | 基于轮廓扫描的车辆形位检测系统及方法 |
CN111340877A (zh) * | 2020-03-25 | 2020-06-26 | 北京爱笔科技有限公司 | 一种车辆定位方法及装置 |
CN111915652A (zh) * | 2020-08-14 | 2020-11-10 | 广州立信电子科技有限公司 | 一种基于大数据机器视觉的车辆美容保养智能服务平台 |
CN112099050A (zh) * | 2020-09-14 | 2020-12-18 | 北京魔鬼鱼科技有限公司 | 车辆外形识别装置和方法、车辆处理设备和方法 |
CN112428960A (zh) * | 2020-12-18 | 2021-03-02 | 青海慧洗智能科技有限公司 | 自适应车顶轮廓洗车方法、系统、装置 |
CN112819700A (zh) * | 2019-11-15 | 2021-05-18 | 阿里巴巴集团控股有限公司 | 一种点云数据的去噪方法、装置及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7077013B2 (ja) * | 2017-12-27 | 2022-05-30 | 株式会社トプコン | 三次元情報処理部、三次元情報処理部を備える装置、無人航空機、報知装置、三次元情報処理部を用いた移動体制御方法および移動体制御処理用プログラム |
CN111788602B (zh) * | 2017-12-29 | 2024-05-28 | 泰立戴恩菲力尔有限责任公司 | 点云去噪系统和方法 |
CN111192189A (zh) * | 2019-12-27 | 2020-05-22 | 中铭谷智能机器人(广东)有限公司 | 一种汽车外形的三维自动检测方法及系统 |
CN114071112B (zh) * | 2021-10-18 | 2023-09-01 | 北京魔鬼鱼科技有限公司 | 车辆点云识别成像方法及系统 |
-
2021
- 2021-10-18 CN CN202111209381.0A patent/CN114071112B/zh active Active
-
2022
- 2022-10-18 WO PCT/CN2022/125860 patent/WO2023066231A1/zh unknown
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103162659A (zh) * | 2013-03-22 | 2013-06-19 | 张振宇 | 一种车辆三维扫描台的构造和生成货物随机采样点的方法 |
CN106370100A (zh) * | 2016-08-17 | 2017-02-01 | 北京汽车股份有限公司 | 车身对称偏差检测方法及系统 |
KR20180066618A (ko) * | 2016-12-09 | 2018-06-19 | (주)엠아이테크 | 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치 |
CN110095061A (zh) * | 2019-03-31 | 2019-08-06 | 唐山百川智能机器股份有限公司 | 基于轮廓扫描的车辆形位检测系统及方法 |
CN112819700A (zh) * | 2019-11-15 | 2021-05-18 | 阿里巴巴集团控股有限公司 | 一种点云数据的去噪方法、装置及可读存储介质 |
CN111340877A (zh) * | 2020-03-25 | 2020-06-26 | 北京爱笔科技有限公司 | 一种车辆定位方法及装置 |
CN111915652A (zh) * | 2020-08-14 | 2020-11-10 | 广州立信电子科技有限公司 | 一种基于大数据机器视觉的车辆美容保养智能服务平台 |
CN112099050A (zh) * | 2020-09-14 | 2020-12-18 | 北京魔鬼鱼科技有限公司 | 车辆外形识别装置和方法、车辆处理设备和方法 |
CN112428960A (zh) * | 2020-12-18 | 2021-03-02 | 青海慧洗智能科技有限公司 | 自适应车顶轮廓洗车方法、系统、装置 |
Non-Patent Citations (1)
Title |
---|
基于激光点云的车辆外廓尺寸动态测量方法;张立斌;吴岛;单洪颖;刘琦烽;;华南理工大学学报(自然科学版)(第03期);第67-75页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023066231A1 (zh) | 2023-04-27 |
CN114071112A (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114071112B (zh) | 车辆点云识别成像方法及系统 | |
CN111368706B (zh) | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 | |
US11821987B2 (en) | Multiple resolution, simultaneous localization and mapping based on 3-D LIDAR measurements | |
US11061122B2 (en) | High-definition map acquisition system | |
CN112513679B (zh) | 一种目标识别的方法和装置 | |
CN114088041A (zh) | 车辆三维扫描成像方法及系统 | |
CN105404844A (zh) | 一种基于多线激光雷达的道路边界检测方法 | |
CN110568433A (zh) | 基于毫米波雷达的高空抛物检测方法 | |
CN111158013B (zh) | 多算法融合探鸟系统 | |
CN110873879A (zh) | 一种多源异构传感器特征深度融合的装置及方法 | |
US11295521B2 (en) | Ground map generation | |
CN111699410B (zh) | 点云的处理方法、设备和计算机可读存储介质 | |
US11677931B2 (en) | Automated real-time calibration | |
CN110766761A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN115151836A (zh) | 用于探测车辆周围环境中的移动对象的方法和机动车辆 | |
CN114675291A (zh) | 一种面向自动洗车系统的车体信息检测方法及应用 | |
CN115023626A (zh) | 用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法 | |
Yu et al. | LiDAR target fusion and algorithm detection based on improved YOLO | |
CN116740581B (zh) | 确定材质识别模型的方法、回到基站的方法及电子设备 | |
US20240203139A1 (en) | Systems and methods for depth map sampling | |
CN111290383B (zh) | 控制移动机器人移动的方法、装置及系统 | |
US20240054621A1 (en) | Removing reflection artifacts from point clouds | |
CN117818463A (zh) | 基于雷视融合的车载adb系统架构及使用方法 | |
CN114118238A (zh) | 基于激光与视频技术时间序列及特征融合的车型分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |