CN113420735B - 一种轮廓提取方法、装置、设备及存储介质 - Google Patents

一种轮廓提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113420735B
CN113420735B CN202110965160.XA CN202110965160A CN113420735B CN 113420735 B CN113420735 B CN 113420735B CN 202110965160 A CN202110965160 A CN 202110965160A CN 113420735 B CN113420735 B CN 113420735B
Authority
CN
China
Prior art keywords
image
dimensional
pixel
contour
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110965160.XA
Other languages
English (en)
Other versions
CN113420735A (zh
Inventor
朱琦
胡亘谦
杨光
杨超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Original Assignee
Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinrun Fulian Digital Technology Co Ltd filed Critical Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority to CN202110965160.XA priority Critical patent/CN113420735B/zh
Publication of CN113420735A publication Critical patent/CN113420735A/zh
Application granted granted Critical
Publication of CN113420735B publication Critical patent/CN113420735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种轮廓提取方法、装置、设备及存储介质,该方法包括:采集待识别的目标物体的二维图像和三维点云图像;基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。本发明通过结合二维图像和三维点云图像,能够避免二维图像自身纹理和三维点云边缘像素点精度不高的问题,提高对物体轮廓图像的提取准确度。

Description

一种轮廓提取方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种轮廓提取方法、装置、设备及存储介质。
背景技术
随着机器视觉的发展,工业上采用3D视觉配合工业机器人代替人工进行分拣作业的应用越来越广泛,其中,3D视觉主要采用结构光和双目视觉两种技术获得场景物体的点云图像,通过点云分割及配准的方式获得物体的类别和6D姿态。但现有技术中的点云配准较为耗时,当生产线上包含多种型号的物体时,将采集的点云图像与每个物体的点云模板逐一匹配非常耗时。基于此,提出了一种改进方案,即先通过物体的二维轮廓进行一次快速的模板匹配,再根据匹配到的模板通过点云配准进行6D姿态的计算。但是,该方案对物体二维轮廓的提取精度要求较高,若提取的二维轮廓不准确,将直接导致二维图像的匹配不成功,从而影响作业效率。而现有技术中,物体的二维图像由于受自身纹理的影响,在进行轮廓提取时,任何纹理都可能作为物体的轮廓被提取,从而提取出大量虚假轮廓。结合三维点云图像进行二维轮廓提取的方式,为了得到完整的连通区域,常常会对物体的二维图像进行腐蚀膨胀处理,从而破坏了物体二维图像中的轮廓信息。因此,现有技术中,对物体二维图像轮廓提取的准确度不高。
发明内容
本发明的主要目的在于提供一种物体轮廓提取方法、装置、设备及存储介质,旨在解决现有技术中,由于物体本身纹理的影响,或者在图像处理过程中容易对物体二维轮廓信息造成破坏,导致对物体二维轮廓图像的提取准确度不高的技术问题。
此外,为实现上述目的,本发明还提供一种轮廓提取方法,所述轮廓提取方法包括以下步骤:
采集待识别的目标物体的二维图像和三维点云图像;
基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;
对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;
利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。
可选地,所述基于所述三维点云图像,对所述二维图像进行特征提取,得到所述二维图像的第一轮廓图像的步骤,包括:
建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系;
基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像;
根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面,以及所述连通面的编号信息,生成所述二维图像的第二特征图像;
基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面;
遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点,并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像。
可选地,所述基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像的步骤,包括:
创建一个与所述二维图像分辨率相同的初始特征图像,从所述二维图像中不重复地选取一个第一像素点,并根据所述映射关系确定所述三维点云图像中与所述第一像素点对应的第二像素点;
以所述第二像素点为中心,从所述三维点云图像中选取所述第二像素点的邻域像素点,并利用所述第二像素点及其邻域像素点拟合三维平面;
计算所述三维平面的法向量的单位向量,并从所述初始特征图像中确定与所述第一像素点位置相同的第三像素点,将所述单位向量赋值给所述第三像素点,返回并执行所述从所述二维图像中不重复地选取一个第一像素点的步骤,直到所述第一像素点为所述二维图像中的最后一个像素点时,得到所述二维图像的第一特征图像。
可选地,所述基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面的步骤,包括:
遍历所述第二特征图像中的各个像素点,根据所述第二特征图像中各个像素点的像素值确定种子点;
选取所述种子点的邻域为待生长区域,并从所述三维图像中确定与所述种子点对应的第四像素点,以及所述待生长区域在所述三维点云图像中对应的目标生长区域;
计算所述目标生长区域中的各个像素点的深度值与所述第四像素点的深度值差值,确定与所述第四像素点的深度值差值小于预设的深度差阈值的第五像素点;
基于所述第一特征图像,对所述第四像素点与所述第五像素点的单位向量进行计算,确定所述第四像素点和所述第五像素点的法向量之间的角度差值;
若所述角度差值小于预设的角度差阈值,则将所述种子点的像素值设置为所述待生长区域中与所述第五像素点对应的像素点的像素值,得到所述目标物体在所述第二特征图像中的各个连通面。
可选地,所述遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点的步骤,包括:
从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点,并确定所述目标像素点的像素值,以及与所述目标像素点相邻的预设数量的像素点的像素值;
若与所述目标像素点相邻的预设数量的像素点中,存在至少一个像素点的像素值与所述目标像素点的像素值不一致,则将所述目标像素点判定为所述连通面的边缘像素点,返回并执行所述从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点的步骤,直到所述目标像素点为所述第二特征图像中各所述连通面的最后一个像素点为止。
可选地,所述第二轮廓图像为二值化图像,所述第二轮廓图像中的边缘像素点的像素值为第一特征值,除所述边缘像素点之外的其他像素点的像素值为第二特征值,所述利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤的步骤,包括:
从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点,其中,所述目标边缘像素点的像素值为第一特征值;
从所述第二轮廓图像中确定与所述目标边缘像素点对应的参考像素点,并按照预设尺寸确定所述参考像素点的目标邻域;
遍历所述目标邻域内的各个像素点,确定所述目标邻域内是否存在像素值与所述目标边缘像素点的像素值不一致的像素点;
若不存在,将所述目标边缘像素点的像素值设置为第二特征值,对所述目标边缘像素点进行剔除,返回并执行所述从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点的步骤,直到所述目标边缘像素点为所述第二轮廓图像中的最后一个边缘像素点为止。
此外,为实现上述目的,本发明还提供一种存储器上并可在所述处理器上运行的轮廓提取程序,所述装置,所述存储器上并可在所述处理器上运行的轮廓提取程序,所述装置包括:
图像采集模块,用于采集待识别的目标物体的二维图像和三维点云图像;
特征提取模块,用于基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;
轮廓提取模块,用于对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;
轮廓配准模块,用于利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。
此外,为实现上述目的,本发明还提供一种终端设备,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的轮廓提取程序,所述轮廓提取程序被所述处理器执行时实现如上述的轮廓提取方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有轮廓提取程序,所述轮廓提取程序被处理器执行时实现如上述的轮廓提取方法的步骤。
本发明实施例提出的一种轮廓提取方法、装置、设备及存储介质。与现有技术对物体的二维轮廓提取不准确相比,本发明实施例中,通过采集待识别的目标物体的二维图像和三维点云图像;基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。在提取物体的二维轮廓图像时,通过结合二维图像和三维点云图像,能够避免二维图像中任何纹理都可能作为物体轮廓被提取的问题,有效避免了二维图像自身纹理对轮廓提取的影响,同时与三维点云图像结合避免了点云在物体边缘处精度低导致轮廓提取不精准的情况,使提取的二维轮廓图像更加准确,从而提高了对物体二维轮廓图像的提取准确度。
附图说明
图1为本发明实施例提供的终端设备一种实施方式的硬件结构示意图;
图2为本发明轮廓提取方法第一实施例的流程示意图;
图3为本发明轮廓提取方法第二实施例的流程示意图;
图4为本发明轮廓提取装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本发明实施例轮廓提取终端(又叫终端、设备或者终端设备)可以是PC,也可以是智能手机、平板电脑和便携计算机等具有数据处理和显示功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,终端还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及轮廓提取程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的轮廓提取程序,所述轮廓提取程序被处理器执行时实现下述实施例提供的轮廓提取方法中的操作。
基于上述设备硬件结构,提出了本发明轮廓提取方法的各个实施例。
需要说明的是,随着机器视觉的发展,工业上采用3D视觉配合工业机器人代替人工进行分拣作业的应用越来越广泛,其中,3D视觉主要采用结构光和双目视觉两种技术获得场景物体的点云图像,通过点云分割及配准的方式获得物体的类别和6D姿态。但现有技术中的点云配准较为耗时,当生产线上包含多种型号的物体时,将采集的点云图像与每个物体的点云模板逐一匹配非常耗时。基于此,提出了一种改进方案,即先通过物体的二维轮廓进行一次快速的模板匹配,再根据匹配到的模板通过点云配准进行6D姿态的计算。但是,该方案对物体二维轮廓的提取精度要求较高,若提取的二维轮廓不准确,将直接导致二维图像的匹配不成功,从而影响作业效率。
针对二维图像的轮廓提取问题,目前主要有以下解决方案:
1.对生产线进行来料控制,在特定时间段内只提供一种型号的物品,生产线各个时间段提供的物品型号可以由人工设置,避免物品的型号识别问题,可以直接进行点云配准计算物体的6D姿态。该方案提高了生产线的来料难度,需要先对物品进行分类,同时需要人工设置不同型号物品的来料时间段,增加了人工成本且不符合柔性化生产的要求。
2.对二维图像进行轮廓提取处理,对提取到的轮廓进行二维模板匹配,但二维图像处理易受物体本身纹理影响,从而提取出大量虚假轮廓,导致二维模板匹配时的工作量增加,同时提高了模板匹配的难度。
3.通过将二维图像处理与对应的三维点云的拓扑关系联合起来,进行点云区域生长,得到三维点云连通面,虽然采用了二维图像处理与三维点云处理结合的方式,但其主要目的在于提取物体的点云轮廓图像,此方案适用于物体较为离散的情况,但对于生产线上多个物体无序摆放、堆叠的复杂情况,极易得到错误的点云轮廓图像,影响点云配准精度。同时,在此方案中,为了将图像中断开的连通域进行连通,通常会采用腐蚀膨胀处理,导致物体二维轮廓信息被破坏,从而影响物体二维轮廓图像提取的准确度。
基于此,本发明各实施例提出了一种轮廓提取方法,通过将三维点云图像与对应的二维图像结合实现对物体轮廓的提取,可以有效避免二维图像中任何纹理都可能被提取并作为物体轮廓的问题,同时避免了三维点云图像在物体边缘处精度低导致轮廓提取不准确的情况,可以有效提高对物体轮廓图像的提取准确度。提取的轮廓图像能提高与二维图像模板的匹配效率,降低误识别概率,从而提高生产安全性与工作效率。
具体地,参照图2,图2为本发明轮廓提取方法第一实施例的流程示意图,在本发明轮廓提取方法的第一实施例中,所述轮廓提取方法包括:
步骤S10,采集待识别的目标物体的二维图像和三维点云图像;
目前,随着机器视觉技术的发展,对工业机器人的应用越来越广泛,以工业生产线上利用工业机器人进行分拣作业为例,需要提取待分拣物体的轮廓以对待分拣的物体进行6D姿态的识别,用于辅助调整工业机器人的6D姿态从而使其能够准确抓取物体。而目前常用的识别物体6D姿态的方法是从物体的二维图像中提取物体的轮廓图像与二维图像模板进行匹配,然后利用三维点云图像对物体轮廓进行配准,从而辅助机器人进行6D姿态调整。但上述方案在提取物体的二维轮廓图像时,由于二维图像自身纹理的影响,可能会提取大量虚假轮廓,导致对轮廓提取的准确度不高。以下以此为基础,对本发明轮廓提取方法进行详细描述。具体地,在进行轮廓提取之前,首先采集生产线上的待识别的目标物体的图像信息,其中,待识别的目标物体可以是一个也可以是多个,采集的图像信息包括二维图像和三维点云图像。需要说明的是,在本实施例中,基于双目视觉和结构光对待识别的目标物体进行图像信息采集,可以同时采集目标物体的二维图像和三维点云图像,并且,采集的二维图像和三维点云图像内容和分辨率相同,二维图像和三维点云图像的像素点之间存在对应关系,不同的是,三维点云图像中的像素点包含三维信息。
步骤S20,基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;
在采集目标物体的二维图像和三维点云图像后,基于采集的三维点云图像对二维图像进行特征提取,从而提取出目标物体的三维轮廓图像,得到目标物体在二维轮廓图像中的第一轮廓图像。可知地,第一轮廓图像中包含目标物体在二维图像中的各个连通面的边缘像素点,并且,第一轮廓图像与二维图像的尺寸相同,像素点的数量和位置均相同。具体地,在进行特征提取时,根据二维图像和三维点云图像像素点之间的对应关系,确定三维点云图像中各个像素点在二维图像中对应的像素点,以二维图像中的像素点为索引,利用三维点云图像中各个像素点的三维信息,计算二维图像中的各个像素点的三维信息,并将该三维信息存储至新创建的初始图像中。其中,计算的三维信息包括三维法向量,根据各个像素点的三维法向量可以区分位于同一个连通面内的像素点,以及各个连通面之间的边缘像素点,对边缘像素点进行提取,并存储到新创建的另一初始图像中,从而得到二维图像对应的轮廓图像,即三维轮廓图像。可以理解的是,创建的初始图像的像素点的数量和位置与二维图像相同,各像素点的像素值为初始化值,该初始化值可以是0,通过改变像素点的像素值完成对边缘像素点的提取。本实施例中,基于三维点云图像进行轮廓提取,并在提取轮廓时以二维图像中的像素点为参考,可以有效避免三维点云图像边缘像素点精度不高的问题。
步骤S30,对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;
进一步地,对采集的二维图像进行边缘检测,提取二维图像的第二轮廓图像,提取的第二轮廓图像为目标物体的二维轮廓图像。在本实施例中,以常用的Canny(边缘检测算法)算法为例,对二维图像进行边缘检测和二维轮廓的提取。Canny算法的具体过程为:首先对二维图像进行高斯模糊消除噪声;然后计算像素点的梯度值和梯度方向,一般地,灰度值变化较大的像素点为边缘像素点,通过梯度值和梯度方向,计算灰度值变化较大的像素点集合;利用非极大值抑制方法对像素点集合中梯度值非极大值的像素点进行过滤,只保留灰度变化的梯度值最大的像素点,如果一个像素点为边缘像素点,那个该像素点在梯度方向上的梯度值应该最大;最后通过双阈值检测出边缘像素点,即通过设置上限阈值和下限阈值,梯度值大于上限阈值的像素点为边缘像素点,小于下限阈值的像素点为非边缘像素点,而在上限阈值和下限阈值之间的像素点,根据其是否为边缘像素点的邻域像素点判定是否属于边缘像素点。将检测到的边缘像素点保存至创建的初始化图像中,并在初始化图像中将边缘像素点的像素值设置为第一特征值,其余像素点设置为第二特征值,对初始化图像进行二值化,以区分边缘像素点,进而得到对应的二维轮廓图像,即第二轮廓图像,第一特征值和第二特征值可以是255和0。
可知地,在本实施例中,获取二维轮廓图像和三维轮廓图像的计算过程相互独立,本实施例中的过程顺序仅用于示例性说明,并不对实际的执行过程构成限定,实际执行时,二者没有严格的顺序限制,可以是同时进行,也可以是顺序进行,顺序进行时,执行顺序不区分前后。
步骤S40,利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。
在提取二维图像的二维轮廓图像后,利用三维轮廓图像中的像素点对二维轮廓图像中的像素点进行过滤,从而可知地,以上述通过Canny算法提取的二维轮廓图像为例,提取的二维轮廓图像中可能存在其他场景物体的轮廓,因此,二维图像受自身纹理的影响,可能提取虚假的轮廓信息。传统的将二维图像与三维点云图像结合的轮廓提取方法,其主要目的在于提取目标物体的点云轮廓图像,适用于单个物体或多个物体分布较为离散的情况,当有多个物体无序堆叠摆放时,容易提取错误的点云图像,从而影响点云配准精度,同时,若为了得到连续的连通域采用了腐蚀膨胀处理,还会破坏二维图像中目标物体的轮廓信息。基于此,本实施例中,在提取二维图像的轮廓后,利用基于三维点云图像得到的三维轮廓信息对二维轮廓信息进行过滤,剔除二维轮廓图像中的虚假轮廓,从而得到目标物体准确的目标轮廓图像。
具体地,利用三维轮廓图像对二维轮廓图像进行过滤的步骤,包括:
步骤S3001,从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点,其中,所述目标边缘像素点的像素值为第一特征值;
步骤S3002,从所述第二轮廓图像中确定与所述目标边缘像素点对应的参考像素点,并按照预设尺寸确定所述参考像素点的目标邻域;
步骤S3003,遍历所述目标邻域内的各个像素点,确定所述目标邻域内是否存在像素值与所述目标边缘像素点的像素值不一致的像素点;
步骤S3004,若不存在,将所述目标边缘像素点的像素值设置为第二特征值,对所述目标边缘像素点进行剔除,返回并执行所述从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点的步骤,直到所述目标边缘像素点为所述第二轮廓图像中的最后一个边缘像素点为止。
可知地,在本实施例中,得到的二维轮廓图像为二值化图像,以上述255和0为像素点的像素值为例,从提取的二维轮廓图像中不重复地选取一个像素值为255的边缘像素点,然后从三维轮廓图像中确定与选取的边缘像素点对应的三维边缘像素点作为参考像素点,以该像素点为中心,确定该参考像素点的邻域内,是否存在与选取的边缘像素点像素值不一致的点,即在三维轮廓图像中选取的邻域内,存在像素值为初始化值的像素点,则可以判定选取的边缘像素点确实属于边缘,若不存在,则证明选取的边缘像素点为非边缘像素点,则在二维轮廓图像中将该边缘像素点的像素值设置为0,从而维轮廓图像中对当前选取的边缘像素点进行剔除。然后重新不重复地选取一个新的边缘像素点重复上述步骤,直到遍历完二维轮廓图像中所有像素值为255的像素点时,即完成对二维轮廓图像的像素点的过滤,得到对应的目标轮廓图像。
在本实施例中,通过采集待识别的目标物体的二维图像和三维点云图像;基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。在提取物体的二维轮廓图像时,通过结合二维图像和三维点云图像,能够避免二维图像中任何纹理都可能作为物体轮廓被提取的问题,有效避免了二维图像自身纹理对轮廓提取的影响,同时与三维点云图像结合避免了点云在物体边缘处精度低导致轮廓提取不精准的情况,使提取的二维轮廓图像更加准确,从而提高了对物体二维轮廓图像的提取准确度。
进一步地,参照图3,图3为本发明第二实施例的流程示意图,在本发明上述实施例的基础上,提出了本发明方法的第二实施例。
本实施例是对第一实施例中步骤S20细化的步骤,具体地,基于三维点云图像的特征提取过程主要包括:
步骤S2001,建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系;
可知地,二维图像与三维点云图像中的像素点之间存在对应关系,基于该对应关系,建立二维图像和三维点云图像中的像素点之间的映射关系。该映射关系表征二维图像中各个像素点的位置信息与三维点云图像中相同位置的像素点的位置信息之间的函数关系。
步骤S2002,基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像;
基于三维点云图像和二维点云图像像素点之间的映射关系,以及三维点云图像中各个像素点包含的三维信息,计算三维点云图像中各个像素点的三维法向量,并将计算出的三维法向量转化为单位向量,得到二维图像的一个三维特征图像。
进一步地,步骤S2002的细化,包括:
步骤A1,创建一个与所述二维图像分辨率相同的初始特征图像,从所述二维图像中不重复地选取一个第一像素点,并根据所述映射关系确定所述三维点云图像中与所述第一像素点对应的第二像素点;
步骤A2,以所述第二像素点为中心,从所述三维点云图像中选取所述第二像素点的邻域像素点,并利用所述第二像素点及其邻域像素点拟合三维平面;
步骤A3,计算所述三维平面的法向量的单位向量,并从所述初始特征图像中确定与所述第一像素点位置相同的第三像素点,将所述单位向量赋值给所述第三像素点,返回并执行所述从所述二维图像中不重复地选取一个第一像素点的步骤,直到所述第一像素点为所述二维图像中的最后一个像素点时,得到所述二维图像的第一特征图像。
在计算二维图像的第一特征图像时,首先创建一个初始特征图像N,用于存储二维图像M的单位法向量,图像N的每个像素点的像素值为一个三维法向量,遍历二维图像M中的各个像素点,对于当前遍历的像素点(uv),确定三维点云图像S中与该像素点对应的像素点,并计算三维点云图像S中的像素点的三维法向量,将计算出的三维法向量转化为单位向量后,赋值给图像N中与像素点(uv)对应的像素点。按照此步骤采用遍历的方式逐一计算二维图像M中各个像素点对应的法向量的单位向量,并将计算结果赋值给图像N中的像素点,当完成对二维图像M中的像素点的遍历时,计算出初始特征图像N中的各个像素点的像素值,从而得到对应的第一特征图像。
具体地,首先,采用遍历的方式从二维图像M中选取一个第一像素点,从三维点云图像S中确定与第一像素点对应的第二像素点;其次,以第二像素点为中心,利用预设尺寸从三维点云图像S中选取第二像素点的邻域像素点,在本实施例中,以预设尺寸为9*9的矩形为例,选取以第二像素点为中心的矩形内的81个像素点(如果矩形超出三维点云图像S的范围,则只取在三维点云图像S范围内的像素点),利用最小二乘法对选取的像素点进行拟合,拟合出如下列公式1所示的三维平面:
Figure 716029DEST_PATH_IMAGE001
(1)
计算拟合出的三位平面的法向量(A,B,C),并将计算出的法向量转化为单位向量
Figure 852612DEST_PATH_IMAGE002
。然后从创建的初始特征图像中确定与第一像素点对应的第三像素点,并将该单位法向量赋值给图像N中的第三像素点,然后不重复地选取下一个像素点作为第一像素点并重复上述步骤,直到选取的第一像素点是二维图像中的最以后一个像素点为止,得到对应的第一特征图像。
步骤S2003,根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面,以及所述连通面的编号信息,生成所述二维图像的第二特征图像;
根据计算出的第一特征图像中,各个像素点的单位向量,可以确定目标物体在二维图像中的各个连通面,对各个连通面进行编号,并创建一个与二维图像M分辨率相同的初始图像I,用于存储二维图像M中,目标物体对应的各个连通面的编号,对创建的初始图像I进行初始化,例如,将图吓死那个I中所有像素点的像素值置为0,然后根据二维图像M中与图像I中对应的像素点所在的连通面,确定图像I中各像素点的像素值。即图像I中每个像素的像素值即为一个整型数字,代表该像素点在二维图像中所在的连通面的编号,从而得到二维图像M对应的第二特征图像,该第二特征图像表明了二维图像M中各像素点对应的目标物体的连通面。
步骤S2004,基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面;
基于第一特征图像N对第二特征图像I进行点云区域生长,得到目标物体在第二特征图像I中的各个连通面,在第二特征图像I中,同一个连通面中的像素点的像素值相同,为该连通面在二维图像M中的编号信息,也即,在第二特征图像I中,像素值相同的像素点为同一个连通面内的像素点。
进一步地,步骤S2004中,对第二特征图像进行点云区域生长的细化,包括:
步骤B1,遍历所述第二特征图像中的各个像素点,根据所述第二特征图像中各个像素点的像素值确定种子点;
步骤B2,选取所述种子点的邻域为待生长区域,并从所述三维图像中确定与所述种子点对应的第四像素点,以及所述待生长区域在所述三维点云图像中对应的目标生长区域;
步骤B3,计算所述目标生长区域中的各个像素点的深度值与所述第四像素点的深度值差值,确定与所述第四像素点的深度值差值小于预设的深度差阈值的第五像素点;
步骤B4,基于所述第一特征图像,对所述第四像素点与所述第五像素点的单位向量进行计算,确定所述第四像素点和所述第五像素点的法向量之间的角度差值;
步骤B5,若所述角度差值小于预设的角度差阈值,则将所述第五像素点的像素值设置为所述第四像素点的像素值,得到所述目标物体在所述第二特征图像中的各个连通面。
遍历特征图像I中的各像素点,确定用于点云区域生长的种子点,具体地,创建整型变量index用于记录当前连通面的编号,初始化index的值,index初始化之后的值可以是0,以0为例,通过index=index+1从(0,0)开始完整遍历图像I;基于当前遍历的像素点(u,v),通过以下步骤进行点云连通面的生长:
1)判断图像I当前像素点(u,v)的像素值是否为0,如果为0则创建栈变量stack,并将像素点(u,v)压入stack进行堆栈处理,将图像I的像素点(u,v)的像素值变为index的当前值,如果像素值不为0则继续遍历直到遇到一个像素值为0的像素;
2)判断stack是否为空,如果为空则继续遍历下一个像素点,不为空则将stack的栈顶元素
Figure 459174DEST_PATH_IMAGE003
出栈,将
Figure 390221DEST_PATH_IMAGE004
的邻域,如位于其上下左右的4个像素点
Figure 82233DEST_PATH_IMAGE005
Figure 756928DEST_PATH_IMAGE006
Figure 217997DEST_PATH_IMAGE007
Figure 647841DEST_PATH_IMAGE008
作为待生长区域(如果邻域像素点超出图像I的范围,则忽略该像素点),对待生长区域内的像素点进行点云区域生长。
具体地,对选定的待生长区域进行点云区域生长时,首先确定三维点云图像S中与选取的种子点对应的第四像素点,以及该第四像素点的邻域,即与选取的待生长区域对应的目标生长区域,计算该目标生长区域中的各个邻域像素点的深度值与第四像素点的深度值的差值,确定深度差值小于预设的深度差阈值的第五像素点,该第五像素点包括一个或多个。基于第一特征图像N,确定第四像素点与第五像素点之间的法向量的角度差值,若角度差值小于预设的角度差阈值,则将待生长区域中与第五像素点对应的像素点的像素值赋值给种子点,并将与第五像素点对应的像素点压入堆栈中,将压入堆栈的像素点的值作为index的当前值,然后重新判断stack是否为空,为空则利用index=index+1继续遍历重新选取种子点,直到完成对所有种子点的区域生长,得到目标物体在特征图像I中的各个连通面。
步骤S2005,遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点,并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像。
在完成对图像I的点云区域生长后,遍历各个连通面的像素点,确定各个连通面之间的边缘像素点,将边缘像素点提取出来,保存至另外创建的与二维图像M的像素点的数量和位置均相同的初始特征图像
Figure 824220DEST_PATH_IMAGE009
中,同样地对图像
Figure 37026DEST_PATH_IMAGE010
中的各个像素点的像素值进行初始化,通过改变边缘像素点的像素值得到对应的轮廓图像。
进一步地,步骤S2005中,遍历第二特征图像中各连通面的像素点,确定各连通面之间的边缘像素点的步骤,包括:
步骤C1,从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点,并确定所述目标像素点的像素值,以及与所述目标像素点相邻的预设数量的像素点的像素值;
步骤C2,若与所述目标像素点相邻的预设数量的像素点中,存在至少一个像素点的像素值与所述目标像素点的像素值不一致,则将所述目标像素点判定为所述连通面的边缘像素点,返回并执行所述从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点的步骤,直到所述目标像素点为所述第二特征图像中各所述连通面的最后一个像素点为止。
在判定图像I中的边缘像素点时,首先创建一个初始特征图像
Figure 618180DEST_PATH_IMAGE011
,用于保存边缘像素点并得到对应的轮廓图像,然后从图像I中的各个连通面中,不重复地选取一个像素点作为目标像素点,并确定该目标像素点的像素值,以及该目标像素点的邻域内预设数量的邻域像素点的像素值。以像素点Iu,v)为目标像素点,位于目标像素点上下左右的4个像素点Iu+1,v)、Iu-1,v)、Iu,v+1)和Iu,v-1)为预设数量的邻域像素点为例,若该预设数量的邻域像素点Iu+1,v)、Iu-1,v)、Iu,v+1)和Iu,v-1)中,存在至少一个与目标像素点的像素值不一致的像素点,则判定该目标像素点为边缘像素点,并在事先创建的初始特征图像
Figure 891030DEST_PATH_IMAGE012
中,将与该目标像素点对应的像素点的像素值设置为设定的特征值,否则,则判定该目标像素点不是边缘像素点,然后从图像I中不重复地选取下一个像素点作为目标像素点进行判定,直到遍历完图像I中的所有像素点为止,从图像I中确定目标物体各个连通面之间的边缘像素点,得到目标物体基于三维点云图像的轮廓图像。按照此方式,可以分割出无序堆叠摆放的多个物体的轮廓图像,提高轮廓图像提取的适用性。
在本实施例中,利用三维点云图像计算二维图像的第一特征图像,并根据第一特征图像生成包含目标物体各个连通面编号信息的第二特征图像,基于第一特征图像对第二特征图像进行点云区域生长,得到目标物体在第二特征图像中的各个连通面,通过边缘检测判定各个连通面之间的边缘像素点,从而可以得到目标物体基于三维点云图像的准确轮廓图像。与传统的轮廓提取方法相比,本实施例中的轮廓提取方法不仅适用于离散分布的多个物体,还适用于多个物体无序堆叠摆放的场景,提高了轮廓提取的使用性。
此外,参照图4,本发明实施例还提出一种轮廓提取装置,所述轮廓提取装置包括:
图像采集模块10,用于采集待识别的目标物体的二维图像和三维点云图像;
特征提取模块20,用于基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;
轮廓提取模块30,用于对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;
轮廓配准模块40,用于利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。
可选地,所述特征提取模块20,还包括:
映射单元,用于建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系;
第一特征计算单元,用于基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像;
第二特征计算单元,用于根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面,以及所述连通面的编号信息,生成所述二维图像的第二特征图像;
点云生长单元,用于基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面;
判定单元,用于遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点,并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像。
可选地,所述第一特征计算单元,还用于:
创建一个与所述二维图像分辨率相同的初始特征图像,从所述二维图像中不重复地选取一个第一像素点,并根据所述映射关系确定所述三维点云图像中与所述第一像素点对应的第二像素点;
以所述第二像素点为中心,从所述三维点云图像中选取所述第二像素点的邻域像素点,并利用所述第二像素点及其邻域像素点拟合三维平面;
计算所述三维平面的法向量的单位向量,并从所述初始特征图像中确定与所述第一像素点位置相同的第三像素点,将所述单位向量赋值给所述第三像素点,返回并执行所述从所述二维图像中不重复地选取一个第一像素点的步骤,直到所述第一像素点为所述二维图像中的最后一个像素点时,得到所述二维图像的第一特征图像。
可选地,所述点运生长单元,还用于:
遍历所述第二特征图像中的各个像素点,根据所述第二特征图像中各个像素点的像素值确定种子点;
选取所述种子点的邻域为待生长区域,并从所述三维图像中确定与所述种子点对应的第四像素点,以及所述待生长区域在所述三维点云图像中对应的目标生长区域;
计算所述目标生长区域中的各个像素点的深度值与所述第四像素点的深度值差值,确定与所述第四像素点的深度值差值小于预设的深度差阈值的第五像素点;
基于所述第一特征图像,对所述第四像素点与所述第五像素点的单位向量进行计算,确定所述第四像素点和所述第五像素点的法向量之间的角度差值;
若所述角度差值小于预设的角度差阈值,则将所述种子点的像素值设置为所述待生长区域中与所述第五像素点对应的像素点的像素值,得到所述目标物体在所述第二特征图像中的各个连通面。
可选地,所述判定单元,还用于:
从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点,并确定所述目标像素点的像素值,以及与所述目标像素点相邻的预设数量的像素点的像素值;
若与所述目标像素点相邻的预设数量的像素点中,存在至少一个像素点的像素值与所述目标像素点的像素值不一致,则将所述目标像素点判定为所述连通面的边缘像素点,返回并执行所述从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点的步骤,直到所述目标像素点为所述第二特征图像中各所述连通面的最后一个像素点为止。
可选地,所述轮廓配准模块40,还用于:
从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点,其中,所述目标边缘像素点的像素值为第一特征值;
从所述第二轮廓图像中确定与所述目标边缘像素点对应的参考像素点,并按照预设尺寸确定所述参考像素点的目标邻域;
遍历所述目标邻域内的各个像素点,确定所述目标邻域内是否存在像素值与所述目标边缘像素点的像素值不一致的像素点;
若不存在,将所述目标边缘像素点的像素值设置为第二特征值,对所述目标边缘像素点进行剔除,返回并执行所述从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点的步骤,直到所述目标边缘像素点为所述第二轮廓图像中的最后一个边缘像素点为止。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有轮廓提取程序,所述轮廓提取程序被处理器执行时实现上述实施例提供的轮廓提取方法中的操作。
本发明设备和计算机可读存储介质各实施例,均可参照本发明轮廓提取方法各个实施例,此处不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来,而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序;术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的轮廓提取方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种轮廓提取方法,其特征在于,所述轮廓提取方法包括以下步骤:
采集待识别的目标物体的二维图像和三维点云图像;
基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;
对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;
利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像;
所述基于所述三维点云图像,对所述二维图像进行特征提取,得到所述二维图像的第一轮廓图像的步骤,包括:
建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系;
基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像;
根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面,以及所述连通面的编号信息,生成所述二维图像的第二特征图像;
基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面;
遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点,并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像。
2.如权利要求1所述的轮廓提取方法,其特征在于,所述基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像的步骤,包括:
创建一个与所述二维图像分辨率相同的初始特征图像,从所述二维图像中不重复地选取一个第一像素点,并根据所述映射关系确定所述三维点云图像中与所述第一像素点对应的第二像素点;
以所述第二像素点为中心,从所述三维点云图像中选取所述第二像素点的邻域像素点,并利用所述第二像素点及其邻域像素点拟合三维平面;
计算所述三维平面的法向量的单位向量,并从所述初始特征图像中确定与所述第一像素点位置相同的第三像素点,将所述单位向量赋值给所述第三像素点,返回并执行所述从所述二维图像中不重复地选取一个第一像素点的步骤,直到所述第一像素点为所述二维图像中的最后一个像素点时,得到所述二维图像的第一特征图像。
3.如权利要求1所述的轮廓提取方法,其特征在于,所述基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面的步骤,包括:
遍历所述第二特征图像中的各个像素点,根据所述第二特征图像中各个像素点的像素值确定种子点;
选取所述种子点的邻域为待生长区域,并从三维图像中确定与所述种子点对应的第四像素点,以及所述待生长区域在所述三维点云图像中对应的目标生长区域;
计算所述目标生长区域中的各个像素点的深度值与所述第四像素点的深度值差值,确定与所述第四像素点的深度值差值小于预设的深度差阈值的第五像素点;
基于所述第一特征图像,对所述第四像素点与所述第五像素点的单位向量进行计算,确定所述第四像素点和所述第五像素点的法向量之间的角度差值;
若所述角度差值小于预设的角度差阈值,则将所述种子点的像素值设置为所述待生长区域中与所述第五像素点对应的像素点的像素值,得到所述目标物体在所述第二特征图像中的各个连通面。
4.如权利要求1所述的轮廓提取方法,其特征在于,所述遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点的步骤,包括:
从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点,并确定所述目标像素点的像素值,以及与所述目标像素点相邻的预设数量的像素点的像素值;
若与所述目标像素点相邻的预设数量的像素点中,存在至少一个像素点的像素值与所述目标像素点的像素值不一致,则将所述目标像素点判定为所述连通面的边缘像素点,返回并执行所述从所述第二特征图像中各所述连通面的像素点中,不重复地选取一个目标像素点的步骤,直到所述目标像素点为所述第二特征图像中各所述连通面的最后一个像素点为止。
5.如权利要求1所述的轮廓提取方法,其特征在于,所述第二轮廓图像为二值化图像,所述第二轮廓图像中的边缘像素点的像素值为第一特征值,除所述边缘像素点之外的其他像素点的像素值为第二特征值,所述利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤的步骤,包括:
从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点,其中,所述目标边缘像素点的像素值为第一特征值;
从所述第二轮廓图像中确定与所述目标边缘像素点对应的参考像素点,并按照预设尺寸确定所述参考像素点的目标邻域;
遍历所述目标邻域内的各个像素点,确定所述目标邻域内是否存在像素值与所述目标边缘像素点的像素值不一致的像素点;
若不存在,将所述目标边缘像素点的像素值设置为第二特征值,对所述目标边缘像素点进行剔除,返回并执行所述从所述第二轮廓图像中的边缘像素点中不重复地选取一个目标边缘像素点的步骤,直到所述目标边缘像素点为所述第二轮廓图像中的最后一个边缘像素点为止。
6.一种轮廓提取装置,其特征在于,所述轮廓提取装置包括:
图像采集模块,用于采集待识别的目标物体的二维图像和三维点云图像;
特征提取模块,用于基于所述三维点云图像,对所述二维图像进行特征提取,得到所述目标物体在所述二维图像中的第一轮廓图像,其中,所述第一轮廓图像中包含所述目标物体在所述二维图像中的各个连通面的边缘像素点;
所述基于所述三维点云图像,对所述二维图像进行特征提取,得到所述二维图像的第一轮廓图像的步骤,包括:
建立所述三维点云图像中的像素点和所述二维图像中的像素点之间的映射关系;
基于所述三维点云图像和所述映射关系,计算所述二维图像中各个像素点的三维法向量的单位向量,得到所述二维图像的第一特征图像;
根据所述第一特征图像确定所述目标物体在所述二维图像中的各个连通面,以及所述连通面的编号信息,生成所述二维图像的第二特征图像;
基于所述第一特征图像对所述第二特征图像进行点云区域生长,得到所述目标物体在所述第二特征图像中的各个连通面;
遍历所述第二特征图像中各所述连通面的像素点,确定各所述连通面之间的边缘像素点,并根据所述边缘像素点得到所述目标物体在所述二维图像中的第一轮廓图像;
轮廓提取模块,用于对所述二维图像进行边缘检测,提取所述二维图像的第二轮廓图像;
轮廓配准模块,用于利用所述第一轮廓图像中各个连通面的边缘像素点对所述第二轮廓图像进行过滤,得到所述目标物体的目标轮廓图像。
7.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的轮廓提取程序,所述轮廓提取程序被所述处理器执行时实现如权利要求1至5中任一项所述的轮廓提取方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有轮廓提取程序,所述程序被处理器执行时实现如权利要求1至5中任一项所述的轮廓提取方法的步骤。
CN202110965160.XA 2021-08-23 2021-08-23 一种轮廓提取方法、装置、设备及存储介质 Active CN113420735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110965160.XA CN113420735B (zh) 2021-08-23 2021-08-23 一种轮廓提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110965160.XA CN113420735B (zh) 2021-08-23 2021-08-23 一种轮廓提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113420735A CN113420735A (zh) 2021-09-21
CN113420735B true CN113420735B (zh) 2021-12-21

Family

ID=77719145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110965160.XA Active CN113420735B (zh) 2021-08-23 2021-08-23 一种轮廓提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113420735B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704125B (zh) * 2023-06-02 2024-05-17 深圳市宗匠科技有限公司 一种基于三维点云的映射方法、装置、芯片及模组设备
CN116894864B (zh) * 2023-09-06 2023-12-12 腾讯科技(深圳)有限公司 凸包检测方法、装置、设备及存储介质
CN117765015B (zh) * 2023-12-20 2024-05-10 荣旗工业科技(苏州)股份有限公司 曲面物体的轮廓度测量方法、系统、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093191A (zh) * 2012-12-28 2013-05-08 中电科信息产业有限公司 一种三维点云数据结合数字影像数据的物体识别方法
CN110992356A (zh) * 2019-12-17 2020-04-10 深圳辰视智能科技有限公司 目标对象检测方法、装置和计算机设备
CN111582186A (zh) * 2020-05-11 2020-08-25 深圳阿米嘎嘎科技有限公司 基于视觉和触觉的物体边缘识别方法、装置、系统及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5480914B2 (ja) * 2009-12-11 2014-04-23 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
KR20170087278A (ko) * 2016-01-20 2017-07-28 한국전자통신연구원 비디오 압축 영상을 위한 거짓 등고선 검출과 제거 방법 및 장치
WO2018120038A1 (zh) * 2016-12-30 2018-07-05 深圳前海达闼云端智能科技有限公司 一种目标检测的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093191A (zh) * 2012-12-28 2013-05-08 中电科信息产业有限公司 一种三维点云数据结合数字影像数据的物体识别方法
CN110992356A (zh) * 2019-12-17 2020-04-10 深圳辰视智能科技有限公司 目标对象检测方法、装置和计算机设备
CN111582186A (zh) * 2020-05-11 2020-08-25 深圳阿米嘎嘎科技有限公司 基于视觉和触觉的物体边缘识别方法、装置、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
从隧道三维点云中自动截取断面轮廓的方法;汪子豪;《水利与建筑工程学报》;20150430;第13卷(第2期);第47-52页 *
机载LiDAR点云的多层建筑物三维轮廓模型自动重建;罗胜;《测绘科学技术学报》;20160530;第33卷(第5期);第480-484页 *

Also Published As

Publication number Publication date
CN113420735A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113420735B (zh) 一种轮廓提取方法、装置、设备及存储介质
CN108052624B (zh) 点云数据处理方法、装置及计算机可读存储介质
JP7049983B2 (ja) 物体認識装置および物体認識方法
US8590794B2 (en) Barcode recognion method and computer product thereof
CN107452030B (zh) 基于轮廓检测和特征匹配的图像配准方法
TWI525555B (zh) 影像處理裝置及處理方法
Laguna et al. Traffic sign recognition application based on image processing techniques
JP2019192022A (ja) 画像処理装置、画像処理方法及びプログラム
CN110926330A (zh) 图像处理装置和图像处理方法
CN112883881B (zh) 一种条状农产品无序分拣方法及装置
CN114972489A (zh) 托盘识别方法、装置、存储介质及智能叉车设备
CN107895166B (zh) 基于特征描述子的几何哈希法实现目标鲁棒识别的方法
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
JP2013037539A (ja) 画像特徴量抽出装置およびそのプログラム
CN111080665A (zh) 图像边框识别方法、装置、设备和计算机存储介质
JP3659426B2 (ja) エツジ検出方法及びエツジ検出装置
WO2024012463A1 (zh) 一种定位方法及装置
JP2020021212A (ja) 情報処理装置、情報処理方法及びプログラム
CN114998347B (zh) 一种半导体面板角点定位方法及装置
JP7258632B2 (ja) 物体検出装置
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
CN112560586B (zh) 一种杆塔标识牌结构化数据获得方法、装置及电子设备
JP2016206909A (ja) 情報処理装置、情報処理方法
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2016081472A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant