发明内容
本发明实施例一个目的旨在提供一种检测压接焊点以及测量压接焊点之间线弧高度的方法。
为解决上述技术问题,本发明实施例提供了一种元件高度的测量方法,包括:
采集被测物体的二维图像;
定位出所述二维图像中所述被测物体的待测元件所在位置;
根据所述待测元件所在位置,采集所述被测物体三维图像;
根据所述三维图像,得到所述待测元件的高度数据,通过预设方法得到所述待测元件高度。
可选地,根据所述的元件高度的测量方法,所述定位出所述二维图像中所述被测物体的待测元件所在位置,包括:
所述待测元件包括基准元件与测试元件
提取所述待测物体中所述基准元件与测试元件特征色;
标记被测物体二维图像中的所述特征色,生成被测物体的特征图;
对所述特征图进行二值化处理,得到所述被测物体二值图;
对所述二值图中进行轮廓提取,最大轮廓为所述被测物体中的基准元件与测试元件所在位置。
可选地、根据所述元件高度的测量方法,所述采集所述被测物体三维图像包括:
由三维图像采集设备采集所述三维图像;
对比所述二维图像宽度与所述三维图像采集设备预设扫描宽度,确定三维设备扫描次数,并沿预设方向对所述待测物体进行扫描。
可选地,根据所述元件高度的测量方法,所述采集所述被测物体三维图像,还包括:
确定三维设备每次扫描的长度;
所述扫描长度为在扫描过程中,预设扫描宽度范围内扫描检测到的第一个完整的测试元件为起点,到的最后一个完整的测试元件为终点;
可选地,根据所述元件高度的测量方法,所述采集所述被测物体三维图像,还包括:
在第一次扫描过程中,预设扫描范围内如果存在不完整的测试元件,则从第一个不完整的测试元件为起点开始下一次扫描。
可选地,根据所述的元件高度的测量方法,所述通过预设方法得出所述待测元件高度数据,具体包括:
根据三维图像,得到所述测试元件所在区域的平均高度数据,以及所述基准元件的高度数据,所述平均高度数据减去所述基准元件高度数据得出所述测试元件高度数据。
可选地,根据所述的元件高度的测量方法,所述得到测试元件所在区域的平均高度数据,具体包括:
得到所述三维图片中全部测试元件所在区域的高度数据;
所述高度数据按照预设的排序方式进行排列,得到前N个高度数据,根据所述前N个高度数据,得出所述平均高度数据。
为了解决上述问题,本发明实施例提供了一种元件检测装置,包括:
二维图像采集模块:采集被测物体的二维图像;
图像处理模块:定位出所述二维图像中所述被测物体的待测元件所在位置;
三维图像采集模块:根据所述待测元件所在位置,采集所述被测物体三维图像;
中心处理模块:根据所述三维图像,得到所述待测元件的高度数据,通过预设方法得到所述待测元件高度。
为解决上述问题,本发明实施例提供了一种电子设备,具体包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如所述元件高度的测量方法中任一项所述的方法。
为解决上述问题,本发明实施例提供了一种包含程序代码的计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如如所述元件高度的测量方法中任一项所述的方法。
本发明通过采集被测物体二维图像以及被测物体的三维图像,根据所述二维图像定位出所述被测物体中的待测元件所在位置,通过截取所述三维图像中所述待测元件所在区域,分析测定出所述待测元件中的测试元件的高度数据,再通过所述方法检测所述待测元件中的基准元件的高度数据,根据所述测试元件高度数据以及所述基准元件高度数据做减法,所得结果即为所述待测元件高度数据。
通过上述方式,能够有效解决因不同厂家工艺以及材质的不同,而造成的压接焊点以及测量压接焊点之间线弧高度的测量方法不一的情况。
具体实施方式
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。需要说明的是,当元件被表述“固定于”另一个元件,它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1为本发明实施例提供的压接焊点之间线弧高度测量方法的应用场景。如图1所示,在该应用场景中,包括了2D图像采集设备11、3D图像采集设备12、被测物体13、载具14以及运动控制装置15。
2D图像采集设备11可以是以任何类型的,具有二维图像获取能力,能够获取所述被测物体13清晰图像的二维成像设备。在本实施例中,该2D图像采集设备11能够获取所述被测物体的清晰二维图像。
3D图像采集设备12可以是以任何类型的,具有三维图像获取能力,能够获取所述被测物体13清晰图像的三维成像设备。在本实施例中,该3D图像采集设备12能够获取所述被测物体的清晰三维图像。
所述3D图像采集设备12可以分为主动和被动,单目和双目,视差、三角原理和飞行时间。所述主动和被动,主动就是相机会主动发射图案或者激光从而探测物体和相机的距离,例如,本发明实施例所提供的3D线扫激光相机,所述相机会投射一条激光线,再通过线阵相机来成像。所述单目和双目的差异,是使用单个相机还是多个相机来成像,所述视差、三角原理和飞行时间是计算距离的3种方法,视差原理的一定是双目相机,而本发明实施例所采用的3D线扫激光相机以及单目结构3D相机,则是使用三角原理计算相机与被测物体13之间的距离,ToF使用飞行时间来计算相机与被测物体13之间的距离。
被测物体13是需要被测试的任一物体。被测物体13中具有相应的特定元件,用于提供系统采集特征信息。其中,所述背侧物体13放置于所述载具14上。
载具14是用于放置并固定所述被测物体的平台,所述平台可以具有多个探测器,向所述控制装置发送相关数据信息。
在一些实施例中,所述载具具备物体检测装置,当被检测物13,放置于载具特定位置时,系统自动固定所述被检测物,并触发相关测量方法步骤。
运动控制装置15可以是以任何类型的,具有逻辑运算能力,能够调用可执行的计算机程序指令,执行一个或者多个步骤的电子装置。在本实施例中,该运动控制装置15能够运行由一系列检测流程构成的测量压接焊点之间线弧高度程序,并给出相应的检测结果,提示被测物体中的一个或者多个线弧高度数据。
在一些实施例中,所述运动控制装置15与2D图像采集设备11以及3D图像采集设备12通过总线方式连接,并且可以控制2D图像采集设备11以及3D图像采集设备12,采集固定于所述载具14之上的被测物体13的图像信息,并由运动控制装置15计算出所述被测物体13的相应数据信息。
应当说明的是,该运动控制装置15是一个集成多种功能的系统装置平台,而不仅限定于某个单一结构设备。其既可以由多种相互之间建立有通信连接,分别用于执行不同的功能的设备组件组成,也可以是将多个功能模块集成在同一台设备。
例如,其还可以包括多个MPU以及多个储存装置,用于存储相关的数据信息以及一种或者多种不同的交互装置,用以采集用户指令或者向用户展示和反馈相关信息。这些交互装置包括但不限于:输入键盘、显示屏、触摸屏以及扬声器等。
在一些实施例中,该运动控制装置15可以配置有显示屏和输入键盘,用户可以通过该显示屏了解当前正在执行的检测流程,检测到的数据信息,并且在输入键盘上通过点击等操作,下达相应的用户指令以暂停检测流程或者展开详细的数据信息。
应当说明的是,图1所示的应用场景仅用于示例性说明。本领域技术人员可以根据实际情况的需要,添加或者减省其中的一个或者多个设备,而不限于图1所示。
根据图1所示的应用场景,本发明实施例提供了一种测量压接焊点之间线弧高度方法。该测量方法可以由运动控制装置所执行,便于用户快速的获得被测物体13所需要的数据。
图2为本发明实施例提供的压接焊点之间线弧高度的测量方法流程图。如图2所示,该压接焊点之间线弧高度的测量方法包括如下步骤:
21、2D图像采集设备采集二维图像
使用所述二维图像设备采集被测物体的二维图像。
本发明实施例提供的2D图像采集设备11为12MP工业相机,分辨率10μm,装配远心镜头,采用RGBW四色光源,本发明并不限定所述相机的种类以及设备性能,只需要拍摄出与本发明实施例所述的12MP工业相机所拍摄的图片相近即可。
22、根据二维图像定位被测物体中元件的位置
依据所述二维图像信息,通过相关算法标定所述被测物体中的主要元件的位置。
所述元件包括基准元件以及待测元件。
23、使用三维图像采集设备获取三维图像
本发明实施例采用的为工业级3D线扫激光相机,在3D相机中,取代光源的是激光发射器,通过复杂的光学系统设计,激光发射器发出的激光会形成一条直线,激光投射到物体表面就会形成反射,在光学系统的设计下,反射光会被镜头捕捉到,最后通过镜头反射到感光芯片上。因此,3D相机内部最重要的三个部件分别为激光发射器,镜头和感光芯片,同时还会加一些FPGA或者ARM用于图像处理,比如图像算法以及图像滤波。一般情况下,激光发射器需要优秀的光学工程师进行设计,比如不同的透镜反射出来的激光也会有不同的效果;镜头基本上也都是正常我们看见的镜头,感光芯片一般会选择高精度的CMOS芯片。
24、将所述二维图像与三维图像做对齐处理
所述二维图像中所标定的被测物体元件的坐标映射到所述三维图像中,避免系统在数据计算的过程中出现较大误差。
25、根据所述三维图像计算出定位元件的高度
利用预设测试方法,对所述被测物体的三维图像中各个元件的大小高度进行测量。
在一些实施例中,所述被测物体中的元件包括点不限于线弧、焊点、压接区域、切割区域以及焊点顶部。
26、根据所述元件高度,得出元件所在区域的高度
系统根据定位后的压接焊点与压接线区域,计算截取区域内的3D平均高度数据以及基准元件高度数据,二者差值即为所述线弧高度。
本发明实施例是通过采集所述被测物体的二维图像以及三维图像,根据所述二维图像定位出被测物体中所述待测元件的准确位置,根据所述三维图像得出所述待测元件的准确数据,再通过预设算法,得出相应的线弧高度。
在一些实施例中所述元件数据包括:焊点位置,线弧高度以及基准器件高度等。
本发明通过采集被测物体的二维图像以及三维图像,根据所述二维图像确定出元件所在位置,根据所述三维图像确定所述待测物体中元件所在区域的高度以及基准元件所在高度,根据被测物体中所有元件高度计算出元件的平均高度,通过所述元件平均高度减去基准元件所在高度,确定出所述元件的高度数据。
所述元件高度包含线弧高度;
在一些实施例中,受限于线弧弧度与线扫激光原理,可能会出现部分高弧度位置无高度数据问题,因此,根据可以测得的元件高度数据,进行由高到低的排序,选取所述排序中的前70%作为数值依据,来计算峰值平均高度,通过所述峰值平均高度减去基准元件高度,确定出所述元件的真实高度。
图3本发明实施例提供的元件位置定位方法流程图。如图2所示,该元件位置定位方法为抽色处理,包括如下步骤:
31、提取被测物体的特征色
对所述样品图进行颜色抽色处理,提取所述被测物体中待测元件的特征色。
32、标记被测物体二维图像中的特征色
在所述二维图像采集设备所述获取的被测物体的而图像中,获取所述被测物的特征图像
33、对标记后的特征图进行二值化处理,得到被测物体的二值图对所述特征图像进行二值化处理,得到被测物体的二值图。
34、根据所述二值图提取轮廓
根据所述二值图中的像素灰度值,可以识别出所述被测物体的相应元件的具体轮廓,系统根据数倍内容提取出对应的轮廓图。
35、最大轮廓的区域即为被测物体中的特定元件
本发明使用抽色处理的方法定位所述被测物体中的元件,通过对被测物图像的二值化处理,得出被测物图像的二值图,所述二值图中每个像素的灰度值都有明确数值,根据预先设定的灰度值图像,识别出所述元件的具体轮廓,轮廓最大的区域即为所述元件所在区域。
在另一实施例中,提供了另外一种元件位置定位方法,所述定位方法为模板匹配,具体包括:
所述方法通过对所述被测物体样品图中压接焊点、压接线所在区域提取模板并保存;
在获取到被测物图像采集后,对被测物图像根据模板进行模板旋转以及缩放匹配等操作,得到被测物体元件所在区域及角度。
在又一实施例中,提供了另外一种元件位置定位方法,所述定位方法为特征点匹配,具体包括:
所述方法通过对被测物体样品图进行特征点提取并保存;
在获取到被测物图像采集后,对被测物图像进行特征点提取,对比样品图特征点,进行轮廓匹配;
特征点匹配度最高的轮廓即为所述元件。
在又一实施例中,提供了另外一种元件位置定位方法,所述定位方法为AI分割法,具体包括:
所述方法通过对被测物体样品图进行压接焊点与压接线的分类标注;
在获取到被测物图像采集后,对分类标注的数据进行训练;
根据所述数据,对被测物图像根据训练后的样品集进行计算,获取被测物所在区域以及轮廓,从而确定所述被测物体中元件的位置。
本发明所述的线弧高度测量方案中的元件定位方案可以是所述抽色处理、模板匹配、特征点匹配以及AI分割四种方法中的任意一个,但是并不限定于这四种方法。
图4示出了本发明实施例提供的三维图像获取方法流程图,所述三维图像获取方法,包括如下步骤,
41、对比被测物体宽度,确定扫描次数
对比被测物体宽度以及所述3D图像采集设备扫描宽度,确定出所述3D图像扫描设备需要扫描多少次,才能把所述图像完整的扫描出来。
在一些实施例中,所述3D图像采集设备包含激光发射器、镜头以及感光芯片,所述激光发射器代替传统相机中的光源,通过复杂的光学系统,所述激光发射器会发出一道激光,所述激光投射到物体表面会产生反射,在光学系统的设计下,所述反射光会被镜头捕捉到,最后通过镜头反射到感光芯片上。3D图像采集设备,在距离所述被测物体的某一工作距离下传感器激光线方向能扫到的最大宽度为确定值,所述某一工作距离一般情况下,是在传感器最佳工作距离,故此需要对比所述被测物体,确定3D扫描设备的扫描次数。
42、根据所述定位元件,确定每次扫描的长度
系统根据所述被测物图像,确定出被测物中的待测元件的具体位置,在3D图像采集设备获得三维图像的过程中,系统只需要获取所述待测元件的三维图像即可,故此在确定扫描次数的过程中,会根据扫描到的第一个完整的待测元件的位置为起点,最后一个待测元件为终点,所述起点到所述终点的距离为本次扫描的长度。
在一些实施例中,所述3D图像采集设备单次扫描过程中。出现部分待测元件,扫描不全的情况,需要在以所述元件为宽度的基础上,再新增一次扫描,保证被测物体三维图像的完整度,新增扫描长度同样的,以扫描到的第一个待测元件为起点,最后一个元件为终点,两者之间距离即为本次扫描长度。
43、扫描所述被测物体,获取三维图像
确定扫描次数以及每次扫描的长度后,系统开始按照预设方向对所述待测物体进行三维图像拍摄,获取所述被测物体的三维图像。
在本发明实施例中,系统使用2D图像采集设备获取被测物体的二维图形,通过对所述被测物体图像分析,系统获取位于所述被测物体上的待测元件位置,根据所述被测物体图像以及所述待测元件位置,系统使用所述3D图像采集装置,获取所述被测物的三维图像,根据所述三维图像计算获取所述待测元件的高度、宽度等数据信息。
图5示出了本发明实施例提供的一种元件测量装置的结构示意图,所述元件测量装置,具体包括:图像采集装置51、运动控制装置52以及载物装置53,其中
所述图像采集装置51:用于采集所述线弧高度测量方法以及所述三维图像获取方法中的步骤获取所述二维图像以及三位图像;
在一些实施例中,所述图像采集装置51包括所述2D图像采集设备以及3D图像采集设备,并且所述设备通过总线的方式被所述运动控制装置52所控制。
在一些实施例中,所述3D图像采集设备包含激光发射器、镜头以及感光芯片,所述激光发射器代替传统相机中的光源,通过复杂的光学系统,所述激光发射器会发出一道激光,所述激光投射到物体表面会产生反射,在光学系统的设计下,所述反射光会被镜头捕捉到,最后通过镜头反射到感光芯片上,通过多次扫描的方式获取完整的所述被测物体的三维图像。
运动控制装置52:用于按照所述压接焊点之间线弧高度的测量方法、所述元件定位方法以及所述三维图像获取方法控制所述图像采集设备,运动控制装置51与所述图像采集装置。
载物装置53:用于放置并固定所述被测物体。
在一些实施例中,所述载物装置包含多个传感器系统,在所述被测物体放置进入所述载物装置时,所述装置通过对应的传感器,可以快速获取所述被测物体的长度以及宽度。
在一些实施例中,所述运动控制装置52可以同时操控所述2D图像采集装置以及3D图像采集装置,通过机械臂控制所述图像采集装置的所在位置,同时通过总线连接所述图像采集装置51,所述图像采集装置同样通过总线结构向所述运动控制装置52反馈相应信息,帮助所述运动控制装置更好的调整所述图像采集装置位置。
在另外的一些实施例中,所述载具装置处理可以采集所述被测物体的同时,还能够有所述运动控制装置51控制移动,帮助所述图像采集装置51采集相应的图像。
图6示出了本发明实施例提供的元件测量装置中所述的图像采集装置的结构示意图,所述图像采集装置放置于所述运动控制装置52中,具体包括:二维图像采集模块521、图像处理模块522、三维图像采集模块523以及中心处理模块524,其中,
二维图像采集模块521:采集被测物体的二维图像;
图像处理模块522:定位出所述二维图像中所述被测物体的待测元件所在位置;
三维图像采集模块523:根据所述待测元件所在位置,采集所述被测物体三维图像;
中心处理模块524:根据所述三维图像,得到所述待测元件的高度数据,通过预设方法得到所述待测元件高度。
作为本发明实施例的另一方面,本发明实施例提供一种电子设备,所述电子设备放置于所述运动控制装置52中。所述电子设备请参阅图7,该芯片700包括:一个或多个处理器71以及存储器72。其中,图7中以一个处理器71为例。
处理器71和存储器72可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器72作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的硬件驱动方法对应的程序指令/模块。处理器71通过运行存储在存储器72中的非易失性软件程序、指令以及模块,从而执行上述各个实施例的硬件驱动方法,或者上述各个实施例的硬件驱动装置的各种功能应用以及数据处理。
存储器72可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器72可选包括相对于处理器71远程设置的存储器,这些远程存储器可以通过网络连接至处理器71。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器72中,当被所述一个或者多个处理器71执行时,执行上述任意方法实施例中的硬件驱动方法,例如,从而执行上述各个实施例的硬件驱动方法,或者上述各个实施例的硬件驱动装置的各种功能应用以及数据处理。
本发明实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使芯片执行如上所述的硬件驱动方法。
本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被芯片执行时,使所述芯片执行如上所述的硬件驱动方法。
本发明通过采集被测物体二维图像以及被测物体的三维图像,根据所述二维图像定位出所述元件所在位置,通过截取所述三维图像中元件所在区域,分析测定出所述元件的高度数据,再通过所述方法检测所述基准元件的高度,根据所述元件高度以及基准元件高度做减法,所得结果即为所述元件真实高度。
通过上述方式,能够有效解决因不同厂家工艺以及材质的不同,而造成的压接焊点以及测量压接焊点之间线弧高度的测量方法不一的情况。
以上所描述的装置或设备实施例仅仅是示意性的,其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的,作为模块单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。