CN116297452A - 一种基于机器视觉技术的工件测试方法及系统 - Google Patents

一种基于机器视觉技术的工件测试方法及系统 Download PDF

Info

Publication number
CN116297452A
CN116297452A CN202310229614.6A CN202310229614A CN116297452A CN 116297452 A CN116297452 A CN 116297452A CN 202310229614 A CN202310229614 A CN 202310229614A CN 116297452 A CN116297452 A CN 116297452A
Authority
CN
China
Prior art keywords
workpiece
test
current
image
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310229614.6A
Other languages
English (en)
Inventor
宋中建
潘庆国
侯杰
周章勇
章�宁
叶雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Run Wuhu Machinery Factory
Original Assignee
State Run Wuhu Machinery Factory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Run Wuhu Machinery Factory filed Critical State Run Wuhu Machinery Factory
Priority to CN202310229614.6A priority Critical patent/CN116297452A/zh
Publication of CN116297452A publication Critical patent/CN116297452A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及自动化测试技术领域,具体为一种基于机器视觉技术的工件测试方法及系统,测试方法包括以下步骤:建立并存储标准工件的工件特征和工件类型的对应关系以及标准工件的工件类型和测试参数的对应关系;在控制终端上预存工件位置定位点的标准位置图像库以及标准工件类型的标准测试数据;将位置确认图像与当前测试工件对应的标准位置图像进行对比得到参数修正值;基于目标测试参数和参数修正值,控制终端控制协作机器人和测试组件对当前测试工件进行测试;得到测试结果数据后,控制终端基于预存的标准测试数据进行对比。本发明实现了提高对工件的测试效率,节省人力的效果。

Description

一种基于机器视觉技术的工件测试方法及系统
技术领域
本发明涉及自动化测试技术领域,具体为一种基于机器视觉技术的工件测试方法及系统。
背景技术
在自动化测试过程中,常常会使用到各种协作机器人,例如单臂协作机器人、双臂机器人等。通常情况下,协作机器人上都安装有测试设备,当需要对工件进行测试时,由工作人员将待测的工件放置到工作台上,并为协作机器人和测试设备分别设置测试参数,以使得协作机器人带动测试设备对工件进行测试。
在实际使用的过程中,发明人发现上述技术至少存在以下问题:在对工件进行测试时,工作人员需要针对不同大小、不同类型的工件,为协作机器人和测试设备输入不同的测试参数,浪费了人力,工作效率不高。
发明内容
为了解决上述技术问题,本发明提出了一种基于机器视觉技术的工件测试方法及系统。提高对工件的测试效率,节省人力。
本发明所要解决的技术问题采用以下技术方案来实现:
一种基于机器人视觉技术的工件测试方法,应用一种基于机器人视觉技术的工件测试系统,工件测试系统包括控制终端、人机交互设备、工件放置区、图像采集设备、测试组件、协作机器人,包括以下步骤:
步骤(一)建立并存储标准工件的工件特征和工件类型的对应关系以及标准工件的工件类型和测试参数的对应关系;
步骤(二)在工件放置区上设置位置定位点,在控制终端上预存工件位置定位点的标准位置图像库以及标准工件类型的标准测试数据;
步骤(三)将当前测试工件置于工件放置区,通过图像采集设备采集当前测试工件图像并发送至控制终端,控制终端在接收到当前测试工件的当前测试工件图像后,基于预设的图像处理算法,识别当前测试工件图像中的当前工件特征;
步骤(四)基于步骤(一)中建立的工件特征和工件类型的对应关系,识别当前工件特征所对应的当前工件类型,基于步骤(一)中建立的工件类型和测试参数的对应关系以及识别的当前工件类型,加载与当前工件类型对应的目标测试参数;
步骤(五)图像采集设备在采集当前测试工件图像的同时采集当前测试工件对应定位点的位置确认图像,基于预存的标准位置图像库,提取当前测试工件对应的标准位置图像,将位置确认图像与当前测试工件对应的标准位置图像进行对比得到参数修正值;
步骤(六)基于目标测试参数和参数修正值,控制终端控制协作机器人和测试组件对当前测试工件进行测试;
步骤(七)得到测试结果数据后,控制终端基于步骤(一)中预存的标准测试数据进行对比,验证测试结果数据是否存在异常并为测试结果数据中的异常数据添加异常标签;
步骤(八)生成带有测试结果数据的评价报告并发送至人机交互设备上进行显示,针对异常数据进行突出显示。
优选地,步骤(一)中标准工件的工件特征和工件类型的对应关系的建立步骤如下:
先通过人机交互设备向控制终端发出测试参数录入指令,测试参数录入指令中携带有由工作人员输入的标准工件的工件类型,工件类型可以以工件名称或者工件编号的形式存在;
将待登记的标准工件放置到工件放置区中的指定位置;
控制终端在接收到测试参数录入指令后,控制图像采集设备获取当前时刻的工件放置区中标准工件的图像,即标准工件图像;
通过预设的图像处理算法,对标准工件图像进行图像识别处理,得到标准工件的标准工件特征,然后建立标准工件的工件特征和工件类型的对应关系。
优选地,标准工件的工件类型和测试参数的对应关系的步骤如下:
控制终端在接收到测试参数录入指令后,向人机交互设备发送一个测试参数录入表格;工作人员在测试参数录入表格填写对应于标准工件的测试参数;填写完成后,人机交互设备将测试参数录入表格发送回控制终端,控制终端基于测试参数录入表格建立标准工件的工件类型和测试参数的对应关系。
优选地,步骤(一)以及步骤(三)中预设的图像处理算法相同,包括方向梯度直方图(HOG)特征算法、局部二值增值(LBP)特征算法。
优选地,步骤(四)和步骤(六)中测试参数包括针对协作机器人的机械臂移动参数、针对测试组件的测试组件控制参数,其中,当前协作机器人的机械臂移动参数由机械臂移动参数与参数修正值生成。
优选地,步骤(六)中对当前测试工件进行测试的具体步骤如下:
控制终端基于当前协作机器人的机械臂移动参数生成针对协作机器人的第一控制指令;
控制终端基于测试组件控制参数生成针对测试组件的第二控制指令;
控制终端将第一控制指令发送至协作机器人,将第二控制指令发送至测试组件,使协作机器人带动测试组件移动至指定位置,并由测试组件对当前测试工件进行测试作业。
优选地,步骤(六)中还包括连续测试多个工件类型相同的工件情况,具体步骤如下:
通过预设有的人机交互设备向控制终端发出相应的连续测试请求指令,连续测试请求指令中携带有由工作人员输入的待测工件类型以及对应的连续测试数量;
控制终端在接收到连续测试请求指令后,提取对应待测工件类型的测试参数并锁定;
控制终端控制协作机器人和测试组件进行连续测试,完成连续测试后,取消对测试参数的锁定。
优选地,控制终端控制协作机器人和测试组件进行连续测试之前要先验证当前测试工件的工件类型是否与待测工件类型一致,若一致,则开始进行连续测试,若不一致,则取消对当前测试工件的连续测试,同时控制终端发送混料告警信号至人机交互设备上进行告警。
一种基于机器人视觉技术的工件测试系统,应用到上述的一种基于机器人视觉技术的工件测试方法中,包括控制终端、与控制终端信号连接的人机交互设备、红外摄像头、用于放置工件的工件放置区、用于采集工件图像的图像采集设备、用于对工件进行测试的测试组件以及用于带动所述测试组件移动的协作机器人;
所述控制终端包括:
工件特征识别模块,用于在接收到所述图像采集设备采集的当前测试工件的当前工件图像后,识别所述当前工件图像中的当前工件特征;
工件类型确认模块,用于基于预存有的工件特征和工件类型的对应关系,识别所述当前工件特征所对应的当前工件类型;
信息提取模块,用于基于预存有的工件类型和测试参数的对应关系,加载与所述当前工件类型对应的目标测试参数;
设备控制模块,用于基于所述目标测试参数,控制预设有的协作机器人和测试组件对所述当前测试工件进行测试。
优选地,所述控制终端还包括标准工件图像提取模块、工件类型对比模块、对应关系建立模块、测试结果验证模块、报告生成模块、交互模块、位置确认图像获取模块、计算模块、告警信号生成模块、保护模块。
本发明的有益效果是:
在当前测试工件被放置到工件放置区后,图像采集设备采集针对当前测试工件的当前工件图像并发送给控制终端,使得控制终端识别出其中的工件特征,进而自动确认当前测试工件的当前工件类型,之后,控制终端进一步根据当前工件类型自动提取预存有的目标测试参数,并根据目标测试参数控制预设有的协作机器人和测试组件对当前测试工件进行测试。因此,工作人员不再需要在每次测试时都手动输入测试参数,从而实现了提高对工件的测试效率,节省人力的效果。
附图说明
下面结合附图和实施例对本发明进一步说明:
图1为本发明测试系统的系统框图;
图2为本发明控制终端的系统框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合附图以及实施例对本发明进一步阐述。
一种基于机器人视觉技术的工件测试方法,应用了一种基于机器人视觉技术的工件测试系统,如图1所示,该工件测试系统包括控制终端、人机交互设备、工件放置区、图像采集设备、测试组件、协作机器人,其中,图像采集设备可以是CCD相机,并可以被安装于协作机器人的机械臂上,图像采集设备的摄像端朝向工件放置区。测试组件可以包括多种类别的测试用具,多种测试用具可以在控制终端的控制下自由切换使用,从而应对各种类别的工件。
下面将结合具体实施方式,进行详细的说明,包括以下步骤:
步骤(一)建立并存储标准工件的工件特征和工件类型的对应关系以及标准工件的工件类型和测试参数的对应关系。
具体的,当工作人员需要向控制终端中登记新的工件的测试方法时,可以先将待登记的标准工件放置到工件放置区中的指定位置,并通过人机交互设备向控制终端发出测试参数录入指令,其中,测试参数录入指令中携带有由工作人员输入的标准工件的工件类型,工件类型可以以工件名称或者工件编号的形式存在。同时,上述指定位置即为后续测试该类型的工件时,工件所需放置的标准位置。控制终端在接收到测试参数录入指令后,可以控制对应的图像采集设备获取当前时刻的工件放置区中标准工件的图像,即标准工件图像。
基于标准工件图像,处理得到对应于标准工件的工件特征。
在本实施例中,控制终端在接收到图像采集设备反馈的标准工件图像后,可以基于预设的图像处理算法,对该标准工件图像进行图像识别处理,从而识别出其中的工件特征并进行记录。
其中,处理标准工件图像所使用的图像处理算法可以是方向梯度直方图(HOG)特征、局部二值增值(LBP)特征等等。
建立针对标准工件的工件类型和工件特征的对应关系。
在本实施例中,控制终端在识别得到对应于标准工件的工件特征后,可以建立上述工件特征和标准工件的工件类型的对应关系并进行存储。
在获取到对应于标准工件的测试参数后,建立针对标准工件的测试参数和工件类型的对应关系。
在本实施例中,控制终端在接收到测试参数录入指令后,向人机交互设备发送一个测试参数录入表格,以供工作人员填写对应于标准工件的测试参数。人机交互设备在工作人员完成填写后,将测试参数录入表格发送回控制终端,之后,控制终端基于填写完成的测试参数录入表格,建立针对标准工件的测试参数和工件类型的对应关系并进行存储。
步骤(二)在工件放置区上设置位置定位点,在控制终端上预存工件位置定位点的标准位置图像库以及标准工件类型的标准测试数据。
具体的,在本实施例中,由于工件在放置时位置可能会存在误差,因此,为了提高测试结果的准确性,工件放置区内还会设置有定位点,定位点可以是能够被图像获取设备清晰获取的有色标记,并且不会被放置到位的工件所遮挡。在此情况下,在上述提取与当前工件类型对应的目标测试参数之后,获取针对述工件放置区的位置确认图像,位置确认图像中包含有定位点。
步骤(三)将当前测试工件置于工件放置区,通过图像采集设备采集当前测试工件图像并发送至控制终端,控制终端在接收到当前测试工件的当前测试工件图像后,基于预设的图像处理算法,识别当前测试工件图像中的当前工件特征。
具体的,在本实施例中,可以由工作人员在当前测试工件被放置到工件放置区后,人工控制图像采集设备运行,也可以在工件放置区中设置信号连接于图像采集设备的压力传感器或者光电传感器,使得在当前测试工件被放置到位后,图像采集设备能够被自动触发运行。图像采集设备在采集到针对当前测试工件的当前工件图像后,可以将当前工件图像反馈给控制终端。
控制终端基于预设的图像处理算法,对接收到的当前工件图像进行特征识别,从而识别出其中的针对当前测试工件的当前工件特征。其中,图像处理算法和步骤(一)中处理标准工件图像时所使用的图像处理算法是相同的,从而有助于提高识别和对比结果的准确性。当前工件特征可以是工件中某个具有突出特点的部位、工件外形特征等等。
以方向梯度直方图(HOG)特征为例,具体的处理过程可以是:控制终端对当前工件图像进行灰度化处理并得到对应于当前工件图像的当前灰度图像;之后,控制终端可以采用Gamma校正法对当前灰度图像进行归一化处理,从而减小外部光照变化对识别结果的影响;之后,控制终端计算当前灰度图像中每个像素的梯度,从而得到轮廓信息,并进一步减小外部光照的影响;之后,控制终端将当前灰度图像划分为多个子图像区域,并统计每个子图像区域的梯度直方图;之后,控制终端可以将具有相似梯度直方图的多个相邻子图像区域进行组合,从而得到对应的当前工件特征。
步骤(四)基于步骤(一)中建立的工件特征和工件类型的对应关系,识别当前工件特征所对应的当前工件类型,基于步骤(一)中建立的工件类型和测试参数的对应关系以及识别的当前工件类型,加载与当前工件类型对应的目标测试参数。
具体的,在本实施例中,控制终端在识别出针对当前测试工件的当前工件特征后,会基于当前工件特征,从上述对应关系中自动识别出当前测试工件的工件类型,即当前工件类型。
在本实施例中,测试参数包括机械臂移动轨迹和测试组件控制参数,其中,机械臂移动参数针对协作机器人,测试组件控制参数则是针对测试组件,测试组件控制参数包括需要运行的测试用具种类、各测试用具的实际运行参数等等。控制终端在识别出对应于当前测试工件的当前工件类型后,会进一步识别并加载对应于当前工件类型的目标测试参数,即对应于当前测试工件的目标测试参数。
步骤(五)图像采集设备在采集当前测试工件图像的同时采集当前测试工件对应定位点的位置确认图像,基于预存的标准位置图像库,提取当前测试工件对应的标准位置图像,将位置确认图像与当前测试工件对应的标准位置图像进行对比得到参数修正值。
具体的,在本实施例中,位置确认图像的获取方法可以根据当前测试工件的工件类型确定,即:在当前工件图像中可以清楚地识别出定位点时,位置确认图像可以是当前工件图像,在当前工件图像中的定位点被工件遮挡时,则位置确认图像也可以由变更了位置的图像采集设备通过拍摄工件放置区的图像来进行获取,从而使得新获取的位置确认图像中能够清晰的显示出定位点。
标准位置图像库中记录有对应于工件类型进行存储的标准位置图像,且每个标准位置图像中均包含有定位点。以当前测试工件为例,定位点在该当前测试工件所对应的位置确认图像中的相对位置,与定位点在当前工件类型所对应的标准位置图像中的相对位置相同。
在本实施例中,控制终端基于当前测试工件的当前工件类型,从预存有的标准位置图像库中提取出对应的标准位置图像。
基于位置确认图像和对应于当前工件类型的标准位置图像,对比得到参数修正值。
在本实施例中,控制终端将对应于当前工件类型的标准位置图像和位置确认图像进行对比,对比时,控制终端可以将两个图像中的定位点完全重合,进而比对出位置确认图像中的工件位置相较于标准位置图像中的相对偏差,从而得到针对机械臂移动轨迹的参数修正值。
步骤(六)基于目标测试参数和参数修正值,控制终端控制协作机器人和测试组件对当前测试工件进行测试;
具体的,在本实施例中,控制终端利用得到的参数修正值,结合提取出的目标测试参数中的机械臂移动轨迹,计算得到当前机械臂移动轨迹。
基于当前机械臂移动轨迹以及目标测试参数中的测试组件控制参数,控制预设有的协作机器人和测试组件对当前测试工件进行测试。
在本实施例中,控制终端基于当前机械臂移动轨迹生成针对协作机器人的第一控制指令,同时基于目标测试参数中的测试组件控制参数生成针对测试组件的第二控制指令,之后,控制终端将第一控制指令发送至协作机器人,将第二控制指令发送至测试组件,从而使得协作机器人带动测试组件移动至指定位置,并由测试组件对当前测试工件进行测试作业。
可选的,在本实施例中,为了进一步提高工作效率,上述基于机器人视觉技术的工件测试方法还可以包括以下内容:
在接收到工作人员输入的待测工件类型和对应的连续测试数量后,加载对应于待测工件类型的测试参数并锁定。
在本实施例中,当工作人员需要连续测试多个工件类型相同的工件时,可以通过预设有的人机交互设备向控制终端发出相应的连续测试请求指令。连续测试请求指令中携带有由工作人员输入的待测工件类型以及对应的连续测试数量。控制终端在接收到连续测试请求指令后,可以提取对应于待测工件类型的测试参数并锁定,即,在后续进行工件测试的过程中,控制终端会直接基于锁定的测试参数生成针对协作机器人的第一控制指令和针对测试组件的第二控制指令,而不会再基于识别出的当前工件类型提取对应的测试参数,从而提高了测试工作的效率。
在完成对连续测试数量的待测工件类型的工件的测试后,取消对测试参数的锁定。
在本实施例中,在完成对连续测试数量的待测工件类型的工件的测试后,控制终端会取消对对应于待测工件类型的测试参数的锁定。从而不会影响后续对其他工件的测试作业。
进一步的,在本实施例中,在上述加载对应于待测工件类型的测试参数并锁定之后,对工件的测试过程具体可以包括以下内容:
验证当前测试工件的工件类型是否与待测工件类型一致。
以当前测试工件为例,在当前测试工件被放置到工件放置区中的指定位置后,控制终端会识别当前测试工件的工件类型。具体的识别过程如上述的识别过程所述,此处不再赘述。识别完成后,控制终端可以将识别出的当前测试工件的工件类型与待测工件类型进行对比。
当验证结果为是时,控制终端可以直接基于待测工件类型所对应的测试参数生成针对协作机器人的第一控制指令和针对测试组件的第二控制指令,并进一步控制协作机器人和测试组件对当前测试工件进行测试。
当验证结果为否时,当验证出当前测试工件的工件类型和待测工件类型不一致时,则代表可能出现了上错工件的情况,因此,控制终端可以取消对当前测试工件的测试,同时生成混料告警信号。之后,控制终端可以将混料告警信号发送至预设有的人机交互设备,从而使得人机交互设备以语音播报或者文字显示的方式向工作人员发出告警,提醒工作人员及时解决。
步骤(七)得到测试结果数据后,控制终端基于步骤(一)中预存的标准测试数据进行对比,验证测试结果数据是否存在异常并为测试结果数据中的异常数据添加异常标签。
具体的,在本实施例中,控制终端中预先存储有每个工件类型的工件各自所对应的标准测试数据。测试组件在完成对当前测试工件的测试后,可以基于当前测试工件的当前工件类型,提取对应的标准测试数据,即当前标准测试数据。之后,控制终端将本次测试得到的测试结果数据和对应的当前标准测试数据进行逐项对比,从而识别出测试结果数据中的各项数据是否为异常数据,当识别出某项数据为异常数据时,控制终端可以为该异常数据添加异常标签。
步骤(八)生成带有测试结果数据的评价报告并发送至人机交互设备上进行显示,针对异常数据进行突出显示。
具体的,在本实施例中,控制终端可以将生成的评价报告发送给对应预设的人机交互设备,使得人机交互设备对评价报告中的内容进行显示。其中,被标记有异常标签的异常数据可以被突出显示,例如,以红色、黄色等颜色对异常数据进行区分显示。从而使得工作人员在查看评价报告中的测试结果数据时,能够直观地得知工件异常。
基于上述的测试方法,本发明实施例还公开了一种基于机器人视觉技术的工件测试系统,如图1和图2所示。包括控制终端、与控制终端信号连接的人机交互设备、红外摄像头、用于放置工件的工件放置区、用于采集工件图像的图像采集设备、用于对工件进行测试的测试组件以及用于带动所述测试组件移动的协作机器人。
进一步地,在本实施例中,为了提高测试过程的安全性,减小人员意外接触工件放置区所带来的不良影响,测试系统还可以包括信号连接于控制终端的红外摄像头。在对工件进行测试的过程中,红外摄像头可以实时获取工件放置区中的红外监控图像,并发送给控制终端。当识别到红外监控图像中出现人员部位红外图像时,控制协作机器人和测试组件中断运行。
在本实施例中,控制终端可以对获取到的红外监控图像进行图像识别处理,从而识别出其中是否存在人员部位红外图像,即是否有人员对工件放置区域内的当前测试工件进行干涉,或者是否有人员的身体部位进入攻坚放置区域内。当识别出存在人员部位红外图像时,控制终端可以向协作机器人和测试组件发出中断指令,使得协作机器人和测试组件中断运行。
进一步地,所述控制终端包括:
工件特征识别模块,用于在接收到所述图像采集设备采集的当前测试工件的当前工件图像后,识别所述当前工件图像中的当前工件特征。
工件类型确认模块,用于基于预存有的工件特征和工件类型的对应关系,识别所述当前工件特征所对应的当前工件类型。
信息提取模块,用于基于预存有的工件类型和测试参数的对应关系,加载与所述当前工件类型对应的目标测试参数。
设备控制模块,用于基于所述目标测试参数,控制预设有的协作机器人和测试组件对所述当前测试工件进行测试。
进一步地,所述控制终端还包括:
标准工件图像提取模块,用于在接收到携带有标准工件的工件类型的测试参数录入指令后,获取针对标准工件的标准工件图像。
所述工件特征识别模块还用于基于标准工件图像,处理得到对应于标准工件的工件特征。
对应关系建立模块,用于建立针对标准工件的工件类型和工件特征的对应关系,还用于在获取到对应于标准工件的测试参数后,建立针对标准工件的测试参数和工件类型的对应关系。
测试结果验证模块,用于在得到测试结果数据后,基于预存有的对应于当前工件类型的当前标准测试数据,验证测试结果数据是否存在异常并为测试结果数据中的异常数据添加异常标签。
报告生成模块,用于生成携带有测试结果数据的评价报告。
交互模块,用于发送评价报告至预设有的人机交互设备,以供人机交互设备对评价报告进行显示,且供人机交互设备对添加有异常标签的异常数据进行突出显示。
位置确认图像获取模块,用于获取针对工件放置区的位置确认图像,位置确认图像中包含有定位点。
所述信息提取模块还用于从预存有的标准位置图像库中提取对应于当前工件类型的标准位置图像,标准位置图像中包含有定位点。
计算模块,用于基于位置确认图像和对应于当前工件类型的标准位置图像,对比得到参数修正值,还用于基于参数修正值和目标测试参数中的机械臂移动轨迹,生成当前机械臂移动轨迹。
所述设备控制模块用于基于当前机械臂移动轨迹以及目标测试参数中的测试组件控制参数,控制预设有的协作机器人和测试组件对当前测试工件进行测试。
所述信息提取模块还用于在接收到工作人员输入的待测工件类型和对应的连续测试数量后,加载对应于待测工件类型的测试参数并锁定。以及在完成对连续测试数量的待测工件类型的工件的测试后,取消对测试参数的锁定。
工件类型对比模块,用于验证当前测试工件的工件类型是否与待测工件类型一致。
所述设备控制模块用于当验证结果为是时,基于待测工件类型所对应的测试参数,控制预设有的协作机器人和测试组件对当前测试工件进行测试。
告警信号生成模块,用于当验证结果为否时,取消对当前测试工件的测试,并生成混料告警信号。
保护模块,用于获取针对工件放置区的红外监控图像;还用于当识别到所红外监控图像中出现人员部位红外图像时,控制协作机器人和测试组件中断运行。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于机器人视觉技术的工件测试方法,其特征在于:应用一种基于机器人视觉技术的工件测试系统,工件测试系统包括控制终端、人机交互设备、工件放置区、图像采集设备、测试组件、协作机器人,包括以下步骤:
步骤(一)建立并存储标准工件的工件特征和工件类型的对应关系以及标准工件的工件类型和测试参数的对应关系;
步骤(二)在工件放置区上设置位置定位点,在控制终端上预存工件位置定位点的标准位置图像库以及标准工件类型的标准测试数据;
步骤(三)将当前测试工件置于工件放置区,通过图像采集设备采集当前测试工件图像并发送至控制终端,控制终端在接收到当前测试工件的当前测试工件图像后,基于预设的图像处理算法,识别当前测试工件图像中的当前工件特征;
步骤(四)基于步骤(一)中建立的工件特征和工件类型的对应关系,识别当前工件特征所对应的当前工件类型,基于步骤(一)中建立的工件类型和测试参数的对应关系以及识别的当前工件类型,加载与当前工件类型对应的目标测试参数;
步骤(五)图像采集设备在采集当前测试工件图像的同时采集当前测试工件对应定位点的位置确认图像,基于预存的标准位置图像库,提取当前测试工件对应的标准位置图像,将位置确认图像与当前测试工件对应的标准位置图像进行对比得到参数修正值;
步骤(六)基于目标测试参数和参数修正值,控制终端控制协作机器人和测试组件对当前测试工件进行测试;
步骤(七)得到测试结果数据后,控制终端基于步骤(一)中预存的标准测试数据进行对比,验证测试结果数据是否存在异常并为测试结果数据中的异常数据添加异常标签;
步骤(八)生成带有测试结果数据的评价报告并发送至人机交互设备上进行显示,针对异常数据进行突出显示。
2.根据权利要求1所述的一种基于机器人视觉技术的工件测试方法,其特征在于:步骤(一)中标准工件的工件特征和工件类型的对应关系的建立步骤如下:
先通过人机交互设备向控制终端发出测试参数录入指令,测试参数录入指令中携带有由工作人员输入的标准工件的工件类型,工件类型可以以工件名称或者工件编号的形式存在;
将待登记的标准工件放置到工件放置区中的指定位置;
控制终端在接收到测试参数录入指令后,控制图像采集设备获取当前时刻的工件放置区中标准工件的图像,即标准工件图像;
通过预设的图像处理算法,对标准工件图像进行图像识别处理,得到标准工件的标准工件特征,然后建立标准工件的工件特征和工件类型的对应关系。
3.根据权利要求1所述的一种基于机器人视觉技术的工件测试方法,其特征在于:标准工件的工件类型和测试参数的对应关系的步骤如下:
控制终端在接收到测试参数录入指令后,向人机交互设备发送一个测试参数录入表格;工作人员在测试参数录入表格填写对应于标准工件的测试参数;填写完成后,人机交互设备将测试参数录入表格发送回控制终端,控制终端基于测试参数录入表格建立标准工件的工件类型和测试参数的对应关系。
4.根据权利要求1所述的一种基于机器人视觉技术的工件测试方法,其特征在于:步骤(一)以及步骤(三)中预设的图像处理算法相同,包括方向梯度直方图(HOG)特征算法、局部二值增值(LBP)特征算法。
5.根据权利要求1所述的一种基于机器人视觉技术的工件测试方法,其特征在于:步骤(四)和步骤(六)中测试参数包括针对协作机器人的机械臂移动参数、针对测试组件的测试组件控制参数,其中,当前协作机器人的机械臂移动参数由机械臂移动参数与参数修正值生成。
6.根据权利要求1所述的一种基于机器人视觉技术的工件测试方法,其特征在于:步骤(六)中对当前测试工件进行测试的具体步骤如下:
控制终端基于当前协作机器人的机械臂移动参数生成针对协作机器人的第一控制指令;
控制终端基于测试组件控制参数生成针对测试组件的第二控制指令;
控制终端将第一控制指令发送至协作机器人,将第二控制指令发送至测试组件,使协作机器人带动测试组件移动至指定位置,并由测试组件对当前测试工件进行测试作业。
7.根据权利要求6所述的一种基于机器人视觉技术的工件测试方法,其特征在于:步骤(六)中还包括连续测试多个工件类型相同的工件情况,具体步骤如下:
通过预设有的人机交互设备向控制终端发出相应的连续测试请求指令,连续测试请求指令中携带有由工作人员输入的待测工件类型以及对应的连续测试数量;
控制终端在接收到连续测试请求指令后,提取对应待测工件类型的测试参数并锁定;
控制终端控制协作机器人和测试组件进行连续测试,完成连续测试后,取消对测试参数的锁定。
8.根据权利要求7所述的一种基于机器人视觉技术的工件测试方法,其特征在于:控制终端控制协作机器人和测试组件进行连续测试之前要先验证当前测试工件的工件类型是否与待测工件类型一致,若一致,则开始进行连续测试,若不一致,则取消对当前测试工件的连续测试,同时控制终端发送混料告警信号至人机交互设备上进行告警。
9.一种基于机器人视觉技术的工件测试系统,其特征在于:应用到权利要求1至8中任一项所述的一种基于机器人视觉技术的工件测试方法中,包括控制终端、与控制终端信号连接的人机交互设备、红外摄像头、用于放置工件的工件放置区、用于采集工件图像的图像采集设备、用于对工件进行测试的测试组件以及用于带动所述测试组件移动的协作机器人;
所述控制终端包括:
工件特征识别模块,用于在接收到所述图像采集设备采集的当前测试工件的当前工件图像后,识别所述当前工件图像中的当前工件特征;
工件类型确认模块,用于基于预存有的工件特征和工件类型的对应关系,识别所述当前工件特征所对应的当前工件类型;
信息提取模块,用于基于预存有的工件类型和测试参数的对应关系,加载与所述当前工件类型对应的目标测试参数;
设备控制模块,用于基于所述目标测试参数,控制预设有的协作机器人和测试组件对所述当前测试工件进行测试。
10.根据权利要求9所述的一种基于机器人视觉技术的工件测试系统,其特征在于:所述控制终端还包括标准工件图像提取模块、工件类型对比模块、对应关系建立模块、测试结果验证模块、报告生成模块、交互模块、位置确认图像获取模块、计算模块、告警信号生成模块、保护模块。
CN202310229614.6A 2023-03-10 2023-03-10 一种基于机器视觉技术的工件测试方法及系统 Pending CN116297452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310229614.6A CN116297452A (zh) 2023-03-10 2023-03-10 一种基于机器视觉技术的工件测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310229614.6A CN116297452A (zh) 2023-03-10 2023-03-10 一种基于机器视觉技术的工件测试方法及系统

Publications (1)

Publication Number Publication Date
CN116297452A true CN116297452A (zh) 2023-06-23

Family

ID=86779166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310229614.6A Pending CN116297452A (zh) 2023-03-10 2023-03-10 一种基于机器视觉技术的工件测试方法及系统

Country Status (1)

Country Link
CN (1) CN116297452A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368622A (zh) * 2023-12-06 2024-01-09 山东济电德能电气设备有限公司 用于对电气设备测试的试验方法、试验系统及试验台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368622A (zh) * 2023-12-06 2024-01-09 山东济电德能电气设备有限公司 用于对电气设备测试的试验方法、试验系统及试验台

Similar Documents

Publication Publication Date Title
CN108983708B (zh) 安全控制装置、安全控制装置的控制方法、及记录介质
US20160334777A1 (en) Numerical controller capable of checking mounting state of tool used for machining
WO2018040334A1 (zh) 一种装配线电动拧紧枪防错系统
US20040019405A1 (en) Object taking out apparatus
CN104023906A (zh) 操作管理装置及操作管理系统
CN107234615B (zh) 工件摆放系统、工件放置装置及工件摆放控制方法
CN108269322B (zh) 一种巡检方法
US7355725B2 (en) Measuring system
CN116297452A (zh) 一种基于机器视觉技术的工件测试方法及系统
CN106514068A (zh) 一种机器人智能焊接的控制方法
CN116428984A (zh) 一种五金模具冲压加工智能检测系统
CN115331002A (zh) 一种基于ar眼镜实现热力站故障远程处理方法
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
EP4207068A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
CN111223081A (zh) 基于深度学习的零件开孔识别与检测方法及系统
CN105068139B (zh) 一种活塞冷却喷嘴安装状态的检测工艺
US20230419477A1 (en) Anomaly detection system in the automatic placement of composites during the manufacturing of structural elements
CN111805533A (zh) 用于工件下料的装置、基于视觉定位的工件下料的方法
CN114625087A (zh) 工位异常动作分析方法、系统、设备及存储介质
CN114663400A (zh) 一种基于视觉定位座椅坐垫的打钉控制方法及系统
KR20220147443A (ko) 임의 지지된 소부재 자동용접 방법
CN113998595A (zh) 无人化起重机自动化防碰撞控制系统
CN216132942U (zh) 封闭件自动查验和处理装置
JP2006320962A (ja) 溶接治具監視装置、画像処理装置およびプログラム
CN113849000B (zh) 高压隔离开关镀银件镀层厚度自动检测系统的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination