CN116087671B - 一种基于机器视觉的自动化测试作业方法、机器人及系统 - Google Patents

一种基于机器视觉的自动化测试作业方法、机器人及系统 Download PDF

Info

Publication number
CN116087671B
CN116087671B CN202310371360.1A CN202310371360A CN116087671B CN 116087671 B CN116087671 B CN 116087671B CN 202310371360 A CN202310371360 A CN 202310371360A CN 116087671 B CN116087671 B CN 116087671B
Authority
CN
China
Prior art keywords
test
robot
identification
hmm
automatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310371360.1A
Other languages
English (en)
Other versions
CN116087671A (zh
Inventor
肖燕
邓波
张全良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Aikesaipu Measurement And Control Technology Co ltd
Original Assignee
Changsha Accexp Instrument Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Accexp Instrument Co ltd filed Critical Changsha Accexp Instrument Co ltd
Priority to CN202310371360.1A priority Critical patent/CN116087671B/zh
Publication of CN116087671A publication Critical patent/CN116087671A/zh
Application granted granted Critical
Publication of CN116087671B publication Critical patent/CN116087671B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R1/00—Details of instruments or arrangements of the types included in groups G01R5/00 - G01R13/00 and G01R31/00
    • G01R1/02—General constructional details
    • G01R1/04—Housings; Supporting members; Arrangements of terminals
    • G01R1/0408—Test fixtures or contact fields; Connectors or connecting adaptors; Test clips; Test sockets
    • G01R1/0416—Connectors, terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01R—ELECTRICALLY-CONDUCTIVE CONNECTIONS; STRUCTURAL ASSOCIATIONS OF A PLURALITY OF MUTUALLY-INSULATED ELECTRICAL CONNECTING ELEMENTS; COUPLING DEVICES; CURRENT COLLECTORS
    • H01R43/00—Apparatus or processes specially adapted for manufacturing, assembling, maintaining, or repairing of line connectors or current collectors or for joining electric conductors
    • H01R43/26—Apparatus or processes specially adapted for manufacturing, assembling, maintaining, or repairing of line connectors or current collectors or for joining electric conductors for engaging or disengaging the two parts of a coupling device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及一种基于机器视觉的自动化测试作业方法、机器人及系统，其方法包括：基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或基于自动拆线的指示信息拆除自动配置的置于环境箱中的待测试设备与测试台之间的信号通道；在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至集控平台进行识别，在获取到识别结果时通过对人机界面进行触控操作来调整测试方案。实施本发明方案可在包含无源电子元件、电路板、芯片、线缆以及电子装置等设备测试试验中的绝大部分环节均实现自动化，使得机器人满足包括机器视觉采集工作、自动拆接线以及触控显示屏等多种作业能力。

Description

一种基于机器视觉的自动化测试作业方法、机器人及系统
技术领域
本发明涉及电子设备测试技术领域，尤其涉及一种基于机器视觉的自动化测试作业方法、机器人及系统。
背景技术
随着技术发展，现代试验室已经有了长足的进步，试验室针对仪器设备的测试部分已实现计算机程序自动化控制，但是在设备与设备之间的转运、接线等关键环节依然需要试验人员在现场操作，并实行人工记录试验参数，这样不仅存在人力成本过高、测试过程易出错等问题，且在环境要求苛刻的试验室中更加需要减少测试人员的参与。
另一方面，考虑到目前试验室的各个环节大多是分散进行，有人工参与就无法进行统一地集中控制，这大大降低了效率，且提高了测试试验的成本。
由此，试验室的测试方案和测试流程的自动化程度仍然亟需提高。
发明内容
（一）要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于机器视觉的自动化测试作业方法、机器人及系统，其解决了目前试验室中的各个环节自动化程度低依然需要依赖人工参与的技术问题。
（二）技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于机器视觉的自动化测试作业方法，其包括：
基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或，
基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道；以及，
在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面进行触控操作来调整测试方案；
其中，所述自动接线的指示信息和所述自动拆线的指示信息均为所述集控平台依据待测试设备的信号点位信息和测试台的信号点位信息生成的，且所述状态监测的指示信息是由所述集控平台依据操作人员的输入信号或预先设置的巡查表生成的。
可选地，基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道包括：
基于所述自动接线的指示信息，在所述待测试设备的信号点位从所述环境箱的测试孔中引出接线至外置的第一转接板以及所述测试台的信号点位转接至外置的第二转接板之后，进行所述第一转接板与所述第二转接板之间的自动接线和/或所述第二转接板与所述测试台的自动接线，以实现所述待测试设备与所述测试台之间的信号通道搭建。
可选地，基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道包括：
基于所述自动拆线的指示信息，进行所述第一转接板与所述第二转接板之间的自动拆线和/或所述第二转接板与所述测试台的自动拆线，以实现所述待测试设备与所述测试台之间的当前信号通道的断连。
可选地，在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面执行相应的触控操作来调整测试方案包括：
在信号通道有效时间段内，基于状态监测的指示信息采集指定区域的人机界面和与所述测试台连接的指示灯的原始图像并传输至预设的集控平台中，以使集控平台进行如下识别过程：
对所述原始图像分别按照轮廓检测、颜色检测以及OCR识别的方式进行相应的预处理，得到轮廓检测图像组、颜色识别图像组以及显示内容识别图像组；
将所述轮廓检测图像组和预先配置在集控平台中的轮廓模板进行匹配，得以区分指示灯区域与人机界面区域；
依据所述颜色识别图像组进行指示灯颜色与状态的确定，进而依据所述指示灯颜色与状态确定所述测试台的运行状态和待测试设备的运行状态；
基于预先构建的CNN-HMM混合模型对所述显示内容识别图像组进行显示内容的识别；
将所述轮廓检测图像组、所述颜色识别图像组以及所述显示内容识别图像的处理结果进行综合分析，得到综合分析结果。
可选地，依据所述颜色识别图像组进行指示灯颜色与状态的确定包括：
依据所述颜色识别图像组上的颜色空间不同聚集区块与像素值所处范围，确定指示灯的颜色为红色、绿色、黄色之中的任意一种；
通过统计预设时间段内指示灯颜色的变化规律判断指示灯的状态；
若预设时间段内指示灯在预设时间段内均为红色，则判断指示灯显示红色状态；
若预设时间段内指示灯在预设时间段内均为绿色，则判断指示灯显示绿色状态；
若预设时间段内指示灯在不同颜色之间相互变化，则判断指示灯处于闪烁状态；
进而，若指示灯处于闪烁状态时，
在颜色识别图像组在预设时段内截取的图像中若存在任意相邻的图像之间的显示状态相同，则判断指示灯为慢闪；
在颜色识别图像组在预设时段内截取的图像中若不存在任意相邻的图像之间的显示状态相同，则判断指示灯为快闪；
其中，颜色识别图像组在预设时段内截取的图像为20-30张。
可选地，基于预先构建的CNN-HMM混合模型对所述显示内容识别图像组进行显示内容的识别包括：
基于预先构建的CNN-HMM混合模型为获取的显示内容识别图像组建立特征模板数据库；
基于CNN-HMM混合模型对获取的显示内容识别图像组进行包含ROI目标区域截取、灰度处理、阈值分割、校正以及字符切割之中的一种或多种的匹配前处理；
通过将经匹配前处理得到的图像数据与所述特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果；
其中，所述CNN-HMM混合模型为通过将CNN层的输出与HMM层的观测概率矩阵端对端设置所得到的模型，且所述CNN-HMM混合模型中的CNN层为HMM层提供任意状态的输出概率，所述HMM层为所述CNN层提供对应状态的归属分类。
可选地，基于预先构建的CNN-HMM混合模型为获取的显示内容识别图像组建立特征模板数据库包括：
基于预先构建的CNN-HMM混合模型的CNN层获取的人机界面的历史原始图像进行特征提取，生成若干按预设编号排序的特征序列，各个特征序列中的保存数据的特征样式均不相同；
基于预先构建的CNN-HMM混合模型的HMM层为每一特征序列分别建模得到若干序列建模，在HMM层下优化训练所有序列建模，得到特征模板数据库。
可选地，通过将经匹配前处理得到的图像数据与所述特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果包括：
将经匹配前处理得到的图像数据与所述特征模板数据库中的每一内容特征数据进行匹配得到置信度值；
当置信度不小于0.95时判断为识别成功，并将包含置信度以及对应的特征模板的识别结果输出到预先建立通信连接的测试台；
当置信度小于0.95时判断为识别失败，并将包含识别失败信息的识别结果预先建立通信连接的测试台；
交由所述测试台依据得到的所述识别结果输出测试报告。
第二方面，本发明实施例提供一种走动作业机器人，所述机器人执行如上所述的一种基于机器视觉的自动化测试作业方法，所述机器人包括：机器人本体以及设置于所述机器人本体上的视觉组件与夹具；
所述视觉组件包括摄像头、视觉采集卡以及视频分配器，所述视觉组件用于获取指定区域的图像；
所述夹具用于实施用于容纳所述待测试设备以形成测试环境的环境箱与用于控制所述环境箱的测试台之间的自动拆接线工作，也用于依据所述指定区域的图像对所述人机界面进行相应的触控操作。
相应地，所述第一转接板和所述第二转接板均设置可供机器人完成自动接线的弹性收线盘，其中导线缠绕在所述弹性收线盘上。
第三方面，本发明实施例提供一种自动化试验系统，包括：
如上的机器人；
转接板；
若干环境箱，所述环境箱用于容纳所述待测试设备以形成测试环境；
测试台，所述测试台通过所述转接板与任意所述环境箱连接以搭建所述待测试设备与所述测试台之间的信号通道；
陪试显示屏/上位机，所述陪试显示屏/上位机与所述环境箱连接，用于调节、控制以及显示所述环境箱的测试参数；
集控平台，所述集控平台分别与所述机器人、所述环境箱、所述测试台、所述陪试显示屏/上位机连接，用于向所述机器人下发控制指令以实现所述测试台与任意所述环境箱的信号通道的搭建与拆除，以实现若干所述环境箱与测试台之间采用分时复用的形式进行测试工作。
（三）有益效果
本发明的有益效果是：
实施本发明的方案可在包含无源电子元件、电路板、芯片、线缆以及电子装置的电子设备的测试试验中的绝大部分环节均实现自动化，使得机器人满足包括机器视觉采集工作、自动拆接线以及触控显示屏等多种作业能力。如在搭建待测试设备与测试台之间的测试信号通道之后，依据采集信息的识别结果对测试方案进行如下调整：一则是通过形成不同测试环境来进行耐久性测试与临界测试，二则是通过调整测试台参数来进行电性能测试。
由此，本发明在统一地集中控制下大大缓解了试验室的自动化程度低的问题，降低了人工参与量，具备实际应用前景。
附图说明
图1为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的流程示意图；
图2为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的自动接线所依赖的转接板示意图；
图3为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的步骤S2的具体流程示意图；
图4为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的步骤S23的具体流程示意图；
图5为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的步骤S24的具体流程示意图；
图6为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的CNN-HMM混合模型的示意图；
图7为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的步骤S241的具体流程示意图；
图8为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的步骤S242的具体流程示意图；
图9为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的步骤S243的具体流程示意图；
图10为本发明实施例提供的一种基于CNN/HMM混合模型的人机界面内容识别方法的基于CNN-HMM混合模型的训练过程；
图11中的（a）、（b）分别为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的HMM层的3状态HMM结构和单状态HMM结构示意图；
图12为本发明实施例提供的一种基于机器视觉的自动化测试作业方法的HMM层的状态合并示意图；
图13为本发明实施例提供的一种走动作业机器人的弹性收线盘的示意图；
图14为本发明实施例提供的一种自动化试验系统的组成示意图。
【附图标记说明】
10：弹性收线盘；
20：L型伸缩接线柱。
实施方式
为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
如图1所示，本发明实施例提出的一种基于机器视觉的自动化测试作业方法，其包括：机器人基于自动接线的指示信息构建形成测试环境的环境箱中待测试设备与控制环境箱的测试台之间的信号通道；或，机器人基于自动拆线的指示信息拆除自动配置的待测试设备与测试台之间的信号通道；以及，在信号通道有效时间段内，机器人基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面执行相应的触控操作来调整测试方案；其中，自动接线的指示信息和自动拆线的指示信息均为集控平台依据待测试设备的信号点位信息和测试台的信号点位信息生成的，且状态监测的指示信息也是由集控平台依据操作人员的输入信号或预先设置的巡查表生成，巡查表包括一巡查时间对应获取固定区域信息。而测试方案包括配置所述环境箱参数以形成不同的测试环境，以及配置测试台参数以对所述待测试设备施加不同的测试电信号和采集相应的测量电信号。
实施本发明的方案可在包含无源电子元件、电路板、芯片、线缆以及电子装置的电子设备的测试试验中的绝大部分环节均实现自动化，使得机器人满足包括机器视觉采集工作、自动拆接线以及触控显示屏等多种作业能力。如在搭建待测试设备与测试台之间的测试信号通道之后，依据采集信息的识别结果对测试方案进行如下调整：一则是通过形成不同测试环境来进行耐久性测试与临界测试，二则是通过调整测试台参数来进行电性能测试。
由此，本发明在统一地集中控制下依赖机器人大大缓解了试验室的自动化程度低的问题，降低了人工参与量，具备实际应用前景。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
具体地，本发明提供一种基于机器视觉的自动化测试作业方法，包括：
S1、基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或，基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道。
进一步地，基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道包括：基于自动接线的指示信息，在待测试设备的信号点位从环境箱的测试孔中引出接线至第一转接板以及测试台的信号点位转接至第二转接板之后，进行第一转接板与第二转接板之间的自动接线和/或第二转接板与测试台的自动接线，以实现待测试设备与测试台之间的信号通道搭建。
进一步地，基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道包括：基于自动拆线的指示信息，进行第一转接板与第二转接板之间的自动拆线和/或第二转接板与测试台的自动拆线，以实现待测试设备与测试台之间的当前信号通道的断连。
值得一提的是，本发明除了满足无源电子元件、电路板、芯片、线缆的测试试验，还可进行中大型的电子装置测试，如：传动控制单元（DCU）、网络控制单元、列车运行监控装置（LKJ）三种待测试的电子装置，针对其各自的性能、适应各种气候环境的临界参数以及所需的试验需求进行相应的试验，其中气候环境临界试验是由环境箱实施包括高温试验、低温试验、低温存放试验以及交变湿热试验。
如图2所示，自动接线对象主要包括两块信号转接板之间的短接线以及测试台与转接板的连接线，不包括样品端的接线。待测试设备置于环境箱中，样品的线缆通过环境箱测试孔引出至第一转接板，这样就实现信号路由的自动配置，信号经第二转接板与测试台相连，最终实现测试台与样品即待测试设备信号的互通。根据预先设置的试验接线表进行自动接线，自动接线范围包括信号转接装置之间的连接以及测试台插头的切换。
S2、在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面执行相应的触控操作来调整测试方案。其中，测试方案包括内置于人机界面的测试模块、测试流程以及测试参数等。
如图3所示，步骤S2包括：
在信号通道有效时间段内，基于状态监测的指示信息采集指定区域的人机界面和与测试台连接的指示灯的原始图像并传输至预设的集控平台中，以使集控平台进行如下识别过程：
S21、对原始图像分别按照轮廓检测、颜色检测以及OCR识别的方式进行相应的预处理，得到轮廓检测图像组、颜色识别图像组以及显示内容识别图像组。
为了保证识别准度与精度，本发明实施例采用并行预处理的方式，即对采集的图像分别按照轮廓检测、颜色检测以及OCR识别的方式进行三种不同方式的预处理，预处理即为对数字区域图像进行滤波差分的高反差增强处理，目的是去除或减弱图像背景和噪声，增大数字与其背景的对比度。经过上述不同预处理的图像，其灰度曲线、对比度曲线等各不相同，但对于各自的检测目标而言是最有利的。
S22、将轮廓检测图像组和预先配置在集控平台中的轮廓模板进行匹配，得以区分指示灯区域与人机界面区域，即可以通过和预先设置的模板比对得到不同插件的轮廓及其内部的指示灯轮廓阵列。
S23、依据颜色识别图像组进行指示灯颜色与状态的确定，进而依据指示灯颜色与状态确定测试台的运行状态和待测试设备的运行状态。
进一步地，如图4所示，步骤S23包括：
S231、依据颜色识别图像组上的颜色空间不同聚集区块与像素值所处范围，确定指示灯的颜色为红色、绿色、黄色之中的任意一种。
S232、通过统计预设时间段内指示灯颜色的变化规律判断指示灯的状态。
S233a、若预设时间段内指示灯在预设时间段内均为红色，则判断指示灯显示红色状态。
S233b、若预设时间段内指示灯在预设时间段内均为绿色，则判断指示灯显示绿色状态。
S233c、若预设时间段内指示灯在不同颜色之间相互变化，则判断指示灯处于闪烁状态。
进而，当指示灯处于闪烁状态时，在颜色识别图像组在预设时段内截取的图像中若存在任意相邻的图像之间的显示状态相同，则判断指示灯为慢闪；在颜色识别图像组在预设时段内截取的图像中若不存在任意相邻的图像之间的显示状态相同，则判断指示灯为快闪；其中，颜色识别图像组在预设时段内截取的图像为20-30张。
在具体实施例中，配置有工业相机和辅助用的环形光源的机器人依据接收到的指令在辅助光源的配合以及距离拍摄对象30-40CM的情况下，1秒内连续快速拍摄20张图像，这20张图中，第一张照片是打开了补光灯，其它的是关掉了补光灯机器人所拍摄的图像。
统计20张图在相邻时段的任意两张图之间的显示状态。
表1
Figure SMS_1
如表1所示，当统计连接2张照片显示状态相同时，判断此指示灯为慢闪。（1代表亮，0代表灭）
表2
Figure SMS_2
如表2所示，当统计连接2张照片显示状态均不同时，判断此指示灯为快闪。
由此，在获取到指示灯的显示状态之后，即可确定与指示灯连接的设备的工作状态，可设定红、绿灯指示测试台的工作状态，也可设定快闪和慢闪用于代表测试产品的质量好坏，每个产品的标准是不一样的，如被测的A产品需5个灯快闪2个灯慢闪才判断产品正常，B产品3个灯快闪4个灯慢闪判断产品测试正常，否则说明产品的某一项功能测试异常。
S24、基于预先构建的CNN-HMM混合模型对显示内容识别图像组进行显示内容的识别。
进一步地，如图5所示，步骤S24包括：
S241、基于预先构建的CNN-HMM混合模型为包含字符、按钮以及图形的显示内容识别图像组建立特征模板数据库。
其中，CNN-HMM混合模型为通过将CNN层的输出与HMM层的观测概率矩阵端对端设置所得到的模型，且CNN-HMM混合模型中的CNN层为HMM层提供任意状态的输出概率，HMM层为CNN层提供对应状态的归属分类。
如图6所示，本发明实施例提出的一种基于CNN/HMM混合模型，首先使用CNN对文字图像进行特征提取，构造出特征序列，使用隐马尔科夫模型(HMM)进行序列建模，在HMM的框架下优化训练整个模型，而不需要显式的对字符进行分割。CNN-HMM的整体结构见下图，其中CNN用于表示字符特征同时作为观测向量的输出模型，即建模，HMM模型用于建模特征序列的相关性。
进一步地，如图7所示，步骤S241包括：
S241-1、基于预先构建的CNN-HMM混合模型的CNN层获取的人机界面的历史原始图像进行特征提取，生成若干按预设编号排序的特征序列，各个特征序列中的保存数据的特征样式均不相同。
S241-2、基于预先构建的CNN-HMM混合模型的HMM层为每一特征序列分别建模得到若干序列建模，在HMM层下优化训练所有序列建模，得到特征模板数据库。
在一具体实施例中，基于预先构建的CNN-HMM混合模型的CNN层对包含“成功”、“失败”文本内容识别的原始图像进行特征提取，构造出特征序列，可以简单理解为将屏幕上“成功”两个字各种显示的特征样式保存到同一个文件夹，进行编号排序；进而，基于预先构建的CNN-HMM混合模型的HMM层为分别为“成功”、“失败”特征序列进行建模，在HMM层下优化训练序列建模，得到分别为包含“成功”、“失败”内容特征模板的数据库。
S242、基于CNN-HMM混合模型对获取的显示内容识别图像组进行包含ROI目标区域截取、灰度处理、阈值分割、校正以及字符切割之中的一种或多种的匹配前处理。
进一步地，如图8所示，步骤S242包括：
S242-1、基于预设的深度学习模型对获取的原始图像进行ROI目标区域截取得到感兴趣区域。
S242-2、通过对感兴趣区域提取最小通道获得强对比的灰度图。
S242-3、对强对比的灰度图依次进行阈值分割、校正以及字符切割以完成匹配前处理操作。
S243、通过将经匹配前处理得到的图像数据与特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果。
进一步地，如图9所示，步骤S243包括：
S243-1、将经匹配前处理得到的图像数据与特征模板数据库中的每一内容特征数据进行匹配得到置信度值。
S243-2、当置信度不小于0.95时判断为识别成功，并将包含置信度以及对应的特征模板的识别结果输出到预先建立通信连接的测试台。
S243-3、当置信度小于0.95时判断为识别失败，并将包含识别失败信息的识别结果预先建立通信连接的测试台。
S243-4、交由测试台依据得到的识别结果输出测试报告。
当正式进行人机界面识别时，依次对工业相机所拍照的图片内容分别进行截取ROI区域、灰度化、阈值分割、校正、字符切割与内容特征库进行匹配对比识别得出置信度值（即匹配的相似度），当置信度大于或等于0.95时将识别内容结果直接输出到测试台，当置信度小于0.95时按设置的提示如“识别失败”输出到测试台；最后统一由测试台输出测试报告。
较佳地，还可以增加字符切割准确性的判断：通过统计切割字符的高度和宽度，如果发现切割后的字符高度和宽度差异超过一定阈值，则提示切割字符异常。
接着，还可以基于本发明提供的CNN-HMM混合模型的深度学习的识别结果和传统的图像处理的识别结果，输出一个综合判断结果，以提高精确度。
以及，在步骤S241之前，如图10所示，还包括：
F11、对包含获取的人机界面的历史原始图像的训练集进行数据预处理。
F12、利用CNN-HMM混合模型中的CNN层对经预处理的数据进行分类，输出总和为1的后验概率分布，即每个字符、按钮以及图形对应的概率。
F13、将得到的后验概率分布输入到CNN-HMM混合模型中的HMM层，生成HMM层的初始概率和转移概率。
S25、将轮廓检测图像组、颜色识别图像组以及显示内容识别图像的处理结果进行综合分析，依据综合分析得到测试台的运行状态和待测试设备的运行状态，并控制机器人行进至相应的人机界面处进行触控操作，进而实现测试方案的调整。
再者，如图11所示，HMM包含两种拓扑结构，图11（a）左边字符HMM的结构统一采用从左到右3状态HMM，分别建模字符的前中后3种外观。图11（b）右边对应的HMM结构为单状态HMM，同时此结构包含跳出连接以适应两字符紧密相连可以省略空白模型的情况。图11展示了两种HMM结构，空心圆表示隐状态，实心圆表示显状态，方框表示不产生观测的进入和退出状态。
依赖于上述的3种状态能够将字符的外观形态划分的更细致。而对于CNN这样的判别式模型，尤其是CNN的判别能力是非常强的，将一个HMM模型中的不同状态划分成不同的类别会对CNN分类器产生干扰，因此使用CNN-HMM混合模型时将一个HMM模型内的状态进行合并。合并后的所有状态为CNN模型要进行分类的类别，图12展示了这个合并的原理。
进一步地，CNN层采用现有成熟的CNN模型结构，其具体配置为：降采样层的窗口大小均为2×2，所有的非线性单元均使用ReLU单元。
借助于本发明提供的CNN/HMM混合模型，实现了实验室的各项设备的所采集的仅文字、仅图像以及包含文字的按钮的人机界面的快速准确识别，大大加快了实验室无人化自动化的进程，这对于诸如无尘、危险气体或材料等实验环境苛刻的场景下尤其有利。
将轮廓检测图像组、颜色识别图像组以及显示内容识别图像的分析结果进行合并，依据合并结果控制机器人行进至相应的人机界面处进行触控操作。
值得一提的是，上述方法的执行主体可以是机器人，也可以是其他具备机械手的可移动装置。
另一方面，本发明提供一种走动作业机器人，机器人应用如上的方法，机器人包括：机器人本体以及设置于机器人本体上的视觉组件与夹具。
在具体实施例中，机器人本体采用了一体式结构，通过法兰机构将六轴机器人与视觉识别相机等固定在机器人本体顶部，而电池、无线网关等设备布置在机器人机构内部。
较佳地，机器人本体上保留了无线充电接口，在设备接线板、视觉操作位置保留了6个无线充电插座，机器人到达指定操作位置开始工作时，通过无线充电装置对电池进行浮充电的同时，利用市电回路进行机器人操作，而在离开操作位置向下一个位置移动时，依赖机器人内部电池进行工作，这样设计以减少电池容量，减少机器人重量，提高系统工作效率。考虑到系统的精度要求，在机器人到达每个位置时，设计有定位装置对机器人进行定位，并标注有醒目的视觉定位框，以对视觉组件及机器人零点进行辅助校准，以保证系统精度。在机器人进行操作时，通过机器人刹车装置及定位位置辅助夹具对机器人进行定位，以避免操作过程中的微小位移影响系统精度。
而且，视觉组件包括摄像头、视觉采集卡以及视频分配器，所述视觉组件用于获取指定区域的图像。由于视觉组件与工业机器人系统间坐标系不一致，在本发明设计有完整的坐标变换功能插件，用于实现坐标的自动化转换，将视觉组件的位置坐标精确转换到机器人系统中。并控制机器人逐步点动操作。机器人在完成每一步点动操作后，需回到预设的位置原点，在准备进行下一次动作的同时，也避免对视觉识别系统造成干扰。
继而，夹具用于在实施若干待测试设备与测试台之间的自动拆接线工作或依据显示内容对人机界面进行相应的触控操作时切换相应的夹具进行操作。工装夹具的设计分为两部分：连线插接部件与触摸屏模拟触摸部件，在仅有一台工业机器人的情况下，这两部分功能需要通过更换工装来完成，在工业机器人末端设计有夹具，在进行插接与触摸屏点按时自动选择相应的工装夹具进行操作。用于触摸屏点按的按压笔，又分为电容型和电阻型两种，可通过180°旋转自动换头，便于在电容屏、电阻屏上进行操作。
相应地，如图13所示，第一转接板和第二转接板均设置可供机器人自动接线的弹性收线盘10，其中导线缠绕在弹性收线盘10上。本发明针对第一转接板和第二转接板进行了优化适配，通过L型伸缩接线柱20配合弹性收线盘10进行接线和回收线。第一转接板和第二转接板均设计为20X40样式矩阵，共可接线800根，最长接线距离6米，可完全满足使用要求。
在进行接线操作时，机器人将需要连接的L型伸缩接线柱20拉出并进行90度旋转后，连接到对应第一转接板或第二转接板上指定位置并插入，即可完成接线。这样的方式简化了对机器人操作机构精度的要求，简化了对机器人工装夹具的要求（只需要连接一根线），简化了取线放线的过程。可以极大的提高系统效率与准确性。同时，L型的设计提高了接线稳定性，保证在连接过程中线路不至于松动。为了保证接线过程与拆线过程中不出现线路重叠，缠绕等影响。在机器人进行接线时，严格依据从上到下，从左到右的顺序接线，在拆线时严格采用相反的顺序。这样可以保证所有连接线不出现重叠、缠绕的情况。同时，弹性收线盘10也确保了连接线可以方便地缩回原有位置。
又如图14所示，本发明实施例还提供一种自动化试验系统，包括：
机器人；转接板；若干环境箱，环境箱用于容纳待测试设备以形成测试环境；测试台，测试台通过转接板与任意环境箱连接以搭建待测试设备与测试台之间的信号通道，测试台主要功能包括电信号的施加和电信号的测量；陪试显示屏/上位机，陪试显示屏/上位机与环境箱连接，用于调节、控制以及显示环境箱的测试参数；集控平台，集控平台分别与机器人、环境箱、测试台、陪试显示屏/上位机连接，用于向机器人下发控制指令以实现测试台与任意环境箱的信号通道的搭建与拆除，并控制环境箱之间采用分时复用的形式进行测试工作。集控平台主要控制机器人完成图像采集、接拆线工作和显示器触控操作以及和测试台的联动控制、自动生成原始记录和报告（包括设备使用记录的自动录入）；具备与实验室管理系统(LIMS)数据交互（试验相关信息查询和试验原始记录、报 告上传）、环境箱联动控制（环境箱温湿度控制与温湿度数据的上传）、试验大纲自动解析（标准试验大纲自动生成测试程序）。
在一具体实施例中，如图14所示，本发明设置三台环境箱，可同时进行三台次试验，本发明的方案应能满足三台次试验同时进行的需求，其中测试台、环境箱以及机器人采用分时复用的形式进行工作。
再进一步地，机器人的工作环境中小于预设亮度的区域布置有光源。机器人上的视觉组件要想获得清晰地图像，首先要确定的就是光源，光源不但影响相机的成像品质，而且影响着系统的稳定性。光源的作用就是：获得对比鲜明的图像，成像品质好的图像，可以看出图像边缘非常的锐利，边缘清晰可见，特征非常的鲜明。
由于适当的照明系统，可以使图像中的背景信息与目标信息得到很好的光学对比度，在很大程度上的减少了图像处理的工作量，降低了目标物体的识别难度，同时提高识别精度。根据光源外形的不同，可以分为环形光源、条形光源和点光源。条形光源优点就是外形简单，安装空间不大，通过调节安装位置和光源个数，便可以很好的衬托出工件的特征适用于透明物体特征检测，通过调节照射角度和安装位置，可以突出易于工件检测的特征。环形光源是由LED光源组成的，常用的照射角度分为30°、45°和60°，环形光源可以提供不同的颜色和照射角度，设计紧凑，光源照射均匀，避免了条形光照射物体产生的阴影问题，能更好的突出三维信息。点光源主要用在一些特殊的场合，例如复杂物件很难检测的部位，或是平常物件不易检测的位置等。
本发明实施例采用环形光源，照射角度根据实际效果进行调整，采用LED光源的主要原因是：第一，LED光源安装方便，形状多样，价格低廉；第二，LED光源效率高、寿命长和低功耗。工业相机和光源采用前向照明，光源、镜头和相机安装在同一侧，安装高度为300mm，这样安装可以拆装方便，工作效率高。
综上所述，本发明提供一种基于机器视觉的自动化测试作业方法、机器人及系统，本发明旨在打造高度自动化的电子装置试验室，在用户现有电子产品自动化测试台的基础上，采用机器视觉、机器人走动作业、测试系统分时复用等技术实现以下功能：
（1）试验室三台次试验自动接拆线，利用机器视觉与机器人技术，结合试验室接线要求，实现自动接拆线功能。
（2）指示灯状态自动检测、显示器和上位机自动操作功能，使用机器视觉实现指示灯状态、触摸屏及SCADA系统软件区域功能自动识别，实现灯阵列自动识别，并通过机器人系统实现触摸屏面板的辅助接线。
（3）试验报表自动生成、机器人辅助安全巡检等功能。
（4）试验室自动化环节不包括样品转运和安装、试验接拆线（样品端）、试验调试、环境箱上电、绝缘试验5个环节，其他环节均实现自动化，以达到电子装置试验室三台次性能试验和气候环境试验高度自动化。
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。
应当注意的是，词语“包含”不排除存在未列的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置之后，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。

Claims (9)

1.一种基于机器视觉的自动化测试作业方法，其特征在于，包括：
基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道；或，
基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道；以及，
在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面进行触控操作来调整测试方案；
在信号通道有效时间段内，基于状态监测的指示信息获取指定区域的包含人机界面与指示灯的图像并传输至预设的集控平台进行识别，在获取到识别结果时通过对人机界面进行触控操作来调整测试方案包括：
在信号通道有效时间段内，基于状态监测的指示信息采集指定区域的人机界面和与所述测试台连接的指示灯的原始图像并传输至预设的集控平台中，以使集控平台进行如下识别过程：
对所述原始图像分别按照轮廓检测、颜色检测以及OCR识别的方式进行相应的预处理，得到轮廓检测图像组、颜色识别图像组以及显示内容识别图像组；
将所述轮廓检测图像组和预先配置在集控平台中的轮廓模板进行匹配，得以区分指示灯区域与人机界面区域；
依据所述颜色识别图像组进行指示灯颜色与状态的确定，进而依据所述指示灯颜色与状态确定所述测试台的运行状态和待测试设备的运行状态；
基于预先构建的CNN-HMM混合模型对所述显示内容识别图像组进行显示内容的识别；
将所述轮廓检测图像组、所述颜色识别图像组以及所述显示内容识别图像的处理结果进行综合分析，得到综合分析结果；
其中，所述自动接线的指示信息和所述自动拆线的指示信息均为所述集控平台依据待测试设备的信号点位信息和测试台的信号点位信息生成的，且所述状态监测的指示信息是由所述集控平台依据操作人员的输入信号或预先设置的巡查表生成的。
2.如权利要求1所述的一种基于机器视觉的自动化测试作业方法，其特征在于，基于自动接线的指示信息构建置于环境箱中的待测试设备与测试台之间的信号通道包括：
基于所述自动接线的指示信息，在所述待测试设备的信号点位从所述环境箱的测试孔中引出接线至外置的第一转接板以及所述测试台的信号点位转接至外置的第二转接板之后，进行所述第一转接板与所述第二转接板之间的自动接线和/或所述第二转接板与所述测试台的自动接线，以实现所述待测试设备与所述测试台之间的信号通道搭建。
3.如权利要求2所述的一种基于机器视觉的自动化测试作业方法，其特征在于，基于自动拆线的指示信息拆除自动配置的置于环境箱中的所述待测试设备与所述测试台之间的信号通道包括：
基于所述自动拆线的指示信息，进行所述第一转接板与所述第二转接板之间的自动拆线和/或所述第二转接板与所述测试台的自动拆线，以实现所述待测试设备与所述测试台之间的当前信号通道的断连。
4.如权利要求1所述的一种基于机器视觉的自动化测试作业方法，其特征在于，依据所述颜色识别图像组进行指示灯颜色与状态的确定包括：
依据所述颜色识别图像组上的颜色空间不同聚集区块与像素值所处范围，确定指示灯的颜色为红色、绿色、黄色之中的任意一种；
通过统计预设时间段内指示灯颜色的变化规律判断指示灯的状态；
若预设时间段内指示灯在预设时间段内均为红色，则判断指示灯显示红色状态；
若预设时间段内指示灯在预设时间段内均为绿色，则判断指示灯显示绿色状态；
若预设时间段内指示灯在不同颜色之间相互变化，则判断指示灯处于闪烁状态；
进而，若指示灯处于闪烁状态时，
在颜色识别图像组在预设时段内截取的图像中若存在任意相邻的图像之间的显示状态相同，则判断指示灯为慢闪；
在颜色识别图像组在预设时段内截取的图像中若不存在任意相邻的图像之间的显示状态相同，则判断指示灯为快闪；
其中，颜色识别图像组在预设时段内截取的图像为20-30张。
5.如权利要求1所述的一种基于机器视觉的自动化测试作业方法，其特征在于，基于预先构建的CNN-HMM混合模型对所述显示内容识别图像组进行显示内容的识别包括：
基于预先构建的CNN-HMM混合模型为获取的显示内容识别图像组建立特征模板数据库；
基于CNN-HMM混合模型对获取的显示内容识别图像组进行包含ROI目标区域截取、灰度处理、阈值分割、校正以及字符切割之中的一种或多种的匹配前处理；
通过将经匹配前处理得到的图像数据与所述特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果；
其中，所述CNN-HMM混合模型为通过将CNN层的输出与HMM层的观测概率矩阵端对端设置所得到的模型，且所述CNN-HMM混合模型中的CNN层为HMM层提供任意状态的输出概率，所述HMM层为所述CNN层提供对应状态的归属分类。
6.如权利要求5所述的一种基于机器视觉的自动化测试作业方法，其特征在于，基于预先构建的CNN-HMM混合模型为获取的显示内容识别图像组建立特征模板数据库包括：
基于预先构建的CNN-HMM混合模型的CNN层获取的人机界面的历史原始图像进行特征提取，生成若干按预设编号排序的特征序列，各个特征序列中的保存数据的特征样式均不相同；
基于预先构建的CNN-HMM混合模型的HMM层为每一特征序列分别建模得到若干序列建模，在HMM层下优化训练所有序列建模，得到特征模板数据库。
7.如权利要求5所述的一种基于机器视觉的自动化测试作业方法，其特征在于，通过将经匹配前处理得到的图像数据与所述特征模板数据库中的特征模板进行匹配得到置信度值，并依据得到的置信度值输出识别结果包括：
将经匹配前处理得到的图像数据与所述特征模板数据库中的每一内容特征数据进行匹配得到置信度值；
当置信度不小于0.95时判断为识别成功，并将包含置信度以及对应的特征模板的识别结果输出到预先建立通信连接的测试台；
当置信度小于0.95时判断为识别失败，并将包含识别失败信息的识别结果预先建立通信连接的测试台；
交由所述测试台依据得到的所述识别结果输出测试报告。
8.一种走动作业机器人，所述机器人执行如权利要求2或3所述的一种基于机器视觉的自动化测试作业方法，其特征在于，所述机器人包括：机器人本体以及设置于所述机器人本体上的视觉组件与夹具；
所述视觉组件包括摄像头、视觉采集卡以及视频分配器，所述视觉组件用于获取指定区域的图像；
所述夹具用于实施用于容纳所述待测试设备以形成测试环境的环境箱与用于控制所述环境箱的测试台之间的自动拆接线工作，也用于依据所述指定区域的图像对所述人机界面进行相应的触控操作；
相应地，所述第一转接板和所述第二转接板均设置可供机器人完成自动接线的弹性收线盘，其中导线缠绕在所述弹性收线盘上。
9.一种自动化试验系统，其特征在于，包括：
如权利要求8所述的机器人；
转接板；
若干环境箱，所述环境箱用于容纳所述待测试设备以形成测试环境；
测试台，所述测试台通过所述转接板与任意所述环境箱连接以搭建所述待测试设备与所述测试台之间的信号通道；
陪试显示屏/上位机，所述陪试显示屏/上位机与所述环境箱连接，用于调节、控制以及显示所述环境箱的测试参数；
集控平台，所述集控平台分别与所述机器人、所述环境箱、所述测试台、所述陪试显示屏/上位机连接，用于向所述机器人下发控制指令以实现所述测试台与任意所述环境箱的信号通道的搭建与拆除，以实现若干所述环境箱与测试台之间采用分时复用的形式进行测试工作。
CN202310371360.1A 2023-04-10 2023-04-10 一种基于机器视觉的自动化测试作业方法、机器人及系统 Active CN116087671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310371360.1A CN116087671B (zh) 2023-04-10 2023-04-10 一种基于机器视觉的自动化测试作业方法、机器人及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310371360.1A CN116087671B (zh) 2023-04-10 2023-04-10 一种基于机器视觉的自动化测试作业方法、机器人及系统

Publications (2)

Publication Number Publication Date
CN116087671A CN116087671A (zh) 2023-05-09
CN116087671B true CN116087671B (zh) 2023-07-04

Family

ID=86212372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310371360.1A Active CN116087671B (zh) 2023-04-10 2023-04-10 一种基于机器视觉的自动化测试作业方法、机器人及系统

Country Status (1)

Country Link
CN (1) CN116087671B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044939A (zh) * 2019-12-27 2020-04-21 成都天奥测控技术有限公司 一种面向航电hmi接口的智能测试系统及测试方法
CN113466261A (zh) * 2021-07-26 2021-10-01 鸿安（福建）机械有限公司 一种pcb板自动检测装置
WO2023050718A1 (zh) * 2021-09-29 2023-04-06 中国电子科技集团公司第三十八研究所 一种基于图像处理的数字插件通用自动测试系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102606435B1 (ko) * 2016-07-14 2023-11-28 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 텍스트 인식 방법
CN107092003B (zh) * 2017-06-09 2020-09-08 国网上海市电力公司 一种电压互感器自动检测系统
CN110765322A (zh) * 2019-10-31 2020-02-07 国网河北省电力有限公司电力科学研究院 一种电力系统二次设备信息和状态自动检查系统及方法
CN112260036B (zh) * 2020-10-10 2021-11-30 山东电力研究院 一种配电变压器检测自动接线装置、机器人及方法
KR20220146230A (ko) * 2021-04-23 2022-11-01 (주)삼원전기 전력기기의 결선상태를 영상으로 확인하는 검사장치
CN216926939U (zh) * 2021-11-30 2022-07-08 西门子股份公司 面板、自动操作机构和自动测试系统
CN114913748B (zh) * 2022-06-01 2023-07-14 中国矿业大学 一种具有实验线路智能检测的电工实验装置及其检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111044939A (zh) * 2019-12-27 2020-04-21 成都天奥测控技术有限公司 一种面向航电hmi接口的智能测试系统及测试方法
CN113466261A (zh) * 2021-07-26 2021-10-01 鸿安（福建）机械有限公司 一种pcb板自动检测装置
WO2023050718A1 (zh) * 2021-09-29 2023-04-06 中国电子科技集团公司第三十八研究所 一种基于图像处理的数字插件通用自动测试系统及方法

Also Published As

Publication number Publication date
CN116087671A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN110033453A (zh) 基于改进YOLOv3的输变电线路绝缘子航拍图像故障检测方法
CN111508097B (zh) 场地巡检方法、装置、设备及存储介质
CN109242439A (zh) 基于变电站设备相关联数据的特征提取识别方法
CN109638959B (zh) 基于ar和深度学习的电力设备遥信功能调试方法及系统
KR20020066375A (ko) 비파괴 검사 방법과 그 장치 및 디지털 카메라 시스템
CN109743547A (zh) 一种人工智能安全监控管理系统
CN207281262U (zh) 一种基于机器视觉的led模组坏灯维修装置
CN109271844A (zh) 基于OpenCV的电气柜电气符号识别方法
CN102608130A (zh) 基于图像特征匹配技术的智能卡污渍检测系统及检测方法
CN113759200B (zh) 一种基于图像处理的数字插件通用自动测试系统
CN108564631A (zh) 车灯光导色差检测方法、装置及计算机可读存储介质
CN115290696A (zh) 一种变电站绝缘子的红外热成像缺陷检测方法及装置
CN114581760B (zh) 一种机房巡检的设备故障检测方法及系统
CN110263608A (zh) 基于图像特征空间变阈值度量的电子元器件自动识别方法
CN116087671B (zh) 一种基于机器视觉的自动化测试作业方法、机器人及系统
CN112907973B (zh) 机动车打刻编码的高精度完整信息采集与真实3d形貌复原比对系统及方法
CN112102490B (zh) 一种用于变电站三维模型的建模方法
CN211604116U (zh) 一种投影式增强现实紧固件装配引导及检测装置
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN113554610A (zh) 一种光伏组件运行状态检测方法及其应用装置
CN104219233A (zh) 一种机务巡检方法和机务巡检用手电筒
CN104600846B (zh) 一种变电站通信自动化设备线监测系统
CN110944354A (zh) 基于波形分析和深度学习的基站干扰监测方法及系统
CN109784317A (zh) 一种交通信号灯的识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 611, Xiangyu Smart South Building, No. 579 Chezhan North Road, Kaifu District, Changsha City, Hunan Province, 410003

Patentee after: Hunan Aikesaipu Measurement and Control Technology Co.,Ltd.

Country or region after: China

Address before: Room 611, Xiangyu Smart South Building, No. 579 Chezhan North Road, Kaifu District, Changsha City, Hunan Province, 410003

Patentee before: CHANGSHA ACCEXP INSTRUMENT CO.,LTD.

Country or region before: China