CN107688345A - 屏幕状态自动检测机器人、方法及计算机可读存储介质 - Google Patents

屏幕状态自动检测机器人、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN107688345A
CN107688345A CN201710754580.7A CN201710754580A CN107688345A CN 107688345 A CN107688345 A CN 107688345A CN 201710754580 A CN201710754580 A CN 201710754580A CN 107688345 A CN107688345 A CN 107688345A
Authority
CN
China
Prior art keywords
business device
display screen
detected
image
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710754580.7A
Other languages
English (en)
Other versions
CN107688345B (zh
Inventor
严海锐
周宝
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201710754580.7A priority Critical patent/CN107688345B/zh
Priority to US16/632,859 priority patent/US11361422B2/en
Priority to SG11202001417WA priority patent/SG11202001417WA/en
Priority to JP2019556812A priority patent/JP6911149B2/ja
Priority to PCT/CN2017/108740 priority patent/WO2019041516A1/zh
Publication of CN107688345A publication Critical patent/CN107688345A/zh
Application granted granted Critical
Publication of CN107688345B publication Critical patent/CN107688345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种屏幕状态自动检测机器人，包括存储器和处理器，存储器上存储有屏幕状态自动检测程序，该程序被处理器执行时实现如下步骤：控制机器人分别移动到无人网点区的各个业务设备的预设区域内；若机器人移动到一个业务设备的预设区域内，则检查该业务设备的显示屏幕是否发生了电路故障；若未发生，则控制该业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出该业务设备的显示屏幕是否发生了预设类型的异常。本发明还提出一种屏幕状态自动检测方法以及一种计算机可读存储介质。本发明实现了不通过人力，自动对无人网点区各个自助业务设备的屏幕状态进行检测。

Description

屏幕状态自动检测机器人、方法及计算机可读存储介质
技术领域
本发明涉及终端技术领域，尤其涉及一种屏幕状态自动检测机器人、方法及计算机可读存储介质。
背景技术
目前，在金融、保险等领域，为了降低人力成本、提高业务办理的便捷性，业界越来越多的部署无人网点区(例如，银行自助网点区)进行业务拓展和办理，无人网点区是一个自助提供银行业务、保险业务等的区域，分布在不同区域的门店。而门店里面有办理不同业务的业务设备，例如，存取款一体机、自动取款机、自助缴费机、为客户准备的PC机(例如，专为大客户使用的PC机，可查询理财、基金、股票信息等)、自助查询设备、排号机、宣传设备等，这些办理不同业务的业务设备通常都需配置终端屏幕。而终端屏幕属于娇贵的电子器件，经常会发生显示问题，一旦发生显示的问题就会影响客户的使用，所以业界通常需要定时检查与维护无人网点区各个自助业务设备的屏幕的状态。
目前，检测自助业务设备的屏幕状态的方案通常包括：方案1、通过人工巡查进行问题的反馈；方案2、通过客户投诉进行问题反馈。
然而，上述方案1的缺陷在于人工巡查的方式比较浪费人力，时效性比较差，而且有些细节还不一定能仔细检查到，如细小裂纹人工不一定仔细察觉，容易发生错漏。上述方案2的缺陷在于会很影响用户的体验，而且很多用户未必会进行反馈，即使用户进行反馈，通常反应的问题不够全面和客观，不仅时效性差，而且同样会发生错漏。因此，如何自动且准确地对无人网点区各个自助业务设备的屏幕状态进行检测，已经成为一个亟待解决的技术问题。
发明内容
本发明提供一种屏幕状态自动检测机器人、方法及计算机可读存储介质，其主要目的在于实现不通过人力，自动地对无人网点区各个自助业务设备的屏幕状态进行检测。
为实现上述目的，本发明提供一种屏幕状态自动检测机器人，该机器人包括存储器和处理器，所述存储器上存储有屏幕状态自动检测程序，所述屏幕状态自动检测程序被所述处理器执行时实现如下操作：
控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障；
若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
可选地，所述控制机器人分别移动到无人网点区的各个业务设备的预设区域内包括：
按照预设移动导航路径控制所述机器人移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制所述机器人按照所述移动导航路径继续移动，直到所有业务设备的显示屏幕均检测完毕；
或者，控制所述机器人进行随机移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，将所述待检测业务设备标记为障碍物，控制机器人进行规避移动，在规避移动完成后，控制所述机器人继续进行随机移动，直至所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
可选地，所述控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常的步骤包括：
控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域；
在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，以获取掩码图像；
为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域；
根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像；
对所述最大显示图像进行滤噪增强预处理，获得增强图像；
对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
此外，为实现上述目的，本发明还提供一种屏幕状态自动检测方法，该方法包括：
控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障；
若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
可选地，所述处理器还用于执行所述屏幕状态自动检测程序，以在向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障的步骤之后，还包括如下步骤：
若所述待检测业务设备的显示屏幕发生了电路故障，则向预先确定的监控设备发送提示信息，提示所述待检测业务设备的显示屏幕发生了电路故障需要进行处理。
可选地，所述控制机器人分别移动到无人网点区的各个业务设备的预设区域内的步骤包括：
按照预设移动导航路径控制所述机器人移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制所述机器人按照所述移动导航路径继续移动，直到所有业务设备的显示屏幕均检测完毕；
或者，控制所述机器人进行随机移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，将所述待检测业务设备标记为障碍物，控制机器人进行规避移动，在规避移动完成后，控制所述机器人继续进行随机移动，直至所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
可选地，所述向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障的步骤包括：
控制所述机器人与待检测的业务设备进行无线通信，以向所述待检测业务设备发送显示预设图形码的显示指令，其中，所述预设图像码中包含有预设信息；
控制所述机器人对所述待检测业务设备基于所述显示指令在显示屏幕上显示的内容进行扫描分析；
若从待检测的业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕没有发生电路故障；
若没有从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕发生了电路故障。
可选地，所述控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常的步骤包括：
控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域；
在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，以获取掩码图像；
为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域；
根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像；
对所述最大显示图像进行滤噪增强预处理，获得增强图像；
对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
可选地，所述为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像的步骤包括：
获取对应较小尺寸的显示区域的预设颜色的掩码图像的每条边界线上的多个点的坐标；
分别基于所述各个边界线上的多个点的坐标，通过最小二乘法直线拟合算法获取所述掩码图像的每条边界线的延长线；
根据所述掩码图像的每条边界线的延长线获取所述四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置；
将所述四边形进行反透视变换为矩形，根据所述掩码图像矩形的位置获取所述抗干扰图像。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有屏幕状态自动检测程序，所述屏幕状态自动检测程序被处理器执行时实现如上所述的屏幕状态自动检测方法的步骤。
本发明提出的屏幕状态自动检测机器人、方法及计算机可读存储介质，控制机器人分别移动到无人网点区的各个业务设备的预设区域内，若机器人移动到一个特务设备的预设区域内，则向待检测业务设备发送预设图形码，以根据预设图形码在显示屏幕上显示的内容判断待检测业务设备是否发生了电路故障，若未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图形显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常，该方案不需要人工参与，通过机器人移动到对应区域对设备的电路故障以及屏幕显示状态进行自动检测。
附图说明
图1为本发明屏幕状态自动检测机器人较佳实施例的示意图；
图2a至图2d为部分信息被遮挡的二维码；
图3a为发生了透视的二维码；
图3b为透视后的二维码的外轮廓模型；
图3c为将透视后的二维码进行反透视后的效果；
图4为在显示屏幕上设置的不同尺寸的显示区域的示意图；
图5为小尺寸矩形区域和中尺寸矩形显示区域的边界；
图6为大尺寸矩形区域的外轮廓曲线；
图7为从矩形边界上取的多个点的示意图；
图8为对获取的点通过最小二乘法直线拟合算法得到的直线的示意图；
图9为进行滤噪增强预处理前的屏幕状态；
图10为进行滤噪增强预处理后的屏幕状态；
图11为显示屏幕出现坏线的状态示意图；
图12为显示屏幕出现坏斑的状态示意图；
图13为显示屏幕出现裂缝的状态示意图；
图14为显示屏幕出现的横向裂缝的状态示意图；
图15为本发明屏幕状态自动检测机器人一实施例中的屏幕状态自动检测程序的功能模块示意图；
图16为本发明屏幕状态自动检测方法较佳实施例的流程图；
图17为本发明屏幕状态自动检测方法第二实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种屏幕状态自动检测机器人。参照图1所示，为本发明屏幕状态自动检测机器人较佳实施例的示意图。
在本实施例中，屏幕状态自动检测机器人包括存储器11、处理器12，通信总线13，网络接口14以及摄像头15。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是屏幕状态自动检测机器人的内部存储单元，例如该屏幕状态自动检测机器人的硬盘。存储器 11在另一些实施例中也可以是屏幕状态自动检测机器人的外部存储设备，例如屏幕状态自动检测机器人上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括屏幕状态自动检测机器人的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于屏幕状态自动检测机器人的应用软件及各类数据，例如屏幕状态自动检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器 11中存储的程序代码或处理数据，例如执行屏幕状态自动检测程序等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该机器人与其他电子设备之间建立通信连接。在该实施例中，机器人可以通过网络接口14与用户终端连接，接收用户终端发送的检测指令，也可以通过网络接口14与业务设备连接，控制业务设备按照预设显示参数进行图像的显示。
摄像头15用于对业务设备的显示屏幕的显示内容进行采集。
图1仅示出了具有组件11-15以及屏幕状态自动检测程序的屏幕状态自动检测机器人，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该机器人还可以包括用户接口，用户接口可以包括显示器 (Display)、输入单元比如键盘(Keyboard)、用于触发检测指令的物理按键等，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元。
可选地，该机器人还可以包括RF(Radio Frequency，射频)电路，传感器、WiFi模块等。其中，传感器可以是光传感器、距离传感器等。
在图1所示的实施例中，存储器11中存储有屏幕状态自动检测程序；处理器12执行该程序时实现如下操作：
S1、控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内。
该实施例提供的机器人可以放置于无人网点区，无人网点区的业务设备可以有一个或者多个。可以实时、定时、在处于空闲状态时或者在接收到检测指令时，控制机器人移动到无人网点区，开启对无人网点区内的各个业务设备的屏幕显示状态的检测。其中，当机器人在预设时长内处于无需处理业务时，确定其处于空闲状态。
在无人网点区中的每一台业务设备划分有预设区域，一个业务设备的预设区域指的是距离该业务机器的距离小于或者等于预设距离的区域，机器人在移动过程中，通过对自身位置进行定位确定在无人网点区中的位置坐标，并结合已知的各个业务设备在无人网点区中的位置坐标，计算出当前位置与预先确定的各个业务设备所处位置之间的距离，若当前位置与一个业务设备所处位置之间的距离小于或者等于预设距离，则确定该机器人移动到该业务设备的预设区域。
当无人网点区中设置有多台业务设备时，需要逐个地对各个业务设备进行检测。控制机器人分别移动到无人网点区的各个业务设备的预设区域内的方式可以有多种，以下列举其中两种方式进行说明。
在一实施例中，按照预设移动导航路径控制机器人的移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制机器人按照所述移动导航路径继续向未检测的业务设备进移动，直到所有业务设备的显示屏幕均检测完毕后结束移动。
或者，在其他的实施例中，可以控制机器人随机移动，在移动到一个业务设备的预设区域内且对该待检测业务设备的显示屏幕检测完毕后，控制机器人标记该待检测业务设备为障碍物，进行障碍物规避移动，避障移动完毕后，控制机器人继续进行随机移动，移动到另一台业务设备进行检测，直到所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
具体地，在机器人随机移动的过程中，障碍物规避移动算法的原理是：当机器人对一台业务设备检测完毕后，在当前的移动方向上向左或者向右偏移预设角度，并判断偏移角度后是否可以不受阻碍地移动，若偏移角度后可以通行，则沿着偏移后的方向继续随机移动，若偏移角度后受到阻碍无法通行，则继续沿同一方向偏移预设角度直至能够不受阻碍的移动，通过这样不断调整偏移角度的算法对阻碍移动的障碍物进行规避。
S2、若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障。
当机器人在进入某一预设区域后，将该预设区域对应的业务设备作为待检测的业务设备，对该预设区域对应的业务设备进行检测。机器人可以调整摄像头15的角度直至能够拍摄到该业务设备当前的显示屏幕的显示画面，然后向该待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障。具体地，控制机器人与待检测的业务设备(即当前所述的预设区域对应的业务设备)进行无线通信，向待检测的业务设备发送显示包含有预设信息的预设图形码的显示指令，业务设备根据接收到的显示指令显示该预设图形码；控制机器人对待检测业务设备的显示屏幕的显示内容进行扫描分析；若从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕没有发生电路故障；若没有从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕发生了电路故障。
在一些实施例中，所述预设图形码可以是带有预设信息的二维码。使用二维码进行电路故障的检测具有以下优点：二维码的容错能力强，并且具有纠错能力，参照图2a至图2d所示，即使显示屏幕上有污迹、斑点、裂缝等干扰情况造成有部分信息被遮挡，二维码仍然可以被识别出来，不会影响通过二维码的方式判断是否能上电，即判断是否发生电路故障；二维码可包含信息，例如屏幕的ID，也就是说即使当机器人同时看到多台业务设备的显示屏幕，也可以根据二维码所包含的屏幕ID中识别出所在预设区域对应的业务设备由于二维码的外轮廓是正方形，因此，不要求机器人严格正对目标屏幕也可以识别，当在机器人视觉里面产生透视时，机器人很容易对于透视造成的变形进行还原，如图3a至图3c所示。
由图3a和图3b可以得知，机器人在用摄像头对屏幕内容进行处理的时候，由于机器人所处的位置可能会造成一定程度的透视，导致二维码外轮廓显示在机器人的镜头中可能是非矩形的。从图3b可以看出二维码显示的并不是一个正方形，而是四边形，产生了“近大远小”的透视。但是二维码识别可以在产生透视的情况下进行反透视从而能正常识别该二维码，反透视方法是现有成熟方法，此处不做详细解释。参照图3c所示，为将二维码进行反透视后的效果。
进一步地，在一些实施例中，若显示屏幕发生了电路故障，则向预先确定的监控设备发送提示信息，提示所述待检测业务设备的显示屏幕发生了电路故障需要进行处理。例如，向后台服务器发送提示信息，该提示信息包含发生电路故障的业务设备的唯一身份ID，及所述待检测业务设备所处的无人网点区的网点标识，例如，该提示信息格式可以为“网点标识为*****的无人网点区，ID号为*****的业务设备的显示屏幕发生了电路故障需要进行处理”。
S3、若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
S3包括如下具体操作：
S31，控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，例如，红、绿、蓝三种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域。
S32，在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，即将显示屏幕的除了该预设颜色的其他颜色屏蔽掉，以获取掩码图像。
S33，为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域。
S34，根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像，因为如果屏幕周边范围有干扰区域，例如，屏幕周围有“进水”情况，屏幕边界区域无法正常显示，那么取完掩码获取到的最大图也是不完整的，相当于把边界干扰问题排除在检测之外了，因此需要通过上述方式获取最大显示区域。
参照图4所示，以在显示屏幕设置三个不同尺寸的显示区域为例，其中，小尺寸矩形的屏幕宽度为L1、中尺寸矩形的屏幕宽度为L2、大尺寸矩形的屏幕宽度为L3。机器人在控制屏幕显示的时候可以设定L1、L2和L3的比例关系：L3＝θ1L2＝θ2L1，即θ1和θ2均为已知数。此外，屏幕的长宽之间的比例关系ζ也为已知数据。当根据显示内容获取L1或者L2的值之后，可以根据上述 L1、L2和L3的比例关系计算出显示屏幕的宽L3，继而根据屏幕的长宽比例关系L/W＝ζ计算出显示屏幕的长W。
具体地，根据对应较小尺寸的显示区域的预设颜色的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像的原理说明如下：
利用小尺寸矩形区域的宽L1通过L3＝θ1L2＝θ2L1可以求解出大尺寸矩形框的宽，记为L'3，同样，利用中尺寸矩形框的宽L2也可以求解出大尺寸矩形的宽，并记为L”3，本发明为了减少误差，优选地，根据公式1取这两个值的平均值作为大尺寸矩形的宽：
然后根据屏幕的长宽比例关系L/W＝ζ计算出大尺寸矩形的长W。从而可以得到大尺寸矩形的区域范围，而大尺寸矩形的区域范围就是屏幕最大显示区域，即图6所示的最大尺寸矩形区域的外轮廓曲线。
但是，在分别取不同颜色的掩码图像后，由于屏幕边界本身可能有其他颜色的干扰，例如，屏幕边界可能本身就存在斑点，通过不同颜色分别取掩码后的图可能依然不是完整的图。针对取掩码后的图像存在不完整的现象，本发明采用的解决方案如下：
获取对应较小尺寸的显示区域的预设颜色的掩码图像的每条边界线上的多个点的坐标；
分别基于所述各个边界线上的多个点的坐标，通过最小二乘法直线拟合算法获取所述掩码图像的每条边界线的延长线；
根据所述掩码图像的每条边界线的延长线获取所述四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置，也就是中尺寸或者小尺寸矩形边框的范围。
将所述四边形进行反透视变换为矩形，根据所述掩码图像矩形的位置获取所述抗干扰图像。
参照图5所示，分别为计算出来的小尺寸矩形的边界和中尺寸矩形的边界。参照图7所示，取边界上的几个点，通过最小二乘法直线拟合算法模拟出该边界，如图8所示。其中，最小二乘法直线拟合算法为y计＝a0+a1*x。其中，y计是模拟后的直线，a0、a1是待求参数。根据算法得到a0、a1后，即可得到该边界线的延长线，通过上述方式分别获取四条边界线的延长线，接着确定四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置，也就是中尺寸矩形或者小尺寸矩形的范围，进而确定精确的L1和L2的值。
S35，对所述最大显示图像进行滤噪增强预处理，获得增强图像。
对最大显示图像进行滤噪增强预处理，获得增强图像的原理说明如下：由于采集到的屏幕异常状态图像会受到非均匀光照、屏幕表面不规则间隙和设备等影响，从而使得采集到的图像有噪声，所以需要去除这些噪声，同时能够保持住屏幕异常状态的细节，并尽可能能提高裂缝与背景的对比度，从而有利于后期的分割与识别。从图9的预处理前和图10预处理后的图可以看出，滤噪增强的图噪声干扰少，而且问题比较清晰可见。
本发明利用引导滤波器的方法对图像进行预处理。利用引导滤波器的算法步骤如下所示：
以灰度化后的屏幕图像作为输入图像P，同样以灰度化后的屏幕图像作为引导图像I，利用噪音滤波器滤波后的图像为q，利用公式2来增强输入图像P。
P_enhanced＝(I-q)m+q，公式2
其中m为增强系数，可根据实际情况来定，此处的滤波器可以根据实际情况选择，这里我们选择引导滤波器给图像P做滤波处理。
此处的参数m的调整可以根据P_enhanced(增强图像P)的效果进行反馈重新调整。此处我们构想一种迭代求解方案：此方案主要是通过对P_enhanced 的效果进行反馈，对表现良好的P_enhanced给予更高的权值，反之给予稍微低的权值。
下述式子的ε是一个满意度比重，enchanted满意度是根据P_enhanced图像效果进行评估的，enhanced的最高满意度我们设置为一个固定值，例如500。
为了更好调节满意度值，本发明通过下述式子将ε值alpha化，过程如下：
将迭代第n次记为Tn，则第n+1次可记为Tn+1，经过地n次迭代后m的取值为则有：
迭代的过程如下：首先我们给定一个初始权值m作为然后代入公式2求解出P_enhanced后的图像，然后根据公式3对P_enhanced后的效果图进行满意度评价，将得到的满意度比重ε进行alpha化，然后利用alpha化后的值和公式5对m权值进行更新。然后依次重复执行以上步骤对m进行更新，经过几轮迭代后便可以得到一个比较理想的m权值。因为每一次迭代都会对权值m进行修改，对图像P_enhanced效果表现较差时ε值会降低，从而导致最终m权值也降低，相反会相应使得权值增加。而每一次调整都会驱使图像 P_enhanced效果往更好的方向走，将迭代次数设置为固定值(这里设定为10)，迭代n次后将会有一个收敛的状态，也就是图像P_enhanced效果接近最好的状态。将增强后的图像P_enhanced作为输入图像P，灰度化后的屏幕图像作为引导图像I，得到滤波后的图像为最终增强且平滑后的图像。
S36，对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常，所述预设类型的异常包括坏斑、坏线与裂缝。
对所述增强图像进行坏斑检测分析，以判断所述待检测业务设备的显示屏幕是否发生了坏斑。
参照图11所示，为屏幕出现坏线的情况。
在一实施例中，坏线的识别流程如下：获取经过上述步骤预处理后的图像，使用霍夫变换检测直线，当检测到坏线数大于1，则判断存在坏线，否则，判断不存在坏线。
关于霍夫变换，霍夫变换是一种特征提取技术。经典的霍夫变换能够识别出图像中的直线，后来又发展到能够识别出任意形状，但更常见的识别形状是圆和椭圆，这里我们用来识别屏幕环线的状态。
在直角坐标系下，直线被定义为：
y＝mx+b， 公式6
其中，m为斜率，b为与y轴的截距，只要确定了m和b，一条直线就可以被唯一地确定下来。如果用ρ0表示原点到该直线的代数距离，θ0表示该直线的正交线与x轴的夹角，则：
则该直线又可表示为：
写成更一般的形式：
ρ＝x cosθ+y sinθ， 公式10
很容易想到，(ρ，θ)是极坐标的表示形式。但如果把(ρ，θ)也用直角坐标的形式表示，即把ρ和θ做正交处理，则(ρ，θ)就被称为霍夫空间。
在直角坐标系中的一点，对应于霍夫空间的一条正弦曲线。直线是由无数个点组成的，在霍夫空间就是无数条正弦曲线，但这些正弦曲线会相交于一点(ρ0，θ0)，把该点带入公式7和公式8就得了直线的斜率和截距，这样一条直线就被确定了下来。因此用霍夫变换识别直线时，霍夫空间中的极大值就有可能对应一条直线。
传统的检查坏线的方法是通过人工观察，通过本实施例的方法，机器人通过上述方式对经过预处理后的图像自动检测是否存在坏线。
对所述增强图像进行坏线检测分析，以判断所述待检测业务设备的显示屏幕是否发生了坏线。参照图12所示，为屏幕出现坏斑的情况。
在一实施例中，在斑点检测上，判断坏斑的流程是，获取预处理后的图片，用SimpleBlobDetector(斑点检测算子)算法检测是否有斑点的存在，当检测到的斑点数大于1时，判断屏幕存在坏斑的情况，否则判断屏幕不存在坏斑的情况。
此外，为了简化对定坏斑的面积范围，二值化阈值等参数的设置，该实施例还引入一种SimpleBlobDetector算法中参数的选取方法。
选取一些屏幕坏斑的图片做统计，并标记哪些图片是存在坏斑。选择不同参数的进行处理，并对处理后的结果进行分析。如下表所示：
表1求解特征k取值
特征取k值时判断是斑点在实际是斑点中的比例：
在特征取值为k时，判断是斑点但实际又不是斑点的数量在实际不是斑点的数量中占的比例：
这里我们需要得出在特征取值为k时的权值系数，我们可以定义为：
上式的意义在于在特征取值为k时，尽量使得判断是斑点正确的概率越高，同时使得判断是斑点但实际上不是斑点的概率越低时，权值wk越大。选取每个特征参数wk值最大的作为SimpleBlobDetector算法的特征点检测需要确定的参数。从而不用人为判定这个参数的具体数值。
传统的检查坏斑的方法是通过人工观察，通过本实施例的方法，机器人通过上述方式对经过预处理后的图像自动检测是否存在坏斑。
对所述增强图像进行裂缝检测分析，以判断所述待检测业务设备的显示屏幕是否发生了裂缝。参照图13所示，为屏幕出现裂缝的情况。
在一实施例中，按照如下步骤检测屏幕是否出现裂缝：
对图像进行分割，这里我们使用现有成熟方法均值漂移分割算法可以把裂缝分割出来。参照图14所示。然后，对分割后的图像进行裂缝的识别：分割出来后可以看到一些连通区域，连通区域在这里是指裂缝分割出来后组成的图像区域，当检查到连通区域数大于1时，可以判断图像是有裂缝，而裂缝可能是网状或是单条横穿屏幕的裂缝。若只有1个连通区域，我们分别获取裂缝的X轴投影距离H，与y轴的投影距离R，如图14所示。如果H<阈值D并且R<阈值D就表明屏幕没有裂缝。其中，阈值D是一个距离值，当 H与R同时小于这个值的时候便可以认为该线条不是裂缝，而是噪音点。假如H与R其中任意一个大于这个阈值就可以判断屏幕上存在横向或纵向裂缝，但是这裂缝不是跨越整个屏幕，如图14所展示的就是横向裂缝的一种形式。
传统的检查裂缝方法是通过人工观察，通过本实施例的方法，机器人通过上述方式对经过预处理后的图像自动检测是否存在裂缝。
上述实施例中，控制机器人分别移动到无人网点区的各个业务设备的预设区域内，若机器人移动到一个特务设备的预设区域内，则向待检测业务设备发送预设图形码，以根据预设图形码在显示屏幕上显示的内容判断待检测业务设备是否发生了电路故障，若未发生电路故障，则控制待检测业务设备按照预设显示参数进行图形显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出待检测业务设备的显示屏幕是否发生了预设类型的异常，该方案不需要人工参与，通过机器人移动到对应区域对设备的电路故障以及屏幕显示状态进行自动检测。
可选地，在其他的实施例中，屏幕状态自动检测程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行，以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。
参照图15所示，为本发明屏幕状态自动检测机器人一实施例中的屏幕状态自动检测程序的功能模块示意图，该实施例中，屏幕状态自动检测程序可以被分割为控制移动模块10、第一检测模块20和第二检测模块30，所述模块10-30被执行所实现的功能或操作步骤与上述实施例大体相同，这里不再详述。示例性地，控制移动模块10用于控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
第一检测模块20用于若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，则向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障；
第二检测模块30用于若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
此外，本发明还提供一种屏幕状态自动检测方法。参照图16所示，为本发明屏幕状态自动检测方法较佳实施例的流程图。该方法可以由一个装置执行，该机器人可以由软件和/或硬件实现。
在本实施例中，屏幕状态自动检测方法包括：
步骤S10，控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
该实施例中的机器人可以放置于无人网点区，无人网点区的业务设备可以有一个或者多个。可以实时、定时、在处于空闲状态时或者在接收到检测指令时，控制机器人移动到无人网点区，开启对无人网点区内的各个业务设备的屏幕显示状态的检测。其中，当机器人在预设时长内处于无需处理业务时，确定其处于空闲状态。
在无人网点区中的每一台业务设备划分有预设区域，一个业务设备的预设区域指的是距离该业务机器的距离小于或者等于预设距离的区域，机器人在移动过程中，通过对自身位置进行定位确定在无人网点区中的位置坐标，并结合已知的各个业务设备在无人网点区中的位置坐标，计算出当前位置与预先确定的各个业务设备所处位置之间的距离，若当前位置与一个业务设备所处位置之间的距离小于或者等于预设距离，则确定该机器人移动到该业务设备的预设区域。
当无人网点区中设置有多台业务设备时，需要逐个地对各个业务设备进行检测。控制机器人分别移动到无人网点区的各个业务设备的预设区域内的方式可以有多种，以下列举其中两种方式进行说明。
在一实施例中，按照预设移动导航路径控制机器人的移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制机器人按照所述移动导航路径继续向未检测的业务设备进移动，直到所有业务设备的显示屏幕均检测完毕后结束移动。
或者，在其他的实施例中，可以控制机器人随机移动，在移动到一个业务设备的预设区域内且对该待检测业务设备的显示屏幕检测完毕后，控制机器人标记该待检测业务设备为障碍物，进行障碍物规避移动，避障移动完毕后，控制机器人继续进行随机移动，移动到另一台业务设备进行检测，直到所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
具体地，在机器人随机移动的过程中，障碍物规避移动算法的原理是：当机器人对一台业务设备检测完毕后，在当前的移动方向上向左或者向右偏移预设角度，并判断偏移角度后是否可以不受阻碍地移动，若偏移角度后可以通行，则沿着偏移后的方向继续随机移动，若偏移角度后受到阻碍无法通行，则继续沿同一方向偏移预设角度直至能够不受阻碍的移动，通过这样不断调整偏移角度的算法对阻碍移动的障碍物进行规避。
步骤S20，若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障。
当机器人在进入某一预设区域后，将该预设区域对应的业务设备作为待检测的业务设备，对该预设区域对应的业务设备进行检测。机器人可以调整摄像头15的角度直至能够拍摄到该业务设备当前的显示屏幕的显示画面，然后向该待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障。具体地，控制机器人与待检测的业务设备(即当前所述的预设区域对应的业务设备)进行无线通信，向待检测的业务设备发送显示包含有预设信息的预设图形码的显示指令，业务设备根据接收到的显示指令显示该预设图形码；控制机器人对待检测业务设备的显示屏幕的显示内容进行扫描分析；若从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕没有发生电路故障；若没有从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕发生了电路故障。
在一些实施例中，所述预设图形码可以是带有预设信息的二维码。使用二维码进行电路故障的检测具有以下优点：二维码的容错能力强，并且具有纠错能力，参照图2a至图2d所示，即使显示屏幕上有污迹、斑点、裂缝等干扰情况造成有部分信息被遮挡，二维码仍然可以被识别出来，不会影响通过二维码的方式判断是否能上电，即判断是否发生电路故障；二维码可包含信息，例如屏幕的ID，也就是说即使当机器人同时看到多台业务设备的显示屏幕，也可以根据二维码所包含的屏幕ID中识别出所在预设区域对应的业务设备；由于二维码的外轮廓是正方形，因此，不要求机器人严格正对目标屏幕也可以识别，当在机器人视觉里面产生透视时，机器人很容易对于透视造成的变形进行还原，如图3a至图3c所示。
由图3a和图3b可以得知，机器人在用摄像头对屏幕内容进行处理的时候，由于机器人所处的位置可能会造成一定程度的透视，导致二维码外轮廓显示在机器人的镜头中可能是非矩形的。从图3b可以看出二维码显示的并不是一个正方形，而是四边形，产生了“近大远小”的透视。但是二维码识别可以在产生透视的情况下进行反透视从而能正常识别该二维码，反透视方法是现有成熟方法，此处不做详细解释。参照图3c所示，为将二维码进行反透视后的效果。
进一步地，在一些实施例中，若显示屏幕发生了电路故障，则向预先确定的监控设备发送提示信息，提示所述待检测业务设备的显示屏幕发生了电路故障需要进行处理。例如，向后台服务器发送提示信息，该提示信息包含发生电路故障的业务设备的唯一身份ID，及所述待检测业务设备所处的无人网点区的网点标识，例如，该提示信息格式可以为“网点标识为*****的无人网点区，ID号为*****的业务设备的显示屏幕发生了电路故障需要进行处理”。
步骤S30，若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
参照图17所示，为本发明屏幕状态自动检测方法较佳实施例中步骤S30 的细化示意图，步骤S30包括：
步骤S301，控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，例如，红、绿、蓝三种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域。
步骤S302，在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，即将显示屏幕的除了该预设颜色的其他颜色屏蔽掉，以获取掩码图像。
步骤S303，为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域。
步骤S304，根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像，因为如果屏幕周边范围有干扰区域，例如，屏幕周围有“进水”情况，屏幕边界区域无法正常显示，那么取完掩码获取到的最大图也是不完整的，相当于把边界干扰问题排除在检测之外了，因此需要通过上述方式获取最大显示区域。
参照图4所示，以在显示屏幕设置三个不同尺寸的显示区域为例，其中，小尺寸矩形的屏幕宽度为L1、中尺寸矩形的屏幕宽度为L2、大尺寸矩形的屏幕宽度为L3。机器人在控制屏幕显示的时候可以设定L1、L2和L3的比例关系：L3＝θ1L2＝θ2L1，即θ1和θ2均为已知数。此外，屏幕的长宽之间的比例关系ζ也为已知数据。当根据显示内容获取L1或者L2的值之后，可以根据上述 L1、L2和L3的比例关系计算出显示屏幕的宽L3，继而根据屏幕的长宽比例关系L/W＝ζ计算出显示屏幕的长W。
具体地，根据对应较小尺寸的显示区域的预设颜色的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像的原理说明如下：
利用小尺寸矩形区域的宽L1通过L3＝θ1L2＝θ2L1可以求解出大尺寸矩形框的宽，记为L'3，同样，利用中尺寸矩形框的宽L2也可以求解出大尺寸矩形的宽，并记为L”3，本发明为了减少误差，优选地，根据公式1取这两个值的平均值作为大尺寸矩形的宽：
然后根据屏幕的长宽比例关系L/W＝ζ计算出大尺寸矩形的长W。从而可以得到大尺寸矩形的区域范围，而大尺寸矩形的区域范围就是屏幕最大显示区域，即图6所示的最大尺寸矩形区域的外轮廓曲线。
但是，在分别取不同颜色的掩码图像后，由于屏幕边界本身可能有其他颜色的干扰，例如，屏幕边界可能本身就存在斑点，通过不同颜色分别取掩码后的图可能依然不是完整的图。针对取掩码后的图像存在不完整的现象，本发明采用的解决方案如下：
获取对应较小尺寸的显示区域的预设颜色的掩码图像的每条边界线上的多个点的坐标；
分别基于所述各个边界线上的多个点的坐标，通过最小二乘法直线拟合算法获取所述掩码图像的每条边界线的延长线；
根据所述掩码图像的每条边界线的延长线获取所述四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置，也就是中尺寸或者小尺寸矩形边框的范围。
将所述四边形进行反透视变换为矩形，根据所述掩码图像矩形的位置获取所述抗干扰图像。
参照图5所示，分别为计算出来的小尺寸矩形的边界和中尺寸矩形的边界。参照图7所示，取边界上的几个点，通过最小二乘法直线拟合算法模拟出该边界，如图8所示。其中，最小二乘法直线拟合算法为y计＝a0+a1*x。其中，y计是模拟后的直线，a0、a1是待求参数。根据算法得到a0、a1后，即可得到该边界线的延长线，通过上述方式分别获取四条边界线的延长线，接着确定四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置，也就是中尺寸矩形或者小尺寸矩形的范围，进而确定精确的L1和L2的值。
步骤S305，对所述最大显示图像进行滤噪增强预处理，获得增强图像。
对最大显示图像进行滤噪增强预处理，获得增强图像的原理说明如下：
由于采集到的屏幕异常状态图像会受到非均匀光照、屏幕表面不规则间隙和设备等影响，从而使得采集到的图像有噪声，所以需要去除这些噪声，同时能够保持住屏幕异常状态的细节，并尽可能能提高裂缝与背景的对比度，从而有利于后期的分割与识别。从图9的预处理前和图10预处理后的图可以看出，滤噪增强的图噪声干扰少，而且问题比较清晰可见。
本发明利用引导滤波器的方法对图像进行预处理。利用引导滤波器的算法步骤如下所示：
以灰度化后的屏幕图像作为输入图像P，同样以灰度化后的屏幕图像作为引导图像I，利用噪音滤波器滤波后的图像为q，利用公式2来增强输入图像P。
P_enhanced＝(I-q)m+q， 公式2
其中m为增强系数，可根据实际情况来定，此处的滤波器可以根据实际情况选择，这里我们选择引导滤波器给图像P做滤波处理。
此处的参数m的调整可以根据P_enhanced(增强图像P)的效果进行反馈重新调整。此处我们构想一种迭代求解方案：此方案主要是通过对P_enhanced 的效果进行反馈，对表现良好的P_enhanced给予更高的权值，反之给予稍微低的权值。
下述式子的ε是一个满意度比重，enchanted满意度是根据P_enhanced图像效果进行评估的，enhanced的最高满意度我们设置为一个固定值，例如500。
为了更好调节满意度值，本发明通过下述式子将ε值alpha化，过程如下：
将迭代第n次记为Tn，则第n+1次可记为Tn+1，经过地n次迭代后m的取值为则有：
迭代的过程如下：首先我们给定一个初始权值m作为然后代入公式 2求解出P_enhanced后的图像，然后根据公式3对P_enhanced后的效果图进行满意度评价，将得到的满意度比重ε进行alpha化，然后利用alpha化后的值和公式5对m权值进行更新。然后依次重复执行以上步骤对m进行更新，经过几轮迭代后便可以得到一个比较理想的m权值。因为每一次迭代都会对权值m进行修改，对图像P_enhanced效果表现较差时ε值会降低，从而导致最终m权值也降低，相反会相应使得权值增加。而每一次调整都会驱使图像 P_enhanced效果往更好的方向走，将迭代次数设置为固定值(这里设定为10)，迭代n次后将会有一个收敛的状态，也就是图像P_enhanced效果接近最好的状态。将增强后的图像P_enhanced作为输入图像P，灰度化后的屏幕图像作为引导图像I，得到滤波后的图像为最终增强且平滑后的图像。
步骤S306，对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常，所述预设类型的异常包括坏斑、坏线与裂缝。
对所述增强图像进行坏斑检测分析，以判断所述待检测业务设备的显示屏幕是否发生了坏斑。
参照图11所示，为屏幕出现坏线的情况。
在一实施例中，坏线的识别流程如下：获取经过上述步骤预处理后的图像，使用霍夫变换检测直线，当检测到坏线数大于1，则判断存在坏线，否则，判断不存在坏线。
关于霍夫变换，霍夫变换是一种特征提取技术。经典的霍夫变换能够识别出图像中的直线，后来又发展到能够识别出任意形状，但更常见的识别形状是圆和椭圆，这里我们用来识别屏幕环线的状态。
在直角坐标系下，直线被定义为：
y＝mx+b， 公式6
其中，m为斜率，b为与y轴的截距，只要确定了m和b，一条直线就可以被唯一地确定下来。如果用ρ0表示原点到该直线的代数距离，θ0表示该直线的正交线与x轴的夹角，则：
则该直线又可表示为：
写成更一般的形式：
ρ＝x cosθ+y sinθ， 公式10
很容易想到，(ρ，θ)是极坐标的表示形式。但如果把(ρ，θ)也用直角坐标的形式表示，即把ρ和θ做正交处理，则(ρ，θ)就被称为霍夫空间。
在直角坐标系中的一点，对应于霍夫空间的一条正弦曲线。直线是由无数个点组成的，在霍夫空间就是无数条正弦曲线，但这些正弦曲线会相交于一点(ρ0，θ0)，把该点带入公式7和公式8就得了直线的斜率和截距，这样一条直线就被确定了下来。因此用霍夫变换识别直线时，霍夫空间中的极大值就有可能对应一条直线。
传统的检查坏线的方法是通过人工观察，通过本实施例的方法，机器人通过上述方式对经过预处理后的图像自动检测是否存在坏线。
对所述增强图像进行坏线检测分析，以判断所述待检测业务设备的显示屏幕是否发生了坏线。参照图12所示，为屏幕出现坏斑的情况。
在一实施例中，在斑点检测上，判断坏斑的流程是，获取预处理后的图片，用SimpleBlobDetector(斑点检测算子)算法检测是否有斑点的存在，当检测到的斑点数大于1时，判断屏幕存在坏斑的情况，否则判断屏幕不存在坏斑的情况。
此外，为了简化对定坏斑的面积范围，二值化阈值等参数的设置，该实施例还引入一种SimpleBlobDetector算法中参数的选取方法。
选取一些屏幕坏斑的图片做统计，并标记哪些图片是存在坏斑。选择不同参数的进行处理，并对处理后的结果进行分析。如表1所示。
特征取k值时判断是斑点在实际是斑点中的比例：
在特征取值为k时，判断是斑点但实际又不是斑点的数量在实际不是斑点的数量中占的比例：
这里我们需要得出在特征取值为k时的权值系数，我们可以定义为：
上式的意义在于在特征取值为k时，尽量使得判断是斑点正确的概率越高，同时使得判断是斑点但实际上不是斑点的概率越低时，权值wk越大。选取每个特征参数wk值最大的作为SimpleBlobDetector算法的特征点检测需要确定的参数。从而不用人为判定这个参数的具体数值。
传统的检查坏斑的方法是通过人工观察，通过本实施例的方法，机器人通过上述方式对经过预处理后的图像自动检测是否存在坏斑。
对所述增强图像进行裂缝检测分析，以判断所述待检测业务设备的显示屏幕是否发生了裂缝。参照图13所示，为屏幕出现裂缝的情况。
在一实施例中，按照如下步骤检测屏幕是否出现裂缝：
对图像进行分割，这里我们使用现有成熟方法均值漂移分割算法可以把裂缝分割出来。参照图14所示。然后，对分割后的图像进行裂缝的识别：分割出来后可以看到一些连通区域，连通区域在这里是指裂缝分割出来后组成的图像区域，当检查到连通区域数大于1时，可以判断图像是有裂缝，而裂缝可能是网状或是单条横穿屏幕的裂缝。若只有1个连通区域，我们分别获取裂缝的X轴投影距离H，与y轴的投影距离R，如图14所示。如果H<阈值D并且R<阈值D就表明屏幕没有裂缝。其中，阈值D是一个距离值，当 H与R同时小于这个值的时候便可以认为该线条不是裂缝，而是噪音点。假如H与R其中任意一个大于这个阈值就可以判断屏幕上存在横向或纵向裂缝，但是这裂缝不是跨越整个屏幕，如图14所展示的就是横向裂缝的一种形式。
传统的检查裂缝方法是通过人工观察，通过本实施例的方法，机器人通过上述方式对经过预处理后的图像自动检测是否存在裂缝。
上述实施例提出的屏幕状态自动检测方法中，控制机器人分别移动到无人网点区的各个业务设备的预设区域内，若机器人移动到一个特务设备的预设区域内，则向待检测业务设备发送预设图形码，以根据预设图形码在显示屏幕上显示的内容判断待检测业务设备是否发生了电路故障，若未发生电路故障，则控制待检测业务设备按照预设显示参数进行图形显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出待检测业务设备的显示屏幕是否发生了预设类型的异常，该方案不需要人工参与，通过机器人移动到对应区域对设备的电路故障以及屏幕显示状态进行自动检测。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有屏幕状态自动检测程序，所述屏幕状态自动检测程序被处理器执行时实现如下操作：
控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障；
若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
进一步地，所述屏幕状态自动检测程序被处理器执行时还实现如下操作：
若所述待检测业务设备的显示屏幕发生了电路故障，则向预先确定的监控设备发送提示信息，提示所述待检测业务设备的显示屏幕发生了电路故障需要进行处理。
进一步地，所述屏幕状态自动检测程序被处理器执行时还实现如下操作：
按照预设移动导航路径控制所述机器人的移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制所述机器人按照所述移动导航路径继续移动，直到所有业务设备的显示屏幕均检测完毕；
或者，控制所述机器人进行随机移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，将所述待检测业务设备标记为障碍物，控制机器人进行规避移动，在规避移动完成后，控制所述机器人继续进行随机移动，直至所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
进一步地，所述屏幕状态自动检测程序被处理器执行时还实现如下操作：
控制所述机器人与待检测的业务设备进行无线通信，以向所述待检测业务设备发送显示预设图形码的显示指令，其中，所述预设图像码中包含有预设信息；
控制所述机器人对所述待检测业务设备基于所述显示指令在显示屏幕上显示的内容进行扫描分析；
若从待检测的业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕没有发生电路故障；
若没有从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕发生了电路故障。
进一步地，所述屏幕状态自动检测程序被处理器执行时还实现如下操作：
控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域；
在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，以获取掩码图像；
为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域；
根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像；
对所述最大显示图像进行滤噪增强预处理，获得增强图像；
对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
进一步地，所述屏幕状态自动检测程序被处理器执行时还实现如下操作：
获取对应较小尺寸的显示区域的预设颜色的掩码图像的每条边界线上的多个点的坐标；
分别基于所述各个边界线上的多个点的坐标，通过最小二乘法直线拟合算法获取所述掩码图像的每条边界线的延长线；
根据所述掩码图像的每条边界线的延长线获取所述四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置；
将所述四边形进行反透视变换为矩形，根据所述掩码图像矩形的位置获取所述抗干扰图像。
本发明计算机可读存储介质具体实施方式与上述屏幕状态自动检测机器人和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种屏幕状态自动检测机器人，其特征在于，所述机器人包括存储器和处理器，所述存储器上存储有屏幕状态自动检测程序，所述屏幕状态自动检测程序被所述处理器执行时实现如下操作：
控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障；
若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
2.根据权利要求1所述的屏幕状态自动检测机器人，其特征在于，所述控制机器人分别移动到无人网点区的各个业务设备的预设区域内包括：
按照预设移动导航路径控制所述机器人移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制所述机器人按照所述移动导航路径继续移动，直到所有业务设备的显示屏幕均检测完毕；
或者，控制所述机器人进行随机移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，将所述待检测业务设备标记为障碍物，控制机器人进行规避移动，在规避移动完成后，控制所述机器人继续进行随机移动，直至所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
3.根据权利要求1或2所述的屏幕状态自动检测机器人，其特征在于，所述控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常包括：
控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域；
在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，以获取掩码图像；
为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域；
根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像；
对所述最大显示图像进行滤噪增强预处理，获得增强图像；
对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
4.一种屏幕状态自动检测方法，其特征在于，所述方法包括：
控制所述机器人分别移动到无人网点区的各个业务设备的预设区域内；
若所述机器人移动到一个预设区域内，则将该预设区域对应的业务设备作为待检测业务设备，并向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障；
若所述待检测业务设备的显示屏幕未发生电路故障，则控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
5.根据权利要求4所述的屏幕状态自动检测机器人，其特征在于，所述处理器还用于执行所述屏幕状态自动检测程序，以在向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障的步骤之后，还包括如下步骤：
若所述待检测业务设备的显示屏幕发生了电路故障，则向预先确定的监控设备发送提示信息，提示所述待检测业务设备的显示屏幕发生了电路故障需要进行处理。
6.根据权利要求4所述的屏幕状态自动检测方法，其特征在于，所述控制机器人分别移动到无人网点区的各个业务设备的预设区域内的步骤包括：
按照预设移动导航路径控制所述机器人移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，控制所述机器人按照所述移动导航路径继续移动，直到所有业务设备的显示屏幕均检测完毕；
或者，控制所述机器人进行随机移动，在移动到一个业务设备的预设区域内且对所述待检测业务设备的显示屏幕检测完毕后，将所述待检测业务设备标记为障碍物，控制机器人进行规避移动，在规避移动完成后，控制所述机器人继续进行随机移动，直至所有业务设备均被标记为障碍物后结束移动，并将业务设备的障碍物标记清除。
7.根据权利要求4所述的屏幕状态自动检测方法，其特征在于，所述向所述待检测业务设备发送预设图形码，以根据所述预设图形码在显示屏幕上显示的内容判断所述待检测业务设备是否发生了电路故障的步骤包括：
控制所述机器人与待检测的业务设备进行无线通信，以向所述待检测业务设备发送显示预设图形码的显示指令，其中，所述预设图像码中包含有预设信息；
控制所述机器人对所述待检测业务设备基于所述显示指令在显示屏幕上显示的内容进行扫描分析；
若从待检测的业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕没有发生电路故障；
若没有从待检测业务设备的显示屏幕上扫描分析出预设信息，则确定待检测业务设备的显示屏幕发生了电路故障。
8.根据权利要求4至7中任一项所述的屏幕状态自动检测方法，其特征在于，所述控制所述待检测业务设备按照预设显示参数进行图像显示，并对显示屏幕显示的图像按照预设分析规则进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常的步骤包括：
控制所述待检测业务设备的显示屏幕分别以纯色显示的方式显示多种预设颜色，其中，不同预设颜色对应不同尺寸的显示区域，各个预设颜色对应的显示区域的形状和所述显示屏幕的最大显示区域的形状对应，且其中一个所述预设颜色对应的显示区域为所述显示屏幕的最大显示区域；
在以纯色显示的方式显示一种预设颜色时，针对该预设颜色对显示屏幕的显示图形取掩码，以获取掩码图像；
为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像，其中，所述较小尺寸的显示区域为除最大显示区域之外的其它尺寸的显示区域；
根据获取的抗干扰图像，确定出所述显示屏幕的最大显示区域，并根据确定的最大显示区域，为对应最大显示区域的预设颜色的取掩码图像进行实际显示区域的图像提取，提取出最大显示图像；
对所述最大显示图像进行滤噪增强预处理，获得增强图像；
对所述增强图像进行分析，以分析出所述待检测业务设备的显示屏幕是否发生了预设类型的异常。
9.根据权利要求8所述的屏幕状态自动检测方法，其特征在于，所述为对应较小尺寸的显示区域的预设颜色的掩码图像进行抗干扰处理以获取抗干扰图像的步骤包括：
获取对应较小尺寸的显示区域的预设颜色的掩码图像的每条边界线上的多个点的坐标；
分别基于所述各个边界线上的多个点的坐标，通过最小二乘法直线拟合算法获取所述掩码图像的每条边界线的延长线；
根据所述掩码图像的每条边界线的延长线获取所述四条边界线的交点，根据所述四条边界线的交点以及所述四条边界线确定出所述掩码图像四边形的位置；
将所述四边形进行反透视变换为矩形，根据所述掩码图像矩形的位置获取所述抗干扰图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有屏幕状态自动检测程序，所述屏幕状态自动检测程序被处理器执行时实现如权利要求4至9中任一项所述的屏幕状态自动检测方法的步骤。
CN201710754580.7A 2017-08-29 2017-08-29 屏幕状态自动检测机器人、方法及计算机可读存储介质 Active CN107688345B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710754580.7A CN107688345B (zh) 2017-08-29 2017-08-29 屏幕状态自动检测机器人、方法及计算机可读存储介质
US16/632,859 US11361422B2 (en) 2017-08-29 2017-10-31 Automatic screen state detection robot, method and computer-readable storage medium
SG11202001417WA SG11202001417WA (en) 2017-08-29 2017-10-31 Automatic screen state detection robot, method and computer-readable storage medium
JP2019556812A JP6911149B2 (ja) 2017-08-29 2017-10-31 スクリーン状態自動検出ロボット、方法及びコンピュータ読み取り可能な記憶媒体
PCT/CN2017/108740 WO2019041516A1 (zh) 2017-08-29 2017-10-31 屏幕状态自动检测机器人、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710754580.7A CN107688345B (zh) 2017-08-29 2017-08-29 屏幕状态自动检测机器人、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107688345A true CN107688345A (zh) 2018-02-13
CN107688345B CN107688345B (zh) 2019-04-19

Family

ID=61155532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710754580.7A Active CN107688345B (zh) 2017-08-29 2017-08-29 屏幕状态自动检测机器人、方法及计算机可读存储介质

Country Status (5)

Country Link
US (1) US11361422B2 (zh)
JP (1) JP6911149B2 (zh)
CN (1) CN107688345B (zh)
SG (1) SG11202001417WA (zh)
WO (1) WO2019041516A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921843A (zh) * 2018-07-05 2018-11-30 深圳市路畅科技股份有限公司 一种检测车载导航仪性能的系统及方法
CN110340882A (zh) * 2018-04-08 2019-10-18 苏州宝时得电动工具有限公司 机器人避障方法、装置、计算机设备及存储介质
CN113709289A (zh) * 2021-08-31 2021-11-26 展讯通信（上海）有限公司 终端测试的监控系统及方法
CN114973612A (zh) * 2022-03-28 2022-08-30 深圳市揽讯科技有限公司 Led显示屏故障自动告警监控系统及监控方法
CN117078672A (zh) * 2023-10-13 2023-11-17 深圳市凯尔文电子有限公司 基于计算机视觉的手机屏幕缺陷智能检测方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
US10876914B2 (en) 2016-04-28 2020-12-29 Blancco Technology Group IP Oy Systems and methods for detection of mobile device fault conditions
US12013346B2 (en) 2018-02-19 2024-06-18 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions
US11704887B2 (en) 2019-09-16 2023-07-18 Assurant, Inc. System, method, apparatus, and computer program product for utilizing machine learning to process an image of a mobile device to determine a mobile device integrity status
US11580627B2 (en) 2020-01-06 2023-02-14 Assurant, Inc. Systems and methods for automatically grading pre-owned electronic devices
CN111339298B (zh) * 2020-02-25 2024-04-09 北京小米松果电子有限公司 一种分类预测方法、装置及存储介质
CN112069043A (zh) * 2020-08-04 2020-12-11 北京捷通华声科技股份有限公司 一种终端设备状态检测方法、模型生成方法以及装置
CN113221881B (zh) * 2021-04-30 2022-03-22 浙大城市学院 一种多层级的智能手机屏幕缺陷检测方法
CN115375645B (zh) * 2022-08-17 2024-08-16 武汉海微科技股份有限公司 车载显示屏显示异常的测试方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256556B1 (en) * 1999-11-16 2001-07-03 Mitsubishi Denki Kabushiki Kaisha Remote operation system for a robot
CN103838674A (zh) * 2014-03-21 2014-06-04 徐禄勇 基于数字图像的智能测试机器人及其使用方法
CN105336287A (zh) * 2014-08-06 2016-02-17 格力电器（武汉）有限公司 显示屏的测试方法、装置和系统
CN106406289A (zh) * 2016-11-17 2017-02-15 北京中科汇联科技股份有限公司 一种机器人故障检修系统及方法
CN106960646A (zh) * 2017-03-30 2017-07-18 上海与德科技有限公司 一种屏幕故障检测方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600574A (en) * 1994-05-13 1997-02-04 Minnesota Mining And Manufacturing Company Automated image quality control
DE10137056C5 (de) * 2001-07-28 2018-09-06 Rieter Ingolstadt Gmbh Verfahren zur Wartung einer Textilmaschine
US20070058835A1 (en) * 2003-10-21 2007-03-15 Koninklijke Philips Electronics N.V. Screen image authentication
EP1713239A4 (en) * 2004-01-23 2012-08-08 Japan Novel Corp DEVICE EXAMINATION DEVICE, DEVICE EXAMINATION SYSTEM THEREFOR AND MOBILE PHONE HOLDING DEVICE
KR101166843B1 (ko) * 2005-08-30 2012-07-19 엘지디스플레이 주식회사 Ｌｃｄ 검사 장비 및 ｌｃｄ 검사 방법
JP4703480B2 (ja) * 2006-05-17 2011-06-15 株式会社日立製作所 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム
KR101546850B1 (ko) * 2008-06-27 2015-08-24 삼성전자주식회사 디스플레이장치의 화질평가방법 및 화질평가장치
US20100053604A1 (en) * 2008-08-31 2010-03-04 Paul Rice Broken screen detector
CN101782456B (zh) * 2009-01-19 2012-02-15 深圳市新超亮特种显示设备有限公司 一种远程检测显示器工作状态的方法及系统
US8643662B2 (en) * 2009-04-22 2014-02-04 Samsung Electronics Co., Ltd. Video entertainment picture quality adjustment
FR3012425B1 (fr) * 2013-10-24 2017-03-24 European Aeronautic Defence & Space Co Eads France Robot collaboratif d'inspection visuelle d'un aeronef
CN104318879A (zh) * 2014-10-20 2015-01-28 京东方科技集团股份有限公司 显示装置、显示装置故障分析系统和方法
US9955150B2 (en) * 2015-09-24 2018-04-24 Qualcomm Incorporated Testing of display subsystems
CN106681333A (zh) * 2017-03-02 2017-05-17 刘伟豪 一种提高变电站巡检机器人稳定性的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256556B1 (en) * 1999-11-16 2001-07-03 Mitsubishi Denki Kabushiki Kaisha Remote operation system for a robot
CN103838674A (zh) * 2014-03-21 2014-06-04 徐禄勇 基于数字图像的智能测试机器人及其使用方法
CN105336287A (zh) * 2014-08-06 2016-02-17 格力电器（武汉）有限公司 显示屏的测试方法、装置和系统
CN106406289A (zh) * 2016-11-17 2017-02-15 北京中科汇联科技股份有限公司 一种机器人故障检修系统及方法
CN106960646A (zh) * 2017-03-30 2017-07-18 上海与德科技有限公司 一种屏幕故障检测方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110340882A (zh) * 2018-04-08 2019-10-18 苏州宝时得电动工具有限公司 机器人避障方法、装置、计算机设备及存储介质
CN108921843A (zh) * 2018-07-05 2018-11-30 深圳市路畅科技股份有限公司 一种检测车载导航仪性能的系统及方法
CN113709289A (zh) * 2021-08-31 2021-11-26 展讯通信（上海）有限公司 终端测试的监控系统及方法
CN114973612A (zh) * 2022-03-28 2022-08-30 深圳市揽讯科技有限公司 Led显示屏故障自动告警监控系统及监控方法
CN117078672A (zh) * 2023-10-13 2023-11-17 深圳市凯尔文电子有限公司 基于计算机视觉的手机屏幕缺陷智能检测方法
CN117078672B (zh) * 2023-10-13 2024-07-09 南京极景微半导体有限公司 基于计算机视觉的手机屏幕缺陷智能检测方法

Also Published As

Publication number Publication date
CN107688345B (zh) 2019-04-19
JP6911149B2 (ja) 2021-07-28
US20200167907A1 (en) 2020-05-28
SG11202001417WA (en) 2020-03-30
US11361422B2 (en) 2022-06-14
WO2019041516A1 (zh) 2019-03-07
JP2020517926A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
CN107688345B (zh) 屏幕状态自动检测机器人、方法及计算机可读存储介质
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN106225787B (zh) 一种无人机视觉定位方法
CA3154025A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
CN101558431B (zh) 脸认证设备
US8885048B2 (en) Computer vision and radio frequency identification technology based book enrolment management apparatus
CN101925905B (zh) 根据特征图像流程识别和验证未知文档
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN108875911A (zh) 一种泊车位检测方法
CN106874894A (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN107798299A (zh) 票据信息识别方法、电子装置及可读存储介质
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
CN112164142B (zh) 一种基于智能手机的楼盘采光模拟方法
CN107424160A (zh) 通过视觉系统查找图像中线的系统和方法
CN109670503A (zh) 标识检测方法、装置和电子系统
CN100550039C (zh) 一种图像特征点定位方法及装置
CN105740910A (zh) 一种车辆物件检测方法及装置
CN109635694A (zh) 一种行人检测方法、装置、设备及计算机可读存储介质
CN105893946A (zh) 一种正面人脸图像的检测方法
CN101144708A (zh) 三维扫描系统中圆形标志点的检测方法
TWI522934B (zh) 智慧型手機之陀螺儀感測器車牌辨識系統及其方法
CN110199317A (zh) 使用手持设备对木板的自动检测、计数和测量
CN107578021A (zh) 基于深度学习网络的行人检测方法、装置及系统
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN110032970A (zh) 高准确率的活体检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant