CN115578329A - 屏幕检测方法、装置、计算机设备及可读存储介质 - Google Patents

屏幕检测方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN115578329A
CN115578329A CN202211187228.7A CN202211187228A CN115578329A CN 115578329 A CN115578329 A CN 115578329A CN 202211187228 A CN202211187228 A CN 202211187228A CN 115578329 A CN115578329 A CN 115578329A
Authority
CN
China
Prior art keywords
image
detection
screen
template
screen image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211187228.7A
Other languages
English (en)
Inventor
胡剑峰
刘蔓莉
钱晨怡
徐进康
王马俊
黄建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Controllable Information Industry Co Ltd
Original Assignee
Zhongke Controllable Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Controllable Information Industry Co Ltd filed Critical Zhongke Controllable Information Industry Co Ltd
Priority to CN202211187228.7A priority Critical patent/CN115578329A/zh
Publication of CN115578329A publication Critical patent/CN115578329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种屏幕检测方法、装置、计算机设备及可读存储介质。该方法包括：获取当前监测到的目标设备的检测屏幕图像，通过多种不同窗口规格对检测屏幕图像进行划分得到多个检测图像块，基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果。采用上述方法考虑了图像像素级，通过不同窗口规格对检测屏幕图像进行划分得到检测屏幕图像中更小的检测图像块，并通过更小的检测图像块与模板屏幕图像中的模板图像块来实现屏幕检测，从而能够提高BMC的显示界面上显示的屏幕图像中是否存在异常缺陷的准确性，进一步还可以提高BMC的显示界面上显示的屏幕图像中是否存在花屏缺陷的准确性。

Description

屏幕检测方法、装置、计算机设备及可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种屏幕检测方法、装置、计算机设备及可读存储介质。
背景技术
服务器基板管理控制器(Baseboard Management Controller，BMC)支持的控制台显示切换(Keyboard Video Mouse，KVM)功能具有压力测试和性能测试的作用，可实现在本地电脑端远程访问计算机设备，如个人电脑、服务器或其它电子设备等等，BMC的该功能被启动后就可在的显示器中查看远程计算机设备的桌面。其中，KVM在进行压力测试时显示的测试结果可能会出现花屏缺陷。
相关技术中，主要通过深度学习算法对服务器BMC输出的KVM图像进行目标检测，根据目标检测结果确定KVM图像中是否存在花屏缺陷。但是，采用相关技术会导致花屏缺陷检测结果不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种屏幕检测方法、装置、计算机设备及可读存储介质，能够提高花屏缺陷检测结果的准确性。
第一方面，本申请提供了一种屏幕检测方法，该方法包括：
获取当前监测到的目标设备的检测屏幕图像；
通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块；
基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
本申请实施例提供的屏幕检测方法可以获取当前监测到的目标设备的检测屏幕图像，通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块，基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；该方法考虑了图像像素级，通过不同窗口规格对检测屏幕图像进行划分得到检测屏幕图像中更小的检测图像块，并通过更小的检测图像块与模板屏幕图像中的模板图像块来实现屏幕检测，从而不仅能够提高BMC的显示界面上显示的屏幕图像中是否存在异常缺陷的准确性，还能够提高BMC的显示界面上显示的屏幕图像中是否存在花屏缺陷的准确性，进而提高了BMC的KVM的检测性能，并且基于屏幕检测结果能够及时、快速地对BMC出现的故障问题进行解决，避免影响BMC的正常使用；同时，该方法不需要人工参与屏幕检测，从而还可以节省屏幕检测处理的人力资源成本，并且能够避免人工参与误差，提高屏幕检测处理结果的准确性，还有，该方法不需要人工参与处理，从而可以对大尺寸的检测屏幕图像进行屏幕检测，使得屏幕检测处理的灵活性增大；另外，该方法通过一套计算机处理算法实现屏幕检测，避免采用深度学习网络来实现屏幕检测，从而还可以节省深度学习网络的训练时间以及应用时加载深度学习网络的时间，进而能够提高屏幕检测的效率，缩短屏幕检测的时长。
在其中一个实施例中，多种不同窗口规格包括第一窗口规格和第二窗口规格；通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块，包括：
根据第一窗口规格，对检测屏幕图像进行划分，得到多个待检测图像；待检测图像的尺寸与模板屏幕图像的尺寸相同；
从多个待检测图像中获取满足预设检测条件的目标检测图像；预设检测条件为待检测图像与模板屏幕图像之间的相似度最大的待检测图像；
根据第二窗口规格，对目标检测图像进行划分得到多个检测图像块。
本申请实施例提供的屏幕检测方法可以根据第一窗口规格，对检测屏幕图像进行划分，得到多个待检测图像，从多个待检测图像中获取满足预设检测条件的目标检测图像，并根据第二窗口规格，对目标检测图像进行划分得到多个检测图像块；该方法可以对检测屏幕图像进行两层划分处理，以将检测屏幕图像像素级引入屏幕检测处理中，进一步提高屏幕检测结果的准确性。
在其中一个实施例中，该方法还包括：
针对各待检测图像，采用平方差匹配法对待检测图像与模板屏幕图像进行相似度处理，得到待检测图像与模板屏幕图像之间的相似度；
若各待检测图像中存在与模板屏幕图像之间的相似度大于预设相似度阈值的待检测图像，则执行从多个待检测图像中获取满足预设检测条件的目标检测图像的步骤。
本申请实施例可以获取待检测图像与模板屏幕图像之间的相似度，并根据待检测图像与模板屏幕图像之间的相似度确定检测屏幕图像的异常检测结果，在初步确定检测屏幕图像的异常检测结果为不存在异常缺陷时，可以需要对待检测图像进一步处理，以确保检测屏幕图像的异常检测结果的正确性。
在其中一个实施例中，异常检测结果包括存在异常缺陷；方法还包括：
若各待检测图像与模板屏幕图像之间的相似度均小于或等于预设相似度阈值，则确定检测屏幕图像的异常检测结果为存在异常缺陷，并结束屏幕检测流程。
本申请实施例可以根据各待检测图像与模板屏幕图像之间的相似度，确定检测屏幕图像的异常检测结果为存在异常缺陷，即确定检测屏幕图像中存在异常缺陷，进而结束屏幕检测结束处理流程，从而能够减小屏幕检测处理的运算量，缩短屏幕检测的处理时长。
在其中一个实施例中，多种不同窗口包括第二窗口规格，基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果，包括：
根据第二窗口规格，对模板屏幕图像进行划分得到多个模板图像块；
分别获取检测图像块对应的各像素通道的第一灰度图像，以及获取各模板图像块对应的各像素通道的第二灰度图像；
对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图；
通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果。
本申请实施例提供的屏幕检测方法可以根据第二窗口规格，对模板屏幕图像进行划分得到多个模板图像块，分别获取检测图像块对应的各像素通道的第一灰度图像，以及获取各模板图像块对应的各像素通道的第二灰度图像，对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图，通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果；该方法在初步判定检测屏幕图像的异常检测结果为不存在异常缺陷的基础上，可以进一步对各检测图像块和模板屏幕图像中的图像块进行处理，即实现检测屏幕图像与模板屏幕图像之间像素级的处理确定检测屏幕图像的最终异常检测结果，从而能够更精准的确定检测屏幕图像的最终异常检测结果，提高屏幕检测结果的准确性，避免因屏幕检测结果不准确而导致异常维护BMC的问题，进而还能够降低BMC的维护成本。
在其中一个实施例中，异常检测结果包括不存在异常缺陷；通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果，包括：
针对任一第一灰度直方图，对第一灰度直方图与对应的第二灰度直方图进行相关性处理，得到第一灰度直方图与对应第二灰度直方图之间的相关性值；
若各相关性值均大于或等于预设的相关性阈值，则确定检测图像块中不存在异常缺陷；
若各检测图像块中均不存在异常缺陷，则确定检测屏幕图像的异常检测结果为不存在异常缺陷。
本申请实施例提供的屏幕检测方法可以通过计算检测图像块与模板图像块之间各像素通道对应的灰度图像之间对应的相关性，从而能够基于各像素通道对目标检测图像与模板屏幕图像进行相关性处理，即能够从图像像素级分析目标检测图像与模板屏幕图像之间的相关性，使得相关性处理结果更加准确，并基于相关性处理结果确定检测屏幕图像的异常检测结果，从而使得屏幕检测结果更准确。
在其中一个实施例中，方法还包括：
若各相关性值中存在相关性小于相关性阈值的值，则确定检测屏幕图像的异常检测结果为存在异常缺陷；异常缺陷为花屏缺陷。
本申请实施例在确定存在第一灰度直方图与对应第二灰度直方图之间的相关性值小于预设的相关性阈值时，可以直接确定检测屏幕图像的异常检测结果为存在异常缺陷，该方法既能够保证遗漏检测的问题提高屏幕检测结果的准确性，还能够在确定出某一第一灰度直方图与对应第二灰度直方图之间的相关性值小于预设的相关性阈值时，可以直接检测屏幕图像的异常检测结果为存在异常缺陷，此时可以结束屏幕检测处理流程，从而提高屏幕检测速度，并在一定程度上缩减屏幕检测时长。
第二方面，本申请提供了一种屏幕检测装置，该装置包括：
屏幕图像获取模块，用于获取当前监测到的目标设备的检测屏幕图像；
图像划分模块，用于通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块；
相关性处理模块，用于根据多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
第三方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述第一方面中任一实施例的方法的步骤。
第四方面，本申请提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一实施例的方法的步骤。
附图说明
图1为一个实施例中屏幕检测方法的流程示意图；
图2为另一个实施例中屏幕检测方法的流程示意图；
图3为另一个实施例中屏幕检测方法的流程示意图；
图4为另一个实施例中屏幕检测方法的流程示意图；
图5为另一个实施例中屏幕检测方法的流程示意图；
图6为一个实施例中屏幕检测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在BMC监测技术中，主要是远程监测目标设备的输出图像，使得用户在本地登录BMC Web，然后打开BMC Web中的KVM功能，然后在BMC的显示界面上就能查看目标设备的输出图像，但是，在BMC的数据传输出现问题时会使得BMC的显示界面出现异常缺陷，这样会导致用户无法查看目标设备的输出图像。
相关技术是通过深度学习算法，对采集到的BMC的检测屏幕图像进行检测，判断检测屏幕图像中是否存在目标来确定检测屏幕图像中是否存在花屏缺陷。然而，相关技术中并没有对检测屏幕图像的像素级进行处理来确定检测屏幕图像中是否存在花屏缺陷，从而导致花屏缺陷检测结果不准确。
基于此，本申请实施例提供了一种屏幕检测方法，以提高花屏缺陷检测结果的准确性。该屏幕检测方法可以适用于屏幕检测系统，该屏幕检测系统包括BMC、目标设备和处理器。可选地，该目标设备可以为计算机设备、服务器和/或其它电子设备，BMC和目标设备之间为物理连接。其中，BMC具有KVM功能，通过KVM功能可以监测目标设备的显示界面输出的图像。下面以处理器为执行主体对屏幕检测方法进行说明。
如图1所示为本申请实施例提供了一种屏幕检测方法的流程示意图，该屏幕检测方法可以包括以下步骤：
S100、获取当前监测到的目标设备的检测屏幕图像。
具体地，处理器可以获取BMC打开KVM功能后当前监测到的目标设备的检测屏幕图像，该检测屏幕图像可以为用户观看BMC的显示界面时，BMC的显示界面上显示的图像。可选地，目标设备可以为一个或者多个。获取到的检测屏幕图像可以为黑白图像、也可以为彩色图像，对此本申请实施例不做限定。另外，检测屏幕图像的尺寸可以大于目标设备的显示界面的尺寸。
其中，获取检测屏幕图像的方式可以是BMC打开KVM功能后获取到的图像。可选地，打开BMC的KVM功能后获取到的图像可以为检测屏幕图像，也可以为包含检测屏幕图像的图像。若打开BMC的KVM功能后获取到的是包含检测屏幕图像的图像时，可以对包含检测屏幕图像的图像进行裁剪得到检测屏幕图像。
这里需要说明的是，在执行上述S100之前先要打开BMC，然后进入BMC的KVM功能以执行监测目标设备显示界面的操作。其中，通过BMC进入BMC的KVM功能的方式，也就是通过BMC监测目标设备显示界面的显示图像的方式可以是通过先Selenium自动打开web，用户输入登录web的账号和密码，然后登录成功后自动进入KVM，这里需要说明的是，进入KVM后BMC的显示界面就可以显示目标设备显示界面上显示的图像。
其中，BMC还可以调用信息包模拟鼠标和键盘，以在BMC的显示界面还未输出目标设备显示界面上显示的图像前，触发一下BMC的显示界面，以确保BMC的显示界面显示正常。可选地，上述信息包可以为不同语言编码的界面包，如python包(pyautogui)。
S200、通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块。
上述窗口规格可以理解为从检测屏幕图像中裁剪多个小图像的滑动窗规格，滑动窗的规格也就是小图像的规格。其中，上述窗口规格可以为滑动窗的尺寸、裁剪相邻小图像时滑动窗的移动方向和滑动窗的移动步长等等信息。可选地，窗口规格可以是用户自定义的，还可以是根据历史屏幕检测处理过程中滑动窗规格的经验值确定的。
在本申请实施例中，滑动窗的尺寸可以小于检测屏幕图像的尺寸。由于检测屏幕图像是二维图像所以滑动窗的移动方向可以为沿检测屏幕图像的长度方向或者宽度方向，还可以为先沿检测屏幕图像中的长度方向再沿检测屏幕图像中的宽度方向，当然，还可以为检测屏幕图像中的“S”型方向。上述滑动窗的移动步长可以为检测屏幕图像中的一个像素点或者多个像素点。在本申请实施例中，滑动窗的尺寸和步长越小，屏幕检测结果的准确性越高。
示例性地，针对某个滑动窗，沿检测屏幕图像中的长度方向的时候某一行为基准进行移动滑动窗，滑动窗移动到当前行的最后一个滑动位置后，在沿着该行的下一行或者间隔多行按照检测屏幕图像中的长度方向移动滑动窗，之后滑动窗移动到当前行的最后一个移动位置后，在沿着该行的下一行或者间隔多行按照检测屏幕图像中的长度方向移动滑动窗，依次类推，沿着不同行按照检测屏幕图像中的长度方向移动滑动窗，自然地，滑动窗的移动轨迹可以称为滑动窗的“S”型移动方向。其中，每次滑动窗移动到检测屏幕图像中的对应位置时，将对应位置处的区域图像称为对应检测图像块。
这里需要说明的是，计算机设备可以预先设置多种不同窗口规格，然后基于设置的每个窗口规格，分别对检测屏幕图像进行划分得到多个检测图像块，或者，对多个不同窗口规格按照窗口的尺寸从大到小排序，然后按照最大的窗口规格先对检测屏幕图像进行划分得到多个第一检测图像块，然后按照下一窗口规格对各第一检测图像块进行划分得到多个第二检测图像块，之后每次按照不同窗口规格依次对上一次得到的多个检测图像块进行划分，直到通过最小的窗口规格执行完划分处理为止。其中，基于每个不同窗口规格对检测屏幕图像进行划分均可以得到多个检测图像块，同一窗口规格得到的对应多个检测图像块的尺寸相同，也就是，不同检测图像块的尺寸与对应滑动窗的尺寸相同。
在划分过程中，可以先建立图像坐标系，以图像坐标系的原点为滑动窗的原点，也就是划分参考点，对检测屏幕图像或者检测图像块进行划分。在本申请实施例中，将检测屏幕图像或者检测图像块中最左上角的像素点确定为图像坐标系的原点或者滑动窗的原点。
示例性地，若检测屏幕图像的尺寸为6*8，且滑动窗的步长为1，滑动窗的移动方向为检测屏幕图像的长度方向，则将检测屏幕图像中最上方的第一个像素点(1，1)确定为划分时图像坐标系的原点，且第一个像素点(1，1)也确定为第一次划分参考点，在第一次划分后进行第二次划分时，将检测屏幕图像中的像素点(1，2)确定为第二次划分参考点，在第二次划分后进行第三次划分时，将检测屏幕图像中的像素点(1，3)确定为第三次划分参考点，依次类推直到执行完整个划分处理。
在上一示例的基础上，若滑动窗的步长为2，则进行划分处理时，将检测屏幕图像中的像素点(1，1)确定为第一次划分参考点，将检测屏幕图像中的像素点(1，3)确定为第二次划分参考点，将检测屏幕图像中的像素点(1，5)确定为第三次划分参考点，依次类推直到执行完整个划分处理。在本申请实施例中，按照其它滑动方向进行划分处理时确定每次划分参考点的方式也类似，对此不再赘述。
S300、基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
上述模板屏幕图像可以为打开BMC的KVM功能后获取目标设备的显示界面得到的图像。该模板屏幕图像可以理解为用户观看目标设备的显示界面时，目标设备的显示界面上显示的图像，该模板屏幕图像的尺寸与目标设备的显示界面上显示的图像的尺寸相同。在本申请实施例中，模板屏幕图像为目标设备的显示界面上显示的无异常图像，即无异常屏幕的图像。
可选地，上述模板屏幕图像中各模板图像块的尺寸与检测图像块的尺寸相同，具体地，可以基于检测图像块的对应窗口规格，对模板屏幕图像进行划分得到多个模板图像块。其中，检测图像块的总数量与模板图像块的总数量相同。
例如，基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，可以是在映射关系表中查找各检测图像块与对应模板图像块之间的相关性，然后查找到的各相关性确定检测屏幕图像的异常检测结果。其中，映射关系表中包括各检测图像块、各模板图像块和检测图像块与模板图像块之间的相关性。
又例如，基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，还可以是采用相关性、平均值、标准差、相关系数、回归线或最小二乘法，分别计算各检测图像块与模板屏幕图像中对应模板图像块之间的相关性，并根据各相关性确定检测屏幕图像的异常检测结果。
其中，上述异常检测结果可以为检测屏幕图像中存在异常缺陷或者不存在异常缺陷。可选地，该异常缺陷可以为检测屏幕图像中存在异常条纹、斑点、色块，也可以为检测屏幕图像的位置颠倒、错乱，当然，还可以为检测屏幕图像扭曲、花屏等缺陷。
在本申请实施例中，检测屏幕图像中不存在异常缺陷时，检测屏幕图像中除了包含目标设备显示界面上显示的图像外，还包括BMC对目标设备的功能测试(如截屏、录屏、语音切换、挂载等)控件或/视图。
本申请实施例提供的屏幕检测方法可以获取当前监测到的目标设备的检测屏幕图像，通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块，基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；该方法考虑了图像像素级，通过不同窗口规格对检测屏幕图像进行划分得到检测屏幕图像中更小的检测图像块，并通过更小的检测图像块与模板屏幕图像中的模板图像块来实现屏幕检测，从而不仅能够提高BMC的显示界面上显示的屏幕图像中是否存在异常缺陷的准确性，还能够提高BMC的显示界面上显示的屏幕图像中是否存在花屏缺陷的准确性，进而提高了BMC的KVM的检测性能，并且基于屏幕检测结果能够及时、快速地对BMC出现的故障问题进行解决，避免影响BMC的正常使用；同时，该方法不需要人工参与屏幕检测，从而还可以节省屏幕检测处理的人力资源成本，并且能够避免人工参与误差，提高屏幕检测处理结果的准确性，还有，该方法不需要人工参与处理，从而可以对大尺寸的检测屏幕图像进行屏幕检测，使得屏幕检测处理的灵活性增大；另外，该方法通过一套计算机处理算法实现屏幕检测，避免采用深度学习网络来实现屏幕检测，从而还可以节省深度学习网络的训练时间以及应用时加载深度学习网络的时间，进而能够提高屏幕检测的效率，缩短屏幕检测的时长。
下面对上述步骤S200中通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块的过程进行说明。在一实施例中，如图2所示，上述多种不同窗口规格包括第一窗口规格和第二窗口规格；上述S200中的步骤可以通过以下步骤实现：
S210、根据第一窗口规格，对检测屏幕图像进行划分，得到多个待检测图像；待检测图像的尺寸与模板屏幕图像的尺寸相同。
在本申请实施例中，设置两个窗口规格，即第一窗口规格和第二窗口规格。基于设置的第一窗口规格对前文步骤中获取到的检测屏幕图像进行划分，得到多个待检测图像。可选地，得到的待检测图像的总数量可以小于或者等于基于第一窗口规格进行划分得到的待检测图像的最大数量。
另外，在本申请实施例中，由于本实施例需要将待检测图像与无异常缺陷的模板屏幕图像进行对比，所以划分得到的待检测图像的尺寸需要与模板屏幕图像的尺寸相同。其中，第一窗口规格包括第一窗口的尺寸和第一窗口的移动步长，第一窗口的尺寸与待检测图像的尺寸相同。
下面对上述步骤中根据第一窗口规格对检测屏幕图像进行划分的方式进行说明。例如，计算机设备可以是预先训练一种算法模型，将前述步骤中获取到的检测屏幕图像和第一窗口规格，输入到该算法模型，该模型按照第一窗口规格对检测屏幕图像进行划分，输出多个待检测图像。
又例如，计算机设备还可以直接按照第一窗口规格对检测屏幕图像进行划分，得到多个待检测图像。
S220、从多个待检测图像中获取满足预设检测条件的目标检测图像；预设检测条件为待检测图像与模板屏幕图像之间的相似度最大的待检测图像。
其中，计算机设备可以基于预设检测条件，从多个待检测图像中筛选出满足预设检测条件的目标检测图像，具体地，可以分别对各待检测图像与模板屏幕图像中的像素点进行对比，确定各待检测图像与模板屏幕图像之间的相似度，然后选取待检测图像与模板屏幕图像之间的相似度最大的待检测图像，并将选取的待检测图像确定为目标检测图像。可选地，所有待检测图像中至少一个待检测图像为满足预设检测条件的图像，即目标检测图像。在本申请实施例中，目标检测图像也可以理解为检测屏幕图像中与模板屏幕图像匹配度最高的部分图像。
S230、根据第二窗口规格，对目标检测图像进行划分得到多个检测图像块。
基于上述步骤获取到的目标检测图像，可以根据预先设置的第二窗口规格对前文步骤中获取到的目标检测图像进行划分得到多个检测图像块。可选地，得到的检测图像块的总数量可以小于或者等于基于第二窗口规格进行划分得到的检测图像块的最大数量。其中，第二窗口规格包括第二窗口的尺寸和第二窗口的移动步长，第二窗口的尺寸与检测图像块的尺寸相同。
下面对上述步骤中根据第二窗口规格对目标检测图像进行划分的方式进行说明。例如，计算机设备可以是预先训练一种算法模型，将前述步骤中获取到的目标检测图像和第二窗口规格，输入到该算法模型，该模型按照第二窗口规格对目标检测图像进行划分，输出多个检测图像块。
又例如，计算机设备还可以直接按照第二窗口规格对目标检测图像进行划分，得到多个检测图像块。
本申请实施例提供的屏幕检测方法可以根据第一窗口规格，对检测屏幕图像进行划分，得到多个待检测图像，从多个待检测图像中获取满足预设检测条件的目标检测图像，并根据第二窗口规格，对目标检测图像进行划分得到多个检测图像块；该方法可以对检测屏幕图像进行两层划分处理，以将检测屏幕图像像素级引入屏幕检测处理中，进一步提高屏幕检测结果的准确性。
在一实施例中，在执行上述S220中的步骤之前，如图3所示，屏幕检测方法还可以包括：
S240、针对各待检测图像，采用平方差匹配法对待检测图像与模板屏幕图像进行相似度处理，得到待检测图像与模板屏幕图像之间的相似度。
可以理解的是，针对各待检测图像，可以采用相似度算法，对待检测图像与模板屏幕图像进行相似度处理，得到待检测图像与模板屏幕图像之间的相似度。该相似度算法可以为杰卡德相似系数、余弦相似度和/或皮尔逊相关系数等等，但在本申请实施例中，该相似度算法为平方差匹配法。
具体地，采用平方差匹配法对待检测图像与模板屏幕图像进行相似度处理得到相似度的过程可以通过公式(1)表示为：
Figure BDA0003868253670000121
其中，公式(1)中的RTI表示待检测图像与模板屏幕图像之间的相似度，T(xi，yi)表示模板屏幕图像中像素点(xi，yi)的像素值，I(xi，yi)表示待检测图像中像素点(xi，yi)的像素值，xi表示待检测图像中像素点的横坐标，yi表示待检测图像中像素点的纵坐标，l表示待检测图像中的像素点的总数量，m表示待检测图像对应的划分参考点的横坐标，n表示待检测图像对应的划分参考点的纵坐标。
在本申请实施例中，待检测图像与模板屏幕图像之间的相似度可以理解为待检测图像与模板屏幕图像之间对应像素点的像素值之间的误差值，自然地，该误差值越小表明待检测图像与模板屏幕图像之间的相似度越大，该误差值越大表明待检测图像与模板屏幕图像之间的相似度越小。
S250、若各待检测图像中存在与模板屏幕图像之间的相似度大于预设相似度阈值的待检测图像，则执行从多个待检测图像中获取满足预设检测条件的目标检测图像的步骤。
对于所有待检测图像中，存在任一待检测图像与模板屏幕图像之间的相似度大于预设相似度阈值时，可以初步判定检测屏幕图像的异常检测结果为不存在异常缺陷，但是为了提高检测屏幕图像的异常检测结果的准确性，还需要做进一步处理，以确定检测屏幕图像的异常检测结果到底是不存在异常缺陷的结果还是存在异常缺陷的结果，此时，可以继续执行上述S220中的步骤。
本申请实施例可以获取待检测图像与模板屏幕图像之间的相似度，并根据待检测图像与模板屏幕图像之间的相似度确定检测屏幕图像的异常检测结果，在初步确定检测屏幕图像的异常检测结果为不存在异常缺陷时，可以需要对待检测图像进一步处理，以确保检测屏幕图像的异常检测结果的正确性。
另外，一个实施例中，在上述步骤S240之后，上述屏幕检测方法还可以包括：若各待检测图像与模板屏幕图像之间的相似度均小于或等于预设相似度阈值，则确定检测屏幕图像的异常检测结果为存在异常缺陷，并结束屏幕检测流程。
计算机设备基于上述获取到的各待检测图像与模板屏幕图像之间的相似度，若确定各待检测图像与模板屏幕图像之间的相似度均小于或等于预设相似度阈值时，可以确定检测屏幕图像的异常检测结果为存在异常缺陷，此时，可以直接结束屏幕检测处理流程，不需要执行其它步骤。
本申请实施例可以根据各待检测图像与模板屏幕图像之间的相似度，确定检测屏幕图像的异常检测结果为存在异常缺陷，即确定检测屏幕图像中存在异常缺陷，进而结束屏幕检测结束处理流程，从而能够减小屏幕检测处理的运算量，缩短屏幕检测的处理时长。
在一些场景下，为了提高屏幕检测结果的准确性，在初步判定检测屏幕图像的异常检测结果为不存在异常缺陷，还需要做进一步处理，下面将介绍进一步处理的具体过程。在一实施例中，多种不同窗口包括第二窗口规格；如图4所示，上述S300中基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果的过程，可以包括以下步骤：
S310、根据第二窗口规格，对模板屏幕图像进行划分得到多个模板图像块。
为了将检测图像块与模板屏幕图像进行对比，需要将模板屏幕图像也划分成与检测图像块的尺寸相同的图像块，因此，在本申请实施例中，可以基于设置的第二窗口规格对前文步骤中获取到的模板屏幕图像进行划分，得到多个模板图像块。可选地，得到的模板图像块的总数量可以小于或者等于基于第二窗口规格进行划分得到的模板图像块的最大数量，但在本实施例中，获取到的模板图像块的总数量等于获取到的检测图像块的总数量。
下面对上述步骤中根据第二窗口规格对模板屏幕图像进行划分得到多个模板图像块的方式进行说明。例如，计算机设备可以是预先训练一种算法模型，将前述步骤中获取到的模板屏幕图像和第二窗口规格，输入到该算法模型，该模型按照第二窗口规格对模板屏幕图像进行划分，输出多个模板图像块。
又例如，计算机设备还可以直接按照第二窗口规格对模板屏幕图像进行划分，得到多个模板图像块。
S320、分别获取检测图像块对应的各像素通道的第一灰度图像，以及获取各模板图像块对应的各像素通道的第二灰度图像。
对于任意图像中的像素点均包括三个像素通道，即R通道、G通道和B通道，对应地，检测图像块和模板图像块对应的各像素通道均为R通道、G通道和B通道。
其中，各检测图像块中每个像素点均有对应的像素值，则获取的各检测图像块对应的R通道的第一灰度图像为各检测图像块中每个像素点的R像素值组成的图像、获取的各检测图像块对应的G通道的第一灰度图像为各检测图像块中每个像素点的G像素值组成的图像、获取的各检测图像块对应的B通道的第一灰度图像为各检测图像块中每个像素点的B像素值组成的图像。
同时，获取的各模板图像块对应的R通道的第二灰度图像为各模板图像块中每个像素点的R像素值组成的图像、获取的各模板图像块对应的G通道的第二灰度图像为各模板图像块中每个像素点的G像素值组成的图像、获取的各模板图像块对应的B通道的第二灰度图像为各模板图像块中每个像素点的B像素值组成的图像。
S330、对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图。
具体地，基于上述获取到的各检测图像块对应的各第一灰度图像，采用第一直方图处理算法，对各第一灰度图像进行直方图处理得到对应的第一灰度直方图。同时，基于上述获取到的各模板图像块对应的各第二灰度图像，采用第二直方图处理算法，对各第二灰度图像进行直方图处理得到对应的第二灰度直方图。
可选地，上述第一直方图处理算法和第二直方图处理算法均可以为直方图均衡化算法或直方图规定化算法等等。在本申请实施例中，为了减小屏幕检测处理算法的复杂度，第一直方图处理算法与第二直方图处理算法相同，且直方图处理可以理解为统计灰度图像中所有像素点中相同像素值的总数量的过程。
示例性地，一检测图像块T′w(x，y)对应的R通道的第一灰度图像表示为T′wr(x，y)、对应的G通道的第一灰度图像表示为T′wg(x，y)、对应的B通道的第一灰度图像表示为T′wb(x，y)，对应地模板图像块Tw(x，y)对应的R通道的第一灰度图像表示为Twr(x，y)、对应的G通道的第一灰度图像表示为Twg(x，y)、对应的B通道的第一灰度图像表示为Twb(x，y)。在本申请实施例中，以T′wr(x，y)为例，采用如下方式进行直方图处理，具体为：
Figure BDA0003868253670000151
其中，式(2)中P表示像素值，
Figure BDA0003868253670000152
表示T′wr(x，y)中像素值为Pk的所有像素点的总数量，该Pk可以等于0～255，k表示T′wr(x，y)中的不同像素值的总数量，即256，自然地，T′wr(x，y)对应的第一直方图可以为一个1*256的向量，
Figure BDA0003868253670000161
只是第一直方图中的一维向量。对应地，第一灰度图像T′wg(x，y)和T′wb(x，y)，以及第二灰度图像Twr(x，y)、Twg(x，y)和Twb(x，y)对应的第二直方图可以为一个1*256的向量。
S340、通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果。
其中，基于前文步骤中获取到的各第一灰度直方图和各第二灰度直方图，针对各第一灰度直方图，可以对第一灰度直方图和任一第二灰度直方图进行相关性处理，并对相关性处理结果进行处理，确定检测屏幕图像的异常检测结果。
但在本申请实施例中，每个检测图像块均有对应的模板图像块，自然地，每个第一灰度直方图均有对应的第二灰度直方图。为了减少运算量，针对各第一灰度直方图，可以采用相关性算法对第一灰度直方图和对应的第二灰度直方图进行相关性处理，并对相关性处理结果进行处理，确定检测屏幕图像的异常检测结果。
在本申请实施例中，为了提高相关性处理结果，在执行上述S340之前，可以先对各第一灰度直方图和各第二灰度直方图进行归一化处理，然后通过各归一化处理后的第一灰度直方图和各归一化处理后的第二灰度直方图。
继续上一示例，若第一灰度图像T′wr(x，y)、T′wg(x，y)和T′wb(x，y)对应的第一灰度直方图表示为H′wr(P)、H′wg(P)和H′wb(P)，第二灰度图像Twr(x，y)、Twg(x，y)和Twb(x，y)对应的第二灰度直方图表示为Hwr(P)、Hwg(P)和Hwb(P)，在这里，以H′wr(P)为例对归一化处理进行说明，H′wr(P)对应归一化处理后的第一灰度直方图H′wrn(P)可以通过公式(3)表示为：
Figure BDA0003868253670000162
式(3)中，min(H′wr(P))表示H′wr(Pk)中的最小值，max(H′wr(P))表示H′wr(Pk)中的最大值，通常默认max等于1，min等于0。
本申请实施例提供的屏幕检测方法可以根据第二窗口规格，对模板屏幕图像进行划分得到多个模板图像块，分别获取检测图像块对应的各像素通道的第一灰度图像，以及获取各模板图像块对应的各像素通道的第二灰度图像，对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图，通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果；该方法在初步判定检测屏幕图像的异常检测结果为不存在异常缺陷的基础上，可以进一步对各检测图像块和模板屏幕图像中的图像块进行处理，即实现检测屏幕图像与模板屏幕图像之间像素级的处理确定检测屏幕图像的最终异常检测结果，从而能够更精准的确定检测屏幕图像的最终异常检测结果，提高屏幕检测结果的准确性，避免因屏幕检测结果不准确而导致异常维护BMC的问题，进而还能够降低BMC的维护成本。
下面对上述步骤S340中通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果的过程进行说明。在一实施例中，异常检测结果包括不存在异常缺陷；如图5所示，上述S340中的步骤可以通过以下步骤实现：
S341、针对任一第一灰度直方图，对第一灰度直方图与对应的第二灰度直方图进行相关性处理，得到第一灰度直方图与对应第二灰度直方图之间的相关性值。
在本申请实施例中，针对任一第一灰度直方图，对第一灰度直方图与对应的第二灰度直方图进行相关性处理。继续参见上一示例，以H′wrn(P)和Hwrn(P)为例对相关性处理进行说明，具体过程如公式()表示为：
Figure BDA0003868253670000171
式(4)中
Figure BDA0003868253670000172
等于
Figure BDA0003868253670000173
S342、若各相关性值均大于或等于预设的相关性阈值，则确定检测图像块中不存在异常缺陷。
在本申请实施例中，若Cor(H′wrn(P)，Hwrn(P))的值为1，表明H′wrn(P)和Hwrn(P)完全一样，即检测图像块与模板图像块完全一样；若Cor(H′wrn(P)，Hwrn(P))的值越小，表明H′wrn(P)和Hwrn(P)两者的区别越大。
基于上述步骤中获取到的各第一灰度直方图与对应第二灰度直方图之间的相关性值，针对各第一灰度直方图，判断第一灰度直方图与对应第二灰度直方图之间的相关性值是否大于或等于预设的相关性阈值，若确定各第一灰度直方图与对应第二灰度直方图之间的相关性值均大于或等于预设的相关性阈值，则确定第一灰度直方图对应的检测图像块中不存在异常缺陷。
S343、若各检测图像块中均不存在异常缺陷，则确定检测屏幕图像的异常检测结果为不存在异常缺陷。
基于前文步骤确定的各检测图像块中均不存在异常缺陷时，确定检测屏幕图像中的各检测图像块中均不存在异常缺陷，也就是，确定检测屏幕图像的异常检测结果为不存在异常缺陷。在实际处理过程中，需要确定各相关性值均大于或等于预设的相关性阈值，才能确定检测屏幕图像中任一位置均不存在异常缺陷，即检测屏幕图像的异常检测结果为不存在异常缺陷，这样保证了对检测屏幕图像中的任意位置均执行过屏幕检测，提高屏幕检测结果的准确性。
同时，在上述S341的步骤之后，上述屏幕检测方法还包括：若各相关性值中存在相关性小于相关性阈值的值，则确定检测屏幕图像的异常检测结果为存在异常缺陷；异常缺陷为花屏缺陷。
基于上述步骤中获取到的各第一灰度直方图与对应第二灰度直方图之间的相关性值，针对各第一灰度直方图，依次判断第一灰度直方图与对应第二灰度直方图之间的相关性值是否小于预设的相关性阈值，若确定存在第一灰度直方图与对应第二灰度直方图之间的相关性值小于预设的相关性阈值时，可以停止判断，确定检测屏幕图像中存在某一检测图像块所在区域存在异常缺陷，即确定检测屏幕图像的异常检测结果为存在异常缺陷。
在实际应用中，若第一次判断时确定第一灰度直方图与对应第二灰度直方图之间的相关性值小于预设的相关性阈值，此时就需要继续执行其它判断过程，可以直接确定检测屏幕图像的异常检测结果为存在异常缺陷，这样可以大大减少屏幕检测的运算量。在本申请实施例中，是以异常缺陷为花屏缺陷为例对屏幕检测处理过程进行说明的。
本申请实施例在确定存在第一灰度直方图与对应第二灰度直方图之间的相关性值小于预设的相关性阈值时，可以直接确定检测屏幕图像的异常检测结果为存在异常缺陷，该方法既能够保证遗漏检测的问题提高屏幕检测结果的准确性，还能够在确定出某一第一灰度直方图与对应第二灰度直方图之间的相关性值小于预设的相关性阈值时，可以直接检测屏幕图像的异常检测结果为存在异常缺陷，此时可以结束屏幕检测处理流程，从而提高屏幕检测速度，并在一定程度上缩减屏幕检测时长。
本申请实施例提供的屏幕检测方法可以通过计算检测图像块与模板图像块之间各像素通道对应的灰度图像之间对应的相关性，从而能够基于各像素通道对目标检测图像与模板屏幕图像进行相关性处理，即能够从图像像素级分析目标检测图像与模板屏幕图像之间的相关性，使得相关性处理结果更加准确，并基于相关性处理结果确定检测屏幕图像的异常检测结果，从而使得屏幕检测结果更准确。
为了便于本领域技术人员的理解，以执行主体为计算机设备为例介绍本申请提供的屏幕检测方法，具体的，该方法包括：
(1)获取当前监测到的目标设备的检测屏幕图像。
(2)根据第一窗口规格，对检测屏幕图像进行划分，得到多个待检测图像；待检测图像的尺寸与模板屏幕图像的尺寸相同。
(3)针对各待检测图像，采用平方差匹配法对待检测图像与模板屏幕图像进行相似度处理，得到待检测图像与模板屏幕图像之间的相似度。
(4)若各待检测图像中存在与模板屏幕图像之间的相似度大于预设相似度阈值的待检测图像，则从多个待检测图像中获取满足预设检测条件的目标检测图像；预设检测条件为待检测图像与模板屏幕图像之间的相似度最大的待检测图像。
(5)根据第二窗口规格，对目标检测图像进行划分得到多个检测图像块。
(6)基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
(7)若各待检测图像与模板屏幕图像之间的相似度均小于或等于预设相似度阈值，则确定检测屏幕图像的异常检测结果为存在异常缺陷，并结束屏幕检测流程。
(8)根据第二窗口规格，对模板屏幕图像进行划分得到多个模板图像块。
(9)分别获取检测图像块对应的各像素通道的第一灰度图像，以及获取各模板图像块对应的各像素通道的第二灰度图像。
(10)对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图。
(11)针对任一第一灰度直方图，对第一灰度直方图与对应的第二灰度直方图进行相关性处理，得到第一灰度直方图与对应第二灰度直方图之间的相关性值。
(12)若各相关性值均大于或等于预设的相关性阈值，则确定检测图像块中不存在异常缺陷。
(13)若各检测图像块中均不存在异常缺陷，则确定检测屏幕图像的异常检测结果为不存在异常缺陷。
(14)若各相关性值中存在相关性小于相关性阈值的值，则确定检测屏幕图像的异常检测结果为存在异常缺陷；异常缺陷为花屏缺陷。
以上(1)至(14)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。
应该理解的是，虽然图1-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种屏幕检测装置，包括：屏幕图像获取模块11、图像划分模块12和相关性处理模块13，其中：
屏幕图像获取模块11，用于获取当前监测到的目标设备的检测屏幕图像；
图像划分模块12，用于通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块；
相关性处理模块13，用于根据多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
本实施例提供的屏幕检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，多种不同窗口规格包括第一窗口规格和第二窗口规格；图像划分模块12包括：第一划分单元、模板检测图像获取单元和第二划分单元，其中：
第一划分单元，用于根据第一窗口规格，对检测屏幕图像进行划分，得到多个待检测图像；待检测图像的尺寸与模板屏幕图像的尺寸相同；
模板检测图像获取单元，用于从多个待检测图像中获取满足预设检测条件的目标检测图像；预设检测条件为待检测图像与模板屏幕图像之间的相似度最大的待检测图像；
第二划分单元，用于根据第二窗口规格，对目标检测图像进行划分得到多个检测图像块。
本实施例提供的屏幕检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，图像划分模块12还包括：相似度处理单元和确定执行单元，其中：
相似度处理单元，用于针对各待检测图像，采用平方差匹配法对待检测图像与模板屏幕图像进行相似度处理，得到待检测图像与模板屏幕图像之间的相似度；
确定执行单元，用于在各待检测图像中存在与模板屏幕图像之间的相似度大于预设相似度阈值的待检测图像时，确定执行从多个待检测图像中获取满足预设检测条件的目标检测图像的步骤。
本实施例提供的屏幕检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，异常检测结果包括存在异常缺陷；图像划分模块12还包括：第一检测结果确定单元，其中：
第一检测结果确定单元，用于在各待检测图像与模板屏幕图像之间的相似度均小于或等于预设相似度阈值时，确定检测屏幕图像的异常检测结果为存在异常缺陷，并结束屏幕检测流程。
本实施例提供的屏幕检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，多种不同窗口包括第二窗口规格；相关性处理模块13包括：第三划分单元、灰度图像获取单元、直方图处理单元和相关性处理单元，其中：
第三划分单元，用于根据第二窗口规格，对模板屏幕图像进行划分得到多个模板图像块；
灰度图像获取单元，用于分别获取检测图像块对应的各像素通道的第一灰度图像，以及获取各模板图像块对应的各像素通道的第二灰度图像；
直方图处理单元，用于对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图；
相关性处理单元，用于通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定检测屏幕图像的异常检测结果。
本实施例提供的屏幕检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，异常检测结果包括不存在异常缺陷；相关性处理单元包括：相关性处理子单元、第一确定子单元和第二确定子单元，其中：
相关性处理子单元，用于针对任一第一灰度直方图，对第一灰度直方图与对应的第二灰度直方图进行相关性处理，得到第一灰度直方图与对应第二灰度直方图之间的相关性值；
第一确定子单元，用于在各相关性值均大于或等于预设的相关性阈值时，确定检测图像块中不存在异常缺陷；
第二确定子单元，用于在各检测图像块中均不存在异常缺陷时，确定检测屏幕图像的异常检测结果为不存在异常缺陷。
本实施例提供的屏幕检测装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于屏幕检测装置的具体限定可以参见上文中对于屏幕检测方法的限定，在此不再赘述。上述屏幕检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储检测屏幕图像和模板屏幕图像。该计算机设备的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种屏幕检测方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取当前监测到的目标设备的检测屏幕图像；
通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块；
基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取当前监测到的目标设备的检测屏幕图像；
通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块；
基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取当前监测到的目标设备的检测屏幕图像；
通过多种不同窗口规格对检测屏幕图像进行划分，得到多个检测图像块；
基于多个检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定检测屏幕图像的异常检测结果；模板屏幕图像为目标设备的无异常屏幕的图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种屏幕检测方法，其特征在于，所述方法包括：
获取当前监测到的目标设备的检测屏幕图像；
通过多种不同窗口规格对所述检测屏幕图像进行划分，得到多个检测图像块；
基于多个所述检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定所述检测屏幕图像的异常检测结果；所述模板屏幕图像为所述目标设备的无异常屏幕的图像。
2.根据权利要求1所述的方法，其特征在于，所述多种不同窗口规格包括第一窗口规格和第二窗口规格；所述通过多种不同窗口规格对所述检测屏幕图像进行划分，得到多个检测图像块，包括：
根据所述第一窗口规格，对所述检测屏幕图像进行划分，得到多个待检测图像；所述待检测图像的尺寸与所述模板屏幕图像的尺寸相同；
从多个所述待检测图像中获取满足预设检测条件的目标检测图像；所述预设检测条件为所述待检测图像与所述模板屏幕图像之间的相似度最大的待检测图像；
根据所述第二窗口规格，对所述目标检测图像进行划分得到多个检测图像块。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
针对各所述待检测图像，采用平方差匹配法对所述待检测图像与所述模板屏幕图像进行相似度处理，得到所述待检测图像与所述模板屏幕图像之间的相似度；
若各所述待检测图像中存在与所述模板屏幕图像之间的相似度大于预设相似度阈值的待检测图像，则执行所述从多个所述待检测图像中获取满足预设检测条件的目标检测图像的步骤。
4.根据权利要求3所述的方法，其特征在于，所述异常检测结果包括存在异常缺陷；所述方法还包括：
若各所述待检测图像与所述模板屏幕图像之间的相似度均小于或等于所述预设相似度阈值，则确定所述检测屏幕图像的异常检测结果为存在异常缺陷，并结束屏幕检测流程。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述多种不同窗口包括第二窗口规格，所述基于多个所述检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定所述检测屏幕图像的异常检测结果，包括：
根据所述第二窗口规格，对所述模板屏幕图像进行划分得到多个模板图像块；
分别获取所述检测图像块对应的各像素通道的第一灰度图像，以及获取各所述模板图像块对应的各像素通道的第二灰度图像；
对各第一灰度图像进行直方图处理得到对应的第一灰度直方图，以及对各第二灰度图像进行直方图处理得到对应的第二灰度直方图；
通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定所述检测屏幕图像的异常检测结果。
6.根据权利要求5所述的方法，其特征在于，所述异常检测结果包括不存在异常缺陷；所述通过各第一灰度直方图和各第二灰度直方图进行相关性处理，确定所述检测屏幕图像的异常检测结果，包括：
针对任一第一灰度直方图，对所述第一灰度直方图与对应的第二灰度直方图进行相关性处理，得到所述第一灰度直方图与对应第二灰度直方图之间的相关性值；
若各所述相关性值均大于或等于预设的相关性阈值，则确定所述检测图像块中不存在异常缺陷；
若各所述检测图像块中均不存在异常缺陷，则确定所述检测屏幕图像的异常检测结果为不存在异常缺陷。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若各所述相关性值中存在相关性小于所述相关性阈值的值，则确定所述检测屏幕图像的异常检测结果为存在异常缺陷；所述异常缺陷为花屏缺陷。
8.一种屏幕检测装置，其特征在于，所述装置包括：
屏幕图像获取模块，用于获取当前监测到的目标设备的检测屏幕图像；
图像划分模块，用于通过多种不同窗口规格对所述检测屏幕图像进行划分，得到多个检测图像块；
相关性处理模块，用于根据多个所述检测图像块与模板屏幕图像中多个模板图像块进行相关性处理，确定所述检测屏幕图像的异常检测结果；所述模板屏幕图像为所述目标设备的无异常屏幕的图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的屏幕检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的屏幕检测方法的步骤。
CN202211187228.7A 2022-09-28 2022-09-28 屏幕检测方法、装置、计算机设备及可读存储介质 Pending CN115578329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211187228.7A CN115578329A (zh) 2022-09-28 2022-09-28 屏幕检测方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211187228.7A CN115578329A (zh) 2022-09-28 2022-09-28 屏幕检测方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115578329A true CN115578329A (zh) 2023-01-06

Family

ID=84583278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211187228.7A Pending CN115578329A (zh) 2022-09-28 2022-09-28 屏幕检测方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN115578329A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115433A (zh) * 2023-10-24 2023-11-24 深圳市磐鼎科技有限公司 显示异常检测方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885637A (zh) * 2017-11-09 2018-04-06 紫光华山信息技术有限公司 一种服务器异常检测方法及装置
CN109949295A (zh) * 2019-03-21 2019-06-28 中国工商银行股份有限公司 浏览器网页的差异性检测方法、装置及计算机存储介质
CN111047558A (zh) * 2019-11-20 2020-04-21 深圳市康冠智能科技有限公司 图像检测方法、装置、计算机设备以及存储介质
CN111929328A (zh) * 2020-09-09 2020-11-13 深兰人工智能芯片研究院（江苏）有限公司 拉链缺陷检测方法和装置
CN112037203A (zh) * 2020-08-31 2020-12-04 济南大学 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
CN112734691A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机系统工程有限公司 一种工业制品缺陷检测方法、装置、终端设备及存储介质
CN112907536A (zh) * 2021-02-20 2021-06-04 云南电网有限责任公司电力科学研究院 一种用于压接型耐张线夹的压接缺陷检测方法及装置
CN113781393A (zh) * 2021-08-04 2021-12-10 深圳市鑫信腾科技股份有限公司 屏幕缺陷检测方法、装置、设备及存储介质
CN114091620A (zh) * 2021-12-01 2022-02-25 常州市宏发纵横新材料科技股份有限公司 一种模板匹配检测方法、计算机设备及存储介质
CN115018797A (zh) * 2022-06-13 2022-09-06 歌尔股份有限公司 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107885637A (zh) * 2017-11-09 2018-04-06 紫光华山信息技术有限公司 一种服务器异常检测方法及装置
CN109949295A (zh) * 2019-03-21 2019-06-28 中国工商银行股份有限公司 浏览器网页的差异性检测方法、装置及计算机存储介质
CN111047558A (zh) * 2019-11-20 2020-04-21 深圳市康冠智能科技有限公司 图像检测方法、装置、计算机设备以及存储介质
CN112037203A (zh) * 2020-08-31 2020-12-04 济南大学 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
CN111929328A (zh) * 2020-09-09 2020-11-13 深兰人工智能芯片研究院（江苏）有限公司 拉链缺陷检测方法和装置
CN112734691A (zh) * 2020-12-17 2021-04-30 郑州金惠计算机系统工程有限公司 一种工业制品缺陷检测方法、装置、终端设备及存储介质
CN112907536A (zh) * 2021-02-20 2021-06-04 云南电网有限责任公司电力科学研究院 一种用于压接型耐张线夹的压接缺陷检测方法及装置
CN113781393A (zh) * 2021-08-04 2021-12-10 深圳市鑫信腾科技股份有限公司 屏幕缺陷检测方法、装置、设备及存储介质
CN114091620A (zh) * 2021-12-01 2022-02-25 常州市宏发纵横新材料科技股份有限公司 一种模板匹配检测方法、计算机设备及存储介质
CN115018797A (zh) * 2022-06-13 2022-09-06 歌尔股份有限公司 屏幕缺陷的检测方法、检测设备以及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115433A (zh) * 2023-10-24 2023-11-24 深圳市磐鼎科技有限公司 显示异常检测方法、装置、设备及存储介质
CN117115433B (zh) * 2023-10-24 2024-05-07 深圳市磐鼎科技有限公司 显示异常检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN111582021B (zh) 场景图像中的文本检测方法、装置及计算机设备
US10783643B1 (en) Segmentation-based damage detection
US10832032B2 (en) Facial recognition method, facial recognition system, and non-transitory recording medium
CN109840524B (zh) 文字的类型识别方法、装置、设备及存储介质
EP2806374A1 (en) Method and system for automatic selection of one or more image processing algorithm
US10885625B2 (en) Recognizing damage through image analysis
WO2020155485A1 (zh) 图片差异性判断方法、装置、计算机设备和存储介质
CN111915549A (zh) 瑕疵检测方法、电子装置及计算机可读存储介质
CN111429482A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN111915541B (zh) 基于人工智能的图像增强处理方法、装置、设备及介质
WO2022027913A1 (zh) 目标检测模型生成方法、装置、设备及存储介质
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN115578329A (zh) 屏幕检测方法、装置、计算机设备及可读存储介质
CN111488883A (zh) 车架号识别方法、装置、计算机设备和存储介质
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
US20230410484A1 (en) Anomaly detection using a convolutional neural network and feature based memories
CN114429441A (zh) 一种异常检测方法及装置、设备、存储介质
CN113554645B (zh) 基于wgan的工业异常检测方法和装置
JP7483095B2 (ja) 産業システムのための多目的異常検出システム
CN111797993B (zh) 深度学习模型的评价方法、装置、电子设备及存储介质
WO2021068589A1 (zh) 一种图像中物体及其关键点的确定方法和装置
CN111640134B (zh) 人脸跟踪方法、装置、计算机设备及其存储装置
US20200167908A1 (en) Determination device and determining method thereof
CN115512189A (zh) 图像识别模型评估方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination