CN111175318A - 屏幕划痕碎裂检测方法及设备 - Google Patents

Abstract

本发明的目的是提供一种屏幕划痕碎裂检测方法及设备，本发明通过分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框，可以准确识别出手机等设备屏幕上的划痕纹或碎裂纹，可以提高手机等智能设备估价回收等效率。

Description

屏幕划痕碎裂检测方法及设备

技术领域

本发明涉及计算机领域，尤其涉及一种屏幕划痕碎裂检测方法及设备。

背景技术

现有的手机等设备等屏幕划痕碎裂检测方式都是人工方式，费时费力，影响手机等智能设备估价回收等效率。

发明内容

本发明的一个目的是提供一种屏幕划痕碎裂检测方法及设备。

根据本发明的一个方面，提供了一种屏幕划痕碎裂检测方法，该方法包括：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

进一步的，上述方法中，所述卷积神经网络为resnext101卷积神经网络。

进一步的，上述方法中，分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中，目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：

基于所述黄色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；

通过RPN(Region Proposal Network)网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；

选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；

将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；

将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；

若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

进一步的，上述方法中，输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：

对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

进一步的，上述方法中，所述分类神经网络为全连接层分类神经网络。

根据本发明的另一方面，还提供一种屏幕划痕碎裂检测设备，其中，该设备包括：

显示拍摄装置，用于控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

特征提取装置，用于将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

识别装置，用于分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

进一步的，上述设备中，所述卷积神经网络为resnext101卷积神经网络。

进一步的，上述设备中，所述识别装置，用于：

基于所述黄色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；

通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；

选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；

将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；

将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；

若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

进一步的，上述设备中，所述识别装置，用于：

对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

进一步的，上述设备中，所述分类神经网络为全连接层分类神经网络。

根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

与现有技术相比，本发明通过分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框，可以准确识别出手机等设备屏幕上的划痕纹或碎裂纹，可以提高手机等智能设备估价回收等效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出本发明一实施例的屏幕划痕碎裂检测方法的流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

如图1所示，本发明提供一种屏幕划痕碎裂检测方法，所述方法包括：

步骤S1,控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

在此，针对白色轮廓的设备如手机、PAD等，通过获取黄色屏幕图像，可以保证此类设备的屏幕上的划痕纹、碎裂纹的识别准确度；

步骤S2,控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

在此，拍摄高、低曝光值图片的目的是：高曝光值图片有利于拍摄深色屏幕表面纹路，但对于亮色屏幕表面纹路容易产生过曝问题，因此需要使用低曝光值图片辅助检测；

拍摄黑、黄两种图片的目的是：经过实验得知不同类型的纹路在不同背景颜色图片拍摄下清晰程度不同，因此我们选用了实验效果较好的黑色和黄色图片作为背景；

步骤S3,将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

在此，所述卷积神经网络可以是resnext101卷积神经网络，以提取到准确的图像特征；

步骤S4，分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

在此，本发明通过分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框，可以准确识别出手机等设备屏幕上的划痕纹或碎裂纹，可以提高手机等智能设备估价回收等效率。

本发明的屏幕划痕碎裂检测方法一实施例中，步骤S4，分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中，目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：

步骤S41，基于所述黄色屏幕图像对应的图像特征，并通过FPN

(feature pyramid networks)方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；

步骤S42，通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过PRN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；

步骤S43，选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；

在此，可以选取概率值较大的所述黄色屏幕图像中的前1000个的目标候选框；选取概率值较大的所述黑色屏幕图像中的前1000个的目标候选框；

步骤S44，将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；

在此，所述分类神经网络可以是全连接层分类神经网络，以得到可靠等分类；

步骤S45，将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；

在此，例如，所述神经网络输出某个目标候选框a的背景类别的概率值为0.2，划痕纹类别的概率值为0.3，碎裂纹类别的概率值为0.5，那么该目标候选框a的初始类别为碎裂纹类别；

又如，所述神经网络输出某个目标候选框b的背景类别的概率值为0.1，划痕纹类别的概率值为0.2，碎裂纹类别的概率值为0.7，那么该目标候选框b的初始类别为碎裂纹类别；

步骤S46，若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；

在此，例如，预设概率阈值为0.6，

所述神经网络输出某个目标候选框a的初始类别为碎裂纹类别，碎裂纹类别的概率值为0.5，由于没有超过0.6的预设概率阈值，所以该目标候选框a的碎裂纹类别的初始类别不能作为目标类别；

又如，所述神经网络输出某个目标候选框b的初始类别为碎裂纹类别，碎裂纹类别的概率值为0.7，由于超过0.6的预设概率阈值，所以该目标候选框b的碎裂纹类别的初始类别可以作为目标类别；

步骤S47，输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

在此，本实施例通过目标候选框的初始类别的确定，再从确定初始类别的目标候选框中筛选出确定目标类别的目标候选框，能够进一步可靠、准确的识别出手机等设备屏幕上的划痕纹或碎裂纹。

本发明的屏幕划痕碎裂检测方法一实施例中，步骤S47，输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：

步骤S471，对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；

步骤S472，输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

在此，所述预设比例阈值可以为0.7，当所述排序队列中的后续队列中的每一个目标候选框与所述基准候选框的重叠面积超过0.7的比例所述基准候选框的面积，则将目标候选框及其对应的目标类别删除；

本实施例通过将重叠面积超过预设比例的基准候选框的面积准候选框的面积的阈值的后续每一个目标候选框进行进一步过滤删除，可以保证输出的可靠的确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

本发明提供一种屏幕划痕碎裂检测设备，所述设备包括：

显示拍摄装置,用于控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

在此，针对白色轮廓的设备如手机、PAD等，通过获取黄色屏幕图像，可以保证此类设备的屏幕上的划痕纹、碎裂纹的识别准确度；

特征提取装置,用于将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

在此，所述卷积神经网络可以是resnext101卷积神经网络，以提取到准确的图像特征；

识别装置，用于分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

在此，本发明通过分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框，可以准确识别出手机等设备屏幕上的划痕纹或碎裂纹，可以提高手机等智能设备估价回收等效率。

本发明的屏幕划痕碎裂检测方法一实施例中，所述识别装置，用于：

基于所述黄色屏幕图像对应的图像特征，并通过FPN(feature pyramidnetworks)方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；

通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；

选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；

在此，可以选取概率值较大的所述黄色屏幕图像中的前1000个的目标候选框；选取概率值较大的所述黑色屏幕图像中的前1000个的目标候选框；

将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；

在此，所述分类神经网络可以是全连接层分类神经网络；

将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；

在此，例如，所述神经网络输出某个目标候选框a的背景类别的概率值为0.2，划痕纹类别的概率值为0.3，碎裂纹类别的概率值为0.5，那么该目标候选框a的初始类别为碎裂纹类别；

又如，所述神经网络输出某个目标候选框b的背景类别的概率值为0.1，划痕纹类别的概率值为0.2，碎裂纹类别的概率值为0.7，那么该目标候选框b的初始类别为碎裂纹类别；

若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；

在此，例如，预设概率阈值为0.6，

所述神经网络输出某个目标候选框a的初始类别为碎裂纹类别，碎裂纹类别的概率值为0.5，由于没有超过0.6的预设概率阈值，所以该目标候选框a的碎裂纹类别的初始类别不能作为目标类别；

又如，所述神经网络输出某个目标候选框b的初始类别为碎裂纹类别，碎裂纹类别的概率值为0.7，由于没有超过0.6的预设概率阈值，所以该目标候选框b的碎裂纹类别的初始类别可以作为目标类别；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

在此，本实施例通过目标候选框的初始类别的确定，再从确定初始类别的目标候选框中筛选出确定目标类别的目标候选框，能够进一步可靠、准确的识别出手机等设备屏幕上的划痕纹或碎裂纹。

本发明的屏幕划痕碎裂检测方法一实施例中，所述识别装置，用于：

对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

在此，所述预设比例阈值可以为0.7，当所述排序队列中的后续队列中的每一个目标候选框与所述基准候选框的重叠面积超过0.7的比例所述基准候选框的面积，则将目标候选框及其对应的目标类别删除；

本实施例通过将重叠面积超过预设比例的基准候选框的面积准候选框的面积的阈值的后续每一个目标候选框进行进一步过滤删除，可以保证输出的可靠的确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

根据本发明的另一方面，还提供一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

本发明的各设备和存储介质实施例的详细内容，具体可参见各方法实施例的对应部分，在此，不再赘述。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (12)

1.一种屏幕划痕碎裂检测方法，其中，该方法包括：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

2.根据权利要求1所述的方法，其中，所述卷积神经网络为resnext101卷积神经网络。

3.根据权利要求1所述的方法，其中，分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中，目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：

基于所述黄色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；

通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；

选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；

将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；

将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；

若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

4.根据权利要求3所述的方法，其中，输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框，包括：

对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

5.根据权利要求1所述的方法，其中，所述分类神经网络为全连接层分类神经网络。

6.一种屏幕划痕碎裂检测设备，其中，该设备包括：

显示拍摄装置，用于控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

特征提取装置，用于将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

识别装置，用于分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

7.根据权利要求6所述的设备，其中，所述卷积神经网络为resnext101卷积神经网络。

8.根据权利要求6所述的设备，其中，所述识别装置，用于：

基于所述黄色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黄色屏幕图像对应的不同尺度的多层特征层；基于所述黑色屏幕图像对应的图像特征和黑色屏幕图像对应的图像特征，并通过FPN方法，得到对应的所述黑色屏幕图像对应的不同尺度的多层特征层；

通过RPN网络在所述黄色屏幕图像对应的不同尺度的多层特征层进行所述黄色屏幕图像中的目标候选框的提取，并预设所述黄色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；通过RPN网络在所述黑色屏幕图像对应的不同尺度的多层特征层进行所述黑色屏幕图像中的目标候选框的提取，并预设所述黑色屏幕图像中的每个目标候选框存在划痕纹和碎裂纹的概率值；

选取概率值较大的所述黄色屏幕图像中的前预设个数的目标候选框；选取概率值较大的所述黑色屏幕图像中的前预设个数的目标候选框；

将所述黄色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黄色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；将所述黑色色屏幕图像中的前预设个数的目标候选框输入分类神经网络，并获取对应输出的所述黑色屏幕图像中的前预设个数的目标候选框中的每一目标候选框分别属于背景类别、划痕纹类别和碎裂纹类别的概率值；

将每个目标候选框的概率值较大的对应类别确定为该目标候选框的初始类别；

若确定初始类别的目标候选框的该初始类别的概率值大于预设概率阈值，则将该初始类别确定为该目标候选框的目标类别；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

9.根据权利要求8所述的设备，其中，所述识别装置，用于：

对所述黄色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第一排序队列，将所述第一排序队列中概率值最高的目标候选框作为第一基准候选框，若所述第一排序队列中的后续队列中的每一个目标候选框与所述第一基准候选框的重叠面积是超过预设比例的第一基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；对所述黑色屏幕图像中的确定了目标类别的位置重叠的目标候选框基于概率值进行降序排列得到第二排序队列，将所述第二排序队列中概率值最高的目标候选框作为第二基准候选框，若所述第二排序队列中的后续每一个目标候选框与所述第二基准候选框的重叠面积超过预设比例的第二基准候选框的面积的阈值，则将目标候选框及其对应的目标类别删除；

输出确定了目标类别为划痕纹类别和碎裂纹类别的目标候选框。

10.根据权利要求8所述的设备，其中，所述分类神经网络为全连接层分类神经网络。

11.一种基于计算的设备，其中，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

12.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：

控制屏幕显示低于预设曝光值的满屏黄色的图像，基于屏幕的轮廓位置，拍摄黄色屏幕图像；

控制屏幕显示高于预设曝光值的满屏黑色的图像，基于屏幕的轮廓位置，拍摄黑色屏幕图像；

将所述黄色屏幕图像输入卷积神经网络，提取到所述黄色屏幕图像对应的图像特征；将所述黑色屏幕图像输入卷积神经网络，提取到所述黑色屏幕图像对应的图像特征；

分别基于所述黄色屏幕图像和黑色屏幕图像对应的图像特征，得到所述黄色屏幕图像和黑色屏幕图像中的目标类别为划痕纹类别和碎裂纹类别的目标候选框。

Images