CN112287734A - 碎屏检测及用于碎屏检测的卷积神经网络的训练方法 - Google Patents

碎屏检测及用于碎屏检测的卷积神经网络的训练方法 Download PDF

Info

Publication number
CN112287734A
CN112287734A CN202010092765.8A CN202010092765A CN112287734A CN 112287734 A CN112287734 A CN 112287734A CN 202010092765 A CN202010092765 A CN 202010092765A CN 112287734 A CN112287734 A CN 112287734A
Authority
CN
China
Prior art keywords
convolutional
neural network
screen
convolutional neural
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010092765.8A
Other languages
English (en)
Inventor
王亚昆
孙玉权
刘艺飞
杨伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Allianz Property Insurance Co ltd
Original Assignee
Jingdong Allianz Property Insurance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Allianz Property Insurance Co ltd filed Critical Jingdong Allianz Property Insurance Co ltd
Priority to CN202010092765.8A priority Critical patent/CN112287734A/zh
Publication of CN112287734A publication Critical patent/CN112287734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种碎屏检测及用于碎屏检测的卷积神经网络的训练方法。该用于碎屏检测的卷积神经网络的训练方法包括：获取包含电子设备屏幕的多个样本图像；以及根据多个样本图像，对预先建立的卷积神经网络进行训练，以优化卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重；其中，卷积神经网络包括的多个卷积层分别与多个第一子模型对应；其中，对于每一个样本图像，每一个卷积层用于对样本图像中的屏幕部分进行特征提取，生成多通道特征图；卷积层对应的第一子模型用于将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取。

Description

碎屏检测及用于碎屏检测的卷积神经网络的训练方法
技术领域
本发明涉及计算机技术领域，尤其涉及一种碎屏检测及用于碎屏检测的卷积神经网络的训练方法、装置、计算机设备及计算机可读存储介质。
背景技术
近年来，越来越多的保险公司为客户推出了手机碎屏险服务。在碎屏险承保阶段，客户上传承保手机的屏幕照片，保险公司在后端进行碎屏检测。随着计算机视觉技术的发展，基于神经网络的机器学习算法逐渐替代人工识别完成碎屏检测操作。
然而，目前通常使用的神经网络存在诸多局限性：例如，由于手机碎屏的裂纹往往不很明显，机器学习算法在大多数拍摄角度和环境色彩叠加下的检测效果较差，甚至可能将实际存在裂纹的屏幕误识别为正常屏幕。
需要说明的是，在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种碎屏检测及用于碎屏检测的卷积神经网络的训练方法、装置、计算机设备及计算机可读存储介质。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一方面，提供一种用于碎屏检测的卷积神经网络的训练方法，包括：获取包含电子设备屏幕的多个样本图像；以及根据所述多个样本图像，对预先建立的卷积神经网络进行训练，以优化所述卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重；其中，所述卷积神经网络包括的多个卷积层分别与多个第一子模型对应；其中，对于每一个样本图像，每一个卷积层用于对所述样本图像中的屏幕部分进行特征提取，生成多通道特征图；所述卷积层对应的第一子模型用于将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取。
根据本发明的一实施方式，根据所述多个样本图像，对预先建立的卷积神经网络进行训练包括：对每一个卷积层生成的多通道特征图进行全局池化，生成多通道特征数据；对所述多通道特征数据进行上采样和/或下采样，获得上采样特征数据和/或下采样特征数据；及根据所述上采样特征数据和/或所述下采样特征数据，对所述卷积层对应的第一子模型进行训练。
根据本发明的一实施方式，所述卷积神经网络还包括：第二子模型及全连接层；所述第二子模型用于对最后一个卷积层对应的第一子模型生成的多通道特征图进行变形处理，生成特征向量；所述方法还包括：根据所述特征向量，确定所述全连接层的权重矩阵。
根据本发明的一实施方式，对于每一个样本图像，所述第二子模型用于对最后一个卷积层对应的第一子模型生成的多通道特征图分别进行变形处理，对应生成多个第一列向量；确定所述多个第一列向量对应的特征矩阵的转置矩阵与所述特征矩阵的乘积矩阵；及对所述乘积矩阵进行变形处理，生成第二列向量。
根据本发明的一实施方式，所述第二子模型还用于对所述第二列向量中的每一个元素执行下述操作，以生成与所述第二列向量对应的第三列向量：确定所述元素的绝对值的第一平方根，并将所述第一平方根除以所述第二列向量的
Figure BDA0002384270480000021
范数；其中，所述第一平方根与所述元素的符号相同；根据所述特征向量，确定所述全连接层的权重矩阵包括：根据所述第三列向量，确定所述全连接层的权重矩阵。
根据本发明的一实施方式，所述卷积神经网络还包括：分别与所述多个第一子模块对应的多个组归一化层；每一个组归一化层用于在对应的第一子模块将对应的卷积层生成的多通道特征图分别乘以对应的通道权重之前，基于至少一个通道分组，分别对所述多通道特征图进行归一化处理。
根据本发明的一实施方式，所述卷积神经网络是基于ResNet 50网络的预训练结果建立的，所述ResNet 50网络的预训练样本包括：ImageNet数据集中的多张图片。
根据本发明的另一方面，提供一种碎屏检测方法，包括：获取包含电子设备屏幕的待检测图像；通过经训练的卷积神经网络，对所述待检测图像中的屏幕部分执行下述操作；其中，所述卷积神经网络包括：多个卷积层及分别与所述多个卷积层对应的多个第一子模型：通过每一个卷积层，对所述屏幕部分进行特征提取，生成多通道特征图；及通过所述卷积层对应的第一子模型，将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取；以及根据所述操作的结果，判断所述屏幕部分是否破碎。
根据本发明的一实施方式，所述卷积神经网络还包括：第二子模型及全连接层；根据所述操作的结果，判断所述屏幕部分是否破碎包括：通过所述第二子模型，对最后一个卷积层对应的第一子模型生成的多通道特征图进行变形处理，生成特征向量；将所述特征向量与所述全连接层的权重矩阵相乘，生成所述全连接层的输出向量；根据所述输出向量，分别确定所述屏幕部分属于第一类别的第一概率和属于第二类别的第二概率；其中，所述第一类别为“破碎”，所述第二类别为“未破碎”；以及当所述第一概率大于所述第二概率时，确定所述屏幕部分破碎。
根据本发明的一实施方式，所述卷积神经网络还包括：分别与所述多个第一子模块对应的多个组归一化层；在通过所述卷积层对应的第一子模型，将所述多通道特征图分别乘以对应的通道权重之前，所述操作还包括：通过所述第一子模型对应的组归一化层，基于至少一个通道分组，分别对所述多通道特征图进行归一化处理。
根据本发明的再一方面，提供一种用于碎屏检测的卷积神经网络的训练装置，包括：样本获取模块，用于获取包含电子设备屏幕的多个样本图像；以及网络训练模块，用于根据所述多个样本图像，对预先建立的卷积神经网络进行训练，以优化所述卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重；其中，所述卷积神经网络包括的多个卷积层分别与多个第一子模型对应；其中，对于每一个样本图像，每一个卷积层用于对所述样本图像中的屏幕部分进行特征提取，生成多通道特征图；所述卷积层对应的第一子模型用于将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取。
根据本发明的再一方面，提供一种碎屏检测装置，包括：图像获取模块，用于获取包含电子设备屏幕的待检测图像；特征提取模块，用于通过经训练的卷积神经网络，对所述待检测图像中的屏幕部分执行下述操作；其中，所述卷积神经网络包括：多个卷积层及分别与所述多个卷积层对应的多个第一子模型：通过每一个卷积层，对所述屏幕部分进行特征提取，生成多通道特征图；及通过所述卷积层对应的第一子模型，将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取；以及碎屏判断模块，用于根据所述操作的结果，判断所述屏幕部分是否破碎。
根据本发明的再一方面，提供一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现上述任一种方法。
根据本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现上述任一种方法。
根据本发明提供的用于碎屏检测的卷积神经网络的训练方法，训练出的卷积神经网络能够有效地利用特征图各通道的重要程度，以确保不明显的碎屏裂纹在任何拍摄角度和环境色彩叠加下均可被精准地识别。
根据本发明提供的碎屏检测方法，能够精准地识别出易受拍摄角度和环境色彩叠加影响的非明显裂纹，从而准确地判断屏幕是否破碎。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施方式示出的一种用于碎屏检测的卷积神经网络的训练方法的流程图。
图2是根据一示例性实施方式示出的另一种用于碎屏检测的卷积神经网络的训练方法的流程图。
图3是根据一示例性实施方式示出的一种碎屏检测方法的流程图。
图4是根据一示例性实施方式示出的另一种碎屏检测方法的流程图。
图5是根据一示例性实施方式示出的一种用于碎屏检测的卷积神经网络的训练装置的框图。
图6是根据一示例性实施方式示出的一种碎屏检测装置的框图。
图7是根据一示例性实施方式示出的一种计算机设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
如上所述，本发明提供的方案应用计算机视觉技术识别碎屏。为了便于理解，下面首先对本发明涉及到的“计算机视觉”概念进行解释：
计算机视觉(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步地说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位及地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在本发明的方案中，主要涉及图像识别技术在电子设备碎屏检测场景中的应用。
为了解决目前通常使用的神经网络存在诸多局限性的问题，本发明提出了一种新的卷积神经网络训练方法。下面通过本发明的各实施方式进行具体说明。
图1是根据一示例性实施方式示出的一种用于碎屏检测的卷积神经网络的训练方法的流程图。如图1所示的用于碎屏检测的卷积神经网络的训练方法例如可以应用于保险公司的服务器端。
参考图1，用于碎屏检测的卷积神经网络的训练方法10包括：
在步骤S102中，获取包含电子设备屏幕的多个样本图像。
其中，多个样本图像可分为第一类样本图像和第二类样本图像，第一类样本图像中的电子设备屏幕存在缺口或者裂纹，第二类样本图像中的电子设备屏幕完好无损。
在步骤S104中，根据多个样本图像，对预先建立的卷积神经网络进行训练，以优化卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重。
其中，卷积神经网络包括的多个卷积层分别与多个第一子模型对应。对于每一个样本图像，每一个卷积层用于对样本图像中的屏幕部分进行特征提取，生成多通道特征图；卷积层对应的第一子模型用于将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取。
根据本发明实施方式提供的用于碎屏检测的卷积神经网络的训练方法，训练出的卷积神经网络能够有效地利用特征图各通道的重要程度，以确保不明显的碎屏裂纹在任何拍摄角度和环境色彩叠加下均可被精准地识别。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。
承上述，图2是根据一示例性实施方式示出的另一种用于碎屏检测的卷积神经网络的训练方法的流程图。与图1所示方法10的不同之处在于，图2所示的方法进一步提供了优化卷积神经网络中各层通道权重的一种具体方法，即进一步提供了上述步骤S104的一实施例。同样地，如图2所示的用于碎屏检测的卷积神经网络的训练方法例如也可以应用于保险公司的服务器端。
参考图2，步骤S104可包括：
在步骤S1042中，对每一个卷积层生成的多通道特征图进行全局池化，生成多通道特征数据。
例如，可以分别对多通道特征图进行全局平均池化或者全局最大池化，对应生成行向量形式的多通道特征数据。
在步骤S1044中，对多通道特征数据进行上采样和/或下采样，获得上采样特征数据和/或下采样特征数据。
在步骤S1046中，根据上采样特征数据和/或下采样特征数据，对卷积层对应的第一子模型进行训练。
相应地，第一子模型中的通道权重也可表示为行向量形式，且行向量的维数与特征图的通道数相等，各维度代表特征图对应通道的重要程度。在网络训练过程中不断优化、更新通道权重，使得卷积神经网络愈加关注碎屏特征突出的通道，因此本发明训练的卷积神经网络可用于精确识别易受拍摄角度和环境色彩叠加影响的非明显裂纹。
电子设备屏幕破碎的方式有多种多样，例如坠地时发生在屏幕边缘或者四角的细小裂纹，而目前通常使用的神经网络对类似裂纹的识别存在极大的困难。
对此，在本发明一些实施例中，上述卷积神经网络还可包括：第二子模型及全连接层。其中，第二子模型用于对最后一个卷积层对应的第一子模型生成的多通道特征图进行变形处理，生成特征向量。相对应地，方法10还可包括：根据特征向量，确定全连接层的权重矩阵。
具体地，就每一个样本图像而言，第二子模型用于对最后一个卷积层对应的第一子模型生成的多通道特征图分别进行变形处理，对应生成多个第一列向量，确定多个第一列向量对应的特征矩阵的转置矩阵与特征矩阵的乘积矩阵，并对乘积矩阵进行变形处理，生成第二列向量(特征向量)。
第二子模型的上述作用使得卷积神经网络能够专注于裂纹的位置以及裂纹所具有的特征，因此本发明训练的卷积神经网络还可用于精确识别发生在屏幕边缘或者角落的细小裂纹。
在一些实施例中，第二子模型还用于确定第二列向量中的每一个元素的绝对值的第一平方根(与元素的符号相同)，并将第一平方根除以第二列向量的
Figure BDA0002384270480000081
范数，以生成与第二列向量对应的第三列向量(特征向量)。
以经上述操作得到的第三列向量作为特征向量进行训练，与以第二列向量作为特征向量进行训练相比，前者对卷积神经网络分类精度的提高更为显著。
目前通常使用的神经网络还存在分类器性能受训练样本影响较大的问题。在训练、在线更新卷积神经网络时，如果输入的样本量较少，将导致神经网络分类精度降低或者不稳定。
对此，在本发明一些实施例中，上述卷积神经网络还可包括：分别与多个第一子模块对应的多个组归一化层。每一个组归一化层用于在对应的第一子模块将对应的卷积层生成的多通道特征图分别乘以对应的通道权重之前，基于至少一个通道分组，分别对多通道特征图进行归一化(标准化)处理。
由于组归一化层的存在，使得卷积神经网络对输入数据的特征图进行的归一化处理与输入数据的多少无关。因此，本发明在训练、更新卷积神经网络时，使用任何大小的训练样本量均不会影响最终卷积神经网络的分类精度。
此外，在本发明一些实施例中，卷积神经网络可以是基于ResNet 50网络的预训练结果建立的，预训练样本例如可包括：ImageNet数据集中的多张图片。需要说明的是，本发明并不以ResNet 50网络为限，其可被VGG、InceptionNet等其它目前通常使用的骨干网络所代替。
如上述，可首先在ImageNet等大型分类数据集上进行骨干网络的预训练，再对骨干网络进行网络结构的改进，加入上述第一子模块、第二子模块以及组归一化层，以建立本发明所使用的卷积神经网络。
预先建立的卷积神经网络经过反复的迭代训练得以不断优化。由于第一子模块、第二子模块以及组归一化层的存在，本发明的卷积神经网络与目前通常使用的神经网络相比有上述多个方面的性能改进。下面仍以电子设备碎屏检测场景为例，通过本发明的各实施方式进行具体说明。
图3是根据一示例性实施方式示出的一种碎屏检测方法的流程图。如图3所示的碎屏检测方法例如也可以应用于保险公司的服务器端。
参考图3，碎屏检测方法30包括：
在步骤S302中，获取包含电子设备屏幕的待检测图像。
在步骤S304中，通过经训练的卷积神经网络，对待检测图像中的屏幕部分执行下述操作：
在步骤S3042中，通过每一个卷积层，对屏幕部分进行特征提取，生成多通道特征图。
在步骤S3044中，通过卷积层对应的第一子模型，将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取(循环步骤S3042)。
在步骤S306中，根据上述操作的结果，判断屏幕部分是否破碎。
根据本发明实施方式提供的碎屏检测方法，能够精准地识别出易受拍摄角度和环境色彩叠加影响的非明显裂纹，从而准确地判断屏幕是否破碎。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施方式。
在一些实施例中，于步骤S3044之前，上述操作还可包括：通过第一子模型对应的组归一化层，基于至少一个通道分组，分别对多通道特征图进行归一化处理。
承上述，图4是根据一示例性实施方式示出的另一种碎屏检测方法的流程图。与图3所示方法30的不同之处在于，图4所示的方法进一步提供了确定屏幕破碎的一种具体方法，即进一步提供了上述步骤S306的一实施例。同样地，如图4所示的碎屏检测方法例如也可以应用于保险公司的服务器端。
参考图4，步骤S306可包括：
在步骤S3062中，通过经训练的卷积神经网络中的第二子模型，对最后一个卷积层对应的第一子模型生成的多通道特征图进行变形处理，生成特征向量。
在步骤S3064中，将特征向量与全连接层的权重矩阵相乘，生成全连接层的输出向量。
在步骤S3066中，根据输出向量，分别确定屏幕部分属于第一类别的第一概率和属于第二类别的第二概率。
其中，第一类别为“破碎”，第二类别为“未破碎”。
在步骤S3068中，当第一概率大于第二概率时，确定屏幕部分破碎。
根据本发明实施例提供的碎屏检测方法，能够精准地识别出发生在屏幕边缘或者角落的细小裂纹，从而进一步提高碎屏检测的精度。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图5是根据一示例性实施方式示出的一种用于碎屏检测的卷积神经网络的训练装置的框图。
参考图5，用于碎屏检测的卷积神经网络的训练装置50包括：样本获取模块502以及网络训练模块504。
其中，样本获取模块502用于获取包含电子设备屏幕的多个样本图像。
网络训练模块504用于根据多个样本图像，对预先建立的卷积神经网络进行训练，以优化卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重。
其中，卷积神经网络包括的多个卷积层分别与多个第一子模型对应。对于每一个样本图像，每一个卷积层用于对样本图像中的屏幕部分进行特征提取，生成多通道特征图；卷积层对应的第一子模型用于将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取。
根据本发明实施方式提供的用于碎屏检测的卷积神经网络的训练装置，训练出的卷积神经网络能够有效地利用特征图各通道的重要程度，以确保不明显的碎屏裂纹在任何拍摄角度和环境色彩叠加下均可被精准地识别。
图6是根据一示例性实施方式示出的一种碎屏检测装置的框图。
参考图6，碎屏检测装置60包括：图像获取模块602、特征提取模块604以及碎屏判断模块606。
其中，图像获取模块602用于获取包含电子设备屏幕的待检测图像。
特征提取模块604用于通过经上述装置50训练的卷积神经网络，对待检测图像中的屏幕部分执行下述操作：
通过每一个卷积层，对屏幕部分进行特征提取，生成多通道特征图；
通过卷积层对应的第一子模型，将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取。
碎屏判断模块606用于根据上述操作的结果，判断屏幕部分是否破碎。
根据本发明实施方式提供的碎屏检测装置，能够精准地识别出易受拍摄角度和环境色彩叠加影响的非明显裂纹，从而准确地判断屏幕是否破碎。
需要注意的是，上述附图中所示的框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
图7是根据一示例性实施方式示出的一种计算机设备的结构示意图。需要说明的是，图7示出的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的设备中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
获取包含电子设备屏幕的多个样本图像；根据多个样本图像，对预先建立的卷积神经网络进行训练，以优化卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重；其中，卷积神经网络包括的多个卷积层分别与多个第一子模型对应；对于每一个样本图像，每一个卷积层用于对样本图像中的屏幕部分进行特征提取，生成多通道特征图；卷积层对应的第一子模型用于将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取；以及
获取包含电子设备屏幕的待检测图像；通过经训练的卷积神经网络，对待检测图像中的屏幕部分执行下述操作：通过每一个卷积层，对屏幕部分进行特征提取，生成多通道特征图；通过卷积层对应的第一子模型，将多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将新的多通道特征图输入下一个卷积层中进行特征提取；根据上述操作的结果，判断屏幕部分是否破碎。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (14)

1.一种用于碎屏检测的卷积神经网络的训练方法，其特征在于，包括：
获取包含电子设备屏幕的多个样本图像；以及
根据所述多个样本图像，对预先建立的卷积神经网络进行训练，以优化所述卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重；其中，所述卷积神经网络包括的多个卷积层分别与多个第一子模型对应；
其中，对于每一个样本图像，每一个卷积层用于对所述样本图像中的屏幕部分进行特征提取，生成多通道特征图；所述卷积层对应的第一子模型用于将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取。
2.根据权利要求1所述的方法，其特征在于，根据所述多个样本图像，对预先建立的卷积神经网络进行训练包括：
对每一个卷积层生成的多通道特征图进行全局池化，生成多通道特征数据；
对所述多通道特征数据进行上采样和/或下采样，获得上采样特征数据和/或下采样特征数据；及
根据所述上采样特征数据和/或所述下采样特征数据，对所述卷积层对应的第一子模型进行训练。
3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络还包括：第二子模型及全连接层；所述第二子模型用于对最后一个卷积层对应的第一子模型生成的多通道特征图进行变形处理，生成特征向量；
所述方法还包括：根据所述特征向量，确定所述全连接层的权重矩阵。
4.根据权利要求3所述的方法，其特征在于，对于每一个样本图像，所述第二子模型用于对最后一个卷积层对应的第一子模型生成的多通道特征图分别进行变形处理，对应生成多个第一列向量；确定所述多个第一列向量对应的特征矩阵的转置矩阵与所述特征矩阵的乘积矩阵；及对所述乘积矩阵进行变形处理，生成第二列向量。
5.根据权利要求4所述的方法，其特征在于，所述第二子模型还用于对所述第二列向量中的每一个元素执行下述操作，以生成与所述第二列向量对应的第三列向量：确定所述元素的绝对值的第一平方根，并将所述第一平方根除以所述第二列向量的l2范数；其中，所述第一平方根与所述元素的符号相同；
根据所述特征向量，确定所述全连接层的权重矩阵包括：根据所述第三列向量，确定所述全连接层的权重矩阵。
6.根据权利要求1所述的方法，其特征在于，所述卷积神经网络还包括：分别与所述多个第一子模块对应的多个组归一化层；每一个组归一化层用于在对应的第一子模块将对应的卷积层生成的多通道特征图分别乘以对应的通道权重之前，基于至少一个通道分组，分别对所述多通道特征图进行归一化处理。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述卷积神经网络是基于ResNet50网络的预训练结果建立的，所述ResNet 50网络的预训练样本包括：ImageNet数据集中的多张图片。
8.一种碎屏检测方法，其特征在于，包括：
获取包含电子设备屏幕的待检测图像；
通过经训练的卷积神经网络，对所述待检测图像中的屏幕部分执行下述操作；其中，所述卷积神经网络包括：多个卷积层及分别与所述多个卷积层对应的多个第一子模型：
通过每一个卷积层，对所述屏幕部分进行特征提取，生成多通道特征图；及
通过所述卷积层对应的第一子模型，将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取；以及
根据所述操作的结果，判断所述屏幕部分是否破碎。
9.根据权利要求8所述的方法，其特征在于，所述卷积神经网络还包括：第二子模型及全连接层；根据所述操作的结果，判断所述屏幕部分是否破碎包括：
通过所述第二子模型，对最后一个卷积层对应的第一子模型生成的多通道特征图进行变形处理，生成特征向量；
将所述特征向量与所述全连接层的权重矩阵相乘，生成所述全连接层的输出向量；
根据所述输出向量，分别确定所述屏幕部分属于第一类别的第一概率和属于第二类别的第二概率；其中，所述第一类别为“破碎”，所述第二类别为“未破碎”；以及
当所述第一概率大于所述第二概率时，确定所述屏幕部分破碎。
10.根据权利要求8所述的方法，其特征在于，所述卷积神经网络还包括：分别与所述多个第一子模块对应的多个组归一化层；
在通过所述卷积层对应的第一子模型，将所述多通道特征图分别乘以对应的通道权重之前，所述操作还包括：通过所述第一子模型对应的组归一化层，基于至少一个通道分组，分别对所述多通道特征图进行归一化处理。
11.一种用于碎屏检测的卷积神经网络的训练装置，其特征在于，包括：
样本获取模块，用于获取包含电子设备屏幕的多个样本图像；以及
网络训练模块，用于根据所述多个样本图像，对预先建立的卷积神经网络进行训练，以优化所述卷积神经网络包括的每一个卷积层中的卷积核及每一个第一子模型中的通道权重；其中，所述卷积神经网络包括的多个卷积层分别与多个第一子模型对应；
其中，对于每一个样本图像，每一个卷积层用于对所述样本图像中的屏幕部分进行特征提取，生成多通道特征图；所述卷积层对应的第一子模型用于将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取。
12.一种碎屏检测装置，其特征在于，包括：
图像获取模块，用于获取包含电子设备屏幕的待检测图像；
特征提取模块，用于通过经训练的卷积神经网络，对所述待检测图像中的屏幕部分执行下述操作；其中，所述卷积神经网络包括：多个卷积层及分别与所述多个卷积层对应的多个第一子模型：
通过每一个卷积层，对所述屏幕部分进行特征提取，生成多通道特征图；及
通过所述卷积层对应的第一子模型，将所述多通道特征图分别乘以对应的通道权重，生成新的多通道特征图，并将所述新的多通道特征图输入下一个卷积层中进行特征提取；以及
碎屏判断模块，用于根据所述操作的结果，判断所述屏幕部分是否破碎。
13.一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-10任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-10任一项所述的方法。
CN202010092765.8A 2020-02-14 2020-02-14 碎屏检测及用于碎屏检测的卷积神经网络的训练方法 Pending CN112287734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010092765.8A CN112287734A (zh) 2020-02-14 2020-02-14 碎屏检测及用于碎屏检测的卷积神经网络的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010092765.8A CN112287734A (zh) 2020-02-14 2020-02-14 碎屏检测及用于碎屏检测的卷积神经网络的训练方法

Publications (1)

Publication Number Publication Date
CN112287734A true CN112287734A (zh) 2021-01-29

Family

ID=74420177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010092765.8A Pending CN112287734A (zh) 2020-02-14 2020-02-14 碎屏检测及用于碎屏检测的卷积神经网络的训练方法

Country Status (1)

Country Link
CN (1) CN112287734A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298078A (zh) * 2021-06-22 2021-08-24 广州绿怡信息科技有限公司 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法
CN114663418A (zh) * 2022-04-06 2022-06-24 京东安联财产保险有限公司 图像处理的方法及装置、存储介质及电子设备
CN118429339A (zh) * 2024-07-03 2024-08-02 吉林大学 基于唾液代谢物的胃癌患者识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170256051A1 (en) * 2016-03-07 2017-09-07 Hyla, Inc. Screen damage detection for devices
WO2018156869A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法
US20180342050A1 (en) * 2016-04-28 2018-11-29 Yougetitback Limited System and method for detection of mobile device fault conditions
CN110494892A (zh) * 2017-05-31 2019-11-22 三星电子株式会社 用于处理多通道特征图图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170256051A1 (en) * 2016-03-07 2017-09-07 Hyla, Inc. Screen damage detection for devices
US20180342050A1 (en) * 2016-04-28 2018-11-29 Yougetitback Limited System and method for detection of mobile device fault conditions
WO2018156869A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
CN110494892A (zh) * 2017-05-31 2019-11-22 三星电子株式会社 用于处理多通道特征图图像的方法和装置
CN108510012A (zh) * 2018-05-04 2018-09-07 四川大学 一种基于多尺度特征图的目标快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QILONG WANG等: "ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks", CORR, 8 August 2019 (2019-08-08), pages 1 - 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298078A (zh) * 2021-06-22 2021-08-24 广州绿怡信息科技有限公司 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法
CN114663418A (zh) * 2022-04-06 2022-06-24 京东安联财产保险有限公司 图像处理的方法及装置、存储介质及电子设备
CN118429339A (zh) * 2024-07-03 2024-08-02 吉林大学 基于唾液代谢物的胃癌患者识别系统及方法
CN118429339B (zh) * 2024-07-03 2024-08-30 吉林大学 基于唾液代谢物的胃癌患者识别系统及方法

Similar Documents

Publication Publication Date Title
CN112287734A (zh) 碎屏检测及用于碎屏检测的卷积神经网络的训练方法
CN111563502A (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
CN111915480B (zh) 生成特征提取网络的方法、装置、设备和计算机可读介质
CN109583389B (zh) 绘本识别方法及装置
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN112597940B (zh) 证件图像识别方法、装置及存储介质
CN112766284B (zh) 图像识别方法和装置、存储介质和电子设备
CN114037985A (zh) 信息提取方法、装置、设备、介质及产品
CN112614110A (zh) 评估图像质量的方法、装置及终端设备
CN114330565A (zh) 一种人脸识别方法及装置
CN112287945A (zh) 碎屏确定方法、装置、计算机设备及计算机可读存储介质
CN106611148B (zh) 基于图像的离线公式识别方法和装置
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN113516697A (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN117746015A (zh) 小目标检测模型训练方法、小目标检测方法及相关设备
CN113326766A (zh) 文本检测模型的训练方法及装置、文本检测方法及装置
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN114741697B (zh) 恶意代码分类方法、装置、电子设备和介质
CN116645513A (zh) 水印提取方法、模型训练方法、装置、电子设备及介质
CN114140427B (zh) 一种物体检测方法及装置
CN116311298A (zh) 信息生成方法、信息处理方法、装置、电子设备以及介质
CN111966851B (zh) 基于少量样本的图像识别方法和系统
CN113971830A (zh) 一种人脸识别方法、装置、存储介质及电子设备
CN113205092A (zh) 文本检测方法、装置、设备及存储介质
CN114119365A (zh) 一种应用检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination