CN112287945A - 碎屏确定方法、装置、计算机设备及计算机可读存储介质 - Google Patents

碎屏确定方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112287945A
CN112287945A CN201911114308.8A CN201911114308A CN112287945A CN 112287945 A CN112287945 A CN 112287945A CN 201911114308 A CN201911114308 A CN 201911114308A CN 112287945 A CN112287945 A CN 112287945A
Authority
CN
China
Prior art keywords
screen
image
target object
electronic equipment
broken
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911114308.8A
Other languages
English (en)
Inventor
杨伟
孙玉权
刘艺飞
王亚昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Allianz Property Insurance Co ltd
Original Assignee
Jingdong Allianz Property Insurance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Allianz Property Insurance Co ltd filed Critical Jingdong Allianz Property Insurance Co ltd
Priority to CN201911114308.8A priority Critical patent/CN112287945A/zh
Publication of CN112287945A publication Critical patent/CN112287945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种碎屏确定方法、装置、计算机设备及计算机可读存储介质。该碎屏确定方法包括:获取待识别图像;基于目标检测算法,对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕;以及当所述目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎。根据本发明提供的碎屏确定方法,能够对碎屏进行自动化智能识别,无需人力投入,显著地提高了碎屏识别的精度与效率。

Description

碎屏确定方法、装置、计算机设备及计算机可读存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种碎屏确定方法、装置、计算机设备及计算机可读存储介质。
背景技术
现阶段,保险公司在进行碎屏险承保时,需要客户使用另外一台手机拍摄欲承保手机的屏幕并上传照片。保险公司后台服务器接收照片后,由专门的工作人员对照片中的手机屏幕是否破碎进行人工识别。
上述承保流程需要投入大量的人力成本,且当理赔手机量极大时,人工识别的效率严重下滑,误识别的概率将大大增加,影响客户满意度。
需要说明的是,在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此,本发明提供一种碎屏确定方法、装置、计算机设备及计算机可读存储介质。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明的一方面,提供一种碎屏确定方法,包括:获取待识别图像;基于目标检测算法,对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕;以及当所述目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎。
根据本发明的一实施方式,所述目标检测算法为基于一阶段模型框架的目标检测算法;对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕包括:均匀地在所述待识别图像中的不同位置,以不同尺寸和不同长宽比进行密集重采样;以及将采样结果输入经训练的卷积神经网络中进行分类,以检测定位出的所述目标物体是否包含电子设备的屏幕。
根据本发明的一实施方式,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎之前,所述方法还包括:根据定位出的所述目标物体的坐标,对所述待识别图像进行裁剪,以裁剪出所述屏幕对应的图像部分;以及将所述屏幕对应的图像部分输入至所述二分类模型。
根据本发明的一实施方式,在将所述屏幕对应的图像部分输入至所述二分类模型之前,所述方法还包括:对所述屏幕对应的图像部分进行形态学处理。
根据本发明的一实施方式,所述二分类模型为卷积神经网络模型;所述卷积神经网络模型包括:多个卷积层、多个池化层和多个全连接层,其中最后一个全连接层由两个神经元组成。
根据本发明的一实施方式,所述卷积神经网络模型是基于对VGG16模型的迁移学习进行预先训练的;所述卷积神经网络的训练样本包括对原始训练图像进行下述至少一种操作而获得的新图像:图片反转、角度变换、增加色差度。
根据本发明的一实施方式,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎包括:对所述屏幕对应的图像部分进行特征提取,生成对应所述屏幕的多个特征图;根据所述多个特征图,分别确定所述屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率;其中,所述第一类别为“碎屏”,所述第二类别为“未碎屏”;以及当所述第一概率大于所述第二概率时,确定所述电子设备的屏幕破碎。
根据本发明的一实施方式,对所述屏幕对应的图像部分进行特征提取,生成对应所述屏幕的多个特征图包括:通过所述多个卷积层和所述多个池化层,分别对所述屏幕对应的图像部分进行多次特征提取和多次特征压缩,生成对应所述屏幕的多个特征图;以及根据所述多个特征图,分别确定所述屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率包括:通过所述多个全连接层,将所述多个特征图对应的多个特征进行融合;及根据所述最后一个全连接层的输出向量,分别确定所述屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率。
根据本发明的一实施方式,通过所述多个全连接层,将所述多个特征图对应的多个特征进行融合包括:将所述多个特征图中所有数据整合为一个输入向量;在第一个全连接层中,将所述输入向量与所述第一个全连接层的权重矩阵相乘,生成所述第一个全连接层的输出向量,以及依次在其后的每个全连接层中,将上一个全连接层的输出向量与当前全连接层的权重矩阵相乘,生成当前全连接层的输出向量。
根据本发明的另一方面,提供一种碎屏确定装置,包括:图像获取模块,用于获取待识别图像;目标检测模块,用于基于目标检测算法,对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕;以及碎屏确定模块,用于当所述目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎。
根据本发明的再一方面,提供一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,所述处理器执行所述可执行指令时实现上述任一种碎屏确定方法。
根据本发明的再一方面,提供一种计算机可读存储介质,其上存储有计算机可执行指令,所述可执行指令被处理器执行时实现上述任一种碎屏确定方法。
根据本发明提供的碎屏确定方法,能够对碎屏进行自动化智能识别,无需人力投入,显著地提高了碎屏识别的精度与效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施方式示出的一种碎屏确定方法的流程图。
图2是根据一示例性实施方式示出的另一种碎屏确定方法的流程图。
图3是根据一示例性实施方式示出的再一种碎屏确定方法的流程图。
图4是根据一示例性实施方式示出的一种碎屏确定装置的框图。
图5是根据一示例性实施方式示出的一种计算机设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本发明的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本发明的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、装置、步骤等。在其它情况下,不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本发明的各方面变得模糊。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本发明提供的方案,在碎屏识别阶段采用计算机视觉技术以替代人工。为了便于理解,下面首先对本发明涉及到的“计算机视觉”概念进行解释:
计算机视觉(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步地说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension,三维)技术、虚拟现实、增强现实、同步定位及地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在本发明的方案中,主要涉及图像识别技术在确定电子设备碎屏场景中的应用。
如上所述,为解决人工识别碎屏成本高、精度与效率差的问题,本发明提出了一种新的碎屏确定方法。下面通过本发明的各实施方式进行具体说明。
图1是根据一示例性实施方式示出的一种碎屏确定方法的流程图。如图1所示的碎屏确定方法例如可以应用于保险公司的服务器端。
参考图1,碎屏确定方法10包括:
在步骤S102中,获取待识别图像。
在步骤S104中,基于目标检测算法,对待识别图像中包含的目标物体进行定位,并检测定位出的目标物体是否包含电子设备的屏幕。
客户端上传的待识别图像(照片)可能是包含电子设备屏幕的,也可能是完全不包含电子设备屏幕的。后者不属于可承保的范围,保险公司的服务器端虽然接收待识别图像,但检测到的目标物体中并不存在电子设备屏幕,故不会进行碎屏识别。即只有待识别图像中包含电子设备屏幕时,服务器端才执行下述步骤S106;反之,如果待识别图像中不包含电子设备的屏幕,服务器端可向客户端反馈本次目标检测失败,提示客户重新拍摄并上传新的照片。
在步骤S106中,当目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断电子设备的屏幕是否破碎。
根据本发明实施方式提供的碎屏确定方法,能够对碎屏进行自动化智能识别,无需人力投入,显著地提高了碎屏识别的精度与效率。
应清楚地理解,本发明描述了如何形成和使用特定示例,但本发明的原理不限于这些示例的任何细节。相反,基于本发明公开的内容的教导,这些原理能够应用于许多其它实施方式。
就现阶段而言,目标检测算法的基础框架主要包括:(一)以RCNN、Fast CNN、Faster CNN等为代表的二阶段模型;(二)以YOLO、SSD等为代表的一阶段模型。在保证检测精度的前提下,可选择一阶段模型以提高检测速率。在本发明的一些实施例中,目标检测算法可以为基于一阶段模型(例如:YOLO v3、SSD)框架的目标检测算法。
承上述,图2是根据一示例性实施方式示出的另一种碎屏确定方法的流程图。与图1所示方法10的不同之处在于,图2所示的方法进一步提供了对待识别图像进行目标检测的一种具体方法,即进一步提供了上述步骤S104的一实施例。同样地,如图2所示的碎屏确定方法例如也可以应用于保险公司的服务器端。
参考图2,步骤S104包括:
在步骤S202中,均匀地在待识别图像中的不同位置,以不同尺寸和不同长宽比进行密集重采样。
在步骤S204中,将采样结果输入经训练的卷积神经网络中进行分类,以检测定位出的目标物体是否包含电子设备的屏幕。
步骤S204中涉及使用卷积神经网络进行直接分类,具体算法的实现一并参照下文对二分类模型的解释说明。
在一些实施例中,在执行步骤S106之前,方法10还可包括:根据定位出的目标物体的坐标,对待识别图像进行裁剪,以裁剪出屏幕对应的图像部分;以及将屏幕对应的图像部分输入至二分类模型。需要说明的是,本发明的一些实施例不需在步骤S106之前执行上述操作,例如:当待识别图像中除电子设备屏幕外其它区域的目标物体与电子设备屏幕为一致的纯色或近似纯色,即背景部分不会对屏幕部分的分类识别结果产生影响时,可以将整幅待识别图像输入至二分类模型。
承上述,在一些实施例中,在将屏幕对应的图像部分输入至二分类模型之前,方法10还可包括:对屏幕对应的图像部分进行形态学处理,例如“礼帽处理”(将原图像与开运算图像作差运算,得到噪声图像)。经形态学处理后的图像保留了对最终的分类识别起关键作用的细节,而将次要部分处理为背景,提升了待识别图像的纯净性,能够进一步改善碎屏识别的精度与效率。
与步骤S104的目标检测阶段相类似,步骤S106的碎屏识别阶段所使用的二分类模型也可以为卷积神经网络模型,包括:多个卷积层、多个池化层和多个全连接层,其中最后一个全连接层由两个神经元组成。在一些实施例中,卷积神经网络模型是基于对VGG16模型的迁移学习进行预先训练的。需要说明的是,本发明所使用的卷积神经网络模型对VGG16模型的三个全连接层进行了适应性调整,例如:可将前两个全连接层由4096个神经元改为128个神经元,以在保证最终分类精度的前提下尽可能降低全连接层的数据量。再者,将最后一个全连接层由常用的1000个神经元改为2个神经元以适应本发明的二分类场景,不予赘述。
在一些实施例中,卷积神经网络模型的训练样本可以包括:原始训练图像以及对原始训练图像进行图片反转、角度变换、增加色差度等操作而获得的新图像。上述样本增强手段可以有效地对训练集进行扩展,进而优化训练效果、提高分类精度。
承上述,图3是根据一示例性实施方式示出的再一种碎屏确定方法的流程图。与图1所示方法10的不同之处在于,图3所示的方法进一步提供了对待识别图像中的屏幕破碎与否进行确定的一种具体方法,即进一步提供了上述步骤S106的一实施例。同样地,如图3所示的碎屏确定方法例如也可以应用于保险公司的服务器端。
参考图3,当使用卷积神经网络模型作为二分类模型时,步骤S106包括:
在步骤S302中,对屏幕对应的图像部分进行特征提取,生成对应屏幕的多个特征图。
具体地,步骤S302可通过卷积神经网络模型的多个卷积层和多个池化层,分别对屏幕对应的图像部分进行多次特征提取和多次特征压缩,生成对应屏幕的多个特征图。对于基于VGG16模型(包括:13个卷积层、5个池化层,其中第一池化层前有2个卷积层、第二池化层前有2个卷积层、第三池化层前有3个卷积层、第四池化层前有3个卷积层、第五池化层前有3个卷积层)建立的卷积神经网络模型而言,屏幕对应的图像部分可经过共计13次特征提取和5次特征压缩。其中,每次特征提取所用卷积核可为(3×3)的权重矩阵,每次特征压缩则可使用(2×2)的核矩阵对卷积得到的中间特征图进行最大池化或者平均池化,本发明对其不做择一限定。最终地,由第五池化层输出对应屏幕的多个特征图。
在步骤S304中,根据多个特征图,分别确定屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率。
其中,第一类别为“碎屏”,第二类别为“未碎屏”。
承上述,对于基于VGG16模型建立的卷积神经网络模型而言,步骤S304可通过其三个全连接层,将多个特征图对应的多个特征进行融合,具体包括:(一)将多个特征图中所有数据整合为一个输入向量;(二)在第一全连接层中,将输入向量与第一全连接层的权重矩阵相乘,生成第一全连接层的输出向量;(三)在第二全连接层中,将第一全连接层的输出向量与第二全连接层的权重矩阵相乘,生成第二全连接层的输出向量;(四)在第三全连接层(由两个神经元组成)中,将第二全连接层的输出向量与第三全连接层的权重矩阵相乘,生成第三全连接层的输出向量(二维向量)。最终,步骤S304可根据第三全连接层的二维输出向量,分别确定屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率。
在步骤S306中,当第一概率大于第二概率时,确定电子设备的屏幕破碎。
本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
下述为本发明装置实施例,可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节,请参照本发明方法实施例。
图4是根据一示例性实施方式示出的一种碎屏确定装置的框图。
参考图4,碎屏确定装置40包括:图像获取模块402、目标检测模块404以及碎屏确定模块406。
其中,图像获取模块402用于获取待识别图像。
目标检测模块404用于基于目标检测算法,对待识别图像中包含的目标物体进行定位,并检测定位出的目标物体是否包含电子设备的屏幕。
碎屏确定模块406用于当目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断电子设备的屏幕是否破碎。
根据本发明实施方式提供的碎屏确定装置,能够对碎屏进行自动化智能识别,无需人力投入,显著地提高了碎屏识别的精度与效率。
需要注意的是,上述附图中所示的框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
所属技术领域的技术人员能够理解,本发明的各个方面可以实现为系统、方法或程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
图5是根据一示例性实施方式示出的一种计算机设备的结构示意图。需要说明的是,图5示出的计算机设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的设备中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:
获取待识别图像;基于目标检测算法,对待识别图像中包含的目标物体进行定位,并检测定位出的目标物体是否包含电子设备的屏幕;以及当目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断电子设备的屏幕是否破碎。
以上具体地示出和描述了本发明的示例性实施方式。应可理解的是,本发明不限于这里描述的详细结构、设置方式或实现方法;相反,本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (12)

1.一种碎屏确定方法,其特征在于,包括:
获取待识别图像;
基于目标检测算法,对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕;以及
当所述目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎。
2.根据权利要求1所述的方法,其特征在于,所述目标检测算法为基于一阶段模型框架的目标检测算法;对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕包括:
均匀地在所述待识别图像中的不同位置,以不同尺寸和不同长宽比进行密集重采样;以及
将采样结果输入经训练的卷积神经网络中进行分类,以检测定位出的所述目标物体是否包含电子设备的屏幕。
3.根据权利要求2所述的方法,其特征在于,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎之前,所述方法还包括:
根据定位出的所述目标物体的坐标,对所述待识别图像进行裁剪,以裁剪出所述屏幕对应的图像部分;以及
将所述屏幕对应的图像部分输入至所述二分类模型。
4.根据权利要求3所述的方法,其特征在于,在将所述屏幕对应的图像部分输入至所述二分类模型之前,所述方法还包括:对所述屏幕对应的图像部分进行形态学处理。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述二分类模型为卷积神经网络模型;所述卷积神经网络模型包括:多个卷积层、多个池化层和多个全连接层,其中最后一个全连接层由两个神经元组成。
6.根据权利要求5所述的方法,其特征在于,所述卷积神经网络模型是基于对VGG16模型的迁移学习进行预先训练的;所述卷积神经网络的训练样本包括对原始训练图像进行下述至少一种操作而获得的新图像:图片反转、角度变换、增加色差度。
7.根据权利要求5所述的方法,其特征在于,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎包括:
对所述屏幕对应的图像部分进行特征提取,生成对应所述屏幕的多个特征图;
根据所述多个特征图,分别确定所述屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率;其中,所述第一类别为“碎屏”,所述第二类别为“未碎屏”;以及
当所述第一概率大于所述第二概率时,确定所述电子设备的屏幕破碎。
8.根据权利要求7所述的方法,其特征在于,对所述屏幕对应的图像部分进行特征提取,生成对应所述屏幕的多个特征图包括:
通过所述多个卷积层和所述多个池化层,分别对所述屏幕对应的图像部分进行多次特征提取和多次特征压缩,生成对应所述屏幕的多个特征图;以及
根据所述多个特征图,分别确定所述屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率包括:
通过所述多个全连接层,将所述多个特征图对应的多个特征进行融合;及根据所述最后一个全连接层的输出向量,分别确定所述屏幕对应的图像部分属于第一类别的第一概率和属于第二类别的第二概率。
9.根据权利要求8所述的方法,其特征在于,通过所述多个全连接层,将所述多个特征图对应的多个特征进行融合包括:
将所述多个特征图中所有数据整合为一个输入向量;
在第一个全连接层中,将所述输入向量与所述第一个全连接层的权重矩阵相乘,生成所述第一个全连接层的输出向量,以及
依次在其后的每个全连接层中,将上一个全连接层的输出向量与当前全连接层的权重矩阵相乘,生成当前全连接层的输出向量。
10.一种碎屏确定装置,其特征在于,包括:
图像获取模块,用于获取待识别图像;
目标检测模块,用于基于目标检测算法,对所述待识别图像中包含的目标物体进行定位,并检测定位出的所述目标物体是否包含电子设备的屏幕;以及
碎屏确定模块,用于当所述目标物体包含电子设备的屏幕时,通过预先训练的二分类模型,判断所述电子设备的屏幕是否破碎。
11.一种计算机设备,包括:存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令,其特征在于,所述处理器执行所述可执行指令时实现如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机可执行指令,其特征在于,所述可执行指令被处理器执行时实现如权利要求1-9任一项所述的方法。
CN201911114308.8A 2019-11-14 2019-11-14 碎屏确定方法、装置、计算机设备及计算机可读存储介质 Pending CN112287945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911114308.8A CN112287945A (zh) 2019-11-14 2019-11-14 碎屏确定方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911114308.8A CN112287945A (zh) 2019-11-14 2019-11-14 碎屏确定方法、装置、计算机设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112287945A true CN112287945A (zh) 2021-01-29

Family

ID=74418909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911114308.8A Pending CN112287945A (zh) 2019-11-14 2019-11-14 碎屏确定方法、装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112287945A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298078A (zh) * 2021-06-22 2021-08-24 广州绿怡信息科技有限公司 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法
CN114663418A (zh) * 2022-04-06 2022-06-24 京东安联财产保险有限公司 图像处理的方法及装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298078A (zh) * 2021-06-22 2021-08-24 广州绿怡信息科技有限公司 设备屏幕碎裂检测模型训练方法及设备屏幕碎裂检测方法
CN114663418A (zh) * 2022-04-06 2022-06-24 京东安联财产保险有限公司 图像处理的方法及装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111368685B (zh) 关键点的识别方法、装置、可读介质和电子设备
US11436863B2 (en) Method and apparatus for outputting data
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
US10970938B2 (en) Method and apparatus for generating 3D information
EP4137991A1 (en) Pedestrian re-identification method and device
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
WO2020192112A1 (zh) 人脸识别方法及装置
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
EP3598386A1 (en) Method and apparatus for processing image
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN111191582B (zh) 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111950570B (zh) 目标图像提取方法、神经网络训练方法及装置
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN114612987A (zh) 一种表情识别方法及装置
CN114330565A (zh) 一种人脸识别方法及装置
CN111783674A (zh) 一种基于ar眼镜的人脸识别方法和系统
CN112287945A (zh) 碎屏确定方法、装置、计算机设备及计算机可读存储介质
CN114677350A (zh) 连接点提取方法、装置、计算机设备及存储介质
CN114299366A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN114332993A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112464873A (zh) 模型的训练方法、人脸活体识别方法、系统、设备及介质
CN112287734A (zh) 碎屏检测及用于碎屏检测的卷积神经网络的训练方法
CN115083006A (zh) 虹膜识别模型训练方法、虹膜识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination