CN112836554A - 图像校验模型的构建方法、图像校验方法和装置 - Google Patents

图像校验模型的构建方法、图像校验方法和装置 Download PDF

Info

Publication number
CN112836554A
CN112836554A CN201911164941.8A CN201911164941A CN112836554A CN 112836554 A CN112836554 A CN 112836554A CN 201911164941 A CN201911164941 A CN 201911164941A CN 112836554 A CN112836554 A CN 112836554A
Authority
CN
China
Prior art keywords
image
network
global
regional
cascade
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911164941.8A
Other languages
English (en)
Inventor
张超
高玮
胡浩
利啟东
余梓玲
胡盼盼
黄聿
杨超龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201911164941.8A priority Critical patent/CN112836554A/zh
Publication of CN112836554A publication Critical patent/CN112836554A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像校验模型的构建方法、装置、存储介质和计算机设备以及图像校验方法、装置、存储介质和计算机设备，图像校验模型的构建方法包括：获取级联对抗网络，级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；获取目标图像，分别对目标图像通过全局生成网络进行全局处理，通过区域生成网络进行区域处理，获得全局二值图像和区域二值图像；通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像；将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛，获得图像校验模型。

Description

图像校验模型的构建方法、图像校验方法和装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像校验模型的构建方法、装置、存储介质和计算机设备以及图像校验方法、装置、存储介质和计算机设备。
背景技术
随着科学技术的发展，图像处理广泛应用于各行各业，极大地改变了人们的生产生活方式。以图像识别为例，图像识别是指图像经过增强、复原、压缩等预处理后，进行图像分割和特征提取，从而进行判决分类。具体以建筑图纸为例，随着项目的推进，建筑图纸可能会频繁的改动，因此，彩色样板房宣传图纸与建筑图纸可能会出现货不对板的情况。
图纸是风控的重要内容之一，仍以彩色样板房宣传图纸为例，一个户型出错，整个项目相同户型都会出错，极易引发业主群诉事件，对公司品牌形象造成影响。因此，对图纸进行校验十分有必要。而在项目开发过程中会产生大量的建筑图纸和宣传图纸，图纸本身数据的复杂性导致许多校验人员无法在短时间内做出决断，校验图纸需要花费大量的时间，给工作人员带来严重的负担。而传统的图纸校验方法一般为人工对比检查，导致在对图纸进行校验时，工作效率低下。
发明内容
基于此，针对上述技术问题，提供一种可以提高校验效率的图像校验模型的构建方法、装置、存储介质和计算机设备以及图像校验方法、装置、存储介质和计算机设备。
一种图像校验模型的构建方法，所述方法包括：
获取级联对抗网络，所述级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；
获取目标图像，分别对所述目标图像通过所述全局生成网络进行全局处理，通过所述区域生成网络进行区域处理，获得全局二值图像和区域二值图像；
通过所述级联融合网络对所述全局二值图像以及所述区域二值图像进行融合处理，获得融合二值图像；
将所述融合二值图像以及所述目标图像的真实图像输入至所述鉴别网络进行对抗训练，基于对抗训练结果对所述级联对抗网络进行参数调整，直至所述级联对抗网络收敛，获得图像校验模型。
在一个实施例中，所述分别对所述目标图像通过所述全局生成网络进行全局处理，通过所述区域生成网络进行区域处理，获得全局二值图像和区域二值图像包括：
通过所述全局生成网络对所述目标图像进行全局特征提取以及全局特征重构，获得所述目标图像的全局二值图像；
对所述目标图像进行拆分处理，获得区域图像，分别通过所述区域生成网络对所述区域图像进行区域特征提取以及区域特征重构，获得区域二值图像。
在一个实施例中，所述全局生成网络包括提取图像语义信息的卷积神经网络，所述区域生成网络包括提取图像细节信息的卷积神经网络，所述全局生成网络的卷积深度高于所述区域生成网络的卷积深度。
在一个实施例中，所述方法还包括：
将所述目标图像按照预设规则进行拆分，获得区域图像，并记录每个区域图像的位置坐标；
根据所述每个区域图像的位置坐标将所述区域二值图像进行组合，获得组合二值图像；
所述通过所述级联融合网络对所述全局二值图像以及所述区域二值图像进行融合处理，获得融合二值图像包括：
通过所述级联融合网络对所述全局二值图像以及所述组合二值图像进行融合处理，获得融合二值图像。
在一个实施例中，所述级联融合网络包括将所述全局二值图像以及所述区域二值图像按照图像通道进行连接的连接层以及进行图像连接学习的卷积层。
一种图像校验模型的构建装置，所述装置包括：
初始模型搭建模块，用于获取级联对抗网络，所述级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；
图像处理模块，用于获取目标图像，分别对所述目标图像通过所述全局生成网络进行全局处理，通过所述区域生成网络进行区域处理，获得全局二值图像和区域二值图像；
融合处理模块，用于通过所述级联融合网络对所述全局二值图像以及所述区域二值图像进行融合处理，获得融合二值图像；
对抗训练模块，用于将所述融合二值图像以及所述目标图像的真实图像输入至所述鉴别网络进行对抗训练，基于对抗训练结果对所述级联对抗网络进行参数调整，直至所述级联对抗网络收敛，获得图像校验模型。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
上述图像校验模型的构建方法、装置、存储介质和计算机设备，通过全局生成网络对目标图像进行全局处理，获得目标图像的全局二值图像；通过区域生成网络对目标图像进行区域处理，获得区域二值图像；通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像；将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛，获得图像校验模型，后续可以通过该图像校验模型实现对图像的真假校验，无需人工对图像进行比对校验，因此，可以支持图像的高效校验。
一种图像校验方法，所述方法包括：
获取待校验图像所述待校验图像对应的待比对图像；
读取预设图像校验模型，所述预设图像校验模型由图像校验模型的构建方法构建；
将所述待校验图像和所述待比对图像输入至所述预设图像校验模型；
根据所述预设图像校验模型的输出数据，得到所述待校验图像的校验结果。
一种图像校验装置，所述装置包括：
待校验数据获取模块，用于获取待校验图像和所述待校验图像对应的待比对图像；
模型获取模块，用于读取预设图像校验模型，所述预设图像校验模型由图像校验模型的构建方法构建；
待校验数据处理模块，用于将所述待校验图像和所述待比对图像输入至所述预设图像校验模型；
校验结果生成模块，用于根据所述预设图像校验模型的输出数据，得到所述待校验图像的校验结果。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
上述图像校验方法、装置、存储介质和计算机设备，通过图像校验模型对待校验图像以及待比对图像进行处理，获得待校验图像的校验结果，这样可以通过图像校验模型实现自动对图像进行校验，无需人工对图像进行比对校验，因此，可以有效提高校验效率。
附图说明
图1为一个实施例中图像校验模型的构建方法的应用环境图；
图2为一个实施例中图像校验模型的构建方法的流程示意图；
图3为一个实施例中级联对抗网络的结构示意图；
图4为一个实施例中图像拆分的示意图；
图5为一个实施例中级联融合网络的组成示意图；
图6为一个实施例中图像校验方法的流程示意图；
图7为一个实施例中彩色样板房图纸的示意图；
图8为一个实施例中级联融合网络处理后的二值化图纸的示意图；
图9为一个实施例中图像校验模型的构建装置的结构框图；
图10为一个实施例中图像校验装置的结构框图；
图11为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像校验模型的构建方法，可以应用于如图1所示的应用环境中。其中，客户终端102通过网络与服务器104进行通信。用户通过客户终端102搭建级联对抗网络并输入目标图像。服务器104获取级联对抗网络，级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；获取目标图像，分别对目标图像通过全局生成网络进行全局处理，通过区域生成网络进行区域处理，获得全局二值图像和区域二值图像；通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像；将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行卷积层参数调整，直至级联对抗网络收敛，获得图像校验模型。其中，客户终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像校验模型的构建方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取级联对抗网络，级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络。
级联对抗网络的结构示意图如图3所示，包括全局生成网络、区域生成网络、级联融合网络和鉴别网络四个组成部分；全局生成网络、区域生成网络、级联融合网络和鉴别网络均为卷积神经网络，其区别在于结构和深度不同。其中，全局生成网络用于对图像进行全局处理，获得图像语义信息。区域生成网络用于对图像进行区域处理，获得图像细节信息。级联融合网络用于对由全局生成网络处理后的图像以及由区域生成网络处理后的图像进行组合处理，获得组合图像。鉴别网络用于对级联融合网络的输出图像以及真实图像进行处理，获得真假校验结果。
步骤204，获取目标图像，分别对目标图像通过全局生成网络进行全局处理，通过区域生成网络进行区域处理，获得全局二值图像和区域二值图像。
目标图像是指已知真假结果的用于网络训练的图像，比如具体以样板房宣传材料图纸作为目标图像，已知该样板房宣传材料图纸对应的真实建筑图纸。全局二值图像是指用于表征目标图像整体分布情况的二值图像，区域二值图像是指用于表征目标图像中各个布局细节情况的二值图像。对目标图像通过全局生成网络进行全局处理，获得全局二值图像；对目标图像通过区域生成网络进行区域处理，获得区域二值图像。比如，以样板房宣传材料图纸作为目标图像，对样板房宣传材料图纸通过全局生成网络进行全局处理，获得表征房间整体分布情况的全局二值图像；对样板房宣传材料图纸通过区域生成网络进行区域处理，获得表征各个房间内部装修情况的区域二值图像。
在一个实施例中，分别对目标图像通过全局生成网络进行全局处理，通过区域生成网络进行区域处理，获得全局二值图像和区域二值图像包括：通过全局生成网络对目标图像进行全局特征提取以及全局特征重构，获得目标图像的全局二值图像；对目标图像进行拆分处理，获得区域图像，分别通过区域生成网络对区域图像进行区域特征提取以及区域特征重构，获得区域二值图像。全局特征是指一幅图像中包含的组成部分，区域特征是指图像中某个组成部分的特定特征。特征提取是指提取图像信息，并判断提取到的图像上的每个点是否属于一个图像特征，特征提取的结果是把图像上的点分为不同的子集，子集属于孤立的点、连续的曲线或者连续的区域。特征重构是指基于特征提取获取到的特征对图像进行重构。具体地，全局生成网络包括提取图像语义信息的卷积神经网络，区域生成网络包括提取图像细节信息的卷积神经网络，全局生成网络的卷积深度高于区域生成网络的卷积深度。
比如，以样板房宣传材料图纸作为目标图像，对样板房宣传材料图纸通过全局生成网络进行全局处理，区域生成网络为较深的卷积神经网络，通过全局生成网络学习样板房宣传材料图纸中房间整体分布情况，获得更多的语义信息，确定整幅图纸中包含的房间数量和房间位置。通过全局生成网络处理后获得的二值图像缺乏细节信息，房间的界限模糊，房间中的家具布局和位置等信息不能很好的表征。因此，可以按照房间界限对样板房宣传材料图纸进行拆分，获得区域子图，图像拆分示意图如图4所示。通过区域生成网络对各个区域子图进行处理，区域生成网络注重房间内的细节信息，可以确定房间中的装修布局，便于进行细节转换。区域生成网络为较浅的卷积神经网络，用于解决全局生成网络不能表征细节信息的问题，获得更加详细的房间内部的装修信息，比如家具位置和布局等。
在一个实施例中，图像校验模型的构建方法还包括：将目标图像按照预设规则进行拆分，获得区域图像，并记录每个区域图像的位置坐标；根据每个区域图像的位置坐标将区域二值图像进行组合，获得组合二值图像；通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像包括：通过级联融合网络对全局二值图像以及组合二值图像进行融合处理，获得融合二值图像。以图4为例，将样板房图纸按房间进行区域子图拆分，并记录每个房间的坐标位置，比如每个房间的中心坐标，如图中所示的(x1,y1)、(x2,y2)等。其中，坐标原点为样板房图纸的左下角，如图中左半部分所标示。
步骤206，通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像。
在对目标图像分别进行全局处理和区域处理，获得全局生成网络输出的全局二值图像以及区域生成网络输出的区域二值图像后，需要对表征目标图像全局信息的全局二值图像和表征目标图像细节信息的区域二值图像进行融合，可以通过级联融合网络将两者进行级联，其中，级联融合网络为卷积神经网络。
具体地，级联融合网络包括将全局二值图像以及区域二值图像按照图像通道进行连接的连接层以及进行图像连接学习的卷积层。进一步地，级联融合网络的组成示意图如图5所示，级联融合网络包括一层图像连接层、两层卷积层和一层BN(BatchNormalization，批量归一化)标准化层。其中，批量归一化是指在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布，图像连接层负责将两张图像按照图像通道进行连接。融合过程中存在参数的学习，将全局生成网络和区域生成网络地输出结果通过卷积神经网络进行自主融合，图像融合后所占的比例由卷积层的参数确定，卷积层的参数通过训练进行学习。
步骤208，将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛，获得图像校验模型。
通过鉴别网络进行对抗训练，将级联融合网络的输出结果以及目标图像的真实图像输入至鉴别网络，鉴别网络对两种不同的输入图像进行鉴别，真实图像对应‘真’，级联融合网络的输出结果对应‘假’。具体地，鉴别网络的损失函数如下式所示：
Figure BDA0002287185850000081
其中，x为级联融合网络的输出结果，z为目标图像的真实图像，θ为级联对抗网络的参数。
上述图像校验模型的构建方法，对目标图像通过全局生成网络进行全局处理，获得目标图像的全局二值图像；通过区域生成网络对目标图像进行区域处理，获得区域二值图像；通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像；将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛，获得图像校验模型，后续可以通过该图像校验模型实现对图像的真假校验，无需人工对图像进行比对校验，因此，可以支持图像的高效校验。
在一个实施例中，以房地产样板房图纸为例，样板房图纸具体可以是彩色样板房图纸，经全局生成网络对彩色样板房图纸进行特征提取以及特征构建处理后，获得全局二值图像。将彩色样板房图纸按照房间界限进行拆分，获得不同房间的区域子图，区域子图分别经区域生成网络进行特征提取以及特征构建处理后，获得区域二值图像。其中，全局生成网络为更深的卷积神经网络，区域生成网络为较浅的卷积神经网络。级联融合网络将由全局生成网络生成的全局二值图像以及由区域生成网络生成的区域二值图像进行融合。将级联融合网络的输出结果以及真实的建筑图纸输入至鉴别网络，鉴别网络使用对抗的方式进行训练，以实现对两种不同输入图像的鉴别，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛。
在一个实施例中，如图6所示，提供了一种图像校验方法，该方法包括：步骤602，获取待校验图像和待校验图像对应的待比对图像；步骤604，读取预设图像校验模型，预设图像校验模型由图像校验模型的构建方法构建；步骤606，将待校验图像和待比对图像输入至预设图像校验模型；步骤608，根据预设图像校验模型的输出数据，得到待校验图像的校验结果。图像校验模型包括全局生成网络、区域生成网络、级联融合网络和鉴别网络。通过图像校验模型的全局生成网络对待校验图像进行特征提取以及特征构建处理后，获得待校验图像的全局二值图像。将待校验图像进行拆分获得区域子图，比如按照房间界限进行拆分，获得不同房间的区域子图。区域子图分别通过图像校验模型的区域生成网络进行特征提取以及特征构建处理后，获得待校验图像的区域二值图像。将待校验图像的全局二值图像以及待校验图像的区域二值图像通过图像校验模型的级联融合网络进行融合处理，获得待校验图像的融合二值图像。比如，待校验图像为如图7所示的彩色样板房图纸，彩色样板房图纸经全局生成网络、区域生成网络以及级联融合网络处理后获得的二值化图纸如图8所示。将级联融合网络的输出结果以及待比对图像，比如真实的建筑图纸，输入至鉴别网络，得到待校验图像的校验结果。
上述图像校验方法，通过图像校验模型对待校验图像以及待比对图像进行处理，获得待校验图像的校验结果，这样可以通过图像校验模型实现自动对图像进行校验，无需人工对图像进行比对校验，因此，可以有效提高校验效率。
在一个实施例中，用户可以通过终端搭建级联对抗网络并输入目标图像，服务器获取级联对抗网络，级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；获取目标图像，分别对目标图像通过全局生成网络进行全局处理，通过区域生成网络进行区域处理，获得全局二值图像和区域二值图像；通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像；将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛，获得图像校验模型。在后续需要进行图像校验场景时，用户只需输入待校验图像以及待比对图像，服务器调用图像校验模型，对待校验图像以及待比对图像进行处理，获得待校验图像的校验结果。
应该理解的是，虽然图2、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
基于与上述方法相同的思想，图9示出了一个实施例的图像校验模型的构建装置的结构示意图，该实施例中的图像校验模型的构建装置包括：
初始模型搭建模块902，用于获取级联对抗网络，级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；
图像处理模块904，用于获取目标图像，分别对目标图像通过全局生成网络进行全局处理，通过区域生成网络进行区域处理，获得全局二值图像和区域二值图像；
图像处理模块906，用于通过级联融合网络对全局二值图像以及区域二值图像进行融合处理，获得融合二值图像；
对抗训练模块908，用于将融合二值图像以及目标图像的真实图像输入至鉴别网络进行对抗训练，基于对抗训练结果对级联对抗网络进行参数调整，直至级联对抗网络收敛，获得图像校验模型。
在一个实施例中，图像处理模块还用于通过全局生成网络对目标图像进行全局特征提取以及全局特征重构，获得目标图像的全局二值图像；对目标图像进行拆分处理，获得区域图像，通过区域生成网络对区域图像进行区域特征提取以及区域特征重构，获得区域二值图像。
在一个实施例中，图像校验模型的构建装置中的全局生成网络包括提取图像语义信息的卷积神经网络，区域生成网络包括提取图像细节信息的卷积神经网络，全局生成网络的卷积深度高于区域生成网络的卷积深度。
在一个实施例中，图像校验模型的构建装置还包括位置标记模块，用于将目标图像按照预设规则进行拆分，获得区域图像，并记录每个区域图像的位置坐标；根据每个区域图像的位置坐标将区域二值图像进行组合，获得组合二值图像；融合处理模块用于通过级联融合网络对全局二值图像以及组合二值图像进行融合处理，获得融合二值图像。
在一个实施例中，图像校验模型的构建装置中的级联融合网络包括将全局二值图像以及区域二值图像按照图像通道进行连接的连接层以及进行图像连接学习的卷积层。
在一个实施例中，图10示出了一个实施例的图像校验装置的结构示意图，该实施例中的图像校验装置，包括：
待校验数据获取模块1002，用于获取待校验图像和待校验图像对应的待比对图像；
模型获取模块1004，用于读取预设图像校验模型，预设图像校验模型由图像校验模型的构建方法构建；
待校验数据处理模块1006，用于将待校验图像和待比对图像输入至预设图像校验模型；
校验结果生成模块1008，用于根据预设图像校验模型的输出数据，得到待校验图像的校验结果。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置、显示屏、摄像头、声音采集装置和扬声器。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像校验模型的构建方法或者图像校验方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像校验模型的构建方法或者图像校验方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像校验模型的构建装置或者图像校验装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该的各个程序模块，各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像校验模型的构建方法或者图像校验方法中的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像校验模型的构建方法或者图像校验方法的步骤。此处图像校验模型的构建方法或者图像校验方法的步骤可以是上述各个实施例的图像校验模型的构建方法或者图像校验方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像校验模型的构建方法或者图像校验方法的步骤。此处图像校验模型的构建方法或者图像校验方法的步骤可以是上述各个实施例的图像校验模型的构建方法或者图像校验方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像校验模型的构建方法，其特征在于，所述方法包括：
获取级联对抗网络，所述级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；
获取目标图像，分别对所述目标图像通过所述全局生成网络进行全局处理，通过所述区域生成网络进行区域处理，获得全局二值图像和区域二值图像；
通过所述级联融合网络对所述全局二值图像以及所述区域二值图像进行融合处理，获得融合二值图像；
将所述融合二值图像以及所述目标图像的真实图像输入至所述鉴别网络进行对抗训练，基于对抗训练结果对所述级联对抗网络进行参数调整，直至所述级联对抗网络收敛，获得图像校验模型。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述目标图像通过所述全局生成网络进行全局处理，通过所述区域生成网络进行区域处理，获得全局二值图像和区域二值图像包括：
通过所述全局生成网络对所述目标图像进行全局特征提取以及全局特征重构，获得所述目标图像的全局二值图像；
对所述目标图像进行拆分处理，获得区域图像，通过所述区域生成网络对所述区域图像进行区域特征提取以及区域特征重构，获得区域二值图像。
3.根据权利要求1所述的方法，其特征在于，所述全局生成网络包括提取图像语义信息的卷积神经网络，所述区域生成网络包括提取图像细节信息的卷积神经网络，所述全局生成网络的卷积深度高于所述区域生成网络的卷积深度。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述目标图像按照预设规则进行拆分，获得区域图像，并记录每个区域图像的位置坐标；
根据所述每个区域图像的位置坐标将所述区域二值图像进行组合，获得组合二值图像；
所述通过所述级联融合网络对所述全局二值图像以及所述区域二值图像进行融合处理，获得融合二值图像包括：
通过所述级联融合网络对所述全局二值图像以及所述组合二值图像进行融合处理，获得融合二值图像。
5.根据权利要求1所述的方法，其特征在于，所述级联融合网络包括将所述全局二值图像以及所述区域二值图像按照图像通道进行连接的连接层以及进行图像连接学习的卷积层。
6.一种图像校验方法，其特征在于，所述方法包括：
获取待校验图像和所述待校验图像对应的待比对图像；
读取预设图像校验模型，所述预设图像校验模型由如权利要求1-5任意一项所述方法构建；
将所述待校验图像和所述待比对图像输入至所述预设图像校验模型；
根据所述预设图像校验模型的输出数据，得到所述待校验图像的校验结果。
7.一种图像校验模型的构建装置，其特征在于，所述装置包括：
初始模型搭建模块，用于获取级联对抗网络，所述级联对抗网络包括依次连接的全局生成网络、区域生成网络、级联融合网络以及鉴别网络；
图像处理模块，用于获取目标图像，分别对所述目标图像通过所述全局生成网络进行全局处理，通过所述区域生成网络进行区域处理，获得全局二值图像和区域二值图像；
融合处理模块，用于通过所述级联融合网络对所述全局二值图像以及所述区域二值图像进行融合处理，获得融合二值图像；
对抗训练模块，用于将所述融合二值图像以及所述目标图像的真实图像输入至所述鉴别网络进行对抗训练，基于对抗训练结果对所述级联对抗网络进行参数调整，直至所述级联对抗网络收敛，获得图像校验模型。
8.一种图像校验装置，其特征在于，所述装置包括：
待校验数据获取模块，用于获取待校验图像和所述待校验图像对应的待比对图像；
模型获取模块，用于读取预设图像校验模型，所述预设图像校验模型由如权利要求1-5任意一项所述方法构建；
待校验数据处理模块，用于将所述待校验图像和所述待比对图像输入至所述预设图像校验模型；
校验结果生成模块，用于根据所述预设图像校验模型的输出数据，得到所述待校验图像的校验结果。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6任一项所述方法的步骤。
CN201911164941.8A 2019-11-25 2019-11-25 图像校验模型的构建方法、图像校验方法和装置 Withdrawn CN112836554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164941.8A CN112836554A (zh) 2019-11-25 2019-11-25 图像校验模型的构建方法、图像校验方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164941.8A CN112836554A (zh) 2019-11-25 2019-11-25 图像校验模型的构建方法、图像校验方法和装置

Publications (1)

Publication Number Publication Date
CN112836554A true CN112836554A (zh) 2021-05-25

Family

ID=75922838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164941.8A Withdrawn CN112836554A (zh) 2019-11-25 2019-11-25 图像校验模型的构建方法、图像校验方法和装置

Country Status (1)

Country Link
CN (1) CN112836554A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225268A (zh) * 2015-09-14 2016-01-06 浙江宇视科技有限公司 一种三维建模的方法和装置
CN108229381A (zh) * 2017-12-29 2018-06-29 湖南视觉伟业智能科技有限公司 人脸图像生成方法、装置、存储介质和计算机设备
CN108596066A (zh) * 2018-04-13 2018-09-28 武汉大学 一种基于卷积神经网络的字符识别方法
CN108734185A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 图像校验方法和装置
CN108763813A (zh) * 2018-06-08 2018-11-06 杭州群核信息技术有限公司 一种基于深度学习识别临摹图中墙体的方法和装置
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN108898579A (zh) * 2018-05-30 2018-11-27 腾讯科技（深圳）有限公司 一种图像清晰度识别方法、装置和存储介质
CN109543819A (zh) * 2018-11-06 2019-03-29 中国电子科技集团公司第二十八研究所 一种基于改进区域卷积神经网络的景象匹配定位方法
US20190130573A1 (en) * 2017-10-30 2019-05-02 Rakuten, Inc. Skip architecture neural network machine and method for improved semantic segmentation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105225268A (zh) * 2015-09-14 2016-01-06 浙江宇视科技有限公司 一种三维建模的方法和装置
CN108734185A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 图像校验方法和装置
US20190130573A1 (en) * 2017-10-30 2019-05-02 Rakuten, Inc. Skip architecture neural network machine and method for improved semantic segmentation
CN108229381A (zh) * 2017-12-29 2018-06-29 湖南视觉伟业智能科技有限公司 人脸图像生成方法、装置、存储介质和计算机设备
CN108596066A (zh) * 2018-04-13 2018-09-28 武汉大学 一种基于卷积神经网络的字符识别方法
CN108898579A (zh) * 2018-05-30 2018-11-27 腾讯科技（深圳）有限公司 一种图像清晰度识别方法、装置和存储介质
CN108763813A (zh) * 2018-06-08 2018-11-06 杭州群核信息技术有限公司 一种基于深度学习识别临摹图中墙体的方法和装置
CN108846355A (zh) * 2018-06-11 2018-11-20 腾讯科技（深圳）有限公司 图像处理方法、人脸识别方法、装置和计算机设备
CN109543819A (zh) * 2018-11-06 2019-03-29 中国电子科技集团公司第二十八研究所 一种基于改进区域卷积神经网络的景象匹配定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李宗民;徐希云;刘玉杰;李华;: "条件随机场像素建模与深度特征融合的目标区域分割算法", 计算机辅助设计与图形学学报, no. 06 *

Similar Documents

Publication Publication Date Title
WO2021077984A1 (zh) 对象识别方法、装置、电子设备及可读存储介质
Li et al. Simultaneously detecting and counting dense vehicles from drone images
Zhang et al. Cosaliency detection based on intrasaliency prior transfer and deep intersaliency mining
CN109344742B (zh) 特征点定位方法、装置、存储介质和计算机设备
CN110619330A (zh) 识别模型的训练方法、装置、计算机设备及识别方法
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
Bhatt et al. Improving cross-resolution face matching using ensemble-based co-transfer learning
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
WO2021012382A1 (zh) 配置聊天机器人的方法、装置、计算机设备和存储介质
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN110598019B (zh) 重复图像识别方法及装置
CN111275685A (zh) 身份证件的翻拍图像识别方法、装置、设备及介质
CN111191564A (zh) 基于多角度神经网络的多姿态人脸情绪识别方法及系统
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
Emeršič et al. Pixel-wise ear detection with convolutional encoder-decoder networks
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN110750523A (zh) 数据标注方法、系统、计算机设备和存储介质
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN110807139A (zh) 图片识别方法、装置、计算机可读存储介质和计算机设备
CN112395979A (zh) 基于图像的健康状态识别方法、装置、设备及存储介质
CN113254491A (zh) 一种信息推荐的方法、装置、计算机设备及存储介质
CN109271917A (zh) 人脸识别方法、装置、计算机设备和可读存储介质
CN111832581A (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN111079587B (zh) 人脸的识别方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210525