CN111242220A - 基于编解码网络的图像处理方法、装置、设备及介质 - Google Patents

基于编解码网络的图像处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111242220A
CN111242220A CN202010034724.3A CN202010034724A CN111242220A CN 111242220 A CN111242220 A CN 111242220A CN 202010034724 A CN202010034724 A CN 202010034724A CN 111242220 A CN111242220 A CN 111242220A
Authority
CN
China
Prior art keywords
image
network
matched
target
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010034724.3A
Other languages
English (en)
Inventor
利啟东
张超
黄聿
黄深能
胡浩
胡盼盼
佟博
赵茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN202010034724.3A priority Critical patent/CN111242220A/zh
Publication of CN111242220A publication Critical patent/CN111242220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/16—Real estate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Tourism & Hospitality (AREA)
  • Image Analysis (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)

Abstract

本发明公开了一种基于编解码网络的图像处理方法、装置、设备及介质，该方法包括：获取待处理图像，以及目标待匹配图像；基于预先训练的目标编解码网络对待处理图像以及目标待匹配图像进行处理，得到与待处理图像相对应的目标图像；其中，目标图像中包括待处理图像在目标待匹配图像中的具体位置。本公开实施例的技术方案，解决了现有技术中图像比对时，由于合同图和装修图的尺寸不一，导致无法准确的确定装修图在合同图的位置，以及装修图与合同图之间的差异，进而导致图像匹配效率较低的技术问题，实现了基于合同图对装修图进行处理，并基于处理后的装修图与合同图进行匹配，提高了图像匹配效率，以及用户体验的技术效果。

Description

基于编解码网络的图像处理方法、装置、设备及介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种基于编解码网络的图像处理方法、装置设备及介质。
背景技术
图纸矫正是房地产开发行业中的重要任务。通常情况下，从项目开始、图纸制作到项目结束，楼盘交楼等至少需要两年时间。在整个周期过程具有很强的不确定性，包括图纸的不断更新和改动。图纸的频繁改动给楼盘建设，统筹和营销等带来诸多不便，图纸的每一次改动，相关工作人员都要重新进行一次校对，确定出图纸中被改动的部分，存在效率较低，以及人工成本较高的问题。
目前，可以采用人工智能的方法对多个修改后的图片进行辅助校对。人工智能最常用的方法是图像比对，图像的比对也多是针对装修图和合同图进行比对，但是合同图和装修图的尺寸大小不一，导致无法准确的确定合同图与装修图之间的差异，进而依然存在图像匹配效率较低的技术问题。
发明内容
本发明实施例提供了一种基于编解码网络的图像处理方法、装置、设备及介质，以实现提高图像匹配效率，以及用户体验的技术效果。
第一方面，本发明实施例提供了一种基于编解码网络的图像处理方法，该方法包括：
获取待处理图像，以及目标待匹配图像；
基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像；
其中，所述目标图像中包括所述待处理图像在所述目标待匹配图像中的具体位置。
第二方面，本发明实施例还提供了一种基于编解码网络的图像处理装置，该装置包括：
图像获取模块，用于获取待处理图像，以及目标待匹配图像；
图像处理模块，用于基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像；
其中，所述目标图像中包括所述待处理图像在所述目标待匹配图像中的具体位置。
第三方面，本发明实施例还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的基于编解码网络的图像处理方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的基于编解码网络的图像处理方法。
本发明实施例的技术方案，通过获取待处理图像，以及目标待匹配图像；基于预先训练的目标编解码网络对待处理图像以及目标待匹配图像进行处理，得到与待处理图像相对应的目标图像；其中，目标图像中包括待处理图像在目标待匹配图像中的具体位置，解决了现有技术中图像比对时，由于合同图和装修图的尺寸不一，导致无法准确的确定装修图在合同图中的具体位置，进而在装修图与合同图进行匹配时存在匹配效率较低，用户体验较差的技术问题，实现了基于合同图对装修图进行预处理，并基于处理后的装修图与合同图进行匹配，提高了图像匹配效率，以及用户体验的技术效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
图1为本发明实施例一所提供的一种基于编解码网络的图像处理方法流程示意图；
图2为本实施例所提供的一种装修示意图；
图3为本实施例所提供的一种合同示意图；
图4为本发明实施例所提供的将装修图放置到与合同图尺寸相同的图纸上的示意图；
图5为本发明实施例所提供的一种经编解码网络输出的目标图像；
图6为本发明实施例二所提供的一种基于编解码网络的图像处理方法另一流程示意图；
图7为本发明实施例三所提供的一种基于编解码网络的图像处理方法另一流程示意图；
图8为本发明实施例四所提供的一种质心确定装置结构示意图；
图9为本发明实施例五所提供的一种服务器结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一所提供的一种基于编解码网络的图像处理方法流程示意图，本实施例可适用于根据局部示意图以及全局图，确定局部示意图在全局图中的具体位置的情形，该方法可以由基于编解码网络的图像处理装置来执行，该装置可以通过软件和/或硬件的形式实现。该硬件可以是电子设备，可选的，PC端、移动终端等。
如图1，本实施例的方法包括：
S110、获取待处理图像，以及目标待匹配图像。
在本实施例中，待处理图像的整体框架可以为目标待匹配图像中的局部示意图，当然，在整体框架内添加具体的装饰或者内容后所构成的图像作为待处理图像。可选的，待处理图像为对某一个或者多个户型的装修图，待处理图像中的户型可以包括目标待匹配图像中的一个或者多个户型。目标待匹配图像可以是整栋房子某一层的平面布局图，可选的，目标待匹配图像为合同图。
为了更加清楚的了解待处理图像，以及目标待匹配图像，可以参见图2以及图3。图2是待处理图像，为某一个户型的装修图，图3是目标待匹配图像，可选的，为合同图，即某一栋楼某一层的平面布局图。图2的整体框架为图3的局部示意图。
具体的，当目标用户需要确定装修图对应的为合同图上的哪一部分时，可以获取待处理图像，以及目标待匹配图像，即获取装修图以及包含装修图框架的合同图。
在上述技术方案的基础上，需要说明的是，在基于目标编解码网络对待处理图像以及目标待匹配图像处理之前，也就是，在获取待处理图像以及目标待匹配图像之前，需要对待处理图像进行预处理。可选的，根据目标待匹配图像所处图纸的尺寸，将待处理图像放置到与图纸尺寸相同的图纸上。当然，待处理图像的尺寸大小不发生变化。如图4所示，将装修图放置到与合同图尺寸相同的图纸上。
可以理解为，获取到的待处理图像与目标待匹配图像所处图纸的尺寸相同，输入至目标编解码网络中的待处理图像以及目标待匹配图像所处图纸的尺寸相同。
S120、基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像。
其中，目标编解码网络为预先训练得到的并最终使用的编解码网络。目标编解码网络，用于对待处理图像以及目标待匹配图像进行处理，确定待处理图像对应目标待匹配图像中的具体位置。目标图像为对待处理图像进行处理后，将待匹配图像平移或旋转到与目标待匹配图像对应位置上的图像。如，参见图2以及图3，根据图3将图2中的局部示意图，移动到与图3对应的位置处，即确定图2中的图像在图3中的具体位置，并将图2中的图像移动到具体位置，将移动后的图像输出，并作为目标图像如图5所示。
具体的，将待处理图像以及目标待匹配图像输入至预先训练好的目标编解码网络中，输出的目标图像为确定待处理图像在目标待匹配图像的具体位置，并将待处理图像移动到目标位置后的图像。
示例性的，待处理图像为装修图，可选的，户型为H的装修图；待匹配目标图像为合同图，即包括某个楼层各个户型以及位置的平面布局图。为了确定装修图在合同图中的具体位置，可以将装修图以及待匹配图像输入至预先训练好的目标编解码网络中，输出的目标图像为将装修图移动到与合同图对应位置处的图像，以便用户基于输出的目标图像，确定装修图对应合同图中具体哪一部分。
本发明实施例的技术方案，通过获取待处理图像，以及目标待匹配图像；基于预先训练的目标编解码网络对待处理图像以及目标待匹配图像进行处理，得到与待处理图像相对应的目标图像；其中，目标图像中包括待处理图像在目标待匹配图像中的具体位置，解决了现有技术中图像比对时，由于合同图和装修图的尺寸不一，导致无法准确的确定装修图在合同图中的具体位置，进而在装修图与合同图进行匹配时存在匹配效率较低，用户体验较差的技术问题，实现了基于合同图对装修图进行预处理，并基于处理后的装修图与合同图进行匹配，提高了图像匹配效率，以及用户体验的技术效果。
实施例二
在上述技术方案的基础上，在将待处理图像以及待匹配目标图像输入至预先训练好的目标编解码网络中之前，还需要训练得到目标编解码网络。图6为本发明实施例二所提供的一种基于编解码网络的图像处理方法另一流程示意图。如图6所示，方法包括：
S610、获取第一预处理图像，以及与第一预处理图像相关联的第一待匹配图像。
其中，第一预处理图像可以理解为参与训练目标编解码网络的装修图。相应的，第一待匹配图像为参与训练目标编解码网络的合同图。第一预处理图像的框架为第一待匹配图像中的局部结构示意图，同时第一预处理图像中包括具体装修的示意图。
具体的，获取第一预处理图像，以及与第一预处理图像相对应的第一待匹配图像。
在基于第一预处理图像，以及第一待匹配图像训练目标编解码网络之前，需要对第一预处理图像进行处理，以使第一预处理图像所处的图纸尺寸与第一待匹配图像所处图纸的尺寸相同。即，根据第一待匹配图像所处图纸的尺寸，将第一预处理图像放置到与第一待匹配图像所处图纸尺寸相同的图纸上，并将第一预处理图像放置到图纸的中心位置处，以便基于摆位好的第一与处理图像和第一待匹配图像来训练目标编解码网络。
示例性的，参见图7，将装修图放置到与合同图Y1大小相同的空片图纸上，并位于空白图纸的中心处，得到第一预处理图像X1。即将图2的装修图，放置到与合同图尺寸相同的图纸上，并放置在图纸的中央，即得到如图4所示的示意图。根据第一预处理图像X1，以及第一待匹配图像Y1来训练待训练编解码网路中，以根据训练结果得到目标编解码网络。
S620、基于待训练编解码网络，确定与第一预处理图像与第一待匹配图像之间的第一网络损失。
可选的，基于待训练编解码网络提取第一预处理图像的特征层，作为第一特征层；以及基于待训练编解码网络提取第一待匹配图像的特征层，作为第二特征层；分别对第一特征层以及第二特征层进行卷积运算，得到与第一特征层对应的第三特征层，以及与第二特征层相对应的第四特征层；基于预设公式确定第三特征层与第四特征层之间最大平均差异，并将最大平均差异作为与待训练编解码网络对应的第一网络损失。
也就是说，待训练编解码网络可以分别对第一预处理图像和第一待匹配图像进行 处理，提取出第一预处理图像的特征层作为第一特征层，以及提取出第一待匹配图像的特 征层作为第二特征层。分别将第一特征层和第二特征层卷积到相同尺度下，得到与第一特 征层对应的第三特征层，以及与第二特征层对应的第四特征层。通过公式
Figure 302594DEST_PATH_IMAGE001
可以计算出第三特征层与第四特征层之间的最大 平均差异，并将此最大平均差异，作为待训练编解码网络的第一网络损失。
示例性的，继续参见图7，将X1和Y1分别输入至待训练编解码网络后，可以分别提 取出与X1相对应的第一特征层F1，以及与Y1相对应的第二特征层F2。分别对第一特征层F1 和第二特征层F2进行卷积，得到与X1相对应的第三特征层F3，以及与Y1相对应的第四特征 层F4。采用公式
Figure 1166DEST_PATH_IMAGE001
计算第三特征层F3和第四特征层 F4之间的最大平均差异，并将计算得到的最大平均差异作为与待训练编解码网络相对应的 第一网络损失loss1。
在本实施例中，确定第一网络损失的好处在于，可以确定第三特征层与第四特征层之间的相似性，从而提高编解码网络特征提取准确性。
S630、基于待训练编解码网络，对第一预处理图像与第一待匹配图像进行处理，得到与第一预处理图像对应的第一目标图像；基于第一目标图像与第一待匹配图像，确定与待训练编解码网络相对应的第二网络损失。
其中，第一目标图像为基于待训练编解码网络处理后输出的图像。对第一目标图像以及第一待匹配图像中的每一个像素点进行处理，可以得到第一目标图像与第一待匹配图像中各个像素点之间的误差值，基于与各个像素点对应的误差值可以确定与待训练编解码网络对应的第二网络损失。
也就是说，基于待训练编解码网络可以对第一预处理图像以及第一待匹配图像进行处理，输出与第一预处理图像相对应的第一目标图像。基于第一目标图像与第一待匹配图像，可以确定待训练编解码网络的第二网络损失。
可选的，对第一特征层以及第二特征层进行融合，得到第五特征层；基于待训练编解码网络中的解码网络，对第五特征层进行处理，输出第一目标图像；通过对第一目标图像以及第一待匹配图像的每个像素点进行误差计算，得到与待训练编解码网络对应的第二网络损失。
其中，第五特征层信息关于的是基于第一预处理图像的特征信息和基于第一待匹配图像的相对空间信息。经过解码网络，即利用了对尺度信息融合的思想，最终得到一张和第一待匹配图像相同大小的转换后图像，即第一目标图像。
具体的，基于待训练编解码网络对第一特征层以及第二特征层进行融合处理，可以得到与第一预处理图像对应的第一目标图像，通过对第一目标图像与第一待匹配图像的每个像素点进行误差计算，可以得到与待训练编解码网络对应的第二网络损失loss2。
在本实施例中，通过对第一目标图像以及第一待匹配图像的每个像素点进行误差计算，得到与待训练编解码网络对应的第二网络损失，包括：
基于公式：
Figure 260109DEST_PATH_IMAGE002
，确定与所述待训练编解码网络相对应的第二网络损 失；其中，i表示图像中的行号，j表示图像中的列号；yij表示第一目标图像中的像素点数值； yij’表示第一待匹配图像中的每个像素点数值；w表示图像的总行数；h表示图像的总列数。
也就是说，获取第一目标图像与第一待匹配图像对应位置处的像素点，并计算对应位置处每一组像素点的差值，并对差值开平方得到与每一组像素点对应的中间值。对所有中间值进行累加，将累加之和作为第一目标图像与第一待匹配图像之间的第二网络损失，即与待训练编解码网络所对应的第二网络损失。
在本实施例中，计算第二网络损失的好处在于，可以提高对细节部分处理的准确性。
S640、确定第一目标图像与第一待匹配图像之间的重心偏差值，将重心偏差值，作为与待训练编解码网络相对应的第三网络损失。
具体的，通过计算第一目标图像与第一待匹配图像之间的重心偏差值，可以将此时计算得到的重心偏差值作为与待训练编解码网络相对应的第三网络损失loss3。
在本实施例中，计算第三网络损失的好处在于，可以保证和加强位置信息的准确性，即提高输出的第一目标图像在第一待匹配图像上的准确性。
S650、基于第一网络损失、第二网络损失以及第三网络损失更新待训练编解码网络的网络参数，并将更新后的待训练编解码网络作为目标编解码网络。
具体的，可以根据获取到的第一网络损失loss1、第二网络损失loss2以及第三网络损失loss3，更新与待训练编解码网络对应的网络参数，并将网络参数更新后的待训练编解码网络作为目标编解码网络。基于目标编解码网络对待处理图像，以及目标待匹配图像进行处理，从而实现图像匹配的技术效果。
S660、获取待处理图像，以及目标待匹配图像。
S670、基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像。
本发明实施例的技术方案，通过获取待处理图像，以及目标待匹配图像；基于预先训练的目标编解码网络对待处理图像以及目标待匹配图像进行处理，得到与待处理图像相对应的目标图像；其中，目标图像中包括待处理图像在目标待匹配图像中的具体位置，解决了现有技术中图像比对时，由于合同图和装修图的尺寸不一，导致无法准确的确定装修图在合同图中的具体位置，进而在装修图与合同图进行匹配时存在匹配效率较低，用户体验较差的技术问题，实现了基于合同图对装修图进行预处理，并基于处理后的装修图与合同图进行匹配，提高了图像匹配效率，以及用户体验的技术效果。
实施例三
图8为本发明实施例四提供的一种基于编解码网络的图像处理装置的结构示意图，该装置包括：图像获取模块810、以及图像处理模块820。
其中，图像获取模块810，用于获取待处理图像，以及目标待匹配图像；图像处理模块820，用于基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像；其中，所述目标图像中包括所述待处理图像在所述目标待匹配图像中的具体位置。
本发明实施例的技术方案，通过获取待处理图像，以及目标待匹配图像；基于预先训练的目标编解码网络对待处理图像以及目标待匹配图像进行处理，得到与待处理图像相对应的目标图像；其中，目标图像中包括待处理图像在目标待匹配图像中的具体位置，解决了现有技术中图像比对时，由于合同图和装修图的尺寸不一，导致无法准确的确定装修图在合同图中的具体位置，进而在装修图与合同图进行匹配时存在匹配效率较低，用户体验较差的技术问题，实现了基于合同图对装修图进行预处理，并基于处理后的装修图与合同图进行匹配，提高了图像匹配效率，以及用户体验的技术效果。
在上述技术方案的基础上，所述装置还包括编解码网络训练模块，用于训练目标编解码网络。编解码网络训练模块包括：
图像获取单元，用于获取第一预处理图像，以及与所述第一预处理图像相关联的第一待匹配图像；
第一网络损失确定单元，用于基于待训练编解码网络，确定与所述第一预处理图像与所述第一待匹配图像之间的第一网络损失；
第二网络算是确定单元，用于基于所述待训练编解码网络，对所述第一预处理图像与所述第一待匹配图像进行处理，得到与第一预处理图像对应的第一目标图像；基于所述第一目标图像与所述第一待匹配图像，确定与所述待训练编解码网络相对应的第二网络损失；
第三网络损失确定单元，用于确定所述第一目标图像与所述第一待匹配图像之间的重心偏差值，将所述重心偏差值，作为与所述待训练编解码网络相对应的第三网络损失；
目标编解码网络确定单元，用于基于所述第一网络损失、所述第二网络损失以及所述第三网络损失更新所述待训练编解码网络的网络参数，并将更新后的待训练编解码网络作为目标编解码网络。
在上述各技术方案的基础上，所述第一网络损失确定单元，还用于：
基于所述待训练编解码网络提取所述第一预处理图像的特征层，作为第一特征层；以及基于所述待训练编解码网络提取所述第一待匹配图像的特征层，作为第二特征层；分别对所述第一特征层以及所述第二特征层进行卷积运算，得到与第一特征层对应的第三特征层，以及与第二特征层相对应的第四特征层；基于预设公式确定所述第三特征层与所述第四特征层之间最大平均差异，并将所述最大平均差异作为与所述待训练编解码网络对应的第一网络损失。
在上述各技术方案的基础上，所述第二网络损失单元，还用于：
对所述第一特征层以及所述第二特征层进行融合，得到第五特征层；
基于所述待训练编解码网络中的解码网络，对所述第五特征层进行处理，输出所述第一目标图像；
通过对所述第一目标图像以及所述第一待匹配图像的每个像素点进行误差计算，得到与所述待训练编解码网络对应的第二网络损失。
在上述各技术方案的基础上，所述第二网络损失单元，还用于：基于公式：
Figure 545597DEST_PATH_IMAGE002
，确定与所述待训练编解码网络相对应的第二网络损失；其中，i表示图 像中的行号，j表示图像中的列号；
Figure 548188DEST_PATH_IMAGE003
表示第一目标图像中的像素点数值；
Figure 602732DEST_PATH_IMAGE004
表示第一待匹 配图像中的每个像素点数值；w表示图像的总行数；h表示图像的总列数。
在上述各技术方案的基础上，所述目标编解码网络确定单元，还用于：
对所述第一网络损失、所述第二网络损失、以及第三网络损失进行累加，得到与所述待训练编解码网络相对应的目标网络损失；
基于所述目标网络损失更新所述待训练编解码网络的网络参数，并将网络参数更新后的待训练编解码网络作为目标编解码网络。
在上述各技术方案的基础上，所述待处理图像为装修图，所述目标待匹配图像为合同图。
本发明实施例所提供的基于编解码网络的图像处理装置可执行本发明任意实施例所提供的基于编解码网络的图像处理方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
实施例四
图9为本发明实施例四提供的一种服务器的结构示意图。图9示出了适于用来实现本发明实施例实施方式的示例性设备90的框图。图9显示的设备90仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，设备90以通用计算设备的形式表现。设备90的组件可以包括但不限于：一个或者多个处理器或者处理单元901，系统存储器902，连接不同系统组件（包括系统存储器902和处理单元901）的总线903。
总线903表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。
设备90典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备90访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器902可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）904和/或高速缓存存储器905。设备90可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统906可以用于读写不可移动的、非易失性磁介质（图9未显示，通常称为“硬盘驱动器”）。尽管图9中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线903相连。存储器902可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块907的程序/实用工具908，可以存储在例如存储器902中，这样的程序模块907包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块907通常执行本发明所描述的实施例中的功能和/或方法。
设备90也可以与一个或多个外部设备909（例如键盘、指向设备、显示器910等）通信，还可与一个或者多个使得用户能与该设备90交互的设备通信，和/或与使得该设备90能与一个或多个其它计算设备进行通信的任何设备（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口911进行。并且，设备90还可以通过网络适配器912与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器912通过总线903与设备90的其它模块通信。应当明白，尽管图9中未示出，可以结合设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元901通过运行存储在系统存储器902中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的基于编解码网络的图像处理方法。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行基于编解码网络的图像处理方法。
该方法包括：
获取待处理图像，以及目标待匹配图像；
基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像；
其中，所述目标图像中包括所述待处理图像在所述目标待匹配图像中的具体位置。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种基于编解码网络的图像处理方法，其特征在于，包括：
获取待处理图像，以及目标待匹配图像；
基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像；
其中，所述目标图像中包括所述待处理图像在所述目标待匹配图像中的具体位置。
2.根据权利要求1所述的方法，其特征在于，还包括：训练目标编解码网络；
其中，所述训练目标编解码网络包括：
获取第一预处理图像，以及与所述第一预处理图像相关联的第一待匹配图像；
基于待训练编解码网络，确定与所述第一预处理图像与所述第一待匹配图像之间的第一网络损失；
基于所述待训练编解码网络，对所述第一预处理图像与所述第一待匹配图像进行处理，得到与第一预处理图像对应的第一目标图像；基于所述第一目标图像与所述第一待匹配图像，确定与所述待训练编解码网络相对应的第二网络损失；
确定所述第一目标图像与所述第一待匹配图像之间的重心偏差值，将所述重心偏差值，作为与所述待训练编解码网络相对应的第三网络损失；
基于所述第一网络损失、所述第二网络损失以及所述第三网络损失更新所述待训练编解码网络的网络参数，并将更新后的待训练编解码网络作为目标编解码网络。
3.根据权利要求2所述的方法，其特征在于，所述基于待训练编解码网络，确定与所述第一预处理图像与所述第一待匹配图像之间的第一网络损失，包括：
基于所述待训练编解码网络提取所述第一预处理图像的特征层，作为第一特征层；以及基于所述待训练编解码网络提取所述第一待匹配图像的特征层，作为第二特征层；
分别对所述第一特征层以及所述第二特征层进行卷积运算，得到与第一特征层对应的第三特征层，以及与第二特征层相对应的第四特征层；
基于预设公式确定所述第三特征层与所述第四特征层之间最大平均差异，并将所述最大平均差异作为与所述待训练编解码网络对应的第一网络损失。
4.根据权利要求3所述的方法，其特征在于，所述基于所述待训练编解码网络，对所述第一预处理图像与所述第一待匹配图像进行处理，得到与第一预处理图像对应的第一目标图像；基于所述第一目标图像与所述第一待匹配图像，确定与所述待训练编解码网络相对应的第二网络损失，包括：
对所述第一特征层以及所述第二特征层进行融合，得到第五特征层；
基于所述待训练编解码网络中的解码网络，对所述第五特征层进行处理，输出所述第一目标图像；
通过对所述第一目标图像以及所述第一待匹配图像的每个像素点进行误差计算，得到与所述待训练编解码网络对应的第二网络损失。
5.根据权利要求4所述的方法，其特征在于，所述通过对所述第一目标图像以及所述第一待匹配图像的每个像素点进行误差计算，得到与所述待训练编解码网络对应的第二网络损失，包括：
基于公式：
Figure 804621DEST_PATH_IMAGE001
，确定与所述待训练编解码网络相对应的第二网络损失；
其中，i表示图像中的行号，j表示图像中的列号；yij表示第一目标图像中的像素点数值；yij’表示第一待匹配图像中的每个像素点数值；w表示图像的总行数；h表示图像的总列数。
6.根据权利要求2所述的方法，其特征在于，所述基于所述第一网络损失、所述第二网络损失以及所述第三网络损失更新所述待训练编解码网络的网络参数，并将更新后的待训练编解码网络作为目标编解码网络，包括：
对所述第一网络损失、所述第二网络损失、以及第三网络损失进行累加，得到与所述待训练编解码网络相对应的目标网络损失；
基于所述目标网络损失更新所述待训练编解码网络的网络参数，并将网络参数更新后的待训练编解码网络作为目标编解码网络。
7.根据权利要求1所述的方法，其特征在，所述待处理图像为装修图，所述目标待匹配图像为合同图。
8.一种基于编解码网络的图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像，以及目标待匹配图像；
图像处理模块，用于基于预先训练的目标编解码网络对所述待处理图像以及所述目标待匹配图像进行处理，得到与所述待处理图像相对应的目标图像；
其中，所述目标图像中包括所述待处理图像在所述目标待匹配图像中的具体位置。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的基于编解码网络的图像处理方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的基于编解码网络的图像处理方法。
CN202010034724.3A 2020-01-14 2020-01-14 基于编解码网络的图像处理方法、装置、设备及介质 Pending CN111242220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010034724.3A CN111242220A (zh) 2020-01-14 2020-01-14 基于编解码网络的图像处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010034724.3A CN111242220A (zh) 2020-01-14 2020-01-14 基于编解码网络的图像处理方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN111242220A true CN111242220A (zh) 2020-06-05

Family

ID=70865259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010034724.3A Pending CN111242220A (zh) 2020-01-14 2020-01-14 基于编解码网络的图像处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111242220A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102132318A (zh) * 2008-08-21 2011-07-20 惠普开发有限公司 图像收藏集的可缩放的相关性排序表示的自动创建
US20180165798A1 (en) * 2016-12-14 2018-06-14 Adobe Systems Incorporated Image hole filling that accounts for global structure and local texture
CN109740665A (zh) * 2018-12-29 2019-05-10 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN110021033A (zh) * 2019-02-22 2019-07-16 广西师范大学 一种基于金字塔孪生网络的目标跟踪方法
CN110321926A (zh) * 2019-05-24 2019-10-11 北京理工大学 一种基于深度残差修正网络的迁移方法及系统
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102132318A (zh) * 2008-08-21 2011-07-20 惠普开发有限公司 图像收藏集的可缩放的相关性排序表示的自动创建
US20180165798A1 (en) * 2016-12-14 2018-06-14 Adobe Systems Incorporated Image hole filling that accounts for global structure and local texture
CN109740665A (zh) * 2018-12-29 2019-05-10 珠海大横琴科技发展有限公司 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN110021033A (zh) * 2019-02-22 2019-07-16 广西师范大学 一种基于金字塔孪生网络的目标跟踪方法
CN110321926A (zh) * 2019-05-24 2019-10-11 北京理工大学 一种基于深度残差修正网络的迁移方法及系统
CN110473141A (zh) * 2019-08-02 2019-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN107293296B (zh) 语音识别结果纠正方法、装置、设备及存储介质
CN110163903B (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
CN109543680B (zh) 兴趣点的位置确定方法、装置设备和介质
CN109344755B (zh) 视频动作的识别方法、装置、设备及存储介质
CN110095752B (zh) 定位方法、装置、设备和介质
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
CN109272442B (zh) 全景球面图像的处理方法、装置、设备和存储介质
US11715186B2 (en) Multi-image-based image enhancement method and device
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
CN111784776A (zh) 视觉定位方法及装置、计算机可读介质和电子设备
CN110874591A (zh) 一种图像定位方法、装置、设备及存储介质
CN111563429A (zh) 一种图纸校对方法、装置、电子设备及存储介质
CN110796108B (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN113989616A (zh) 一种目标检测方法、装置、设备和存储介质
CN111523169A (zh) 一种装修方案生成方法、装置、电子设备及存储介质
CN111815748B (zh) 一种动画处理方法、装置、存储介质及电子设备
CN107729944B (zh) 一种低俗图片的识别方法、装置、服务器及存储介质
CN113850220A (zh) 文本透视变换方法及设备
CN110174892B (zh) 车辆朝向的处理方法、装置、设备及计算机可读存储介质
CN111368915A (zh) 一种图纸校对方法、装置、设备及存储介质
CN111054072A (zh) 一种角色模型拖尾的方法、装置、设备及存储介质
CN111242220A (zh) 基于编解码网络的图像处理方法、装置、设备及介质
CN110704650A (zh) Ota图片标签的识别方法、电子设备和介质
CN109815307B (zh) 位置确定方法、装置、设备和介质
CN115761778A (zh) 一种文献重构方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240220