CN110728639A - 图片修复方法及系统 - Google Patents

图片修复方法及系统 Download PDF

Info

Publication number
CN110728639A
CN110728639A CN201910932445.6A CN201910932445A CN110728639A CN 110728639 A CN110728639 A CN 110728639A CN 201910932445 A CN201910932445 A CN 201910932445A CN 110728639 A CN110728639 A CN 110728639A
Authority
CN
China
Prior art keywords
picture
convolution
network
layer
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910932445.6A
Other languages
English (en)
Other versions
CN110728639B (zh
Inventor
季翔宇
林朝龙
柳瑞超
杜玉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201910932445.6A priority Critical patent/CN110728639B/zh
Publication of CN110728639A publication Critical patent/CN110728639A/zh
Application granted granted Critical
Publication of CN110728639B publication Critical patent/CN110728639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供一种图片修复方法及系统，所述方法包括：获取用户拍摄的图片及拍摄的图片的地点信息；通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；根据用户拍摄的图片和拍摄的图片的地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；通过深度学习，根据参考修复图片，对填充区域进行填充和修复。根据所述方法，解决了在拍摄的图片中无关对象充斥图片的问题，使得修复的图片更符合拍摄地点的真实场景。

Description

图片修复方法及系统
技术领域
本发明总体来说涉及图像处理领域，更具体地讲，涉及一种图片修复方法及系统。
背景技术
目前随着社交网络的发展以及手机拍摄性能的提高，越来越多的人选择手机作为自己的拍摄工具，并且将拍摄的图片作为纪念或与朋友分享，但是拍摄的图片中经常会有一些无关的对象影响拍摄的图片的效果。例如，外出旅行尤其是节假日出行时，各个著名的旅游景点人满为患，用户在景点拍摄的图片中充满了其他游客的身影，这严重地影响了拍摄的图片的效果和用户的体验。
当前的图片修复方法需要用户手动选择哪些区域进行背景填充或修复，例如，通过操作预览界面接收用户操作指令选择需要修图的区域，根据选择的需要修图的区域，通过物体跟踪算法，对需要修图的区域内物体做连续跟踪计算物体在相机预览中的位置，在预览界面对对应的需要修图的区域做遮盖或填充处理。此外，当前的图片修复方法相对简单粗糙，没有考虑实际的拍摄地点和场景的信息，只是根据选择的填充区域周围的像素情况进行填充或修复，导致最终的修复效果不自然或者与实际拍摄时候的场景信息相差甚远，例如，根据遮盖图片在预览界面的相对位置，在拍照图片中做同样处理；在拍照输出图片按照同样的比例叠加遮盖或填充拍照图片。
由此可见，需要一种能够解决在拍摄的图片中无关对象充斥图片的问题，使得修复的图片更符合拍摄地点的真实场景的图片修复方法。
发明内容
本发明的示例性实施例的一方面在于提供一种图片修复方法，所述方法包括：获取用户拍摄的图片及拍摄的图片的地点信息；通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；通过深度学习，根据参考修复图片，对所述填充区域进行填充和修复。
根据本发明的示例性实施例，拍摄的图片可以是进行拍摄时的预览图片或拍摄完成后获得的图片。
根据本发明的示例性实施例，通过语义分割确定拍摄的图片中的对象的轮廓的步骤包括：通过全卷积神经网络进行语义分割。
其中，通过全卷积神经网络进行语义分割的步骤包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。
根据本发明的示例性实施例，根据对象的轮廓确定所述填充区域的步骤包括：基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。
根据本发明的示例性实施例，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片的步骤包括：根据拍摄的图片和所述地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片，其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度。
根据本发明的示例性实施例，数据库中存储的图片为无任何人物干扰的纯景色图片。
根据本发明的示例性实施例，对所述填充区域进行填充和修复的步骤包括：通过粗糙网络(coarse network)对所述填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网络(refinement network)根据参考修复图片对所述填充区域进行进一步的填充和修复。
根据本发明的示例性实施例，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取。
根据本发明的示例性实施例，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复的步骤包括：通过细化网络的内容感知层(Contextual Attentionlayer)根据所述填充区域周围的信息对初步修复图进行卷积化，通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取所述初步修复图中的特征图信息，并且通过细化网络的目标卷积层对初步修复图进行卷积化。
根据本发明的示例性实施例，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。
根据本发明的示例性实施例，细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定。
根据本发明的示例性实施例，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。
根据本发明的示例性实施例，细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复的步骤还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。
本发明的示例性实施例的另一方面在于提供一种图片修复系统，所述系统包括：图片获取模块，获取用户拍摄的图片及拍摄的图片的地点信息；语义分割模块，通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；图片比对模块，根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；图片修复模块，通过深度学习，根据参考修复图片，对所述填充区域进行填充和修复。
根据本发明的示例性实施例，通过图片获取模块获取的拍摄的图片可以是进行拍摄时的预览图片或拍摄完成后获得的图片。
根据本发明的示例性实施例，语义分割模块通过全卷积神经网络进行语义分割来确定拍摄的图片中的对象的轮廓。
其中，通过全卷积神经网络进行语义分割包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。
根据本发明的示例性实施例，语义分割模块通过以下操作来根据对象的轮廓确定所述填充区域：基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。
根据本发明的示例性实施例，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片包括：根据拍摄的图片和所述地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片，其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度。
根据本发明的示例性实施例，数据库中存储的图片为无任何人物干扰的纯景色图片。
根据本发明的示例性实施例，图片修复模块通过以下操作对所述填充区域进行填充和修复：通过粗糙网络(coarse network)对所述填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网络(refinement network)根据参考修复图片对所述填充区域进行进一步的填充和修复。
根据本发明的示例性实施例，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取。
根据本发明的示例性实施例，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复包括：通过细化网络的内容感知层(Contextual Attention layer)根据所述填充区域周围的信息对初步修复图进行卷积化，通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取所述初步修复图中的特征图信息，并且通过细化网络的目标卷积层对初步修复图进行卷积化。
根据本发明的示例性实施例，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。
根据本发明的示例性实施例，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复还包括：细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定。
根据本发明的示例性实施例，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。
根据本发明的示例性实施例，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。
本发明的示例性实施例的另一方面在于提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本发明的示例性实施例的图片修复方法。
本发明的示例性实施例的另一方面在于提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本发明的示例性实施例的图片修复方法。
在根据本发明的示例性实施例的图片修复方法中，能够通过获取用户拍摄的图片及拍摄的图片的地点信息；通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；通过深度学习，根据参考修复图片，对填充区域进行填充和修复。通过所述方法解决了在拍摄的图片中无关对象充斥图片的问题，使得修复的图片更符合拍摄地点的真实场景，极大的提升了用户的拍摄体验。
将在接下来的描述中部分阐述本发明总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明总体构思的实施而得知。
附图说明
通过下面结合示例性地示出实施例的附图进行的详细描述，本发明的示例性实施例的上述和其他目的将会变得更加清楚，其中：
图1示出根据本发明的示例性实施例的图片修复方法的流程图；
图2示出根据本发明的示例性实施例的全卷积神经网络的结构的示图；
图3示出根据本发明的示例性实施例的上采样过程的示图；
图4示出根据本发明的示例性实施例的通过跳跃结构优化分割结果的示图；
图5示出根据本发明的示例性实施例的条件随机场的示图；
图6示出根据本发明的示例性实施例的粗糙网络的结构的示图；
图7示出根据本发明的示例性实施例的细化网络的结构的示图；
图8示出根据本发明的示例性实施例的图片修复系统的框图。
具体实施方式
现在将详细参照本发明的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1示出根据本发明的示例性实施例图片修复方法的流程图。
参照图1，在步骤S100，获取用户拍摄的图片及拍摄的图片的地点信息。这里，拍摄的图片的地点信息可通过公知的各种定位系统(诸如，全球导航卫星系统(GNSS)、伽利略导航卫星系统、北斗导航卫星系统等)中的至少一种确定。具体地，根据本发明的示例性实施例，拍摄的图片的地点信息可通过电子装置自带的定位系统来确定，但不限于此。例如，拍摄的图片的地点信息可由移动电话自带的定位系统来确定。此外，用户也可以输入当前所在位置或者通过其它软件进行定位，以确定拍摄的图片的地点信息。根据示例性实施例，可存储拍摄的图片和拍摄的图片的地点信息，以便于根据存储的拍摄的图片和拍摄的图片的地点信息从数据库存储的图片中找出与拍摄的图片最相似的图片。在下文中，将详细描述根据存储的拍摄的图片和拍摄的图片的地点信息从数据库存储的图片中找出与拍摄的图片最相似的图片的过程。
此外，拍摄的图片可以是进行拍摄时的预览图片或拍摄完成后获得的图片，并且拍摄的图片可以是以对象为主体的图片或以场景为主体的图片。具体地，根据本发明的示例性实施例，拍摄的图片可以是人物处于景点前的图片，或者以景点为主体的图片，然而，应理解，本申请不限于此，拍摄的图片还可以是根据实际情况的各种类型的图片。
在步骤100之后，在步骤S110，通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域。具体地，可通过全卷积神经网络进行语义分割。通过全卷积神经网络进行语义分割的步骤包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。这里，每一个卷积化的过程都包括了卷积和池化处理。例如，根据本发明的示例性实施例，可通过全卷积神经网络的卷积层对拍摄的图片进行卷积化，获得拍摄的图片的热图(即，最后一个卷积层卷积化的结果图片)；对热图进行上采样，并且对部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对热图进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合来产生语义分割图；并且通过全连接条件随机场来推测语义分割图中的每个像素的类别标签。此外，根据本发明的示例性实施例，可通过每个像素的类别标签确定对象的轮廓。在下文中，将参照图2、图3、图4和图5对通过全卷积神经网络进行语义分割的过程进行详细地描述。
此外，在通过语义分割确定拍摄的图片中的对象的轮廓之后，根据本发明的示例性实施例，可根据对象的轮廓确定填充区域。具体地，根据对象的轮廓确定填充区域的步骤包括：基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。具体地，可基于确定的轮廓中的所有对象中占据中心位置的对象或者占据较大比例的对象自动选择需要填充和替换的对象。例如，可将确定的轮廓中的占据中心位置的对象保留，而将确定的轮廓中的其它对象进行填充和替换。此外，例如，对于拍摄的以景点为主体的图片，可将该图片的确定的轮廓的全部对象作为填充区域，进行填充和替换。此外，根据本发明的示例性实施例，可基于手动操作来选择需要填充和替换的对象。具体地，用户可选择确定的轮廓中的需要填充和替换的对象。例如，用户可手动标记出需要填充和替换的对象。
在步骤110之后，在步骤S120，根据用户拍摄的图片和拍摄的图片的地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片。其中，数据库中存储的图片为无任何人物干扰的纯景色图片。根据本发明的示例性实施例，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片的步骤包括：根据拍摄的图片和拍摄的图片的地点信息，通过SIFT特征匹配从数据库存储的与拍摄的图片的地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片。具体地，通过SIFT特征匹配将数据库存储的与拍摄的图片的地点信息相应的地点的图片与拍摄的图片进行特征匹配，找出与拍摄的图片最匹配的图片，作为在下文中将使用的参考修复图片。这里，通过SIFT特征匹配找出的特征点对旋转、尺度缩放、亮度变换具有保持不变性，对视角变化、仿射变换、噪声等具有一定程度的稳定性，因此被广泛应用于图像匹配中。根据本发明的示例性实施例，找出的与拍摄的图片最匹配的图片与拍摄的图片的匹配度越高，找出的与拍摄的图片最匹配的图片与拍摄的图片越相似。
此外，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度。具体地，根据本发明的示例性实施例，在将数据库存储的与拍摄的图片的地点信息相应的地点的图片与拍摄的图片进行特征匹配时，通过余弦相似度来计算数据库存储的与拍摄的图片的地点信息相应的地点的图片与拍摄的图片的相似度，其中，余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。
在步骤120之后，在步骤S130，通过深度学习，根据参考修复图片，对填充区域进行填充和修复。具体地，对填充区域进行填充和修复的步骤包括：通过粗糙网络(coarsenetwork)对填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网络(refinement network)根据参考修复图片对填充区域进行进一步的填充和修复。在下文中，将参照图6描述通过粗糙网络对填充区域进行初步的填充和修复的过程，并且将参照图7描述通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复的过程。
具体地，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取。根据本发明的示例性实施例，特征提取卷积器运用空洞卷积进行特征提取，其中，空洞卷积是在标准卷积图里注入空洞，以此来增加感受野，使得每个卷积都包含较大范围的信息，从而使通过解码器产生的语义分割图包含更多的信息。
根据本发明的示例性实施例，通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复的步骤包括：通过细化网络的内容感知层(Contextual Attentionlayer)根据填充区域周围的信息对初步修复图进行卷积化，通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取初步修复图中的特征图信息，并且通过细化网络的目标卷积层根据参考修复图片对初步修复图进行卷积化。具体地，通过细化网络的内容感知层根据填充区域周围的信息对初步修复图进行卷积化的过程是使用图片中已知区域的斑块的特征作为卷积核来处理图片中待修复的斑块。例如，通过细化网络的内容感知层根据填充区域周围的信息对初步修复图进行卷积化可使用拍摄的图片中的非填充区域的斑块的特征作为卷积核来处理填充区域的斑块。此外，通过细化网络的空洞卷积层对拍摄的图片进行卷积化的过程与通过粗糙网络的特征提取卷积器进行空洞卷积的过程类似，因此，将不再对此进行详细描述。
根据本发明的示例性实施例，在通过细化网络的目标卷积层根据参考修复图片对初步修复图进行卷积化的过程中，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。根据本发明的示例性实施例，细化网络的目标卷积层可通过以下步骤来实现：将数据库中存储的图片随机填充一部分；将被填充一部分的图片作为训练数据训练一个全卷积神经网络模型；保留该全卷积神经网络模型的卷积化部分作为细化网络的目标卷积层。根据本发明的示例性实施例，可通过该目标卷积层对输入图片进行卷积化，来预测一个修复结果图片。例如，可通过该目标卷积层对初步修复图进行卷积化，来预测一个修复结果图片。
此外，根据本发明是示例性实施例，细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定，并且参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。这里，由于参考修复图片参与了上述全卷积神经网络模型的训练过程，因此，如果参考修复图片与拍摄的图片相似度越高，则通过上述全卷积神经网络模型进行预测的修复效果越好，因此，通过上述全卷积神经网络模型获得的目标卷积层进行卷积化的结果可占据较高比例的权重。反之，如果参考修复图片与拍摄的图片相似度较低，则通过上述全卷积神经网络模型获得的目标卷积层进行卷积化的结果可占据较低比例的权重。
根据本发明的示例性实施例，通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复的步骤还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。具体地，可将合并的具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果作为解码器的输入，通过细化网络的解码器对合并的结果进行反卷积产生最后的修复后的图片。在下文中，将参照图7对通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复的过程进行详细描述。
图2示出根据本发明的示例性实施例的全卷积神经网络的结构的示图；
参照图2，卷积神经网络(例如，VGG 16、GoogLeNet和ResNet 50/101)在卷积层之后会接上多个全连接层，将卷积层产生的特征图映射成一个固定长度的向量，该向量表示输入图片的一个数字描述(概率)，例如，当输入图片是图2中的图片时，输出向量表示输入图片属于“虎斑猫”的概率最高。
如图2所示，可通过将卷积神经网络的全连接层卷积化为卷积层来实现全卷积神经网络，通过全卷积神经网络对输入图片卷积化后得到的结果是一个热图，该热图表示了输入图片的空间信息。例如，参照图2，通过全卷积神经网络对拍摄的图片进行卷积化后得到了一个虎斑猫的热图。特别地，可通过对产生的热图进行上采样来得到一个与拍摄的图片同等大小的语义分割图，从而实现对每一个像素产生预测。因此，全卷积神经网络实现了对图片的像素级分类，而卷积神经网络实现了对图片的图片级分类。在下文中，将参照图3描述上采样过程。
图3示出根据本发明的示例性实施例的上采样过程的示图。
参照图3，相对于输入图片，通过全卷积神经网络进行卷积化产生的热图的尺寸缩小，因此，为了得到和输入图片同等大小的语义分割图，需要对热图进行上采样。上采样过程可以是反卷积过程，既将热图进行反卷积得到与输入图片同等大小的语义分割图，其中，反卷积与卷积类似，反卷积的前向和后向传播，只是颠倒卷积的前向和后向传播即可。
通过全卷积神经网络的卷积化和上采样处理之后，获得的语义分割图丢失了很多细节信息。因此，可通过参照图4描述的跳跃结构来填补丢失的细节信息。
图4示出根据本发明的示例性实施例的通过跳跃结构优化分割结果的示图。
参照图4，对输入图片通过全卷积神经网络进行卷积化后，第一次卷积化后(其中，卷积化过程包括卷积和池化处理)得到缩小为输入图片的1/2的特征图、第二次卷积化后得到缩小为输入图片的1/4的特征图、第三次卷积化后得到缩小为输入图片的1/8的特征图、第四次卷积化后得到缩小为输入图片的1/16的特征图并且第5次卷积化后得到缩小为输入图片的1/32的特征图。如图4所示，可对1/32的特征图进行32倍上采样得到FCN-32s，并且可通过对1/32的特征图进行2倍上采样之后，将1/32的特征图进行2倍上采样的结果与1/16的特征图进行融合，将融合的结果进行16倍上采样得到FCN-16s，此外，如图4所示，可通过对上述融合的结果进行2倍上采样之后，将对上述融合的结果进行2倍上采样的结果与1/8的特征图进行融合，将上述融合的结果进行2倍上采样的结果与1/8的特征图进行融合的结果进行8倍上采样得到FCN-8s。根据本发明的示例性实施例，图4中的FCN-8s的语义分割图由于考虑了第三次和第四次卷积化的结果，相对于FCN-16s和FCN-32s的语义分割图包含更多细节信息。
在语义分割图片中，每个像素具有类别标签还有对应的观测值，这样每个像素点作为节点，像素与像素间的关系作为边，即构成了一个条件随机场。可通过观测变量来推测像素对应的类别标签。
图5示出根据本发明的示例性实施例的条件随机场的示图；
条件随机场的作用在于优化后端的输出结果。条件随机场可根据颜色值和实际相对距离描述像素与像素之间的关系，使得相似像素被分配相同的标签，而相差较大的像素被分配不同的标签，这样，条件随机场可实现图片中的对象在边界处被分割。而全连接条件随机场与条件随机场的不同之处就在于：全连接条件随机场描述每一个像素与其它所有像素的关系，所以叫“全连接”。
图6示出根据本发明的示例性实施例的粗糙网络的结构的示图。
参照图6，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取。根据本发明的示例性实施例，编码器通过对输入的图片进行卷积化，产生一系列尺寸依次缩减的特征图；解码器通过对特征图进行反卷积，产生尺寸逐渐扩大的初步修复图。根据本发明的示例性实施例，特征提取卷积器运用空洞卷积进行特征提取，使得每个卷积都包含较大范围的信息，从而使通过解码器产生的初步修复图包含更多的信息。具体地，空洞卷积是在标准的卷积图(convolution map)中注入空洞，以此来增加感受野。例如，标准的3×3卷积核只能看到3×3矩形区域的大小，为了增加卷积核的感受野，可在标准的卷积核里注入空洞，使卷积核拥有更大的范围，但卷积点仍是9个。
在通过粗糙网络对填充区域进行初步的填充和修复获得较模糊的初步修复图之后，可通过细化网络对填充区域进行进一步的填充和修复。
图7示出根据本发明的示例性实施例的细化网络的结构的示图。
参照图7，细化网络包括内容感知层、空洞卷积层和目标卷积层，通过内容感知层、空洞卷积层和目标卷积层分别对初步修复图进行卷积化。具体地，通过细化网络的内容感知层根据填充区域周围的信息对初步修复图进行卷积化；通过细化网络的空洞卷积层对拍摄的图片进行卷积化，以提取初步修复图中的特征图信息；并且通过细化网络的目标卷积层对拍摄的图片根据参考修复图片进行卷积化。此外，已经参照图1描述了通过细化网络的内容感知层根据填充区域周围的信息对初步修复图进行卷积化的过程，并且已经参照图6描述了空洞卷积过程，因此，对此不再进行详细阐述。根据本发明的示例性实施例，通过细化网络的目标卷积层对拍摄的图片根据参考修复图片进行卷积化需要通过深度学习来实现，具体地，可通过以下操作来实现：将数据库中存储的图片随机填充一部分；将被填充一部分的图片作为训练数据训练一个全卷积神经网络模型；保留该全卷积神经网络模型的卷积化部分作为细化网络的目标卷积层。
根据本发明的示例性实施例，细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定。具体地，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。
此外，如图7所示，具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过细化网络的解码器对合并的结果进行反卷积来产生最后的修复后的图片。具体地，可对通过细化网络的内容感知层根据填充区域周围的信息对初步修复图进行卷积化的结果分配权重W1，对通过细化网络的空洞卷积层对初步修复图进行卷积化的结果分配权重W2，并且对通过细化网络的目标卷积层对初步修复图根据参考修复图片进行卷积化的结果分配权重W3，分别具有权重W1、W2和W3的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过细化网络的解码器对合并的结果进行反卷积而产生最后的修复后的图片。
图8示出根据本发明的示例性实施例的图片修复系统的框图。
参照图8，根据本发明的示例性实施例的图片修复系统包括四个部分：图片获取模块801、语义分割模块802、图片比对模块803和图片修复模块804。
如图8所示，图片获取模块801可获取用户拍摄的图片及拍摄的图片的地点信息。以上已经参照图1对获取用户拍摄的图片及拍摄的图片的地点信息的过程进行了详细描述，因此不再重复阐述。
根据本发明的示例性实施例，在通过图片获取模块801获取了拍摄的图片及拍摄的图片的地点信息之后，语义分割模块802通过全卷积神经网络进行语义分割来确定拍摄的图片中的对象的轮廓。根据本发明的示例性实施例，通过全卷积神经网络进行语义分割包括：过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。此外，语义分割模块通过以下操作来根据对象的轮廓确定填充区域：基于对象的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。
根据本发明的示例性实施例，在通过语义分割模块802确定了填充区域之后，图片比对模块803可根据用户拍摄的图片和拍摄的图片的地点信息从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片。具体地，图片比对模块803可根据拍摄的图片和拍摄的图片的地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度。以上已经参照图1对从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片的过程进行了详细描述，因此不再重复阐述。
根据本发明的示例性实施例，在通过图片比对模块803从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片之后，图片修复模块804可通过以下操作对填充区域进行填充和修复：通过粗糙网络对填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网根据参考修复图片对初步修复图进行进一步的填充和修复。根据本发明是示例性实施例，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取。此外，通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复包括：通过细化网络的内容感知层根据填充区域周围的信息对初步修复图进行卷积化，通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取初步修复图中的特征图信息，并且通过细化网络的目标卷积层对初步修复图进行卷积化。根据本发明的示例性实施例，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。此外，通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复还包括：细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定。具体地，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。此外，根据本发明的示例性实施例，通过细化网络根据参考修复图片对填充区域进行进一步的填充和修复还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。以上已经参照图1对对填充区域进行填充和修复的过程进行了详细描述，因此不再重复阐述。
此外，根据本发明示例性实施例的图片修复方法可被记录在包括执行由计算机实现的各种操作的程序指令的计算机可读存储介质中。计算机可读存储介质的示例包括：磁介质(例如，硬盘、软盘和磁带)；光学介质(例如CD-ROM和DVD)；磁光介质(例如，光盘)；以及被配置为用于存储并执行程序指令的硬件装置(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括例如由编译器产生的机器码以及可由计算机装置使用解释器执行的高级语言代码。例如，根据示例性实施例，计算机可读存储介质可存储有当被执行时实现如上述示例性实施例所述的图片修复方法的计算机程序。
根据本发明的示例性实施例的计算装置包括：处理器(未示出)和存储器(未示出)，其中，存储器存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述示例性实施例所述的图片修复方法。
综上所述，在根据本发明的示例性实施例的图片修复方法及系统中，能够实现基于拍摄的图片及拍摄的图片的地点信息通过语义分割和深度学习来对拍摄的图片进行修复，并且修复的图片更符合拍摄地点的真实场景，极大的提升了用户的拍摄体验。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (18)

1.一种图片修复方法，包括：
获取用户拍摄的图片及拍摄的图片的地点信息；
通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；
根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；
通过深度学习，根据参考修复图片，对所述填充区域进行填充和修复。
2.如权利要求1所述的方法，其中，拍摄的图片可以是进行拍摄时的预览图片或拍摄完成后获得的图片。
3.如权利要求1或2所述的方法，其中，通过语义分割确定拍摄的图片中的对象的轮廓的步骤包括：
通过全卷积神经网络进行语义分割；
其中，通过全卷积神经网络进行语义分割的步骤包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。
4.如权利要求3所述的方法，其中，根据对象的轮廓确定所述填充区域的步骤包括：
基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。
5.如权利要求4所述的方法，其中，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片的步骤包括：
根据拍摄的图片和所述地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片，
其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度,并且
其中，数据库中存储的图片为无任何人物干扰的纯景色图片。
6.如权利要求5所述的方法，其中，对所述填充区域进行填充和修复的步骤包括：
通过粗糙网络coarse network对所述填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网络refinement network根据参考修复图片对所述填充区域进行进一步的填充和修复，
其中，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取，并且
其中，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复的步骤包括：
通过细化网络的内容感知层Contextual Attention layer根据所述填充区域周围的信息对初步修复图进行卷积化，
通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取所述初步修复图中的特征图信息，并且
通过细化网络的目标卷积层对初步修复图进行卷积化，
其中，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。
7.如权利要求6所述的方法，其中：
细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定，
其中，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。
8.如权利要求7所述的方法，其中，细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复的步骤还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。
9.一种图片修复系统，包括：
图片获取模块，获取用户拍摄的图片及拍摄的图片的地点信息；
语义分割模块，通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；
图片比对模块，根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；
图片修复模块，通过深度学习，根据参考修复图片，对所述填充区域进行填充和修复。
10.如权利要求9所述的系统，其中，通过图片获取模块获取的拍摄的图片可以是进行拍摄时的预览图片或拍摄完成后获得的图片。
11.如权利要求9或10所述的系统，其中，语义分割模块通过全卷积神经网络进行语义分割来确定拍摄的图片中的对象的轮廓，；
其中，通过全卷积神经网络进行语义分割包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。
12.如权利要求11所述的系统，其中，语义分割模块通过以下操作来根据对象的轮廓确定所述填充区域：
基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。
13.如权利要求12所述的系统，其中，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片包括：
根据拍摄的图片和所述地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片，
其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度，并且
其中，数据库中存储的图片为无任何人物干扰的纯景色图片。
14.如权利要求13所述的系统，其中，图片修复模块通过以下操作对所述填充区域进行填充和修复：
通过粗糙网络coarse network对所述填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网络refinement network根据参考修复图片对所述填充区域进行进一步的填充和修复，
其中，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取，并且
其中，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复包括：
通过细化网络的内容感知层Contextual Attention layer根据所述填充区域周围的信息对初步修复图进行卷积化，
通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取所述初步修复图中的特征图信息，并且
通过细化网络的目标卷积层对初步修复图进行卷积化，
其中，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。
15.如权利要求14所述的系统，其中，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复还包括：
细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定，
其中，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。
16.如权利要求15所述的系统，其中，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。
17.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的方法。
18.一种计算装置，包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的方法。
CN201910932445.6A 2019-09-29 2019-09-29 图片修复方法及系统 Active CN110728639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910932445.6A CN110728639B (zh) 2019-09-29 2019-09-29 图片修复方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910932445.6A CN110728639B (zh) 2019-09-29 2019-09-29 图片修复方法及系统

Publications (2)

Publication Number Publication Date
CN110728639A true CN110728639A (zh) 2020-01-24
CN110728639B CN110728639B (zh) 2023-07-21

Family

ID=69219692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910932445.6A Active CN110728639B (zh) 2019-09-29 2019-09-29 图片修复方法及系统

Country Status (1)

Country Link
CN (1) CN110728639B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242874A (zh) * 2020-02-11 2020-06-05 北京百度网讯科技有限公司 图像修复的方法、装置、电子设备和存储介质
CN111612715A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111612714A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111614974A (zh) * 2020-04-07 2020-09-01 上海推乐信息技术服务有限公司 一种视频图像修复方法和系统
CN111681183A (zh) * 2020-06-05 2020-09-18 兰州理工大学 一种壁画图像色彩还原方法及装置
CN112215775A (zh) * 2020-10-20 2021-01-12 厦门市美亚柏科信息股份有限公司 一种bmp图片修复方法及装置
CN112801908A (zh) * 2021-02-05 2021-05-14 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN113065569A (zh) * 2021-04-13 2021-07-02 广东省科学院智能制造研究所 基于神经网络的鱼质量估计方法及系统、装置与存储介质
CN113222849A (zh) * 2021-05-20 2021-08-06 广东工业大学 一种基于内容感知层的敦煌壁画图像修复方法
CN113362233A (zh) * 2020-03-03 2021-09-07 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质
WO2022100735A1 (zh) * 2020-11-16 2022-05-19 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN106603903A (zh) * 2015-10-15 2017-04-26 中兴通讯股份有限公司 照片处理方法及装置
CN107679489A (zh) * 2017-09-29 2018-02-09 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
CN109615632A (zh) * 2018-11-09 2019-04-12 广东技术师范学院 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603903A (zh) * 2015-10-15 2017-04-26 中兴通讯股份有限公司 照片处理方法及装置
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN107679489A (zh) * 2017-09-29 2018-02-09 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
CN109615632A (zh) * 2018-11-09 2019-04-12 广东技术师范学院 一种基于半监督条件生成式对抗网络的眼底图视盘和视杯分割方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242874B (zh) * 2020-02-11 2023-08-29 北京百度网讯科技有限公司 图像修复的方法、装置、电子设备和存储介质
CN111242874A (zh) * 2020-02-11 2020-06-05 北京百度网讯科技有限公司 图像修复的方法、装置、电子设备和存储介质
CN113362233A (zh) * 2020-03-03 2021-09-07 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质
CN113362233B (zh) * 2020-03-03 2023-08-29 浙江宇视科技有限公司 图片处理方法、装置、设备、系统及存储介质
CN111614974A (zh) * 2020-04-07 2020-09-01 上海推乐信息技术服务有限公司 一种视频图像修复方法和系统
CN111614974B (zh) * 2020-04-07 2021-11-30 上海推乐信息技术服务有限公司 一种视频图像修复方法和系统
CN111612714A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111612714B (zh) * 2020-05-20 2022-11-15 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111612715B (zh) * 2020-05-20 2022-09-23 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111612715A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111681183A (zh) * 2020-06-05 2020-09-18 兰州理工大学 一种壁画图像色彩还原方法及装置
CN112215775A (zh) * 2020-10-20 2021-01-12 厦门市美亚柏科信息股份有限公司 一种bmp图片修复方法及装置
CN112215775B (zh) * 2020-10-20 2022-09-06 厦门市美亚柏科信息股份有限公司 一种bmp图片修复方法及装置
WO2022100735A1 (zh) * 2020-11-16 2022-05-19 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN112801908B (zh) * 2021-02-05 2022-04-22 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN112801908A (zh) * 2021-02-05 2021-05-14 深圳技术大学 图像去噪方法、装置、计算机设备和存储介质
CN113065569A (zh) * 2021-04-13 2021-07-02 广东省科学院智能制造研究所 基于神经网络的鱼质量估计方法及系统、装置与存储介质
CN113065569B (zh) * 2021-04-13 2023-11-24 广东省科学院智能制造研究所 基于神经网络的鱼质量估计方法及系统、装置与存储介质
CN113222849A (zh) * 2021-05-20 2021-08-06 广东工业大学 一种基于内容感知层的敦煌壁画图像修复方法

Also Published As

Publication number Publication date
CN110728639B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN110728639B (zh) 图片修复方法及系统
US11361459B2 (en) Method, device and non-transitory computer storage medium for processing image
US10410397B2 (en) Picture presentation method and apparatus
CN110070580B (zh) 基于局部关键帧匹配的slam快速重定位方法及图像处理装置
US20170293822A1 (en) Storing Information For Access Using a Captured Image
EP3942468A1 (en) System and method for virtual modeling of indoor scenes from imagery
CN111583097A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107507155B (zh) 视频分割结果边缘优化实时处理方法、装置及计算设备
JP2019053732A (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
Zhang et al. Personal photograph enhancement using internet photo collections
KR102218608B1 (ko) 증강 현실 응용들을 위한 비디오들 내의 실 시간 오버레이 배치
CN107644423B (zh) 基于场景分割的视频数据实时处理方法、装置及计算设备
CN113284155B (zh) 视频目标分割方法、装置、存储介质及电子设备
CN111507333A (zh) 一种图像矫正方法、装置、电子设备和存储介质
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
US11625813B2 (en) Automatically removing moving objects from video streams
CN112991254A (zh) 视差估计系统、方法、电子设备及计算机可读存储介质
CN115210773A (zh) 利用对象实时检测模型实时检测对象的方法及优化方法
US20140369622A1 (en) Image completion based on patch offset statistics
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN112802197A (zh) 动态场景下基于全卷积神经网络的视觉slam方法及系统
CN111738061A (zh) 基于区域特征提取的双目视觉立体匹配方法及存储介质
CN115830354A (zh) 双目立体匹配方法、设备和介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN115564639A (zh) 背景虚化方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant