CN113870274A - 图像处理方法、图像处理装置及存储介质 - Google Patents

图像处理方法、图像处理装置及存储介质 Download PDF

Info

Publication number
CN113870274A
CN113870274A CN202010623971.7A CN202010623971A CN113870274A CN 113870274 A CN113870274 A CN 113870274A CN 202010623971 A CN202010623971 A CN 202010623971A CN 113870274 A CN113870274 A CN 113870274A
Authority
CN
China
Prior art keywords
image
target
scene
processed
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010623971.7A
Other languages
English (en)
Inventor
王晓涛
李雅楠
邵光琪
雷磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202010623971.7A priority Critical patent/CN113870274A/zh
Priority to US17/133,602 priority patent/US20210407052A1/en
Priority to EP21158624.3A priority patent/EP3933753A1/en
Publication of CN113870274A publication Critical patent/CN113870274A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开是关于一种图像处理方法、图像处理装置及存储介质。其中，所述图像处理方法包括：获取待处理媒体影像，待处理媒体影像中显示有至少部分被遮挡的目标场景对象；确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象；在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。通过本公开的图像处理方法，可以保证用户获得去除遮挡目标场景对象的目标遮挡对象并接近真实目标场景对象的媒体影像，提升了用户在使用过程中的体验感和满意度。

Description

图像处理方法、图像处理装置及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及图像处理方法、图像处理装置及存储介质。
背景技术
随着终端技术的发展，各种具备图像拍摄功能的终端也越来越普及，例如，相机、智能手机、平板电脑、智能穿戴设备等。具备图像拍摄功能终端的普及为人们随时随地拍摄照片提供了便利，使拍照成为人们日常生活的一部分，尤其在旅游或者途经某些名胜古迹时，每个人都想拍张照片留作纪念。
然而，在景区进行照片拍摄时，由于景区的游客较多，尤其是在旅游季节，经常会出现拍摄的照片中将形形色色的各种其他不相关的游客也拍摄在照片中。即对于用户在景区拍摄照片或已经拍摄完成的照片，在视场内拍摄到照片中包括有主体遮挡对象(例如欲拍摄的人物)，并且在照片视场中还包括有除主体遮挡对象以外的其他遮挡对象(他人或物体)。用户想要拍一张没有他人或物体干扰的独自与名胜风景相处的照片，已经是目前一个痛点。
发明内容
为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，所述图像处理方法包括获取待处理媒体影像，待处理媒体影像中显示有至少部分被遮挡的目标场景对象；确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象；在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。
在一种实施方式中，在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像之前，图像处理方法还包括：对待处理媒体影像中目标遮挡对象对应的第一区域进行去除处理。
在另一种实施方式中，图像处理方法还包括：从云端数据库中获取与目标场景对象匹配的场景图像；在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像，包括：对场景图像与目标场景对象进行图像配准，在场景图像中确定与第一区域对应的第二区域；融合第二区域以及待处理媒体影像，以得到目标媒体影像。
其中，一种实施方式中，融合第二区域以及待处理媒体影像可以是将第二区域的图像融合至待处理媒体影像的第一区域处，得到目标媒体影像。另一种实施方式中，融合第二区域以及待处理媒体影像可以是将第二区域的图像融合至待处理媒体影像中去除第一区域的相应区域处，得到目标媒体影像。
在又一种实施方式中，图像处理方法还包括：获取待处理媒体影像的拍摄参数，拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项；从云端数据库中获取与目标场景对象匹配的场景图像，包括：基于拍摄参数，在云端数据库的场景图像集中确定匹配拍摄参数的场景图像子集；在场景图像子集中，获取匹配目标场景对象的场景图像。
在又一种实施方式中，在场景图像子集中，获取匹配目标场景对象的场景图像，包括：将待处理媒体影像中除目标场景对象以外的其他场景对象的特征匹配权重置零，并在场景图像子集中，确定与目标场景对象的特征匹配权重最高的场景图像，作为匹配目标场景对象的场景图像。
在又一种实施方式中，在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像，包括：基于预先训练的神经网络模型，对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，生成目标媒体影像。
在又一种实施方式中，确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象，包括：对待处理媒体影像中遮挡目标场景对象的遮挡对象进行像素分割，得到遮挡对象的二维掩膜图像，其中，二维掩膜图像中每一遮挡对象所在区域具有各自的类标；基于类标，确定二维掩膜图像中的主体遮挡对象所在区域；将二维掩膜图像中除主体遮挡对象所在区域之外的其他遮挡对象，确定为目标遮挡对象。
在又一种实施方式中，基于类标，确定二维掩膜图像中的主体遮挡对象所在区域，包括：基于卷积神经网络在全部类标中检测符合主体遮挡对象的类标对应的像素区域，作为主体遮挡对象所在区域；或者将用户选择的类标对应的像素区域，作为主体遮挡对象所在区域。
根据本公开实施例的第二方面，提供一种图像处理装置，所述图像处理装置包括：获取模块，用于获取待处理媒体影像，待处理媒体影像中显示有至少部分被遮挡的目标场景对象；目标遮挡对象确定模块，用于确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象；图像处理模块，用于在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。
在一种实施方式中，图像处理装置还包括第一区域去除模块，第一区域去除模块用于：对待处理媒体影像中目标遮挡对象对应的第一区域进行去除处理。
在另一种实施方式中，图像处理装置还包括场景图像匹配模块，场景图像匹配模块用于：从云端数据库中获取与目标场景对象匹配的场景图像；图像处理模块用于：对场景图像与目标场景对象进行图像配准，在场景图像中确定与第一区域对应的第二区域；融合第二区域以及待处理媒体影像，以得到目标媒体影像。
在又一种实施方式中，图像处理装置还包括拍摄参数获取模块，拍摄参数获取模块用于：获取待处理媒体影像的拍摄参数，拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项；场景图像匹配模块用于：基于拍摄参数，在云端数据库的场景图像集中确定匹配拍摄参数的场景图像子集；在场景图像子集中，获取匹配目标场景对象的场景图像。
在又一种实施方式中，场景图像匹配模块用于：将待处理媒体影像中除目标场景对象以外的其他场景对象的特征匹配权重置零，并在场景图像子集中，确定与目标场景对象的特征匹配权重最高的场景图像，作为匹配目标场景对象的场景图像。
在又一种实施方式中，图像处理模块用于：基于预先训练的神经网络模型，对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，生成目标媒体影像。
在又一种实施方式中，目标遮挡对象确定模块用于：对待处理媒体影像中遮挡目标场景对象的遮挡对象进行像素分割，得到遮挡对象的二维掩膜图像，其中，二维掩膜图像中每一遮挡对象所在区域具有各自的类标；基于类标，确定二维掩膜图像中的主体遮挡对象所在区域；将二维掩膜图像中除主体遮挡对象所在区域之外的其他遮挡对象，确定为目标遮挡对象。
在又一种实施方式中，目标遮挡对象确定模块用于：基于卷积神经网络在全部类标中检测符合主体遮挡对象的类标对应的像素区域，作为主体遮挡对象所在区域；或者将用户选择的类标对应的像素区域，作为主体遮挡对象所在区域。
根据本公开实施例的第三方面，提供一种图像处理装置，所述图像处理装置包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行本公开第一方面或第一方面中任意一种实施方式中所述的图像处理方法。
根据本公开实施例的第四方面，提供一种临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行本公开第一方面或第一方面中任意一种实施方式中所述的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过确定待处理媒体影像中遮挡目标场景对象的目标遮挡对象，并在与目标遮挡对象对应的第一区域对目标场景对象进行填补处理，以生成目标媒体影像，保证用户可以获得去除遮挡目标场景对象的目标遮挡对象并接近真实目标场景对象的媒体影像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2a示出了一张包括遮挡目标场景对象的照片的示意图；
图2b示出了一张去除目标遮挡对象对应的第一区域的照片的示意图；
图2c示出了一张匹配目标场景对象的场景图像的示意图；
图2d示出了一张经过对待处理媒体影像中去除第一区域处进行目标场景对象的填补处理的示意图；
图3根据一示例性实施例示出的另一种图像处理方法的流程图；
图4是根据一示例性实施例示出的另一种图像处理方法的流程图；
图5是根据一示例性实施例示出的一种从云端数据库获取匹配目标场景对象的场景图像的流程图；
图6是根据一示例性实施例示出一种确定待处理媒体影像中，遮挡所述目标场景对象的目标遮挡对象的流程图；
图7是根据一示例性实施例示出的一种图像处理方法的过程示意图；
图8是根据一示例性实施例示出的一种图像处理装置的框图；
图9是根据一示例性实施例示出的一种用于图像处理的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的图像处理方法应用于媒体影像中对遮挡目标场景对象的目标遮挡对象去除的场景中。例如，应用在拍摄的一段视频中，需要对某一帧或某几帧视频画面中的遮挡背景图像的遮挡物进行去除的场景，或应用在用户在景区拍摄照片时，需要对在视场内拍摄到的照片中包括的遮挡景色的遮挡物进行去除的场景。
相关技术中，对视场内拍摄到的照片的背景图像(即目标场景对象)中包括的背景人像(即目标遮挡对象)进行去除通常采用诸如(Photoshop，简称PS)等图像处理手段进行处理。例如，为了得到一张没有他人干扰的独自与名胜风景相处的照片，目前用户可以通过PS等后期处理方式将自己P到名胜风景里面。相关技术中采用PS方式进行背景人像(即目标遮挡对象)去除的方式中，存在如下几个问题：1)如果想要得到一张好的PS照片，需要很好的PS技术，但大多数人并不具备。2)PS需要提供人与背景的来源图像，但选取的源图像有可能并不匹配，PS后效果差，也不能动态调节，选一个满意的角度等。3)从心理上考虑，PS得到的照片并不会引人入胜，没有现场拍的真实照片具有纪念意义。故，在视场内拍摄到的照片的背景图像中包括的背景人像进行去除仍然是比较棘手的问题。
本公开提供的一种图像处理方法，确定显示有至少部分被遮挡的目标场景对象的媒体影像中遮挡目标场景对象的目标遮挡对象，并在待处理媒体影像中目标遮挡对象对应的区域进行填补处理，生成目标媒体影像。一示例中，对用户拍摄的真实照片中遮挡背景景色的遮挡物区域进行填补，得到无遮挡物的照片，进而保证用户可以获得不包含遮挡物的照片以及接近真实背景景色的照片，提升用户体验感和满意度。
本公开实施例提供的图像处理方法可以应用于终端，该终端例如可以是具有图像拍摄以及处理功能的智能手机、平板等移动终端。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。如图1所示，图像处理方法包括以下步骤。
在步骤S11中，获取待处理媒体影像。待处理媒体影像中显示有至少部分被遮挡的目标场景对象。
本公开实施例中，待处理媒体影像可以包括图像或视频。其中，图像可以是用户拍摄后得到的图像(例如，照片)，还可以是用户当前正在进行拍摄形成的预览图像。视频可以是用户录制后得到的视频画面，还可以是用户当前正在进行录制过程中形成的视频预览画面。
本公开实施例中获取的待处理媒体影像中包括有被遮挡的目标场景对象。例如，目标场景对象可以是用户意欲拍摄进照片或录制进视频并进行留念的人物、风景等。其中，目标场景对象被遮挡可以是部分被遮挡，也可以是全部被遮挡。其中，本公开实施例中将遮挡目标场景对象的遮挡物称为遮挡对象，其中，意欲去除的遮挡对象称为目标遮挡对象。在一种实施例中，目标场景对象被目标遮挡对象部分遮挡。
在步骤S12中，确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象。
目标遮挡对象可以是各种其他与目标场景对象不相关的人像、物品、环境等。
在一示例中，获取的待处理媒体影像可以是在景区进行拍摄而得到的照片。用户在景区拍摄得到的照片中除了包括用户意欲拍摄的目标场景对象之外，还包括与目标场景对象不相干并遮挡目标场景对象的目标遮挡对象，例如其他游客，或与拍摄的风景即不相称的其他杂物，例如垃圾箱、塔吊车等。
在一示例中，假设用户需要拍摄故宫风景照片和用户A。其中，在拍摄的照片的视场范围内除了包括目标场景对象故宫外，故宫的全貌还被几个其他不相干的游客B、游客C和与故宫风景不相称的塔吊车D遮挡，如图2a所示。图2a示出了一张包括遮挡目标场景对象的照片的示意图。
在步骤S13中，在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。
本公开实施例中，为描述方便，将待处理媒体影像中目标遮挡对象对应的区域称为第一区域。其中，继续以用户意欲拍摄故宫风景照为例，由于已经确定遮挡目标场景对象故宫的目标遮挡对象游客B、游客C和塔吊车D，因此可以确定上述目标遮挡对象在故宫风景照中对应区域为第一区域。
例如，在照片视场中，若游客B所在的第一区域对应故宫中的一个窗户M。游客C所在的第一区域对应故宫中的一个栏杆N。塔吊车D所在的第一区域对应故宫中的一个台阶W。此时，在该待处理的照片中，在游客B的第一区域处填补故宫的窗户M。在游客C的第一区域处填补故宫的栏杆N。在塔吊车D的第一区域处填补故宫的台阶W。通过对位于待处理媒体影像中的第一区域进行填补处理，可以得到不包括目标遮挡对象的目标媒体影像，即得到不包括目标遮挡对象游客B、游客C和塔吊车D的目标场景对象故宫的照片和用户A。
本公开实施例中，目标媒体影像是一种不包括目标遮挡对象且具有真实目标场景对象的一种影像。
在一种实施例中，对目标场景对象进行填补处理之前，还可以对第一区域进行去除处理。通过此种方式可以对待处理媒体影像中与目标遮挡对象对应的第一区域进行有效去除。并且，填补与第一区域相匹配的场景图像，能够实现对已去除第一区域的待处理媒体影像进行真实目标场景对象的填补，进而保证用户可以获得去除遮挡目标场景对象的目标遮挡对象并接近真实目标场景对象的待处理媒体影像。
图3是根据一示例性实施例示出的另一种图像处理方法的流程图。如图3所示，在本公开一示例性实施例中，图像处理方法包括以下步骤。
在步骤S21中，获取待处理媒体影像，待处理媒体影像中显示有至少部分被遮挡的目标场景对象。
在步骤S22中，确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象。
在步骤S23中，对待处理媒体影像中目标遮挡对象对应的第一区域进行去除处理。
本公开实施例中，去除第一区域的待处理媒体影像可以理解为是保留了目标场景对象中不被目标遮挡对象遮挡的具有部分目标场景对象的影像。在一示例中，待处理媒体影像为照片，去除了目标遮挡对象对应的第一区域后，得到的可以是一张带有孔洞并具有真实目标场景对象的照片。
本公开实施例中，继续以用户意欲拍摄故宫风景照为例进行说明。采用本公开实施例提供的图像处理方法，获取到照片后，识别到目标场景对象故宫、游客B、游客C和塔吊车D。将不相干的游客B、游客C和塔吊车D分别对应的第一区域从待处理照片中上去除后，得到了一张具有目标场景对象故宫，和在对应游客B、游客C和塔吊车D对应的第一区域处带有孔洞的故宫的照片，如图2b所示。图2b示出了一张去除目标遮挡对象对应的第一区域的照片的示意图。
在步骤S24中，在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。
本公开实施例一种实施方式中，可以在云端数据库中存储与目标场景对象匹配的场景图像，以便从云端获取到用于填补已去除第一区域的具有目标场景对象的影像。
图4是根据一示例性实施例示出的另一种图像处理方法的流程图。如图4所示，在本公开一示例性实施例中，图像处理方法包括以下步骤。
在步骤S31中，获取待处理媒体影像。其中，待处理媒体影像中显示有至少部分被遮挡的目标场景对象。
在步骤S32中，确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象。
在步骤S33中，对待处理媒体影像中目标遮挡对象对应的第一区域进行去除处理。
在步骤S34中，从云端数据库中获取与目标场景对象匹配的场景图像。
本公开实施例中，云端数据库包括各种场景图像。
在一种实施例中，云端数据库的场景图像可以是预先存储的。其中，场景图像可以是一种无人、无其他杂物的场景图像，例如是一种无人背景图。进一步的，对于云端数据库中存储的无人背景图可以实时或每隔一段时间进行更新，以保证云端数据库保存的场景图像的全面性和及时性。
在一实施方式中，若本公开实施例提供的图像处理方法应用于景区照片拍摄场景，云端数据库的图片维护可以通过与各风景区的管理方进行合作，以及时获取到各风景区的场景图像。云端数据库中包括的场景图像可以包括各风景区的不同时间、不同地点，以及不同视角的场景图像。
在一示例中，以云端数据库中存储有关于故宫的场景图像为例进行说明。其中，云端数据库可以包括早春、晚春、早夏、晚夏、早秋、晚秋、早冬以及晚冬各季节段的故宫的场景图像，并可以包括早上、中午、傍晚等一天中各时间段的故宫的场景图像；可以包括晴天、阴天、雨天、雪天等不同天气状况的故宫的场景图像；还可以包括东、西、南、北等方向的故宫的场景图像等。
本公开实施例中，由于云端数据库可以包括各风景区的各种形式或各种状态下的场景图像，因此，采用相关技术中的图像匹配技术，可以在云端数据库中找到与目标场景对象匹配的场景图像。
在步骤S35中，对场景图像与目标场景对象进行图像配准，在场景图像中确定与第一区域对应的第二区域。
本公开实施例中，基于筛选出的匹配目标场景对象的场景图像，与去除第一区域的目标场景对象进行图像配准，以在场景图像中确定与第一区域对应的区域(以下称为第二区域)。在待处理媒体影像中去除第一区域处填补第二区域，进而实现对目标场景对象的真实填补修复，得到具有真实效果的目标媒体影像。
本公开实施例中，继续以用户意欲拍摄故宫风景照为例进行说明。本公开实施例中筛选出匹配用户拍摄的照片的目标场景对象的场景图像Q后，需要将场景图像Q与目标场景对象进行图像配准，并在场景图像Q中确定与第一区域对应的第二区域。
由于游客B的第一区域对应故宫中的一个窗户M；游客C的第一区域对应故宫中的一个栏杆N；塔吊车D的第一区域对应故宫中的一个台阶W。故，将场景图像Q与目标场景对象故宫进行图像配准后，可以在场景图像Q中确定场景图像Q的窗户M为与游客B的第一区域对应的第二区域；场景图像Q的栏杆N为与游客C的第一区域对应的第二区域；场景图像Q的台阶W为与塔吊车D的第一区域对应的第二区域。如图2c所示。图2c示出了一张匹配目标场景对象的场景图像的示意图。
由于场景图像是一张真实且匹配目标场景对象的无人、无其他杂物的背景图，因此，基于场景图像中的第二区域，对真实待处理媒体影像中去除第一区域处进行目标场景对象的填补处理，能够较大程度的保证待处理媒体影像具有良好的真实效果。
在步骤S36中，融合第二区域以及待处理媒体影像，以得到目标媒体影像。
其中，一种实施方式中，针对待处理媒体影像中未去除第一区域的情形，融合第二区域以及待处理媒体影像可以是将第二区域的图像融合至待处理媒体影像中对应的第一区域处，得到目标媒体影像。另一种实施方式中，针对待处理媒体影像中去除第一区域的情形，融合第二区域以及待处理媒体影像可以是将第二区域的图像融合至待处理媒体影像中对应的去除第一区域的相应区域处，得到目标媒体影像。
本公开实施例中，继续以用户意欲拍摄故宫风景照为例进行说明。图2d示出了一张经过对待处理媒体影像中去除第一区域处进行目标场景对象的填补处理的示意图。例如，图2d中，最终处理后得到的目标媒体影像中包括有窗户M、栏杆N、台阶W的目标场景对象(无遮挡的故宫背景图)。
本公开实施例以下结合实际应用对上述从云端数据库获取匹配目标场景对象的场景图像的过程进行说明。
图5是根据一示例性实施例示出的一种从云端数据库获取匹配目标场景对象的场景图像的流程图。
如图5所示，在本公开一示例性实施例中，从云端数据库获取匹配目标场景对象的场景图像包括以下步骤。
在步骤S41中，获取待处理媒体影像的拍摄参数。
对于同一个场景，拍摄参数的不同，得到的场景的图像也相应不同。因此，拍摄参数将影响与目标场景对象匹配的场景图像。
以故宫为例，基于拍摄位置参数，可以至少包括基于故宫大殿、故宫偏殿、故宫广场、故宫屋顶建筑等拍摄位置拍摄得到的关于故宫的无人、无其他杂物的场景图像。基于拍摄方位参数，可以至少包括基于东、南、西、北等拍摄方位拍摄得到的关于故宫的无人、无其他杂物的场景图像。基于拍摄角度参数，可以至少包括基于仰视、俯视、平视或全景图等拍摄角度拍摄得到的关于故宫的无人、无其他杂物的场景图像。基于拍摄季节信息，可以至少包括春、夏、秋、冬等拍摄季节拍摄得到的关于故宫的无人、无其他杂物的场景图像。基于拍摄天气信息，可以至少包括基于晴天、阴天、雨天、雪天等拍摄天气状况得到的关于故宫的无人、无其他杂物的场景图像。
其中，具体的拍摄参数可以根据实际情况进行确定。例如拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项。在本公开中，不对拍摄参数作具体限定。
本公开实施例中，对于拍摄参数的获取过程可以基于不同的拍摄参数采用不同的获取方式。例如，对于拍摄时间、光照、位置信息等可以直接由拍摄的媒体影像的拍摄参数属性获得。对于拍摄方位可以基于位置信息确定，例如对于拍摄方位信息可以基于拍摄点的经纬度坐标与拍摄场景的经纬度坐标来确定。对于拍摄季节、拍摄天气等可以基于拍摄时间、拍摄地点经网络查询确定。或者，拍摄参数可以是在拍摄过程中予以记录存储的，后续可通过存储介质中获取。例如，待处理媒体影像可以是已经完成拍摄的照片或完成录制的视频，拍摄参数可以存储在存储介质中，直接通过存储介质获取待处理媒体影像的拍摄参数。
在步骤S42中，基于拍摄参数，在云端数据库的场景图像集中确定匹配拍摄参数的场景图像子集。
随着5G时代的到来，基于拍摄参数在云端数据库的场景图像集中确定匹配拍摄参数的场景图像子集的过程将花费很短的时间，可以为快速、准确获取匹配目标场景对象的场景图像打下基础。
本公开实施例中，基于拍摄参数可以在云端数据库的场景图像集中进行无人、无其他杂物的场景图像的初步筛选，以缩小后续进行场景图像匹配的匹配范围。本公开实施例中将基于拍摄参数在云端数据库的场景图像集中确定的场景图像称为场景图像子集。
在一实施例中，假设用户在早春季节的早上，于故宫的正南方向拍摄一张包含用户A的照片。因此，可以相应确定用户的拍摄对象为故宫，拍摄参数包括拍摄季节为早春季节、拍摄时间为早上、拍摄方位为正南方向。通过本公开可以基于这些拍摄参数在云端数据库中确定与该拍摄的照片相匹配的场景图像子集。其中，场景图像子集可以理解为是满足拍摄季节为早春季节、拍摄时间为早上、拍摄方位为正南方向的若干张场景图像。
在应用过程中，用户可以通过将拍摄对象和所有拍摄参数一起输入到关键词搜索框，找到与拍摄对象和所有拍摄参数相匹配的场景图像；也可以先基于拍摄对象确定搜索到的相关条目，例如故宫，再在基于给出的相关条目，在相关条目下搜索匹配当前所有拍摄参数的所有场景图像。
通过上述方式，可以快速找到与目标场景对象相匹配的场景图像，即场景图像子集。
在步骤S43，在场景图像子集中，获取匹配目标场景对象的场景图像。
基于场景图像子集，可以在场景图像子集中确定与目标场景对象最为匹配的场景图像。
本公开将通过以下实施例对在场景图像子集中，获取匹配目标场景对象的场景图像的过程进行说明。
本公开实施例中，将待处理媒体影像中除目标场景对象以外还会存在其他场景对象。例如，待处理媒体影像中遮挡目标场景对象的遮挡对象可以包括主体遮挡对象。主体遮挡对象可以理解为是意欲保留在媒体影像中的遮挡对象，例如，对于拍摄的照片中意欲拍摄进照片的主体人像可以理解为是一种遮挡目标场景对象的主体遮挡对象。
本公开实施例中，在获取匹配目标场景对象的场景图像时，可以将待处理媒体影像中除目标场景对象以外的其他场景对象的特征匹配权重置零，并在场景图像子集中，确定与目标场景对象的特征匹配权重最高的场景图像，作为匹配目标场景对象的场景图像。
由于需要对待处理媒体影像中无人、无其他杂物的画面与场景图像进行匹配，从而获得匹配的场景图像。因此，在基于待处理媒体影像中的特征与各场景图像中的特征进行匹配权重计算时，可以先将待处理媒体影像中除目标场景对象以外的其他场景对象的特征匹配权重置零，即可以理解为是将待处理媒体影像中目标场景对象的特征作为待处理媒体影像的特征。进一步，将在场景图像子集中基于特征权重匹配方式确定的与待处理媒体影像的特征匹配权重最高的场景图像，作为匹配目标场景对象的场景图像。
本公开实施例中还可以采用其他方式实现在待处理媒体影像中的第一区域，对目标场景对象进行真实填补处理，以生成目标媒体影像的实现方案。
在一种实施例中，可以通过大数据学习的方式，对去在除第一区域的待处理媒体影像的区域位置进行填补修复，以得到真实目标场景对象的方式，进而生成目标媒体影像；在另一种实施例中，还可以通过大数据学习的方式，不对第一区域进行去除，而直接对位于待处理媒体影像的第一区域位置进行修复，以使遮挡目标场景对象的目标遮挡对象被修复掉，并且与目标场景对象相配合，进而生成目标媒体影像。
本公开一示例中，以基于预先训练的神经网络模型，对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，以生成目标媒体影像为例进行说明。
在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像可以通过以下方式实现：
基于预先训练的神经网络模型，对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，生成目标媒体影像。
本公开实施例中，可以基于深度学习的图像修复技术，对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，以生成目标媒体影像。
在应用过程中，可以基于预先训练好的神经网络模型，直接对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，以生成目标媒体影像。
本公开一种实施方式中，可以是在不存在云端数据库，或者是在云端数据库中未搜索到与目标场景对象匹配的场景图像时，采用基于深度学习的图像修复技术对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理。
当然，可以理解的是，本公开实施例中对于基于深度学习的图像修复技术对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理的实施方式可以配合前述的实施例使用，也可以是独立使用。无论是单独使用还是配合前述的实施例一起使用，其实现原理类似。本公开实施中，部分实施例中是以一起使用的实施方式进行说明的；当然，本领域内技术人员可以理解，这样的举例说明并非对本公开实施例的限定。
本公开实施例以下对待处理媒体影像中，遮挡目标场景对象的目标遮挡对象的确定过程进行说明。
图6是根据一示例性实施例示出的一种确定待处理媒体影像中，遮挡所述目标场景对象的目标遮挡对象的流程图。
如图6所示，在本公开一示例性实施例中，确定待处理媒体影像中，遮挡所述目标场景对象的目标遮挡对象包括以下步骤。
在步骤S51中，对待处理媒体影像中遮挡目标场景对象的遮挡对象进行像素分割，得到遮挡对象的二维掩膜图像，其中，二维掩膜图像中每一遮挡对象所在区域具有各自的类标。
识别待处理媒体影像中的目标场景对象以及遮挡对象，并将遮挡对象与目标场景对象区分开。对识别到的遮挡对象进行像素分割，以得到像素级别遮挡对象的区域。在一种实施例中，通过对遮挡对象进行像素分割，可以得到遮挡对象的二维掩膜图像。其中，在二维掩膜图像中，每一遮挡对象所在区域具有各自的类标。
识别到的遮挡对象除了包括目标遮挡对象之外，还包括主体遮挡对象。其中，主体遮挡对象可以是位于待处理媒体影像中的主体人，相对于待处理媒体影像而言，主体遮挡对象可以是需要保留在该影像中的遮挡对象，目标遮挡对象可以是需要从待处理媒体影像中去除的遮挡对象。
在一种实施例中，可以基于卷积神经网络(Convolutional Neural Network,CNN)实现对遮挡对象区域的分割。
基于识别到的遮挡对象进行像素级别分割，得到不同的遮挡对象区域，并且不同的遮挡对象区域对应由不同的类标。其中，类标可以是表征不同的遮挡对象区域的标识，即遮挡对象区域与类标相对应。例如，主体遮挡对象区域与主体遮挡对象区域的类标相对应，目标遮挡对象区域与目标遮挡对象区域的类标相对应。
在步骤S52中，基于类标，确定二维掩膜图像中的主体遮挡对象所在区域。
由于遮挡对象区域与类标相对应，因此，基于类标可以确定主体遮挡对象所在区域。
在步骤S53中，将二维掩膜图像中除主体遮挡对象所在区域之外的其他遮挡对象，确定为目标遮挡对象。
在本公开一示例性实施例中，基于类标，确定二维掩膜图像中的主体遮挡对象所在区域可以通过以下方式实现。
在一实施方式中，可以基于卷积神经网络在全部类标中检测符合主体遮挡对象的类标对应的像素区域，作为主体遮挡对象所在区域。即基于卷积神经网络和类标，自动检测并推荐出待处理媒体影像中的主体遮挡对象所在区域。
在一实施方式中，可以将用户选择的类标对应的像素区域，作为主体遮挡对象所在区域。即人为选定哪些类标对应的遮挡对象所在的区域为主体遮挡对象所在区域，人为选定哪些类标对应的遮挡对象所在的区域为目标遮挡对象所在区域。
在另一实施方式中，还可以先基于卷积神经网络和类标，自动检测并推荐出待处理媒体影像中的第一主体遮挡对象所在区域，并经过人为修正，在第一主体遮挡对象所在区域内进一步确定哪些区域为主体遮挡对象所在区域。
基于本公开上述实施例提供的图像处理方法，图7是根据一示例性实施例示出的一种图像处理方法的过程示意图。
如图7所示，在本公开一示例性实施例中，图像处理方法包括如下步骤。
在步骤S61中，获取待处理媒体影像。
获取待处理媒体影像，待处理媒体影像中显示有至少部分被遮挡的目标场景对象。其中，遮挡目标场景对象的遮挡对象以包括目标遮挡对象和主体遮挡对象。
在步骤S62中，确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象。
在一种实施例中，可以基于分割技术，例如卷积神经网络将待处理媒体影像中的遮挡对象分割开，得到目标遮挡对象所在区域，即第一区域和主体遮挡对象所在区域。
在步骤S63中，去除待处理媒体影像中目标遮挡对象对应的第一区域。
其中，去除待处理媒体影像中目标遮挡对象对应的第一区域可以理解为是保留了主体遮挡对象和去除目标遮挡对象的带有部分目标场景对象的媒体影像。即得到一张带有孔洞的具有真实的部分目标场景对象的影像，其中，影像中的孔洞为去除的目标遮挡对象对应的第一区域。
在步骤S64中，获取待处理媒体影像的拍摄参数。
其中，拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项。
在步骤S65中，基于拍摄参数，获取匹配目标场景对象的场景图像。
本公开实施例中可以基于拍摄参数到云端数据库中搜索与拍摄参数相匹配的场景图像。
在应用过程中，可以通过将拍摄对象和所有拍摄参数一起输入到关键词搜索框，找到与拍摄对象和所有拍摄参数相匹配的场景图像；也可以先基于拍摄对象确定搜索到的相关条目，例如故宫，再在基于给出的相关条目，在相关条目下搜索匹配当前所有拍摄参数的所有场景图像。最终再在所有的场景图像中确定与目标场景对象最为匹配的场景图像。
进一步的，可以将待处理媒体影像中除目标场景对象以外的其他场景对象的特征匹配权重置零，并在场景图像子集中，确定与目标场景对象的特征匹配权重最高的场景图像，作为匹配目标场景对象的场景图像。
在步骤S66中，在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。
在一种实施例中，当云端数据库中存在与目标场景对象匹配的场景图像时，基于拍摄参数，获取匹配目标场景对象的场景图像。并对场景图像与目标场景对象进行图像配准，在场景图像中确定与第一区域对应的第二区域，以及融合第二区域以及待处理媒体影像，以得到目标媒体影像。通过此种方式，可以使融合后的目标媒体影像的连接处流畅，整体效果真实、自然，有引人入胜之感。
在另一种实施例中，当云端数据库中不存在与目标场景对象匹配的场景图像时，可以基于深度学习的图像修复技术，在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，以得到生成目标媒体影像。
通过上述描述可知，本公开提供的图像处理方法，实现了对待处理媒体影像中与目标遮挡对象对应的第一区域的有效去除。并且，填补匹配第一区域的第二区域能够实现对已去除第一区域的待处理媒体影像进行真实目标场景对象的填补，保证待处理媒体影像中目标场景对象的真实性，进而保证用户可以获得去除遮挡目标场景对象的目标遮挡对象并接近真实目标场景对象的待处理媒体影像。
基于相同的构思，本公开实施例还提供一种图像处理装置。
可以理解的是，本公开实施例提供的图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图8是根据一示例性实施例示出的一种图像处理装置的框图。
在本公开一示例性实施例中，参照图8，图像处理装置包括获取模块110，目标遮挡对象确定模块120和图像处理模块130。下面将分别介绍各模块。
获取模块110被配置为用于：获取待处理媒体影像。其中，待处理媒体影像中显示有至少部分被遮挡的目标场景对象。
目标遮挡对象确定模块120被配置为用于：确定待处理媒体影像中，遮挡目标场景对象的目标遮挡对象。
图像处理模块130被配置为用于：在待处理媒体影像中目标遮挡对象对应的第一区域，对目标场景对象进行填补处理，生成目标媒体影像。
在本公开一示例性实施例中，图像处理装置还包括第一区域去除模块140。第一区域去除模块140被配置为用于：对待处理媒体影像中目标遮挡对象对应的第一区域进行去除处理。
在本公开一示例性实施例中，图像处理装置还包括场景图像匹配模块150。场景图像匹配模块150被配置为用于：从云端数据库中获取与目标场景对象匹配的场景图像。图像处理模块130被配置为用于：对场景图像与目标场景对象进行图像配准，在场景图像中确定与第一区域对应的第二区域；融合第二区域以及待处理媒体影像，以得到目标媒体影像。
在本公开一示例性实施例中，图像处理装置还包括拍摄参数获取模块160。拍摄参数获取模块160被配置为用于：获取待处理媒体影像的拍摄参数，拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项；场景图像匹配模块150被配置为用于：基于拍摄参数，在云端数据库的场景图像集中确定匹配拍摄参数的场景图像子集；在场景图像子集中，获取匹配目标场景对象的场景图像。
在本公开一示例性实施例中，场景图像匹配模块150被配置为用于：将待处理媒体影像中除目标场景对象以外的其他场景对象的特征匹配权重置零，并在场景图像子集中，确定与目标场景对象的特征匹配权重最高的场景图像，作为匹配目标场景对象的场景图像。
在本公开一示例性实施例中，图像处理模块130被配置为用于：基于预先训练的神经网络模型，对待处理媒体影像中目标遮挡对象对应的第一区域进行修复处理，生成目标媒体影像。
在本公开一示例性实施例中，目标遮挡对象确定模块120被配置为用于：对待处理媒体影像中遮挡目标场景对象的遮挡对象进行像素分割，得到遮挡对象的二维掩膜图像，其中，二维掩膜图像中每一遮挡对象所在区域具有各自的类标；基于类标，确定二维掩膜图像中的主体遮挡对象所在区域；将二维掩膜图像中除主体遮挡对象所在区域之外的其他遮挡对象，确定为目标遮挡对象。
在本公开一示例性实施例中，目标遮挡对象确定模块120被配置为用于：基于卷积神经网络在全部类标中检测符合主体遮挡对象的类标对应的像素区域，作为主体遮挡对象所在区域；或者将用户选择的类标对应的像素区域，作为主体遮挡对象所在区域。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于图像处理的装置的框图。例如，图像处理的装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，用于图像处理的装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)的接口212，传感器组件214，以及通信组件216。
处理组件202通常控制用于图像处理的装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在用于图像处理的装置200的操作。这些数据的示例包括用于在用于图像处理的装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件206为用于图像处理的装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为用于图像处理的装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述用于图像处理的装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当用于图像处理的装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当用于图像处理的装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件214包括一个或多个传感器，用于为用于图像处理的装置200提供各个方面的状态评估。例如，传感器组件214可以检测到用于图像处理的装置200的打开/关闭状态，组件的相对定位，例如所述组件为用于图像处理的装置200的显示器和小键盘，传感器组件214还可以检测用于图像处理的装置200或用于图像处理的装置200一个组件的位置改变，用户与用于图像处理的装置200接触的存在或不存在，用于图像处理的装置200方位或加速/减速和用于图像处理的装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于用于图像处理的装置200和其他设备之间有线或无线方式的通信。用于图像处理的装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，用于图像处理的装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由用于图像处理的装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
获取待处理媒体影像，所述待处理媒体影像中显示有至少部分被遮挡的目标场景对象；
确定所述待处理媒体影像中，遮挡所述目标场景对象的目标遮挡对象；
在所述待处理媒体影像中所述目标遮挡对象对应的第一区域，对所述目标场景对象进行填补处理，生成目标媒体影像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述在所述待处理媒体影像中所述目标遮挡对象对应的第一区域，对所述目标场景对象进行填补处理，生成目标媒体影像之前，所述方法还包括：
对所述待处理媒体影像中所述目标遮挡对象对应的第一区域进行去除处理。
3.根据权利要求1或2所述的图像处理方法，其特征在于，所述图像处理方法还包括：
从云端数据库中获取与所述目标场景对象匹配的场景图像；
所述在所述待处理媒体影像中所述目标遮挡对象对应的第一区域，对所述目标场景对象进行填补处理，生成目标媒体影像，包括：
对所述场景图像与所述目标场景对象进行图像配准，在所述场景图像中确定与所述第一区域对应的第二区域；
融合所述第二区域以及所述待处理媒体影像，以得到目标媒体影像。
4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取所述待处理媒体影像的拍摄参数，所述拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项；
从云端数据库中获取与所述目标场景对象匹配的场景图像，包括：
基于所述拍摄参数，在所述云端数据库的场景图像集中确定匹配所述拍摄参数的场景图像子集；
在所述场景图像子集中，获取匹配所述目标场景对象的场景图像。
5.根据权利要求4所述的图像处理方法，其特征在于；在所述场景图像子集中，获取匹配所述目标场景对象的场景图像，包括：
将所述待处理媒体影像中除所述目标场景对象以外的其他场景对象的特征匹配权重置零，并在所述场景图像子集中，确定与所述目标场景对象的特征匹配权重最高的场景图像，作为匹配所述目标场景对象的场景图像。
6.根据权利要求1所述的图像处理方法，其特征在于，所述在所述待处理媒体影像中所述目标遮挡对象对应的第一区域，对所述目标场景对象进行填补处理，生成目标媒体影像，包括：
基于预先训练的神经网络模型，对所述待处理媒体影像中所述目标遮挡对象对应的第一区域进行修复处理，生成目标媒体影像。
7.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述待处理媒体影像中，遮挡所述目标场景对象的目标遮挡对象，包括：
对所述待处理媒体影像中遮挡所述目标场景对象的遮挡对象进行像素分割，得到所述遮挡对象的二维掩膜图像，其中，所述二维掩膜图像中每一遮挡对象所在区域具有各自的类标；
基于所述类标，确定所述二维掩膜图像中的主体遮挡对象所在区域；
将所述二维掩膜图像中除所述主体遮挡对象所在区域之外的其他遮挡对象，确定为所述目标遮挡对象。
8.根据权利要求7所述的图像处理方法，其特征在于，所述基于所述类标，确定所述二维掩膜图像中的主体遮挡对象所在区域，包括：
基于卷积神经网络在全部类标中检测符合主体遮挡对象的类标对应的像素区域，作为所述主体遮挡对象所在区域；或者
将用户选择的类标对应的像素区域，作为所述主体遮挡对象所在区域。
9.一种图像处理装置，其特征在于，所述图像处理装置包括：
获取模块，用于获取待处理媒体影像，所述待处理媒体影像中显示有至少部分被遮挡的目标场景对象；
目标遮挡对象确定模块，用于确定所述待处理媒体影像中，遮挡所述目标场景对象的目标遮挡对象；
图像处理模块，用于在所述待处理媒体影像中所述目标遮挡对象对应的第一区域，对所述目标场景对象进行填补处理，生成目标媒体影像。
10.根据权利要求9所述的图像处理装置，其特征在于，所述图像处理装置还包括第一区域去除模块，所述第一区域去除模块用于：
对所述待处理媒体影像中所述目标遮挡对象对应的第一区域进行去除处理。
11.根据权利要求9或10所述的图像处理装置，其特征在于，所述图像处理装置还包括场景图像匹配模块，所述场景图像匹配模块用于：
从云端数据库中获取与所述目标场景对象匹配的场景图像；
所述图像处理模块用于：对所述场景图像与所述目标场景对象进行图像配准，在所述场景图像中确定与所述第一区域对应的第二区域；
融合所述第二区域以及所述待处理媒体影像，以得到目标媒体影像。
12.根据权利要求11所述的图像处理装置，其特征在于，所述图像处理装置还包括拍摄参数获取模块，所述拍摄参数获取模块用于：
获取所述待处理媒体影像的拍摄参数，所述拍摄参数包括拍摄光照信息、拍摄时间信息、拍摄位置信息、拍摄方位信息、拍摄角度信息、拍摄季节信息和拍摄天气信息中的一项或多项；
所述场景图像匹配模块用于：
基于所述拍摄参数，在所述云端数据库的场景图像集中确定匹配所述拍摄参数的场景图像子集；
在所述场景图像子集中，获取匹配所述目标场景对象的场景图像。
13.根据权利要求12所述的图像处理装置，其特征在于，所述场景图像匹配模块用于：
将所述待处理媒体影像中除所述目标场景对象以外的其他场景对象的特征匹配权重置零，并在所述场景图像子集中，确定与所述目标场景对象的特征匹配权重最高的场景图像，作为匹配所述目标场景对象的场景图像。
14.根据权利要求9所述的图像处理装置，其特征在于，所述图像处理模块用于：
基于预先训练的神经网络模型，对所述待处理媒体影像中所述目标遮挡对象对应的第一区域进行修复处理，生成目标媒体影像。
15.根据权利要求9所述的图像处理装置，其特征在于，所述目标遮挡对象确定模块用于：
对所述待处理媒体影像中遮挡所述目标场景对象的遮挡对象进行像素分割，得到所述遮挡对象的二维掩膜图像，其中，所述二维掩膜图像中每一遮挡对象所在区域具有各自的类标；
基于所述类标，确定所述二维掩膜图像中的主体遮挡对象所在区域；
将所述二维掩膜图像中除所述主体遮挡对象所在区域之外的其他遮挡对象，确定为所述目标遮挡对象。
16.根据权利要求15所述的图像处理装置，其特征在于，所述目标遮挡对象确定模块用于：
基于卷积神经网络在全部类标中检测符合主体遮挡对象的类标对应的像素区域，作为所述主体遮挡对象所在区域；或者
将用户选择的类标对应的像素区域，作为所述主体遮挡对象所在区域。
17.一种图像处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至8中任意一项所述的图像处理方法。
18.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至8中任意一项所述的图像处理方法。
CN202010623971.7A 2020-06-30 2020-06-30 图像处理方法、图像处理装置及存储介质 Pending CN113870274A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010623971.7A CN113870274A (zh) 2020-06-30 2020-06-30 图像处理方法、图像处理装置及存储介质
US17/133,602 US20210407052A1 (en) 2020-06-30 2020-12-23 Method for processing image, related device and storage medium
EP21158624.3A EP3933753A1 (en) 2020-06-30 2021-02-23 Method for processing image, related device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010623971.7A CN113870274A (zh) 2020-06-30 2020-06-30 图像处理方法、图像处理装置及存储介质

Publications (1)

Publication Number Publication Date
CN113870274A true CN113870274A (zh) 2021-12-31

Family

ID=74701416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010623971.7A Pending CN113870274A (zh) 2020-06-30 2020-06-30 图像处理方法、图像处理装置及存储介质

Country Status (3)

Country Link
US (1) US20210407052A1 (zh)
EP (1) EP3933753A1 (zh)
CN (1) CN113870274A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205769A (zh) * 2022-09-16 2022-10-18 中国科学院宁波材料技术与工程研究所 眼科手术技能评价方法、系统及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176017A1 (en) * 2017-03-24 2018-09-27 Revealit Corporation Method, system, and apparatus for identifying and revealing selected objects from video
US11580869B2 (en) * 2019-09-23 2023-02-14 Revealit Corporation Computer-implemented interfaces for identifying and revealing selected objects from video
CN115171200B (zh) * 2022-09-08 2023-01-31 深圳市维海德技术股份有限公司 基于变倍的目标跟踪特写方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN106331460A (zh) * 2015-06-19 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法、装置及终端
CN108038435A (zh) * 2017-12-04 2018-05-15 中山大学 一种基于卷积神经网络的特征提取与目标跟踪方法
JP2019003430A (ja) * 2017-06-15 2019-01-10 リコーエレメックス株式会社 画像処理装置
CN110933299A (zh) * 2019-11-18 2020-03-27 深圳传音控股股份有限公司 一种图像处理方法、装置及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331460A (zh) * 2015-06-19 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法、装置及终端
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
JP2019003430A (ja) * 2017-06-15 2019-01-10 リコーエレメックス株式会社 画像処理装置
CN108038435A (zh) * 2017-12-04 2018-05-15 中山大学 一种基于卷积神经网络的特征提取与目标跟踪方法
CN110933299A (zh) * 2019-11-18 2020-03-27 深圳传音控股股份有限公司 一种图像处理方法、装置及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ESPINOZA-MOLINA, DANIELA等: "Earth Observation Image Retrieval Based on Content Semantics and Metadata", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, 30 November 2013 (2013-11-30), pages 5145 - 5459 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205769A (zh) * 2022-09-16 2022-10-18 中国科学院宁波材料技术与工程研究所 眼科手术技能评价方法、系统及存储介质

Also Published As

Publication number Publication date
US20210407052A1 (en) 2021-12-30
EP3933753A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN109670397B (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN113870274A (zh) 图像处理方法、图像处理装置及存储介质
EP3226204B1 (en) Method and apparatus for intelligently capturing image
EP3905203B1 (en) Method and apparatus for processing video, and storage medium
CN105138126B (zh) 无人机的拍摄控制方法及装置、电子设备
CN104270565B (zh) 图像拍摄方法、装置及设备
EP3010226A2 (en) Method and apparatus for obtaining photograph
CN112013844B (zh) 建立室内环境地图的方法及装置
CN113115000B (zh) 地图生成方法及装置、电子设备和存储介质
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
CN108154466A (zh) 图像处理方法及装置
CN109784164A (zh) 前景识别方法、装置、电子设备及存储介质
JP2021072081A (ja) 画像処理モデルのトレーニング方法、装置および媒体
CN104168419B (zh) 图像拍摄方法及装置
JP2007258953A (ja) 自動撮影システム及び自動撮影装置
CN116939351A (zh) 拍摄方法、装置、电子设备及可读储存介质
CN113315903B (zh) 图像获取方法和装置、电子设备、存储介质
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备
CN114697517A (zh) 视频处理方法、装置、终端设备及存储介质
CN115641269A (zh) 一种图像修补方法、装置及可读存储介质
KR20210157289A (ko) 촬영 프리뷰 이미지를 표시하는 방법, 장치 및 매체
CN114390189A (zh) 图像处理方法、装置、存储介质及移动终端
CN114449212A (zh) 对象追踪方法及装置、电子设备、存储介质
CN106778500B (zh) 一种获取人物面相信息的方法和装置
CN114430457A (zh) 拍摄方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination