CN110933299B - 一种图像处理方法、装置及计算机存储介质 - Google Patents

一种图像处理方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN110933299B
CN110933299B CN201911126395.9A CN201911126395A CN110933299B CN 110933299 B CN110933299 B CN 110933299B CN 201911126395 A CN201911126395 A CN 201911126395A CN 110933299 B CN110933299 B CN 110933299B
Authority
CN
China
Prior art keywords
image
processed
scene
target object
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911126395.9A
Other languages
English (en)
Other versions
CN110933299A (zh
Inventor
肖明
李凌志
王海滨
周晨航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Transsion Holdings Co Ltd
Original Assignee
Shenzhen Transsion Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Transsion Holdings Co Ltd filed Critical Shenzhen Transsion Holdings Co Ltd
Priority to CN201911126395.9A priority Critical patent/CN110933299B/zh
Publication of CN110933299A publication Critical patent/CN110933299A/zh
Application granted granted Critical
Publication of CN110933299B publication Critical patent/CN110933299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像处理方法、装置及计算机存储介质,所述图像处理方法包括:获取待处理图像和所述待处理图像的拍摄环境信息,并获取与所述待处理图像相匹配的场景图像;确定所述待处理图像中需要抠除的目标对象;根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像。本发明提供的图像处理方法、装置及计算机存储介质,通过与待处理图像相匹配的场景图像以及所述待处理图像的拍摄环境信息对所述待处理图像中抠除目标对象后的图像区域进行场景修复,从而实现对图像的准确修复,操作方便快捷,提升了用户体验。

Description

一种图像处理方法、装置及计算机存储介质
技术领域
本发明涉及图像处理领域,特别是涉及一种图像处理方法、装置及计算机存储介质。
背景技术
随着通信技术的飞速发展和智能电子产品的普及,越来越多的智能终端或智能设备成为人们生活中不可缺少的一部分,如智能手机等。其中,通过智能终端或智能设备进行拍照,以记录用户所游玩的景点信息、或者在某一时刻所发生的事等场景的使用也越来越多。然而,在拍照过程中,所获得的照片中可能存在不相关人物或景物的图像,影响用户体验。例如,用户在某个景点进行拍照时,若此时身后有其它游客经过,将导致所拍摄的照片中存在其它游客的图像。
发明内容
本发明的目的在于提供一种图像处理方法、装置及计算机存储介质,能够实现对图像的准确修复,操作方便快捷,提升了用户体验。
为达到上述目的,本发明的技术方案是这样实现的:
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取待处理图像和所述待处理图像的拍摄环境信息,并获取与所述待处理图像相匹配的场景图像;
确定所述待处理图像中需要抠除的目标对象;
根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像。
作为其中一种实施方式,所述确定所述待处理图像中需要抠除的目标对象,包括:
对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象;
从识别出的所述待处理图像中的各对象中确定目标对象。
作为其中一种实施方式,所述从识别出的所述待处理图像中的各对象中确定目标对象,包括:
从识别出的所述待处理图像中的各对象中选取满足预设条件的对象确定为目标对象。
作为其中一种实施方式,所述预设条件包括对象的类型为预设类型。
作为其中一种实施方式,所述根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像,包括:
采用预设分割算法对所述待处理图像中的所述目标对象进行抠图处理,获得抠除所述目标对象后的所述待处理图像;
根据所述场景图像和所述待处理图像的拍摄环境信息对所述抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,得到修复后的所述待处理图像。
作为其中一种实施方式,所述根据所述场景图像和所述待处理图像的拍摄环境信息对所述抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,得到修复后的所述待处理图像之前,还包括:
以所述场景图像的图像视角为基准,对所述抠除所述目标对象后的所述待处理图像进行旋转,直至所述抠除所述目标对象后的所述待处理图像的图像视角与所述场景图像的图像视角一致。
作为其中一种实施方式,所述图像处理方法应用于终端,其特征在于,所述获取与所述待处理图像相匹配的场景图像,包括:
向云端服务器发送携带有待处理图像的搜索请求,所述搜索请求用于请求搜索与所述待处理图像相匹配的场景图像;
接收所述云端服务器基于所述搜索请求返回的与所述待处理图像相匹配的场景图像。
作为其中一种实施方式,所述向云端服务器发送携带有待处理图像的搜索请求之前,还包括:
向所述云端服务器发送携带有定位信息的预搜索请求;其中,所述定位信息用于表征所述待处理图像的拍摄位置,所述预搜索请求用于请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像。
作为其中一种实施方式,所述从识别出的所述待处理图像中的各对象中确定目标对象,包括:
在所述待处理图像中显示识别出的各对象,根据用户的操作选取目标对象。
作为其中一种实施方式,所述对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,包括:
向所述云端服务器发送携带有待处理图像的对象识别请求;
接收所述云端服务器基于所述对象识别请求返回的识别结果,根据所述识别结果确定所述待处理图像中的各对象。
作为其中一种实施方式,所述图像处理方法应用于云端服务器,其特征在于,所述获取待处理图像,并获取与所述待处理图像相匹配的场景图像,包括:
接收终端发送的携带有待处理图像的搜索请求;
响应所述搜索请求,将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。
作为其中一种实施方式,所述获取与所述待处理图像相匹配的场景图像之后,还包括:
向所述终端发送与所述待处理图像相匹配的场景图像。
作为其中一种实施方式,所述接收终端发送的携带有待处理图像的搜索请求之前,还包括:
接收所述终端发送的携带有定位信息的预搜索请求;其中,所述定位信息用于表征所述待处理图像的拍摄位置,所述预搜索请求用于请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像;
响应所述预搜索请求,根据所述定位信息查询预设场景图像库,获取与所述定位信息相匹配的场景图像;其中,所述预设场景图像库存储有场景图像和对应的定位信息;
所述将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,包括:
将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。
作为其中一种实施方式,所述将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,包括:
将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,并将与所述待处理图像的相似度满足预设条件的场景图像确定为与所述待处理图像相匹配的场景图像。
作为其中一种实施方式,所述对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,包括:
接收所述终端发送携带有所述待处理图像的对象识别请求;
响应所述对象识别请求,对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象;
向所述终端发送获得的识别结果。
作为其中一种实施方式,所述根据所述场景图像对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像之后,还包括:
向所述终端发送所述修复后的所述待处理图像。
第二方面,本发明实施例提供了一种图像处理装置,所述图像处理装置包括处理器以及用于存储程序的存储装置;当所述程序被所述处理器执行,使得所述处理器实现如第一方面所述的图像处理方法。
第三方面,本发明实施例提供了一种计算机存储介质,存储有计算机程序,所述计算机程序被处理器执行时,实现如第一方面所述的图像处理方法。
本发明实施例提供的图像处理方法、装置及计算机存储介质,所述图像处理方法包括:获取待处理图像和所述待处理图像的拍摄环境信息,并获取与所述待处理图像相匹配的场景图像;确定所述待处理图像中需要抠除的目标对象;根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像。如此,通过与待处理图像相匹配的场景图像以及和所述待处理图像的拍摄环境信息对所述待处理图像中抠除目标对象后的图像区域进行场景修复,从而实现对图像的准确修复,确保了图像质量,且操作方便快捷,提升了用户体验。
附图说明
图1为本发明实施例提供的一种图像处理方法的应用环境示意图;
图2为本发明实施例提供的一种图像处理方法的流程示意图;
图3为本发明实施例提供的一种图像处理方法的具体流程示意图;
图4为本发明实施例中图像中抠除干扰人像前后的示意图;
图5为本发明实施例提供的一种图像处理装置的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
参见图1,为本发明实施例提供的一种图像处理方法的应用环境示意图,终端10获取待处理图像和所述待处理图像的拍摄环境信息后,对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,并从识别出的所述待处理图像中的各对象中确定需要抠除的目标对象。接着,终端10将所述待处理图像向云端服务器11发送,以请求云端服务器11搜索与所述待处理图像相匹配的场景图像。云端服务器11将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,并将所述与所述待处理图像相匹配的场景图像向终端10发送。终端10根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像,从而实现对图像的准确修复,操作方便快捷,提升了用户体验。这里,所述终端10可以是智能手机、个人数字助理、平板电脑等设备。
参见图2,为本发明实施例提供的一种图像处理方法,该图像处理方法可以由本发明实施例提供的一种图像处理装置来执行,该图像处理装置可以采用软件和/或硬件的方式来实现,在具体应用中,该图像处理装置可以具体是图1中的终端10或云端服务器11,所述终端可以是智能手机、个人数字助理、平板电脑等设备,所述图像处理方法包括以下步骤:
步骤S101:获取待处理图像和所述待处理图像的拍摄环境信息,并获取与所述待处理图像相匹配的场景图像;
这里,所述终端获取待处理图像可以是终端获取通过自身的拍照装置如摄像头所拍摄的图像作为待处理图像,也可以是终端根据用户的选择操作从本地的图像库中选择一照片作为待处理图像。相应的,所述终端获取与所述待处理图像相匹配的场景图像可以是终端从本地的场景图像库中获取与所述待处理图像相匹配的场景图像,也可以是通过云端服务器查询以获取与所述待处理图像相匹配的场景图像。可以理解地,由于所述待处理图像的拍摄环境信息和所述场景图像的拍摄环境信息可能不相同,比如所述所述场景图像可能是在白天拍摄的,而所述待处理图像可能是在夜间拍摄的,导致修复后的所述待处理图像中所述目标对象的图像区域与其它区域的环境信息可能存在差异,因此,需要结合所述待处理图像的拍摄环境信息对所述待处理图像进行修复,以使得修复后的所述待处理图像中所述目标对象的图像区域与其它区域的环境信息尽可能一致。这里,所述环境信息可以是指亮度信息等。
在一实施方式中,所述终端获取与所述待处理图像相匹配的场景图像,包括:终端向云端服务器发送携带有待处理图像的搜索请求,所述搜索请求用于请求搜索与所述待处理图像相匹配的场景图像;所述终端接收所述云端服务器基于所述搜索请求返回的与所述待处理图像相匹配的场景图像。具体地,终端向云端服务器发送携带有待处理图像的搜索请求,以请求所述云端服务器搜索与所述待处理图像相匹配的场景图像,并接收所述云端服务器基于所述搜索请求返回的与所述待处理图像相匹配的场景图像。这里,若所述云端服务器返回的与所述待处理图像相匹配的场景图像有多个,所述终端可根据用户的操作从其中确定一个作为与所述待处理图像相匹配的场景图像。本实施例中,以所述云端服务器返回的与所述待处理图像相匹配的场景图像只有一个为例。需要说明的是,所述与所述待处理图像相匹配的场景图像可以是与所述待处理图像的相似度最高的场景图像。如此,通过云端服务器获取与待处理图像相匹配的场景图像,处理速度快,且准确度高。
在一实施方式中,为了快速搜索到与所述待处理图像相匹配的场景图像,以加快处理速度,所述终端向云端服务器发送携带有待处理图像的搜索请求之前,还包括:终端向所述云端服务器发送携带有定位信息的预搜索请求;其中,所述定位信息用于表征所述待处理图像的拍摄位置,所述预搜索请求用于请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像。具体地,终端向所述云端服务器发送携带有用于表征所述待处理图像的拍摄位置的定位信息的预搜索请求,以使所述云端服务器预先从预设场景图像库中搜索出与所述定位信息相匹配的场景图像,进而使得云端服务器在接收到携带有待处理图像的搜索请求时,直接从所述与所述定位信息相匹配的场景图像中搜索与所述待处理图像相匹配的场景图像。这里,终端可以在进入拍照模式如开启相机后获取所述终端当前的位置信息,并将所述当前的位置信息作为所述待处理图像的拍摄位置。如此,通过预先向云端服务器发送携带有定位信息的预搜索请求,以请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像,加快了图像搜索速度,提高了图像处理速度,进一步提升了用户体验。
在一实施方式中,所述云端服务器获取待处理图像,并获取与所述待处理图像相匹配的场景图像,包括:云端服务器接收终端发送的携带有待处理图像的搜索请求,所述搜索请求用于请求搜索与所述待处理图像相匹配的场景图像;所述云端服务器响应所述搜索请求,将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。具体地,云端服务器接收终端发送的携带有待处理图像的搜索请求,以获取到待处理图像,并响应所述搜索请求,将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。这里,所述预设场景图像库中预先存储有多个场景图像,比如包括不同旅游景点的图像等。所述云端服务器将所述待处理图像与预设场景图像库中的场景图像进行匹配,可以是云端服务器计算所述待处理图像与预设场景图像库中的每一场景图像的相似度,将与所述待处理图像的相似度最高的场景图像或者与所述待处理图像的相似度大于预设相似度阈值如50%、或70%等的场景图像确定为与所述待处理图像相匹配的场景图像。本实施例中,以所述与所述待处理图像相匹配的场景图像为与所述待处理图像的相似度最高的场景图像为例。这里,所述云端服务器获取与所述待处理图像相匹配的场景图像之后,还可包括:云端服务器向所述终端发送所述与所述待处理图像相匹配的场景图像,以使所述终端获取所述与所述待处理图像相匹配的场景图像。
在一实施方式中,所述云端服务器接收终端发送的携带有待处理图像的搜索请求之前,还包括:
云端服务器接收所述终端发送的携带有定位信息的预搜索请求;其中,所述定位信息用于表征所述待处理图像的拍摄位置,所述预搜索请求用于请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像;
所述云端服务器响应所述预搜索请求,根据所述定位信息查询预设场景图像库,获取与所述定位信息相匹配的场景图像;其中,所述预设场景图像库存储有场景图像和对应的定位信息;
所述云端服务器将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,包括:
云端服务器将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。
这里,所述预设场景图像库中预先存储有每一场景图像对应的定位信息,即每一场景图像对应的拍摄位置信息。所述云端服务器根据所述定位信息查询预设场景图像库,获取与所述定位信息相匹配的场景图像,可以是云端服务器根据所述定位信息查询预设场景图像库中具有相同所述定位信息的场景图像,或者根据所述定位信息查询预设场景图像库中与所述定位信息的距离小于预设距离阈值如50、或100米等的场景图像,并将获得的场景图像作为与所述定位信息相匹配的场景图像。这里,所述云端服务器将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,包括:云端服务器将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,并将与所述待处理图像的相似度满足预设条件的场景图像确定为与所述待处理图像相匹配的场景图像。所述预设条件可以是相似度大于预设相似度阈值,如50%、70%或80%等。如此,云端服务器预先搜索出与所述定位信息相匹配的场景图像,以在后续直接从搜索到的与所述定位信息相匹配的场景图像中搜索与所述待处理图像相匹配的场景图像,加快了图像搜索速度,提高了图像处理速度,进一步提升了用户体验。
步骤S102:确定所述待处理图像中需要抠除的目标对象;
可选的,所述确定所述待处理图像中需要抠除的目标对象,包括:对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象;从识别出的所述待处理图像中的各对象中确定目标对象。
这里,所述对象可以是人物或景物等,所述目标对象可以是指预设类型的对象,以所述对象为人物为例,所述目标对象可以是指陌生人、熟人、终端用户中的一种或多种。根据所需要选取的目标对象的不同,从识别出的所述待处理图像中的各对象中确定目标对象的方式可能也不相同。可以理解地,以所述对象为人物为例,所述终端从识别出的所述待处理图像中的各对象中确定目标对象,可以是所述终端将识别出的所述待处理图像中的各人物与本地的图像库进行匹配,以检测所述待处理图像中的各人物是否在本地的图像库出现过和/或出现的次数,若所述待处理图像中的人物在本地的图像库出现过,说明该人物不是陌生人,该人物可能是熟人或终端用户,进而根据该人物出现的次数可确定该人物具体是熟人,还是终端用户。在一实施方式中,所述从识别出的所述待处理图像中的各对象中确定目标对象,包括:从识别出的所述待处理图像中的各对象中选取满足预设条件的对象确定为目标对象。这里,用户可以预先设置目标对象需要满足的条件,即预先设置所述预设条件。在识别出所述待处理图像中的各对象后,通过所述预设条件筛选出目标对象。所述预设条件可以根据实际情况需要进行设置,比如所述预设条件可以是对象的类型为预设类型,以所述对象为人物为例,所述对象的类型为预设类型可以是指人物为陌生人等。
在一实施方式中,所述终端对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,包括:
终端向所述云端服务器发送携带有待处理图像的对象识别请求;
所述终端接收所述云端服务器基于所述对象识别请求返回的识别结果,根据所述识别结果确定所述待处理图像中的各对象。
具体地,终端向所述云端服务器发送携带有待处理图像的对象识别请求,以请求所述云端服务器对待处理图像中的对象进行识别,并接收所述云端服务器基于所述对象识别请求返回的识别结果,根据所述识别结果确定所述待处理图像中的各对象。如此,终端通过云端服务器对待处理图像中的对象进行识别,处理速度快,提高了图像处理效率。
在一实施方式中,所述终端从识别出的所述待处理图像中的各对象中确定目标对象,包括:终端在所述待处理图像中显示识别出的各对象,根据用户的操作选取目标对象。具体地,终端在识别出所述待处理图像中的各对象后,在所述待处理图像中显示识别出的各对象,并根据用户的操作选取目标对象。这里,终端在所述待处理图像中显示识别出的各对象可以是终端在所述待处理图像中通过设定标记如虚线框等标识出识别出的各对象,以供用户进行选择。如此,终端在待处理图像中显示识别出的各对象,以根据用户的操作选取目标对象,操作便捷且快速,进一步提升了用户体验。
在一实施方式中,所述云端服务器对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,包括:
云端服务器接收所述终端发送携带有所述待处理图像的对象识别请求;
所述云端服务器响应所述对象识别请求,对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象;
所述云端服务器向所述终端发送获得的识别结果。
具体地,云端服务器接收到终端发送的携带有所述待处理图像的对象识别请求后,对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,并向所述终端发送获得的识别结果。如此,云端服务器根据终端发送的对象识别请求对待处理图像中的对象进行识别,处理速度快,提高了图像处理效率。
步骤S103:根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像。
可选的,所述根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像,包括:采用预设分割算法对所述待处理图像中的所述目标对象进行抠图处理,获得抠除所述目标对象后的所述待处理图像;根据所述场景图像和所述待处理图像的拍摄环境信息对所述抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,得到修复后的所述待处理图像。这里,预设分割算法可以是实例分割算法等。对所述待处理图像中的所述目标对象进行抠图处理后,需要对抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,以确保修复后的所述待处理图像的场景保持一致,而通过与所述待处理图像相匹配的场景图像对抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,能够确保修复后的所述待处理图像的场景保持一致。同时,结合和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,能够确保所述待处理图像中抠除所述目标对象后的图像区域与所述待处理图像中其它图像区域的环境信息尽量保持一致,以提高图像的质量。
可以理解地,由于所述待处理图像和所述场景图像的图像视角可能不同,为了准确的利用所述场景图像进行场景修复,可以先确保所述待处理图像和所述场景图像的图像视角一致。在一实施方式中,所述根据所述场景图像对所述抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,得到修复后的所述待处理图像之前,还包括:以所述场景图像的图像视角为基准,对所述抠除所述目标对象后的所述待处理图像进行旋转,直至所述抠除所述目标对象后的所述待处理图像的图像视角与所述场景图像的图像视角一致。这里,所述对所述抠除所述目标对象后的所述待处理图像进行旋转,可以是对所述抠除所述目标对象后的所述待处理图像向左进行旋转,也可以是对所述抠除所述目标对象后的所述待处理图像向右进行旋转。如此,通过对所述抠除所述目标对象后的所述待处理图像进行旋转,直至所述抠除所述目标对象后的所述待处理图像的图像视角与所述场景图像的图像视角一致,实现场景修复的双向操作,处理速度快,进一步提高了用户体验。
在一实施方式中,所述云端服务器根据所述场景图像对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像之后,还包括:
云端服务器向所述终端发送所述修复后的所述待处理图像。
综上,上述实施例提供的图像处理方法中,通过与待处理图像相匹配的场景图像以及所述待处理图像的拍摄环境信息对所述待处理图像中抠除目标对象后的图像区域进行场景修复,从而实现对图像的准确修复,确保了图像质量,且操作方便快捷,提升了用户体验。
基于前述实施例相同的发明构思,本实施例通过具体示例对前述实施例的技术方案进行详细说明。相关技术中,用户在日常拍照过程中,尤其是在节假日时,出游人数剧增,而在游客众多的场景下,往往很难拍摄出一张没有其它游客干扰的图像,游客的干扰大大降低了图像的美感。对于移动端的即时拍摄,通过电脑端后期去手动进行干扰游客的抠除工作量很大,也大大提高了用户的操作门槛。因此,需要一种能够精确去除图像中游客的干扰方法。本实施例中以终端为手机、所述对象为人物为例,图3为本发明实施例提供的一种图像处理方法的具体流程示意图,包括以下步骤:
步骤S201:手机获取待处理图像;
具体地,手机采集用户拍摄的一张图像作为待处理图像。
步骤S202:手机对待处理图像进行人脸识别;
这里,手机先检测待处理图像中的人脸,如通过人脸识别技术自动检测出该人脸是否在图像库中出现过,若该人脸在图像库中出现过,则提醒是否为熟人,反之若该人脸未在图像库中出现过,则为陌生人。手机可通过实例分割算法分割出待处理图像中每个人像的位置。
步骤S203:手机根据自动或手动修复模式选择需要抠除的干扰人像;
这里,基于分割出待处理图像中每个人像的位置,手机可根据自动或手动修复模式的不同进行相应处理。对于第一自动模式,可默认保留识别出的手机拥有者和熟人的图像,除此之外的陌生人的图像区域则会被判断为待修复区域。对于第二自动模式,可默认保留识别出的手机拥有者的图像,熟人和陌生人的图像区域则会被判断为待修复区域。对于手动模式,将分割出的所有人像位置都设置为待修复区域,需要用户手动去选择具体修复哪些区域。
这里,根据如上的自动模式或者手动模式下的人机交互,选取需要抠除的干扰人像。参见图4,为图像中抠除干扰人像前后的示意图,图4(a)为原始的图像,图4(b)为确定图像中的干扰人像的示意图,图4(c)为图像中抠除干扰人像后的示意图。
步骤S204:手机获取用户拍摄待处理图像的定位信息;
需要说明的是,手机可以是在用户进入拍照模式的同时获取用户拍摄待处理图像的定位信息,也可以是在用户拍摄待处理图像后获取对应的定位信息。
步骤S205:手机通过云端服务器搜索与所述定位信息相似的场景图像;
这里,为了实现快速搜索与待处理图像匹配的场景图像以对待处理图像进行快速修复,手机获取用户拍摄待处理图像的定位信息后,将所述定位信息向云端服务器发送,云端服务器接收到手机发送的定位信息后,在场景图像库中提前搜索与所述定位信息相似的场景图像。这里,所述场景图像库中预先存储有多个场景图像以及对应的定位信息。
这里,如果用户不需要实时处理图像,可设置为不基于实时定位提前搜索与定位信息相似的场景图像,而是在用户需要的时候才基于照片记录的定位信息进行场景图像搜索。
步骤S206:手机通过云端服务器搜索与待处理图像相似度最高的场景图像;
这里,手机在用户按下拍照快门的瞬间,可将拍摄的待处理图像发送给云端服务器,以使云端服务器在搜索到的与所述定位信息相似的场景图像中搜索与待处理图像相似度最高的场景图像,并向手机下发搜索到的场景图像。或者,手机在需要对待处理图像进行场景修复时,将拍摄的待处理图像发送给云端服务器,以使云端服务器在搜索到的与所述定位信息相似的场景图像中搜索与待处理图像相似度最高的场景图像,并向手机下发搜索到的场景图像。
步骤S207:手机运用搜索到的场景图像对待处理图像进行场景修复;
具体地,手机运用搜索到的场景图像对待处理图像中抠除干扰人像后的图像区域进行场景修复,以获取修复后的待处理图像。
这里,由于拍摄角度和环境的区别,可运用仿射变换技术来对待处理图像中抠除干扰人像后的图像区域进行匹配,防止修复后的待处理图像出现违和感。同时,可自动调节待处理图像的环境信息,以更好的融合图像。此外,为了更好的对图像进行场景修复,可以通过单向方式和双向方式对待处理图像和场景图像进行调整。单向方式表示只运用场景图像来修复待处理图像,双向方式表示在某些情况下待处理图像也需要做一些适应性调整,以更好的配适运用场景图像进行修复,比如调整待处理图像的图像视角。
步骤S208:手机输出修复后的待处理图像。
需要说明的是,若手机未搜索到与待处理图像相似的场景图像,手机可以运用人工智能技术对待处理图像中抠除干扰人像后的图像区域进行修复。
综上,上述实施例提供的图像处理方法可以自动识别图像中的人是谁,并且将背景中的陌生人抠除,并且基于定位信息提前搜索图像库中的相似场景图像,基于该场景图像快速对当前图像进行修复,确保了图像质量,且操作方便快捷,提升了用户体验。
基于前述实施例相同的发明构思,本发明实施例提供了一种图像处理装置,该图像处理装置可应用于终端或云端服务器中,如图5所示,该图像处理装置包括:处理器110和用于存储能够在处理器110上运行的计算机程序的存储器111;其中,图5中示意的处理器110并非用于指代处理器110的个数为一个,而是仅用于指代处理器110相对其他器件的位置关系,在实际应用中,处理器110的个数可以为一个或多个;同样,图5中示意的存储器111也是同样的含义,即仅用于指代存储器111相对其他器件的位置关系,在实际应用中,存储器111的个数可以为一个或多个。所述处理器110用于运行所述计算机程序时,实现上述图像处理方法。
该图像处理装置还可包括:至少一个网络接口112。该图像处理装置中的各个组件通过总线系统113耦合在一起。可理解,总线系统113用于实现这些组件之间的连接通信。总线系统113除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图5中将各种总线都标为总线系统113。
其中,存储器111可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本发明实施例描述的存储器111旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器111用于存储各种类型的数据以支持该图像处理装置的操作。这些数据的示例包括:用于在该图像处理装置上操作的任何计算机程序,如操作系统和应用程序;联系人数据;电话簿数据;消息;图片;视频等。其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。这里,实现本发明实施例方法的程序可以包含在应用程序中。
基于前述实施例相同的发明构思,本实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有计算机程序,计算机存储介质可以是磁性随机存取存储器(FRAM,ferromagnetic random access memory)、只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory)等存储器;也可以是包括上述存储器之一或任意组合的各种设备,如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时,实现上述图像处理方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图2所示实施例的描述,在此不再赘述。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,除了包含所列的那些要素,而且还可包含没有明确列出的其他要素。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像和所述待处理图像的拍摄环境信息,并获取与所述待处理图像相匹配的场景图像;
确定所述待处理图像中需要抠除的目标对象;
根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像;
其中,所述根据所述场景图像和所述待处理图像的拍摄环境信息对所述抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,得到修复后的所述待处理图像,包括:
以所述场景图像的图像视角为基准,对所述抠除所述目标对象后的所述待处理图像进行旋转,直至所述抠除所述目标对象后的所述待处理图像的图像视角与所述场景图像的图像视角一致。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定所述待处理图像中需要抠除的目标对象,包括:
对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象;
从识别出的所述待处理图像中的各对象中确定目标对象。
3.根据权利要求2所述的图像处理方法,其特征在于,所述从识别出的所述待处理图像中的各对象中确定目标对象,包括:
从识别出的所述待处理图像中的各对象中选取满足预设条件的对象确定为目标对象。
4.根据权利要求3所述的图像处理方法,其特征在于,所述预设条件包括对象的类型为预设类型。
5.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像,包括:
采用预设分割算法对所述待处理图像中的所述目标对象进行抠图处理,获得抠除所述目标对象后的所述待处理图像;
根据所述场景图像和所述待处理图像的拍摄环境信息对所述抠除所述目标对象后的所述待处理图像中所述目标对象的图像区域进行场景修复,得到修复后的所述待处理图像。
6.根据权利要求1至5任一项所述的图像处理方法,应用于终端,其特征在于,所述获取与所述待处理图像相匹配的场景图像,包括:
向云端服务器发送携带有待处理图像的搜索请求,所述搜索请求用于请求搜索与所述待处理图像相匹配的场景图像;
接收所述云端服务器基于所述搜索请求返回的与所述待处理图像相匹配的场景图像。
7.根据权利要求6所述的图像处理方法,其特征在于,所述向云端服务器发送携带有待处理图像的搜索请求之前,还包括:
向所述云端服务器发送携带有定位信息的预搜索请求;其中,所述定位信息用于表征所述待处理图像的拍摄位置,所述预搜索请求用于请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像。
8.根据权利要求6所述的图像处理方法,其特征在于,所述对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,包括:
向所述云端服务器发送携带有待处理图像的对象识别请求;
接收所述云端服务器基于所述对象识别请求返回的识别结果,根据所述识别结果确定所述待处理图像中的各对象。
9.根据权利要求2所述的图像处理方法,其特征在于,所述从识别出的所述待处理图像中的各对象中确定目标对象,包括:
在所述待处理图像中显示识别出的各对象,根据用户的操作选取目标对象。
10.根据权利要求1至5任一项所述的图像处理方法,应用于云端服务器,其特征在于,所述获取待处理图像,并获取与所述待处理图像相匹配的场景图像,包括:
接收终端发送的携带有待处理图像的搜索请求,所述搜索请求用于请求搜索与所述待处理图像相匹配的场景图像;
响应所述搜索请求,将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。
11.根据权利要求10所述的图像处理方法,其特征在于,所述获取与所述待处理图像相匹配的场景图像之后,还包括:
向所述终端发送与所述待处理图像相匹配的场景图像。
12.根据权利要求10所述的图像处理方法,其特征在于,所述接收终端发送的携带有待处理图像的搜索请求之前,还包括:
接收所述终端发送的携带有定位信息的预搜索请求;其中,所述定位信息用于表征所述待处理图像的拍摄位置,所述预搜索请求用于请求所述云端服务器预先搜索出与所述定位信息相匹配的场景图像;
响应所述预搜索请求,根据所述定位信息查询预设场景图像库,获取与所述定位信息相匹配的场景图像;其中,所述预设场景图像库存储有场景图像和对应的定位信息;
所述将所述待处理图像与预设场景图像库中的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,包括:
将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像。
13.根据权利要求12所述的图像处理方法,其特征在于,所述将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,获取与所述待处理图像相匹配的场景图像,包括:
将所述待处理图像与预设场景图像库中与所述定位信息相匹配的场景图像进行匹配,并将与所述待处理图像的相似度满足预设条件的场景图像确定为与所述待处理图像相匹配的场景图像。
14.根据权利要求10所述的图像处理方法,其特征在于,所述对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象,包括:
接收所述终端发送携带有所述待处理图像的对象识别请求;
响应所述对象识别请求,对所述待处理图像进行对象识别,以识别出所述待处理图像中的各对象;
向所述终端发送获得的识别结果。
15.根据权利要求10所述的图像处理方法,其特征在于,所述根据所述场景图像和所述待处理图像的拍摄环境信息对所述待处理图像中抠除所述目标对象后的图像区域进行场景修复,得到修复后的所述待处理图像之后,还包括:
向所述终端发送所述修复后的所述待处理图像。
16.一种图像处理装置,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器运行所述计算机程序时,实现如权利要求1至15中任一项所述的图像处理方法。
17.一种计算机存储介质,其特征在于,存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至15中任一项所述的图像处理方法。
CN201911126395.9A 2019-11-18 2019-11-18 一种图像处理方法、装置及计算机存储介质 Active CN110933299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911126395.9A CN110933299B (zh) 2019-11-18 2019-11-18 一种图像处理方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911126395.9A CN110933299B (zh) 2019-11-18 2019-11-18 一种图像处理方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN110933299A CN110933299A (zh) 2020-03-27
CN110933299B true CN110933299B (zh) 2022-03-25

Family

ID=69854137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911126395.9A Active CN110933299B (zh) 2019-11-18 2019-11-18 一种图像处理方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN110933299B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870274A (zh) * 2020-06-30 2021-12-31 北京小米移动软件有限公司 图像处理方法、图像处理装置及存储介质
CN112581567B (zh) * 2020-12-25 2024-05-28 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112613492B (zh) * 2021-01-08 2022-02-11 哈尔滨师范大学 一种数据处理方法及装置
CN113011497B (zh) * 2021-03-19 2023-06-20 城云科技(中国)有限公司 图像比对方法和系统
CN113077400B (zh) * 2021-04-09 2024-09-24 广州繁星互娱信息科技有限公司 图像修复方法、装置、计算机设备及存储介质
CN115499703A (zh) * 2021-12-13 2022-12-20 中兴通讯股份有限公司 一种图像处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN107197149A (zh) * 2017-06-14 2017-09-22 深圳传音通讯有限公司 证件照片的生成方法和装置
CN107734260A (zh) * 2017-10-26 2018-02-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108961302A (zh) * 2018-07-16 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5738569B2 (ja) * 2010-10-15 2015-06-24 任天堂株式会社 画像処理プログラム、装置、システムおよび方法
JP2013131878A (ja) * 2011-12-21 2013-07-04 Sony Corp 画像処理装置、画像処理方法、プログラム
CN104065859B (zh) * 2014-06-12 2017-06-06 青岛海信电器股份有限公司 一种全景深图像的获取方法及摄像装置
CN105933604A (zh) * 2016-05-20 2016-09-07 珠海市魅族科技有限公司 一种图像获取的方法及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105763812A (zh) * 2016-03-31 2016-07-13 北京小米移动软件有限公司 智能拍照方法及装置
CN107197149A (zh) * 2017-06-14 2017-09-22 深圳传音通讯有限公司 证件照片的生成方法和装置
CN107734260A (zh) * 2017-10-26 2018-02-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108961302A (zh) * 2018-07-16 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN110933299A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110933299B (zh) 一种图像处理方法、装置及计算机存储介质
US7991285B2 (en) Using a captured background image for taking a photograph
CN108401112B (zh) 图像处理方法、装置、终端及存储介质
CN101799621B (zh) 一种拍摄方法和拍摄设备
JP5612310B2 (ja) 顔認識のためのユーザーインターフェース
US11676395B2 (en) Automated capture of image data for points of interest
WO2016173423A1 (zh) 图像处理方法、装置、设备及计算机存储介质
CN110418076A (zh) 视频集锦生成方法、装置、电子设备及存储介质
Rawat et al. ClickSmart: A context-aware viewpoint recommendation system for mobile photography
CN104853094A (zh) 一种拍照方法及装置
CN105159959A (zh) 图像文件的处理方法和系统
CN113824883A (zh) 信息处理方法及电子设备
CN103327246A (zh) 一种多媒体拍摄处理方法、装置及智能终端
CN105760867A (zh) 一种图像中二维码和/或文字的提取方法及装置
CN110223320B (zh) 物体检测跟踪方法和检测跟踪装置
WO2019000715A1 (zh) 图像处理方法及其系统
CN110047115B (zh) 星辰图像拍摄方法、装置、计算机设备和存储介质
CN113312949A (zh) 视频数据处理方法、视频数据处理装置和电子设备
CN112219218A (zh) 用于推荐图像捕获模式的方法和电子设备
CN112995503B (zh) 手势控制全景图像获取方法、装置、电子设备及存储介质
CN111885296B (zh) 可视化数据的动态处理方法和电子设备
JP2017184021A (ja) コンテンツ提供装置及びコンテンツ提供プログラム
CN111405191A (zh) 一种图像管理方法、装置、终端及存储介质
US11900681B2 (en) Visual media management for mobile devices
KR102628714B1 (ko) 모바일 단말용 사진 촬영 지원 카메라 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant