CN108124102A - 图像处理方法、装置及计算机可读存储介质 - Google Patents

图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108124102A
CN108124102A CN201711461074.5A CN201711461074A CN108124102A CN 108124102 A CN108124102 A CN 108124102A CN 201711461074 A CN201711461074 A CN 201711461074A CN 108124102 A CN108124102 A CN 108124102A
Authority
CN
China
Prior art keywords
image
region
pending
target image
missing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711461074.5A
Other languages
English (en)
Other versions
CN108124102B (zh
Inventor
王倩
孙佳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201711461074.5A priority Critical patent/CN108124102B/zh
Publication of CN108124102A publication Critical patent/CN108124102A/zh
Application granted granted Critical
Publication of CN108124102B publication Critical patent/CN108124102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本公开是关于一种图像处理方法、装置及计算机可读存储介质,涉及终端技术领域,该方法包括:对待处理图像进行透校正,得到目标图像,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。在本公开实施例中,可以将校正后的目标图像与待处理图像进行比较,从而得到缺失的区域,并对缺失的区域内的图像内容进行补充,这样,可以将目标图像相较于待处理图像缺失的图像内容补充完整,在对图像进行校正的同时,保证了图像内画面内容的完整性。

Description

图像处理方法、装置及计算机可读存储介质
技术领域
本公开涉及终端技术领域,尤其涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
当前,诸如智能手机、平板电脑等终端均配置有摄像头,通过终端上配置的摄像头,终端可以进行图像拍摄。其中,在进行图像拍摄时,由于拍摄角度、与被摄体之间的距离等因素的影响,终端拍摄到的图像有时会出现透视失真的现象,在这种情况下,为了保证使得拍摄到的图像更符合用户的视觉习惯,终端可以对存在透视失真现象的图像进行处理。
相关技术中,对于存在透视失真现象的图像,终端可以调节该图像的角度或者对该图像进行透视变换或仿射变换,并将调节角度后的图像或者是变换后的图像作为最终处理得到的图像。
发明内容
为克服相关技术中透视校正之后图像画面内容较原图像发生缺失的问题,本公开提供一种图像处理方法、装置及计算机可读存储介质。
根据本公开实施例的第一方面,提供一种图像处理方法,所述方法包括:
对待处理图像进行校正,得到目标图像;
将所述目标图像与所述待处理图像进行比较,以确定所述目标图像相对于所述待处理图像缺失的区域;
对所述缺失的区域内的图像内容进行补充,以得到补全后的目标图像,所述补全后的目标图像与所述待处理图像的尺寸和分辨率均相同。
可选地,所述对待处理图像进行校正,包括:
确定待处理图像的四个顶点,并基于所述待处理图像的四个顶点,通过透视变换对所述待处理图像进行透视校正;或者,
确定待处理图像中的感兴趣区域,并确定所述感兴趣区域的倾斜角度;基于所述倾斜角度对所述待处理图像进行几何校正。
可选地,所述将所述目标图像与所述待处理图像进行比较,以确定所述目标图像相对于所述待处理图像缺失的区域,包括:
将所述目标图像与所述待处理图像重叠,所述目标图像的中心点与所述待处理图像的中心点重合,所述目标图像的水平基线与所述待处理图像的水平轴平行,且所述目标图像位于所述待处理图像的上层;
将重叠后所述待处理图像中未被所述目标图像覆盖的区域确定为所述目标图像相对于所述待处理图像缺失的区域。
可选地,所述对所述缺失的区域内的图像内容进行补充,得到补全后的目标图像,包括:
将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
通过神经网络模型对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
可选地,所述对所述缺失的区域内的图像内容进行补充,得到补全后的目标图像,包括:
获取预存图像,所述预存图像和所述待处理图像是同时针对相同被摄体拍摄得到的两张图像,所述预存图像的尺寸大于所述待处理图像的尺寸;
将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
获取所述合成图像包括的缺失的区域在所述预存图像中对应的目标区域;
基于所述目标区域内的图像内容对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
根据本公开实施例的第二方面,提供一种图像处理装置,所述装置包括:
校正模块,用于对待处理图像进行校正,得到目标图像;
确定模块,用于将所述目标图像与所述待处理图像进行比较,以确定所述目标图像相对于所述待处理图像缺失的区域;
补充模块,用于对所述缺失的区域内的图像内容进行补充,以得到补全后的目标图像,所述补全后的目标图像与所述待处理图像的尺寸和分辨率均相同。
可选地,所述校正模块具体用于:
确定待处理图像的四个顶点,并基于所述待处理图像的四个顶点,通过透视变换对所述待处理图像进行透视校正;或者,
确定待处理图像中的感兴趣区域,并确定所述感兴趣区域的倾斜角度;基于所述倾斜角度对所述待处理图像进行几何校正。
可选地,所述确定模块包括:
重叠子模块,用于将所述目标图像与所述待处理图像重叠,所述目标图像的中心点与所述待处理图像的中心点重合,所述目标图像的水平基线与所述待处理图像的水平轴平行,且所述目标图像位于所述待处理图像的上层;
确定子模块,用于将重叠后所述待处理图像中未被所述目标图像覆盖的区域确定为所述目标图像相对于所述待处理图像缺失的区域。
可选地,所述补充模块包括:
第一合成子模块,用于将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
第一补充子模块,用于通过神经网络模型对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
可选地,所述补充模块包括:
第一获取子模块,用于获取预存图像,所述预存图像和所述待处理图像是同时针对相同被摄体拍摄得到的两张图像,所述预存图像的尺寸大于所述待处理图像的尺寸;
第二合成子模块,用于将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
第二获取子模块,用于获取所述合成图像包括的缺失的区域在所述预存图像中对应的目标区域;
第二补充子模块,用于基于所述目标区域内的图像内容对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
根据本公开实施例的第三方面,提供一种图像处理装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为上述第一方面所述的任一项方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
根据本公开实施例的第五方面,提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的任一项方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:对待处理图像进行校正,得到目标图像,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。在本公开实施例中,可以将校正后的目标图像与待处理图像进行比较,从而得到缺失的区域,并对缺失的区域内的图像内容进行补充,这样,可以将目标图像相较于待处理图像缺失的图像内容补充完整,在对图像进行校正的同时,保证了图像内画面内容的完整性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2A是根据一示例性实施例示出的一种图像处理方法的流程图。
图2B是本公开实施例提供的一种确定目标图像相对于待处理图像缺失的区域的示意图。
图2C是本公开实施例提供的另一种确定目标图像相对于待处理图像缺失的区域的示意图。
图2D是本公开实施例提供的一种在预存图像中确定目标区域的示意图。
图3A是根据一示例性实施例示出的一种图像处理装置的框图。
图3B是根据一示例性实施例示出的一种确定模块的框图。
图3C是根据一示例性实施例示出的一种补充模块的框图。
图3D是根据一示例性实施例示出的另一种补充模块的框图。
图4是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
在对本公开实施例进行详细的解释说明之前,先对本公开实施例涉及的应用场景予以介绍。
当前,诸如智能手机、平板电脑等终端均配置有摄像头。当通过终端上配置的摄像头拍摄图像时,如果拍摄角度或者摄像头与被摄体之间的距离不合适,拍摄得到的图像将会出现透视失真的现象。例如,对于较高的建筑物,当站在楼底仰拍该建筑物时,拍摄得到的图像会呈现出倾斜的视觉效果,这种倾斜的视觉效果即使图像发生透视失真的一种表现,再例如,当在车道中央拍摄前方道路时,随着道路向远方延伸,在实际中车道两侧的两条平行的车道线,在拍摄到的图像中在远处会汇聚为一点,这也是一种透视失真现象。当拍摄到的图像中出现透视失真现象时,原本实际中平行的竖直线或者是水平线在图像中会发生汇聚。在某些场景中,存在透视失真现象的图像在视觉上会为用户带来更好的体验,但在某些情况下,图像出现透视失真会让用户对图像原本想表达的内容产生错误理解,或者是给用户带来不好的视觉体验,对于此种情况,终端可以对存在透视失真现象的图像进行透视校正。除此之外,在某些情况下,由于拍摄角度的不当,拍摄得到的图像可能会倾斜,例如,当在水平桌面上放置一张矩形纸张,当摄像头镜头与该水平桌面平行但斜着拍摄该纸张时,拍摄得到图像中纸张将是倾斜的,在这种情况下,终端可以对该图像中倾斜的纸张进行校正。
相关技术中,终端可以将拍摄得到的图像按照横平竖直的原则,调节该图像的角度、透视,在调节的过程中,图像会被放大并且根据调节的情况进行相应的裁剪,这样,经过调整后的图像,画面内容相较于原图像将会发生缺失。基于此,为了保证校正后的图像较原图像具有完整的画面内容,本公开实施例提供了一种图像处理方法,接下来对本公开实施例提供的图像处理方法进行介绍。
图1是根据一示例性实施例示出的一种图像处理方法的流程图,如图1所示,该方法可以用于终端中,包括以下步骤:
在步骤101中,对待处理图像进行校正,得到目标图像。
在步骤102中,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域。
在步骤103中,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。
在本公开实施例中,对待处理图像进行校正,得到目标图像,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。在本公开实施例中,可以将校正后的目标图像与待处理图像进行比较,从而得到缺失的区域,并对缺失的区域内的图像内容进行补充,这样,可以将目标图像相较于待处理图像缺失的图像内容补充完整,在对图像进行校正的同时,保证了图像内画面内容的完整性。
可选地,对待处理图像进行校正,包括:
确定待处理图像的四个顶点,并基于待处理图像的四个顶点,通过透视变换对待处理图像进行透视校正;或者,
确定待处理图像中的感兴趣区域,并确定感兴趣区域的倾斜角度;基于倾斜角度对待处理图像进行几何校正。
可选地,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域,包括:
将目标图像与待处理图像重叠,目标图像的中心点与待处理图像的中心点重合,目标图像的水平基线与待处理图像的水平轴平行,且目标图像位于待处理图像的上层;
将重叠后待处理图像中未被目标图像覆盖的区域确定为目标图像相对于待处理图像缺失的区域。
可选地,对缺失的区域内的图像内容进行补充,得到补全后的目标图像,包括:
将目标图像与缺失的区域进行合成,得到合成图像,缺失的区域内每个像素点的像素值均相同,且每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
通过神经网络模型对合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
可选地,对缺失的区域内的图像内容进行补充,得到补全后的目标图像,包括:
获取预存图像,预存图像和待处理图像是同时针对相同被摄体拍摄得到的两张图像,预存图像的尺寸大于待处理图像的尺寸;
将目标图像与缺失的区域进行合成,得到合成图像,缺失的区域内每个像素点的像素值均相同,且每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
获取合成图像包括的缺失的区域在预存图像中对应的目标区域;
基于目标区域内的图像内容对合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
上述所有可选技术方案,均可按照任意结合形成本公开的可选实施例,本公开实施例对此不再一一赘述。
图2A是根据一示例性实施例示出的一种图像处理方法的流程图,该方法可以应用于终端中,如图2A所示,该方法包括以下步骤:
在步骤201中,对待处理图像进行校正,得到目标图像。
在本公开实施例中,当终端通过自身配置的摄像头拍摄得到图像之后,可以自动检测该图像是否存在透视失真现象,或者,可以检测该图像是否倾斜,当终端检测到图像存在透视失真现象时,即可以将该图像作为待处理图像进行透视校正,得到目标图像,当终端检测到图像倾斜时,则可以将该图像作为待处理图像进行几何校正。
可选地,在本公开实施例中,终端可以实时检测用户针对存储的图像的选择操作,当终端检测用户的选择操作时,将用户选择的图像确定为待处理图像,并对待处理图像进行校正,以得到目标图像。
其中,当终端对待处理图像进行透视校正时,终端可以根据用户选择的该待处理图像的4个顶点,并根据用户选择的4个顶点对待处理图像进行透视变换,以得到目标图像。或者,终端可以根据用户选择的该待处理图像的4个顶点以及用户在该待处理图像中确定的一条基线,对该待处理图像进行透视校正,校正后的目标图像中,该基线将呈现为水平基线或者是竖直基线。
需要说明的是,当终端根据用户选择的待处理图像的4个顶点对待处理图像进行透视变换时,终端可以将该待处理图像映射到与该待处理图像的尺寸大小相等的画布上,从而得到目标图像。
可选地,在一种可能的实现方式中,终端可以通过图像识别算法自动识别待处理图像的4个顶点,并通过上述方法对待处理图像进行透视校正,以得到目标图像。其中,终端通过图像识别算法自动识别待处理图像的4个顶点的具体实现方式可以参考相关技术,本公开实施例对此不再赘述。
当终端对待处理图像进行几何校正时,终端可以从该待处理图像中提取感兴趣区域,并确定该感兴趣区域的倾斜角度,之后,终端可以基于该倾斜角度对待处理图像进行几何校正,从而得到目标图像。
其中,终端可以将待处理图像进行二值化,得到二值化图像,在二值化图像中检测包围感兴趣区域的矩形轮廓,并获取该矩形轮廓的四个顶点的坐标,根据四个顶点的坐标确定矩形轮廓的四条边,并计算其中一条边与二值化图像的水平轴或垂直轴的夹角,得到感兴趣区域的倾斜角度。之后,终端可以将该待处理图像中的矩形轮廓包围的感兴趣区域基于该倾斜角度进行旋转,从而得到目标图像。
在步骤202中,将目标图像与待处理图像重叠,将重叠后待处理图像中未被目标图像覆盖的区域确定为目标图像相对于待处理图像缺失的区域。
当终端确定目标图像之后,可以将该目标图像与待处理图像重叠。重叠的过程中,终端可以使目标图像位于待处理图像的上层,并使目标图像的中心点与待处理图像的中心点重合,使目标图像中的水平基线与待处理图像的水平轴平行。或者,终端可以使目标图像位于待处理图像的上层,使目标图像的中心点与待处理图像的中心点重合,并使目标图像中的竖直基线与待处理图像的竖直轴平行。当目标图像和待处理图像重叠之后,终端可以将目标待处理图像中未被目标图像覆盖的区域确定为目标图像相对于待处理图像缺失的区域。
例如,图2B是本公开实施例示出的一种确定目标图像相对于待处理图像缺失的区域的示意图。如图2B所示,图2B中左上图所示的图像1为目标图像,图2B中右上图所示的图像2为待处理图像,将图像1和图像2重叠,可以得到图2B中下方中央所示的图像,其中,阴影部分即为图像1相对于图像2所缺失的区域,也就是目标图像相对于待处理图像缺失的区域。
可选地,在本公开实施例中,终端在对待处理图像进行透视校正时,可以将该待处理图像通过透视变换的方法映射到与该待处理图像的尺寸大小相等的画布上,从而得到目标图像。在进行透视变换时,终端可以通过透视矩阵将待处理图像中的点映射到同样尺寸大小的画布中,其中,待处理图像中的某些点的坐标通过矩阵转换将位于该画布之外,在这种情况下,在将待处理图像转换到同等大小的画布中时,这些位于画布外的点的信息将会丢失,也就是,目标图像虽然与待处理图像的尺寸大小相等,但是该目标图像中的部分区域中将不包括任何图像内容,此时,终端可以直接将该目标图像中不包括任何图像内容的区域确定为该目标图像相较于该待处理图像缺失的区域。
图2C是本公开实施例示出的一种确定缺失的区域的示意图。如图2C中所示,图2C中左图为待处理图像,将该待处理图像通过透视变换映射到与其同等大小的画布上,得到图2C中右图所示的目标图像,其中,该目标图像中粗实线内的区域为包括有图像内容的区域,而粗实线之外的剩余其余则为该目标图像相较于待处理图像缺失的区域。
在步骤203中,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。
当终端通过步骤202中的方法确定目标图像相对于待处理图像缺失的区域之后,终端可以通过以下几种方式来对缺失的区域内的图像内容进行补充,以得到补全后的目标图像。
第一种方式:将目标图像与缺失的区域进行合成,得到合成图像,缺失的区域内每个像素点的像素值均相同,且每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;通过神经网络模型对合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
当终端通过将目标图像与待处理图像重叠的方式确定得到目标图像相对于待处理图像缺失的区域之后,终端可以将该缺失的区域和目标图像进行合成,从而生成合成图像,该合成图像的尺寸大小将与待处理图像的尺寸大小相等,为了标识该合成图像中的缺失的区域,终端可以将合成图像中缺失的区域内的每个像素点的设置为相等的像素值,同时,为了易于与该合成图像中包括有图像内容的区域进行区分,缺失的区域内的每个像素点的像素值可以均小于第一预设像素值或均大于第二预设像素值,从而使得缺失的区域的颜色和包括有图像内容的区域的颜色存在较大差异。其中,该第一预设像素值可以是根据包括有图像内容的区域内的最小像素值设置的,该第二预设像素值可以是根据包括有图像内容的区域内的最大像素值设置的。可选地,在一种可能的实现方式中,终端也可以将合成图像中缺失的区域内的每个像素点的像素值均设置为0或者255,从而使得缺失的区域明显的区分与其他区域。
当生成合成图像之后,终端可以将该合成图像作为神经网络模型的输入图像,该神经网络模型是根据图像数据库中的大量图像训练得到的模型,该神经网络模型可以对该合成图像中与缺失的区域相邻预设范围内的区域进行分析,并根据分析结果对该合成图像中缺失的区域内的图像内容进行补充,补充后的目标图像与待处理图像的尺寸大小相等,且具有相同的分辨率。
第二种方式:获取预存图像,预存图像和待处理图像是同时针对相同被摄体拍摄得到的两张图像,预存图像的尺寸大于待处理图像的尺寸;将目标图像与缺失的区域进行合成,得到合成图像,缺失的区域内每个像素点的像素值均相同,且每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;获取合成图像包括的缺失的区域在预存图像中对应的目标区域;基于目标区域内的图像内容对合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
在该种实现方式中,终端可以获取预存图像,该预存图像和待处理图像是同时针对相同被摄体拍摄得到的两张图像。也就是说,终端在对被摄体进行拍摄时,可以同时拍摄得到两张图像,将其中尺寸较小的一张图像作为待处理图像,而将另一张尺寸较大的图像作为预存图像,且该预存图像中包括的图像内容比待处理图像中包括的图像内容多。换句话说,该预存图像比待处理图像多出来的区域内包括的图像内容也就是该预存图像比待处理图像多出来的图像内容。
在获取预存图像之前,或者,在获取预存图像之后,或者,在获取预存图像的同时,如果终端是通过将目标图像和待处理图像进行重叠的方式确定的缺失的区域,那么,终端可以将目标图像与缺失的区域进行合成,得到合成图像。其中,终端将目标图像与缺失的区域进行合成,得到合成图像的具体实现方式可以参考第一种方式中生成合成图像的具体实现方式,本公开实施例对此不再赘述。
当获取到预存图像并生成合成图像之后,终端可以将该合成图像与预存图像进行比较,从而获取该预存图像中目标区域内的图像内容,并基于该目标区域内的图像内容对该合成图像中缺失的区域内的图像内容进行补充,以得到补全后的目标图像。
其中,终端可以使该合成图像的中心点与该预存图像的中心点重合,并使该合成图像的水平轴与该预存图像的水平轴平行。或者,终端可以使该合成图像的中心点与该预存图像的中心点重合,并使该合成图像的水平轴与该预存图像的水平轴平行。然后,终端可以将重叠后合成图像中缺失的区域在预存图像中对应的区域确定为目标区域。
图2D是本公开实施例示出的一种确定目标区域的示意图,如图2D所示,图2D中(1)图的粗实线方框代表合成图像,其中,阴影部分代表该合成图像中的缺失的区域,细实线方框代表预存图像,阴影部分在预存图像中对应的区域如图2D中(2)图所示,其中,三角形的区域即为目标区域。
可选地,在一种可能的实现方式中,终端可以从合成图像中确定目标像素点,该目标像素点在合成图像中的位置与该目标像素点在待处理图像中对应的像素点的位置之间的变化是最小的,也即是,终端可以从合成图像中确定一个透视校正过程中位置变化最小的像素点作为目标像素点,并在预存图像中确定与该目标像素点相匹配的像素点,之后,终端可以使这两个像素点重合,并使合成图像的水平轴与该预存图像的水平轴平行或使该合成图像的水平轴与该预存图像的水平轴平行。然后,终端可以将重叠后合成图像中缺失的区域在预存图像中对应的区域确定为目标区域。
当确定目标区域之后,终端可以获取该目标区域内的图像内容,并将获取到的图像内容一一对应的补充到缺失的区域内的相应位置上。
可选地,在本公开实施例中,基于前述描述可知,目标图像可以是将待处理图像通过透视变换投射到同等大小的画布上得到,在这种情况下,上述第一种方式和第二种方式中生成合成图像的步骤将可以不执行。也即是,终端可以直接通过神经网络模型对目标图像包括的缺失的区域内的图像内容进行补充。或者,终端可以获取预存图像,并获取目标图像包括的缺失的区域在预存图像中的目标区域,之后,基于目标区域内的图像内容对合成图像包括的缺失的区域内的图像内容进行补全,从而得到补全后的目标图像。
在本公开实施例中,终端可以对待处理图像进行校正,得到目标图像,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。在本公开实施例中,可以将校正后的目标图像与待处理图像进行比较,从而得到缺失的区域,并对缺失的区域内的图像内容进行补充,这样,可以将目标图像相较于待处理图像缺失的图像内容补充完整,在对图像进行校正的同时,保证了图像内画面内容的完整性。
图3A是根据一示例性实施例示出的一种图像处理装置300的框图。参照图3A,该装置包括校正模块301,确定模块302和补充模块303。
校正模块301,用于对待处理图像进行校正,得到目标图像;
确定模块302,用于将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域;
补充模块303,用于对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。
可选地,校正模块具体用于:
确定待处理图像的四个顶点,并基于待处理图像的四个顶点,通过透视变换对待处理图像进行透视校正;或者,
确定待处理图像中的感兴趣区域,并确定感兴趣区域的倾斜角度;基于倾斜角度对待处理图像进行几何校正。
可选地,参见图3B,确定模块302包括:
重叠子模块3021,用于将目标图像与待处理图像重叠,目标图像的中心点与待处理图像的中心点重合,目标图像的水平基线与待处理图像的水平轴平行,且目标图像位于待处理图像的上层;
确定子模块3022,用于将重叠后待处理图像中未被目标图像覆盖的区域确定为目标图像相对于待处理图像缺失的区域。
可选地,参见图3C,补充模块303包括:
第一合成子模块3031,用于将目标图像与缺失的区域进行合成,得到合成图像,缺失的区域内每个像素点的像素值均相同,且每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
第一补充子模块3032,用于通过神经网络模型对合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
可选地,参见图3D,补充模块303包括:
第一获取子模块3033,用于获取预存图像,预存图像和待处理图像是同时针对相同被摄体拍摄得到的两张图像,预存图像的尺寸大于待处理图像的尺寸;
第二合成子模块3034,用于将目标图像与缺失的区域进行合成,得到合成图像,缺失的区域内每个像素点的像素值均相同,且每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
第二获取子模块3035,用于获取合成图像包括的缺失的区域在预存图像中对应的目标区域;
第二补充子模块3036,用于基于目标区域内的图像内容对合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在本公开实施例中,对待处理图像进行校正,得到目标图像,将目标图像与待处理图像进行比较,以确定目标图像相对于待处理图像缺失的区域,对缺失的区域内的图像内容进行补充,以得到补全后的目标图像,补全后的目标图像与待处理图像的尺寸和分辨率均相同。在本公开实施例中,可以将校正后的目标图像与待处理图像进行比较,从而得到缺失的区域,并对缺失的区域内的图像内容进行补充,这样,可以将目标图像相较于待处理图像缺失的图像内容补充完整,在对图像进行校正的同时,保证了图像内画面内容的完整性。
图4是根据一示例性实施例示出的一种用于图像处理的装置400的框图。例如,装置400可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图4,装置400可以包括以下一个或多个组件:处理组件402,存储器404,电源组件406,多媒体组件408,音频组件410,输入/输出(I/O)的接口412,传感器组件414,以及通信组件416。
处理组件402通常控制装置400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件406为装置400的各种组件提供电源。电源组件406可以包括电源管理系统,一个或多个电源,及其他与为装置400生成、管理和分配电源相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(MIC),当装置400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器,用于为装置400提供各个方面的状态评估。例如,传感器组件414可以检测到装置400的打开/关闭状态,组件的相对定位,例如所述组件为装置400的显示器和小键盘,传感器组件414还可以检测装置400或装置400一个组件的位置改变,用户与装置400接触的存在或不存在,装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述实施例提供的图像处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由装置400的处理器420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述实施例提供的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像处理方法,其特征在于,所述方法包括:
对待处理图像进行校正,得到目标图像;
将所述目标图像与所述待处理图像进行比较,以确定所述目标图像相对于所述待处理图像缺失的区域;
对所述缺失的区域内的图像内容进行补充,以得到补全后的目标图像,所述补全后的目标图像与所述待处理图像的尺寸和分辨率均相同。
2.根据权利要求1所述的方法,其特征在于,所述对待处理图像进行校正,包括:
确定待处理图像的四个顶点,并基于所述待处理图像的四个顶点,通过透视变换对所述待处理图像进行透视校正;或者,
确定待处理图像中的感兴趣区域,并确定所述感兴趣区域的倾斜角度;基于所述倾斜角度对所述待处理图像进行几何校正。
3.根据权利要求1所述的方法,其特征在于,所述将所述目标图像与所述待处理图像进行比较,以确定所述目标图像相对于所述待处理图像缺失的区域,包括:
将所述目标图像与所述待处理图像重叠,所述目标图像的中心点与所述待处理图像的中心点重合,所述目标图像的水平基线与所述待处理图像的水平轴平行,且所述目标图像位于所述待处理图像的上层;
将重叠后所述待处理图像中未被所述目标图像覆盖的区域确定为所述目标图像相对于所述待处理图像缺失的区域。
4.根据权利要求1-3任一所述的方法,其特征在于,所述对所述缺失的区域内的图像内容进行补充,得到补全后的目标图像,包括:
将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
通过神经网络模型对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
5.根据权利要求1-3任一所述的方法,其特征在于,所述对所述缺失的区域内的图像内容进行补充,得到补全后的目标图像,包括:
获取预存图像,所述预存图像和所述待处理图像是同时针对相同被摄体拍摄得到的两张图像,所述预存图像的尺寸大于所述待处理图像的尺寸;
将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
获取所述合成图像包括的缺失的区域在所述预存图像中对应的目标区域;
基于所述目标区域内的图像内容对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
6.一种图像处理装置,其特征在于,所述装置包括:
校正模块,用于对待处理图像进行校正,得到目标图像;
确定模块,用于将所述目标图像与所述待处理图像进行比较,以确定所述目标图像相对于所述待处理图像缺失的区域;
补充模块,用于对所述缺失的区域内的图像内容进行补充,以得到补全后的目标图像,所述补全后的目标图像与所述待处理图像的尺寸和分辨率均相同。
7.根据权利要求1所述的装置,其特征在于,所述校正模块具体用于:
确定待处理图像的四个顶点,并基于所述待处理图像的四个顶点,通过透视变换对所述待处理图像进行透视校正;或者,
确定待处理图像中的感兴趣区域,并确定所述感兴趣区域的倾斜角度;基于所述倾斜角度对所述待处理图像进行几何校正。
8.根据权利要求6所述的装置,其特征在于,所述确定模块包括:
重叠子模块,用于将所述目标图像与所述待处理图像重叠,所述目标图像的中心点与所述待处理图像的中心点重合,所述目标图像的水平基线与所述待处理图像的水平轴平行,且所述目标图像位于所述待处理图像的上层;
确定子模块,用于将重叠后所述待处理图像中未被所述目标图像覆盖的区域确定为所述目标图像相对于所述待处理图像缺失的区域。
9.根据权利要求6-8任一所述的装置,其特征在于,所述补充模块包括:
第一合成子模块,用于将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
第一补充子模块,用于通过神经网络模型对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
10.根据权利要求6-8任一所述的装置,其特征在于,所述补充模块包括:
第一获取子模块,用于获取预存图像,所述预存图像和所述待处理图像是同时针对相同被摄体拍摄得到的两张图像,所述预存图像的尺寸大于所述待处理图像的尺寸;
第二合成子模块,用于将所述目标图像与所述缺失的区域进行合成,得到合成图像,所述缺失的区域内每个像素点的像素值均相同,且所述每个像素点的像素值均小于第一预设像素值或均大于第二预设像素值;
第二获取子模块,用于获取所述合成图像包括的缺失的区域在所述预存图像中对应的目标区域;
第二补充子模块,用于基于所述目标区域内的图像内容对所述合成图像包括的缺失的区域内的图像内容进行补充,得到补全后的目标图像。
11.一种图像处理装置,其特征在于,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为权利要求1-5所述的任一项方法的步骤。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-5所述的任一项方法的步骤。
CN201711461074.5A 2017-12-28 2017-12-28 图像处理方法、装置及计算机可读存储介质 Active CN108124102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711461074.5A CN108124102B (zh) 2017-12-28 2017-12-28 图像处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711461074.5A CN108124102B (zh) 2017-12-28 2017-12-28 图像处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108124102A true CN108124102A (zh) 2018-06-05
CN108124102B CN108124102B (zh) 2020-10-13

Family

ID=62232237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711461074.5A Active CN108124102B (zh) 2017-12-28 2017-12-28 图像处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108124102B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961183A (zh) * 2018-06-27 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN109035191A (zh) * 2018-08-01 2018-12-18 Oppo(重庆)智能科技有限公司 图片处理方法、图片处理装置及终端设备
CN109255768A (zh) * 2018-09-21 2019-01-22 深圳市中科明望通信软件有限公司 图像补全方法、装置、终端及计算机可读存储介质
CN110516550A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于fpga的车道线实时检测方法
CN112767506A (zh) * 2020-12-31 2021-05-07 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113516685A (zh) * 2021-07-09 2021-10-19 东软睿驰汽车技术(沈阳)有限公司 目标跟踪方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065969A (zh) * 2004-11-24 2007-10-31 爱信精机株式会社 摄像机的校正方法及摄像机的校正装置
CN101494799A (zh) * 2009-02-13 2009-07-29 清华大学 存储、恢复立体视频的方法和装置及恢复立体视频的系统
CN102289353A (zh) * 2011-09-26 2011-12-21 宇龙计算机通信科技(深圳)有限公司 终端和图标管理方法
CN102611840A (zh) * 2011-01-25 2012-07-25 华晶科技股份有限公司 电子装置、影像拍摄装置及其方法
CN104284126A (zh) * 2013-07-12 2015-01-14 中央大学 影像插补方法以及应用该方法的影像插补装置与影像装置
CN104599236A (zh) * 2014-12-29 2015-05-06 小米科技有限责任公司 一种图像校正的方法和装置
CN105335451A (zh) * 2014-08-15 2016-02-17 宇龙计算机通信科技(深圳)有限公司 取景框中显示数据的处理方法、装置、拍照方法及终端
US9602725B2 (en) * 2011-06-06 2017-03-21 Apple Inc. Correcting rolling shutter using image stabilization
CN106651776A (zh) * 2015-10-29 2017-05-10 北京大学 图像修补方法和图像修补装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065969A (zh) * 2004-11-24 2007-10-31 爱信精机株式会社 摄像机的校正方法及摄像机的校正装置
CN101494799A (zh) * 2009-02-13 2009-07-29 清华大学 存储、恢复立体视频的方法和装置及恢复立体视频的系统
CN102611840A (zh) * 2011-01-25 2012-07-25 华晶科技股份有限公司 电子装置、影像拍摄装置及其方法
US9602725B2 (en) * 2011-06-06 2017-03-21 Apple Inc. Correcting rolling shutter using image stabilization
CN102289353A (zh) * 2011-09-26 2011-12-21 宇龙计算机通信科技(深圳)有限公司 终端和图标管理方法
CN104284126A (zh) * 2013-07-12 2015-01-14 中央大学 影像插补方法以及应用该方法的影像插补装置与影像装置
CN105335451A (zh) * 2014-08-15 2016-02-17 宇龙计算机通信科技(深圳)有限公司 取景框中显示数据的处理方法、装置、拍照方法及终端
CN104599236A (zh) * 2014-12-29 2015-05-06 小米科技有限责任公司 一种图像校正的方法和装置
CN106651776A (zh) * 2015-10-29 2017-05-10 北京大学 图像修补方法和图像修补装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961183A (zh) * 2018-06-27 2018-12-07 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN108961183B (zh) * 2018-06-27 2020-10-23 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN109035191A (zh) * 2018-08-01 2018-12-18 Oppo(重庆)智能科技有限公司 图片处理方法、图片处理装置及终端设备
CN109255768A (zh) * 2018-09-21 2019-01-22 深圳市中科明望通信软件有限公司 图像补全方法、装置、终端及计算机可读存储介质
CN110516550A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于fpga的车道线实时检测方法
CN110516550B (zh) * 2019-07-26 2022-07-05 电子科技大学 一种基于fpga的车道线实时检测方法
CN112767506A (zh) * 2020-12-31 2021-05-07 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113516685A (zh) * 2021-07-09 2021-10-19 东软睿驰汽车技术(沈阳)有限公司 目标跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108124102B (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN108124102A (zh) 图像处理方法、装置及计算机可读存储介质
CN104243819B (zh) 照片获取方法及装置
CN105631797B (zh) 水印添加方法及装置
CN104243818B (zh) 图像处理方法、装置及设备
CN105657173B (zh) 音量调节方法、装置及移动终端
CN109089170A (zh) 弹幕显示方法及装置
CN104219445B (zh) 拍摄模式调整方法及装置
CN104484858B (zh) 人物图像处理方法及装置
CN105205479A (zh) 人脸颜值评估方法、装置及终端设备
CN104902189A (zh) 图片处理方法及装置
CN104182967B (zh) 图像处理方法、装置及终端
CN107515715A (zh) 屏幕截图方法、装置及存储介质
CN104077585B (zh) 图像校正方法、装置及终端
CN106408603A (zh) 拍摄方法及装置
CN105282441A (zh) 拍照方法及装置
CN104517271B (zh) 图像处理方法及装置
CN106598429A (zh) 移动终端的窗口调整方法及装置
CN107330868A (zh) 图片处理方法及装置
CN104243814A (zh) 图像中物体布局的分析方法、图像拍摄提示方法及装置
CN107392166A (zh) 肤色检测方法、装置及计算机可读存储介质
CN107944367A (zh) 人脸关键点检测方法及装置
CN107729880A (zh) 人脸检测方法及装置
CN107798654A (zh) 图像磨皮方法及装置、存储介质
CN107958223A (zh) 人脸识别方法及装置、移动设备、计算机可读存储介质
CN107347136A (zh) 拍照方法、装置和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant