CN113077481A - 一种图像处理方法、装置、计算机设备和存储介质 - Google Patents

一种图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113077481A
CN113077481A CN202110336676.8A CN202110336676A CN113077481A CN 113077481 A CN113077481 A CN 113077481A CN 202110336676 A CN202110336676 A CN 202110336676A CN 113077481 A CN113077481 A CN 113077481A
Authority
CN
China
Prior art keywords
pixel
sub
image
pixel block
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110336676.8A
Other languages
English (en)
Other versions
CN113077481B (zh
Inventor
常迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wentai Information Technology Co Ltd
Original Assignee
Shanghai Wentai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wentai Information Technology Co Ltd filed Critical Shanghai Wentai Information Technology Co Ltd
Priority to CN202110336676.8A priority Critical patent/CN113077481B/zh
Publication of CN113077481A publication Critical patent/CN113077481A/zh
Application granted granted Critical
Publication of CN113077481B publication Critical patent/CN113077481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像处理方法、装置、计算机设备和存储介质，涉及计算机视觉领域。该方法包括：首先通过不同的摄像头获取第一图像和第二图像，将所述第一图像分割为多个第一子像素区域，然后将所述多个第一子像素区域与所述第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域，进而根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息，最后基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。本发明实施例用于解决用双摄手机对一些复杂的拍照场景进行虚化处理时，处理的速度较慢且虚化处理的效果不好的问题。

Description

一种图像处理方法、装置、计算机设备和存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
拍照是人们记录生活的一种非常重要的方式，单反相机拍摄的虚化照片可以明显感觉到景深的关系，距离越远的物体虚化效果越明显，距离越近的物体虚化程度越不明显，使得人们可以非常明显的从照片中获得物体的位置关系。
现有技术中，具有拍照功能的智能手机已经成为了大多数人拍照的工具，但用传统的单摄像头拍照只能收集到图像的二维平面信息，无法获取照片的景深信息，从而获取物体的位置关系，因此越来越多的手机开始配置双摄功能。
但用目前市场上的双摄手机进行拍照时，在对一些复杂的拍照场景进行虚化处理时，处理的速度较慢，且处理的效果不是很好。
发明内容
有鉴于此，本发明提供了一种图像处理方法、装置、计算机设备和存储介质，使得用户在使用具有双摄功能的手机进行拍照时，快速对拍摄的图像进行深度重建、虚化背景，不仅提高了虚化处理的速度，也使得对图像处理的效果变的更好。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明实施例提供一种图像处理方法，所述方法包括：
获取第一图像和第二图像，所述第一图像和第二图像分别为通过不同摄像头获取的图像；
将所述第一图像分割为多个第一子像素区域；
将所述多个第一子像素区域与所述第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；
根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；
基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。
作为本发明实施例一种可选的实施方式，所述将所述第一图像分割为多个第一子像素区域，包括：
根据预设像素值将所述第一图像分解为多个第一像素块；
将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，所述相邻像素点为邻域像素点且属于不同第一像素块的像素点；
将相似度满足第二预设条件的第二像素块合并至同一像素块，得到所述多个第一子像素区域。
作为本发明实施例一种可选的实施方式，所述将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，包括：
计算各邻域像素点之间的不相似度；
获取各第一像素块的最小不相似度，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值；
获取各相邻像素点之间的不相似度；
若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至所述目标第一像素块；所述目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
作为本发明实施例一种可选的实施方式，在将相邻像素点合并至所述目标第一像素块之后，所述方法还包括：
将所述目标第一像素块的最小不相似度更新为所述相邻像素点之间的不相似度。
作为本发明实施例一种可选的实施方式，所述对每个第二像素块进行第二操作，包括：
计算各邻域第二像素块之间的相似度；
判断各第二像素块的最大相似度是否大于阈值相似度，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值；
若是，则获取第二像素块的最优邻域像素块，所述最优邻域像素块为所述最大相似度对应的第二像素块；
将各第二像素块与对应的最优邻域像素块合并。
作为本发明实施例一种可选的实施方式，所述计算各邻域第二像素块之间的相似度，包括：
计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；
根据所述相关系数计算各邻域第二像素块之间的相似度。
作为本发明实施例一种可选的实施方式，所述将所述多个第一子像素区域与所述第二图像进行匹配，包括：
将各第一子像素区域与所述第二图像进行灰度化处理；
将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配；
确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
第二方面，本发明实施例提供了一种像处理装置，包括：
获取模块，用于获取第一图像和第二图像，所述第一图像和第二图像分别为通过不同摄像头获取的图像；
分割模块，用于将所述第一图像分割为多个第一子像素区域；
匹配模块，用于将所述多个第一子像素区域与所述第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；
计算模块，用于根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；
处理模块，用于基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。
作为本发明实施例一种可选的实施方式，所述分割模块，具体用于根据预设像素值将所述第一图像分解为多个第一像素块；
将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，所述相邻像素点为邻域像素点且属于不同第一像素块的像素点；
将相似度满足第二预设条件的第二像素块合并至同一像素块，得到所述多个第一子像素区域。
作为本发明实施例一种可选的实施方式，所述分割模块，具体用于计算各邻域像素点之间的不相似度；
获取各第一像素块的最小不相似度，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值；
获取各相邻像素点之间的不相似度；
若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至所述目标第一像素块；所述目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
作为本发明实施例一种可选的实施方式，所述装置还包括：更新模块，用于将所述目标第一像素块的最小不相似度更新为所述相邻像素点之间的不相似度。
作为本发明实施例一种可选的实施方式，所述分割模块，具体用于计算各邻域第二像素块之间的相似度；
判断各第二像素块的最大相似度是否大于阈值相似度，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值；
若是，则获取第二像素块的最优邻域像素块，所述最优邻域像素块为所述最大相似度对应的第二像素块；
将各第二像素块与对应的最优邻域像素块合并。
作为本发明实施例一种可选的实施方式，所述分割模块，具体用于计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；
根据所述相关系数计算各邻域第二像素块之间的相似度。
作为本发明实施例一种可选的实施方式，所述匹配模块，具体用于将各第一子像素区域与所述第二图像进行灰度化处理；
将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配；
确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
第三方面，本发明实施例提供了一种计算机设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行第一方面或第一方面任一种可选的实施方式所述的图像处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现第一方面或第一方面任一种可选的实施方式所述的图像处理方法的步骤。
本发明实施例提供的一种图像处理方法，首先获取通过不同摄像头获取的第一图像和第二图像，接着将所述第一图像分割为多个第一子像素区域，用所述多个第一子像素区域与第二图像进行匹配，在第二图像中找到对应的第二子像素区域，然后根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息，最后基于得到的深度信息对第一图像进行虚化，得到虚化效果图。由于本发明实施例提供的图像处理方中，首先通过将第一图像进行分割处理得到多个第一子像素区域，可以将对像素点的计算处理转化为对像素区域的处理，简化了计算，又通过将第一子像素区域与第二图像匹配，可以在第二图像中找到各第一子像素区域对应的第二子像素区域，因此可以利用对应的第一子像素区域与第二子像素区域的视差关系，得到各第一子像素区域的深度信息，从而可以保持拍摄主体的清晰度，将图像中的背景物体根据深度信息进行不同等级的虚化，将二维图像转换成三维的位置空间关系，得到较好的虚化效果图。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例提供的图像处理方法的步骤流程图；
图2为本发明另一个实施例提供的图像处理方法的步骤流程图；
图3为本发明又一个实施例提供的图像处理方法的步骤流程图；
图4为本发明一个实施例中图像处理装置的结构框图；
图5为本发明另一个实施例中图像处理装置的结构框图；
图6为本发明一个实施例中计算机设备的内部结构图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别同步的对象，而不是用于描述对象的特定顺序。例如，第一图像和第二图像是用于区别不同的图像，而不是用于描述图像的特定顺序。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供的图像处理方法的执行主体可以为终端设备。该终端设备可以为手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、智能手表、智能手环等终端设备，或者该终端设备还可以为其他类型的终端设备，本发明实施例对终端设备的类型不作限定。
参照图1所示，本发明实施例提供了一种图像处理方法，包括如下步骤S101至S105：
S101、获取第一图像和第二图像。
其中，该第一图像和第二图像分别为通过不同摄像头获取的图像。
具体的，当用户所使用的终端设备是具有双摄功能的手机时，第一图像可以为左目图像，第二图像可以为右目图像，获取到第一图像和第二图像后，对其进行矫正，使两张图片的基线处于同一水平方向或同一垂直方向。
S102、将该第一图像分割为多个第一子像素区域。
其中，分割后形成的多个第一子像素区域的集合包含了该第一图像中的所有像素点，且各第一子像素区域不相互重叠。
可选的，参照图2所示，可以根据如下所述的步骤S201至S203将该第一图像分割为多个第一子像素区域：
S201、根据预设像素值将第一图像分解为多个第一像素块。
具体的，预设像素值可以包括亮度、饱和度、色度中的至少一个，基于用户的操作，将第一图像分解为多个第一像素块，用户的操作可以为对焦操作，也可以为对焦距等参数的设置操作，分解得到的多个第一像素块的集合包含了该第一图像的所有像素点，且各第一像素块互不重叠。
S202、将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块。
其中，该相邻像素点为邻域像素点且属于不同第一像素块的像素点。
可选的，参照图3所示，步骤S202(将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块)可包括如下所述的步骤S2021至S2023：
S2021、计算各邻域像素点之间的不相似度。
具体的，上述的相邻像素点可以为每个像素的四邻域像素点，每两个像素点之间的关系用边表示，两个像素点之间的不相似度用该两个像素点对应的边的不相似度表示，每个像素与周围4个邻域像素点的边用edge保存，计算每条边的不相似度(cost)，将edge中保存的所有边根据不相似度(cost)的值进行升序排列，将升序排列后的结果保存至cost_list中。
S2022、获取各第一像素块的最小不相似度。
其中，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值。
S2023、获取各相邻像素点之间的不相似度，若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至目标第一像素块。
其中，该目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
具体的，遍历不相似度列表中的每条边，选择当前未被遍历的边ex，边ex为未被遍历的边中不相似度最小的边，当边ex为最后一条边时则结束，否则继续执行下一条边。例如，当边ex连接的两个像素点分别为vi，vj，两个像素点vi、vj分别属于不同的第一像素块si和sj，若第一像素块si中不相似度最小的边的不相似度小于sj中不相似度最小的边的不相似度，则第一像素块si为目标第一像素块，若边ex的不相似度小于或等于第一像素块si中不相似度最小的边的不相似度，则将像素点vj合并至目标第一像素块si中。
可选的，在将相邻像素点合并至所述目标第一像素块之后，将所述目标第一像素块的最小不相似度更新为该相邻像素点之间的不相似度。
示例性的，当边ex连接的两个像素点vi、vj中的像素点vj合并到像素点vi所属的目标第一像素块si中后，将目标第一像素块si中的最小不相似度更新为边ex的不相似度。
S203、将相似度满足第二预设条件的第二像素块合并至同一像素块，得到多个第一子像素区域。
可选的，参照图3所示，步骤S203可以包括如下步骤S2031至S2034。
S2031、计算各邻域第二像素块之间的相似度。
可选的，首先计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；
根据所述相关系数计算各邻域第二像素块之间的相似度。
S2032、判断各第二像素块的最大相似度是否大于阈值相似度，若是，则执行S2033所示的步骤，若否，则执行S2035所示的步骤。
其中，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值。
S2033、获取第二像素块的最优邻域像素块。
其中，该最优邻域像素块为所述最大相似度对应的第二像素块。
S2034、将各第二像素块与对应的最优邻域像素块合并。
S2035、将该第二像素块作为一个第一子像素区域。
具体的，遍历第二像素块列表中每个第二像素块的识别码，第二像素块列表用于保存第二像素块，识别码用于识别各第二像素块，选择当前未被遍历的第二像素块sx，寻找第二像素块sx的最优邻域，将所述第二像素块sx与所述最优邻域合并。
需要说明的是，各第二像素块可以有一个最优邻域像素块，也可以有多个最优邻域像素块，当有多个最优邻域像素块时，将该第二像素块与多个最优邻域像素块都进行合并。
S103、将多个第一子像素区域与所述第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域。
可选的，步骤S103可以包括如下所述的步骤S1031至S1033：
S1031、将各第一子像素区域与该第二图像进行灰度化处理。
S1032、将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配。
S1033、确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
具体的，首先将多个第一子像素区域与所述第二图像进行灰度化处理，使得可以先不考虑图像的颜色特征，将图像的其它特征尽可能的利用。根据不同的图像特征，将灰度化后的第一子像素区域与第二图像匹配，可以得到多个视差不同的第二子像素区域，在某个视差下第一子像素区域与第二子像素区域的SAD值(灰度值差值)最小，即该第一子像素区域与对应的第二子像素区域中所有像素的灰度差值的和最小，这个视差为该第一子像素区域的初始视差。对各第一子像素区域的初始视差进行统计，根据视差分布情况可以得到视差最有可能的分布范围，接着进行优化，将不合理的视差修正，去掉一些误差非常大的视差，得到最优的视差。因此可以避免在虚化的过程中出现非常突兀的区域。
S104、根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息。
具体的，将各第一像素子区域看作是由相同的像素点构成的集合，在第二图像中寻找对应的第二像素子区域，根据各第一像素子区域与对应的第二像素子区域之间的视差可以得到视差图，依据相似三角形的原理将视差图转化为深度图。
S105、基于各第一子像素区域的深度信息对第一图像进行虚化，得到虚化效果图。
具体的，基于各第一子像素区域的深度信息可以得到第一图像的深度图，根据深度信息对第一图像的别境进行不同级别的虚化处理，得到视差平滑的虚化效果图，需要说明是，终端设备可以将深度图与虚化效果图都返回到终端设备的界面，供用户保存使用。
本发明实施例提供的一种图像处理方法，首先获取通过不同摄像头获取的第一图像和第二图像，接着将所述第一图像分割为多个第一子像素区域，用所述多个第一子像素区域与第二图像进行匹配，在第二图像中找到对应的第二子像素区域，然后根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息，最后基于得到的深度信息对第一图像进行虚化，得到虚化效果图。由于本发明实施例提供的图像处理方中，首先通过将第一图像进行分割处理得到多个第一子像素区域，可以将对像素点的计算处理转化为对像素区域的处理，简化了计算，又通过将第一子像素区域与第二图像匹配，可以在第二图像中找到各第一子像素区域对应的第二子像素区域，因此可以利用对应的第一子像素区域与第二子像素区域的视差关系，得到各第一子像素区域的深度信息，从而可以保持拍摄主体的清晰度，将图像中的背景物体根据深度信息进行不同等级的虚化，将二维图像转换成三维的位置空间关系，得到虚化效果图。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种图像处理装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
图4为本发明实施例提供的图像处理装置的结构框图，如图4所示，本实施例提供的图像处理装置400包括：
获取模块401，用于获取第一图像和第二图像，第一图像和第二图像分别为通过不同摄像头获取的图像；
分割模块402，用于将该第一图像分割为多个第一子像素区域；
匹配模块403，用于将多个第一子像素区域与该第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；
计算模块404，用于根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；
处理模块405，用于基于各第一子像素区域的深度信息对第一图像进行虚化，得到虚化效果图。
作为本发明实施例一种可选的实施方式，分割模块402，具体用于根据预设像素值将所述第一图像分解为多个第一像素块；将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，所述相邻像素点为邻域像素点且属于不同第一像素块的像素点；将相似度满足第二预设条件的第二像素块合并至同一像素块，得到所述多个第一子像素区域。
作为本发明实施例一种可选的实施方式，分割模块402，具体用于计算各邻域像素点之间的不相似度；获取各第一像素块的最小不相似度，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值；获取各相邻像素点之间的不相似度；若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至所述目标第一像素块；所述目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
作为本发明实施例一种可选的实施方式，该图像处理装置还包括：更新模块406，用于将目标第一像素块的最小不相似度更新为所述相邻像素点之间的不相似度。
作为本发明实施例一种可选的实施方式，分割模块402，具体用于计算各邻域第二像素块之间的相似度；判断各第二像素块的最大相似度是否大于阈值相似度，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值；若是，则获取第二像素块的最优邻域像素块，所述最优邻域像素块为所述最大相似度对应的第二像素块；将各第二像素块与对应的最优邻域像素块合并。
作为本发明实施例一种可选的实施方式，所述分割模块402，具体用于计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；根据所述相关系数计算各邻域第二像素块之间的相似度。
作为本发明实施例一种可选的实施方式，所述匹配模块403，具体用于将各第一子像素区域与该第二图像进行灰度化处理；将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配；确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
本发明实施例提供的图像处理装置，在执行上述图像处理方法时，首先获取通过不同摄像头获取的第一图像和第二图像，接着将所述第一图像分割为多个第一子像素区域，用所述多个第一子像素区域与第二图像进行匹配，在第二图像中找到对应的第二子像素区域，然后根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息，最后基于得到的深度信息对第一图像进行虚化，得到虚化效果图。由于本发明实施例提供的图像处理方中，首先通过将第一图像进行分割处理得到多个第一子像素区域，可以将对像素点的计算处理转化为对像素区域的处理，简化了计算，又通过将第一子像素区域与第二图像匹配，可以在第二图像中找到各第一子像素区域对应的第二子像素区域，因此可以利用对应的第一子像素区域与第二子像素区域的视差关系，得到各第一子像素区域的深度信息，从而可以保持拍摄主体的清晰度，将图像中的背景物体根据深度信息进行不同等级的虚化，将二维图像转换成三维的位置空间关系，得到虚化效果图。
本实施例提供的图像处理装置可以执行上述方法实施例提供的图像处理方法，其实现原理与技术效果类似，此处不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时以实现上述实施例提供的图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该电子设备的各个程序模块，比如，图5所示的获取模块401、分割模块402和匹配模块403。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取第一图像和第二图像，该第一图像和第二图像分别为通过不同摄像头获取的图像；将该第一图像分割为多个第一子像素区域；将多个第一子像素区域与第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设像素值将该第一图像分解为多个第一像素块；将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，所述相邻像素点为邻域像素点且属于不同第一像素块的像素点；将相似度满足第二预设条件的第二像素块合并至同一像素块，得到多个第一子像素区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算各邻域像素点之间的不相似度；获取各第一像素块的最小不相似度，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值；获取各相邻像素点之间的不相似度；若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至该目标第一像素块；该目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将该目标第一像素块的最小不相似度更新为该相邻像素点之间的不相似度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算各邻域第二像素块之间的相似度；判断各第二像素块的最大相似度是否大于阈值相似度，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值；若是，则获取第二像素块的最优邻域像素块，该最优邻域像素块为该最大相似度对应的第二像素块；将各第二像素块与对应的最优邻域像素块合并。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；根据该相关系数计算各邻域第二像素块之间的相似度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将各第一子像素区域与该第二图像进行灰度化处理；将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配；确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
本发明实施例提供的计算机设备，在执行上述图像处理方法时，首先获取通过不同摄像头获取的第一图像和第二图像，接着将所述第一图像分割为多个第一子像素区域，用所述多个第一子像素区域与第二图像进行匹配，在第二图像中找到对应的第二子像素区域，然后根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息，最后基于得到的深度信息对第一图像进行虚化，得到虚化效果图。由于本发明实施例提供的图像处理方中，首先通过将第一图像进行分割处理得到多个第一子像素区域，可以将对像素点的计算处理转化为对像素区域的处理，简化了计算，又通过将第一子像素区域与第二图像匹配，可以在第二图像中找到各第一子像素区域对应的第二子像素区域，因此可以利用对应的第一子像素区域与第二子像素区域的视差关系，得到各第一子像素区域的深度信息，从而可以保持拍摄主体的清晰度，将图像中的背景物体根据深度信息进行不同等级的虚化，将二维图像转换成三维的位置空间关系，得到虚化效果图。
本实施例提供的计算机设备，可以实现上述方法实施例提供的图像处理方法，其实现原理与技术效果类似，此处不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取第一图像和第二图像，该第一图像和第二图像分别为通过不同摄像头获取的图像；将该第一图像分割为多个第一子像素区域；将多个第一子像素区域与第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据预设像素值将该第一图像分解为多个第一像素块；将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，所述相邻像素点为邻域像素点且属于不同第一像素块的像素点；将相似度满足第二预设条件的第二像素块合并至同一像素块，得到多个第一子像素区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算各邻域像素点之间的不相似度；获取各第一像素块的最小不相似度，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值；获取各相邻像素点之间的不相似度；若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至该目标第一像素块；该目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将该目标第一像素块的最小不相似度更新为该相邻像素点之间的不相似度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算各邻域第二像素块之间的相似度；判断各第二像素块的最大相似度是否大于阈值相似度，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值；若是，则获取第二像素块的最优邻域像素块，该最优邻域像素块为该最大相似度对应的第二像素块；将各第二像素块与对应的最优邻域像素块合并。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；根据该相关系数计算各邻域第二像素块之间的相似度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将各第一子像素区域与该第二图像进行灰度化处理；将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配；确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
本发明实施例提供的计算机程序，在执行上述图像处理的方法时，首先获取通过不同摄像头获取的第一图像和第二图像，接着将所述第一图像分割为多个第一子像素区域，用所述多个第一子像素区域与第二图像进行匹配，在第二图像中找到对应的第二子像素区域，然后根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息，最后基于得到的深度信息对第一图像进行虚化，得到虚化效果图。由于本发明实施例提供的图像处理方中，首先通过将第一图像进行分割处理得到多个第一子像素区域，可以将对像素点的计算处理转化为对像素区域的处理，简化了计算，又通过将第一子像素区域与第二图像匹配，可以在第二图像中找到各第一子像素区域对应的第二子像素区域，因此可以利用对应的第一子像素区域与第二子像素区域的视差关系，得到各第一子像素区域的深度信息，从而可以保持拍摄主体的清晰度，将图像中的背景物体根据深度信息进行不同等级的虚化，将二维图像转换成三维的位置空间关系，得到虚化效果图。
本实施例提供的计算机可读存储介质上存储的计算机程序，可以实现上述方法实施例提供的图像处理方法，其实现原理与技术效果类似，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器(Static Random Access Memory，SRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取第一图像和第二图像，所述第一图像和第二图像分别为通过不同摄像头获取的图像；
将所述第一图像分割为多个第一子像素区域；
将所述多个第一子像素区域与所述第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；
根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；
基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一图像分割为多个第一子像素区域，包括：
根据预设像素值将所述第一图像分解为多个第一像素块；
将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，所述相邻像素点为邻域像素点且属于不同第一像素块的像素点；
将相似度满足第二预设条件的第二像素块合并至同一像素块，得到所述多个第一子像素区域。
3.根据权利要求2所述的方法，其特征在于，所述将不相似度满足第一预设条件的相邻像素点合并至同一第一像素块，得到多个第二像素块，包括：
计算各邻域像素点之间的不相似度；
获取各第一像素块的最小不相似度，任一第一像素块的最小不相似度为该第一像素块中邻域像素点之间的不相似度的最小值；
获取各相邻像素点之间的不相似度；
若任一相邻像素点之间的不相似度小于或等于目标第一像素块的最小不相似度，则将该相邻像素点合并至所述目标第一像素块；
所述目标第一像素块为该相邻像素点分别所属的第一像素块中最小不相似度较小的第一像素块。
4.根据权利要求3所述的方法，其特征在于，在将相邻像素点合并至所述目标第一像素块之后，所述方法还包括：
将所述目标第一像素块的最小不相似度更新为所述相邻像素点之间的不相似度。
5.根据权利要求2所述的方法，其特征在于，所述将相似度满足第二预设条件的第二像素块合并至同一像素块，得到所述多个第一子像素区域，包括：
计算各邻域第二像素块之间的相似度；
判断各第二像素块的最大相似度是否大于阈值相似度，任一第二像素块的最大相似度为该第二像素块与其各邻域第二像素块之间的相似度中的最大值；
若是，则获取第二像素块的最优邻域像素块，所述最优邻域像素块为所述最大相似度对应的第二像素块；
将各第二像素块与对应的最优邻域像素块合并。
6.根据权利要求5所述的方法，其特征在于，所述计算各邻域第二像素块之间的相似度，包括：
计算各邻域第二像素块之间相交部分的边缘、梯度差、颜色距离、位置距离中的至少一个，得到相关系数；
根据所述相关系数计算各邻域第二像素块之间的相似度。
7.根据权利要求1所述的方法，其特征在于，所述将所述多个第一子像素区域与所述第二图像进行匹配，包括：
将各第一子像素区域与所述第二图像进行灰度化处理；
将灰度化后的各第一子像素区域与灰度化后的第二图像进行匹配；
确定灰度化后的各第一子像素区域对应的第二灰度化子像素区域。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一图像和第二图像，所述第一图像和第二图像分别为通过不同摄像头获取的图像；
分割模块，用于将所述第一图像分割为多个第一子像素区域；
匹配模块，用于将所述多个第一子像素区域与所述第二图像进行匹配，确定各第一子像素区域对应的第二子像素区域；
计算模块，用于根据各第一像素子区域与对应的第二像素子区域的视差关系获取各第一子像素区域的深度信息；
处理模块，用于基于各第一子像素区域的深度信息对所述第一图像进行虚化，得到虚化效果图。
9.一种计算机设备，其特征在于，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行权利要求1-7任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，计算机程序被处理器执行时实现权利要求1-7任一项所述的图像处理方法的步骤。
CN202110336676.8A 2021-03-29 2021-03-29 一种图像处理方法、装置、计算机设备和存储介质 Active CN113077481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336676.8A CN113077481B (zh) 2021-03-29 2021-03-29 一种图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336676.8A CN113077481B (zh) 2021-03-29 2021-03-29 一种图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113077481A true CN113077481A (zh) 2021-07-06
CN113077481B CN113077481B (zh) 2022-12-09

Family

ID=76611258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336676.8A Active CN113077481B (zh) 2021-03-29 2021-03-29 一种图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113077481B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN107170008A (zh) * 2017-05-19 2017-09-15 成都通甲优博科技有限责任公司 一种深度图创建方法、系统以及图像虚化方法、系统
CN108769545A (zh) * 2018-06-12 2018-11-06 Oppo（重庆）智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN109102036A (zh) * 2018-09-26 2018-12-28 云南电网有限责任公司电力科学研究院 一种用于输电线路故障识别的图像标记方法及装置
CN110223338A (zh) * 2019-06-11 2019-09-10 中科创达(重庆)汽车科技有限公司 基于图像提取的深度信息计算方法、装置及电子设备
CN111311482A (zh) * 2018-12-12 2020-06-19 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN107170008A (zh) * 2017-05-19 2017-09-15 成都通甲优博科技有限责任公司 一种深度图创建方法、系统以及图像虚化方法、系统
CN108769545A (zh) * 2018-06-12 2018-11-06 Oppo（重庆）智能科技有限公司 一种图像处理方法、图像处理装置及移动终端
CN109102036A (zh) * 2018-09-26 2018-12-28 云南电网有限责任公司电力科学研究院 一种用于输电线路故障识别的图像标记方法及装置
CN111311482A (zh) * 2018-12-12 2020-06-19 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及存储介质
CN110223338A (zh) * 2019-06-11 2019-09-10 中科创达(重庆)汽车科技有限公司 基于图像提取的深度信息计算方法、装置及电子设备

Also Published As

Publication number Publication date
CN113077481B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
KR102442486B1 (ko) 3차원 모델 생성 방법, 장치, 컴퓨터 기기 및 저장 매체
CN111242088A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN109493417B (zh) 三维物体重建方法、装置、设备和存储介质
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN113160420A (zh) 一种三维点云重建的方法、装置、电子设备及存储介质
CN112802033B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US20220351413A1 (en) Target detection method, computer device and non-transitory readable storage medium
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114782296B (zh) 图像融合方法、装置及存储介质
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN108875611B (zh) 视频动作识别方法和装置
CN113870413A (zh) 三维重建方法、装置、电子设备及存储介质
CN113077481B (zh) 一种图像处理方法、装置、计算机设备和存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN115731442A (zh) 图像处理方法、装置、计算机设备和存储介质
US11908096B2 (en) Stereoscopic image acquisition method, electronic device and storage medium
WO2022206679A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN113255700B (zh) 图像的特征图的处理方法及装置、存储介质、终端
CN114332297A (zh) 图像的绘制方法、装置、计算机设备和存储介质
CN114581495A (zh) 图像处理方法、视频处理方法、装置以及电子设备
CN114494052A (zh) 书本计数方法、装置、计算机设备和存储介质
CN110838138A (zh) 重复纹理检测方法、装置、计算机设备和存储介质
CN114332371A (zh) 三维图像重建方法、装置、电子设备及存储介质
CN112395912B (zh) 一种人脸分割方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant