CN107493432B - 图像处理方法、装置、移动终端及计算机可读存储介质 - Google Patents
图像处理方法、装置、移动终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN107493432B CN107493432B CN201710776188.2A CN201710776188A CN107493432B CN 107493432 B CN107493432 B CN 107493432B CN 201710776188 A CN201710776188 A CN 201710776188A CN 107493432 B CN107493432 B CN 107493432B
- Authority
- CN
- China
- Prior art keywords
- depth
- field
- image
- range
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims 11
- 230000002596 correlated effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 23
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000003705 background correction Methods 0.000 description 2
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 1
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。上述方法，包括：获取待处理图像的景深信息；确定所述待处理图像的感兴趣区域，并根据所述景深信息选取与所述感兴趣区域对应的第一景深范围；根据所述第一景深范围确定所述待处理图像中待虚化区域的第二景深范围；根据所述第二景深范围对所述待虚化区域进行虚化处理。上述图像处理方法、装置、移动终端及计算机可读存储介质，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、移动终端及计算机可读存储介质。
背景技术
虚化是一种数码相机拍照技术，通过对背景进行虚化而保留主体的清晰，可突出拍摄的主体。传统的虚化处理中，通常是直接选取图像中需要进行虚化的背景区域进行模糊处理，处理较粗糙，虚化的效果差，影响图片的视觉显示效果。
发明内容
本申请实施例提供一种图像处理方法、装置、移动终端及计算机可读存储介质，可以精准选择需要进行虚化的景深范围，提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
一种图像处理方法，包括：
获取待处理图像的景深信息；
确定所述待处理图像的感兴趣区域，并根据所述景深信息选取与所述感兴趣区域对应的第一景深范围；
根据所述第一景深范围确定所述待处理图像中待虚化区域的第二景深范围；
根据所述第二景深范围对所述待虚化区域进行虚化处理。
一种图像处理装置，包括：
景深获取模块，用于获取待处理图像的景深信息；
选取模块，用于确定所述待处理图像的感兴趣区域，并根据所述景深信息选取与所述感兴趣区域对应的第一景深范围；
确定模块，用于根据所述第一景深范围确定所述待处理图像中待虚化区域的第二景深范围；
虚化模块，用于根据所述第二景深范围对所述待虚化区域进行虚化处理。
一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
上述图像处理方法、装置、移动终端及计算机可读存储介质，获取待处理图像的景深信息，根据景深信息选取与感兴趣区域对应的第一景深范围，并根据第一景深范围确定待处理图像中待虚化区域的第二景深范围，根据感兴趣区域的景深精准选择待处理图像中需要进行虚化的景深范围，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
附图说明
图1为一个实施例中移动终端的框图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中计算景深信息的示意图；
图4为一个实施例中生成景深直方图，并在景深直方图中绘制正态分布曲线的流程示意图；
图5(a)为一个实施例中根据待处理图像的景深信息生成的景深直方图；
图5(b)为一个实施例中根据峰值绘制符合对应波峰的正态分布曲线的示意图；
图6为一个实施例中选取与感兴趣区域对应的第一景深范围的流程示意图；
图7(a)为一个实施例中感兴趣区域的平均景深所处的正态分布曲线的示意图；
图7(b)为一个实施例中确定感兴趣区域的平均景深对应的正态分布范围的示意图；
图8为一个实施例中生成的清晰度变化图；
图9为一个实施例中图像处理装置的框图；
图10为另一个实施例中图像处理装置的框图；
图11为一个实施例中选取模块的框图；
图12为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中移动终端的框图。如图1所示，该移动终端包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口、显示屏和输入装置。其中，移动终端的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力，支撑整个移动终端的运行。移动终端中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。网络接口用于与服务器进行网络通信。移动终端的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是移动终端外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该移动终端可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的移动终端的限定，具体的移动终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图2所示，在一个实施例中，提供一种图像处理方法，包括以下步骤：
步骤210，获取待处理图像的景深信息。
移动终端可获取待处理图像，以及待处理图像的景深信息，其中，景深是指在摄影机镜头或其他成像设备前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围，在本实施例中，景深信息可以理解为待处理图像中的每个被摄物到移动终端的镜头的距离，也即物距信息。进一步地，移动终端可获取待处理图像中每个像素点的景深信息，待处理图像可以是采集的预览图像，也可以是已存储的图像等。
在一个实施例中，移动终端可在背面设置有两个摄像头，包括第一摄像头及第二摄像头，第一摄像头及第二摄像头可设置在同一水平线上，水平左右排列，也可设置在同一竖直线上，竖直上下排列。在本实施例中，第一摄像头及第二摄像头可以是不同像素的摄像头，其中，第一摄像头可以是像素较高的摄像头，主要用于成像，第二摄像头可以是像素较低的辅助景深摄像头，用于获取采集的图像的景深信息。
进一步地，移动终端可先通过第一摄像头采集场景的第一图像，同时通过第二摄像头采集同一场景的第二图像，可先对第一图像及第二图像进行校正及标定，将校正及标定后的第一图像及第二图像进行合成，得到待处理图像。移动终端可根据校正及标定后的第一图像及第二图像生成视差图，再根据视差图生成待处理图像的景深图，景深图中可包含有待处理图像中各个像素点的景深信息，在景深图中，相近的景深信息的区域可用相同的颜色进行填充，颜色变化可反映景深的变化。在一个实施例中，移动终端可根据第一摄像头及第二摄像头的光心距离、光心在水平线上的高度差以及两个摄像头的镜头高低差等计算较正参数，并根据较正参数对第一图像及第二图像进行校正及标定。
移动终端计算同一被摄物在第一图像及第二图像的视差，并根据视差得到该被摄物在待处理图像中的景深信息，其中，视差指的是在两个点上观察同一个目标所产生的方向差异。图3为一个实施例中计算景深信息的示意图。如图3所示，第一摄像头及第二摄像头左右排列在同一水平线上，两个摄像头的主光轴到达平行，OL及OR分别为第一摄像头及第二摄像头的光心，光心到对应像面的最短距离为焦距长度f。若P为世界坐标系中的一点，它在左相面及右相面的成像点为PL、PR，PL和PR到各自像面的左边缘的距离分别为XL、XR，P的视差即为XL-XR或XR-XL。第一摄像头的光心OL与第二摄像头的光心OR之间的距离为b，根据OL、OR之间的距离b、焦距长度f及视差XL-XR或XR-XL，即可计算得到点P的景深Z，其计算方法如式(1)所示：
或
移动终端可对第一图像及第二图像进行特征点匹配，提取第一图像的特征点并在第二图像中的对应行找到最佳的匹配点，可认为第一图像的特征点及第二图像的对应的最佳匹配点为同一点分别在第一图像及第二图像的成像点，即可计算二者的视差，即可生成视差图，再根据式(1)计算待处理图像中各个像素点的景深信息。
在其他的实施例中，也可采用别的方式获取待处理图像的景深信息，例如利用结构光或TOF(Time of flight，飞行时间测距法)等方式计算待处理图像的景深信息，并不限于上述方式。
步骤220，确定待处理图像的感兴趣区域，并根据景深信息选取与感兴趣区域对应的第一景深范围。
移动终端可确定待处理图像的ROI(region of interest，感兴趣区域)，ROI可作为待处理图像中关注的重点区域。在一个实施例中，移动终端可对待处理图像进行人脸识别，当检测到待处理图像中包含人脸时，可将人脸区域作为ROI，若未检测到待处理图像包含人脸，则可选择待处理图像的中间区域作为ROI。ROI也可由用户自行进行选择，当接收到用户在屏幕上的触控操作时，可选取与该触控操作的触控坐标对应的ROI。
移动终端可根据ROI包含的各个像素点的景深信息，选取与ROI对应的第一景深范围，该第一景深范围可为不进行虚化处理的景深范围，待处理图像中属于第一景深范围的所有像素点都不进行虚化处理。可以理解地，属于第一景深范围的像素点不一定在ROI中，例如，ROI为待处理图像中的人脸区域，根据ROI的景深信息选取第一景深范围，与人脸区域对应的其他人体部位区域，比如脖子、四肢、身体等也属于该第一景深范围中，则也不进行虚化处理。根据ROI的景深信息选取不进行虚化处理的景深范围，可以更加准确地对待处理图像进行虚化处理，提高虚化效果。
步骤230，根据第一景深范围确定待处理图像中待虚化区域的第二景深范围。
移动终端可根据选取的不进行虚化的第一景深范围，确定需要进行虚化的第二景深范围，属于该第二景深范围的像素点组成待处理图像中的待虚化区域。可根据第二景深范围对待虚化区域进行虚化处理，对属于第二景深范围的像素点进行虚化处理，在一个实施例中，可根据像素点的景深信息调整对应的虚化程度，当景深属于第二景深范围且离第一景深范围越远时，虚化程度可越高，但不限于此。
步骤240，根据第二景深范围对待虚化区域进行虚化处理。
移动终端可先根据第二景深范围确定待处理图像的待虚化区域，再通过平滑滤波器对待虚化区域进行虚化处理。在一个实施例中，可选择高斯滤波器对待虚化区域进行虚化处理，高斯滤波是一种线性平滑滤波，是一个对整幅图像进行加权平均的过程，每一个像素点的值都可由其本身和邻域内的其他像素值经过加权平均后得到。在待虚化区域中，可根据虚化程度选取进行高斯滤波的窗口大小，选取的窗口越大，虚化程度越大，并根据正态分布的权重分配模式分配窗口内各像素点的权重，从而重新计算每个像素点的加权平均值。
上述图像处理方法，获取待处理图像的景深信息，根据景深信息选取与感兴趣区域对应的第一景深范围，并根据第一景深范围确定待处理图像中待虚化区域的第二景深范围，根据感兴趣区域的景深精准选择待处理图像中需要进行虚化的景深范围，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
如图4所示，在一个实施例中，在步骤210获取待处理图像的景深信息之后，还包括：
步骤402，根据景深信息生成景深直方图。
景深直方图可用于表示图像中具有某个景深的像素点的个数，景深直方图描述了图像中的像素点在各个景深的分布情况。移动终端获取待处理图像中各像素点的景深信息，可统计每个景深值对应的像素点的个数，并生成待处理图像的景深直方图。图5(a)为一个实施例中根据待处理图像的景深信息生成的景深直方图。如图5(a)所示，该景深直方图的横轴表示景深，纵轴表示像素点的数量，该景深直方图描述了待处理图像中的像素点在各个景深的分布情况。
步骤404，获取景深直方图的各个波峰及对应的峰值。
移动终端可确定景深直方图的各个波峰，以及每个波峰对应的峰值，波峰指的是在景深直方图形成的一段波内波幅的最大值，可通过求取景深直方图中各个点的一阶差分进行确定，峰值指的是波峰上的最大值。
步骤406，根据峰值绘制符合对应波峰的正态分布曲线。
移动终端可根据每个波峰的峰值绘制贴合对应波峰的正态分布曲线，正态分布主要由两个值进行决定，包括数学期望μ及方差σ，其中，数学期望μ是正态分布的位置参数，描述正态分布的集中趋势位置，正态分布以X＝μ为对称轴，左右大致对称，正态分布的期望、均数、中位数、众数相同，均为μ；方差σ则用于描述正态分布中数据分布的离散程度，σ越大，数据分布越分散，σ越小，数据分布越集中，σ也可称为正态分布的形状参数，σ越大，曲线越扁平，σ越小，曲线越瘦高。移动终端获取景深直方图中的每个波峰，以及波峰的峰值后，可根据峰值拟合对应波峰的正态分布曲线，可确定每个波峰在横轴上景深的取值范围，计算拟合的正态分布曲线的数学期望及方差，从而绘制贴合对应波峰的正态分布曲线。
图5(b)为一个实施例中根据峰值绘制符合对应波峰的正态分布曲线的示意图。如图5(b)所示，获取景深直方图的各个波峰及对应的峰值，根据每个波峰的峰值绘制符合对应波峰的正态分布曲线，最终可得到曲线520，曲线520是由景深直方图中的多个贴合波峰的正态分布曲线组合而成的。
如图6所示，在一个实施例中，步骤220确定待处理图像的感兴趣区域，并根据景深信息选取与感兴趣区域对应的第一景深范围，包括以下步骤：
步骤602，计算感兴趣区域的平均景深。
移动终端确定待处理图像的ROI后，可从景深图中获取ROI中各个像素点的景深信息，并计算ROI的平均景深。
步骤604，查找平均景深在景深直方图中所处的正态分布曲线。
移动终端计算得到待处理图像的ROI的平均景深后，可查找平均景深在景深直方图的位置，可确定与平均景深对应的波峰，从而确定平均景深所处的与该对应的波峰贴合的正态分布曲线。图7(a)为一个实施例中感兴趣区域的平均景深所处的正态分布曲线的示意图。如图7(a)所示，移动终端计算得到ROI的平均景深为85米，则可查找到该平均景深在景深直方图的位置为键头所指的位置，可确定该平均景深处于景深直方图的第二个波峰对应的正态分布曲线上。
步骤606，获取所处的正态分布曲线的方差。
步骤608，根据方差确定平均景深对应的正态分布范围，并将正态分布范围作为与感兴趣区域对应的第一景深范围。
移动终端可获取ROI的平均景深在景深直方图中所处的正态分布曲线的方差σ及数学期望μ，根据正态分布的3σ原则，确定ROI的平均景深对应的正态分布范围。在正态分布中，任一点出现在σ+(-)μ的概率P(σ-μ＜X＜σ+μ)为68.26％，出现在σ+(-)2μ的概率P(σ-2μ＜X＜σ+2μ)为95.45％，出现在σ+(-)3μ的概率P(σ-3μ＜X＜σ+3μ)为99.73％，由此可知，在正态分布中，数据基本落入σ+(-)3μ的范围内。移动终端获取ROI的平均景深在景深直方图中所处的正态分布曲线的方差σ及数学期望μ后，可选取所处的正态分布曲线中景深在σ+(-)3μ的范围作为正态分布范围，并将该正态分布范围作为与感兴趣区域对应的第一景深范围，也即不进行虚化处理的景深范围。
图7(b)为一个实施例中确定感兴趣区域的平均景深对应的正态分布范围的示意图。如图7(b)所示，移动终端计算得到ROI的平均景深为85米，则可查找到该平均景深在景深直方图的位置为键头所指的位置，可确定该平均景深处于景深直方图的第二个波峰对应的正态分布曲线上。可获取该正态分布曲线的方差及数学期望，选取该正态分布曲线上景深在σ+(-)3μ的范围作为正态分布范围702，正态分布范围702即为与ROI对应的第一景深范围，也即不进行虚化处理的景深范围。
在本实施例中，根据待处理图像的景深信息生成景深直方图，根据景深直方图每个波峰的峰值贴合最接近的正态分布曲线，再根据感兴趣区域的平均景深查找所处的正态分布曲线及对应的正态分布范围，可保证与感兴趣区域的景深信息相近的区域均不会进行虚化处理，可以精准确定需要进行虚化的景深范围，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
在一个实施例中，步骤240根据第二景深范围对待虚化区域进行虚化处理，包括：根据第二景深范围生成清晰度变化图，并根据清晰度变化图对待虚化区域进行虚化处理。
移动终端确定了不进行虚化的第一景深范围及待虚化区域的第二景深范围后，可生成清晰度变化图，其中，第二景深范围可包括小于第一景深范围的第一部分，以及大于第一景深范围的第二部分。在清晰度变化图中，当景深小于第一景深范围时，清晰度与景深呈正相关关系，清晰度可随着景深的增大而增大；当景深大于第一景深范围时，清晰度与景深呈负相关关系，清晰度可随着景深的增大而减小。第二景深范围的第一部分中清晰度可随着景深的增大而增大，第二部分中清晰度可随着景深的增大而减小，第一景深范围的清晰度达到最高值，根据清晰度变化图，可确定每个景深对应的清晰度，从而可根据待处理图像中像素点的景深信息调整对应的虚化程度，清晰度越小，虚化程度越高。
在一个实施例中，可根据清晰度变化图选取进行高斯滤波的窗口大小，清晰度较高的待虚化区域，可选取较小的窗口进行高斯滤波处理，清晰度较低的待虚化区域，可选取较大的窗口进行高斯滤波处理。
图8为一个实施例中生成的清晰度变化图。如图8所示，移动终端选取与ROI对应的第一景深范围806，并确定待虚化区域的第二景深范围，第二景深范围可包括小于第一景深范围806的第一部分802及大于第一景深范围806的第二部分804。在清晰变化图中，第二景深范围的第一部分802中，清晰度与景深呈正相关关系，清晰度随着景深的增大而增大，第一景深范围806达到清晰度最高值，第二景深范围的第二部分804中，清晰度与景深呈负相关关系，清晰度随着景深的增大而减小。在一个实施例中，也可根据ROI的第一景深范围806选取第二景深范围的第一部分802及第二部分804的清晰度变化率，当第一景深范围806较小时，第一部分802的清晰度变化率较大，第二部分804的清晰度变化率较小；当第一景深范围806较大时，第一部分802的清晰度变化率较小，第二部分804的清晰度变化率可较大；当第一景深范围806位于景深直方图的中间范围中，第一部分802及第二部分804的清晰度变化率可相近，但不限于此。
在本实施例中，可生成清晰度变化图，并根据清晰度变化图对待处理图像的待虚化区域进行虚化处理，清晰度随着景深的变化而变化，可以精准确定需要进行虚化的景深范围及对应的虚化程度，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
在一个实施例中，提供一种图像处理方法，包括以下步骤：
获取待处理图像的景深信息。
根据景深信息生成景深直方图。
获取景深直方图的各个波峰及对应的峰值。
根据每个波峰的峰值绘制符合对应波峰的正态分布曲线。
确定待处理图像的感兴趣区域，计算感兴趣区域的平均景深。
查找平均景深在景深直方图中所处的正态分布曲线，并获取所处的正态分布曲线的方差。
根据方差确定平均景深对应的正态分布范围，并将正态分布范围作为与感兴趣区域对应的第一景深范围。
根据第一景深范围确定待处理图像中待虚化区域的第二景深范围。
根据第二景深范围生成清晰度变化图，并根据清晰度变化图对待虚化区域进行虚化处理，其中，在清晰度变化图中，当景深小于第一景深范围时，清晰度与景深呈正相关关系；当景深大于第一景深范围时，清晰度与景深呈负相关关系。
在本实施例中，可根据感兴趣区域的平均景深查找在景深直方图中所处的正态分布曲线及对应的正态分布范围，并将正态分布范围作为与感兴趣区域对应的第一景深范围，从而确定待处理图像中待虚化区域的第二景深范围，同时根据清晰度变化图对待处理图像的待虚化区域进行虚化处理，可以精准确定需要进行虚化的景深范围及对应的虚化程度，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
如图9所示，在一个实施例中，提供一种图像处理装置900，包括景深获取模块910、选取模块920、确定模块930及虚化模块940。
景深获取模块910，用于获取待处理图像的景深信息。
选取模块920，用于确定待处理图像的感兴趣区域，并根据景深信息选取与感兴趣区域对应的第一景深范围。
确定模块930，用于根据第一景深范围确定待处理图像中待虚化区域的第二景深范围。
虚化模块940，用于根据第二景深范围对待虚化区域进行虚化处理。
上述图像处理装置，获取待处理图像的景深信息，根据景深信息选取与感兴趣区域对应的第一景深范围，并根据第一景深范围确定待处理图像中待虚化区域的第二景深范围，根据感兴趣区域的景深精准选择待处理图像中需要进行虚化的景深范围，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
如图10所示，在一个实施例中，上述图像处理装置900，除了包括景深获取模块910、选取模块920、确定模块930及虚化模块940，还包括直方图生成模块950、峰值获取模块960及绘制模块970。
直方图生成模块950，用于根据景深信息生成景深直方图。
峰值获取模块960，用于获取景深直方图的各个波峰及对应的峰值。
绘制模块970，用于根据峰值绘制符合对应波峰的正态分布曲线。
如图11所示，在一个实施例中，选取模块920，包括计算单元922、查找单元924、方差获取单元926及范围确定单元928。
计算单元922，用于计算感兴趣区域的平均景深。
查找单元924，用于查找平均景深在景深直方图中所处的正态分布曲线。
方差获取单元926，用于获取所处的正态分布曲线的方差。
范围确定单元928，用于根据方差确定平均景深对应的正态分布范围，并将正态分布范围作为与感兴趣区域对应的第一景深范围。
在本实施例中，根据待处理图像的景深信息生成景深直方图，根据景深直方图每个波峰的峰值贴合最接近的正态分布曲线，再根据感兴趣区域的平均景深查找所处的正态分布曲线及对应的正态分布范围，可保证与感兴趣区域的景深信息相近的区域均不会进行虚化处理，可以精准确定需要进行虚化的景深范围，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
在一个实施例中，虚化模块940，包括变化图生成单元及虚化单元。
变化图生成单元，用于根据第二景深范围生成清晰度变化图。
虚化单元，用于根据清晰度变化图对待虚化区域进行虚化处理。
其中，在清晰度变化图中，当景深小于第一景深范围时，清晰度与景深呈正相关关系；当景深大于第一景深范围时，清晰度与景深呈负相关关系。
在本实施例中，可生成清晰度变化图，并根据清晰度变化图对待处理图像的待虚化区域进行虚化处理，清晰度随着景深的变化而变化，可以精准确定需要进行虚化的景深范围及对应的虚化程度，可以提高虚化效果，使虚化处理后的图像的视觉显示效果更好。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将推荐信息生成装置按照需要划分为不同的模块，以完成上述推荐信息生成装置的全部或部分功能。
本申请实施例还提供一种移动终端。上述移动终端中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图12为一个实施例中图像处理电路的示意图。如图12所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图12所示，图像处理电路包括ISP处理器1240和控制逻辑器1250。成像设备1210捕捉的图像数据首先由ISP处理器1240处理，ISP处理器1240对图像数据进行分析以捕捉可用于确定和/或成像设备1210的一个或多个控制参数的图像统计信息。成像设备1210可包括具有一个或多个透镜1212和图像传感器1214的照相机。图像传感器1214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1214可获取用图像传感器1214的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1240处理的一组原始图像数据。传感器1220(如陀螺仪)可基于传感器1220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1240。传感器1220接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器1214也可将原始图像数据发送给传感器1220，传感器1220可基于传感器1220接口类型把原始图像数据提供给ISP处理器1240，或者传感器1220将原始图像数据存储到图像存储器1230中。
ISP处理器1240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1240还可从图像存储器1230接收图像数据。例如，传感器1220接口将原始图像数据发送给图像存储器1230，图像存储器1230中的原始图像数据再提供给ISP处理器1240以供处理。图像存储器1230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器1214或来自传感器1220接口或来自图像存储器1230的原始图像数据时，ISP处理器1240可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1230，以便在被显示之前进行另外的处理。ISP处理器1240还可从图像存储器1230接收处理数据，对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1280，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1240的输出还可发送给图像存储器1230，且显示器1280可从图像存储器1230读取图像数据。在一个实施例中，图像存储器1230可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1240的输出可发送给编码器/解码器1270，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1280设备上之前解压缩。
ISP处理器1240处理图像数据的步骤包括：对图像数据进行VFE(Video FrontEnd，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。
ISP处理器1240处理后的图像数据可发送给虚化模块1260，以便在被显示之前对图像进行虚化处理。虚化模块1260可根据待处理图像的景深信息选取与感兴趣区域对应的第一景深范围，并根据第一景深范围确定待处理图像中待虚化区域的第二景深范围，再根据第二景深范围对所述待虚化区域进行虚化处理等。其中，虚化模块1260可为移动终端中CPU(Central Processing Unit，中央处理器)、GPU或协处理器等。虚化模块1260将图像数据进行虚化处理后，可将虚化处理后的图像数据发送给编码器/解码器1270，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1280设备上之前解压缩。其中，虚化模块1260还可位于编码器/解码器1270与显示器1280之间，即虚化模块对已成像的图像进行虚化处理。上述编码器/解码器可为移动终端中CPU、GPU或协处理器等。
ISP处理器1240确定的统计数据可发送给控制逻辑器1250单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1212阴影校正等图像传感器1214统计信息。控制逻辑器1250可包括执行一个或多个例(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1210的控制参数以及ISP处理器1240的控制参数。例如，成像设备1210的控制参数可包括传感器1220控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1212控制参数(例如聚焦或变焦用焦距)，或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1212阴影校正参数。
在本实施例中，运用图12中的图像处理技术可实现上述的图像处理方法。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像的景深信息；
确定所述待处理图像的感兴趣区域，并根据所述景深信息选取与所述感兴趣区域对应的第一景深范围；
根据所述第一景深范围确定所述待处理图像中待虚化区域的第二景深范围；
根据所述第二景深范围生成清晰度变化图,根据所述清晰度变化图对所述待虚化区域进行虚化处理。
2.根据权利要求1所述的方法，其特征在于，在所述获取待处理图像的景深信息之后，所述方法还包括：
根据所述景深信息生成景深直方图；
获取所述景深直方图的各个波峰及对应的峰值；
根据所述峰值绘制符合对应波峰的正态分布曲线。
3.根据权利要求2所述的方法，其特征在于，所述根据所述景深信息选取与所述感兴趣区域对应的第一景深范围，包括：
计算所述感兴趣区域的平均景深；
查找所述平均景深在所述景深直方图中所处的正态分布曲线；
获取所述所处的正态分布曲线的方差；
根据所述方差确定所述平均景深对应的正态分布范围，并将所述正态分布范围作为与所述感兴趣区域对应的第一景深范围。
4.根据权利要求1所述的方法，其特征在于，在所述清晰度变化图中，当景深小于所述第一景深范围时，清晰度与景深呈正相关关系；当景深大于所述第一景深范围时，清晰度与景深呈负相关关系。
5.一种图像处理装置，其特征在于，包括：
景深获取模块，用于获取待处理图像的景深信息；
选取模块，用于确定所述待处理图像的感兴趣区域，并根据所述景深信息选取与所述感兴趣区域对应的第一景深范围；
确定模块，用于根据所述第一景深范围确定所述待处理图像中待虚化区域的第二景深范围；
虚化模块，用于根据所述第二景深范围生成清晰度变化图,根据所述清晰度变化图对所述待虚化区域进行虚化处理。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括：
直方图生成模块，用于根据所述景深信息生成景深直方图；
峰值获取模块，用于获取所述景深直方图的各个波峰及对应的峰值；
绘制模块，用于根据所述峰值绘制符合对应波峰的正态分布曲线。
7.根据权利要求6所述的装置，其特征在于，所述选取模块，包括：
计算单元，用于计算所述感兴趣区域的平均景深；
查找单元，用于查找所述平均景深在所述景深直方图中所处的正态分布曲线；
方差获取单元，用于获取所述所处的正态分布曲线的方差；
范围确定单元，用于根据所述方差确定所述平均景深对应的正态分布范围，并将所述正态分布范围作为与所述感兴趣区域对应的第一景深范围。
8.一种移动终端，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至4任一所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710776188.2A CN107493432B (zh) | 2017-08-31 | 2017-08-31 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710776188.2A CN107493432B (zh) | 2017-08-31 | 2017-08-31 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107493432A CN107493432A (zh) | 2017-12-19 |
| CN107493432B true CN107493432B (zh) | 2020-01-10 |
Family
ID=60646007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710776188.2A Active CN107493432B (zh) | 2017-08-31 | 2017-08-31 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107493432B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108234865A (zh) * | 2017-12-20 | 2018-06-29 | 深圳市商汤科技有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN108076291A (zh) * | 2017-12-28 | 2018-05-25 | 北京安云世纪科技有限公司 | 一种图像数据的虚化处理方法、装置和移动终端 |
| CN108322646B (zh) * | 2018-01-31 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108259770B (zh) * | 2018-03-30 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108629745B (zh) * | 2018-04-12 | 2021-01-19 | Oppo广东移动通信有限公司 | 基于结构光的图像处理方法、装置和移动终端 |
| CN109862262A (zh) * | 2019-01-02 | 2019-06-07 | 上海闻泰电子科技有限公司 | 图像虚化方法、装置、终端及存储介质 |
| CN109561257B (zh) | 2019-01-18 | 2020-09-18 | 深圳看到科技有限公司 | 画面对焦方法、装置、终端及对应的存储介质 |
| CN111242843B (zh) * | 2020-01-17 | 2023-07-18 | 深圳市商汤科技有限公司 | 图像虚化方法、图像虚化装置、设备及存储装置 |
| CN112532881B (zh) * | 2020-11-26 | 2022-07-05 | 维沃移动通信有限公司 | 图像处理方法、装置和电子设备 |
| CN113763311B (zh) * | 2021-01-05 | 2024-07-23 | 北京京东乾石科技有限公司 | 图像识别方法及装置、以及自动分拣机器人 |
| CN113873160B (zh) * | 2021-09-30 | 2024-03-05 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和计算机存储介质 |
| CN116030247B (zh) * | 2023-03-20 | 2023-06-27 | 之江实验室 | 一种医学图像样本生成方法、装置、存储介质及电子设备 |
| CN116385952B (zh) * | 2023-06-01 | 2023-09-01 | 华雁智能科技(集团)股份有限公司 | 配网线路小目标缺陷检测方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587586A (zh) * | 2008-05-20 | 2009-11-25 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
| CN104092955A (zh) * | 2014-07-31 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集设备 |
| CN105025286A (zh) * | 2014-05-02 | 2015-11-04 | 钰创科技股份有限公司 | 图像处理装置 |
| CN106060423A (zh) * | 2016-06-02 | 2016-10-26 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106993112A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7570830B2 (en) * | 2006-03-16 | 2009-08-04 | Altek Corporation | Test method for image sharpness |
| WO2013094635A1 (ja) * | 2011-12-19 | 2013-06-27 | シャープ株式会社 | 画像処理装置、撮像装置および表示装置 |
-
2017
- 2017-08-31 CN CN201710776188.2A patent/CN107493432B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587586A (zh) * | 2008-05-20 | 2009-11-25 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
| CN105025286A (zh) * | 2014-05-02 | 2015-11-04 | 钰创科技股份有限公司 | 图像处理装置 |
| CN104092955A (zh) * | 2014-07-31 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集设备 |
| CN106060423A (zh) * | 2016-06-02 | 2016-10-26 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106993112A (zh) * | 2017-03-09 | 2017-07-28 | 广东欧珀移动通信有限公司 | 基于景深的背景虚化方法及装置和电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107493432A (zh) | 2017-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107493432B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN107509031B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| JP7003238B2 (ja) | 画像処理方法、装置、及び、デバイス | |
| CN107680128B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108055452B (zh) | 图像处理方法、装置及设备 | |
| CN108012080B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| JP6903816B2 (ja) | 画像処理方法および装置 | |
| CN108111749B (zh) | 图像处理方法和装置 | |
| CN107451969B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
| CN109348088B (zh) | 图像降噪方法、装置、电子设备及计算机可读存储介质 | |
| CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107945105B (zh) | 背景虚化处理方法、装置及设备 | |
| CN108419028B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| WO2021057474A1 (zh) | 主体对焦方法、装置、电子设备和存储介质 | |
| CN108154514B (zh) | 图像处理方法、装置及设备 | |
| CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
| CN111932587B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN107862658B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN107563979B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
| CN109685853B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN108053438B (zh) | 景深获取方法、装置及设备 | |
| CN109257540B (zh) | 多摄镜头组的摄影校正方法及摄影装置 | |
| CN107563329B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong Opel Mobile Communications Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |