CN105516579A - 一种图像处理方法、装置和电子设备 - Google Patents

一种图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN105516579A
CN105516579A CN201410497963.7A CN201410497963A CN105516579A CN 105516579 A CN105516579 A CN 105516579A CN 201410497963 A CN201410497963 A CN 201410497963A CN 105516579 A CN105516579 A CN 105516579A
Authority
CN
China
Prior art keywords
image
pixel
motion
deblurring
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410497963.7A
Other languages
English (en)
Other versions
CN105516579B (zh
Inventor
徐立
朱振宇
严琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410497963.7A priority Critical patent/CN105516579B/zh
Priority to US14/615,010 priority patent/US9613404B2/en
Publication of CN105516579A publication Critical patent/CN105516579A/zh
Application granted granted Critical
Publication of CN105516579B publication Critical patent/CN105516579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种图像处理方法，所述方法应用于具备有双目摄像头的电子设备，包括：首先依据预设运动算法，分别计算双目摄像头的两个摄像头分别采集的第一图像和第二图像运动方向；然后预设的去模糊规则分别对这第一图像和第二图像进行去模糊处理，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该方法，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。

Description

一种图像处理方法、装置和电子设备
技术领域
本发明涉及电子设备领域，更具体的说，是涉及一种图像处理方法、装置和电子设备。
背景技术
随着拍摄技术的发展，越来越多的电子设备中设置有拍照功能，有的电子设备中为了保证拍摄效果真实，设置有双目摄像头，双目摄像头是一种模拟人眼成像的两个摄像头组成的摄像头组，能够对两个摄像头分布拍摄得到的图像进行组合，得到立体视角的照片。
然而，当用户在拍照过程中，可能会由于手抖或者被拍物体发生位移等各种外界移动导致拍摄出来的照片模糊，成像效果差。
发明内容
有鉴于此，本发明提供了一种图像处理方法，解决了现有技术中在拍摄图像时由于发生移动导致拍摄的照片模糊的问题。
为实现上述目的，本发明提供如下技术方案：
一种图像处理方法，所述方法应用于具备有双目摄像头的电子设备，包括：
分别接收双目摄像头采集的第一图像和第二图像；
依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向；
依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像；
其中，所述第三图像的清晰度高于所述第一图像，所述第四图像的清晰度高于所述第二图像。
上述的方法，优选的，所述依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向包括：
依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向。
上述的方法，优选的，所述依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图，包括：
选取任一图像为第一基本图像，剩余的另一图像为第一参考图像；
在所述第一基本图像中选取一像素；
在所述第一参考图像中查找与所述像素匹配的对应像素；
依据所述像素在该第一基本图像中的位置、所述对应像素在所述第一参考图像中的位置、以及双目摄像头的空间参数，采用预设深度算法确定所述像素的深度值；
依次计算所述第一基本图像中剩余的每一像素的深度值；
依据所述第一基本图像中每个像素的深度值绘制所述第一基本图像的深度图。
上述的方法，优选的，所述依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向包括：
选定任一图像为第二基本图像，将所述图像对应的深度图记为基本深度图；
依据所述基本深度图，确定所述第二基本图像中深度值相同的像素以及所述像素的位置；
依据预设的估计运动方向算法，以及所述第二基本图像中深度值相同的像素位置信息，计算得到所述像素的运动方向；
依次计算所述第二基本图像中剩余像素的运动方向。
上述的方法，优选的，所述依据预设去模糊算法、所述第一运动方向和所述第二运动方向，分别对所述第一图像去模糊和所述第二图像去模糊，分别得到第三图像和第四图像，具体包括：
依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；
依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
一种图像处理装置，所述装置应用于具备有双目摄像头的电子设备，包括：
接收模块，用于分别接收双目摄像头采集的第一图像和第二图像；
计算模块，用于依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向；
去模糊模块，用于依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
组合模块，用于依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像；
其中，所述第三图像的清晰度高于所述第一图像，所述第四图像的清晰度高于所述第二图像。
上述的装置，优选的，所述计算模块包括：
第一分析单元，用于依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
第一计算单元，用于依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向。
上述的装置，优选的，所述第一分析单元包括：
第一选择子单元，用于选取任一图像为第一基本图像，剩余的另一图像为第一参考图像，并在所述第一基本图像中选取一像素；
查找子单元，用于在所述第一参考图像中查找与所述像素匹配的对应像素；
第一计算子单元，用于依据所述像素在该第一基本图像中的位置、所述对应像素在所述第一参考图像中的位置、以及双目摄像头的空间参数，采用预设深度算法确定所述像素的深度值，并且依次计算所述第一基本图像中剩余的每一像素的深度值；
绘制子单元，用于依据所述第一基本图像中每个像素的深度值绘制所述第一基本图像的深度图。
上述的装置，优选的，所述第一计算单元包括：
第二选择子单元，用于选定任一图像为第二基本图像，将所述图像对应的深度图记为基本深度图；
确定子单元，用于依据所述基本深度图，确定所述第二基本图像中深度值相同的像素以及所述像素的位置；
第二计算子单元，用于依据预设的估计运动方向算法，以及所述第二基本图像中深度值相同的像素位置信息，计算得到所述像素的运动方向，并依次计算所述第二基本图像中剩余像素的运动方向。
上述的装置，优选的，所述去模糊模块具体用于：
依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；
依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
一种电子设备，包括：双目摄像头和如上述任一项所述的图像处理装置。
经由上述的技术方案可知，与现有技术相比，本发明提供了一种图像处理方法，所述方法应用于具备有双目摄像头的电子设备，包括：首先依据预设运动算法，分别计算双目摄像头的两个摄像头分别采集的第一图像和第二图像运动方向；然后预设的去模糊规则分别对这第一图像和第二图像进行去模糊处理，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该方法，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种图像处理方法实施例1的流程图；
图2为本申请提供的一种图像处理方法实施例1中第一图像和第二图像；
图3为本申请提供的一种图像处理方法实施例1中第五图像；
图4为本申请提供的一种图像处理方法实施例2的流程图；
图5为本申请提供的一种图像处理方法实施例3的流程图；
图6为本申请提供的一种图像处理方法实施例3中计算像素实际物理位置的示意图；
图7为本申请提供的一种图像处理方法实施例3中第一深度图；
图8为本申请提供的一种图像处理方法实施例4的流程图；
图9为本申请提供的一种图像处理方法实施例4中深度图的运动方向示意图；
图10为本申请提供的一种图像处理装置实施例1的结构示意图；
图11为本申请提供的一种图像处理方法实施例2的结构示意图；
图12为本申请提供的一种图像处理方法实施例3中第一分析单元的结构示意图；
图13为本申请提供的一种图像处理方法实施例4中第一计算单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1，示出了本申请提供的一种图像处理方法实施例1的流程图，该方法应用于一电子设备，其中，该电子设备具体可以是台式机、笔记本、平板电脑、手机、智能电视、智能手表、穿戴式设备等电子设备，所述电子设备中具有双目摄像头。
该方法可通过以下步骤实现：
步骤S101：分别接收双目摄像头采集的第一图像和第二图像；
其中，该电子设备中具有的双目摄像头在同一时刻针对同一拍摄对象分别采集一帧图像，记为第一图像和第二图像。
其中，该第一图像和第二图像关于双目摄像头的位置对应，二者拍摄得到的图像类似且具有一定区别。
具体实施中，当该电子设备发生晃动或或者被拍摄物体发生位移，导致拍摄出来的图像模糊。
如图2所示本实施例中第一图像和第二图像，其中，图a为双目摄像头中一个摄像头采集到的第一图像，图b为双目摄像头中另一个摄像头采集到的第二图像，两个图像模糊，内容接近且有一定区别。
步骤S102：依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向；
首先需要说明的是，实际的图像模糊原理是由于深度的不同，模糊的运动方向不同，因此，计算模糊图形的运动方向，进而结合该运动方向对模糊图像去模糊。
其中，预设有运动算法，根据该运动算法可计算得到图像的运行方向。
具体的，结合第一图像和第二图像的相关信息分别计算得到第一图像和第二图像的运动方向。
其中，该计算得到运行方向的过程在后续的实施例中会做详细解释，本实施例中不再详述。
步骤S103：依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
其中，预设有去模糊规则，该去模糊规则是与该运动方向相配合的规则，根据该去模糊规则，可对确定运动方向的图像进行去模糊处理，得到较清晰的图像。
具体的，结合该去模糊规则以及该运动方向，分别对该第一图像和第二图像进行去模糊处理，得到相应的第三图像和第四图像。
其中，该去模糊的步骤在后续的实施例中会做详细解释，本实施例中不再详述。
步骤S104：依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像。
其中，所述第三图像的清晰度高于所述第一图像，所述第四图像的清晰度高于所述第二图像。
其中，该组合得到第五图像的过程具体包括：获取该第三图像中的第一像素及其位置信息，并确定第一像素对应的拍摄对象；依据第一像素对应的拍摄对象，在第四图像中查找与第一像素对应的拍摄对象匹配的第二像素，并确定第二像素的位置信息，第二像素与第一像素组成对应像素组；依据第一像素的位置信息、第二像素的位置信息以及预设的算法，计算得到第一像素与第二像素组成的对应像素组间的位置偏差；依次计算第三图像和第四图像中每组对应像素组间的位置偏差；依据每组像素间的位置偏差复原三维世界坐标系中的深度信息；依据每组像素的深度信息，将第三图像和第四图像中的对应像素组组合，得到第五图像。
如图3所示，该图2中第一图像和第二图像组合得到的第五图像，该图像比第一图像和第二图像清晰，且立体感较强。
综上，本实施例提供的一种图像处理方法，首先依据预设运动算法，分别计算双目摄像头的两个摄像头分别采集的第一图像和第二图像运动方向；然后预设的去模糊规则分别对这第一图像和第二图像进行去模糊处理，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该方法，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
如图4所示的本申请提供的一种图像处理方法实施例2的流程图，可通过以下步骤实现：
步骤S401：分别接收双目摄像头采集的第一图像和第二图像；
其中，步骤S401与实施例1中的步骤S101一致，本实施例不再赘述。
步骤S402：依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
其中，该深度是指图像中的拍摄对象与拍摄该图像的摄像头之间的空间距离。
其中，电子设备中预设有深度分析规则，根据该深度分析规则，对该第一图像和第二图像进行分析，得到第一图像对应的第一深度图以及第二图像对应的第二深度图。
具体的，依据该预设深度分析规则，得到第一深度图的过程具体包括：选取第一图像的像素A；在第二图像中查找与像素A匹配的像素A’；依据该像素A在第一图像的位置、像素A’在第二图像的位置、双目摄像头的空间参数，采用三角定位法确定像素A对应的实际物理位置；依据实际物理位置与第一图像中像素A位置的距离，计算得到该第一图像的像素A的深度值；依次计算该第一图像中的剩余像素的深度值；依据该第一图像中像素的深度值绘制第一深度图。
具体的，依据该预设深度分析规则，得到第二深度图的过程具体包括：选取第二图像中的像素B；在第一图像中查找与该像素B匹配的像素B’；依据该像素B’在第一图像的位置、像素B在第二图像的位置、双目摄像头的空间参数，采用三角定位法确定像素B对应的实际物理位置；依据实际物理位置与像素B位置的距离，计算得到第二图像的像素B的深度值；依次计算第二图像中的剩余像素的深度值；依据第二图像中像素的深度值绘制第二深度图。
其中，该双目摄像头的空间参数包括：两个摄像头中心点的距离等参数。
需要说明的是，本实施例中提供了一种计算每个图像的深度图的方式，但实际实施中不限定于此，具体实施中，也可为其他方式，只要能够得到图像的深度图即可，本实施例中不做限制。
步骤S403：依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向；
其中，图像中每个像素具有其对应的深度值，而深度值为一个可比较的数值，将深度值的数值比较确定是否为同一个像素。
其中，预设有估计算法，一般的采用盲反褶积算法(blinddeconvolution)
具体的，可根据深度值一样的像素计算其运动方向，具体的计算方式在后续实施例中进行详细解释，本实施例不做详述。
步骤S404：依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
步骤S405：依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像。
其中，步骤S404-405与实施例1中的步骤S103-104一致，本实施例不再赘述。
综上，本实施例提供的一种图像处理方法中，基于预设的深度分析规则确定第一图像和第二图像对应的深度图，并且结合预设的预估算法，结合该深度图得到第一图像中的像素的第一运动方向和第二图像中像素的第二运动方向，以使得后续步骤结合该运动方向对模糊图像去模糊。采用该方法，结合图像的深度图，计算图像中像素的运动方向，进而对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
如图5所示的本申请提供的一种图像处理方法实施例3的流程图，可通过以下步骤实现：
步骤S501：分别接收双目摄像头采集的第一图像和第二图像；
其中，步骤S501与实施例2中的步骤S401一致，本实施例不再赘述。
步骤S502：选取任一图像为第一基本图像，剩余的另一图像为第一参考图像，并在所述第一基本图像中选取一像素；
其中，在第一图像和第二图像中选择任一图像为第一基本图像，剩余的另一图像为第一参考图像，基于该第一基本图像和第一参考图像计算该第一基本图像中像素的运动方向。
需要说明的是，步骤S502-505为针对第一基本图像中的任一像素进行的确定其运动方向的计算过程。
其中，每个图像中包括若干的像素，在该第一基本图像中选择任意像素作为确定运动方向的基本像素。
步骤S503：在所述第一参考图像中查找与所述像素匹配的对应像素；
其中，由于该第一基本图像和第一参考图像为一双目摄像头的两个摄像头采集的图像，二者具有一定的关联，该图像具有较小的角度区别，在两个图像中，针对同一拍摄对象具有相应的图像内容。
因此，在该第一参考图像中可查找到与该选取的像素对应的像素，该对应的像素在第一参考图像中的位置与该选取的图像在第一基本图像中的位置具有一定的区别。
其中，该步骤具体过程包括：获取该第一基本图像中的任一像素，确定该像素对应的拍摄对象；依据该拍摄对象，在该参考图像中查找与该像素匹配的匹配像素，将该匹配像素记为该像素的对应像素。
具体的，与该像素匹配的匹配像素为针对同一拍摄对象(或者拍摄内容)该像素和对应像素匹配度大。
具体实施中，该确定像素匹配度的方式可以为首先该像素确定在第一基本图像中所在位置，依据该位置在第一参考图像中与查找分布位置接近的区域，然后根据为像素的色彩信息等各种与拍摄内容相关的信息对该区域中的各个像素与该第一基本图像中选取的像素进行比对，得到匹配度，匹配度最大的为与该选取的像素匹配的对应像素。
步骤S504：依据所述像素在该第一基本图像中的位置、所述对应像素在所述第一参考图像中的位置、以及双目摄像头的空间参数，采用预设深度算法确定所述像素的深度值；
其中，在该第一基本图像中选择该像素时，记录该像素的位置，如在该第一基本像素中的坐标位置。
其中，根据步骤S503中确定的对应像素，确定其在第一参考图像中的位置，如在该第一参考图像中的坐标位置。
其中，预设有深度算法，根据该像素的位置、对应像素的位置以及双面摄像头的空间参数，计算得到该像素的实际物理位置，该像素的实际物理位置是指该像素对应的在三维空间中的位置。
图6所示的为计算像素实际物理位置的示意图，其中，C1和C2是双目摄像头的位置，图像601中x1是C1采集到的图像中的某一像素，图像602中x2是C2采集到的图像中的某一像素，该x1和x2是对拍摄对象X进行图像采集形成的像素内容，该X位于C1x1所在直线与C2x2所在直线的相交位置，该C1、C2之间距离已知，C1x1距离在选择该x1时确定，C2x2距离在确定该x2时确定，根据三角函数计算可以得到X与x1的距离以及X与x2的距离，依据该C1、C2、x1和x2坐标，即得到该像素的实际物理位置。
具体的，该实际物理位置为该像素内容到电子设备之间的距离，如图6中的X到C1C2中点的距离。
需要说明的是，当以C1C2所在直线为x轴且C1靠近C2方向为x轴正向，靠近X方向为y轴正向作xy坐标系时，可在确定X的坐标后，将该坐标作为该像素的实际物理位置。
需要说明的是，该像素的实际物理位置与图像602中x2的像素的实际物理位置一致，当以图像602为第一基本图像无需再次计算，只需根据该图像601计算得到的实际物理位置进行后续的计算即可。
其中，该像素的深度值是指该像素对应的拍摄对象与摄像头之间的距离。
具体的，已确定该像素对应的实际物理位置，根据该实际物理位置、以及其对应图像的摄像头的位置，即可计算得到该像素的实际物理位置与该摄像头之间的距离，计算得到该像素的深度值。
如图6中，当X到C1C2所在线段距离已知时，由于该C1C2之间距离已知，根据三角算法即可计算得到X与C1之间的距离，即得到该像素在该第一基本图像中的深度值。
步骤S505：依次计算所述第一基本图像中剩余的每一像素的深度值；
其中，上述的步骤S502-505为针对第一基本图像中的任一像素计算得到其对应的深度值，依据该方式分布计算该第一基本图像中剩余的每一像素的深度值。
需要说明的是，当以第一图像为第一基本图像进行计算得到其中的每一个像素的深度值时，已经分别计算得到了该第一基本图像中的每个像素的深度，当以第二图像为第一基本图像进行计算时，如果该第一图像中有相匹配的像素时，直接以该相匹配的像素的实际物理位置进行计算，无需再次计算。
步骤S506：依据所述第一基本图像中每个像素的深度值绘制所述第一基本图像的深度图；
其中，上述步骤中已经确定了该第一基本图像中每个像素的深度值，依据该深度值绘制该第一基本图像的深度图。
具体的，以灰度的深浅绘制像素的深度，深度越大灰度越深。
如图7所示的，为与图2中第一图像对应的第一深度图。
其中，以第一图像为例，该步骤S502-507的过程具体包括：选取该第一图像的像素A；在该第二图像中查找与该第一像素匹配的像素A’；依据该第一图像的像素A位置、第二图像的像素A’位置、双目摄像头的空间参数，采用三角定位法确定该像素A对应的实际物理位置；依据该实际物理位置与该像素A位置的距离，计算得到该像素A的深度值；依次计算该第一图像中的剩余像素的深度值；依据该第一图像中像素的深度值绘制第一深度图。
其中，以第二图像为例，该步骤S502-507的过程具体包括：选取该第二图像中的像素B；在该第一图像中查找与该像素B匹配的像素B’；依据该第一图像的像素B位置、第二图像的像素B’位置、双目摄像头的空间参数，采用三角定位法确定该像素B对应的实际物理位置；依据该实际物理位置与该第二图像的像素B位置的距离，计算得到该第二图像的像素B的深度值；依次计算该第二图像中的剩余像素的深度值；依据该第二图像中像素的深度值绘制第二深度图。
步骤S507：依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向；
步骤S508：依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
步骤S509：依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像
其中，步骤S507-509与实施例2中的步骤S403-505一致，本实施例不再赘述。
综上，本实施例提供的一种图像处理方法中，依次对图像中的每个像素的深度值进行了计算，并绘制得到图像的深度图，为后续的依据深度图确定图像中像素的运动方向，进而对图像进行去模糊，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该方法，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
如图8所示的本申请提供的一种图像处理方法实施例4的流程图，可通过以下步骤实现：
步骤S801：分别接收双目摄像头采集的第一图像和第二图像；
步骤S802：依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
其中，步骤S801-802与实施例2中的步骤S401-402一致，本实施例不再赘述。
步骤S803：选定任一图像为第二基本图像，将所述图像对应的深度图记为基本深度图；
其中，在第一图像和第二图像中选择任一图像为第二基本图像，并且将选择的图像对应的深度图记为基本深度图，后续基于该第二基本图像及其对应的基本深度图计算该第二基本图像中像素的运动方向。
需要说明的是，下述步骤S804-805为针对第二基本图像中的任一像素进行的确定其运动方向的计算过程。
步骤S804：依据所述基本深度图，确定所述第二基本图像中深度值相同的像素以及所述像素的位置；
其中，由于实际的图像模糊的原理是由于深度的不同模糊的运动方向不同，因此，本实施例中根据深度值来计算运动方向，具体的在深度值一样的像素上计算其运动方向。
具体的，根据该基本深度图，确定其中深度值相同的像素以及该像素的位置，其中，该深度值相同的像素组成了同一深度值的像素组，该像素组中包含有多个像素。
步骤S805：依据预设的估计运动方向算法，以及所述第二基本图像中深度值相同的像素位置信息，计算得到所述像素的运动方向；
其中，该预估运动方向算法采用盲反褶积算法。
具体的，基于对图像模型统计特性的分析以及模糊图像和非模糊图像的梯度分布，确定一种基于梯度分布模型的去模糊算法。其中，自然清清晰的图像符合特定的重尾分布(heavy-taileddistribution)规则，而模糊图像不符合该规则，据此，建立观测图像情况下原始图像和模糊核的联合后验概率，将该后验概率最大化，得到模糊核，该模糊核代表了该像素的运动方向。
步骤S806：依次计算所述第二基本图像中剩余像素的运动方向；
其中，与步骤S805类似的，计算该第二基本图像中剩余像素的方向。
图9所示，为图7所示深度图的运动方向示意图，图中黑框中标示出的曲线为该深度图的运动方向。
步骤S807：依据预设去模糊算法、所述第一运动方向和所述第二运动方向，分别对所述第一图像去模糊和所述第二图像去模糊，分别得到第三图像和第四图像；
其中，本步骤具体包括：依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
其中，依据预设的模糊算法，与步骤S805中计算得到的模糊核以及该第一图像，分别对该第一图像中的每个像素进行反卷积计算取去模糊，得到清晰的图像，同理，分别对该第二图像中的每个像素进行反卷积计算取去模糊，得到清晰的图像。
例如，已知一模糊图像P(x,y)，需要依据该模糊图像计算其对应的清晰图像为图像I(x,y)，两个图像的关系为P(x,y)＝I(x,y)*K。
其中，*表示卷积，K为模糊核。
将方程转化为：
I(x,y)＝argmin||P(x,y)-I(x,y)*K||2+||I(x,y)||2。
采用ROF(Rudin-Osher-Fatemi)的解法解决上述的方程，完成对模糊图像的去模糊，得到清晰图像。
具体的，该ROF解法为现有技术中已知的一种算法解法，本申请中不做赘述。
步骤S808：依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像。
其中，步骤S808与实施例2中的步骤S405一致，本实施例不再赘述。
综上，本实施例中提供的一种图像处理方法中，首先依据预设的估计运动方向算法，结合每个图像的深度图确定图像的运动方向，进而结合该运动方向对图像去模糊，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该方法，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
上述本发明提供的实施例中详细描述了图像处理方法，对于本发明的图像处理方法可采用多种形式的图像处理装置实现，因此本发明还提供了一种图像处理装置，下面给出具体的实施例进行详细说明。
如图10，示出了本申请提供的一种图像处理装置实施例1的结构示意图，该装置应用于一电子设备，其中，该电子设备具体可以是台式机、笔记本、平板电脑、手机、智能电视、智能手表、穿戴式设备等电子设备，所述电子设备中具有双目摄像头。
该装置由以下结构实现：接收模块1001、计算模块1002、去模糊模块1003和组合模块1004；
其中，接收模块1001，用于分别接收双目摄像头采集的第一图像和第二图像；
其中，该电子设备中具有的双目摄像头在同一时刻针对同一拍摄对象分别采集一帧图像，接收模块1001接收这两帧图像，并记为第一图像和第二图像。
其中，该第一图像和第二图像关于双目摄像头的位置对应，二者拍摄得到的图像类似且具有一定区别。
具体实施中，当该电子设备发生晃动或或者被拍摄物体发生位移，导致拍摄出来的图像模糊。
如图2所示，其中，图a为双目摄像头中一个摄像头采集到的第一图像，图b为双目摄像头中另一个摄像头采集到的第二图像，两个图像模糊，内容接近且有一定区别。
其中，计算模块1002，用于依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向；
首先需要说明的是，实际的图像模糊原理是由于深度的不同，模糊的运动方向不同，因此，计算模糊图形的运动方向，进而结合该运动方向对模糊图像去模糊。
其中，预设有运动算法，根据该运动算法可计算得到图像的运行方向。
具体的，计算模块1002结合第一图像和第二图像的相关信息分别计算得到第一图像和第二图像的运动方向。
其中，该计算得到运行方向的过程在后续的实施例中会做详细解释，本实施例中不再详述。
其中，去模糊模块1003，用于依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
其中，预设有去模糊规则，该去模糊规则是与该运动方向相配合的规则，根据该去模糊规则，去模糊模块1003可对确定运动方向的图像进行去模糊处理，得到较清晰的图像。
具体的，结合该去模糊规则以及该运动方向，分别对该第一图像和第二图像进行去模糊处理，得到相应的第三图像和第四图像。
其中，该去模糊的步骤在后续的实施例中会做详细解释，本实施例中不再详述。
其中，组合模块1004，用于依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像；
其中，所述第三图像的清晰度高于所述第一图像，所述第四图像的清晰度高于所述第二图像。
其中，该组合模块1004具体用于：获取该第三图像中的第一像素及其位置信息，并确定第一像素对应的拍摄对象；依据第一像素对应的拍摄对象，在第四图像中查找与第一像素对应的拍摄对象匹配的第二像素，并确定第二像素的位置信息，第二像素与第一像素组成对应像素组；依据第一像素的位置信息、第二像素的位置信息以及预设的算法，计算得到第一像素与第二像素组成的对应像素组间的位置偏差；依次计算第三图像和第四图像中每组对应像素组间的位置偏差；依据每组像素间的位置偏差复原三维世界坐标系中的深度信息；依据每组像素的深度信息，将第三图像和第四图像中的对应像素组组合，得到第五图像。
如图3所示，该图2中第一图像和第二图像组合得到的第五图像，该图像比第一图像和第二图像清晰，且立体感较强。
综上，本实施例提供的一种图像处理装置，首先依据预设运动算法，分别计算双目摄像头的两个摄像头分别采集的第一图像和第二图像运动方向；然后预设的去模糊规则分别对这第一图像和第二图像进行去模糊处理，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该信息，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
如图11，示出了本申请提供的一种图像处理装置实施例2的结构示意图，该装置由以下结构实现：接收模块1101、计算模块1102、去模糊模块1103和组合模块1104；
其中，计算模块1102包括：第一分析单元1105和第一计算单元1106；
其中，该接收模块1101、去模糊模块1103和组合模块1104与实施例1中的相应结构功能一致，本实施例不再赘述。
其中，第一分析单元1105，用于依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
其中，该深度是指图像中的拍摄对象与该拍摄该图像的摄像头之间的空间距离。
其中，第一分析单元1105中预设有深度分析规则，根据该深度分析规则，对该第一图像和第二图像进行分析，得到第一图像对应的第一深度图以及第二图像对应的第二深度图。
具体的，依据该预设深度分析规则，得到第一深度图的过程具体包括：选取第一图像的像素A；在第二图像中查找与像素A匹配的像素A’；依据该像素A在第一图像的位置、像素A’在第二图像的位置、双目摄像头的空间参数，采用三角定位法确定像素A对应的实际物理位置；依据实际物理位置与第一图像中像素A位置的距离，计算得到该第一图像的像素A的深度值；依次计算该第一图像中的剩余像素的深度值；依据该第一图像中像素的深度值绘制第一深度图。
具体的，依据该预设深度分析规则，得到第二深度图的过程具体包括：选取第二图像中的像素B；在第一图像中查找与该像素B匹配的像素B’；依据该像素B’在第一图像的位置、像素B在第二图像的位置、双目摄像头的空间参数，采用三角定位法确定像素B对应的实际物理位置；依据实际物理位置与像素B位置的距离，计算得到第二图像的像素B的深度值；依次计算第二图像中的剩余像素的深度值；依据第二图像中像素的深度值绘制第二深度图。
其中，该双目摄像头的空间参数包括：两个摄像头中心点的距离等参数。
需要说明的是，本实施例中提供了一种计算每个图像的深度图的方式，但实际实施中不限定于此，具体实施中，也可为其他方式，只要能够得到图像的深度图即可，本实施例中不做限制。
其中，第一计算单元1106，用于依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向。
其中，图像中每个像素具有其对应的深度值，而深度值为一个可比较的数值，将深度值的数值比较确定是否为同一个像素。
其中，第一计算单元1106预设有估计算法，一般的采用盲反褶积算法
具体的，可根据深度值一样的像素计算其运动方向，具体的计算方式在后续实施例中进行详细解释，本实施例不做详述。
综上，本实施例提供的一种图像处理装置中，基于预设的深度分析规则确定第一图像和第二图像对应的深度图，并且结合预设的预估算法，结合该深度图得到第一图像中的像素的第一运动方向和第二图像中像素的第二运动方向，以使得后续步骤结合该运动方向对模糊图像去模糊。采用该装置，结合图像的深度图，计算图像中像素的运动方向，进而对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
本申请提供的一种图像处理装置实施例3由以下结构实现：接收模块、计算模块、去模糊模块和组合模块；
其中，计算模块包括：第一分析单元和第一计算单元；
如图12，示出了本申请提供的一种图像处理装置实施例3中第一分析单元的结构示意图，该第一分析单元包括：第一选择子单元1201、查找子单元1202、第一计算子单元1203和绘制子单元1204；
其中，该接收模块、去模糊模块、组合模块、第一计算单元与实施例2中的相应结构功能一致，本实施例不再赘述。
其中，第一选择子单元1201，用于选取任一图像为第一基本图像，剩余的另一图像为第一参考图像，并在所述第一基本图像中选取一像素；
其中，第一选择子单元1201在第一图像和第二图像中选择任一图像为第一基本图像，剩余的另一图像为第一参考图像，基于该第一基本图像和第一参考图像计算该第一基本图像中像素的运动方向。
其中，每个图像中包括若干的像素，在该第一基本图像中选择任意像素作为确定运动方向的基本像素。
需要说明的是，下述查找子单元1202、第一计算子单元1203为针对第一基本图像中的任一像素进行的确定其运动方向的计算。
其中，查找子单元1202，用于在所述第一参考图像中查找与所述像素匹配的对应像素；
其中，由于该第一基本图像和第一参考图像为一双目摄像头的两个摄像头采集的图像，二者具有一定的关联，该图像具有较小的角度区别，在两个图像中，针对同一拍摄对象具有相应的图像内容。
因此，查找子单元1202在该第一参考图像中可查找到与该选取的像素对应的像素，该对应的像素在第一参考图像中的位置与该选取的图像在第一基本图像中的位置具有一定的区别。
其中，该步骤具体过程包括：获取该第一基本图像中的任一像素，确定该像素对应的拍摄对象；依据该拍摄对象，在该参考图像中查找与该像素匹配的匹配像素，将该匹配像素记为该像素的对应像素。
具体的，与该像素匹配的匹配像素为针对同一拍摄对象(或者拍摄内容)该像素和对应像素匹配度大。
具体实施中，该确定像素匹配度的方式可以为首先该像素确定在第一基本图像中所在位置，依据该位置在第一参考图像中与查找分布位置接近的区域，然后根据为像素的色彩信息等各种与拍摄内容相关的信息对该区域中的各个像素与该第一基本图像中选取的像素进行比对，得到匹配度，匹配度最大的为与该选取的像素匹配的对应像素。
其中，第一计算子单元1203，用于依据所述像素在该第一基本图像中的位置、所述对应像素在所述第一参考图像中的位置、以及双目摄像头的空间参数，采用预设深度算法确定所述像素的深度值，并依次计算所述第一基本图像中剩余的每一像素的深度值；
其中，在该第一基本图像中选择该像素时，记录该像素的位置，如在该第一基本像素中的坐标位置。
其中，根据查找子单元1202中确定的对应像素，第一计算子单元1203确定其在第一参考图像中的位置，如在该第一参考图像中的坐标位置。
其中，预设有深度算法，根据该像素的位置、对应像素的位置以及双面摄像头的空间参数，计算得到该像素的实际物理位置，该像素的实际物理位置是指该像素对应的在三维空间中的位置。
图6所示的为计算像素实际物理位置的示意图，其中，C1和C2是双目摄像头的位置，图像601中x1是C1采集到的图像中的某一像素，图像602中x2是C2采集到的图像中的某一像素，该x1和x2是对拍摄对象X进行图像采集形成的像素内容，该X位于C1x1所在直线与C2x2所在直线的相交位置，该C1、C2之间距离已知，C1x1距离在选择该x1时确定，C2x2距离在确定该x2时确定，根据三角函数计算可以得到X与x1的距离以及X与x2的距离，依据该C1、C2、x1和x2坐标，即得到该像素的实际物理位置。
具体的，该实际物理位置为该像素内容到电子设备之间的距离，如图6中的X到C1C2中点的距离。
需要说明的是，当以C1C2所在直线为x轴且C1靠近C2方向为x轴正向，靠近X方向为y轴正向作xy坐标系时，可在确定X的坐标后，将该坐标作为该像素的实际物理位置。
需要说明的是，该像素的实际物理位置与图像602中x2的像素的实际物理位置一致，当以图像602为第一基本图像无需再次计算，只需根据该图像601计算得到的实际物理位置进行后续的计算即可。
其中，该像素的深度值是指该像素对应的拍摄对象与摄像头之间的距离。
具体的，已确定该像素对应的实际物理位置，根据该实际物理位置、以及其对应图像的摄像头的位置，即可计算得到该像素的实际物理位置与该摄像头之间的距离，计算得到该像素的深度值。
如图6中，当X到C1C2所在线段距离已知时，由于该C1C2之间距离已知，根据三角算法即可计算得到X与C1之间的距离，即得到该像素在该第一基本图像中的深度值。
其中，第一计算子单元1203针对第一基本图像中的任一像素计算得到其对应的深度值，依据该方式分布计算该第一基本图像中剩余的每一像素的深度值。
需要说明的是，当以第一图像为第一基本图像进行计算得到其中的每一个像素的深度值时，已经分别计算得到了该第一基本图像中的每个像素的深度，当以第二图像为第一基本图像进行计算时，如果该第一图像中有相匹配的像素时，直接以该相匹配的像素的实际物理位置进行计算，无需再次计算。
其中，绘制子单元1204，用于依据所述第一基本图像中每个像素的深度值绘制所述第一基本图像的深度图。
其中，上述第一计算子单元1204中已经确定了该第一基本图像中每个像素的深度值，绘制子单元1204依据该深度值绘制该第一基本图像的深度图。
具体的，以灰度的深浅绘制像素的深度，深度越大灰度越深。
如图7所示的，为与图2中第一图像对应的第一深度图。
其中，以第一图像为例，该步骤S502-507的过程具体包括：选取该第一图像的像素A；在该第二图像中查找与该第一像素匹配的像素A’；依据该第一图像的像素A位置、第二图像的像素A’位置、双目摄像头的空间参数，采用三角定位法确定该像素A对应的实际物理位置；依据该实际物理位置与该像素A位置的距离，计算得到该像素A的深度值；依次计算该第一图像中的剩余像素的深度值；依据该第一图像中像素的深度值绘制第一深度图。
其中，以第二图像为例，该步骤S502-507的过程具体包括：选取该第二图像中的像素B；在该第一图像中查找与该像素B匹配的像素B’；依据该第一图像的像素B位置、第二图像的像素B’位置、双目摄像头的空间参数，采用三角定位法确定该像素B对应的实际物理位置；依据该实际物理位置与该第二图像的像素B位置的距离，计算得到该第二图像的像素B的深度值；依次计算该第二图像中的剩余像素的深度值；依据该第二图像中像素的深度值绘制第二深度图。
综上，本实施例提供的一种图像处理装置中，依次对图像中的每个像素的深度值进行了计算，并绘制得到图像的深度图，为后续的依据深度图确定图像中像素的运动方向，进而对图像进行去模糊，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该装置，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
本申请提供的一种图像处理装置实施例4由以下结构实现：接收模块、计算模块、去模糊模块和组合模块；
其中，计算模块包括：第一分析单元和第一计算单元；
如图13，示出了本申请提供的一种图像处理装置实施例4中第一计算单元的结构示意图，该第一分析单元包括：第二选择子单元1301、确定子单元1302和第二计算子单元1303；
其中，该接收模块、组合模块、第一分析单元与实施例2中的相应结构功能一致，本实施例不再赘述。
其中，第二选择子单元1301，用于选定任一图像为第二基本图像，将所述图像对应的深度图记为基本深度图；
其中，第二选择子单元1301在第一图像和第二图像中选择任一图像为第二基本图像，并且将选择的图像对应的深度图记为基本深度图，后续基于该第二基本图像及其对应的基本深度图计算该第二基本图像中像素的运动方向。
需要说明的是，下述步骤S804-805为针对第二基本图像中的任一像素进行的确定其运动方向的计算过程。
其中，确定子单元1302，用于依据所述基本深度图，确定所述第二基本图像中深度值相同的像素以及所述像素的位置；
其中，由于实际的图像模糊的原理是由于深度的不同模糊的运动方向不同，因此，本实施例中根据深度值来计算运动方向，具体的在深度值一样的像素上计算其运动方向。
具体的，确定子单元1302根据该基本深度图，确定其中深度值相同的像素以及该像素的位置，其中，该深度值相同的像素组成了同一深度值的像素组，该像素组中包含有多个像素。
其中，第二计算子单元1303，用于依据预设的估计运动方向算法，以及所述第二基本图像中深度值相同的像素位置信息，计算得到所述像素的运动方向，并依次计算所述第二基本图像中剩余像素的运动方向。
其中，该预估运动方向算法采用盲反褶积算法。
具体的，基于对图像模型统计特性的分析以及模糊图像和非模糊图像的梯度分布，确定一种基于梯度分布模型的去模糊算法。其中，自然清清晰的图像符合特定的重尾分布规则，而模糊图像不符合该规则，据此，建立观测图像情况下原始图像和模糊核的联合后验概率，将该后验概率最大化，得到模糊核，该模糊核代表了该像素的运行方向。
其中，类似的，计算该第二基本图像中剩余像素的方向。
图9所示，为图7所示深度图的运动方向示意图，图中黑框中标示出的曲线为该深度图的运动方向。
相应的，去模糊模块具体用于：依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
其中，第二计算子单元1303依据预设的模糊算法，与中计算得到的模糊核以及该第一图像，分别对该第一图像中的每个像素进行反卷积计算取去模糊，得到清晰的图像，同理，分别对该第二图像中的每个像素进行反卷积计算取去模糊，得到清晰的图像。
例如，已知一模糊图像P(x,y)，需要依据该模糊图像计算其对应的清晰图像为图像I(x,y)，两个图像的关系为P(x,y)＝I(x,y)*K。
其中，*表示卷积，K为模糊核。
将方程转化为：
I(x,y)＝argmin||P(x,y)-I(x,y)*K||2+||I(x,y)||2。
采用ROF的解法解决上述的方程，完成对模糊图像的去模糊，得到清晰图像。
具体的，该ROF解法为现有技术中已知的一种算法解法，本申请中不做赘述。
综上，本实施例中提供的一种图像处理装置中，首先依据预设的估计运动方向算法，结合每个图像的深度图确定图像的运动方向，进而结合该运动方向对图像去模糊，然后将完成去模糊的图像进行组合，得到清晰的立体视角图像，采用该装置，对拍摄过程中产生的模糊图像进行去模糊处理，能够弱化由于移动等原因导致的模糊情况，最终得到的图像清晰度与处理前相比较高，成像效果好。
与上述本申请提供的一种图像处理装置实施例相应的，本申请还提供了一种电子设备，该电子设备具有双目摄像头和如上述任一实施例所述的图像处理装置。
其中，该图像处理装置包括：接收模块、计算模块、去模糊模块和组合模块，该图像处理装置的各个组成模块的功能与上述的一种图像处理装置实施例中相应结构的功能一致，本实施例中不再赘述。
优选的，所述计算模块包括：第一分析单元和第一计算单元，该图像处理装置的各个组成模块的功能与上述的一种图像处理装置实施例中相应结构的功能一致，本实施例中不再赘述。
优选的，所述第一分析单元包括：第一选择子单元、查找子单元、第一计算子单元和绘制子单元，该图像处理装置的各个组成模块的功能与上述的一种图像处理装置实施例中相应结构的功能一致，本实施例中不再赘述。
优选的，所述第一计算单元包括：第二选择子单元、确定子单元和第二计算子单元，该图像处理装置的各个组成模块的功能与上述的一种图像处理装置实施例中相应结构的功能一致，本实施例中不再赘述。
优选的，所述去模糊模块具体用于：依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所提供的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种图像处理方法，其特征在于，所述方法应用于具备有双目摄像头的电子设备，包括：
分别接收双目摄像头采集的第一图像和第二图像；
依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向；
依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像；
其中，所述第三图像的清晰度高于所述第一图像，所述第四图像的清晰度高于所述第二图像。
2.根据权利要求1所述的方法，其特征在于，所述依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向包括：
依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向。
3.根据权利要求2所述的方法，其特征在于，所述依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图，包括：
选取任一图像为第一基本图像，剩余的另一图像为第一参考图像；
在所述第一基本图像中选取一像素；
在所述第一参考图像中查找与所述像素匹配的对应像素；
依据所述像素在该第一基本图像中的位置、所述对应像素在所述第一参考图像中的位置、以及双目摄像头的空间参数，采用预设深度算法确定所述像素的深度值；
依次计算所述第一基本图像中剩余的每一像素的深度值；
依据所述第一基本图像中每个像素的深度值绘制所述第一基本图像的深度图。
4.根据权利要求2所述的方法，其特征在于，所述依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向包括：
选定任一图像为第二基本图像，将所述图像对应的深度图记为基本深度图；
依据所述基本深度图，确定所述第二基本图像中深度值相同的像素以及所述像素的位置；
依据预设的估计运动方向算法，以及所述第二基本图像中深度值相同的像素位置信息，计算得到所述像素的运动方向；
依次计算所述第二基本图像中剩余像素的运动方向。
5.根据权利要求4所述的方法，其特征在于，所述依据预设去模糊算法、所述第一运动方向和所述第二运动方向，分别对所述第一图像去模糊和所述第二图像去模糊，分别得到第三图像和第四图像，具体包括：
依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；
依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
6.一种图像处理装置，其特征在于，所述装置应用于具备有双目摄像头的电子设备，包括：
接收模块，用于分别接收双目摄像头采集的第一图像和第二图像；
计算模块，用于依据预设运动算法，分别计算所述第一图像和所述第二图像的运动方向；
去模糊模块，用于依据预设的去模糊规则结合所述运动方向，分别对所述第一图像和第二图像去模糊，分别得到相应的第三图像和第四图像；
组合模块，用于依据预设组合规则，将所述第三图像和第四图像组合，得到第五图像；
其中，所述第三图像的清晰度高于所述第一图像，所述第四图像的清晰度高于所述第二图像。
7.根据权利要求6所述的装置，其特征在于，所述计算模块包括：
第一分析单元，用于依据预设深度分析规则，分析所述第一图像和第二图像，分别得到对应的第一深度图和第二深度图；
第一计算单元，用于依据预设估算算法，对所述第一深度图和第二深度图进行估算，分别得到所述第一图像中像素的第一运动方向和所述第二图像中像素的第二运动方向。
8.根据权利要求7所述的装置，其特征在于，所述第一分析单元包括：
第一选择子单元，用于选取任一图像为第一基本图像，剩余的另一图像为第一参考图像，并在所述第一基本图像中选取一像素；
查找子单元，用于在所述第一参考图像中查找与所述像素匹配的对应像素；
第一计算子单元，用于依据所述像素在该第一基本图像中的位置、所述对应像素在所述第一参考图像中的位置、以及双目摄像头的空间参数，采用预设深度算法确定所述像素的深度值，并且依次计算所述第一基本图像中剩余的每一像素的深度值；
绘制子单元，用于依据所述第一基本图像中每个像素的深度值绘制所述第一基本图像的深度图。
9.根据权利要求7所述的装置，其特征在于，所述第一计算单元包括：
第二选择子单元，用于选定任一图像为第二基本图像，将所述图像对应的深度图记为基本深度图；
确定子单元，用于依据所述基本深度图，确定所述第二基本图像中深度值相同的像素以及所述像素的位置；
第二计算子单元，用于依据预设的估计运动方向算法，以及所述第二基本图像中深度值相同的像素位置信息，计算得到所述像素的运动方向，并依次计算所述第二基本图像中剩余像素的运动方向。
10.根据权利要求9所述的装置，其特征在于，所述去模糊模块具体用于：
依据所述第一运动方向和预设的模糊核模型，对所述第一图像的像素进行反卷积计算去模糊，得到完成去模糊的第三图像；
依据所述第二运动方向和预设的模糊核模型，对所述第二图像的像素进行反卷积计算去模糊，得到完成去模糊的第四图像。
11.一种电子设备，其特征在于，包括：双目摄像头和如权利要求6-10任一项所述的图像处理装置。
CN201410497963.7A 2014-09-25 2014-09-25 一种图像处理方法、装置和电子设备 Active CN105516579B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410497963.7A CN105516579B (zh) 2014-09-25 2014-09-25 一种图像处理方法、装置和电子设备
US14/615,010 US9613404B2 (en) 2014-09-25 2015-02-05 Image processing method, image processing apparatus and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410497963.7A CN105516579B (zh) 2014-09-25 2014-09-25 一种图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN105516579A true CN105516579A (zh) 2016-04-20
CN105516579B CN105516579B (zh) 2019-02-05

Family

ID=55584991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410497963.7A Active CN105516579B (zh) 2014-09-25 2014-09-25 一种图像处理方法、装置和电子设备

Country Status (2)

Country Link
US (1) US9613404B2 (zh)
CN (1) CN105516579B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683174A (zh) * 2016-12-23 2017-05-17 上海斐讯数据通信技术有限公司 双目视觉系统的三维重建方法、装置及双目视觉系统
CN108537786A (zh) * 2018-03-30 2018-09-14 百度在线网络技术（北京）有限公司 用于处理图像方法和装置
CN109829863A (zh) * 2019-01-22 2019-05-31 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111656776A (zh) * 2018-01-30 2020-09-11 索尼公司 图像处理器、图像处理方法和程序

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
KR101801749B1 (ko) * 2016-08-24 2017-11-28 한국과학기술연구원 3차원 복원을 위한 다중시점 영상 디블러링 방법, 이를 수행하기 위한 기록 매체 및 장치
CN107958440A (zh) * 2017-12-08 2018-04-24 合肥工业大学 在gpu上实现双鱼眼图像实时全景图像拼接方法及系统
CN109544611B (zh) * 2018-11-06 2021-05-14 深圳市爱培科技术股份有限公司 一种基于bit特征的双目视觉立体匹配方法及系统
CN111445404B (zh) * 2020-03-23 2024-06-25 上海数迹智能科技有限公司 一种基于双频和概率模型的相位去模糊方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277454A (zh) * 2008-04-28 2008-10-01 清华大学 一种基于双目摄像机的实时立体视频生成方法
CN102034247A (zh) * 2010-12-23 2011-04-27 中国科学院自动化研究所 一种基于背景建模对双目视觉图像的运动捕捉方法
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法
US20120320152A1 (en) * 2010-03-12 2012-12-20 Sang Won Lee Stereoscopic image generation apparatus and method
WO2014074138A1 (en) * 2012-11-09 2014-05-15 Nikon Corporation Globally dominant point spread function estimation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011079376A1 (en) * 2010-01-03 2011-07-07 Sensio Technologies Inc. Method and system for detecting compressed stereoscopic frames in a digital video signal
US8648918B2 (en) * 2010-02-18 2014-02-11 Sony Corporation Method and system for obtaining a point spread function using motion information
US8428390B2 (en) * 2010-06-14 2013-04-23 Microsoft Corporation Generating sharp images, panoramas, and videos from motion-blurred videos
US9503645B2 (en) * 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US9076205B2 (en) * 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277454A (zh) * 2008-04-28 2008-10-01 清华大学 一种基于双目摄像机的实时立体视频生成方法
US20120320152A1 (en) * 2010-03-12 2012-12-20 Sang Won Lee Stereoscopic image generation apparatus and method
CN102034247A (zh) * 2010-12-23 2011-04-27 中国科学院自动化研究所 一种基于背景建模对双目视觉图像的运动捕捉方法
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法
WO2014074138A1 (en) * 2012-11-09 2014-05-15 Nikon Corporation Globally dominant point spread function estimation

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683174A (zh) * 2016-12-23 2017-05-17 上海斐讯数据通信技术有限公司 双目视觉系统的三维重建方法、装置及双目视觉系统
CN111656776A (zh) * 2018-01-30 2020-09-11 索尼公司 图像处理器、图像处理方法和程序
US11386527B2 (en) 2018-01-30 2022-07-12 Sony Corporation Image processor and imaging processing method
CN108537786A (zh) * 2018-03-30 2018-09-14 百度在线网络技术（北京）有限公司 用于处理图像方法和装置
CN108537786B (zh) * 2018-03-30 2020-11-24 百度在线网络技术（北京）有限公司 用于处理图像方法和装置
CN109829863A (zh) * 2019-01-22 2019-05-31 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109829863B (zh) * 2019-01-22 2021-06-25 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
US9613404B2 (en) 2017-04-04
CN105516579B (zh) 2019-02-05
US20160093028A1 (en) 2016-03-31

Similar Documents

Publication Publication Date Title
CN105516579A (zh) 一种图像处理方法、装置和电子设备
EP3099056B1 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
CN114245905A (zh) 深度感知照片编辑
CN113574863A (zh) 使用深度信息渲染3d图像的方法和系统
CN106997579B (zh) 图像拼接的方法和装置
Im et al. High quality structure from small motion for rolling shutter cameras
CN105376484A (zh) 一种图像处理方法及终端
JP7032871B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20180198970A1 (en) High dynamic range imaging using camera arrays
CN109661815B (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
CN105809664B (zh) 生成三维图像的方法和装置
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
US10764500B2 (en) Image blur correction device and control method
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
CN109448117A (zh) 图像渲染方法、装置及电子设备
JP6486603B2 (ja) 画像処理装置
Wang et al. Panoramic image mosaic based on SURF algorithm using OpenCV
CN104182940A (zh) 一种模糊图像恢复方法及系统
CN104754316A (zh) 一种3d成像方法、装置及成像系统
JP6305232B2 (ja) 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP6168597B2 (ja) 情報端末装置
JP2008203538A (ja) 画像表示システム
CN114007056A (zh) 一种立体全景图像的生成方法和装置
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN109379577B (zh) 一种虚拟视点的视频生成方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant