CN102436639B - 一种去除图像模糊的图像采集方法和图像采集系统 - Google Patents

一种去除图像模糊的图像采集方法和图像采集系统 Download PDF

Info

Publication number
CN102436639B
CN102436639B CN2011102582291A CN201110258229A CN102436639B CN 102436639 B CN102436639 B CN 102436639B CN 2011102582291 A CN2011102582291 A CN 2011102582291A CN 201110258229 A CN201110258229 A CN 201110258229A CN 102436639 B CN102436639 B CN 102436639B
Authority
CN
China
Prior art keywords
image
depth
camera
point
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011102582291A
Other languages
English (en)
Other versions
CN102436639A (zh
Inventor
戴琼海
岳涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN2011102582291A priority Critical patent/CN102436639B/zh
Publication of CN102436639A publication Critical patent/CN102436639A/zh
Application granted granted Critical
Publication of CN102436639B publication Critical patent/CN102436639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种去除图像模糊的图像采集方法和图像采集系统,所述方法包括以下步骤:获取由深度相机采集的深度图像和彩色相机采集的彩色图像;基于深度图像上每个点的深度值得出彩色图像上每个点的深度值;对彩色图像进行分块,估计每个图像块的模糊核,基于每个图像块上每个点的深度值确定每个图像块的模糊核的置信权值;基于置信权值和模糊核得到彩色相机在曝光时间内的运动在高维运动空间的初始分布;通过将初始分布作为相机运动的先验分布代入贝叶斯公式,求取使对应的后验分布最大化的图像,作为清晰图像。本发明的方法和系统,适用于具有大深度范围的光线不足场景的图像采集与去模糊应用,提高了算法的收敛速度和鲁棒性。

Description

一种去除图像模糊的图像采集方法和图像采集系统
技术领域
本发明涉及计算机视觉及计算摄像学领域,具体涉及三维场景感知、多视图几何以及图像去模糊技术。
背景技术
随着数字摄像设备的发展及广泛应用,消费级摄像器材的价格大幅度降低,但这些摄像器材一般都缺乏良好的防抖动技术。使用这类摄像器材的消费者一般不具备较为专业的摄影技术,因而造成拍摄到得大量的图片由于拍摄时的不慎操作而发生模糊。
消除由于相机抖动造成的图像模糊是一种图像处理增强技术,针对这一问题,大量的图像去模糊算法被提出,这些算法大多假设图像具有全局一致的模糊核。全局一致模糊的假设有效的减少了未知数的个数,降低了盲去模糊算法的病态性,然而实际上这一假设并不能很好的描述图像的模糊过程。由于相机的实际投影模型并非正交投影,图像中各点的模糊核与相机在曝光时间内的实际运动轨迹和该点的三维坐标位置有关。对于大深度范围的场景,平移运动的相机产生的模糊在不同的深度区域往往具有很大的差别。因而对于该类问题,需要放弃全局一致模糊假设,根据图像的深度信息以及透视投影模型约束图像上各点的模糊核之间的关系。
深度相机是一种场景三维结构信息的获取装置,与传统的激光扫描仪等装置类似,都是非接触式的三维信息获取设备。不同的是,深度相机可以同时对视角内的整个场景的深度信息进行成像,而不需要使用扫描的方式来获取整个场景的深度信息,因而其可以被用于动态场景的深度估计等应用中。深度相机采用类似于雷达的原理,其对场景发射红外光,通过反射回的红外光获取相位差,通过相位差对场景的深度进行估计。可见,深度相机的工作不依赖于环境光,适用于光线不足的场景中。而对光线不足的场景进行常规拍照时,为了弥补光照的不足往往要延长曝光时间来保证足够的通光量和信噪比。如果没有三角架等专业摄影辅助器材,便容易发生相机抖动,造成拍摄图像的模糊。
深度相机可以在光线不足的拍摄场景中提供可靠的场景三维几何信息,从而为使用深度相关的图像去模糊方法提供必要的深度信息,但目前还没有一种基于上述技术的图像去模糊技术。
发明内容
本发明的目的在于提供一种基于有深度相机和普通彩色相机组成的混合采集系统的图像去模糊方法和图像采集系统。
为了解决上述技术问题,本发明提供了一种去除图像模糊的图像采集方法,其特征在于,包括以下步骤:步骤1,针对同一场景获取由深度相机采集的深度图像和彩色相机采集的彩色图像;步骤2,基于所述深度图像上每个点的深度值得出所述彩色图像上对应的每个点的深度值;步骤3,对所述彩色图像进行分块以形成图像块,估计每个图像块的模糊核,基于所述每个图像块上每个点的深度值确定所述每个图像块的模糊核的置信权值;步骤4,基于所述置信权值和所述模糊核得到彩色相机在曝光时间内的运动在高维运动空间的初始分布;步骤5,通过将所述初始分布作为相机运动的先验分布代入贝叶斯公式,求取使对应的后验分布最大化的图像,作为针对彩色图像的去除图像模糊处理的处理结果的清晰图像。
进一步,该方法还包括,在所述步骤1中,所述彩色相机采用长曝光方式采集彩色图像信息,所述深度相机的曝光时间处于彩色相机曝光时间段的中间区域。
进一步,该方法还包括,在所述步骤2中,先将所述深度图像进行坐标变换以与所述彩色图像的视角相同,再基于所述深度图像上点的深度得出所述彩色图像上相应点的深度。
进一步,该方法还包括,在所述步骤3中,使用全局一致图像盲去模糊算法估计所述模糊核。
进一步,该方法还包括,在所述步骤3中,根据所述图像块的纹理丰富程度和对应的深度图像的一致程度来确定所述模糊核的置信权值。
进一步,该方法还包括,在所述步骤5中,通过优化目标函数E来获得最大化的后验分布,所述优化目标函数E为:
其中,B是彩色图像,I是待求清晰图像,M是彩色相机运动,MοI为清晰图像I在彩色相机运动为M是预测得到模糊图像,
Figure BDA0000088488180000032
为待求清晰图像的梯度,f(M)为彩色相机运动M在上述步骤中求得的彩色相机高维运动中的初始分布,λ1,λ2分别为目标函数中关于图像先验和彩色相机运动参数先验的权值,求取使E为最小值时的I作为对彩色图像进行去除图像模糊处理的处理结果。
进一步,该方法还包括,使用Levenberg-Marquardt优化算法获得最大化的后验分布。
本发明还提供了一种图像采集系统,其特征在于,包括:图像采集单元,其针对同一场景获取由深度相机采集的深度图像和彩色相机采集的彩色图像;深度值获取单元,其基于所述深度图像上每个点的深度值得出所述彩色图像上对应的每个点的深度值;模糊核估计单元,其对所述彩色图像进行分块以形成图像块,估计每个图像块的模糊核,基于所述每个图像块上每个点的深度值确定所述每个图像块的模糊核的置信权值;初始分布单元,其基于所述置信权值和所述模糊核得到彩色相机在曝光时间内的运动在高维运动空间的初始分布;清晰化单元,其通过将所述初始分布作为相机运动的先验分布代入贝叶斯公式,求取使对应的后验分布最大化的图像,作为针对彩色图像的去除图像模糊处理的处理结果的清晰图像。
进一步,该系统还包括,在所述图像采集单元中,所述彩色相机采用长曝光方式采集彩色图像信息,所述深度相机的曝光时间处于彩色相机曝光时间段的中间区域。
进一步,该系统还包括,其特征在于,在所述深度值获取单元中,还包括坐标变换子单元,其将所述深度图像进行坐标变换以与所述彩色图像的视角相同
与现有技术相比,本发明具有以下优点:
本发明采用深度相机和彩色相机组成的混合相机图像采集系统同时采集彩色图像和场景深度信息,利用深度相机使用主动红外光源而不依赖环境光的特点,使得本混合相机采集系统适用于具有大深度范围的光线不足场景的图像采集与去模糊应用。
进一步,本发明采用参数空间反变换方法,将分块图像求得的二维图像模糊核反投影至图像高维投影空间,根据图像块纹理丰富程度和深度一致性确定置信权值,通过加权叠加,得到相机在曝光时间内的运动轨迹的概率分布。将该概率分布作为相机运动的先验分布应用于最大化后验分布的优化可以大大提高算法的收敛速度和鲁棒性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是根据本发明实施例一的去除图像模糊的图像采集方法的流程图;
图2是根据本发明实施例二的图像采集系统的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
图1为根据本发明实施例一的去除图像模糊的图像采集方法的流程图。
步骤S110,获取由深度相机采集的场景的深度图像信息和彩色相机采集的彩色图像信息。
在本实施例中,优选使用型号为Mesa Imaging SR 4000的相机作为深度相机,使用型号为Point Gray FL280S2C的相机作为彩色相机,以组成混合相机采集系统同时采集场景的深度图像信息和RGB彩色图像信息,其中深度图像信息为表示场景三维几何结构的信息。
进一步,深度相机和彩色相机平行固定于底座上,两相机尽可能靠近布置,以使两相机采集得到的图像尽可能相近。
在光线不足的环境中,彩色相机为了获得足够的通光亮和信噪比,可以优选地采用长曝光时间的曝光方案来获取图像。
深度相机由于拍摄质量不受环境光照的影响,可以优选地采用正常的曝光时间,通过编程控制来确保深度相机的曝光时间处于彩色相机曝光时间段的中间区域。
步骤S120,基于所述深度图像上每个点的深度值得出所述彩色图像上对应的每个点的深度值。
在步骤S110中采集到的深度图像和彩色图像的视角是不同的,为了将二者进行关联,首先需要将视角进行统一。在本实施例中,对采集得到的深度图像进行坐标变换,将其校正到彩色相机对应的视角。
进行坐标变换时,需要确定相机校正矩阵,具体的:首先在墙壁或平面场景之前布置若干规则的立方体,使用上述混合相机采集系统同时采集场景彩色图像信息和深度信息,手工在彩色图像和深度图中标定出各立方体的顶点,作为匹配对应点集
Figure BDA0000088488180000051
其中为彩色图像上对应点坐标,
Figure BDA0000088488180000053
是深度图像上对应点坐标,i=1,2...n,坐标均为三维坐标,都采用齐次坐标表示。图像之间可以用Homography变换描述,因此对每对对应点有:
x i d = Hx i c - - - ( 1 )
其中的矩阵H为3×3的变换矩阵,其作为相机校正矩阵,可以通过对之前手工标定得到的对应点采用DLT(直接线性变换)算法估计得到。
根据得到的相机校正矩阵H,将深度图像变换为与彩色图像同一视角。
进一步,对于彩色图像上的每一点x,其深度d(x)可以由下式计算得到:
d(x)=D(Hx)   (2)
其中D(Hx)为深度图像上坐标为Hx的点的深度值。
步骤S130,对彩色图像进行分块以形成图像块,估计每个图像块的模糊核,基于每个图像块上每个点的深度值确定所述每个图像块的模糊核的置信权值。
在本步骤中,对彩色图像进行分块以得到若干图像块,优选地根据彩色图像的模糊程度确定图像块的大小,确保图像块的尺寸比图像模糊核的预计尺寸大3倍以上。同时确保两个相邻的图像块之间有一半以上面积的交叠区域。
优选的,对所有的图像块,分别使用现有全局一致图像盲去模糊算法估计其模糊核。此处的全局一致图像盲去模糊算法可以是现有的任意一种可以根据模糊图像估计全局一致模糊核的盲去模糊算法,优选的,可以采用Fergus等人在Siggraph 2006上发表的Removing camera shake from a singlephotograph中提到的算法。
根据该图像块的纹理丰富程度和对应的进行坐标变换后的深度图像的一致程度来确定该模糊核的置信度,该置信度也称为置信权值。图像深度的一致程度采用图像块区域内所有像素所对应的深度标准差的倒数来度量,公式如下:
Con d ( I ) = 1 1 n Σ ( d ( x ) - d ‾ ( x ) ) 2 - - - ( 3 )
其中,Cond(I)为图像块I的深度一致程度,d(x)为像素深度值,为像素深度均值,n为像素数。
图像块的纹理丰富程度则根据图像块中所与像素的对应Harris角点度量的平均值
Figure BDA0000088488180000072
作为度量准则,Harris角点度量为Harris角点检测算法中采用的度量,用来度量图像块中的一个点及其邻域出现角点的可能性值。其公式如下:
R(I)=det(M)-k·(trace(M))2          (4)
其中,R(I)为图像块I中的一个点及其邻域出现角点的可能性值,k为一个经验常数,一般取0.04-0.06,M为3x3矩阵,可以根据图像梯度计算得到,计算公式为:
M = ∂ x I 2 ∂ x I ∂ y I ∂ x I ∂ y I ∂ y I 2 - - - ( 5 )
故该图像块的模糊核的置信权值C(I)可以表示为上述两度量准则的乘积,公式如下:
C(I)=Cond(I)·R(I)            (6)
步骤S140,基于所述置信权值和所述模糊核得到彩色相机在曝光时间内的运动在高维运动空间的初始分布。
本步骤中所指的高维运动空间为6维运动空间。相机作为刚体具有6个运动自由度,包括三个坐标轴上的平移自由度(Tx,Ty,Tz)和围绕三个坐标轴的旋转自由度(θx,θy,θz)。彩色相机在曝光时间内的运动为6维运动空间的一条连续轨迹,而图像模糊核可以看成是相机在6维运动空间中的运动轨迹的2维投影。将图像上不同区域求得的模糊核反投影回6维运动空间并加权累加,得到相机运动在6维运动空间中的一个大致分布。
在步骤S130中求得的每一个图像块的模糊核可以看作是彩色相机实际高维运动的一个二维投影,高维运动是指相机在上述6维运动空间中的运动轨迹。将每一图像块的模糊核,反投影回彩色相机的高维运动空间。根据之前得到置信权值在彩色相机的高维空间进行加权累加,得到彩色相机高维运动的初始分布,这里的相机运动的初始分布是指根据各图像块所求得的模糊核估计得到的相机在整个六维运动空间中的一个运动分布情况。出于离散化表示的需要,运动空间每个维度有n个采样点,n根据模糊图的大小确定一般取20。因此初始分布为一个大小为n6的数组。其每个点上的数值表示了相机在运动过程中出现该姿态的概率大小。
具体的,对高维运动空间中的每一个离散采样点(Tx,Ty,Tz,θx,θy,θz),其在第i块图像的模糊核上的投影坐标为:
xi=K[R(θx,θy,θz)|T(Tx,Ty,Tz)]Xi      (7)
将其在所有图像块的模糊核上的投影点对应的灰度值keri(xi)加权累加,得到对应的概率密度f,计算公式为:
f ( T x , T y , T z , θ x , θ y , θ z ) = Σ i = 1 N C i ( I ) ker i ( x ) - - - ( 8 )
其中N为图像块的个数,Ci(I)为每块图像对应的置信权值,keri(·)为根据第i块图像估计得到的模糊核。
其中,X为图像块中心点的三维空间坐标,R(θx,θy,θz),T(Tx,Ty,Tz)分别为旋转矩阵和平移向量,K为相机的内参矩阵,可以实现通过标定算法标定得到。其具体计算方法如下:
R = e 0 - θ z θ y θ z 0 - θ x - θ y θ x 0 - - - ( 9 )
T=[Tx Ty Tz]T    (10)
步骤S150,将步骤140中得到的初始分布作为作为相机运动的先验分布代入贝叶斯公式,求取使对应的后验分布最大化的图像作为彩色图像去除图像模糊处理的处理结果的清晰图像。
将步骤S140中得到的初始分布作为先验分布,约束优化最大后验目标函数,使后验分布最大化,引导彩色相机运动参数在高维运动空间中的收敛过程。通过引入相机运动在6维运动空间中的初始分布作为先验分布的方式,可以加速优化过程的收敛并避免其陷入局部最优解。
优选的,使用求得的相机高维运动的初始分布作为后验分布中关于彩色相机运动的先验分布的概率项。
上述问题是一个经典的最大化后验分布的问题(MAP),其目的是为了求使得后验分布f(I,M|B)最大的清晰图像I和相机运动M。根据贝叶斯公式(由先验分布导出后验分布的公式),f(I,M|B)可以表达成下述连乘积形式:
f(I,M|B)∝f(B|I,M)f(I)f(M)                (11)
其中,f(B|I,M)是似然分布(likelihood),在高斯噪声假设下形式为:
Figure BDA0000088488180000091
其中δ为噪声方差,M是彩色相机运动,B是彩色图像,I是待求清晰图像,MοI为清晰图像I在彩色相机运动为M时预测得到模糊图像。。
f(I)为图像先验分布,一般采用图像梯度稀疏假设,其形式为:
f ( I ) = exp ( - | | ▿ I | | 0.8 ) - - - ( 13 )
其中,
Figure BDA0000088488180000093
为待求清晰图像的梯度。
f(M)为相机运动的先验分布,用之前求得的相机运动的初始分布作为f(M)带入贝叶斯公式。于是有:
Figure BDA0000088488180000094
为了计算方便,一般对上式取负对数,去掉常数项并将都除以第一项系数,得到目标函数E的表达公式如下:
Figure BDA0000088488180000095
其中,λ1,λ2分别为目标函数中关于图像先验和彩色相机运动参数先验的权值。最小化上式,就等价于最大化后验分布。
优选的,使用Levenberg-Marquardt优化算法对上述后验分布目标函数E进行优化,通过求取使上述后验分布目标函数最大的彩色相机运动参数轨迹来得出去模糊的清晰彩色图像。
Levenberg-Marquardt优化算法是一种迭代优化算法。在本实施例中,具体的,将E中的未知量分为两部分:图像I和彩色相机运动M,为了便于计算,分别固定其中的一个未知量并采用LM算法优化另一个,其迭代优化式为:
M t = M t - 1 + ( ∂ 2 E ∂ M 2 + μ k Iden ) - 1 ∂ E ∂ M - - - ( 16 )
I t = I t - 1 + ( ∂ 2 E ∂ I 2 + λ k Iden ) - 1 ∂ E ∂ I - - - ( 17 )
其中Iden为单位阵,μk,λk为迭代参数,t为迭代步数,用于确保矩阵
Figure BDA0000088488180000102
Figure BDA0000088488180000103
正定。因此在每步迭代计算之前,须首先检验μk,λk,若μk,λk无法使
Figure BDA0000088488180000104
Figure BDA0000088488180000105
正定,则令μk=4μk或λk=4λk。在每步结束后若μk,λk小于0.25,将其扩大4倍,若μk,λk大于0.75,将其缩小2倍。
通过Levenberg-Marquardt优化算法得出作为E的分量的图像I和彩色相机运动M的表达,求取使E为最小值时的I,作为去图像模糊结果的清晰图像
Figure BDA0000088488180000106
公式如下:
I ^ = min I E - - - ( 18 )
实施例二
图2为根据本发明实施例二的图像采集系统的结构示意图,下面根据图2详细说明该系统的组成。
该图像采集系统包括以下各单元:
图像采集单元,其针对同一场景获取由深度相机采集的深度图像信息和彩色相机采集的彩色图像信息。
在本实施例中,优选使用型号为Mesa Imaging SR 4000的相机作为深度相机,使用型号为Point Gray FL280S2C的相机作为彩色相机,以组成混合相机采集系统同时采集场景的深度图像信息和RGB彩色图像信息,其中深度图像信息为表示场景三维几何结构的信息。
进一步,深度相机和彩色相机平行固定于底座上,两相机尽可能靠近布置,以使两相机采集得到的图像尽可能相近。
在光线不足的环境中,彩色相机为了获得足够的通光亮和信噪比,可以优选地采用长曝光时间的曝光方案来获取图像。
深度相机由于拍摄质量不受环境光照的影响,可以优选地采用正常的曝光时间,通过编程控制来确保深度相机的曝光时间处于彩色相机曝光时间段的中心。
深度值获取单元,其基于该深度图像上每个点的深度值得出该彩色图像上对应的每个点的深度值。
优选的,该单元中还包括坐标变换子单元,其将深度图像进行坐标变换以与所述彩色图像的视角相同,以用于获得彩色图像的上每个点的深度值。
模糊核估计单元,其对该彩色图像进行分块以形成图像块,估计每个图像块的模糊核,基于该每个图像块上每个点的深度值确定该每个图像块的模糊核的置信权值。
初始分布单元,其基于该置信权值和该模糊核得到彩色相机在曝光时间内的运动在高维运动空间的初始分布。
清晰化单元,其将该初始分布作为相机运动的先验分布代入贝叶斯公式,求取使对应的后验分布最大化的图像作为彩色图像去除图像模糊处理的处理结果的清晰图像。
本实施例中的各单元也可以实现实施例一中相应的各步骤中优选的方案,在此不作赘述。
本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种去除图像模糊的图像采集方法,其特征在于,包括以下步骤:
步骤1,针对同一场景获取由深度相机采集的深度图像和彩色相机采集的彩色图像;
步骤2,基于所述深度图像上每个点的深度值得出所述彩色图像上对应的每个点的深度值;
步骤3,对所述彩色图像进行分块以形成图像块,估计每个图像块的模糊核,基于所述每个图像块上每个点的深度值确定所述每个图像块的模糊核的置信权值;
其中,在所述步骤3中,根据所述图像块的纹理丰富程度和对应的深度图像的一致程度来确定所述模糊核的置信权值,进一步根据以下表达式来计算置信权值:
C(I)=Cond(I)·R(I)
其中,Cond(I)为图像块I的深度一致程度,R(I)为图像块I中的一个点及其邻域出现角点的可能性值,所述图像深度的一致程度采用图像块区域内所有像素所对应的深度标准差的倒数来度量,所述图像块的纹理丰富程度则根据图像块中所有像素的对应Harris角点度量的平均值
Figure FDA00003510535600011
作为度量准则,Harris角点度量为Harris角点检测算法中采用的度量,用来度量图像块中的一个点及其邻域出现角点的可能性值;
步骤4,基于所述置信权值和所述模糊核得到彩色相机在曝光时间内的运动在高维运动空间的初始分布;
步骤5,通过将所述初始分布作为相机运动的先验分布代入贝叶斯公式,求取使对应的后验分布最大化的图像,作为针对彩色图像的去除图像模糊处理的处理结果的清晰图像。
2.根据权利要求1所述的方法,其特征在于,在所述步骤1中,所述彩色相机采用长曝光方式采集彩色图像信息,所述深度相机的曝光时间处于彩色相机曝光时间段的中间区域。
3.根据权利要求1所述的方法,其特征在于,在所述步骤2中,先将所述深度图像进行坐标变换以与所述彩色图像的视角相同,再基于所述深度图像上点的深度得出所述彩色图像上相应点的深度。
4.根据权利要求1所述的方法,其特征在于,在所述步骤3中,使用全局一致图像盲去模糊算法估计所述模糊核。
5.根据权利要求1所述的方法,其特征在于,在所述步骤5中,通过优化目标函数E来获得最大化的后验分布,所述优化目标函数E为:
E=||B-MоI||21||▽I||0.82log(f(M))
其中,B是彩色图像,I是待求清晰图像,M是彩色相机运动,MоI为清晰图像I在彩色相机运动为M是预测得到模糊图像,▽I为待求清晰图像的梯度,f(M)为彩色相机运动M在上述步骤中求得的彩色相机高维运动中的初始分布,λ1,λ2分别为目标函数中关于图像先验和彩色相机运动参数先验的权值,求取使E为最小值时的I作为对彩色图像进行去除图像模糊处理的处理结果。
6.根据权利要求5所述的方法,其特征在于,使用Levenberg-Marquardt优化算法获得最大化的后验分布。
CN2011102582291A 2011-09-02 2011-09-02 一种去除图像模糊的图像采集方法和图像采集系统 Active CN102436639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011102582291A CN102436639B (zh) 2011-09-02 2011-09-02 一种去除图像模糊的图像采集方法和图像采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011102582291A CN102436639B (zh) 2011-09-02 2011-09-02 一种去除图像模糊的图像采集方法和图像采集系统

Publications (2)

Publication Number Publication Date
CN102436639A CN102436639A (zh) 2012-05-02
CN102436639B true CN102436639B (zh) 2013-12-04

Family

ID=45984684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011102582291A Active CN102436639B (zh) 2011-09-02 2011-09-02 一种去除图像模糊的图像采集方法和图像采集系统

Country Status (1)

Country Link
CN (1) CN102436639B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800054B (zh) * 2012-06-28 2014-10-29 西安电子科技大学 基于稀疏性度量的图像盲去模糊方法
CN105590294B (zh) * 2014-11-18 2019-02-05 联想(北京)有限公司 一种图像处理方法和电子设备
CN104504667B (zh) * 2014-12-18 2017-08-29 北京智谷睿拓技术服务有限公司 图像处理方法及装置
CN104537618B (zh) * 2014-12-24 2018-01-16 浙江宇视科技有限公司 图像处理方法及装置
CN107784631B (zh) * 2016-08-24 2020-05-05 深圳市豪恩安全科技有限公司 图像去模糊方法及装置
CN106709516B (zh) * 2016-12-19 2020-05-12 电子科技大学 一种基于朴素贝叶斯方法的模糊图像检测方法
US10009554B1 (en) * 2017-02-24 2018-06-26 Lighthouse Ai, Inc. Method and system for using light emission by a depth-sensing camera to capture video images under low-light conditions
WO2018209603A1 (zh) * 2017-05-17 2018-11-22 深圳配天智能技术研究院有限公司 图像处理方法、图像处理设备及存储介质
CN107289910B (zh) * 2017-05-22 2020-06-19 上海交通大学 一种基于tof的光流定位系统
CN107403414B (zh) * 2017-07-14 2018-11-02 华中科技大学 一种利于模糊核估计的图像区域选择方法和系统
CN108335268B (zh) * 2018-01-05 2021-09-07 广西师范大学 一种基于盲解卷积的彩色图像去模糊的方法
CN111275625B (zh) * 2018-12-04 2023-08-04 杭州海康机器人股份有限公司 一种图像去模糊方法、装置及电子设备
CN111246089B (zh) * 2020-01-14 2021-09-28 Oppo广东移动通信有限公司 抖动补偿方法和装置、电子设备、计算机可读存储介质
CN112887605B (zh) * 2021-01-26 2022-09-30 维沃移动通信有限公司 图像防抖方法、装置及电子设备
CN114339064B (zh) * 2021-12-03 2023-06-23 南京仙电同圆信息科技有限公司 一种基于熵权图像梯度的贝叶斯优化曝光控制方法
CN117745563B (zh) * 2024-02-21 2024-05-14 深圳市格瑞邦科技有限公司 一种双摄像头结合的平板电脑增强显示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1223551A2 (en) * 2000-12-07 2002-07-17 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
CN101452575A (zh) * 2008-12-12 2009-06-10 北京航空航天大学 一种基于神经网络的图像自适应增强方法
CN101901473A (zh) * 2009-05-31 2010-12-01 汉王科技股份有限公司 单帧图像自适应去雾增强方法
CN101930603A (zh) * 2010-08-06 2010-12-29 华南理工大学 中高速传感器网络图像数据融合的方法
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1223551A2 (en) * 2000-12-07 2002-07-17 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
CN101452575A (zh) * 2008-12-12 2009-06-10 北京航空航天大学 一种基于神经网络的图像自适应增强方法
CN101901473A (zh) * 2009-05-31 2010-12-01 汉王科技股份有限公司 单帧图像自适应去雾增强方法
CN101930603A (zh) * 2010-08-06 2010-12-29 华南理工大学 中高速传感器网络图像数据融合的方法
CN102073993A (zh) * 2010-12-29 2011-05-25 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置

Also Published As

Publication number Publication date
CN102436639A (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
CN102436639B (zh) 一种去除图像模糊的图像采集方法和图像采集系统
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
US11830163B2 (en) Method and system for image generation
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US7929801B2 (en) Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
Yu et al. 3d reconstruction from accidental motion
JP5160643B2 (ja) 2次元画像からの3次元オブジェクト認識システム及び方法
US20120287247A1 (en) Methods and systems for capturing 3d surface geometry
US20150109418A1 (en) Method and system for three-dimensional data acquisition
WO2010061956A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
US9253415B2 (en) Simulating tracking shots from image sequences
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
CN102073993A (zh) 一种基于摄像机自标定的抖动视频去模糊方法和装置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
KR101745493B1 (ko) 깊이 지도 생성 장치 및 방법
CN112184603A (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
CN114697623A (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
US11523056B2 (en) Panoramic photographing method and device, camera and mobile terminal
KR101852085B1 (ko) 깊이 정보 획득 장치 및 깊이 정보 획득 방법
JP2006195790A (ja) レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム
CN117061868A (zh) 一种基于图像识别的自动拍照装置
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN112907680B (zh) 一种可见光与红外双光相机旋转矩阵自动校准方法
Habbecke et al. Laser brush: a flexible device for 3D reconstruction of indoor scenes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant