CN104754316B - 一种3d成像方法、装置及成像系统 - Google Patents
一种3d成像方法、装置及成像系统 Download PDFInfo
- Publication number
- CN104754316B CN104754316B CN201310754566.9A CN201310754566A CN104754316B CN 104754316 B CN104754316 B CN 104754316B CN 201310754566 A CN201310754566 A CN 201310754566A CN 104754316 B CN104754316 B CN 104754316B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- distance
- value
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
一种3D成像方法、装置及成像系统，所述方法包括：获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像为3D成像系统所拍摄的包含景深之外的景象的图像；基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离；基于所述像素点的第二距离确定高斯模板；基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理；基于锐化处理后的第一图像和第二图像获得3D图像。该方法可以实现清晰的3D成像效果，且不需要对成像系统设计专门的光学器件，适用于任何3D成像系统，且不需要对多幅图像进行融合处理，实现简单，硬件成本低。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种3D成像方法、装置及成像系统。
背景技术
景深（DOF，Depth of field）是指成像设备在聚焦点前后能够获得清晰图像的范围，当物体处于成像设备的聚焦位置时，即处于聚焦点位置时，成像设备所拍摄的图像是最清晰的，当物体处于聚焦点前后的一定范围内时，所述成像设备也可以清晰成像，但当物体位于所述范围之外时，成像设备所拍摄的图像就会模糊，所述范围即为该成像设备的景深。影响成像设备的景深的因素主要有成像设备的光圈、镜头及物体距离成像设备的距离等，成像设备的景深受该成像设备的硬件、软件等性能参数的影响，成像的景深总是有一定限制的。
扩展景深（EDOF，Extending depth of field）是一种特殊的图像处理技术，EDOF的主要作用提高处于成像设备的景深范围外的物体的拍摄清晰度，扩展成像设备的景深，经过景深扩展的成像设备，可以让人看到的物体的清晰范围更广泛，更能满足用户的需求。
随着技术的进步，3D成像技术的应用越来越广泛，在3D成像时，分别利用左右两个成像设备模拟人的左右眼所看到的物体所呈现的不同图像进行拍摄，对于同一个被拍摄的物体，可以相应的得到左图像和右图像，之后将左图像和右图像进行融合，而得到最终的3D成像结果。
在3D成像的过程中，对于其左右成像设备所拍摄的图像同样受到成像设备的景深的限制，只有在景深范围之内拍摄的物体的左图像和右图像才是清晰的，为了提高处于3D成像设备的景深范围外的物体的拍摄清晰度，同样需要扩展3D成像设备的景深。
现有技术中，有采用多光圈的成像系统实现成像设备的景深扩展的方法，也有基于增加或者改变相位板的成像设备的景深扩展方法，也有利用图像融合技术，将多幅不同的拍摄距离所获得的图像融合为一幅图像实现景深扩展的方法，但现有的扩展景深技术多数需要对成像系统设计专门的光学器件或者多幅图像进行融合，对成像系统的限制较大，且硬件成本比较高。
相关现有技术可以参考公开号为US8314837B2的美国专利申请。
发明内容
本发明解决的是现有技术中扩展景深技术多数需要对成像系统设计专门的光学器件或者需要对多幅图像进行融合，对成像系统的限制较大，且硬件成本比较高的问题。
为解决上述问题，本发明提供一种3D成像方法，所述方法包括：
获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像为3D成像系统所拍摄的包含景深之外的景象的图像；
基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离，所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面；
基于所述像素点的第二距离确定高斯模板；
基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理；
基于锐化处理后的第一图像和第二图像获得3D图像。
可选的，所述像素点的相对位移是基于光流算法获取的。
可选的，所述光流算法包括LK光流算法或Horn-Schunck光流算法。
可选的，所述基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离包括：
基于公式df=|d-f0|确定所述像素点的第二距离df，其中，d为所述像素点的相对位移，f0为所述第一距离。
可选的，所述基于所述像素点的第二距离确定高斯模板包括：
基于所述像素点的第二距离确定高斯模板的标准差σ；
基于公式确定高斯模板中各元素G(x，y)的值；
其中，x、y分别为元素在高斯模板中的行索引值、列索引值，m、n分别为高斯模板的中心位置的元素在高斯模板中的行索引值、列索引值。
可选的，所述锐化处理采用卷积方法、反卷积方法和维纳滤波方法中的任意一种。
可选的，所述基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理包括：
将所述高斯模板分别与所述第一图像和第二图像中的所述像素点的像素值进行卷积；
将卷积前所述第一图像中的所述像素点的像素值与卷积后得到的所述第一图像中的所述像素点的像素值做差值，得到第一差值，将卷积前所述第二图像中的所述像素点的像素值与卷积后得到的所述第二图像中的所述像素点的像素值做差值，得到第二差值；
将所述第一差值与卷积前所述第一图像中的所述像素点的像素值的和作为锐化处理后的所述第一图像中的所述像素点的像素值，将所述第二差值与卷积前所述第二图像中的所述像素点的像素值的和作为锐化处理后的所述第二图像中的所述像素点的像素值。
本发明技术方案还提供一种3D成像装置，所述装置包括：
获取单元，适于获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像为3D成像系统所拍摄的包含景深之外的景象的图像；
第一确定单元，适于基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离，所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面；
第二确定单元，适于基于所述像素点的第二距离确定高斯模板；
处理单元，适于基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理；
图像获得单元，适于基于锐化处理后的第一图像和第二图像获得3D图像。
可选的，所述第一确定单元包括：确定子单元，适于基于公式df=|d-f0|确定所述像素点的第二距离df，其中，d为所述像素点的相对位移，f0为所述第一距离。
可选的，所述第二确定单元包括：
标准差确定子单元，适于基于所述像素点的第二距离确定高斯模板的标准差σ；
元素确定子单元，适于基于公式确定高斯模板中各元素G(x，y)的值；
其中，x、y分别为元素在高斯模板中的行索引值、列索引值，m、n分别为高斯模板的中心位置的元素在高斯模板中的行索引值、列索引值。
可选的，所述处理单元包括：
卷积子单元，适于将所述高斯模板分别与所述第一图像和第二图像中的所述像素点的像素值进行卷积；
差值单元，适于将卷积前所述第一图像中的所述像素点的像素值与卷积后得到的所述第一图像中的所述像素点的像素值做差值，得到第一差值，将卷积前所述第二图像中的所述像素点的像素值与卷积后得到的所述第二图像中的所述像素点的像素值做差值，得到第二差值；
和值单元，适于将所述第一差值与卷积前所述第一图像中的所述像素点的像素值的和作为锐化处理后的所述第一图像中的所述像素点的像素值，将所述第二差值与卷积前所述第二图像中的所述像素点的像素值的和作为锐化处理后的所述第二图像中的所述像素点的像素值。
本发明技术方案还提供一种3D成像系统，所述系统包括：如上所述的3D成像装置。
与现有技术相比，本发明的技术方案具有以下优点：
对3D成像系统所拍摄的包含景深之外的景象的第一图像和第二图像，首先基于获取所述第一图像和所述第二图像中对应位置的像素点的相对位移获取所述像素点的第一距离，进而基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离，所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面；之后基于所述像素点的第二距离确定高斯模板；基于所述高斯模板分别对第一图像和第二图像中的对应位置的像素点进行锐化处理。可以实现3D成像系统所拍摄的包含景深之外的景象的第一图像和第二图像的锐化处理，基于锐化处理后的第一图像和第二图像实现清晰的3D成像效果，该方法不需要对成像系统设计专门的光学器件，也无需对光学器件进行特殊的处理，适用于任何3D成像系统，也不需要对多幅图像进行融合处理，实现简单，硬件成本低。
附图说明
图1是本发明实施例提供的景深示意图；
图2是本发明技术方案提供的3D成像方法的流程示意图；
图3是本发明实施例提供的3D成像方法的流程示意图；
图4是本发明实施例提供的3D成像系统的结构示意图
具体实施方式
如背景技术所述，景深是指成像设备在聚焦点前后能够获得清晰图像的范围，请参考图1，当被拍摄的景象处于成像设备的聚焦物平面位置时，成像设备所拍摄的图像是最清晰的，即所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面。
当被拍摄的景象位于如图1所示出的景深范围之内时所拍摄的图像仍然是清晰的，但当被拍摄的景象位于景深范围之外时，成像设备所拍摄的图像就会模糊。当成像设备所拍摄的景象中即有处于景深之外的景象，又有景深之内的景象时，则在成像设备所拍摄的图像中，处于景深之内的景物是清晰的，而处于景深之外的景象时模糊，并且处于聚焦物平面的景象在图像中是最清晰的。
通过对成像设备的景深进行扩展，可以使得景深的范围更大，如图1所示，在对景深进行扩展后，扩展后的景深范围会更大，使得处于扩展后的景深范围之内的景象都可以清晰的成像，可以让人看到的被拍摄的景象的清晰范围更广泛，对成像设备的景深的扩展，可以使得所拍摄的处于扩展后的景深范围之内的景象的图像的清晰度更好。
在本申请文件中，主要针对3D成像系统进行景深扩展，当3D成像系统拍摄处于景深之外的一定范围内的景象时，得到的3D成像会不清晰，本发明技术方案提供一种对3D成像系统进行景深扩展的方法，图2是本发明技术方案提供的一种3D成像方法的流程示意图。
首先执行步骤S201，获取第一图像和第二图像中对应位置的像素点的相对位移。
由于在3D成像时，会分别利用两个成像设备，例如利用两个摄像机模拟人的双眼对同一景象进行拍摄，所以对于同一景象，在同一时刻基于两个成像设备可以相应得到两幅图像，在本申请文件中，将3D成像时，两个成像设备所拍摄的包含景深之外的景象的图像分别称为第一图像和第二图像，即所述第一图像和第二图像中同时包含有处于景深之内的景象的成像结果，也包括处于景深之外的景象的成像结果，其中，所述处于景深之内的景象的成像结果是清晰的，而处于景深之外的景象的成像结果是模糊的。
由于3D成像是模拟人的左、右眼所看到的景象的一种成像方式，所以也可以将两个成像设备所拍摄的景象的图像相应的称为左图像和右图像。
在获得被拍摄的景象的第一图像和第二图像后，首先可以获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像中对应位置的像素点是指在第一图像和第二图像中具有相同位置的像素点，例如，第一图像中的第一行第一列的像素点与第二图像中的第一行第一列的像素点即为对应位置的像素点，第一图像中的第三行第五列的像素点与第二图像中的第三行第五列的像素点也是对应位置的像素点。由于3D成像时，两个成像设备所拍摄的图像的大小通常都是相同的，所以第一图像和第二图像中的像素点是一一对应的。
对于第一图像和第二图像中任意的对应位置的像素点，都可以确定对应位置的像素点的相对位移。对于两幅图像中对应位置的像素点的相对位移可以通过现有技术中的多种方法获得，例如，可以基于光流算法获取对应位置的像素点的相对位移，所述光流算法包括LK光流算法、Horn-Schunck光流算法等，在本申请文件中，可以采用LK光流算法获取对应位置的像素点的相对位置。
执行步骤S202，基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离。
所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值。
在3D成像系统对景象进行拍摄时，系统会确定一个聚焦点，进而基于该聚焦点，3D成像系统会确定一个聚焦物平面，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面，成像系统可以获得处于聚焦物平面的景象在所拍摄的图像中的成像结果，即可以获得处于聚焦物平面的景象在图像中的对应的所有像素点，则可以获取所述所有像素点的相对位移，进而可以获取所有像素点的相对位移的均值，在此记为第一距离。
对于第一图像和第二图像中的任意一个对应位置的像素点，可以基于所述对应位置的像素点的相对位移与所述第一距离差值确定所述对应位置的像素点的第二距离。
执行步骤S203，基于所述像素点的第二距离确定高斯模板。
基于所述第一图像和第二图像中对应位置的像素点的第二距离以及所述像素点在第一图像和第二图像中的清晰度，结合3D成像系统多次在不同位置（包括在成像系统的聚焦点位置）所获得的第一图像和第二图像的清晰度的对比分析，可以相应的确定用于对该像素点进行处理的高斯模板的标准差σ，进而确定高斯模板。
执行步骤S204，基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理。
基于高斯模板对第一图像和第二图像进行处理的过程中，可以采用卷积方法、反卷积方法或者维纳滤波方法等进行锐化处理。例如，使用所述高斯模板与图像做卷积运算，达到模糊第一图像和第二图像的目的，进而基于模糊图像与原始图像可以得到第一图像和第二图像的细节部分，进而实现对第一图像和第二图像的锐化处理。
执行步骤S205，基于锐化处理后的第一图像和第二图像获得3D图像。
基于锐化处理后的第一图像和第二图像可以采用现有技术中的多种方法得到最终的3D图像。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图3是本发明实施例提供的3D成像方法的流程示意图。在本实施例中，仍然以通过对3D成像系统所拍摄的包含景深之外的景象的第一图像和第二图像的锐化，进而得到清晰的3D成像的方法为例进行说明。
如图3所示，首先执行步骤S301，获取第一图像和第二图像中对应位置的像素点。
由于所述第一图像和第二图像中有处于景深之内的景象的成像结果（包括处于聚焦物平面的景象的成像结果），也有处于景深之外的景象的成像结果，所以第一图像和第二图像中对应位置的像素点可能属于景深之内的景象的成像结果（可能属于处于聚焦物平面的景象的成像结果），也可能是属于景深之外的景象的成像结果。
在对第一图像和第二图像处理时，可以首先获取第一图像和第二图像中的起始像素点作为对应位置的像素点，即获取第一图像和第二图像的左上角像素点作为对应位置的像素点。在完成起始像素点的锐化处理之后，可以按照从左向右，从上到下的顺序依次选取第一图像和第二图像的其它位置的对应像素点，对每一个对应位置的像素点均进行锐化处理过程，直到对第一图像和第二图像中的所有对应位置的像素点均完成锐化处理为止。在每次获取到第一图像和第二图像的对应位置的像素点后，均需执行步骤S302。
步骤S302，获取所述第一图像和第二图像中对应位置的像素点的相对位移。
在本实施例中，采用计算机视觉处理技术中常用的卢卡斯-卡纳德光流算法（简称LK方法）获取第一图像和第二图像的对应位置的像素点的相对位移。
LK方法是一种广泛使用的光流计算方法，该方法假设光流在像素点的邻域是一个常数，使用最小二乘法对邻域中的所有像素点求解基本的光流方程，进而可以获得像素点的光流信息，基于所述光流信息可以求得像素点的运动位置等信息，基于该光流算法可以获得第一图像和第二图像中每一个对应位置的像素点的相对位移，例如可以得到第一图像和第二图像中的第一行第一列的像素点的相对位移，可以得到第一图像和第二图像中的第一行第二列的像素点的相对位移等。
由于第一图像和第二图像是模拟人眼的双眼所拍摄的图像，人的左、右眼在看同一个景象时，会存在一定的视差，当景象距离人的双眼比较近时，左右眼的视差会比较大，当景象距离人的双眼比较远时，左右眼的视差可能会小，即景象距离人眼的距离与视差成一定的正比例关系。
则对于处于第一图像和第二图像中的对应位置的像素点的相对位移，同样符合上述规则，即当所述对应位置的像素点的相对位移的值比较大时，则说明该像素点所对应的景象距离镜头比较近，当所述对应位置的像素点的相对位移的值比较小时，则说明该像素点所对应的景象距离镜头比较远，像素点所对应的景象是指该像素点为该景象的成像结果中的像素点。可以通过公式（1）描述第一图像和第二图像中对应位置的像素点的相对位移与该像素点所对应的景象与镜头的距离之间的关系。
f=k×d＋b （1）
其中，d为所述第一图像和第二图像中对应位置的像素点的相对位移，f为该像素点所对应的景象与镜头的距离，所述k、b可以基于所述3D成像系统的参数确定，例如可以基于3D成像系统中的镜头的光圈、焦距以及物距等参数确定k、b的值，也可以基于3D成像系统实测的多组成像数据，进而对所述k、b进行估计。
执行步骤S303，获取第一距离。
由于第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所以可以先获取处于聚焦物平面的景象在图像中所对应的所有像素点，进而获取所有像素点的相对位移，通过对所有对应位置的像素点的相对位移求取均值获得第一距离。
举例来说，假设第一图像和第二图像中包括景象A、景象B和景象C的成像结果，其中景象A处于成像系统的聚焦物平面处，景象A在第一图像和第二图像中的成像结果均为N个像素点，则所述第一距离即为第一图像和第二图像中这N个像素点的相对位移的均值。
执行步骤S304，获取所述像素点的第二距离。
基于所述像素点的相对位移与所述第一距离的差值，获取所述第一图像和第二图像中对应位置的像素点的第二距离。
基于公式（2）获取所述第一图像和第二图像中对应位置的像素点的第二距离df。
df=|d-f0| （2）
其中，d为所述第一图像和第二图像中对应位置的像素点的相对位移，f0为所述第一距离，|d-f0|表示对d与f0的差值求取绝对值。
基于公式（2），可以得到第一图像和第二图像中每一个对应位置的像素点的第二距离。
执行步骤S305，基于所述像素点的第二距离确定高斯模板的标准差。
基于所述第一图像和第二图像中对应位置的像素点的第二距离确定高斯模板的标准差。
确定高斯模板的标准差的方法可以参考步骤S203，且所述高斯模板的标准差σ呈正态分布，通常，σ值越大，则基于高斯模板处理的图像会越模糊，即图像会越平滑，可以根据实际的图像处理效果及处理需求对σ值进行相应的调整。
对于第一图像和第二图像中每一个对应位置的像素点，都可以基于该对应位置的像素点的第二距离，确定一个与该对应位置的像素点对应的高斯模板。
执行步骤S306，确定高斯模板中各元素的值。
基于公式（3）确定高斯模板中各元素的值G(x，y)。
其中，x、y分别为元素在高斯模板中的行索引值、列索引值，m、n分别为高斯模板的中心位置的元素在高斯模板中的行索引值、列索引值。
以7×7大小的高斯模板为例，则其中m和n的中为3和3，则x的取值范围为[1，7]，y的取值范围为[1，7]，基于公式（3），可以获得7×7的高斯模板中的每一个元素的值。
基于公式（3），对于第一图像和第二图像中每一个对应位置，都可以得到该对应位置的像素点所对应的高斯模板中的每一个元素值。
执行步骤S307，将所述高斯模板分别与所述第一图像和第二图像中对应位置的像素点的像素值进行卷积。
通过步骤S306可以基于所述第一图像和第二图像中每一个对应位置的像素点都可以相应的得到一个高斯模板，将所述高斯模板分别与所述第一图像和第二图像中对应位置的像素点的像素值进行卷积计算。
例如，对于第一图像和第二图像中的第一行第一列的像素点，通过步骤S306可以得到一个高斯模板，则在步骤S307中，将所述高斯模板与第一图像中的第一行第一列的像素点的像素值进行卷积计算，得到卷积后的第一图像中的第一行第一列的像素点的像素值，并将所述高斯模板与第二图像中的第一行第一列的像素点的像素值进行卷积计算，得到卷积后的第二图像中的第一行第一列的像素点的像素值。对于第一图像和第二图像中的第一行第二列的像素点，通过步骤S306可以得到另外一个与该像素点对应的高斯模板，同样可以采用上述方法获得卷积后的第一图像的第一行第二列的像素点的像素值和卷积后的第二图像的第一行第二列的像素点的像素值，依此类推，可以获得第一图像和第二图像的所有像素点进行卷积后的像素值。
执行步骤S308，获取卷积前所述第一图像中的所述像素点的像素值与卷积后得到的所述第一图像中的所述像素点的像素值的差值。
用卷积前的第一图像中的像素点的像素值减去该像素点卷积后得到的像素值，将获取到的差值结果，称为第一差值。
举例来说，若卷积前的第一图像中的第一行第一列的像素点的像素值为a1，卷积后得到的第一图像中的第一行第一列的像素点的像素值为a2，则将a1－a2的值确定为第一差值，该第一差值与第一图像中的第一行第一列的像素点所对应。对于第一图像中的每一个像素点都可以确定一个与之对应的第一差值，例如，若卷积前的第一图像中的第一行第二列的像素点的像素值为b1，卷积后得到的第一图像中的第一行第二列的像素点的像素值为b2，则将b1－b2的值确定为第一图像中的第一行第二列的像素点所对应的第一差值。
执行步骤S309，获取卷积前所述第二图像中的所述像素点的像素值与卷积后得到的所述第二图像中的所述像素点的像素值的差值。
用卷积前的第二图像中的像素点的像素值减去该像素点卷积后得到的像素值，将获取到的差值结果，称为第二差值。
对于第二图像中的每一个像素点都可以确定一个与之对应的第二差值，具体获取方法请参见步骤S308。
执行步骤S310，获取锐化处理后的第一图像中的所述像素点的像素值。
将所述第一差值与卷积前所述第一图像中的所述像素点的像素值的和作为锐化处理后的所述第一图像中的所述像素点的像素值。
仍以第一图像的第一行第一列的像素点为例，假设卷积前该像素点的像素值为a1，卷积后该像素点的像素值为a2，第一差值为a12=a1－a2，则该像素点锐化处理后的像素值为a12+a1。
由于卷积计算的作用是实现对图像的模糊处理，则对于第一图像中的像素点，当通过步骤S307进行卷积计算后，则等同于对该像素点进行了模糊处理，通过步骤S308获取该像素点对应的第一差值，可以得到该像素点所包含的图像信息中的细节信息，进而通过步骤S310可以将该像素点通过步骤S308所得到的细节信息融合到该像素点的原始图像信息中，实现对于该像素点的锐化处理。
通过步骤S310，对于第一图像中的每一个像素点都可以得到其锐化处理后的像素值。
执行步骤S311，获取锐化处理后的第二图像中的所述像素点的像素值。
将所述第二差值与卷积前所述第二图像中的所述像素点的像素值的和作为锐化处理后的所述第二图像中的所述像素点的像素值。
以第二图像的第一行第一列的像素点为例，假设卷积前该像素点的像素值为a3，卷积后该像素点的像素值为a4，第二差值为a34=a3－a4，则该像素点锐化处理后的像素值为a34+a3。
同理，通过步骤S311，对于第二图像中的每一个像素点也都可以得到其锐化处理后的像素值。
当得到第一图像和第二图像中的所有像素点的锐化处理后的像素值，也就完成了对第一图像和第二图像的锐化处理。
执行步骤S312，基于锐化处理后的第一图像和第二图像获得3D图像。
可以将锐化处理后的第一图像和第二图像融合为最终的3D图像。
通过本实施例所提供的3D成像方法，可以使得3D成像系统的景深得到进一步扩展，可以得到清晰的3D成像效果。和现有的扩展景深技术相比，本方法不需要对成像系统中的器件进行任何改动，也不需要通过拍摄多幅图像进行融合进而实现扩展景深，对3D成像系统的硬件也没有诸如光圈数量等特殊要求，可以方便简单的实现对3D成像系统的景深的扩展。
对应于上述3D成像方法，本实施例还提供一种3D成像装置，如图4所示，所示3D成像装置10包括：获取单元U11、第一确定单元U12、第二确定单元U13、处理单元U14和图像获得单元U15。
所述获取单元U11，适于获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像为3D成像系统所拍摄的包含景深之外的景象的图像；
所述第一确定单元U12，适于基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离，所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面；
所述第二确定单元U13，适于基于所述像素点的第二距离确定高斯模板；
所述处理单元U14，适于基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理；
所述图像获得单元U15，适于基于锐化处理后的第一图像和第二图像获得3D图像。
所述3D成像装置10还包括预处理单元U16，所述预处理单元U16对所述第一图像和第二图像进行黑电平校正、镜头校正、白平衡处理、去马赛克等操作，所述获取单元U11基于预处理单元U16处理后的第一图像和第二图像获取第一图像和第二图像中对应位置的像素点的相对位移。
所述3D成像装置10还包括后处理单元U17，所述后处理单元U17对处理单元U14处理后的第一图像和第二图像进行gamma校正、颜色矩阵校正、图像空间转换、对比度饱和度调整等操作；所述图像获得单元U15基于后处理单元U17处理后的第一图像和第二图像获得3D图像。
对应于上述3D成像装置，本实施例还提供一种3D成像系统，如图4所示，所述3D成像系统包括如上所述的3D成像装置10，所述3D成像系统还包括第一镜头U18、第二镜头U19、光电传感器U20和光电传感器U21。
所述第一镜头U18和第二镜头U19适于对景象的拍摄以获得第一图像和第二图像；所述光电传感器U20、光电传感器U21适于进行光电信号的转换。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (12)
1.一种3D成像方法，其特征在于，包括：
获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像为3D成像系统所拍摄的包含景深之外的景象的图像，所述第一图像和所述第二图像中对应位置的像素点是指在所述第一图像和所述第二图像中具有相同位置的像素点，所述第一图像和所述第二图像中的像素点是一一对应的；
基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离，所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面；
基于所述像素点的第二距离确定高斯模板；
基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理；
基于锐化处理后的第一图像和第二图像获得3D图像。
2.如权利要求1所述的3D成像方法，其特征在于，所述像素点的相对位移是基于光流算法获取的。
3.如权利要求2所述的3D成像方法，其特征在于，所述光流算法包括LK光流算法或Horn-Schunck光流算法。
4.如权利要求1所述的3D成像方法，其特征在于，所述基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离包括：
基于公式df＝|d-f0|确定所述像素点的第二距离df，其中，d为所述像素点的相对位移，f0为所述第一距离。
5.如权利要求1所述的3D成像方法，其特征在于，所述基于所述像素点的第二距离确定高斯模板包括：
基于所述像素点的第二距离确定高斯模板的标准差σ；
基于公式确定高斯模板中各元素G(x，y)的值；
其中，x、y分别为元素在高斯模板中的行索引值、列索引值，m、n分别为高斯模板的中心位置的元素在高斯模板中的行索引值、列索引值。
6.如权利要求1所述的3D成像方法，其特征在于，所述锐化处理采用卷积方法、反卷积方法和维纳滤波方法中的任意一种。
7.如权利要求1所述的3D成像方法，其特征在于，所述基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理包括：
将所述高斯模板分别与所述第一图像和第二图像中的所述像素点的像素值进行卷积；
将卷积前所述第一图像中的所述像素点的像素值与卷积后得到的所述第一图像中的所述像素点的像素值做差值，得到第一差值，将卷积前所述第二图像中的所述像素点的像素值与卷积后得到的所述第二图像中的所述像素点的像素值做差值，得到第二差值；
将所述第一差值与卷积前所述第一图像中的所述像素点的像素值的和作为锐化处理后的所述第一图像中的所述像素点的像素值，将所述第二差值与卷积前所述第二图像中的所述像素点的像素值的和作为锐化处理后的所述第二图像中的所述像素点的像素值。
8.一种3D成像装置，其特征在于，包括：
获取单元，适于获取第一图像和第二图像中对应位置的像素点的相对位移，所述第一图像和第二图像为3D成像系统所拍摄的包含景深之外的景象的图像，所述第一图像和所述第二图像中对应位置的像素点是指在所述第一图像和所述第二图像中具有相同位置的像素点，所述第一图像和所述第二图像中的像素点是一一对应的；
第一确定单元，适于基于所述像素点的相对位移与第一距离的差值，确定所述像素点的第二距离，所述第一距离为处于聚焦物平面的景象在所述第一图像和第二图像中的所有对应位置的像素点的相对位移的均值，所述聚焦物平面为景象在3D成像系统的成像传感器上的成像最清晰时所在的平面；
第二确定单元，适于基于所述像素点的第二距离确定高斯模板；
处理单元，适于基于所述高斯模板分别对第一图像和第二图像中的所述像素点进行锐化处理；
图像获得单元，适于基于锐化处理后的第一图像和第二图像获得3D图像。
9.如权利要求8所述的3D成像装置，其特征在于，所述第一确定单元包括：确定子单元，适于基于公式df＝|d-f0|确定所述像素点的第二距离df，其中，d为所述像素点的相对位移，f0为所述第一距离。
10.如权利要求8所述的3D成像装置，其特征在于，所述第二确定单元包括：
标准差确定子单元，适于基于所述像素点的第二距离确定高斯模板的标准差σ；
元素确定子单元，适于基于公式确定高斯模板中各元素G(x，y)的值；
其中，x、y分别为元素在高斯模板中的行索引值、列索引值，m、n分别为高斯模板的中心位置的元素在高斯模板中的行索引值、列索引值。
11.如权利要求8所述的3D成像装置，其特征在于，所述处理单元包括：
卷积子单元，适于将所述高斯模板分别与所述第一图像和第二图像中的所述像素点的像素值进行卷积；
差值单元，适于将卷积前所述第一图像中的所述像素点的像素值与卷积后得到的所述第一图像中的所述像素点的像素值做差值，得到第一差值，将卷积前所述第二图像中的所述像素点的像素值与卷积后得到的所述第二图像中的所述像素点的像素值做差值，得到第二差值；
和值单元，适于将所述第一差值与卷积前所述第一图像中的所述像素点的像素值的和作为锐化处理后的所述第一图像中的所述像素点的像素值，将所述第二差值与卷积前所述第二图像中的所述像素点的像素值的和作为锐化处理后的所述第二图像中的所述像素点的像素值。
12.一种3D成像系统，其特征在于，包括：
如权利要求8至11任一项所述的3D成像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310754566.9A CN104754316B (zh) | 2013-12-31 | 2013-12-31 | 一种3d成像方法、装置及成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310754566.9A CN104754316B (zh) | 2013-12-31 | 2013-12-31 | 一种3d成像方法、装置及成像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104754316A CN104754316A (zh) | 2015-07-01 |
| CN104754316B true CN104754316B (zh) | 2019-01-11 |
Family
ID=53593342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310754566.9A Active CN104754316B (zh) | 2013-12-31 | 2013-12-31 | 一种3d成像方法、装置及成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104754316B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106888375A (zh) * | 2017-02-22 | 2017-06-23 | 王东欣 | 一种减轻患者痛苦的vr眼镜图像处理装置 |
| CN110517217B (zh) * | 2019-01-23 | 2020-04-28 | 莱芜职业技术学院 | 计算机整体数据识别装置 |
| CN111686434B (zh) * | 2020-01-20 | 2021-10-01 | 合肥龙图腾信息技术有限公司 | 可移动式基座智能驱动平台 |
| CN115359105B (zh) * | 2022-08-01 | 2023-08-11 | 荣耀终端有限公司 | 景深扩展图像生成方法、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101282492A (zh) * | 2008-05-23 | 2008-10-08 | 清华大学 | 三维影像显示深度调整方法 |
| CN102883173A (zh) * | 2012-09-27 | 2013-01-16 | 彩虹集团公司 | 一种用于3d显示的画质优化方法 |
| CN103037236A (zh) * | 2011-08-22 | 2013-04-10 | 联发科技股份有限公司 | 图像处理方法以及装置 |
| CN103108195A (zh) * | 2011-11-10 | 2013-05-15 | 鸿富锦精密工业（深圳）有限公司 | 立体摄像装置 |
-
2013
- 2013-12-31 CN CN201310754566.9A patent/CN104754316B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101282492A (zh) * | 2008-05-23 | 2008-10-08 | 清华大学 | 三维影像显示深度调整方法 |
| CN103037236A (zh) * | 2011-08-22 | 2013-04-10 | 联发科技股份有限公司 | 图像处理方法以及装置 |
| CN103108195A (zh) * | 2011-11-10 | 2013-05-15 | 鸿富锦精密工业（深圳）有限公司 | 立体摄像装置 |
| CN102883173A (zh) * | 2012-09-27 | 2013-01-16 | 彩虹集团公司 | 一种用于3d显示的画质优化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 锐化高斯模板在文本特征项权重调整方法中的应用;路永和等;《知识组织与知识管理》;20121225(第12期);全文 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104754316A (zh) | 2015-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6722323B2 (ja) | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 | |
| JP7186672B2 (ja) | マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法 | |
| US20200374461A1 (en) | Still image stabilization/optical image stabilization synchronization in multi-camera image capture | |
| JP5968107B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
| CN103826033B (zh) | 图像处理方法、图像处理设备、图像拾取设备和存储介质 | |
| CN106454090B (zh) | 基于深度相机的自动对焦方法及系统 | |
| CN104424640B (zh) | 对图像进行虚化处理的方法和装置 | |
| CN104270560B (zh) | 一种多点对焦方法和装置 | |
| WO2017121058A1 (zh) | 一种全光信息采集系统 | |
| CN108055452A (zh) | 图像处理方法、装置及设备 | |
| CN106462956A (zh) | 局部自适应直方图均衡 | |
| JP2019510234A (ja) | 奥行き情報取得方法および装置、ならびに画像取得デバイス | |
| US9473700B2 (en) | Camera systems and methods for gigapixel computational imaging | |
| WO2012001568A1 (en) | Method and system for producing a virtual output image from data obtained by an array of image capturing devices | |
| CN104754316B (zh) | 一种3d成像方法、装置及成像系统 | |
| WO2016205419A1 (en) | Contrast-enhanced combined image generation systems and methods | |
| CN103177432A (zh) | 一种用编码孔径相机获取全景图方法 | |
| CN106919246A (zh) | 一种应用界面的显示方法和装置 | |
| CN105335959B (zh) | 成像装置快速对焦方法及其设备 | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| Chen et al. | Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision | |
| Trouve et al. | Design of a chromatic 3D camera with an end-to-end performance model approach | |
| TW201720130A (zh) | 機器視覺中進行影像擷取之方法及裝置 | |
| JP7014175B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| TW201531744A (zh) | 影像處理裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200529 Address after: 361012 unit 05, 8 / F, building D, Xiamen international shipping center, No.97 Xiangyu Road, Xiamen area, China (Fujian) free trade zone, Xiamen City, Fujian Province Patentee after: Xinxin Finance Leasing (Xiamen) Co.,Ltd. Address before: Zuchongzhi road in Pudong Zhangjiang hi tech park Shanghai 201203 Lane 2288 Pudong New Area Spreadtrum Center Building 1 Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd. |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20150701 Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd. Assignor: Xinxin Finance Leasing (Xiamen) Co.,Ltd. Contract record no.: X2021110000010 Denomination of invention: A 3D imaging method, device and imaging system Granted publication date: 20190111 License type: Exclusive License Record date: 20210317 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230724 Address after: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288 Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd. Address before: 361012 unit 05, 8 / F, building D, Xiamen international shipping center, 97 Xiangyu Road, Xiamen area, China (Fujian) pilot Free Trade Zone, Xiamen City, Fujian Province Patentee before: Xinxin Finance Leasing (Xiamen) Co.,Ltd. |