CN104322061B - 图像处理装置、摄像装置及图像处理方法 - Google Patents

图像处理装置、摄像装置及图像处理方法 Download PDF

Info

Publication number
CN104322061B
CN104322061B CN201380026360.2A CN201380026360A CN104322061B CN 104322061 B CN104322061 B CN 104322061B CN 201380026360 A CN201380026360 A CN 201380026360A CN 104322061 B CN104322061 B CN 104322061B
Authority
CN
China
Prior art keywords
pixel
image
parallax
viewpoint
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380026360.2A
Other languages
English (en)
Other versions
CN104322061A (zh
Inventor
石贺健
石贺健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN104322061A publication Critical patent/CN104322061A/zh
Application granted granted Critical
Publication of CN104322061B publication Critical patent/CN104322061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种图像处理装置包括：输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上的图像的至少两个视差图像的单元；在各像素算出第一视点方向上的图像与第二视点方向上的图像之间的算术平均值和几何平均值的单元；在各像素算出算术平均值与几何平均值之比值的单元；以及基于比值针对各个像素算出第一视点方向上的图像和第二视点方向上的图像之间的视差量的单元。

Description

图像处理装置、摄像装置及图像处理方法
技术领域
本发明涉及图像处理装置、摄像装置及图像处理程序。
背景技术
已知一种摄像装置，使用单一拍摄光学系统通过一次拍摄生成互相具有视差的左右视差图像。
现有技术文献
专利文献1：日本专利公开：特开2003-7994号公报
发明内容
发明要解决的问题:
当生成涉及左右视差的信息时，需要对左右视差图像中的模糊区域进行图案匹配。图案匹配利用视差图像中的边缘部分进行。然而，由于在模糊区域会抑制边缘部分，因此存在图案匹配精度差的问题。
解决问题的方案:
本发明第一形态中的图像处理装置包括：输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上的图像的至少两个视差图像的单元；在各像素算出第一视点方向上的图像与第二视点方向上的图像之间的算术平均值和几何平均值的单元；在各像素算出算术平均值与几何平均值之比值的单元；以及基于比值针对各个像素算出第一视点方向上的图像和第二视点方向上的图像之间的视差量的单元。
本发明第二形态中的图像处理装置包括：输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上的图像的至少两个视差图像的单元；在各像素算出第二视点方向上的图像与第一视点方向上的图像之间的差分的单元；相对于由第一视点方向上的图像与第二视点方向上的图像的平均值构成的中间视点图像，针对各个像素算出在视点发生变化的方向上具有成分的一阶导数的单元；以及基于差分的符号与一阶导数的符号之积，区别是比光学系统的聚焦位置更靠前的被拍体像还是更靠后的被拍体像的单元。
本发明第三形态中的图像处理装置包括：图像数据取得部，取得通过至少一部分共通的光学系统取得的第一视点所对应的第一图像数据和第二视点所对应的第二图像数据；以及评估数据生成部，算出第一图像数据与第二图像数据所对应的各个像素值进行相加运算后的值与进行相乘运算后的值之比值，使第一视点与第二视点的视差相关的评估数据与第一图像数据及第二图像数据相对应地生成。
本发明第四形态中的摄像装置包括摄像元件及上述图像处理装置，第一图像数据及第二图像数据是基于摄像元件的输出而生成的。
本发明第五形态中的图像处理程序使计算机执行：图像数据取得步骤，取得通过至少一部分共通的光学系统取得的第一视点所对应的第一图像数据和第二视点所对应的第二图像数据；以及评估数据生成步骤，算出对第一图像数据与第二图像数据所对应的各个像素值进行相加运算后的值与进行相乘运算后的值之比值，使第一视点与第二视点的视差相关的评估数据与第一图像数据及第二图像数据相对应地生。
另外，上述发明内容并未列举出本发明的全部可能特征，所述特征组的子组合也有可能构成发明。
附图说明
图1为说明数码相机10的结构的图。
图2为说明摄像元件100的截面结构的图。
图3为说明无视差像素中的散焦的概念的图。
图4为说明视差像素中的散焦的概念的图。
图5为表示无视差像素和视差像素的光强度分布的图。
图6为说明视差像素为两种时的开口部104的开口形状的图。
图7为表示非聚焦区域中存在的物点的点像分布图。
图8为表示像素排列的一例的图。
图9为用于说明拍摄状况及拍摄图像的图。
图10为说明将正值的强度分布作为视差图的情形的图。
图11为说明将正值的强度分布作为视差图的情形的图。
图12为说明将正负值的强度分布作为视差图的情形的图。
图13为各表示像素排列的变形的图。
具体实施方式
以下通过发明实施方式对本发明进行说明，但以下实施方式并非对权利要求书所涉及的发明进行限定。并且，实施方式中说明的特征组合也并非全部为本发明的必要特征。
作为图像处理装置及摄像装置的一形态的本实施方式所述数码相机被构成为能够针对一个场景通过一次拍摄而生成左视点及右视点的图像。将视点互不相同的各个图像称为视差图像。
图1为说明本发明的实施方式所述数码相机10的结构的图。数码相机10具有摄影透镜20作为拍摄光学系统，将沿光轴21入射的被拍体光束引导至摄像元件100。摄影透镜20也可以为相对于数码相机10可拆卸的交换式透镜。数码相机10包括：摄像元件100、控制部201、A/D转换电路202、存储器203、驱动部204、图像处理部205、存储卡IF207、操作部208、显示部209、以及LCD驱动电路210。
另外，如图所示，将与朝向摄像元件100的光轴21的平行方向定为+Z轴方向，在与Z轴相垂直的平面中将朝向纸背面方向定为+X轴方向、将纸正面方向定为+Y轴。与拍摄中的构图的关系是X轴为水平方向、Y轴为垂直方向。在以下几个图中，以图1的座标轴为基准来显示座标轴，以便理解各个图的朝向。
摄影透镜20由多个光学透镜群构成，使来自于场景的被拍体光束在其焦点面附近成像。另外，在图1中为了便于说明摄影透镜20，以光瞳附近设置的假想的一片透镜为代表进行表示。摄像元件100设置于摄影透镜20的焦点面附近。摄像元件100为二维排列有多个光电转换元件作为像素的例如CCD、CMOS传感器等图像传感器。摄像元件100由驱动部204进行定时控制，将受光面上成像的被拍体像转换成图像信号输出给A/D转换电路202。输出给A/D转换电路202的图像信号包含左视点及右视点的图像信号。
A/D转换电路202将摄像元件100输出的图像信号转换成数字图像信号输出给存储器203。图像处理部205将存储器203作为工作空间实施各种图像处理，生成图像数据。例如生成左视点对应的图像数据和右视点对应的图像数据。图像处理部205还承担依照被选择的图像格式调整图像数据等图像处理的一般功能。
图像处理部205进一步生成与左视点和右视点的视差相关的评估数据。详细将在以后进行说明，但评估数据能够看作是表示被拍体相对于聚焦位置的景深相关的位置信息的视差图数据。
由图像处理部205生成的图像数据由LCD驱动电路210转换成显示信号并显示在显示部209。评估数据也可以由显示部209显示。另外，所生成的图像数据及评估数据被记录在存储卡IF207上装设的存储卡220中。
一连串的拍摄序列通过操作部208受理用户操作并将操作信号输出给控制部201而开始。伴随着拍摄序列的AF、AE等各种动作由控制部201控制执行。例如，控制部201解析评估数据，执行使构成摄影透镜20的一部分的聚焦透镜移动的聚焦控制。
以下对摄像元件100的结构进行详细说明。图2为表示本发明实施方式所述摄像元件100的截面的概略图。
摄像元件100被构成为从被拍体侧依次排列有：微型透镜101、彩色滤光片102、开口掩模103、布线层105及光电转换元件108。光电转换元件108由将入射光转换为电信号的光电二极管构成。光电转换元件108在基板109的表面上二维排列有多个。
由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等通过布线层105上设置的布线106进行信号收发。另外，具有与各光电转换元件108一一对应设置且二维重复排列的开口部104的开口掩模103与布线层相接触。开口部104如后所述针对对应的各个光电转换元件108进行移位，被严格地地确定相对位置。详细内容将在以后介绍，但通过具有该开口部104的开口掩模103的作用在光电转换元件108受光的被拍体光束上产生视差。
另一方面，在不产生视差的光电转换元件108上不存在开口掩模103。换言之，设置有具有对朝相应光电转换元件108入射的被拍体光束不做限制，也说是使全部入射光束均通过的开口部104的开口掩模103。虽然不产生视差，但实质上由布线106形成的开口107规定了入射的被拍体光束，因此可以将布线106看作是使未产生视差的入射光束的全体通过的开口掩模。开口掩模103既可以对应于各光电转换元件108分别独立排列，也可以与彩色滤光片102的制造过程相同地相对于多个光电转换元件108统一形成。
彩色滤光片102设置于开口掩模103上。彩色滤光片102是与被着色为使特定波段相对于各光电转换元件108透过的、与光电转换元件108的每一个一一对应设置的滤光片。为输出彩色图像，可以排列互不相同的至少两种彩色滤光片，但为取得更高画质的彩色图像可以排列三种种类以上的彩色滤光片。例如可以将使红色波段透过的红色滤光片(R滤光片)、使绿色波段透过的绿滤光片(G滤光片)、及使蓝色波段透过的蓝色滤光片(B滤光片)以格状排列。彩色滤光片不仅是原色RGB的组合，也可以为YCMg的互补色滤光片的组合。关于具体的排列将在以后描述。
微型透镜101设置于彩色滤光片102上。微型透镜101为用于将更多的入射的被拍体光束引导至光电转换元件108的集光透镜。微型透镜101与光电转换元件108每一个一一对应设置。微型透镜101优选考虑摄影透镜20的光瞳中心与光电转换元件108的相对位置关系来移位其光轴，使得更多的被拍体光束被引导至光电转换元件108。进一步地，也可以与开口掩模103的开口部104的位置一同调整配置位置，使得后述的特定的被拍体光束更多地入射。
如此一来，将对应于各个光电转换元件108一一对应设置的开口掩模103、彩色滤光片102及微型透镜101的一个单位称为像素。尤其是将设置有产生视差的开口掩模103的像素称为视差像素，将未设置有产生视差的开口掩模103的像素称为无视差像素。例如，当摄像元件100的有效像素区域为24mm×16mm左右时，像素数达到1200万左右。
另外，当采用聚光效率、光电转换效率较好的图像传感器时，也可以不设置微型透镜101。另外，当采用背面照射型图像传感器时，布线层105设置于与光电转换元件108相反的一侧。另外，如果使开口掩模103的开口部104上具有色彩成分，便能够使彩色滤光片102与开口掩模103一体形成。另外，在输出黑白图像信号即可时不设置彩色滤光片102。
另外，在本实施方式中，使开口掩模103与布线106分体设置，但也可以由布线106承担视差像素中的开口掩模103的功能。即，由布线106形成所规定的开口形状，由该开口形状限制入射光束仅将特定的部分光束引导至光电转换元件108。此时，形成开口形状的布线106优选位于布线层105中最靠近光电转换元件108的一侧。
另外，开口掩模103可以由与光电转换元件108重叠设置的防透射膜形成。此时，开口掩模103例如将SiN膜与SiO2膜依次层叠作为防透射膜，通过刻蚀将与开口部104相当的区域去除。
以下说明视差Lt像素及视差Rt像素受光时的散焦概念。首先为针对无视差像素中的散焦概念进行简单说明的图。图3为说明无视差像素中的散焦概念的图。如图3(a)所示，当作为被拍体的物点存在于焦点位置时，通过透镜光瞳到达摄像元件受光面的被拍体光束表示以对应像点的像素为中心陡峭的光强度分布。即，如果接收到通过透镜光瞳的全部有效光束的无视差像素排列于像点附近，则像点对应的像素的输出值最大，排列于周围的像素的输出值迅速下降。
另一方面，如图3(b)所示，如果物点朝着远离摄像元件受光面的方向从焦点位置偏移，则与物点存在于焦点位置的情形相比，被拍体光束在摄像元件受光面中表现出平缓的光强度分布。即，表现出对应像点的像素中的输出值下降，而且到更靠周围的像素还具有输出值的分布。
如图3(c)所示，如果物点进一步从焦点位置偏移，则被拍体光束在摄像元件受光面表现出更平缓的光强度分布。即，表现出对应像点的像素中的输出值进一步下降，而且到更靠周围的像素还具有输出值的分布。
如图3(d)所示，朝着趋近摄像元件受光面的方向，当物点从焦点位置偏移时，表现出与物点朝着远离摄像元件受光面的方向偏移时相同的光强度分布。
图4为说明视差像素中的散焦概念的图。视差Lt像素及视差Rt像素接收从作为透镜光瞳的部分区域在各个光轴对象上设定的两个视差假想光瞳的任一个到来的被拍体光束。在本说明书中，通过接收从单一透镜光瞳中的互不相同假想光瞳到来的被拍体光束来拍摄视差图像的方式被称为单眼光瞳分割摄像方式。
如图4(a)所示，当作为被拍体的物点存在于焦点位置时，即使是通过任意视差假想光瞳的被拍体光束也表现出以对应像点的像素为中心陡峭的光强度分布。如果在像点附近排列视差Lt像素，则像点所对应的像素的输出值最大，排列于周围的像素的输出值急剧下降。而且，即使在像点附近排列有视差Rt像素，像点对应的像素的输出值也最大，排列于周围的像素的输出急剧下降。即，即使被拍体光束通过任意视差假想光瞳，表现出像点对应的像素的输出值也最大、排列于周围的像素的输出值急剧下降的分布，各个分布互相一致。
另一方面，如图4(b)所示，如果物点朝着远离摄像元件受光面的方向从焦点位置偏移，与物点存在于焦点位置的情形相比，视差Lt像素所表现出的光强度分布的峰值出现在从像点对应的像素朝一方向离开的位置，且该输出值下降。另外，具有输出值的像素的宽度也展宽。即，由于相对于摄像元件受光面的水平方向具有点像展宽，因此模糊量增加。视差Rt像素所表现出的光强度分布的峰值从像点对应的像素出现在与视差Lt像素中的一方向相反的方向且离开等距离的位置，同样地，其输出值下降。另外，同样地，具有输出值的像素宽度也展宽。即，与物点存在于焦点位置的情形相比变得平缓的同一光强度分布互相以等距离间隔地出现。视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移量相当于视差量。
另外，如图4(c)所示，当物点进一步从焦点位置偏移时，与图4(b)的状态相比，进一步变得平缓的同一光强度分布更加远离地出现。由于点像的展宽变得更大，因此模糊量增加。另外，视差Lt像素及视差Rt像素所表现出的光强度分布的峰值间的偏移也变大，因此视差量也增加。也就是说可以认为物点从焦点位置偏移得越多，模糊量和视差量增加得就越多。
如图4(d)所示，当物点朝着趋近摄像元件受光面的方向从焦点位置偏移时，与图4(c)的状态相反，视差Rt像素表现出的光强度分布的峰值出现在从像点对应的像素往上述一方向远离的位置。视差Lt像素所表现出的光强度分布的峰值出现在朝着与视差Rt像素中的一方向相反方向远离的位置。即，对应于物点的偏移方向来确定视差Lt像素及视差Rt像素所表现出的光强度分布的峰值出现在从像点对应像素朝着哪个方向远离的位置。
将图3所说明的光强度分布的变化和图4所说明的光强度分布的变化分别进行图形化并表示在图5中。图5为表示无视差像素与视差像素的光强度分布的图。在图中，横轴表示像素位置，中心位置为像点对应的像素位置。纵轴表示各像素的输出值，该输出值实质上与光强度成正比，因此在图中表示为光强度。
另外，如上所述，当物点朝着趋近摄像元件受光面的方向从焦点位置偏移时表示出与物点朝着远离摄像元件受光面的方向偏移时相同的光强度分布，因此，在图中省略了朝着趋近摄像元件受光面的方向偏移时的光强度分布的变化。关于物点朝着趋近摄像元件受光面的方向从焦点位置偏移时的视差Lt像素及视差Rt像素所表现出的光强度分布的峰值，由于与物点朝着远离摄像元件受光面的方向偏移时的视差Lt像素及视差Rt像素所表现出的光强度分布的峰值相同，因此进行了省略。
图5(a)为表示图3所说明的光强度分布变化的图形。分布曲线1801表示图3(a)对应的光强度分布，示出最陡峭的样子。分布曲线1802表示图3(b)对应的光强度分布，并且，分布曲线1803表示图3(c)对应的光强度分布。与分布曲线1801相比可以看到，峰值缓缓下降，具有展宽的样子。
图5(b)为表示图4所说明的光强度分布变化的图形。分布曲线1804与分布曲线1805分别表示图4(b)的视差Lt像素的光强度分布与视差Rt像素的光强度分布。从图中可见，这些分布相对于中心位置呈线对称的形状。另外，将它们加在一起的合成分布曲线1806表示与相对于图4(b)处于同等散焦状态的图3(b)的分布曲线1802相似的形状。
分布曲线1807与分布曲线1808分别表示图4(c)的视差Lt像素的光强度分布和视差Rt像素的光强度分布。从图中可以看出，这些分布也相对于中心位置呈线对称的形状。而且，将它们相加而成的合成分布曲线1809表示与相对于图4(c)处于同等散焦状态的图3(c)的分布曲线1803相似的形状。另外，图4(d)的视差Lt像素的光强度分布与视差Rt像素的光强度分布由于处于将图4(c)的视差Lt像素的光强度分布与视差Rt像素的光强度分布的位置进行了交换的关系，因此分别相当于分布曲线1808和分布曲线1807。
图6为说明视差像素有两种时的开口部104的开口形状的图。图6(a)表示视差Lt像素的开口部104l的形状与视差Rt像素的开口部104r的形状，与由中心线322分割无视差像素的开口部104n的形状后的各个形状相同的例子。也就是说，在图6(a)中，无视差像素的开口部104n的面积成为视差Lt像素的开口部104l的面积与视差Rt像素的开口部104r的面积之和。在本实施方式中，将无视差像素的开口部104n称为全开口的开口部，将开口部104l及开口部104r称为半开口的开口部。视差Lt像素的开口部104l及视差Rt像素的开口部104r相对于通过分别对应的光电转换元件108的中心(像素中心)的假想的中心线322朝互相相反方向偏位。因此，视差Lt像素的开口部104l及视差Rt像素的开口部104r分别在相对于中心线322的一方向及与该一方向相反的另一方向上产生视差。
图6(b)表示在具有图6(a)所示各开口部的像素中，物点朝着远离摄像元件受光面的方向从焦点位置偏移时的光强度分布。在图中，横轴表示像素位置，中心位置为像点对应的像素位置。另外，曲线Lt与图5(b)的分布曲线1804、曲线Rt与图5(b)的分布曲线1805分别相当。曲线N与无视差像素对应，表示与图5(b)的合成分布曲线1806相似的形状。另外，各个开口部104n、开口部104l、开口部104r发挥作为开口光圈的功能。因此，包含具有开口部104l(开口部104r)的成倍面积的开口部104n的无视差像素的模糊宽度与以图5(b)的合成分布曲线1806表示的Lt像素与视差Rt像素相加后的曲线的模糊宽度程度相同。
图6(c)表示在具有图6(a)所示各开口部的像素中，物点朝着趋近摄像元件受光面的方向从焦点位置偏移时的光强度分布。在图中，横轴表示像素位置，中心位置为像点对应的像素位置。图6(c)的曲线Lt、曲线Rt保持着具有开口部104n的无视差像素的模糊宽度成为与Lt像素和视差Rt像素相加曲线的模糊宽度同等程度的关系，位置关系相对于图6(b)的曲线Lt、曲线Rt进行了颠倒。
以下针对视差检测方法的思考方法进行叙述。详细内容将在以后叙述，在单眼光瞳分割摄像方式中，如果推测被拍体像的模糊宽度便能等价地检测到视差量。
图7为表示存在于非聚焦区域的物点的点像分布图。在图中，横轴表示像素位置，中心位置为像点对应的像素位置。纵轴表示像素值。在图7(a)、(b)中，左视点的点像分布Lt和右视点的点像分布Rt表示图6所示的左右视差像素的开口部为半开口时在水平方向上的模糊宽度。
图7(a)的左视点的点像分布Lt与右视点的点像分布Rt用像素位置x的函数进行表示。左视点的点像分布Lt与右视点的点像分布Rt的算术平均也用像素位置x的函数进行表示。例如，在像素位置x1处，Lt和Rt均具有像素值，因此，运算结果为正值。在像素位置x2处，虽然Lt不具有像素值，但由于Rt具有像素值，因此运算结果也还是正值。如上所述，当计算算术平均时，只要Lt与Rt的任意一个具有像素值，则其运算结果均为正值。因此，各像素位置处的点像分布Lt与点像分布Rt的算术平均从整体上来看，如图7(a)所示为点像分布Lt与Rt的展宽宽度之和。这相当于具有图6所示全开口的开口部的无视差像素所对应的模糊宽度。
另外，算术平均为用于获得点像分布Lt与Rt的展宽宽度之和的运算的一例。只要能够获得点像分布Lt与Rt的展宽宽度之和，也可以利用其他运算。
左视点的点像分布Lt与右视点的点像分布Rt的几何平均也用像素位置x的函数进行表示。例如，在像素位置x1处，Lt和Rt均具有像素值，因此运算结果为正值。另一方面，在像素位置x2中，Rt虽然具有像素值，但由于Lt不具有像素值，运算结果为0。如以上所述，当计算几何平均时，Lt与Rt的任意一个具有像素值时，其运算结果为正值。因此，各像素位置处的点像分布Lt与点像分布Rt的几何平均从整体上来看，如图7(b)所示，成为点像分布Lt与Rt的展宽宽度之积。几何平均的展宽宽度与算术平均相比变窄，当视差量增加时会相对地进一步变小，因此可以认为在视差量上具有相关性。
另外，几何平均为用于获得点像分布Lt与Rt的展宽宽度之积的运算的一例。只要能够获得点像分布Lt与Rt的展宽宽度之积，也可以利用其他运算。另外，一般地，被拍体可以考虑物点的集合，因此，图像可以说是点像对各物点的积分。因此可以考虑图像的模糊与上述点像分布的模糊相同。
被拍体像的模糊宽度根据适用算术平均和几何平均中的哪一种而有所不同。另一方面，图像结构无论适用算术平均和几何平均中的哪一种均无变化。也就是说，在将实际被拍体中的左视差图像与右视差图像平均化时，根据适用算术平均和几何平均中的哪一种，能够在生成在相同的像素位置处具有相同图像结构的被拍体像的同时，形成模糊宽度不同的被拍体像。将其进行模型化表示时，以实现被拍体像的点像分布函数完全由德尔塔函数δ(x,y)表示的理想成像的被拍体的图像结构分布作为I(x,y)，以由光学系统的几何平均引起的模糊宽度的点像分布函数作为BAND(x,y)，以由算术平均引起的模糊宽度的点像分布函数作为BOR(x,y)，通过如下所示来求出被拍体像的点像分布函数的模糊宽度比R(x,y)。此处，以左视点的视差像素的点像分布函数为BL(x,y)，以右视点的视差像素的点像分布函数为BR(x,y)，这样一来，左视差图像表示为右视差图像表示为 也就是说，左视差图像用图像结构的分布与左视点的视差像素的点像分布函数之积(卷积)表示，右视差图像用图像结构的分布与右视点的视差像素的点像分布函数之积(卷积)表示。为 与的几何平均；为 与的算术平均。从而得到各个像素中的算术平均与几何平均之比，排除与图像结构相关的信息，只剩下被拍体像的模糊宽度之比的相关信息。
另外，被拍体像的模糊宽度、视差量受光学条件影响。例如，在以F1.4的光圈值进行拍摄时，与以F8进行拍摄的情形相比，模糊宽度更宽。也就是说，模糊宽度受到拍摄时的光圈值影响。而且，当以F1.4的光圈值进行拍摄时，与以F8进行拍摄的情形相比，视差量变得更大。也就是说，视差量也会受到拍摄时的光圈值的影响。因此，模糊宽度及视差量的每一个均会由光圈值引起差。在各像素中取算术平均与几何平均之比，算出光圈值对应的视差量。被拍体像的模糊宽度之比所涉及的信息如果使用图4所示关系，则表现为从焦点面的距离信息。
作为单眼光瞳分割摄像方式中的固有特性，模糊宽度越大，视差也会变得越大，如果考虑该性质可以认为视差越大，算术平均与几何平均之比也变大。这是因为算术平均与几何平均相当于和与积的关系。在聚焦位置的被拍体中，由于左视差的点像分布与右视差的点像分布相一致，因此，算术平均与几何平均的结果也相一致。因此，算术平均与几何平均的比值为1以上。算术平均与几何平均的比值为1的情形是聚焦位置，越是从聚焦位置离开的被拍体，其值就越大。凭经验，在使视差变得最大的透镜的光圈处于开放位置为条件来尝试求值时，即使最大，该比值也收敛于2左右的范围。
因此，如果定义下(式2)，则得到在聚焦位置处的视差为零，在非聚焦位置处的视差值变大的指标。此处，为使聚焦位置处的算术平均与几何平均的比值(基准值)为0，使算术平均与几何平均的比值为-1。
【数2】
其中，0≤D≤～1
由于(式2)表示各像素的二维映射，因此能够这样原封不动地作为视差图进行定义。当考虑(式2)的右边的第一项分子表示全开口的像素的模糊宽度，分母表示半开口的像素的模糊宽度时，也可以考虑以下这种两个比也相当于模糊宽度之比。
【数3】
【数4】
其中，在式(3)、(4)中，图像结构所涉及的信息没有被完全排除。这是因为，由于在分母与分子之间存在视差，取相同像素位置处的不同被拍体的图像结构之比。因此，为了排除图像结构涉及的信息，定义如下两个共轭式。
【数5】
【数6】
(式5)和(式6)能够用(式2)进行表示。
【数7】
【数8】
如果关注于(式7)的右边，提取出以将算术平均与几何平均的模糊宽度之比进行二次方的尺度进行变化的视差图。如果关注于(式8)的右边，第二项相当于算术平均与几何平均的模糊宽度之比，第一项相当于用分母排除图像结构所涉及的因素并用分子表示由左视差图像与右视差图像的信号变化引起的某些符号因素。
一般地，在立体摄像光学统中，相对于位于光学系统的焦点位置处的被拍体像，比其更靠前的被拍体像在左视差图像中像朝右侧模糊，在右视差图像中像朝左侧模糊。另一方面，比其更靠后的被拍体像在左视差图像中像朝左侧模糊，在右视差图像中像朝右侧模糊。在(式8)中包含表示其变化方向的信息。
通过实验，对(式8)所表示的含义进行分析后判断出如下事实。即，在聚焦域之前存在的被拍体区域(前焦距区域)中，被拍体像越往右侧走就变得越亮的区域中成为正符号，被拍体像越往右侧走就变得越暗的区域中成为负符号。与此相反，存在于聚焦域之后的被拍体区域(后焦距区域)中，被拍体像越往右侧走就变得越亮的区域中成为负符号，被拍体像越往右侧走就变得越暗的区域中成为正符号。
因此，如果施加使越往右侧走变得越暗的被拍体区域的符号反转的操作，则有可能判别出是位于聚焦点之前的被拍体还是位于之后的被拍体。即只要能够从(式8)的右边第一项的符号排除掉由被拍体的图像结构引起的符号因素，则(式8)能够将聚焦点前后的位置关系当作符号，且捕捉到与从聚焦点的距离成正比地视差量增加的带符号视差信息。
为了从(式8)的符号中排除掉图像结构因素的符号，如果附加上被拍体像的水平方向上的一阶导数符号则能够很好地实现排除。作为被拍体像的代表参照无视差的图像。如果以N表示左视差图像与右视差图像的算术平均图像，则成为以下的(式9)。
【数9】
因此，如果重新定义以下的量，则能够得到带符号的视差图。
【数10】
如(式10)的右边所示，通过使一阶导数符号乘以视差图像间的差分与几何平均之比，能够修正该比值的正负。此处，sign(x)如以下的(式11)所示。
【数11】
将(式11)一般化，能够相对于阈值Th进行如下的定义。阈值Th的大小以图像数据的噪声波动为基准进行设定。
【数12】
其中，作为N(x,y)，只要具有能够获知被拍体像大致分布的程度的信息即可，除了算术平均图像以外，几何平均图像也好，Lt图像自身也好，都能够代替作为Rt图像自身使用。然而，由于视差量一般也会达到几十个像素，因此最好使用进行了减少视差的平均操作的图像。
如此，在单眼光瞳分割摄像方式中，着眼于模糊中包含有视差这件事，仅通过极为单纯的平均操作的运算来推测模糊宽度，便有可能得到各点的视差信息。
另外，所得到的视差信息是在平坦部区域成为零的视差信息。即，在被拍体的边缘部区域检测到的模糊宽度认为相同。从而成为着眼于图像的边缘部区域的视差图信息。其不是图像的区域单位的视差图信息。因此，随着被拍体像从边缘区域向平坦部区域移动，得到消除视差的视差分布信息。
<实施方式1>
图像处理的顺序大致如下。
1)输入单色·视差复用马赛克图像数据
2)生成左右视差图像
3)生成视差图
以下依次进行说明。
1)输入单色·视差复用马赛克图像数据
图8为表示像素排列的一例的图。摄像元件100以图中粗线所示2×2像素的图案110为基本格子。在图案110中，在左上像素及右下像素上分配有视差Lt像素。在左下像素及右上像素上分配有视差Rt像素。
输入图8的像素排列的图像数据。用M(x,y)表示视差被复用的单片式马赛克图像数据。将其称为RAW数据。
2)生成左右视差图像
图像处理部205生成从马赛克图像数据M(x,y)仅提取出左视差像素的像素数据的左视差图像数据和仅提取出右视差像素的像素数据右视差图像数据。用周围像素值对与左视差图像数据及右视差图像数据的各个空格子点相当的像素值进行插值处理。最简单地，采用存在于上下左右的四点单纯平均值。或者，可以在纵方向与横方向之间进行方向判定，从相关性高的方向算出插值用的值。这样一来，分别用Lt(x,y)、Rt(x,y)表示为在全像素上具有像素值而生成的左视差图像数据和右视差图像数据。
3)生成视差图
图像处理部205当生成左视差图像数据Lt(x,y)和右视差图像数据Rt(x,y)时，使用左视差图像数据Lt(x,y)及右视差图像数据Rt(x,y)对应的各个像素值生成由算术平均与几何平均之比而引起的无符号视差图。即，将(式2)的0以上的正值的强度分布作为视差图。再一次书写定义式时，(式2)如以下所示。
【数13】
以下说明视差图的显示的具体例。图9为用于说明拍摄状况及拍摄图像的图。图9(a)为表示数码相机10与各被拍体的距离的示意图。从前面开始依次存在四角形301、三角形302及圆303。图9(b)为表示显示部209所显示的拍摄图像的图。此处，是在四角形301、三角形302及圆303中，在三角形302上有焦点的状态下进行的拍摄。另外，四角形301、三角形302及圆303为黑色，背景区域为白色。
图10为说明将正值的强度分布作为视差图时的图。图10表示使用(式2)时的视差图的显示例。由于四角形301及圆303存在于非聚焦位置，因此在(式2)中，D(x、y)的值变得比0大。因此，如图10所示，四角形301及圆303的边缘部分以对应于D(x、y)的值的强度出现。另一方面，由于三角形302存在于聚焦位置，因此，D(x、y)的值为0。因此，三角形302的边缘部分未出现。
<实施方式2>
在实施方式1中，图像处理部205虽然使用(式2)生成视差图，但此处，使用(式5)生成无符号视差图。即，将(式5)的0以上的正值的强度分布作为视差图。再一次书写定义式时，(式5)如以下所示。
【数14】
图11表示利用(式5)时的视差图的显示例。如上所述，在(式5)中，提取出以将算术平均与几何平均的模糊宽度之比进行二次方的尺度发生变化的视差图。因此，与图10所示四角形301及圆303的边缘部分相比，图11所示四角形301及圆303的边缘部分被更加强调。
<实施方式3>
图像处理部205使用(式10)生成带符号视差图。即，将(式10)的正负值的强度分布作为视差图。再一次书写定义式时，(式10)如以下所示。
【数15】
此处，水平方向的微分如下所示进行定义。
【数16】
图12为说明将正负值的强度分布作为视差图的图。图12(a)表示利用(式8)时的视差图的显示例。在边缘部分中，以右斜下方向的阴影线表示正值区域，以左斜下方向的阴影线表示负值区域。
四角形301存在于前焦距区域。在前焦距区域中，随着向水平方向右侧的移动，在从背景区域的白色向四角形301的黑色改变的区域、即越往右侧走变得越暗的区域中成为负符号。另一方面，随着向水平方向右侧的移动，在从四角形301的黑色向背景区域的白色改变的区域、即越往右侧走变得越亮的区域中成为正符号。
圆303存在于后焦距区域。在后焦距区域中，随着向水平方向右侧的移动，在从背景区域的白色向四角形301的黑色改变的区域中成为正符号。另一方面，随着向水平方向右侧的移动，在从四角形301的黑色向背景区域的白色改变的区域中成为负符号。如以上所述，在前焦距区域及后焦距区域的每一个中，正值与负值混合存在。
图12(b)表示利用(式10)时的视差图的显示例。在前焦距区域中，随着向水平方向右侧的移动，在从背景区域的白色向四角形301的黑色改变的区域、即越往右侧走变得越暗的区域中成为正符号。同样地，随着向水平方向右侧的移动，在从四角形301的黑色向背景区域的白色改变的区域、即越往右侧走变得越亮的区域中成为正符号。
在后焦距区域中，随着向水平方向右侧的移动，在从背景区域的白色向四角形301的黑色改变的区域中成为负符号。同样地，随着向水平方向右侧的移动，在从四角形301的黑色向背景区域的白色改变的区域中成为负符号。如以上所述，在前焦距区域仅得到正值，在后焦距区域仅得到负值。由于被拍体相对于聚焦位置的前后关系表示为比值的正负，因此能够判别被拍体的位置。因此，能够将视差图用作拍摄时的引导信息。
另外，水平方向的微分可以考虑左右对称性来进行如下定义。
【数17】
在左视差图像与右视差图像捕捉到的被拍体像的分布内能够捕捉到视差信息的不仅是纵线的被拍体像，在斜线的纵方向上具有微量成分的被拍体像沿左右模糊宽度分离。完全未发生视差信息的完全仅为横线的被拍体像。因此，作为被拍体像的水平方向上的微分，在有可能检测到视差的斜方向上能够进行展开。也就是说如下所示对水平方向上的微分进行定义。
【数18】
(式15)的右边的分子三项均在水平方向上包含微分成分。
作为水平方向上的一阶导数的分母区间的选取方法，在单眼光瞳分割摄像方式中，对应于视差越大被拍体像越模糊，如果使模糊宽度越大就使微分区间越宽，则会使微分值更稳定。此时，作为各像素的模糊宽度的信息，可以参照在实施方式1所示的D(x,y)。即，如果将式14如此展开，则成为下述(式16)。其中，dx为整数值。
【数19】
其中，NX为单眼光瞳分割摄像方式的水平方向的最大视差量的一半左右的大小，相对于图像全体的水平像素数为2.5％左右的像素宽度。例如，当水平像素数为2000像素左右时，成为NX＝50左右的值。当为(式15)时，成为如下所示。
【数20】
<实施方式4>
图像处理部205使用(式18)生成带符号视差图。即，仅提取出(式10)的符号，在(式2)上乘以该符号。也就是说，将下述(式18)的正负值的强度分布作为视差图。
【数21】
在本实施方式中，在前焦距区域仅得到正值，在后焦距区域仅得到负值。被拍体相对于聚焦位置的前后关系作为比值的正负进行表示，因此能够判别出被拍体的位置。在本实施方式中，在实施方式1中得到展开符号的视差图。
<实施方式5>
图像处理部205使用(式19)生成带符号视差图。即，仅提取出(式10)的符号，在(式5)上乘以该符号。也就是说，将下述(式19)的正负值的强度分布作为视差图。
【数22】
在本实施方式中，在前焦距区域仅得到正值，在后焦距区域仅得到负值。被拍体相对于聚焦位置的前后关系作为比值的正负进行表示，因此能够判别被拍体的位置。进一步地，在(式19)中，由于存在D1(x、y)+D2(x、y)，因此与实施方式1相比，能够提取出以对算术平均与几何平均的模糊宽度之比进行二次方的尺度发生变化的视差图。即能够更加强调边缘部分。
另外，在上述第一至第五实施方式中显示了单色·视差复用的单板摄像方式的例子。然而，作为摄像元件也可以考虑如下的变形例。
1)单色·单侧视差图像数据的双片式摄像时
通过棱镜将单眼透镜的入射光以一半一半地光强度分离成两个方向，通过对各个仅铺设单侧视差像素的左视差摄像元件和右视差摄像元件来进行双片式摄像。此时，由于在各像素上具有右视差像素值和左视差像素值这两个信息，因此不再需要在实施方式1中的2)生成左右视差图像时的插值处理。
作为单眼透镜的结构，当能够将相当于图4的假想光瞳的光圈交替地插入于右侧和左侧时，相对于通常的无视差像素的单色摄像元件，通过二次曝光依次得到左视差图像和右视差图像时，不再需要在实施方式1中的2)生成左右视差图像时的插值处理。
2)色彩·视差复用马赛克图像数据的单片式摄像时
a)当Bayer面的G像素变为视差像素时
对G视差像素进行与实施方式1的单色视差像素相同的处理，实施插值处理。
b)专利文献1所示摄像装置中的视差像素排列全部在于RGB时
能够针对RGB的各个色彩成分生成视差图。
当仅生成亮度面的视差图时，通过Y＝0.3R+0.6G+0.1B合成各色面的视差图。
或者，先用该比值生成亮度面之后，采用与实施方式1相同的方法。
另外，能够使用以下所说明的摄像元件。图13为表示像素排列的变形的图。摄像元件200、300以图中粗线所示2×2像素的图案120、130为基本格子。如图13(a)所示，在摄像元件200中，在图案120中在左上像素及右下像素分配有无视差像素。另外，在左下像素上分配有视差Lt像素，在右上像素上分配有视差Rt像素。
如图13(b)所示，在摄像元件300中采用拜耳阵列。具体地，绿滤光片分配于左上和右下的两个像素上，红色滤光片分配于左下一个像素上，蓝色滤光片分配于右上一个像素上。而且，在图案130中，在左上像素分配有视差Lt像素，在右下像素上分配有视差Rt像素。
在以上说明中，以“左视点的点像分布Lt+右视点的点像分布Rt＝无视差像素的点像分布N”为前提。然而，即使当该关系不成立时，能够判断点像分布的展宽处于怎样的状况。具体地，当上述关系不成立时，Lt与Rt的几何平均值为0，因此，D(x、y)的值发散。因此，通过D(x、y)的值的发散，可以得到Lt与Rt相重叠。
在以上说明中，视差图作为自动聚焦及拍摄时的引导使用，但通过将视差图作为距离信息使用以便在景深方向上分离被拍体，对各被拍体进行白平衡等处理也是可以的。
以上，使用本发明的实施方式进行了说明，但本发明的技术范围不限于上述实施方式所记载的范围。另外，本领域技术人员应当清楚，在上述实施方式的基础上可加以增加各种变更或改进。此外，由权利要求的记载可知，这种加以变更或改进的实施方式也包含在本发明的技术范围内。
应当注意的是，权利要求书、说明书及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤及阶段等各个处理的执行顺序，只要没有特别明示“更早”、“早于”等，或者只要前面处理的输出并不用在后面的处理中，则可以以任意顺序实现。关于权利要求书、说明书及附图中的动作流程，为方便起见而使用“首先”、“然后”等进行了说明，但并不意味着必须按照这样的顺序实施。
符号说明
10数码相机、20摄影透镜、21光轴、100摄像元件、101微型透镜、102彩色滤光片、103开口掩模、104开口部、104l开口部、104r开口部、104n开口部、105布线层、106布线、107开口、108光电转换元件、109基板、110图案、120图案、130图案、200摄像元件、201控制部、202 A/D转换电路、203存储器、204驱动部、205图像处理部、207存储卡IF、208操作部、209显示部、210 LCD驱动电路、220存储卡、300摄像元件、322中心线、301四角形、302三角形、303圆、1801分布曲线、1802分布曲线、1803分布曲线、1804分布曲线、1805分布曲线、1806合成分布曲线、1807分布曲线、1808分布曲线、1809合成分布曲线。

Claims (8)

1.一种图像处理装置，其特征在于，包括：
输入通过一个光学系统摄像的被拍体像的第一视点方向上的图像与第二视点方向上的图像至少这两个视差图像的单元；
基于各像素的像素值在各像素算出所述第一视点方向上的图像与所述第二视点方向上的图像之间的算术平均值和几何平均值的单元；
在各像素算出所述算术平均值与所述几何平均值之比值的单元；以及
基于所述比值针对各个像素算出所述第一视点方向上的图像和所述第二视点方向上的图像之间的视差量的单元。
2.根据权利要求1所述的图像处理装置，其特征在于，包括：
基于各像素的像素值在各像素算出所述第二视点方向上的图像与所述第一视点方向上的图像之间的差分的单元；
相对于由所述第一视点方向上的图像与所述第二视点方向上的图像的平均值构成的中间视点图像，基于各像素的像素值针对各个像素算出在所述视点发生变化的方向上具有成分的一阶导数的单元；以及
将基于所述差分的符号与所述一阶导数的符号之积，区别是比所述光学系统的聚焦位置更靠前的被拍体像还是更靠后的被拍体像的符号附加于所述视差量上的单元。
3.根据权利要求2所述的图像处理装置，其特征在于：
所述第一视点方向的图像对应于左视点图像，所述第二视点方向的图像对应于右视点图像，沿着从左到右变化的方向取得所述一阶导数时，
所述差分的符号与所述一阶导数的符号之积显示为正值时，判断为比所述光学系统的聚焦位置更靠前的被拍体像，当显示为负值时，判断为比所述光学系统的聚焦位置更靠后的被拍体像。
4.根据权利要求1所述的图像处理装置，其特征在于：所述第一视点方向的图像与所述第二视点方向的图像是使用摄像元件摄像的图像，该摄像元件的一个摄像面上周期性配置有如下第一视差像素和第二视差像素至少这两种像素：
所述第一视差像素具有使通过所述一个光学系统入射到一个摄像面的入射光束中的、第一视点方向的部分光束通过的开口掩模，所述第二视差像素具有使所述入射光束中的第二视点方向的部分光束通过的开口掩模。
5.一种图像处理装置，其中，包括：
图像数据取得部，取得通过至少一部分共通的光学系统取得的第一视点所对应的第一图像数据和第二视点所对应的第二图像数据；以及
评估数据生成部，算出所述第一图像数据与所述第二图像数据所对应的各个像素值的算术平均值与几何平均值之比值，使所述第一视点与所述第二视点的视差相关的评估数据与所述第一图像数据及所述第二图像数据相对应地生成。
6.根据权利要求5所述的图像处理装置，其中，所述评估数据生成部在所述比值上乘以所述各个像素值的差分值以及被拍体像的水平方向上的微分值进行运算。
7.一种摄像装置，包括：
摄像元件；以及
权利要求5或6所述的图像处理装置；
其中，所述第一图像数据及第二图像数据是基于所述摄像元件的输出而生成的。
8.一种图像处理方法，包括：
图像数据取得步骤，取得通过至少一部分共通的光学系统取得的第一视点所对应的第一图像数据和第二视点所对应的第二图像数据；以及
评估数据生成步骤，算出所述第一图像数据与所述第二图像数据所对应的各个像素值的算术平均值与几何平均值之比值，使所述第一视点与所述第二视点的视差相关的评估数据与所述第一图像数据及所述第二图像数据相对应地生成。
CN201380026360.2A 2012-06-22 2013-06-14 图像处理装置、摄像装置及图像处理方法 Active CN104322061B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-141445 2012-06-22
JP2012141445 2012-06-22
PCT/JP2013/003750 WO2013190814A1 (ja) 2012-06-22 2013-06-14 画像処理装置、撮像装置および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104322061A CN104322061A (zh) 2015-01-28
CN104322061B true CN104322061B (zh) 2017-01-18

Family

ID=49768428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380026360.2A Active CN104322061B (zh) 2012-06-22 2013-06-14 图像处理装置、摄像装置及图像处理方法

Country Status (4)

Country Link
US (1) US9723288B2 (zh)
JP (1) JP6003983B2 (zh)
CN (1) CN104322061B (zh)
WO (1) WO2013190814A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013187890A (ja) * 2012-03-12 2013-09-19 Sony Corp 画像処理装置と画像処理方法
CN104521231B (zh) 2012-08-10 2016-12-21 株式会社尼康 图像处理装置和摄像装置
CN105122793B (zh) 2013-03-29 2017-05-10 株式会社尼康 图像处理装置、摄像装置及图像处理程序
CN105359519B (zh) 2013-07-05 2017-07-04 株式会社尼康 摄像装置
KR101825687B1 (ko) * 2015-04-24 2018-02-05 한국전자통신연구원 차영상을 이용한 장애물 검출장치 및 그 방법
US11288522B2 (en) 2019-12-31 2022-03-29 Woven Planet North America, Inc. Generating training data from overhead view images
US11244500B2 (en) 2019-12-31 2022-02-08 Woven Planet North America, Inc. Map feature extraction using overhead view images
US11037328B1 (en) 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法
CN102104786A (zh) * 2009-12-14 2011-06-22 索尼公司 图像处理装置、图像处理方法和程序
WO2012017585A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置
WO2012032826A1 (ja) * 2010-09-10 2012-03-15 富士フイルム株式会社 立体撮像装置および立体撮像方法
JP2012094997A (ja) * 2010-10-25 2012-05-17 Olympus Imaging Corp 撮影機器

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003007994A (ja) 2001-06-27 2003-01-10 Konica Corp 固体撮像素子、立体カメラ装置及び測距装置
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
JP5426174B2 (ja) * 2006-02-13 2014-02-26 スリーエム イノベイティブ プロパティズ カンパニー 単眼三次元撮像
US9031130B2 (en) * 2007-04-09 2015-05-12 Ntt Docomo, Inc. Image prediction/encoding device, image prediction/encoding method, image prediction/encoding program, image prediction/decoding device, image prediction/decoding method, and image prediction decoding program
US8422559B2 (en) * 2007-10-10 2013-04-16 Mediatek Inc. Matching-pixel sub-sampling motion estimation method for video compression
CN101226325B (zh) * 2008-02-03 2010-06-02 李志扬 基于随机相长干涉的三维显示方法及装置
WO2010048632A1 (en) * 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
JP5761522B2 (ja) * 2009-12-04 2015-08-12 Ｎｌｔテクノロジー株式会社 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム
US9344701B2 (en) * 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
WO2012042963A1 (ja) * 2010-09-29 2012-04-05 富士フイルム株式会社 固体撮像素子及び撮像装置
JP6061150B2 (ja) * 2011-03-18 2017-01-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
JP6131546B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9030594B1 (en) * 2012-04-19 2015-05-12 Southern Methodist University Applying phase transfer function
JP6016061B2 (ja) * 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
CN104521231B (zh) * 2012-08-10 2016-12-21 株式会社尼康 图像处理装置和摄像装置
WO2014024500A1 (ja) * 2012-08-10 2014-02-13 株式会社ニコン 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5949314B2 (ja) * 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 視差マップ生成装置および視差マップ生成装置用のプログラム
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
CN105122793B (zh) * 2013-03-29 2017-05-10 株式会社尼康 图像处理装置、摄像装置及图像处理程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964918A (zh) * 2009-07-21 2011-02-02 富士胶片株式会社 图像再现设备和图像再现方法
CN102104786A (zh) * 2009-12-14 2011-06-22 索尼公司 图像处理装置、图像处理方法和程序
WO2012017585A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置
WO2012032826A1 (ja) * 2010-09-10 2012-03-15 富士フイルム株式会社 立体撮像装置および立体撮像方法
JP2012094997A (ja) * 2010-10-25 2012-05-17 Olympus Imaging Corp 撮影機器

Also Published As

Publication number Publication date
US9723288B2 (en) 2017-08-01
JP6003983B2 (ja) 2016-10-05
US20150062308A1 (en) 2015-03-05
WO2013190814A1 (ja) 2013-12-27
JPWO2013190814A1 (ja) 2016-02-08
CN104322061A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104322061B (zh) 图像处理装置、摄像装置及图像处理方法
CN104521231B (zh) 图像处理装置和摄像装置
CN104429056B (zh) 图像处理方法、图像处理装置、摄像装置及图像处理程序
CN103688536B (zh) 图像处理装置、图像处理方法
CN105122793B (zh) 图像处理装置、摄像装置及图像处理程序
CN104170377B (zh) 图像处理装置、摄像装置
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
CN104412586B (zh) 图像处理装置、摄像装置
CN105230000B (zh) 摄像元件以及摄像装置
US9706190B2 (en) Image processing apparatus and image processing program
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN103636199A (zh) 三维摄像装置、图像处理装置、图像处理方法及图像处理程序
JP5850648B2 (ja) 撮像装置
CN105359519B (zh) 摄像装置
JPWO2013114895A1 (ja) 撮像装置
US9854224B2 (en) Image processing apparatus, image capturing apparatus, and image processing program
JP5978736B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN106412532A (zh) 控制设备、摄像设备和控制方法
JP5978737B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2014107594A (ja) 撮像素子および撮像装置
JP5978738B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012212975A (ja) 撮像装置および撮像装置の制御プログラム
WO2013133115A1 (ja) デフォーカス量検出装置およびカメラ
JP5978735B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2013090265A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant