CN103238168A - 图像处理装置、图像处理方法及图像处理程序 - Google Patents
图像处理装置、图像处理方法及图像处理程序 Download PDFInfo
- Publication number
- CN103238168A CN103238168A CN2011800582100A CN201180058210A CN103238168A CN 103238168 A CN103238168 A CN 103238168A CN 2011800582100 A CN2011800582100 A CN 2011800582100A CN 201180058210 A CN201180058210 A CN 201180058210A CN 103238168 A CN103238168 A CN 103238168A
- Authority
- CN
- China
- Prior art keywords
- image
- blurred picture
- value
- image processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims description 38
- 230000033228 biological regulation Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 description 42
- 238000000034 method Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 101100400452 Caenorhabditis elegans map-2 gene Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种图像处理装置、图像处理方法及图像处理程序。图像处理装置具备：图用滤波处理部，其对基于针对图像的各像素的视差值的视差图施加滤波器；模糊图像生成部，其根据所述图像来生成所述图像的模糊图像；和图像合成部，其基于由所述图用滤波处理部进行了滤波后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
Description
技术领域
本发明涉及图像处理装置、图像处理方法及图像处理程序。
本申请基于2010年12月3日在日本申请的特愿2010-270735号主张优先权，并在此援引其内容。
背景技术
图像生成装置在生成有进深的图像时，关于图像的进深方向，针对位于照相机的焦点区域的对象生成轮廓鲜明的图像，针对偏离了照相机的焦点区域的对象生成轮廓模糊的图像。由此，图像生成装置生成以接近现实世界的形态表现了远近感的图像。
专利文献1记载了推测物体轮廓线上不连续地变化的视差的视差推测方法。该视差推测方法计算2个图像的初始视差和初始视差的可靠性评价值，设定成使初始视差的可靠性低的区域内的视差圆滑地与周围的视差相连，且决定成在物体轮廓线上变化。
专利文献2记载了生成如现实世界的视野图像那样聚焦的图像的图像生成系统。该图像生成系统设定与原始图像的各像素的进深值相应的α值，基于对各像素设定的α值合成原始图像和与该原始图像对应的模糊图像，从而生成聚焦的图像。
此外，专利文献3记载了生成根据距视点的距离聚焦的图像的图像处理程序。该图像处理程序包括：根据基准图像的各像素的进深值设定各像素的α值的设定步骤、和在相邻的2个像素中增加对α值小的像素设定的α值的增加步骤。并且，该图像处理程序基于对增加步骤处理后的各像素设定的α值，合成基准图像和与该基准图像对应的模糊图像，从而生成聚焦的图像。
在先技术文献
专利文献
专利文献1：JP特开2004-7707号公报
专利文献2：JP特开2001-175884号公报
专利文献3：JP特开2008-225767号公报
发明内容
(发明所要解决的课题)
在如专利文献1那样推测视差的情况下，在将图像的各像素中的视差值作为图像来显示的视差图中，会生成比被摄体的大小还大的膨胀了的视差图。在此，视差值是指，在2处观测地点的位置上拍摄到的图像中，拍摄到图像中的对象点在2个图像中沿着水平方向相远离的像素数。
由于生成了比被摄体的大小还大的膨胀了的视差图，在现有的图像生成装置生成了对基准图像和模糊图像进行合成后的合成图像的情况下，在该合成图像中，被摄体与背景之间的边界附近的背景图像会变得特别显眼。即，现有的图像生成装置具有在被摄体与背景之间的边界区域形成不自然的模糊的问题。专利文献2及专利文献3记载的图像生成系统或图像处理程序中也没能解决该问题。
因此，本发明是鉴于上述问题而完成的，其课题是提供一种能够生成在被摄体与背景或前景之间的边界区域成为自然的模糊的图像的图像处理装置、图像处理方法及图像处理程序。
(解决课题的手段)
(1)为了解决上述问题，本发明的一个方式的图像处理装置具备：图用滤波处理部，其对基于针对图像的各像素的视差值的视差图施加滤波器；模糊图像生成部，其根据所述图像来生成所述图像的模糊图像；和图像合成部，其基于由所述图用滤波处理部进行了滤波后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
(2)上述图像处理装置还可以具备滤波器尺寸选择部，其根据由所述图用滤波处理部施加了滤波器的视差图来选择图像用滤波器的尺寸，所述模糊图像生成部也可以通过对所述图像施加所述图像用滤波器来生成所述模糊图像。
(3)上述图像处理装置还可以具备区域分割部，其将所述图像根据所述视差值而分割为规定的区域，并按每个所述区域对视差值进行变换，所述图用滤波处理部也可以对由所述区域分割部变换了视差值的视差图施加滤波器。
(4)上述图像处理装置还可以具备缩小所述图像的尺寸的图像缩小部，所述模糊图像生成部也可以生成被所述图像缩小部缩小后的图像的模糊图像，所述图像处理装置还可以具备将所述缩小后的图像的模糊图像放大到规定的尺寸的图像放大部。
(5)上述图像处理装置中，所述模糊图像生成部还可以具备：基准模糊图像生成部，其从视差图中选择多个值，生成具有与选出的所述多个值的每个值相应的模糊量的基准模糊图像；基准模糊图像选择部，其按照所述图像的每个关注像素，基于所述关注像素的所述滤波后的视差图的值与所述选出的值之间的比较，从所述基准模糊图像中选择基准模糊图像；和像素值插值部，其基于所述选出的基准模糊图像中相当于所述关注像素的位置的像素的像素值、所述关注像素的滤波后的视差图的值、和所述选出的值，计算出所述关注像素的像素值。
(6)在上述图像处理装置中，所述像素值插值部也可以通过使用了基于所述关注像素的滤波后的视差图的值与所述选出的值的值、以及所述选出的基准模糊图像中相当于所述关注像素的位置的像素的像素值的插值，计算出所述关注像素的像素值。
(7)此外，在本发明的一个方式的图像处理方法中，对基于针对图像的各像素的视差值的视差图施加滤波器，根据所述图像来生成所述图像的模糊图像，基于施加了滤波器后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
(8)此外，本发明的一个方式的图像处理程序使图像处理装置的计算机进行如下动作：对基于针对图像的各像素的视差值的视差图施加滤波器，根据所述图像来生成所述图像的模糊图像，基于施加了滤波器后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
(发明效果)
根据本发明，能够生成在被摄体与背景或前景之间的边界区域中成为自然的模糊的图像。
附图说明
图1是表示本发明的各实施方式中的图像处理装置的处理概要的图。
图2是本发明的第1实施方式中的图像处理装置的结构框图。
图3是用于说明模糊系数计算处理部的处理的详细内容的图。
图4A是表示了LPF的核尺寸(kernel size)的横向宽度比视差图生成时的窗尺寸的横向宽度大时的、应用LPF后的视差值的图。
图4B是表示了LPF的核尺寸的横向宽度为视差图生成时的窗尺寸的横向宽度的一半时的、应用LPF后的视差值的图。
图4C是表示了LPF的核尺寸的横向宽度为视差图生成时的窗尺寸的横向宽度时的、应用LPF后的视差值的图。
图5A是表示了原始视差值的一例的图。
图5B是表示了通过区域分割而变换后的视差值的一例的图。
图5C是表示了应用LPF后被平滑化的视差值的一例的图。
图6是表示了生成弱模糊量的图像时使用的核的一例的图。
图7是表示了生成中等程度模糊量的图像时使用的核的一例的图。
图8是表示了生成强模糊量的图像时使用的核的一例的图。
图9是模糊图像生成处理部的结构框图。
图10是用于说明通过线性插值计算出模糊图像的各像素的像素值的方法的图。
图11是表示了本发明的第1实施方式中的图像处理装置的处理流程的流程图。
图12是表示了本发明的第1实施方式中的模糊图像生成处理部30的处理流程的流程图。
图13是本发明的第2实施方式中的图像处理装置的结构框图。
图14是表示了本发明的第2实施方式中的图像处理装置的处理流程的流程图。
具体实施方式
图1是表示了本发明的各实施方式中的图像处理装置的处理概要的图。
作为一例，输入图像1是在整个面的背景区域的中央处存在对焦了的(与摄像机的焦点对焦)平房民宅100(被摄体)的图像。视差图2是随着从输入图像1的对焦的民宅100的边缘101向背景区域远离，使背景区域的视差变化平缓的图像。具体而言，对作为被摄体的民宅100的图像施加LPF(LoW Pass Filter)，使被摄体100的边缘101和背景区域的视差的变化平缓，从而获得视差图2。
背景模糊图像3是利用输入图像1和视差图2抽出了对背景进行模糊处理后的背景模糊图像的图像。被摄体4是利用输入图像1和视差图2抽出了位于对焦区域的被摄体(民宅100)的图像。
输出图像5是合成了背景模糊图像3、和位于对焦区域的被摄体4的图像后的图像。该输出图像5使被摄体边缘101和背景区域的边界区域平缓(自然)地模糊。
<第1实施方式>
图2是本发明的第1实施方式中的图像处理装置10的结构的示意框图。
图像处理装置10具备存储部11、视差图生成部12、模糊系数计算处理部20、模糊图像生成处理部30和图像合成部40。模糊系数计算处理部20还具备按区域的视差值变换部(区域分割部)21、LPF处理部(有时称为“滤波处理部”)22和模糊量选择部(滤波器尺寸选择部)23。
在存储部11中存储有：表示从外部输入的前景边界的对焦视差值FF的信息；表示背景边界的对焦视差值FR的信息；表示将视差值分割为区段时的分割宽度、即步宽DW的信息；表示LPF的核尺寸WW的信息；表示生成多个基准模糊图像时使用的核尺寸、即多个核尺寸KS的信息；以及表示与所述多个核尺寸KS分别对应的模糊系数GC的信息。
在此，LPF的核尺寸WW是视差图生成时的窗尺寸。多个核尺寸KS中的1个尺寸可以是与LPF的核尺寸WW相同的值。此外，在存储部11中存储的核尺寸KS的数量与要生成的模糊图像的数量相同。
视差图生成部12通过使用了规定的窗尺寸(例如与LPF的核尺寸WW相同的尺寸)的公知的块匹配法，根据从外部输入的基准图像的数据IMGDATA和参照图像的数据REFDATA，生成具有与各图像的像素位置对应的视差值的视差图。视差图生成部12向模糊系数计算处理部20的后述的按区域的视差值变换部21输出形成所生成的视差图的视差值数据DisparityData。
模糊系数计算处理部20基于从视差图生成部12输入的形成视差图的视差值数据DisparityData，计算出模糊量GA(模糊程度)。然后，模糊系数计算处理部20向模糊图像生成处理部30输出表示计算出的模糊量GA的信息、和视差值d″。
模糊图像生成处理部30基于输入的表示模糊量GA的信息、和基准图像的数据IMGDATA，生成前景区域及背景区域的模糊图像GP。
图3是用于说明模糊系数计算处理部20的处理的详细内容的图。
按区域的视差值变换部21从存储部11读出表示前景边界的对焦视差值FF的信息、和表示背景边界的对焦视差值FR的信息。
按区域的视差值变换部21在从外部输入的视差值数据DisparityData的值d小于背景边界的对焦视差值FR的情况下，即是背景区域时，将变换后的视差值数据d′设为FR-d。
另一方面，在视差值数据DisparityData的值d大于前景边界的对焦视差值FF的情况下，即是前景区域时，按区域的视差值变换部21将变换后的视差值数据d′设为d-FF。
此外，在视差值数据DisparityData的值d为背景边界的对焦视差值FR以上且前景边界的对焦视差值FF以下的情况下，即是对焦区域时，按区域的视差值变换部21将变换后的视差值数据d′设为0。
即，按区域的视差值变换部21将保持图像的各像素的视差值的视差图根据其视差值而分割成规定的区域，并根据该区域变换视差值。
并且，按区域的视差值变换部21向LPF处理部(图用滤波处理部)22输出变换后的视差值数据d′。
LPF处理部(图用滤波处理部)22从存储部11读出表示核尺寸WW的信息和表示其模糊系数GC的信息。LPF处理部(图用滤波处理部)22利用读出的核尺寸WW及其模糊系数GC，对由变换后的视差值数据d′构成的视差图施加LPF。由此，LPF处理部(图用滤波处理部)22对前景区域、背景区域、对焦区域之间进行平滑化，使视差值不会急剧变化。
接着，说明在图2的LPF处理部(图用滤波处理部)22中使用的核尺寸WW。
图4A～图4C是用于说明在LPF处理部(图用滤波处理部)22中使用的核尺寸WW的图。
图4A是表示了LPF的核尺寸的横向宽度411及412大于视差图生成时的窗尺寸的横向宽度时的、应用LPF后的视差值的图。另外，在图4A中，符号413表示被摄体的边缘。此外，符号414表示应用LPF后的视差值。此外，符号415表示背景。此外，符号416表示与窗尺寸的半值宽度相应的膨胀区域。
图4A相对于图像的横向坐标(以下，称为图像横坐标)示出了应用LPF前的视差值和应用LPF后的视差值。
在图4A中，被圆417包围着表示的应用LPF后的视差值无论是否为对焦区域，都作为背景区域而被施加了LPF。因此，与由圆417表示的应用LPF后的视差值对应的合成图像的对焦区域的一部分中存在模糊的问题。
图4B是表示了LPF的核尺寸的横向宽度421及422为视差图生成时的窗尺寸的横向宽度的一半时的、应用LPF后的视差值的图。另外，在图4B中，符号423表示被摄体的边缘。此外，符号424表示应用LPF后的视差值。此外，符号425表示背景。此外，符号426表示与窗尺寸的半值宽度相应的量的膨胀区域。
图4B相对于图像横坐标示出了应用LPF前的视差值和应用LPF后的视差值。
在图4B中，由圆427包围示出的应用LPF后的视差值无论是否为背景区域，都作为对焦区域而不施加LPF。因此，存在由圆427表示的与应用LPF后的视差值对应的合成图像的背景区域的一部分不模糊的问题。
图4C是表示了LPF的核尺寸的横向宽度431及432为视差图生成时的窗尺寸的横向宽度时的、应用LPF后的视差值的图。另外，在图4C中，符号433表示被摄体的边缘。此外，符号434表示应用LPF后的视差值。此外，符号435表示背景。此外，符号436表示与窗尺寸的半值宽度相应的量的膨胀区域。
图4C相对于图像的横方向的坐标(以下，称为图像横坐标)示出了应用LPF前的视差值和应用LPF后的视差值。
在图4C中，不会对对焦区域施加LPF，不会产生最终的合成图像的对焦区域的一部分模糊的问题。此外，可从被摄体的边缘到背景，对变换后的视差值施加LPF。因此，能够使最终的合成图像的被摄体的边缘到背景都模糊。
此外，由于应用LPF后的视差值从被摄体边缘到背景平缓地变化，因此合成图像的背景区域中的模糊平缓地变化。
因此，LPF处理部(图用滤波处理部)22以与视差图生成时的窗尺寸相同的核尺寸WW对视差图施加LPF，计算出应用LPF后的视差值d″。LPF处理部(图用滤波处理部)22向模糊量选择部23输出表示应用LPF后的视差值d″的信息。
图5A～图5C是示出了原始的视差值d(图5A)、通过按区域的视差值变换而变换后的视差值d′(图5B)、应用LPF后的视差值d″(图5C)的一例的图。
图5A表示原始的视差值与图像横坐标的关系的一例。
在图5A中，横轴是图像横坐标，纵轴是视差值d。在该例中，在图像横坐标上，面向图面，左侧(靠近原点的一方)是前景区域，正中间是对焦区域，右侧(远离了原点的一方)是背景区域。上述3个区域中，前景区域的视差值高，对焦区域的视差值为中等程度，背景区域的视差值低。
图5B示出了通过按区域的视差值变换部21进行的按区域的视差值变换而变换后的视差值相对于图像横坐标的一例。图5B表示对图5A进行了按区域的视差值变换的情况。在图5B中，横轴是图像横坐标，纵轴是变换后的视差值d′。在该例中，在图像横坐标上，面向图面，左侧是前景区域，正中间是对焦区域，右侧是背景区域。前景区域及背景区域的变换后的视差值d′取正值，而在对焦区域中取0。在此，在前景区域与对焦区域的边界、或对焦区域与背景区域的边界，变换后的视差值d′相对于图像横坐标而急剧变化。
图5C根据本实施方式表示了基于LPF处理部22的应用LPF后的视差值相对于图像横坐标的一例。在图5C中，横轴是图像横坐标，纵轴是应用LPF后的视差值d″。在该例中，在图像横坐标上，面向图面，左侧是前景区域，正中间是对焦区域，右侧是背景区域。在此，在前景区域与对焦区域的边界、或对焦区域与背景区域的边界，应用LPF后的视差值d″相对于图像横坐标而平缓地变化。图5C表示对图5B进行了LPF处理后的情况。
如以上所述，LPF处理部(图用滤波处理部)22对视差图施加LPF。由此，在前景区域与对焦区域的边界、或对焦区域与背景区域的边界中，能够使应用LPF后的视差值d″的变化相对于图像横坐标而变得平缓。
此外，在图像处理装置10中，按区域的视差值变换部21将基准图像划分为前景区域、背景区域和对焦区域，变换了视差值之后，LPF处理部(图用滤波处理部)22进行LPF的处理。由此，在合成图像中的对焦区域和背景区域相接近的附近，能够防止在背景区域侧产生因对焦区域的边缘附近图像引起的轮廓。
如图5A所示，在按照前景、对焦、背景的顺序产生变化的情况下，在合成图像中，在前景与背景之间会出现对焦区域的图像。因此，若图像处理装置10不进行按区域的视差值变换(直接使用输入视差图)，则即便进行LPF处理视差值也不会成为0。
但是，在合成图像中，前景区域和背景区域重叠的情况下，即，前景区域之后是背景区域，没有对焦区域，则图像处理装置同样地不进行按区域的视差值变换而直接使用输入视差图来执行LPF处理时，视差值成为0。因此，具有在原本合成图像中不存在对焦区域的位置处出现对焦后的图像的问题。
按区域的视差值变换部21通过进行按区域的视差值变换，从而变换后的前景及背景的视差值不包含对焦区域的视差值，因此该变换后的视差值不会成为0。因此，在合成图像中，在前景区域和背景区域重叠的情况下，若图像处理装置10进行按区域的视差值变换后执行LPF处理，则不会生成视差值为0的区域。
在本实施方式中，按区域的视差值变换部21进行按区域的视差值变换后，LPF处理部22进行LPF处理。由此，在合成图像中的从前景区域变化到背景区域的区域内，能够防止出现对焦后的图像。
另外，LPF处理部(图用滤波处理部)22在对视差图施加滤波器时，也可以使用图6至图8所示的随着从表格T1～T3的中心向端部移动而要素的值变小的核。另外，并不限于此，也可以使用核的要素全部相同的核。例如，在核为3×3时，所有要素是1/9。
此外，LPF处理部(图用滤波处理部)22，按照使应用LPF后的视差值如图4C那样从相当于被摄体的边缘的位置开始视差值平缓地变化的方式进行了滤波，但是并不限于此。例如，也可以按照如下方式进行滤波，即，应用LPF后的视差值如图4A那样，从与比被摄体的边缘更靠被摄体内部的像素相当的位置开始视差值平缓地变化。此时，从深入被摄体内部的像素开始，图像开始模糊。
回到图3的说明，模糊量选择部23从存储部11读出表示步宽DW的信息、和表示多个核尺寸KS的信息。模糊量选择部23按每个步宽DW，设定与核尺寸KS的种类数相同的数量的阈值。例如，核尺寸KS的种类数是3，因此模糊量选择部23将DW、DW×2、DW×3设定为阈值。
模糊量选择部23在应用LPF后的视差值d″为0的情况下，即是对焦区域的情况下，将对保持对图像施加LPF时的核的信息的表格进行识别的模糊量表格设为0，建立对焦标记FA。
另一方面，模糊量选择部23在应用LPF后的视差值d″小于步宽DW的情况下，即是弱模糊量时，将模糊量表格设为1，不建立对焦标记。
在上述以外的情况下，模糊量选择23在应用LPF后的视差值d″小于步宽DW的2倍时，即是中等程度的模糊量时，将模糊量表格设为2，不建立对焦标记。
在上述以外的情况下，模糊量选择23在应用LPF后的视差值d″小于步宽DW的3倍时，即是强模糊量时，将模糊量表格设为3，不建立对焦标记。
在上述以外的情况下，即应用LPF后的视差值d″超过步宽DW的3倍时，模糊量选择23将模糊量表格设为4，不建立对焦标记。
模糊量选择部23向图像合成部40输出表示对焦标记的信息，向模糊图像生成处理部30输出表示模糊量表格GT的信息、和表示应用LPF后的视差值d″的信息。
另外，图3所示的步宽DW1到DW3的各间隔不需要一定是固定长度(步宽DW的间隔始终恒定)，也可以是可变的。
回到图2的说明，模糊图像生成处理部30基于从模糊量选择部23输入的表示模糊量的信息、和从外部输入的基准图像的数据IMGDATA，生成模糊图像。然后，模糊图像生成处理部30向图像合成部40输出表示模糊图像GP的信息。
图9是模糊图像生成处理部30(图2参照)的结构框图。模糊图像生成处理部30具备基准模糊图像生成部31、基准模糊图像选择部32和像素值插值部33。
基准模糊图像生成部31生成的基准模糊图像的数量是核尺寸KS的种类数。在此，作为一例，说明核尺寸KS的种类数为3的情况。另外，核尺寸KS的种类数只要是1种以上即可。基准模糊图像生成部31生成的基准模糊图像的数量越多，越能够从基准模糊图像正确地插值模糊图像的各像素值。因此，图像处理装置10能够生成对应于与被摄体之间的距离的圆滑的模糊图像。
基准模糊图像生成部31对具有3个不同的核尺寸的核的模糊系数GC的每一个系数、与从外部提供的基准图像的数据IMGDATA进行卷积，生成3种基准模糊图像。
具体而言，基准模糊图像生成部31通过对图6所示的表格T1(3×3)的核与基准图像的数据IMGDATA进行卷积，从而生成第1基准模糊图像(弱模糊图像)。基准模糊图像生成部31通过对图7所示的表格T2(7×7)的核与基准图像的数据IMGDATA进行卷积，从而生成第2基准模糊图像(中等模糊图像)。基准模糊图像生成部31通过对图8所示的表格T3(15×15)的核与基准图像的数据IMGDATA进行卷积，从而生成第3基准模糊图像(强模糊图像)。
在此，说明与各个模糊图像对应的核的模糊系数。图6是表示了生成弱模糊量的图像时使用的核的模糊系数的一例的图。在图6中，作为在与图3的步宽DW1对应的模糊图像(弱模糊)的生成中所使用的核的模糊系数的例子，表示了3×3的表格T1。在表格T1中，在所有要素中，中心的要素为0.3446，是最大的，4角的要素为0.0386，是最小的。
图7是表示了在生成中等模糊量的图像时所使用的核的模糊系数的一例的图。
在图7中，作为在与图3的步宽DW2对应的模糊图像(中等模糊)生成中使用的核的模糊系数的例子，表示了7×7的表格T2。在表格T2中，所有要素中，中心的要素为0.0324，是最大的，越靠近端部要素越小，4角的要素为0.0103，是最小的。
图8是表示了生成强模糊量的图像时使用的核的模糊系数的一例的图。
在图8中，作为在与图3的步宽DW3对应的模糊图像(强模糊)生成中使用的核的模糊系数的例子，表示了15×15的表格T3。在表格T3中，与表格T2同样，在所有要素中，中心的要素为0.006741，是最大的，越靠近端部要素越小，4角的要素为0.002038，是最小的。
一般，核的大小(在此说明的表格的尺寸)越大，使用该核施加滤波器后的图像的模糊就越大。
例如，在此，表格T2的尺寸大于表格T1。因此，通过对表格T2示出的核与图像进行卷积而生成的图像的模糊量，大于通过对表格T1示出的核与图像进行卷积而生成的图像的模糊量。
另外，在此，表格T3的尺寸大于表格T2。因此，通过对表格T3示出的核与图像进行卷积而生成的图像的模糊量，大于通过对表格T2示出的核与图像进行卷积而生成的图像的模糊量。
回到图9的说明，基准模糊图像生成部31向基准模糊图像选择部32输出表示所生成的3种基准模糊图像SG的信息。
基准模糊图像选择部32使用从模糊量选择部23输入的表示模糊量的信息，按模糊图像的每个像素，选择2个在关注像素的视差值附近的模糊图像。
例如，若模糊量为1，则基准模糊图像选择部32选择基准图像和弱模糊图像。若模糊量为2，则基准模糊图像选择部32选择弱模糊图像和中等模糊图像。若模糊量为3，则基准模糊图像选择部32选择中等模糊图像和强模糊图像。若模糊量为4，则基准模糊图像选择部32仅选择强模糊图像，不通过像素值插值部33进行插值，而是将表示强模糊图像的信息原样输出给图像合成部40。
并且，进行选择之后，基准模糊图像选择部32向像素值插值部33输出表示选择了哪个模糊图像的选择信息。
像素值插值部33根据表示从基准模糊图像选择部32输入的模糊图像之中选择了哪个模糊图像的选择信息，读出该选出的2个模糊图像的视差值d″、和表示步宽DW的信息。并且，像素值插值部33基于读出的视差值d″，通过线性插值计算出关注像素的视差值的对应的模糊图像的像素值。
另外，利用图10说明像素值插值部33的处理的详细内容。图10是用于说明通过线性插值计算出模糊图像的各像素的像素值的方法的图。
在图10中，在靠上的横轴上表示了之后生成的模糊图像的像素值(模糊图像数据)，在靠下的横轴上表示了应用LPF后的视差值d″。
在作为应用LPF后的视差值d″之一的输入视差值d″IN位于步宽DW1与步宽DW2之间时，计算出作为该输入视差值d″IN与步宽DW1之差的a(＝d″IN-DW1)、和作为该输入视差值d″IN与步宽DW2之差的b(＝DW2-d″IN)。
若将弱模糊的亮度值设为Y1、中等模糊的亮度值设为Y2，则模糊图像的亮度值(插值数据)Y是通过以下的式(1)计算出的。
Y＝(Y1×b+Y2×a)/(a+b) (1)
像素值插值部33使用式(1)，针对RGB(Red、Green、Blue)各自的亮度值计算出模糊图像的亮度值(插值数据)。此外，像素值插值部33针对对焦区域根据基准图像生成对焦图像。
像素值插值部33通过对所有像素进行上述的处理，生成模糊图像。
由此，像素值插值部33通过使用了基于关注像素的滤波后的视差图的值和从视差图中选出的值的值、以及在选出的基准模糊图像中相当于关注像素的位置的像素的像素值的插值，能够计算出关注像素的像素值。由此，像素值插值部33能够生成与视差值相应的适当的模糊图像。
另外，如前所述，图10的步宽DW1至步宽DW3的各间隔不需要一定是固定长度(即，DW的间隔始终恒定)，各间隔可以是可变的。此外，在将各间隔设为可变的情况下，式(1)的分母(a+b)的值随着步宽DW1至步宽DW3的各间隔而变化。
另外，如基准模糊图像生成部31的说明那样，步宽DW的个数(核尺寸KS的种类数)只要是1以上即可。步宽DW的个数越多，越能够从基准模糊图像正确地插值模糊图像的各像素值，因此图像处理装置10能够生成与被摄体之间的距离相应的圆滑的模糊图像。
模糊图像生成处理部30对前景区域和背景区域分别进行上述的一系列的模糊图像生成处理，生成前景区域的模糊图像和背景区域的模糊图像。
模糊图像生成处理部30向图像合成部40输出所生成的前景区域的模糊图像GP1的数据、和背景区域的模糊图像GP2的数据。
返回图2的说明，图像合成部40针对从模糊量选择部23输入的对焦标记为1的像素，将基准图像的数据在对焦区域中的亮度值设为合成图像的亮度值。
另一方面，图像合成部40针对从模糊量选择部23输入的对焦标记为0的像素，将模糊图像的亮度值设为合成图像的亮度值。由此，图像合成部40能够仅使非对焦区域模糊，使对焦区域的像素保持原样。
图像合成部40通过按照背景区域、对焦区域、前景区域的顺序将各区域的亮度值代入合成图像的亮度值，从而生成合成图像。图像合成部40向外部输出所生成的合成图像数据IMGDATAOUT。
图11是表示了本发明的第1实施方式中的图像处理装置10(图2参照)的处理流程的流程图。
首先，视差图生成部12通过块匹配而根据基准图像及参照图像来生成视差图(步骤S101)。
接着，按区域的视差值变换部21将基准图像及视差图分割为前景区域、对焦区域、背景区域，通过前述的方法对视差值进行变换(步骤S102)。
接着，LPF处理部(图用滤波处理部)22对变换后的视差图施加LPF(步骤S103)。
接着，模糊量选择部23针对前景区域计算出与变换后的视差值对应的模糊量(表格)(步骤S104)。
接着，模糊图像生成处理部30针对前景区域，从模糊量(表格)中选择对应的核尺寸的模糊图像，进行与变换后的视差值相应的模糊图像生成处理(步骤S105)。
接着，模糊量选择部23针对背景区域计算出与变换后的视差值对应的模糊量(表格)(步骤S106)。
接着，模糊图像生成处理部30针对背景区域，从模糊量(表格)中选择对应的核尺寸的模糊图像，进行与变换后的视差值相应的模糊图像生成处理(步骤S107)。
接着，模糊图像生成处理部30针对对焦区域而根据基准图像来生成对焦图像(步骤S108)。
接着，图像合成部40重叠背景区域、对焦区域、前景区域的各区域来进行合成(步骤S109)。
以上，结束图11的流程图的处理。
接着，利用图12，详细说明图11的步骤S105和步骤S107的模糊图像生成处理部30进行的模糊图像生成处理。
图12是表示了本发明的第1实施方式中的模糊图像生成处理部30的处理流程的流程图。
首先，基准模糊图像生成部31以3种核尺寸生成模糊图像(步骤S201)。
接着，基准模糊图像选择部32按每个像素选择2个在关注像素的视差值附近的模糊图像(步骤S202)。
接着，像素值插值部33通过线性插值，根据2个模糊图像的视差值生成与关注像素的视差值对应的模糊图像(步骤S203)。
以上，结束图12的流程图的处理。
通过以上处理，图像处理装置10能够对视差图从相当于被摄体边缘的位置开始施加LPF来进行变换，使膨胀区域的视差值平缓地变化。由此，图像处理装置10能够根据应用LPF后的视差值，变更模糊中使用的滤波器尺寸。
通过对视差图从相当于被摄体边缘的位置开始施加LPF的作用，即使是膨胀了的视差图，也能够使前景区域至对焦区域的模糊平缓地变化，能够使前景与对焦区域的切换部分的边界不显眼。
此外，由于能够设为对焦区域周边的背景区域图像不包含于对焦区域，因此能够使在对焦与背景区域的切换部分处发生在背景区域图像中的对焦成分的像素值并不显眼。
此外，图像处理装置10生成具有与从应用LPF后的视差值中选出的多个值相应的模糊量的多个模糊图像，根据应用LPF后的视差值，能够通过使用了模糊图像的像素值的线性插值来生成合成图像。由此，在前景区域及背景区域内，能够根据纵深使图像的模糊成为自然的模糊。
<第2实施方式>
接着，说明本发明的第2实施方式。图13是本发明的第2实施方式中的图像处理装置10b的结构框图。另外，对与图2相同的要素附加同一符号，并省略其说明。
图13的图像处理装置10b的构成与图2的图像处理装置10的构成相比，追加了图像缩小部24、标记放大部25和图像放大部34。
此外，图13的图像处理装置10b的构成与图2的图像处理装置10的构成相比，视差图生成部12被变更为视差图生成部12b。此外，模糊系数计算处理部20被变更为模糊系数计算处理部20b。此外，模糊量选择部23被变更为模糊量选择部23b。此外，模糊图像生成处理部30被变更为模糊图像生成处理部30b。此外，图像合成部40被变更为图像合成部40b。
图像缩小部24以规定倍率(例如4分之1)缩小从外部输入的基准图像和参照图像。并且，图像缩小部24向视差图生成部12b输出缩小后的基准图像的数据和缩小后的参照图像的数据。此外，图像缩小部24向模糊图像生成处理部30b输出缩小后的基准图像的数据。
视差图生成部12b与第1实施方式的视差图生成部12同样地，根据从图像缩小部24输入的缩小后的基准图像的数据和缩小后的参照图像的数据，通过使用了规定的窗尺寸WW的公知的块匹配法，生成视差图。视差图生成部12b向模糊系数计算处理部20的按区域的视差值变换部21输出形成所生成的视差图的视差值数据DisparityData。
模糊量选择部23b与第1实施方式的模糊量选择部23同样地，计算出模糊量和对焦标记，并向标记放大部25输出表示对焦标记的信息。此外，模糊量选择部23b向模糊图像生成处理部30b输出表示计算出的模糊量的信息。
标记放大部25根据从滤波器尺寸选择部23b输入的表示对焦标记的信息，以与后述的图像放大部34放大模糊图像的倍率(例如4倍)相同的倍率，放大作为对焦标记为1的区域的对焦区域。标记放大部25向图像合成部40b输出放大后的对焦区域的信息。
模糊图像生成处理部30b与第1实施方式的模糊图像生成处理部30同样地，基于输入的表示模糊量的信息、和缩小后的基准图像的数据，生成前景区域及背景区域的模糊图像。模糊图像生成处理部30b向图像放大部34输出所生成的前景区域的模糊图像的数据、和背景区域的模糊图像的数据。
图像放大部34通过公知的双线性插值，以图像缩小部24中的缩小倍率的倒数的倍率(例如4倍)，放大所输入的前景区域的模糊图像。同样地，图像放大部34通过双线性插值，以图像缩小部24中的缩小倍率的倒数的倍率(例如4倍)，放大所输入的背景区域的模糊图像。另外，上述插值并不限于双线性插值。
图像放大部34向图像合成部40b输出放大后的前景区域的模糊图像的数据、和放大后的背景区域的模糊图像的数据。
另外，图像放大部34以图像缩小部24中的缩小倍率的倒数的倍率放大了模糊图像，但是并不限于此，也可以以与最终想要取得的合成图像的图像尺寸一致的倍率放大模糊图像。
图像合成部40b使用从标记放大部25输入的放大后的对焦区域的信息，针对放大后的对焦区域，基于从外部输入的缩小前的基准图像生成对焦图像。图像合成部40b与图像合成部40同样地，按照背景区域、对焦区域、前景区域的顺序合成各区域来生成合成图像。图像合成部40b向外部输出所生成的合成图像的数据IMGDATAOUT。
图14是表示了本发明的第2实施方式中的图像处理装置10b的处理流程的流程图。首先，图像缩小部24将基准图像及参照图像缩小至规定倍率(例如4分之1)(步骤S301)。
接着，视差图生成部12b根据缩小后的基准图像及缩小后的参照图像，通过块匹配来求出视差图(步骤S302)。
接着，按区域的视差值变换部21将缩小后的基准图像及视差图分割为前景区域、对焦区域、背景区域(步骤S303)。
接着，LPF处理部(图用滤波处理部)22对视差图施加LPF(步骤S304)。
接着，模糊图像生成处理部30b针对缩小后的基准图像的前景区域，计算出与变换后的视差值对应的模糊量(表格)(步骤S305)。
接着，模糊图像生成处理部30b针对缩小后的基准图像的前景区域，通过图12所示的处理流程，从模糊量(表格)中选择对应的核尺寸的模糊图像，进行与变换后的视差值相应的模糊图像生成处理(步骤S306)。
接着，模糊图像生成处理部30b针对缩小后的基准图像的背景区域，计算出与变换后的视差值对应的模糊量(表格)(步骤S307)。
接着，模糊图像生成处理部30b针对缩小后的基准图像的背景区域，通过图12所示的处理流程，从模糊量(表格)中选择对应的核尺寸的模糊图像，进行与变换后的视差值相应的模糊图像生成处理(步骤S308)。
接着，图像放大部34使用双线性插值，以规定倍率(例如4倍)放大前景区域的模糊图像及背景区域的模糊图像。接着，标记放大部25通过近邻取样(nearest neighbor)法放大对焦标记(步骤S310)。
接着，图像合成部40b使用放大后的对焦标记，根据缩小前的基准图像来生成对焦图像(步骤S311)。
接着，图像合成部40b按照背景区域、对焦区域、前景区域的顺序合成各区域(步骤S312)。
以上，结束图14的流程图的处理。
由此，图像处理装置10b中，由于作为输入图像的基准图像和参照图像的缩小，纵深分辨率会降低，1个被摄体内的纵深值的变化减小。因此，能够削减从沿着进深方向变化的被摄体的中途开始产生模糊的频度。
此外，也可以在计算机可读取的记录介质中，记录用于执行本发明的第1实施方式的图像处理装置10(图2参照)及本发明的第2实施方式的图像处理装置10b(图13参照)的各处理的程序。并且，可以通过使计算机系统读取并执行记录于该记录介质中的程序，从而进行图像处理装置10、图像处理装置10b的上述的各种处理。
另外，这里的“计算机系统”也可以包括OS(Operating System)或外围设备等硬件。此外，在“计算机系统”利用WWW(World Wide Web)系统的情况下，还包括主页提供环境(或者显示环境)。此外，“计算机可读取的记录介质”是指软盘、光磁盘、ROM(Read Only Memory)、闪存等可改写的非易失性存储器、CD-ROM(Compact Disc-Read OnlyMemory)等可移动介质、计算机系统中内置的硬盘等存储装置。
另外，“计算机可读取的记录介质”还包括经由因特网等网络或电话线路等通信线路发送了程序时的服务器或成为客户机程序的计算机系统内部的易失性存储器(例如DRAM(Dynamic Random Access Memory))那样在一定时间内保持程序的介质。此外，上述程序也可以从在存储装置等中保存了该程序的计算机系统经由传送介质或者传送介质中的传送波而传送到其他计算机系统。在此，传送程序的“传送介质”是指，如因特网等网络(通信网)或电话线路等通信线路(通信线)那样具有传送信息的功能的介质。此外，上述程序也可以实现前述功能的一部分。另外，也可以是通过与计算机系统中全部记录的程序的组合来实现前述的功能的所谓的差分文件(difference file)(差分程序)。
以上，参照附图详细说明了本发明的实施方式，但是具体的构成并不限于该实施方式，还包括不超出该发明的宗旨的范围的设计等。
(产业上的可利用性)
本发明能够应用于生成使被摄体与背景或前景的边界区域成为平缓的模糊的图像的图像处理装置、图像处理方法及图像处理程序等。
符号说明
10、10b…图像处理装置
11…存储部
12、12b…视差图生成部
20、20b…模糊系数计算处理部
21…按区域的视差值变换部(区域分割部)
22…LPF处理部(图用滤波处理部)
23…模糊区域选择部(滤波器尺寸选择部)
24…图像缩小部
25…标记放大部
30…模糊图像生成处理部
31…基准模糊图像生成部
32…基准模糊图像选择部
33…像素值插值部
34…图像放大部
40、40b…图像合成部
Claims (8)
1.一种图像处理装置，具备：
图用滤波处理部，其对基于针对图像的各像素的视差值的视差图施加滤波器；
模糊图像生成部，其根据所述图像来生成所述图像的模糊图像；和
图像合成部，其基于由所述图用滤波处理部进行了滤波后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具备滤波器尺寸选择部，该滤波器尺寸选择部根据由所述图用滤波处理部施加了滤波器后的视差图来选择图像用滤波器的尺寸，
所述模糊图像生成部通过对所述图像施加所述图像用滤波器来生成所述模糊图像。
3.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具备区域分割部，该区域分割部将所述图像根据所述视差值而分割为规定的区域，并按每个所述区域对视差值进行变换，
所述图用滤波处理部对由所述区域分割部变换了视差值后的视差图施加滤波器。
4.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具备缩小所述图像的尺寸的图像缩小部，
所述模糊图像生成部生成被所述图像缩小部缩小后的图像的模糊图像，
所述图像处理装置还具备将所述缩小后的图像的模糊图像放大到规定的尺寸的图像放大部。
5.根据权利要求1所述的图像处理装置，其中，
所述模糊图像生成部具备：
基准模糊图像生成部，其从视差图中选择多个值，生成具有与选出的所述多个值的每个值相应的模糊量的基准模糊图像；
基准模糊图像选择部，其按所述图像的每个关注像素，基于所述关注像素的所述滤波后的视差图的值与所述选出的值之间的比较，从所述基准模糊图像中选择基准模糊图像；和
像素值插值部，其基于所述选出的基准模糊图像中相当于所述关注像素的位置的像素的像素值、所述关注像素的滤波后的视差图的值、和所述选出的值，计算出所述关注像素的像素值。
6.根据权利要求5所述的图像处理装置，其中，
所述像素值插值部通过使用了基于所述关注像素的滤波后的视差图的值与所述选出的值的值、以及所述选出的基准模糊图像中相当于所述关注像素的位置的像素的像素值的插值，计算出所述关注像素的像素值。
7.一种图像处理方法，其中，
对基于针对图像的各像素的视差值的视差图施加滤波器，
根据所述图像来生成所述图像的模糊图像，
基于施加了滤波器后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
8.一种图像处理程序，使图像处理装置的计算机进行如下动作：
对基于针对图像的各像素的视差值的视差图施加滤波器，
根据所述图像来生成所述图像的模糊图像，
基于施加了滤波器后的视差图，生成对所述图像和所述模糊图像进行合成后的合成图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010270735 | 2010-12-03 | ||
| JP2010-270735 | 2010-12-03 | ||
| PCT/JP2011/070832 WO2012073575A1 (ja) | 2010-12-03 | 2011-09-13 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103238168A true CN103238168A (zh) | 2013-08-07 |
Family
ID=46171531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011800582100A Pending CN103238168A (zh) | 2010-12-03 | 2011-09-13 | 图像处理装置、图像处理方法及图像处理程序 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9070223B2 (zh) |
| JP (1) | JP5473173B2 (zh) |
| CN (1) | CN103238168A (zh) |
| BR (1) | BR112013013356A2 (zh) |
| WO (1) | WO2012073575A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105165002A (zh) * | 2014-03-27 | 2015-12-16 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
| CN108076291A (zh) * | 2017-12-28 | 2018-05-25 | 北京安云世纪科技有限公司 | 一种图像数据的虚化处理方法、装置和移动终端 |
| CN113256785A (zh) * | 2021-05-31 | 2021-08-13 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9007402B2 (en) | 2012-09-18 | 2015-04-14 | Facebook, Inc. | Image processing for introducing blurring effects to an image |
| JP6230239B2 (ja) * | 2013-02-14 | 2017-11-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| US9886766B2 (en) * | 2013-08-16 | 2018-02-06 | Samsung Electronics Co., Ltd | Electronic device and method for adding data to image and extracting added data from image |
| CN105872408A (zh) * | 2015-12-04 | 2016-08-17 | 乐视致新电子科技（天津）有限公司 | 图像处理方法及设备 |
| JP7020485B2 (ja) * | 2017-06-22 | 2022-02-16 | 日本電気株式会社 | 演算装置、演算方法及びプログラム |
| CN114626978A (zh) * | 2022-03-17 | 2022-06-14 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、计算机设备以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030026474A1 (en) * | 2001-07-31 | 2003-02-06 | Kotaro Yano | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
| CN101488216A (zh) * | 2008-01-18 | 2009-07-22 | 三洋电机株式会社 | 图像处理装置及方法以及摄像装置 |
| CN102104728A (zh) * | 2009-12-17 | 2011-06-22 | 三洋电机株式会社 | 图像处理装置以及摄像装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09181966A (ja) | 1995-12-22 | 1997-07-11 | Olympus Optical Co Ltd | 画像処理方法及び装置 |
| US6163337A (en) | 1996-04-05 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Multi-view point image transmission method and multi-view point image display method |
| JP3733359B2 (ja) | 1996-04-05 | 2006-01-11 | 松下電器産業株式会社 | 視差推定方法、画像伝送方法、画像表示方法、多視点画像伝送方法、多視点画像復元方法および視差推定装置 |
| JP3262772B2 (ja) | 1999-12-17 | 2002-03-04 | 株式会社ナムコ | 画像生成システム及び情報記憶媒体 |
| JP2006067521A (ja) * | 2004-08-30 | 2006-03-09 | Kyocera Corp | 画像処理装置と方法、および画像撮像装置と方法 |
| US8073196B2 (en) * | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
| JP4793933B2 (ja) | 2007-03-12 | 2011-10-12 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
| JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| US8405708B2 (en) * | 2008-06-06 | 2013-03-26 | Reald Inc. | Blur enhancement of stereoscopic images |
| KR101690297B1 (ko) * | 2010-04-12 | 2016-12-28 | 삼성디스플레이 주식회사 | 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 |
| RU2010123652A (ru) * | 2010-06-10 | 2011-12-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) | Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником |
| JP5175910B2 (ja) | 2010-09-16 | 2013-04-03 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
| US8878950B2 (en) * | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
-
2011
- 2011-09-13 BR BR112013013356A patent/BR112013013356A2/pt not_active IP Right Cessation
- 2011-09-13 CN CN2011800582100A patent/CN103238168A/zh active Pending
- 2011-09-13 WO PCT/JP2011/070832 patent/WO2012073575A1/ja active Application Filing
- 2011-09-13 JP JP2012546719A patent/JP5473173B2/ja not_active Expired - Fee Related
- 2011-09-13 US US13/990,464 patent/US9070223B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030026474A1 (en) * | 2001-07-31 | 2003-02-06 | Kotaro Yano | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
| CN101488216A (zh) * | 2008-01-18 | 2009-07-22 | 三洋电机株式会社 | 图像处理装置及方法以及摄像装置 |
| CN102104728A (zh) * | 2009-12-17 | 2011-06-22 | 三洋电机株式会社 | 图像处理装置以及摄像装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105165002A (zh) * | 2014-03-27 | 2015-12-16 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
| CN105165002B (zh) * | 2014-03-27 | 2018-07-03 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
| CN108076291A (zh) * | 2017-12-28 | 2018-05-25 | 北京安云世纪科技有限公司 | 一种图像数据的虚化处理方法、装置和移动终端 |
| CN113256785A (zh) * | 2021-05-31 | 2021-08-13 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130279799A1 (en) | 2013-10-24 |
| US9070223B2 (en) | 2015-06-30 |
| JPWO2012073575A1 (ja) | 2014-05-19 |
| BR112013013356A2 (pt) | 2016-09-13 |
| WO2012073575A1 (ja) | 2012-06-07 |
| JP5473173B2 (ja) | 2014-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103238168A (zh) | 图像处理装置、图像处理方法及图像处理程序 | |
| CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
| CN101540046B (zh) | 基于图像特征的全景图拼接方法和装置 | |
| Xiao et al. | Fast image dehazing using guided joint bilateral filter | |
| US9361725B2 (en) | Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium | |
| KR101297177B1 (ko) | 디지털 이미지의 적응적 리포맷팅을 위한 방법 및 시스템 | |
| CN102244731A (zh) | 电子机器 | |
| CN104252700A (zh) | 一种红外图像的直方图均衡化方法 | |
| JP2007280284A (ja) | 画像の高解像度化方法及び装置 | |
| CN106447607A (zh) | 一种图像拼接方法及装置 | |
| CN103440664A (zh) | 一种生成高分辨率深度图的方法、系统及计算设备 | |
| Hu et al. | Hybrid shift map for video retargeting | |
| US8743419B2 (en) | Image processing apparatus and method converting low-resolution image to high-resolution using signal value patterns | |
| Devaraj et al. | Performance analysis of reconstructed image using colour demosaicing algorithm for digital images | |
| Kumar et al. | A distortion-sensitive seam carving algorithm for content-aware image resizing | |
| WO2013089183A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 | |
| Zheng et al. | Joint residual pyramid for joint image super-resolution | |
| CN102592295B (zh) | 一种图像处理的方法和装置 | |
| CN102842111B (zh) | 放大图像的补偿方法及装置 | |
| Nguyen et al. | Depth image-based rendering with low resolution depth | |
| TW200949759A (en) | Image processing apparatus and method | |
| US9077963B2 (en) | Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data | |
| Yun et al. | Depth extraction with offset pixels | |
| CN103050110B (zh) | 图像调整的方法、装置及系统 | |
| CN104978712A (zh) | 图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130807 |