CN106576140A - 图像处理装置以及程序 - Google Patents

图像处理装置以及程序 Download PDF

Info

Publication number
CN106576140A
CN106576140A CN201580040756.1A CN201580040756A CN106576140A CN 106576140 A CN106576140 A CN 106576140A CN 201580040756 A CN201580040756 A CN 201580040756A CN 106576140 A CN106576140 A CN 106576140A
Authority
CN
China
Prior art keywords
image
contrast
region
pixel value
zoning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580040756.1A
Other languages
English (en)
Other versions
CN106576140B (zh
Inventor
大森圭祐
德井圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN106576140A publication Critical patent/CN106576140A/zh
Application granted granted Critical
Publication of CN106576140B publication Critical patent/CN106576140B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理装置，其特征在于具备：距离计算部，其计算与多个输入图像当中的至少1个图像对应的距离信息；和图像生成部，其基于所述距离信息来生成景深浅的输出图像，所述距离计算部根据大小不同的多个对比度计算区域来计算距离信息，所述图像生成部基于所述距离信息对所述输入图像的像素值进行平滑化来计算输出图像的像素值。

Description

图像处理装置以及程序
技术领域
本发明涉及图像处理技术。
背景技术
作为照相机的摄影技术之一，存在如下技术，即，通过拍摄景深浅的图像，从而仅在较窄的距离范围聚焦，模糊其前后的被摄体，拍摄聚焦的特定的被摄体显著的图像。照相机的焦点距离越长景深越浅，使用单反式照相机等来拍摄景深浅的图像。
另一方面，小型的数码照相机或智能电话所搭载的照相机，由于摄像元件小且焦点距离短，因此难以拍摄景深浅的图像。
因此，提出了一种图像处理技术，即，基于景深较深的图像和与图像对应的距离信息，来生成景深浅的图像。在专利文献1中，记载了如下技术：将图像分割成多个区域，按照每个分割区域来计算出到被摄体的距离，实施与距离相应的模糊处理。
现有技术文献
专利文献
专利文献1：JP特开2008-294785号公报
发明内容
发明要解决的课题
但是，专利文献1所记载的图像处理方法具有以下课题。
从图15(A)到图15(C)，示出了在不同的聚焦位置拍摄到的3张图像。图15(A)聚焦于近景的被摄体(树)1501，远景的被摄体(建筑物)1502模糊。图15(B)聚焦于近景与远景的中间位置，近景的被摄体、远景的被摄体都稍微模糊。图15(C)聚焦于远景的被摄体，近景的被摄体模糊。
在专利文献1中，记载了如下方法：根据从图15(A)到图15(C)所示那样的、聚焦位置不同的多张图像的高频成分的强度，按照分割出的每个区域来计算到被摄体的距离。图16(A)是与图15(A)相同的图像，图16(A)所示的区域1601是一个分割区域。图16(B)、(C)、(D)是从图15(A)到图15(C)示出的3张图像上的与区域1601对应的位置的放大图。若比较图16(B)、(C)、(D)，则图16(D)的高频成分最强，可以判定为远景。因此，在模糊远景来使景深变浅的情况下，会模糊被判定为远景的区域1601。但是，在区域1601中，不仅包含远景被摄体1502，还包含近景被摄体1501，若模糊区域1601则连近景被摄体也变得模糊，成为不自然的模糊。如图16所示，在分割区域中同时包含近景被摄体和远景被摄体的情况下，难以准确地计算出到被摄体的距离。在图16所示的情况下，若缩小分割区域的大小，则能够降低在1个分割区域内包含多个距离不同的被摄体的可能性，但在分割区域的大小较小的情况下，会产生以下课题。
图17(A)示出了对远景被摄体1701进行拍摄得到的图像，区域1702、1703分别表示分割区域。若如区域1702那样将分割区域设定得较大，则在从远景被摄体1701的边缘远离的位置，在分割区域内也包含远景被摄体1701，因此能够判定为远景，如图17(B)所示，能够表现自然的模糊的扩展。另一方面，若如区域1703那样将分割区域设定得较小，则在从远景被摄体1701的边缘远离的位置，在分割区域内不包含远景被摄体1701而是平坦区域，因此难以判定为远景，如图17(C)所示，判定为远景而进行模糊的区域和平坦区域的边界变得不自然。即，在按照每个分割区域计算距离来生成景深浅的图像的情况下，存在不依赖于区域的大小而难以表现自然的模糊的情况。
本发明鉴于上述问题而作，其目的在于提供一种能够生成表现了自然的模糊的景深浅的图像的图像处理装置。
用于解决课题的手段
本发明为了解决上述的课题而作，是生成景深浅的图像的图像处理装置，其特征在于，具备：距离计算部，其计算与多个输入图像当中的至少1个图像对应的距离信息；和图像生成部，其基于所述距离信息来生成景深浅的输出图像，所述距离计算部根据大小不同的多个对比度计算区域来计算距离信息，所述图像生成部基于所述距离信息对所述输入图像的像素值进行平滑化来计算输出图像的像素值。
本说明书包含作为本申请的优先权基础的日本国特许申请编号2014-219328号的公开内容。
发明效果
根据本发明，能够生成表现了自然的模糊的景深浅的图像。
附图说明
图1是表示包含本发明的实施方式所涉及的图像处理装置的摄像装置的一构成例的功能框图。
图2是表示控制部的一构成例的功能框图。
图3是表示图像处理部的一构成例的功能框图。
图4A是表示根据在不同的聚焦位置进行摄像得到的多个图像来生成景深浅的图像的图像处理的流程的流程图。
图4B是表示图像处理部的一构成例的功能框图。
图4C是表示本实施方式所涉及的图像生成处理的一例的流程图。
图4D是表示本发明的第2实施方式所涉及的图像生成处理的一例的流程图。
图4E是表示本发明的第3实施方式所涉及的步骤S407的处理例的图。
图4F是表示本发明的第4实施方式所涉及的步骤S408的一例的图。
图4G是表示本发明的第4实施方式所涉及的步骤S408的其他处理例的图。
图5的(A)是对近景被摄体和远景被摄体进行了拍摄的图像，图5的(B)是图像内所示的区域503的放大图，图5的(C)、(D)分别示出了使聚焦位置对准中景、远景来进行了拍摄的情况下的与图像内所示的区域对应的位置的放大图。
图6的(A)是与图5的(A)同样对近景被摄体和远景被摄体进行了拍摄的图像，图6的(B)是设定得较小的区域601的放大图，图6的(C)、(D)分别是使聚焦位置对准中景、远景来进行了拍摄的情况下的与设定得较小的区域对应的位置的放大图的图。
图7的(A)示出聚焦于远景被摄体而拍摄到的图像，图7的(B)示出根据第1区域的对比度而计算出的距离，图7的(C)是示出根据第2区域的对比度而计算出的距离的图。
图8的(A)示出基于图7的(B)所示的距离使图7的(A)的背景模糊的图像，图8的(B)是示出基于图7的(C)所示的距离使图7的(A)的背景模糊的图像的图。
图9的(A)示出近景被摄体和由格子所示的远景被摄体，图9的(B)是将图9的(A)所示的第2区域进行了放大的图。
图10的(A)与图9的(A)同样示出了近景被摄体和远景被摄体，图10的(B)是将图10的(A)所示的第3区域进行了放大的图。
图11的(A)示出了近景被摄体(人)和远景被摄体(山)，其他区域示出了远景被摄体(天空)。图11的(B)示出了图11的(A)的区域1103的放大图。
图12的(A)示出对远景被摄体进行了拍摄的图像，图12的(B)示出使图12的(A)的图像模糊的图像，图12的(C)是表示将对比度计算区域设定得比平滑化对象区域小的情况下的模糊图像的图。
图13的(A)示出聚焦于近景来进行了拍摄的图像，图13的(B)是表示与第2区域对应的区域的图。
图14的(A)示出了映现出近景被摄体(苹果)和由斜线所示的远景被摄体的图像，图14的(B)示出了与图14的(A)的图像对应的背景模糊图像，图14的(C)是表示针对图14的(A)，基于与平滑化对象区域内的像素对应的距离进行平滑化来计算出像素值的背景模糊图像的图。
图15是表示根据聚焦位置不同的多张图像的高频成分的强度，按照分割出的每个区域来计算到被摄体的距离的方法的图。
图16的(A)是与图15的(A)相同的图像，图16的(B)、(C)、(D)是表示从图15的(A)到图15的(C)所示的3张图像上的与区域2301对应的位置的放大图的图。
图17的(A)示出了对远景被摄体进行了拍摄的图像，图17的(B)是表示将分割区域设定得较大的情况下的模糊的表现的图，图17的(C)是表示将分割区域设定得较小的情况下的模糊的表现的图。
具体实施方式
(第1实施方式)
以下，参考附图对本发明的实施方式进行说明。图1是表示包含本实施方式所涉及的图像处理装置(图像处理部104)的摄像装置10的一构成例的功能框图。
摄像装置10构成为包含控制装置100、摄像部101、图像显示部102。
控制装置100构成为包含控制部103、图像处理部104、存储装置105。
摄像部101构成为包含CCD(Charge Coupled Device，电荷耦合元件)等摄像器件、透镜、透镜驱动部等。
图像显示部102对从控制装置100输出的输出图像信号所示的图像进行显示。图像显示部102例如是液晶显示器。图像显示部102也可以具备触摸面板功能。所谓触摸面板，是对触摸显示画面所显示的图或区域的情况进行感知并向外部作为信息信号进行输出的装置。在触摸面板中，存在感知所操作的位置的电压的电阻膜方式、捕捉在指尖与导电膜之间的静电电容的变化来检测位置的静电电容方式等，进行与操作者在画面上的位置信息、操作对应的动作。
控制部103进行摄像部101的透镜(未图示)的驱动、来自电源按钮、快门按钮等输入装置(未图示)的输入信号的接收、向图像显示部102的图像显示等的控制。控制部103通过摄像装置10所具备的CPU(Central Processing Unit，中央处理器)、GPU(GraphicsProcessing Unit，图形处理器)等硬件执行程序来实现。
控制部103如图2所示，具有：控制聚焦的聚焦控制部103-1、受理被摄体的选择的被摄体选择受理部103-2、和进行摄像的控制的摄像控制部103-3。
图像处理部104如图3所示，具有：计算距离的距离计算部104-1、和进行图像生成处理的图像生成部104-2。在距离计算部104-1中，根据所输入的输入图像来计算到被摄体的距离信息，在图像生成部104-2中，基于所计算出的距离信息来生成输出图像。图像处理部104例如能够通过ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等硬件、或由CPU、GPU执行程序来实现。
作为计算从图像到被摄体的距离的方法，例如，存在根据视点不同的多张图像的视差来计算距离信息的方法。作为计算视差的方法，例如，作为公知的技术，存在块匹配法。所谓块匹配法，是评价图像间的类似度的方法，从一个图像中选择某区域，从另一个图像中选择类似度与该区域最高的区域，从一个图像中选择的区域和从另一个图像中选择的类似度最高的区域的位置的偏差成为视差。此外，作为根据图像来计算距离的其他方法，存在根据聚焦位置不同的多张图像的对比度来计算的方法。在评价类似度的块匹配法、比较对比度的方法中，都需要设定用于比较多个图像来计算距离信息的规定区域(距离计算区域)，在计算图像间的视差的情况下，作为距离计算区域而设定视差计算区域，在比较图像间的对比度的情况下作为距离计算区域而设定对比度计算区域。
如上所述，作为根据摄影条件不同的多张图像来计算到被摄体的距离的方法，存在利用视差的方法、比较对比度的方法等，以下，举例说明根据改变聚焦位置所拍摄到的多张图像的对比度来计算到被摄体的距离的方法。
此外，作为景深浅的图像，存在聚焦于近景的被摄体而背景的被摄体模糊的图像(以下，称为“背景模糊”。)、聚焦于远景的被摄体而近景的被摄体模糊的图像、聚焦于中景的被摄体而近景和远景的被摄体模糊的图像。以下，举例说明通过图像处理来生成背景模糊的图像的方法。
图4A是表示在本实施方式中，根据在不同的聚焦位置拍摄到的多个图像来生成景深浅的图像的图像处理的流程的流程图。图4B是表示图像处理部104中沿着图4A的处理流程的一构成例的功能框图。如图4B所示，图像处理部104具有：特征点提取部104-1、对应点搜索部104-2、校正参数计算部104-3、图像校正部104-4、聚焦度评价部104-5、距离计算部104-6和图像生成部104-7。
由摄像部101拍摄的聚焦位置不同的多个图像被输入到图像处理部104(8401)。接着，由特征点提取部104-1，从多个图像之中，设定特征点提取用的图像，并提取特征点(S402)。若提取出特征点，则对应点搜索部104-2从提取了特征点的图像以外的图像中，搜索与由S402提取出的特征点对应的对应点(S403)。若搜索到对应点，则校正参数计算部104-3根据特征点与对应点的位置关系，来计算多个图像间的旋转量、平移量、伴随聚焦位置的变化的放大缩小率，计算使多个图像间对应的位置一致的校正参数(S404)。若计算出校正参数，则由图像校正部104-4对其他图像进行校正(S405)，以使其他图像与在合成时作为基准的图像一致。若被进行校正使得各图像对应的位置一致，则聚焦度评价部104-5评价各图像的聚焦度(S406)。然后，距离计算部104-6针对图像的各区域，基于各图像的聚焦度，来计算到被摄体的距离(S407)。若计算出距离，则图像生成部104-7基于距离来模糊图像，生成景深浅的图像(S408)。
接下来，详细说明S406、S407、S408的处理。
在S406中，根据图像的对比度来评价聚焦度。对比度，例如，能够根据以关注像素为中心的规定区域内的相邻像素间的像素值之差来计算。若不聚焦而图像模糊，则通过模糊而平滑化，相邻像素的像素值的差变小，对比度下降。因此，相邻像素间的像素值的差越大则对比度越高，能够判断为聚焦。用于对比度计算的像素值，例如能够使用Y值。通过使用Y值，与使用RGB3色的情况相比较，能够减少处理量。在所输入的图像数据是RGB的情况下，例如，可以根据下述的式(1)来计算Y值。
Y＝0.299×R+0.587×G+0.114×B···(1)
此外，不仅Y值，也可以根据YUV值、RGB值等多个值来计算对比度。在使用YUV值、RGB值的情况下，在亮度相同且颜色不同的区域相邻的情况下，对于亮度分量而言不能检测但能够检测颜色分量的对比度，距离计算精度提高。
图5(A)是对近景被摄体501(图中为树)和远景被摄体502(图中为建筑物)进行了拍摄的图像，其示出了聚焦于近景被摄体501进行了拍摄的图像。此外，图像内所示的区域503表示用于计算对比度的区域，在其中心映现了近景被摄体501。图5(B)是区域503的放大图，图5(C)、(D)分别示出了使聚焦位置对准中景、远景来进行了拍摄的情况下的区域503对应的位置的放大图。计算如图5(B)(C)(D)所示分别聚焦于近景、中景、远景所拍摄到的图像的对比度。
接下来，在S407中，通过对由S406计算出的对比度(聚焦度)进行比较，来计算到被摄体的距离。例如，将图5(B)、(C)、(D)的聚焦度分别设为CONT_N、CONT_M、CONT_F，若CONT_N＞CONT_M并且CONT_N＞CONT_F，则因为聚焦于近景所拍摄到的图像的聚焦度最高，所以能够推断为近景。
同样地，若CONT_F＞CONT_N并且CONT_F＞CONT_M，则能够推断为远景，若CONT_M＞CONT_N并且CONT_M＞CONT_F，则能够推断为中景。
此外，若CONT_N＝CONT_M并且CONT_N＞CONT_F，则能够推断为处于近景与中景的中间位置。
此外，在CONT_N、CONT_M、CONT_F全都是较小的值或零的情况下，因为即使聚焦来进行拍摄，对比度也较低，所以是无特征的平坦的区域的可能性很高。关于被判定为平坦区域的像素的处理在后面叙述。在此，关于对比度计算区域的大小与所计算出的距离的关系进行叙述。
图5所示的区域503在其中心映现了近景被摄体501，即，是在生成背景模糊的图像时不模糊的区域，为了进行适宜的背景模糊，期望被判定为近景。但是，若对图5(B)、(C)、(D)所示的区域503对应的部分的放大图进行比较，则由于在区域503内主要包含的被摄体是远景被摄体502，因而聚焦于远景的图像即图5(D)的对比度成为最高。因此，对于近景被摄体和远景被摄体相邻的区域而言，若将计算对比度的区域设定得较大，则有可能错误地计算距离。
因此，在本实施方式中，通过设定大小不同的多个对比度计算区域，从而降低近景被摄体和远景被摄体相邻的区域中的距离的误计算。在本实施方式中，设定2个大小不同的对比度计算区域。为了区别2个对比度计算区域，将较小一方的对比度计算区域设为第1区域，将较大一方的对比度计算区域设为第2区域。首先，说明根据第1区域来计算对比度的情况。
图6(A)与图5(A)同样，是对近景被摄体501(树)和远景被摄体502(建筑物)进行了拍摄的图像，其示出了聚焦于近景被摄体501来进行了拍摄的图像。此外，图像内所示的区域601表示对比度计算区域，在其中心映现了近景被摄体501。区域601设定得比图5所示的区域503小。图6(B)是区域601的放大图，图6(C)、(D)分别示出了使聚焦位置对准中景、远景来进行了拍摄的情况下的区域601对应的位置的放大图。若比较图6(B)、(C)、(D)，则聚焦于近景的图像即图6(B)的对比度成为最高。如图6所示，通过将对比度计算区域设定得较小，从而能够降低距离的误计算。但是，若设定得过小，则有可能无法充分获得为了计算距离所需的对比度，此外，有可能产生S405的图像的位置对准的误差，因此适当进行设定以使得不过小。例如，设定为图像的垂直分辨率或水平分辨率的1％程度即可。
接下来，说明根据第2区域来计算对比度的情况。图7(A)示出了聚焦于远景被摄体701来进行了拍摄的图像，区域702表示第1区域，区域703表示第2区域。第2区域703由于在区域内包含远景被摄体701，因此根据第2区域的对比度而计算出的距离所示的位置成为远景。另一方面，第1区域702在区域内不包含远景被摄体701，被判定为平坦区域。图7(B)表示根据第1区域的对比度而计算出的距离，由斜线所示的部分701a表示被判定为远景的区域。此外，其他区域表示被判定为平坦区域的区域。同样地，图7(C)表示根据第2区域的对比度而计算出的距离。与根据第1区域的对比度来计算距离的情况相比，根据第2区域的对比度来计算距离的情况下，被判定为远景的区域增加，被判定为平坦区域的区域减少。
图8(A)示出基于图7(B)所示的距离将图7(A)的背景进行模糊后的图像，图8(B)示出基于图7(C)所示的距离将图7(A)的背景进行模糊后的图像。另外，对于被判定为平坦区域的像素而言，图8(A)、(B)都直接使用了原图像即图7(A)的像素值。作为被判定为平坦区域的像素的处理方法，除了如图8所示直接利用原图像的像素的方法以外，还存在较小地模糊、与背景同样较大地模糊的方法等，详细情况在后面叙述。
若比较图8(A)和(B)，则图8(B)中模糊自然地扩散，图8(A)由于被判定为远景的区域较小，因此模糊未充分扩散，在平坦区域与远景区域的边界产生不自然的边缘，画质劣化。在根据第1区域来计算对比度从而计算距离的情况下，如前所述，近景和远景相邻的区域的距离的误计算降低，但如图7、图8所示，被判定为平坦区域的区域增加。
因此，在本实施方式中，在根据第1区域的对比度而判定为平坦区域的情况下，基于根据第2区域的对比度而计算出的距离来进行模糊处理。
通过基于根据大小2个对比度计算区域而计算出的距离来进行模糊处理，从而能够降低近景和远景相邻那样的区域的距离的误计算，进而，能够生成模糊适宜地扩散的背景模糊图像。在第1区域、第2区域均被判定为平坦区域的情况下，应用平坦区域的处理。
接下来，对S408的图像生成方法进行说明。在S408中，基于由S407计算出的距离，来生成背景模糊图像。背景模糊图像的各像素的像素值能够通过对所拍摄到的图像进行平滑化来计算。例如，通过所计算出的距离越远，将平滑化的滤波器尺寸(成为平滑化的对象的区域)设得越大，从而模糊程度会随着距离变远而逐渐变大，能够生成适宜的背景模糊图像。设为平滑化的对象的区域的形状，例如在设定为圆形的情况下，模糊会呈圆形扩散，若设定为多角形，则模糊会呈多角形扩散，按照所希望的模糊形状来设定平滑化对象区域的形状即可。另一方面，关于所计算出的距离所示的位置为近景的像素，由于无需模糊，因而直接将原图像的像素值作为背景模糊图像的像素值即可。接下来，说明被判定为平坦区域的像素的处理。第1区域和第2区域均被判定为平坦区域的像素由于第2区域内整体大致平坦，中心像素和周边像素的像素值没有较大不同，因而即使平滑化，也不会从原图像的像素值发生较大变化。但是，若不平滑化而直接使用原图像的像素值，则原图像中所包含的噪声等所引起的微小变化相比于进行平滑化的情况较大，所以有可能在判定为远景且进行了平滑化的区域与判定为平坦区域而直接使用了原图像的像素值的区域的边界处，在微小变化量上出现差异，成为不自然的图像。因此，关于被判定为平坦区域的像素，相比于直接使用原图像的像素值，更优选进行平滑化。另一方面，若进行平滑化，则有可能在与判定为近景而直接使用原图像的像素值的区域的边界处在微小变化量上出现差异。因此，对被判定为平坦区域的像素的背景模糊图像的像素值进行计算时的平滑化对象区域设定为3×3像素、5×5像素这样较窄的范围，以使得平坦区域与远景区域的边界、平坦区域与近景区域的边界的差都减小为宜。
图4C是表示本实施方式所涉及的图像生成处理的一例的流程图。
如以上所说明的那样，根据本实施方式，通过设定大小不同的对比度计算区域(步骤S408-31)，根据较小的第1区域的对比度来计算距离(步骤S408-32)，从而能够降低近景和远景相邻那样的区域的距离的误计算，对于根据第1区域的对比度而被判定为平坦区域的像素，基于根据比第1区域大的第2区域的对比度而计算出的距离对背景侧的被摄体进行模糊(步骤S408-33)，由此能够生成景深浅的适宜的背景模糊图像。
此外，计算背景模糊图像的像素值时，将原图像的像素值变换到线性空间后进行平滑化，针对进行平滑化而计算出的值，返回到原图像的空间，由此能够生成更适宜的背景模糊图像。例如，假定原图像是对于线性空间乘以0.45的伽马空间的图像，像素值的比特数为8比特，最大值为255，最小值为0。在该条件下，若对像素值255和像素值127这2个像素进行平滑化，则像素值成为191。另一方面，若将上述原图像的像素值变换到线性空间(8比特)，则各个像素值成为255、54，若进行平滑化则成为155。若将在线性空间中进行了平滑化的像素值155变换到原来的伽马空间(8比特)，则该像素值成为204。因此，变换到线性空间后进行平滑化的情况与在伽马空间中进行平滑化的情况，所计算出的像素值不同。由于在实际拍摄时模糊的情况下，会在线性空间中进行模糊，因此在图像处理中进行模糊处理的情况下，也如上所述变换到线性空间后进行平滑化等图像处理，能够进行接近于摄影时的模糊的更适宜的模糊处理。
此外，通过将在计算背景模糊图像的像素值时用于原图像的图像作为聚焦于近景的图像，从而能够生成更适宜的背景模糊图像。如上所述，对于近景和远景相邻的区域而言，存在距离的计算困难的情况。例如，在近景和远景相邻的区域中，将实际上为远景的像素的距离计算为近景的情况下，会对要模糊的像素不进行模糊，但只要将用于原图像的图像作为聚焦于近景的图像，在原图像中并不聚焦的远景被摄体模糊，能够降低因弄错距离而引起的画质劣化。反之，在生成前景模糊图像的情况下的原图像使用聚焦于远景的图像即可。此外，在生成使前景和背景模糊的图像的情况下，将聚焦于中景的图像用于原图像即可。
(第2实施方式)
接下来，说明本发明的第2实施方式。在第2实施方式中，设定大小不同的3个以上的对比度计算区域，生成更适宜的背景模糊图像。图4D是表示本实施方式所涉及的图像生成处理的一例的流程图。
图9(A)示出了近景被摄体901a(苹果)和由格子所示的远景被摄体901b。此外，区域902表示第1区域，区域903表示第2区域。在图9(A)中，由于在第1区域902内没有特征，根据第1区域902的对比度而判定为平坦区域，因此基于根据第2区域903的对比度而计算出的距离来进行模糊处理。图9(B)是将图9(A)所示的第2区域903进行放大后的图。第2区域903由于其中心像素是近景被摄体，因而所计算出的距离所示的位置是近景为宜。但是，在第2区域903内，同时包含近景被摄体和远景被摄体，近景被摄体的特征量较少，远景的特征量较多，因而所计算出的距离所示的位置有可能成为远景。因此，在本实施方式中，作为第3区域，设定比第1区域大且比第2区域小的对比度计算区域，来降低距离的误计算。
图10(A)与图9(A)同样，示出了近景被摄体901a和远景被摄体901b，区域1001为第3区域。此外，图10(B)是将图10(A)所示的第3区域1001进行放大后的图。
在第3区域1001内，虽然同时包含近景被摄体和远景被摄体，但近景被摄体的特征量要多于远景的特征量，根据第3区域1001的对比度而计算出的距离所示的位置为近景的可能性较高。在本实施方式中，设定大小不同的3个以上的对比度计算区域(步骤S408-21)，优先参考根据较小的区域的对比度而计算出的距离来进行模糊处理(步骤S408-22)。在根据最小的第1区域的对比度而判定为平坦区域的情况下，基于根据第2小的第3区域的对比度而计算出的距离来进行模糊处理，在根据第3区域的对比度也判定为平坦区域的情况下，进行基于根据更大的第2区域的对比度而计算出的距离的模糊处理。在根据最大的第2区域的对比度也判定为平坦区域的情况下，应用平坦区域的处理(步骤S408-23)。若如上所述使对比度计算区域逐渐变大，则在最初在对比度计算区域内包含特征点且成为能够计算距离的大小的情况下，如图10(B)所示，会主要包含距中心像素最近的特征点，在近景和远景相邻那样的区域中，能够降低距离的误计算。
在此，在本实施方式中，也对有可能误计算距离的情况进行说明。图11(A)示出了近景被摄体1102(人)和远景被摄体1101(山)，其他区域示出了远景被摄体(天空)1104。区域1103表示对比度计算区域，示出了在所设定的多个对比度计算区域中最初在对比度计算区域内包含特征点的大小。
此外，图11(B)表示图11(A)的区域1103的放大图。区域1103的中心像素是远景被摄体，所以所计算出的距离所示的位置是远景为宜。但是，由于区域1103内包含的特征量是近景被摄体的特征量，因而所计算出的距离所示的位置有可能成为近景。即，误计算距离的可能性较高。但是，在图11(A)所示那样的场景中，即使误计算距离也不会产生较大的画质劣化。如上所述，对于平坦区域而言，中心像素和周边像素的像素值并无较大不同，即使平滑化也不会从原图像的像素值发生较大变化。因此，即使将区域1103的中心像素的像素值判定为近景而使用原图像的像素，也会得到与进行了平滑化的所希望的像素值并无较大不同的适宜的像素值。
以上对设定3个对比度计算区域的情况进行了说明，但也能够通过增加大小不同的对比度计算区域的数量，例如4个、5个，来生成更适宜的背景模糊图像。
(第3实施方式)
接下来，对本发明的第3实施方式进行说明。在第3实施方式中，考虑背景模糊图像的模糊量来设定对比度计算区域的大小，生成更适宜的背景模糊图像。图12(A)示出了对远景被摄体1202进行了拍摄的图像1201，远景被摄体1202以外的部分是平坦区域。此外，1203、1204表示在计算背景模糊图像的像素值时进行平滑化的区域。图4E是表示本实施方式所涉及的步骤S407的处理例的图。在此，使用图12，对通过平滑化而模糊的情况下的模糊的扩散进行说明。作为平滑化的方法，举例说明对以中心像素为中心的正方形的范围内的像素进行平滑化的情况。在像平滑化对象区域1203那样在区域内包含被摄体1202的情况下，平滑化后模糊的像素值会受到被摄体1202的影响。另一方面，在像平滑化对象区域1204不包含被摄体1202的情况下，即使进行平滑化也不会受到被摄体1202的影响。即，被摄体1202的模糊虽然会扩散到平滑化对象区域1203的中心像素，但不会扩散到平滑化对象区域1204的中心像素。图12(B)表示对图12(A)的图像1201进行模糊后的图像，图中的点线1205表示模糊扩散的区域。如图12(B)所示可知，被摄体1202的模糊的扩散，扩散到在平滑化对象区域内包含被摄体1202的位置与不包含的位置的边界。因此，为了如图12(B)所示进行模糊，需要到点线的位置为止作为远景来生成背景模糊图像的像素。为了所计算出的距离所示的位置成为远景，在图像1201中以点线上的像素为中心像素的情况下，需要设定对比度计算区域使得在对比度计算区域内包含远景被摄体1202。即，将与在生成模糊图像时设为平滑化的对象的区域同程度或其以上的更大区域设定为对比度计算区域(步骤S407-1)。
另一方面，图12(C)示出了将对比度计算区域设定为比平滑化对象区域小的情况下的模糊图像，在对比度计算区域较小的情况下，模糊未充分扩散而成为不自然的图像。另外，在图12(B)、(C)中，平坦区域的像素值使用了作为原图像的图像1201的像素值。如上所述，在本实施方式中，通过将对比度计算区域的大小设定为计算背景模糊图像的像素值时的最大平滑化对象区域的大小以上，从而能够生成模糊适宜地扩散到平坦区域的背景模糊图像。
(第4实施方式)
接下来，对本发明的第4实施方式进行说明。在第4实施方式中，通过基于根据多个对比度计算区域而计算出的距离，来计算背景模糊图像的像素值，从而生成更适宜的背景模糊图像。在图4F中，在步骤S408-1中根据距离信息较大同的区域是否相邻，改变平滑化区域的设定来计算像素值。此外，图4G是表示本实施方式所涉及的步骤S408的处理的另一例的图。步骤S408对聚焦位置不同的多个输入图像之中的聚焦于未进行平滑化的距离的图像进行平滑化来计算输出图像的像素值(步骤S408-11)。
图13(A)示出了聚焦于近景来进行了拍摄的图像，映现了近景被摄体1301a和由斜线所示的远景被摄体1301b。区域1302表示第1区域，区域1303表示第2区域。此外，计算背景模糊图像的最大模糊量的像素值时的平滑化对象区域设为第2区域1303。在图13(A)中，第1区域1302中没有特征而被判定为平坦区域，第2区域1303中包含被摄体的特征量，根据对比度而计算出的距离所示的位置为远景。此外，图13(B)对应于第2区域1303，在将图13(B)分割成25份的小区域中，示出了根据第1区域的对比度而计算出的距离，记为“远”的区域意味着是被判定为远景的区域，记为“近”的区域意味着是被判定为近景的区域，空白的区域意味着是被判定为平坦区域的区域。根据第2区域1303的对比度而计算出的距离所示的位置虽然为远景，但在该区域内同时包含近景部分和远景部分。在计算背景模糊图像的像素值时，如图13(B)那样在区域内近景被摄体和远景被摄体同时存在的情况下，若对区域内的像素整体进行平滑化，则会受到近景被摄体的影响。因此，在基于根据第2区域的对比度而计算出的距离来计算模糊图像的像素值的情况下，通过也考虑根据第1区域的对比度而计算出的距离来进行平滑化，来降低近景被摄体的影响。例如，在图13(B)的情况下，通过在第2区域内中，将根据第1区域的对比度而计算出的距离为近景的部分除外来进行平滑化，从而能够降低近景被摄体的影响。此外，也可以基于根据第2区域的对比度而计算出的距离与根据第1区域的对比度而计算出的距离的差分来加权进行平滑化。加权，例如，如式(2)所示，决定权重wj使得根据第2区域的对比度而计算出的距离d2与第2区域内的像素j的根据第1区域的对比度而计算出的距离d1的差的绝对值Δdi越大权重越小。
在式(2)中，Δdmax是根据第2区域而计算出的距离与第2区域内的像素j的距离的差的绝对值的最大值。根据式(2)，根据第1区域的对比度而计算出的距离与根据第2区域的对比度而计算出的距离相同的像素的权重为1，根据第2区域的对比度而计算出的距离与根据第1区域的对比度而计算出的距离的差的绝对值成为最大的像素的权重为0。这样，图像生成部基于根据所述多个对比度计算区域而计算出的多个距离信息对像素值进行加权平均来计算输出图像的像素值。
在图13所示的例子中，对根据第1区域的对比度而判定为平坦区域的情况进行了说明，但在根据第1区域的对比度能够计算距离的情况下，也可以基于根据第1区域的对比度而计算出的距离与根据周边像素的第1区域的对比度而计算出的距离的差的绝对值来进行加权。此外，不能计算距离的像素的加权，例如，可以设定为中间值程度的权重，或者评价与中心像素的类似度，若类似度高则将权重设定得较大，若类似度低则将权重设定得较低即可。此外，也可以将对根据第1区域的对比度而计算出的距离和根据第2区域的对比度而计算出的距离进行加权平均得到的值作为距离信息。通过将根据第1区域的对比度而计算出的距离的权重设定得较大，从而能够将根据关注像素周边的图像信息而计算出的距离信息的权重设定得较大，较为适宜。此外，也可以基于所计算出的距离信息的可靠性对距离信息进行加权平均。可靠性例如能够根据对比度计算区域内的对比度的大小来计算。在对比度计算区域内的对比度较大的情况下，对比度计算区域内的特征较多，基于很多的特征而计算出的距离信息的可靠性增高。因此，通过对所计算出的多个距离信息基于其可靠性来进行加权平均，从而能够计算出可靠性高的距离信息。
此外，通过基于根据第1区域的对比度而计算出的距离来改变进行平滑化的区域的大小，从而能够生成适宜的模糊图像。图4F是表示步骤S408的一例的图。在如图13(B)那样在第2区域内同时包含近景和远景的情况下(步骤S408-1)，将计算模糊图像的像素值时设为平滑化的对象的区域设定为比在区域内不包含近景的情况窄(步骤S408-2)。通过将平滑化的对象区域设定得较窄，从而能够降低近景影响到模糊的图像的可能性，能够实现适宜的模糊。
此外，在根据第1区域的对比度而计算出的距离所示的位置为中景或远景的情况下，通过基于根据第1区域的对比度而计算出的距离以及周边像素的根据第1区域的对比度而计算出的距离来计算背景模糊图像的像素值，从而能够生成更适宜的背景模糊图像。如上所述，在根据第1区域的对比度来计算出距离的情况下，基于该距离来计算背景模糊图像的像素值。在所计算出的距离所示的位置为中景或远景的情况下，对周边像素进行平滑化来计算像素值。图14(A)示出了映现了近景被摄体1401a(苹果)和由斜线所示的远景被摄体1401b的图像。区域1403表示第2区域，区域1403表示平滑化对象区域。由于在第1区域1402内包含远景被摄体，因而根据第1区域的对比度而计算的距离所示的位置成为远景。因此，与第1区域1402的中心像素对应的背景模糊图像的像素值通过对平滑化对象区域1403内的像素值进行平滑化来计算。在图14(A)中，在平滑化对象区域1403内还包含近景被摄体1401a，因而若进行平滑化，则会计算出包含近景被摄体的影响的像素值。
图14(B)示出了与图14(A)的图像对应的背景模糊图像，由于在近景被摄体1401a的周围的远景区域，包含近景被摄体1401a的影响，所以成为不自然的图像。因此，在根据第1区域的对比度而计算出的距离所示的位置为中景或近景的情况下，通过基于平滑化对象区域内的像素对应的距离来进行平滑化，从而生成更适宜的背景模糊图像。图14(C)示出了针对图14(A)基于平滑化对象区域内的像素对应的距离进行平滑化来计算出像素值的背景模糊图像，在近景被摄体1401a的周围的远景区域，不包含近景被摄体1401a的影响，成为适宜的背景模糊图像。基于平滑化对象区域内的像素对应的距离的平滑化处理，例如，既可以将中心像素的距离为远景的情况、平滑化对象区域内的像素的距离为近景的情况除外来进行平滑化，也可以基于中心像素的距离与平滑化对象区域内的像素的距离之差，以距离近的像素的权重较大的方式进行加权平滑化。在平滑化对象区域内的像素中，在根据第1区域的对比度而判定为平坦区域的情况下，参考根据下一较大的对比度计算区域的对比度而计算出的距离即可。此外，在平滑化对象区域内的像素中，在多个对比度计算区域全都被判定为平坦区域的情况下，由于在中心像素与其周边像素之间没有特征，是与中心像素处于相同距离的被摄体的可能性较高，因此进行平滑化即可。
在上述的实施方式中，主要对以改变聚焦位置所拍摄到的多张图像为输入图像，通过使背景的被摄体模糊来生成景深浅的图像的情况进行了说明，但即使在输入图像为视点不同的多个图像的情况下也能够获得同样的效果，此外，除了能够应用于使背景模糊的情况以外，还能够应用于使前景模糊、使前景和背景模糊这样的处理。
根据本发明的实施方式，能够合成景深浅的图像。
处理以及控制能够通过基于CPU或GPU的软件处理、基于ASIC或FPGA的硬件处理来实现。
此外，在上述的实施方式中，关于附图所图示的构成等，并不限定于这些构成，在发挥本发明效果的范围内能够适当进行变更。另外，在不脱离本发明的目的的范围内能够适当变更来实施。
此外，本发明的各构成要素能够任意地进行取舍选择，具备进行了取舍选择的构成的发明也包含在本发明中。
此外，也可以将用于实现在本实施方式中所说明的功能的程序记录到计算机可读取的记录介质中，使计算机系统读入记录在该记录介质中的程序并加以执行来进行各部的处理。另外，在此所说的“计算机系统”，包含OS、周边设备等硬件。
此外，在利用WWW系统的情况下，“计算机系统”还包含主页提供环境(或者显示环境)。
(附记)
(1)一种图像处理装置，其特征在于，具备：距离计算部，其计算与多个输入图像当中的至少1个图像对应的距离信息；和图像生成部，其基于所述距离信息来生成景深浅的输出图像，
所述距离计算部根据大小不同的多个对比度计算区域来计算距离信息，
所述图像生成部基于所述距离信息对所述输入图像的像素值进行平滑化来计算输出图像的像素值。
(2)根据(1)所述的图像处理装置，其特征在于，
所述图像生成部，
基于根据所述多个对比度计算区域而计算出的距离信息当中的根据较小的对比度计算区域而计算出的距离信息来计算输出图像的像素值，
在所述较小的对比度计算区域被判定为平坦区域的情况下，基于根据比所述较小的对比度计算区域大的对比度计算区域而计算出的距离信息来计算输出图像的像素值。
在根据较小的第1区域的对比度而判定为平坦区域的情况下，基于根据较大的第2区域的对比度而计算出的距离来进行模糊处理。
通过基于根据大小2个对比度计算区域而计算出的距离来进行模糊处理，从而能够降低近景和远景相邻那样的区域的距离的误计算，进而，能够生成模糊适宜地扩散的背景模糊图像。在第1区域、第2区域均被判定为平坦区域的情况下，应用平坦区域的处理。
(3)根据(1)或(2)所述的图像处理装置，其中，
所述图像生成部，
在计算输出图像的像素值时，将原图像的像素值变换到线性空间后进行平滑化，针对进行平滑化而计算出的值，返回到原图像的空间。
由此，能够生成更适宜的背景模糊图像。
(4)根据(1)或(2)所述的图像处理装置，其中，
所述图像生成部，
将计算使背景模糊的输出图像的像素值的情况下用于原图像的图像作为聚焦于近景的图像
将生成使前景模糊的输出图像的情况下用于原图像的图像作为聚焦于远景的图像，
将生成使前景和背景模糊的输出图像的情况下用于原图像的图像作为聚焦于中景的图像。
由此，能够生成适宜的模糊图像。
对于近景和远景相邻的区域而言，存在距离的计算困难情况。例如，在近景和远景相邻的区域中，将实际上为远景的像素的距离计算为近景的情况下，会对要模糊的像素不进行模糊，而若将用于原图像的图像作为聚焦于近景的图像，则在原图像中并不聚焦的远景被摄体模糊，能够降低因弄错距离而引起的画质劣化。
(5)根据(1)或(2)所述的图像处理装置，其特征在于，
所述距离计算部根据大小不同的至少3个所述对比度计算区域来计算距离信息，
所述图像生成部，
按照所述对比度计算区域的大小从小到大的顺序来参考根据所述对比度计算区域而计算出的距离信息来计算输出图像的像素值。
(6)根据(5)所述的图像处理装置，其特征在于，
在所述参考的对比度计算区域被判定为平坦区域的情况下，基于根据所参考的所述对比度计算区域的下一较大的对比度计算区域而计算出的距离信息来计算输出图像的像素值。
(7)根据(1)至(6)中任一项所述的图像处理装置，其特征在于，
所述图像生成部，
基于根据所述多个对比度计算区域而计算出的多个距离信息对像素值进行加权平均来计算输出图像的像素值。
(8)根据(1)至(6)中任一项所述的图像处理装置，其特征在于，
所述图像生成部，
基于对根据所述多个对比度计算区域而计算出的多个距离信息进行加权平均而计算出的距离信息，来计算输出图像的像素值。
(9)根据(1)至(6)中任一项所述的图像处理装置，其特征在于，
所述图像生成部，
基于将根据所述多个对比度计算区域而计算出的多个距离信息基于其可靠性进行加权平均而得到的距离信息，来计算输出图像的像素值。
(10)根据(1)所述的图像处理装置，其特征在于，
所述距离计算部，
将所述多个对比度计算区域当中的最大的对比度计算区域的大小，设定为在所述图像生成部的所述平滑化中平滑化对象区域最大的最大平滑化区域的大小以上。
(11)根据(1)所述的图像处理装置，其特征在于，
所述图像生成部，
在所述距离信息较大不同的区域相邻的情况下，将平滑化区域设定得较窄来计算输出图像的像素值。
(12)根据(1)所述的图像处理装置，其特征在于，
在所述多个输入图像是聚焦位置不同的多个图像的情况下，
所述图像生成部，
对所述多个输入图像当中的聚焦于未平滑化的距离的图像进行平滑化来计算输出图像的像素值。
(13)一种程序，用于使计算机执行图像处理方法，所述图像处理方法具有：计算与多个输入图像当中的至少1个图像对应的距离信息的距离计算步骤；和基于所述距离信息来生成景深浅的输出图像的图像生成步骤，
所述距离计算步骤根据大小不同的多个对比度计算区域来计算距离信息，
所述图像生成步骤基于所述距离信息对所述输入图像的像素值进行平滑化来计算输出图像的像素值。
产业上的可利用性
本发明能够利用于图像处理装置。
符号说明：
10…摄像装置，100…控制装置，101…摄像部，102…图像显示部，103-1…聚焦控制部，103-2…被摄体选择受理部，103-3…摄像控制部，104-1…特征点提取部，104-2…对应点搜索部，104-3…校正参数计算部，104-4…图像校正部，104-5…聚焦度评价部，104-6…距离计算部，104-7…图像生成部。
本说明书中所引用的所有的刊物、专利以及专利申请通过引用而直接援引到本说明书中。

Claims (13)

1.一种图像处理装置，其特征在于，具备：
距离计算部，其计算与多个输入图像当中的至少1个图像对应的距离信息；和
图像生成部，其基于所述距离信息来生成景深浅的输出图像，
所述距离计算部根据大小不同的多个对比度计算区域来计算距离信息，
所述图像生成部基于所述距离信息对所述输入图像的像素值进行平滑化来计算输出图像的像素值。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部，
基于根据所述多个对比度计算区域而计算出的距离信息当中的、根据较小的对比度计算区域而计算出的距离信息，来计算输出图像的像素值，
在所述较小的对比度计算区域被判定为平坦区域的情况下，基于根据比所述较小的对比度计算区域大的对比度计算区域而计算出的距离信息，来计算输出图像的像素值。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像生成部，
在计算输出图像的像素值时，将原图像的像素值变换到线性空间后进行平滑化，针对进行平滑化而计算出的值，返回到原图像的空间。
4.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像生成部，
将在计算使背景模糊的输出图像的像素值的情况下用作原图像的图像，作为聚焦于近景的图像，
将在生成使前景模糊的输出图像的情况下用作原图像的图像，作为聚焦于远景的图像，
并将在生成使前景和背景模糊的输出图像的情况下用作原图像的图像，作为聚焦于中景的图像。
5.根据权利要求1或2所述的图像处理装置，其特征在于，
所述距离计算部根据大小不同的至少3个所述对比度计算区域来计算距离信息，
所述图像生成部，
按照所述对比度计算区域的大小从小到大的顺序对根据所述对比度计算区域而计算出的距离信息进行参考来计算输出图像的像素值。
6.根据权利要求5所述的图像处理装置，其特征在于，
在所参考的所述对比度计算区域被判定为平坦区域的情况下，基于根据所参考的所述对比度计算区域的下一较大的对比度计算区域而计算出的距离信息，来计算输出图像的像素值。
7.根据权利要求1至6中任一项所述的图像处理装置，其特征在于，
所述图像生成部，
基于根据所述多个对比度计算区域而计算出的多个距离信息对像素值进行加权平均来计算输出图像的像素值。
8.根据权利要求1至6中任一项所述的图像处理装置，其特征在于，
所述图像生成部，
基于对根据所述多个对比度计算区域所计算出的多个距离信息进行加权平均而计算出的距离信息，来计算输出图像的像素值。
9.根据权利要求1至6中任一项所述的图像处理装置，其特征在于，
所述图像生成部，
基于将根据所述多个对比度计算区域而计算出的多个距离信息基于其可靠性进行加权平均而得到的距离信息，来计算输出图像的像素值。
10.根据权利要求1至6中任一项所述的图像处理装置，其特征在于，
所述距离计算部，
将所述多个对比度计算区域当中的最大的对比度计算区域的大小，设定为在所述图像生成部的所述平滑化中平滑化对象区域最大的最大平滑化区域的大小以上。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述图像生成部，
在所述距离信息较大不同的区域相邻的情况下，将平滑化区域设定得较窄来计算输出图像的像素值。
12.根据权利要求1所述的图像处理装置，其特征在于，
在所述多个输入图像是聚焦位置不同的多个图像的情况下，
所述图像生成部，
对所述多个输入图像当中的聚焦于未平滑化的距离的图像进行平滑化来计算输出图像的像素值。
13.一种程序，用于使计算机执行图像处理方法，所述图像处理方法具有：
距离计算步骤，计算与多个输入图像当中的至少1个图像对应的距离信息；和
图像生成步骤，基于所述距离信息来生成景深浅的输出图像，
所述距离计算步骤根据大小不同的多个对比度计算区域来计算距离信息，
所述图像生成步骤基于所述距离信息对所述输入图像的像素值进行平滑化来计算输出图像的像素值。
CN201580040756.1A 2014-10-28 2015-09-09 图像处理装置以及摄像装置 Expired - Fee Related CN106576140B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-219328 2014-10-28
JP2014219328A JP5927265B2 (ja) 2014-10-28 2014-10-28 画像処理装置及びプログラム
PCT/JP2015/075536 WO2016067762A1 (ja) 2014-10-28 2015-09-09 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN106576140A true CN106576140A (zh) 2017-04-19
CN106576140B CN106576140B (zh) 2019-10-18

Family

ID=55857108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580040756.1A Expired - Fee Related CN106576140B (zh) 2014-10-28 2015-09-09 图像处理装置以及摄像装置

Country Status (4)

Country Link
US (1) US10147169B2 (zh)
JP (1) JP5927265B2 (zh)
CN (1) CN106576140B (zh)
WO (1) WO2016067762A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827205A (zh) * 2018-08-14 2020-02-21 现代摩比斯株式会社 用于处理图像模糊的设备及其方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927265B2 (ja) * 2014-10-28 2016-06-01 シャープ株式会社 画像処理装置及びプログラム
US11652982B2 (en) 2020-10-30 2023-05-16 Nvidia Corporation Applications for detection capabilities of cameras

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
CN101753844A (zh) * 2008-12-18 2010-06-23 三洋电机株式会社 图像显示装置及摄像装置
CN102472622A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 距离推定装置、距离推定方法、集成电路、计算机程序
CN102811309A (zh) * 2011-05-31 2012-12-05 华晶科技股份有限公司 产生浅景深图像的方法及装置
CN103002212A (zh) * 2011-09-15 2013-03-27 索尼公司 图像处理器、图像处理方法和计算机可读介质
JP2013192115A (ja) * 2012-03-14 2013-09-26 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
CN103843033A (zh) * 2011-09-30 2014-06-04 富士胶片株式会社 图像处理设备和方法以及程序
CN103905725A (zh) * 2012-12-27 2014-07-02 佳能株式会社 图像处理设备和图像处理方法
CN103945118A (zh) * 2014-03-14 2014-07-23 华为技术有限公司 图像虚化方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5927265B2 (ja) * 2014-10-28 2016-06-01 シャープ株式会社 画像処理装置及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008294785A (ja) * 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
CN101753844A (zh) * 2008-12-18 2010-06-23 三洋电机株式会社 图像显示装置及摄像装置
CN102472622A (zh) * 2010-06-17 2012-05-23 松下电器产业株式会社 距离推定装置、距离推定方法、集成电路、计算机程序
CN102811309A (zh) * 2011-05-31 2012-12-05 华晶科技股份有限公司 产生浅景深图像的方法及装置
CN103002212A (zh) * 2011-09-15 2013-03-27 索尼公司 图像处理器、图像处理方法和计算机可读介质
CN103843033A (zh) * 2011-09-30 2014-06-04 富士胶片株式会社 图像处理设备和方法以及程序
JP2013192115A (ja) * 2012-03-14 2013-09-26 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
CN103905725A (zh) * 2012-12-27 2014-07-02 佳能株式会社 图像处理设备和图像处理方法
CN103945118A (zh) * 2014-03-14 2014-07-23 华为技术有限公司 图像虚化方法、装置及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827205A (zh) * 2018-08-14 2020-02-21 现代摩比斯株式会社 用于处理图像模糊的设备及其方法

Also Published As

Publication number Publication date
WO2016067762A1 (ja) 2016-05-06
US10147169B2 (en) 2018-12-04
JP2016086351A (ja) 2016-05-19
US20170330307A1 (en) 2017-11-16
CN106576140B (zh) 2019-10-18
JP5927265B2 (ja) 2016-06-01

Similar Documents

Publication Publication Date Title
Wronski et al. Handheld multi-frame super-resolution
US10645368B1 (en) Method and apparatus for estimating depth of field information
Zhang et al. Zoom to learn, learn to zoom
US9558543B2 (en) Image fusion method and image processing apparatus
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US8749694B2 (en) Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
TWI538512B (zh) 調整對焦位置的方法及電子裝置
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
CN108432230B (zh) 一种成像设备和一种用于显示场景的图像的方法
JP6362068B2 (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
CN104867113B (zh) 图像透视畸变校正的方法及系统
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP2016151955A (ja) 画像処理装置、撮像装置、距離計測装置、および画像処理方法
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
CN108848367A (zh) 一种图像处理的方法、装置及移动终端
JP6198389B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20190355101A1 (en) Image refocusing
CN106576140A (zh) 图像处理装置以及程序
JP5911166B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置
CN106973199A (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
CN112529773B (zh) Qpd图像后处理方法及qpd相机
JP2020194454A (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018