CN113079313A - 图像处理装置、图像拾取装置、图像处理方法及存储介质 - Google Patents

图像处理装置、图像拾取装置、图像处理方法及存储介质 Download PDF

Info

Publication number
CN113079313A
CN113079313A CN202011412110.0A CN202011412110A CN113079313A CN 113079313 A CN113079313 A CN 113079313A CN 202011412110 A CN202011412110 A CN 202011412110A CN 113079313 A CN113079313 A CN 113079313A
Authority
CN
China
Prior art keywords
image
images
focus
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011412110.0A
Other languages
English (en)
Other versions
CN113079313B (zh
Inventor
川合勇辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113079313A publication Critical patent/CN113079313A/zh
Application granted granted Critical
Publication of CN113079313B publication Critical patent/CN113079313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明公开了图像处理装置、图像拾取装置、图像处理方法及存储介质。所述图像处理装置执行指令以通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像。所述组合图像的景深比所述多个图像中的每个图像的景深要深。至少一个处理器还执行指令以使用所述多个图像的对比度值计算用于所述组合图像的组合比。使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。

Description

图像处理装置、图像拾取装置、图像处理方法及存储介质
技术领域
本发明涉及将在光轴方向上不同焦点位置处拍摄的多个图像进行组合的图像处理装置、图像拾取装置、图像处理方法和存储介质。
背景技术
在拍摄包括多个与数码相机的距离相差很大的被摄体的图像的情况下，或者在拍摄深度方向上较长的被摄体的图像的情况下，由于景深不足，因此某些被摄体或部分被摄体可以对焦。为了解决这一问题，日本专利特开No.2015-216532讨论了所谓的叠焦(focusstacking)技术。在该技术中，拍摄焦点位置不同的多个图像，并且从各图像中提取对焦区域。将提取的区域组合成一个图像，以生成整个拍摄区域对焦的组合图像。因此，在日本专利特开No.2015-216532中讨论的技术中，将各图像中位于相同位置处的区域中具有最高对比度值的区域设置为要用于组合的对焦区域。
然而，在拍摄要用于叠焦的图像时，可能会拍摄到没有被摄体被对焦的图像，即完全模糊的图像(下文称为完全模糊图像)。由于在完全模糊图像中没有被摄体被对焦，因此不期望将完全模糊图像用于生成组合图像。然而，如果在完全模糊图像中存在高亮区域、运动物体区域等，则可能会错误地将完全模糊图像用于组合图像。
图7A至图7F是用于说明使用包括完全模糊图像的多个图像的叠焦的图。图7A至图7D示出通过从最近距离侧到无限远距离侧顺序地改变焦点位置而拍摄的图像。图7A至7C各图中的阴影区域表示每个图像中的对焦区域。图7D示出在无限远距离的焦点位置处拍摄的但没有被摄体被对焦的图像。换言之，图7D示出不包括对焦区域的完全模糊图像。图7E示出当对图7A至图7D中所示的图像进行叠焦时的理想组合图像。然而，例如，在强背光场景的情况下，即使在图7D中所示的完全模糊图像中，高亮区域703与被摄体701和702之间的边界部分也具有高对比度。因此，如果进行叠焦，则可能会如图7F中所示生成模糊高亮区域706侵蚀对焦被摄体704和705的组合图像。
发明内容
本发明旨在提供一种图像处理装置来解决上述问题，所述图像处理装置包括组合单元，所述组合单元被配置为通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及获取单元，所述获取单元被配置为获取所述多个图像的对比度值。所述组合图像的景深比所述多个图像中的每个图像的景深要深。所述组合单元使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比。所述组合单元使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
根据本发明提供一种图像处理装置，所述图像处理装置包括：至少一个存储器，所述至少一个存储器被配置为存储指令；以及至少一个处理器，所述至少一个处理器与所述至少一个存储器通信，并被配置为执行所述指令以：通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及获取所述多个图像的对比度值；其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，其中所述至少一个处理器还执行指令以使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且其中使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
此外，根据本发明提供一种图像拾取装置，所述图像拾取装置包括：图像传感器，所述图像传感器被配置为拾取在光轴方向上不同焦点位置处拍摄的多个图像；至少一个存储器，所述至少一个存储器被配置为存储指令；以及至少一个处理器，所述至少一个处理器与所述至少一个存储器通信，并被配置为执行所述指令以：通过使用所述多个图像进行组合处理来创建组合图像；以及获取所述多个图像的对比度值，其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，其中所述至少一个处理器还执行指令以使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且其中使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
此外，根据本发明提供一种图像处理方法，所述图像处理方法包括：通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及获取所述多个图像的对比度值，其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，其中在所述组合处理中，使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且其中在所述组合处理中，使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
此外，根据本发明提供一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储用于使图像拾取装置的计算机执行图像处理方法的程序，所述图像处理方法包括：通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及获取所述多个图像的对比度值，其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，其中在所述组合处理中，使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且其中在所述组合处理中，使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据本发明示例性实施例的数码相机的结构的框图。
图2是示出根据本发明示例性实施例的组合图像生成处理的流程图。
图3是示出根据本发明示例性实施例的图像拍摄处理的流程图。
图4是示出根据本发明示例性实施例的对齐处理的流程图。
图5是示出根据本发明示例性实施例的图像组合处理的流程图。
图6是示出根据本发明示例性实施例的完全模糊图像确定处理的流程图。
图7A至图7F是用于说明对包括完全模糊图像的多个图像进行叠焦处理的图。
图8A至图8D各自示出根据本发明示例性实施例的合成图。
图9是示出根据本发明示例性实施例合成图中组合比大于或等于第一阈值的面积的曲线图。
具体实施方式
下面将参照附图详细描述本发明的示例性实施例。
图1是示出根据本发明示例性实施例用作图像处理装置的数码相机的结构的框图的示例。数码相机100可拍摄静止图像，记录指示对焦位置的信息，计算对比度值，以及组合图像。此外，数码相机100可对已拍摄并存储的图像或从数码相机100外部输入的图像进行放大处理或缩小处理。
控制单元101是诸如中央处理单元(CPU)或微处理单元(MPU)的信号处理器。控制单元101在读取预先存储在将在下文描述的只读存储器(ROM)105中的程序时，控制数码相机100的每个单元。例如，如下所述，控制单元101基于存储在ROM 105中的程序，向将在下文描述的图像拍摄单元104发出开始或结束图像拍摄的命令，或者向将在下文描述的图像处理单元107发出图像处理命令。用户发出的命令经由将在下文描述的操作单元110被输入到数码相机100，并且经由控制单元101到达数码相机100的每个单元。
驱动单元102包括马达，并且基于来自控制单元101的命令机械地操作将在下文描述的光学系统103。例如，驱动单元102基于来自控制单元101的命令来移动光学系统103中包括的对焦透镜的位置，并且调整光学系统103的对焦距离。
光学系统103包括变焦透镜、对焦透镜、光圈等。光圈是用于调整透光量的机构。可通过改变每个透镜的位置来改变对焦位置。
图像拍摄单元104是进行光电转换以将输入光信号转换成电信号的光电转换元件。例如，可将电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器应用于图像拍摄单元104。图像拍摄单元104具有运动图像拍摄模式，所述运动图像拍摄模式用以拍摄时间上连续的多个图像作为运动图像的帧。
ROM 105是用作记录介质的非易失性只读存储器，并且不仅存储数码相机100中包括的每个块的操作程序，还存储每个块的操作所需的参数等。随机存取存储器(RAM)106是可重写易失性存储器，并且用作用于临时存储在数码相机100中包括的每个块的操作中输出的数据的存储区域。
图像处理单元107对从图像拍摄单元104输出的图像或存储在将在下文描述的内置存储器109中的图像信号数据进行诸如白平衡调整、颜色插值和滤波的各种图像处理。此外，图像处理单元107基于诸如联合图像专家组(JPEG)的标准，对图像拍摄单元104拍摄的图像的图像信号数据进行压缩处理。
图像处理单元107包括集成有用于进行特定处理的电路的专用集成电路(ASIC)。另一选择是，控制单元101可以通过基于从ROM 105读取的程序进行处理，来实现图像处理单元107的某些或所有功能。在控制单元101实现图像处理单元107的所有功能的情况下，不必包括图像处理单元107作为硬件模块。
显示单元108例如是显示临时存储在RAM 106中的图像、存储在将在下文描述的内置存储器109中的图像或数码相机100的设置画面的液晶显示器或有机电致发光(EL)显示器。
内置存储器109是记录由图像拍摄单元104拍摄的图像、通过图像处理单元107进行的处理而获得的图像以及关于在图像拍摄期间设置的对焦位置的信息的区域。代替内置存储器109，可以使用存储卡等。
操作单元110的示例包括在数码相机100上提供的按钮、开关、键和模式拨盘，以及用作显示单元108的触摸面板。用户发出的命令经由操作单元110到达控制单元101。
图2是示出根据本示例性实施例的组合图像生成处理的流程图。在步骤S201中，图像拍摄单元104在不同焦点位置处拍摄多个图像。在步骤S202中，控制单元101对在步骤S201中由图像拍摄单元104拍摄的多个图像进行对齐处理。在步骤S203中，图像处理单元107将经过对齐处理的图像进行组合，以生成具有较深景深的组合图像。下面将对处理的各个步骤进行详细描述。
图3是示出根据本示例性实施例的步骤S201中的图像拍摄处理的流程图。
在步骤S301中，控制单元101设置焦点位置。例如，用户经由用作显示单元108的触摸面板来指定对焦位置，并在光轴方向上在与指定的对焦位置对应的焦点位置的近端和无限远端以规则间隔指定多个焦点位置。同时，控制单元101按照距离顺序确定所设置的焦点位置之间的图像拍摄顺序。
在步骤S302中，图像拍摄单元104在以下焦点位置处拍摄图像：所述焦点位置是在步骤S301中设置的尚未拍摄图像的焦点位置中按照图像拍摄顺序为第一个的焦点位置。
在步骤S303中，控制单元101确定是否已在步骤S301中设置的所有焦点位置处进行了图像拍摄。如果已在所有焦点位置处进行了图像拍摄(在步骤S303中为“是”)，则流程图中的处理结束。如果存在任何尚未进行图像拍摄的焦点位置(在步骤S303为“否”)，则处理返回步骤S302。
在使用包括多个图像拍摄单元104的多镜头相机的情况下，可在步骤S301中设置的多个焦点位置处同时执行图像拍摄。
图4是示出根据本示例性实施例的步骤S202中的对齐处理的流程图。
在步骤S401中，控制单元101从在步骤S201中由图像拍摄单元104拍摄的图像中获取用于对齐处理的参考图像。例如，可以将按照图像拍摄顺序第一个拍摄的图像用作对齐处理的参考图像。另一选择是，由于在改变焦点位置时拍摄图像之间视角略有变化，因此可以将拍摄图像中视角最小的图像用作对齐处理的参考图像。
在步骤S402中，控制单元101获取用于对齐处理的目标图像。目标图像是除了在步骤S401中获取的参考图像以外且尚未进行对齐处理的图像。如果将按照图像拍摄顺序第一个拍摄的图像用作参考图像，则控制单元101可以以图像拍摄顺序顺序地获取目标图像。
在步骤S403中，控制单元101计算参考图像与目标图像之间的位置偏差量。下面将描述计算方法的示例。首先，控制单元101在参考图像中设置多个块。控制单元101可以合意地将块设置为具有相同尺寸。接下来，控制单元101在目标图像中在与参考图像中每个块的位置相同的位置处设置搜索范围。搜索范围大于参考图像中的每个块。最后，控制单元101计算目标图像的每个搜索范围中、关于参考图像的每个块的亮度的绝对差之和(下文称为SAD)最小的对应点。控制单元101基于参考图像的每个块的中心和上述对应点，将在步骤S403中获得的位置偏差计算为矢量。除了上述对应点计算中的SAD以外，控制单元101还可以使用平方差之和(下文称为SSD)，归一化互相关(下文称为NCC)等。
在步骤S404中，控制部101基于参考图像与目标图像之间的位置偏差量，计算变换系数。控制单元101例如使用射影变换系数作为变换系数。然而，变换系数并不局限于射影变换系数，而是可以使用仿射变换系数或仅基于水平和垂直偏移的简化变换系数。
在步骤S405中，图像处理单元107使用在步骤S404中计算的变换系数对目标图像进行变换。
例如，控制单元101可使用式(1)进行变换。
Figure BDA0002818141490000081
在式(1)中，(x’，y’)表示进行变换后的坐标，而(x，y)表示进行变换前的坐标。矩阵A表示在步骤S404中由控制单元101计算的变换系数。
在步骤S406中，控制单元101确定是否已对参考图像以外的所有图像进行了对齐处理。如果已对参考图像以外的所有图像进行了对齐处理(在步骤S406中为“是”)，则流程图中的处理结束。如果存在任何尚未进行对齐处理的图像(在步骤S406为“否”)，则处理返回步骤S402。
在对由上述多镜头相机拍摄的多个图像进行对齐处理的情况下，可通过在步骤S403中计算位置偏差量来获得因光学系统103的位置差所致的视差量，因此可通过上述类似处理来进行对齐处理。
图5是示出根据本示例性实施例的步骤S203中的图像组合处理的流程图。
在步骤S501中，图像处理单元107针对经过对齐处理的每个图像(包括参考图像)计算对比度值。作为用于计算对比度值的方法，例如，图像处理单元107首先基于每个像素的颜色信号Sr、Sg和Sb使用式(2)计算亮度Y。
Y ＝ 0.299 Sr + 0.587 Sg + 0.114 Sb (2)
接下来，使用由下述式(3)至式(5)表示的像素的亮度Y的3×3矩阵L的索贝尔(Sobel)滤波器，计算对比度值I。
Figure BDA0002818141490000082
Figure BDA0002818141490000083
Figure BDA0002818141490000091
上述用于计算对比度值的方法仅为示例，可使用其他类型滤波器。其他类型滤波器的示例包括边缘检测滤波器，诸如拉普拉斯(Laplacian)滤波器和以预定带宽通过频率的带通滤波器。
在步骤S502中，图像处理单元107生成合成图。作为生成合成图的方法，图像处理单元107将各个图像中位于相同位置处的像素的对比度值进行比较，并根据每个对比度值的大小来计算组合比。具体而言，在位于相同位置处的像素中，向对比度值最大的像素提供100％的组合比，而向位于相同位置处的其他像素提供0％的组合比。换言之，满足式(6)。
Figure BDA0002818141490000092
在式(6)中，Ck(x，y)表示在步骤S501中计算出的对比度值，而Am(x，y)表示合成图的比值。在式(6)中，m表示在不同焦点位置处拍摄的多个图像中的第m个图像，x表示图像的横坐标，而y表示图像的纵坐标。
在步骤S502中，需要适当调整组合比，以使边界部分看起来自然。因此，一个图像的合成图的组合比不是在两个值(即0％和100％)之间变化，而是连续变化。
在步骤S503中，图像处理单元107使用在步骤S502中生成的合成图，对拍摄的图像中的一个图像进行完全模糊图像确定处理。稍后将描述完全模糊图像确定处理的具体方法。
在步骤S504中，图像处理单元107基于在步骤S503中的确定结果，确定正在处理的图像是否是在图像合成处理中使用的组合目标图像。图像处理单元107确定在步骤S503中未被确定为完全模糊图像的图像(将下文描述的组合目标旗标为“打开(on)”的图像)是组合目标图像。如果确定图像为组合目标图像(在步骤S504中为“是”)，则处理进入步骤S505。在步骤S505中，基于在步骤S502中生成的合成图进行组合处理，然后处理进入步骤S506。另一方面，如果确定图像不是组合目标图像(在步骤S504中为“否”)，则处理不进行组合处理即进入步骤S506。
在步骤S506中，如果对所有图像进行了处理(在步骤S506中为“是”)，则图5所示的流程图中的处理结束。如果存在任何尚未进行处理的图像(在步骤S506中为“否”)，则处理返回步骤S503。
如上所述，在步骤S503中确定为完全模糊图像的图像中，没有被摄体被对焦，因此，在步骤S502中生成的组合图中，向完全模糊图像的所有像素提供0％的组合比。然而，在如图7D中所示具有强背光的场景下，可能会基于相关技术的某些算法错误地向完全模糊图像的一部分提供除0％以外的组合比。因此，在本示例性实施例中，提供步骤S503和S504以从组合目标中消除完全模糊图像。
下面将参照图6至图9详细描述步骤S503中的完全模糊图像确定处理。
图6是示出根据本示例性实施例的步骤S503中的完全模糊图像确定处理的流程图。
图7A至图7F分别示出对包括完全模糊图像的多个图像进行叠焦处理。图8A至图8D分别示出根据本示例性实施例的合成图。图8A至图8D中所示的合成图分别对应于图7A至图7D中所示的图像。每个合成图中的白色区域表示具有高组合比的区域，而黑色区域表示具有低组合比的区域。在图8A至图8D中，为了便于说明，用二进制值表示合成图。然而，表示每个像素的组合比的值级实际上不受限制。
在步骤S601中，基于在步骤S502中生成的合成图，计算组合比大于或等于初步设置的第一阈值的面积。例如，可以为图8A至图8D中所示的每个合成图计算大于或等于第一阈值的像素数，或者可以计算通过整个图像的像素数归一化的比值。
图9是示出根据本示例性实施例在合成图中组合比大于或等于第一阈值的面积的曲线图。图9是纵轴表示组合比大于或等于第一阈值的面积而横轴表示图像编号的曲线图。图9示出面积随着距数码相机100的距离增加而变化的状态。较小的图像编号表示在较靠近最近距离端的位置处拍摄到的图像，而较大图像编号表示在较靠近无限远距离端的位置处拍摄的图像。
在步骤S602中，确定在步骤S601中计算的面积是否小于初步设置的第二阈值。如果在步骤S601中计算的面积小于第二阈值(在步骤S602中为“是”)，则确定图像为完全模糊图像并且关闭组合目标旗标。另一方面，如果面积大于或等于第二阈值(在步骤S602中为“否”)，则处理进入步骤S603。本文中所述的第二阈值可以动态变化。例如，根据在步骤S301中设置的焦点位置，第二阈值可以朝向最近距离端阶梯式或连续减小，或者可以随着焦点位置之间的距离减小而阶梯式或连续减小。此外，第二阈值可以随着用于步骤S302中的图像拍摄处理的光圈值减小而阶梯式或连续减小。
根据本示例性实施例，为了更准确地进行完全模糊图像确定处理，在完全模糊图像确定处理中使用图像之间的参数变化。例如，假设以下情况：在不同焦点位置处拍摄的n个图像中，第1个图像至第(n-1)个图像是分别包括对焦区域的图像，而第n个图像是不包括对焦区域的完全模糊图像。在该情况下，关于在步骤S601中计算的面积，如图9中所示，作为完全模糊图像的第n个图像的面积与第(n-1)个图像的面积相比急速减小。通过关注该变化，在步骤S603中，计算有关在步骤S601中计算的面积从紧挨着的前一图像到当前图像的变化率R。由式(7)表示本文中所述的变化率R，其中Sn-1表示紧挨着的前一图像的面积，而Sn表示当前图像的面积。
Figure BDA0002818141490000111
在步骤S604中，确定在步骤S603中计算的由式(7)表示的变化率R是否大于第三阈值。如果在步骤S603中计算的变化率R大于第三阈值(在步骤S604中为“是”)，则处理进入步骤S606。在步骤S606中，关闭组合目标旗标。如果变化率R小于或等于第三阈值(在步骤S604中为“否”)，则处理进入步骤S605。在步骤S605中，开启组合目标旗标。本文中所述的第三阈值可以动态变化，例如，如果图像的焦点位置之间的差较小，则可以减小第三阈值。
如果存在任何在步骤S606中关闭组合目标旗标的图像，则也可以将在图像焦点位置的无限远距离侧上的位置处拍摄的图像确定为完全模糊图像，并且可以关闭其组合目标旗标。此外，在图像焦点位置的无限远距离侧上的位置处拍摄的图像中，对于在步骤S601中计算的面积大于或等于第四阈值的图像，可以打开其组合目标旗标，从而可以处理包括多个被摄体的场景，所述多个被摄体位于与数码相机100相距不同距离处。类似于上述第二阈值，本文中所述的第四阈值可以动态变化。根据在步骤S301中设置的焦点位置，第四阈值可以随着焦点位置更加靠近数码相机100而减小，或者可以随着图像焦点位置更加彼此靠近而减小。此外，第四阈值可以随着在步骤S302中的图像拍摄处理中使用的光圈值的减小而减小。
因此，完成步骤S503中的完全模糊图像确定处理。
根据本示例性实施例，计算生成的合成图中组合比大于或等于第一阈值的每个像素的面积，如果面积小于或等于第二阈值或者如果与前一帧的变化率大于或等于第三阈值，则确定图像为完全模糊图像。另外，从组合目标图像中去除完全模糊图像，因而可防止图像质量因组合了完全模糊图像而变差。
虽然使用数码相机执行了上述示例性实施例，但并不限于使用数码相机。例如，可以使用合并有图像传感器的便携式设备或能够拍摄图像的网络相机来执行所述示例性实施例。
根据上述示例性实施例，确定在不同焦点位置处拍摄的多个图像中的完全模糊图像，并且从组合目标图像中去除完全模糊图像，因而可防止叠焦图像的图像质量变差。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已参照示例性实施例对本发明进行了描述，但是应理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型以及等同的结构及功能。

Claims (19)

1.一种图像处理装置，所述图像处理装置包括：
至少一个存储器，所述至少一个存储器被配置为存储指令；以及
至少一个处理器，所述至少一个处理器与所述至少一个存储器通信，并被配置为执行所述指令以：
通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及
获取所述多个图像的对比度值；
其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，
其中所述至少一个处理器还执行指令，以使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且
其中使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
2.根据权利要求1所述的图像处理装置，其中，所述至少一个处理器还执行指令，以将所述多个图像中对应区域的对比度值进行比较并且为对比度值较高的区域提供较高组合比。
3.根据权利要求2所述的图像处理装置，其中，所述对应区域是在所述多个图像经过对齐处理后位于所述多个图像的相同位置处的区域。
4.根据权利要求1-3任一项所述的图像处理装置，其中，剪裁所述多个图像中的每个图像的对焦区域并且将剪裁的对焦区域用于所述组合处理。
5.根据权利要求4所述的图像处理装置，其中，使用所述多个图像的所述对比度值确定所述对焦区域。
6.根据权利要求1所述的图像处理装置，其中，在所述多个图像中的第一图像中组合比大于或等于第一阈值的面积小于第二阈值的情况下，或者在所述第一图像与毗邻所述第一图像的帧的第二图像之间的面积变化大于第三阈值的情况下，所述至少一个处理器还执行指令，以确定所述第一图像为被摄体没有对焦的图像。
7.根据权利要求6所述的图像处理装置，其中，与用于拍摄所述多个图像的光圈值为第一光圈值的情况相比，在所述光圈值为比所述第一光圈值小的第二光圈值的情况下，所述第二阈值更小。
8.根据权利要求6或7所述的图像处理装置，其中，与所述多个图像的每个焦点位置为第一位置的情况相比，在所述多个图像的每个焦点位置为比所述第一位置更靠近最近距离端的第二位置的情况下，所述第二阈值更小。
9.根据权利要求6所述的图像处理装置，其中，与所述多个图像的焦点位置之间的间距为第一间距的情况相比，在所述多个图像的焦点位置之间的间距为比所述第一间距小的第二间距的情况下，所述第二阈值更小。
10.根据权利要求6所述的图像处理装置，其中，所述面积变化为面积差的比值。
11.根据权利要求6所述的图像处理装置，其中，与所述多个图像的焦点位置之间的间距为第一间距的情况相比，在所述多个图像的焦点位置之间的间距为比所述第一间距小的第二间距的情况下，所述第三阈值更小。
12.根据权利要求6所述的图像处理装置，其中，所述至少一个处理器还执行指令，以在将所述多个图像中的任何一个图像确定为被摄体没有对焦的图像的情况下，将焦点位置比被摄体没有对焦的图像的焦点位置更靠近无限远距离端的图像确定为被摄体没有对焦的图像。
13.根据权利要求6所述的图像处理装置，其中，所述至少一个处理器还执行指令，以在将所述多个图像中的任何一个图像确定为被摄体没有对焦的图像的情况下，将焦点位置比被摄体没有对焦的图像的焦点位置更靠近无限远距离端并且面积大于第四阈值的图像确定为被摄体没有对焦的图像。
14.根据权利要求13所述的图像处理装置，其中，与用于拍摄所述多个图像的光圈值为第一光圈值的情况相比，在所述光圈值为比所述第一光圈值小的第二光圈值的情况下，所述第四阈值更小。
15.根据权利要求13所述的图像处理装置，其中，与所述多个图像的每个焦点位置为第一位置的情况相比，在所述多个图像的每个焦点位置为比所述第一位置更靠近最近距离端的第二位置的情况下，所述第四阈值更小。
16.根据权利要求13所述的图像处理装置，其中，与所述多个图像的焦点之间的间距为第一间距的情况相比，在所述多个图像的焦点位置之间的间距为比所述第一间距小的第二间距的情况下，所述第四阈值更小。
17.一种图像拾取装置，所述图像拾取装置包括：
图像传感器，所述图像传感器被配置为拾取在光轴方向上不同焦点位置处拍摄的多个图像；
至少一个存储器，所述至少一个存储器被配置为存储指令；以及
至少一个处理器，所述至少一个处理器与所述至少一个存储器通信，并被配置为执行所述指令以：
通过使用所述多个图像进行组合处理来创建组合图像；以及
获取所述多个图像的对比度值；
其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，
其中所述至少一个处理器还执行指令，以使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且
其中使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
18.一种图像处理方法，所述图像处理方法包括：
通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及
获取所述多个图像的对比度值；
其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，
其中在所述组合处理中，使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且
其中在所述组合处理中，使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
19.一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质存储用于使图像拾取装置的计算机执行图像处理方法的程序，所述图像处理方法包括：
通过使用在光轴方向上不同焦点位置处拍摄的被摄体的多个图像进行组合处理来创建组合图像；以及
获取所述多个图像的对比度值；
其中所述组合图像的景深比所述多个图像中的每个图像的景深要深，
其中在所述组合处理中，使用所述多个图像的所述对比度值来计算用于所述组合处理的组合比，并且
其中在所述组合处理中，使用所述多个图像的所述对比度值确定所述多个图像中被摄体没有对焦的图像，并且不将确定的图像用于所述组合处理。
CN202011412110.0A 2019-12-18 2020-12-04 图像处理装置、图像拾取装置、图像处理方法及存储介质 Active CN113079313B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019228213A JP7409604B2 (ja) 2019-12-18 2019-12-18 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2019-228213 2019-12-18

Publications (2)

Publication Number Publication Date
CN113079313A true CN113079313A (zh) 2021-07-06
CN113079313B CN113079313B (zh) 2022-09-06

Family

ID=76431857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011412110.0A Active CN113079313B (zh) 2019-12-18 2020-12-04 图像处理装置、图像拾取装置、图像处理方法及存储介质

Country Status (3)

Country Link
US (1) US11206350B2 (zh)
JP (1) JP7409604B2 (zh)
CN (1) CN113079313B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180167565A1 (en) * 2016-12-12 2018-06-14 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and image synthesis method
CN108462830A (zh) * 2017-02-22 2018-08-28 佳能株式会社 摄像装置及摄像装置的控制方法
CN109792486A (zh) * 2016-09-29 2019-05-21 株式会社尼康 摄像装置
CN110035218A (zh) * 2018-01-11 2019-07-19 华为技术有限公司 一种图像处理方法、图像处理装置及拍照设备
CN110300255A (zh) * 2018-03-22 2019-10-01 株式会社三丰 信息处理装置、信息处理方法、程序和视觉测量装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW397930B (en) * 1999-11-30 2000-07-11 Dynacolor Inc The multi-focus picturing method and its device
JP4562182B2 (ja) * 2005-03-07 2010-10-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN101297545B (zh) * 2005-10-28 2012-05-02 株式会社尼康 摄影装置、图像处理装置
JP6021306B2 (ja) * 2011-07-25 2016-11-09 キヤノン株式会社 撮像装置およびその制御方法
JP6325885B2 (ja) 2014-05-12 2018-05-16 オリンパス株式会社 撮像装置、撮像方法、及びプログラム
JP6639276B2 (ja) * 2016-03-10 2020-02-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP6223502B2 (ja) * 2016-05-11 2017-11-01 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、それを記憶した記憶媒体
JP6877920B2 (ja) * 2016-08-31 2021-05-26 キヤノン株式会社 レンズ制御装置、その制御方法
JP6786311B2 (ja) * 2016-08-31 2020-11-18 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体
CN107864315B (zh) * 2016-09-21 2020-08-11 佳能株式会社 摄像设备、摄像设备的控制方法和记录介质
JP6752685B2 (ja) * 2016-10-28 2020-09-09 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP2018098764A (ja) * 2016-12-12 2018-06-21 パナソニックＩｐマネジメント株式会社 撮像装置および画像合成方法
JP6800797B2 (ja) * 2017-03-31 2020-12-16 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP6961423B2 (ja) * 2017-08-29 2021-11-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
JP6590894B2 (ja) * 2017-11-08 2019-10-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109792486A (zh) * 2016-09-29 2019-05-21 株式会社尼康 摄像装置
US20180167565A1 (en) * 2016-12-12 2018-06-14 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and image synthesis method
CN108462830A (zh) * 2017-02-22 2018-08-28 佳能株式会社 摄像装置及摄像装置的控制方法
CN110035218A (zh) * 2018-01-11 2019-07-19 华为技术有限公司 一种图像处理方法、图像处理装置及拍照设备
CN110300255A (zh) * 2018-03-22 2019-10-01 株式会社三丰 信息处理装置、信息处理方法、程序和视觉测量装置

Also Published As

Publication number Publication date
JP2021097350A (ja) 2021-06-24
US11206350B2 (en) 2021-12-21
US20210195099A1 (en) 2021-06-24
JP7409604B2 (ja) 2024-01-09
CN113079313B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
KR101034109B1 (ko) 촬영장치 및 프로그램이 기억된 컴퓨터 판독 가능한 기록매체
CN108462830B (zh) 摄像装置及摄像装置的控制方法
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
JP6961423B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体
EP4002830B1 (en) Image pick up apparatus, image pick up method, and storage medium
CN113079313B (zh) 图像处理装置、图像拾取装置、图像处理方法及存储介质
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP2020160773A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US11616902B2 (en) Apparatus to perform alignment to images, image processing method to perform alignment to images, and computer readable non-transitory memory to perform alignment to images
US20230419459A1 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium background
US12100122B2 (en) Image processing apparatus for combining a plurality of images, imaging apparatus, imaging method, and recording medium
US11057560B2 (en) Image pickup apparatus, image pickup method, and recording medium
US20230345116A1 (en) Learning apparatus, image processing apparatus, imaging apparatus, method, program, and storage medium
EP4138384A2 (en) Imaging apparatus, imaging method, and storage medium
JP2023026997A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2024036872A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2010026801A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2019212969A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2018046372A (ja) 撮像装置、システム、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant