CN116261050A - 图像处理设备、图像处理方法、摄像设备和存储介质 - Google Patents

Abstract

本公开提供图像处理设备、图像处理方法、摄像设备和存储介质。提供的该摄像设备包括被配置为进行场景判断的判断单元和被配置为对光轴方向上的焦点位置不同的多个图像进行合成的合成单元。所述合成单元基于场景判断的结果来自动进行所述合成。在所述合成单元进行所述合成的情况下所要生成的合成图像在景深上比所述多个图像更深。

Description

图像处理设备、图像处理方法、摄像设备和存储介质

技术领域

本发明涉及图像处理设备，特别涉及拍摄焦点位置不同的图像的摄像设备。

背景技术

已知一种焦点堆叠(focus stacking)的技术，在该焦点堆叠中，拍摄光轴方向上焦点位置不同的多个图像(焦点包围曝光(focus bracketing))，并且提取各个图像的对焦区域以合成在景深上扩展的图像。

为了生成用户想要的焦点堆叠图像，需要设置适当的景深。

日本特开2016-39613讨论了一种基于与用户在画面上指定的可选范围有关的距离信息来生成合成图像的方法。

然而，通过日本特开2016-39613中讨论的现有技术，图像处理设备在没有用户操作的情况下不能确定焦点堆叠的范围等。

发明内容

本发明涉及一种能够在无需用户操作的情况下设置焦点堆叠的图像处理设备。

根据本发明的一方面，一种图像处理设备包括：判断单元，其被配置为进行场景判断；以及合成单元，其被配置为对光轴方向上的焦点位置不同的多个图像进行合成。所述合成单元基于所述场景判断的结果来自动进行所述合成。在所述合成单元进行所述合成的情况下所要生成的合成图像在景深上比所述多个图像更深。

从以下参考附图对示例性实施例的描述，本发明的进一步特征将变得明显。

附图说明

图1是示出根据本发明示例性实施例的作为图像处理设备的数字照相机的硬件配置的框图。

图2是示出当对焦点堆叠图像实时取景时在显示单元上显示的图像的图。

图3是示出根据本发明第一示例性实施例的焦点堆叠的流程图。

图4是示出根据本发明第一示例性实施例的主被摄体检测的示例的图。

图5是示出根据本发明第一示例性实施例的背景区域检测的示例的图。

图6是示出根据本发明第二示例性实施例的焦点堆叠处理的流程图。

具体实施方式

下面将参考附图详细描述本发明的示例性实施例。以下示例性实施例不限制根据权利要求的本发明，并且并非示例性实施例中描述的特征的所有组合对于解决本发明的手段都是必要的。

下面将描述本发明的第一示例性实施例。图1是示出根据本示例性实施例的用作图像处理设备的数字照相机100的硬件配置的框图。在图1中，数字照相机100包括摄像系统，其中该摄像系统包括快门101、挡板102、调焦透镜103和摄像单元22。快门101具有光圈功能。挡板102覆盖数字照相机100的摄像系统，以防止摄像系统被污染和损坏。调焦透镜103是布置在快门101和挡板102之间的镜头单元(未示出)中所包括的透镜。该镜头单元包括诸如变焦透镜等的其他透镜。摄像单元22包括将光学图像转换为电信号的摄像元件(诸如电荷耦合器件(CCD)图像传感器和互补金属氧化物半导体(CMOS)图像传感器)，并且包括模数(A/D)转换处理功能。来自摄像单元22的输出数据(拍摄图像)经由图像处理单元24和存储器控制单元15被写入存储器32中，或者通过存储器控制单元15直接被写入存储器32中。在下面描述的焦点包围曝光中，所设置数量的拍摄图像都被写入存储器32中。

数字照相机100还包括自动聚焦(AF)评价值检测单元23、闪光单元90、图像处理单元24、焦点堆叠单元25、运动检测单元26、状态检测单元27、存储器32、数模(D/A)转换器13、显示单元28、非易失性存储器56、系统控制单元50、系统存储器52和系统计时器53。AF评价值检测单元23设置在摄像单元22内部，根据例如从数字图像信号获得的对比度信息来计算AF评价值，并且将所获得的AF评价值从摄像单元22输出到系统控制单元50。闪光单元90在摄像时发光，以补充在低照度场景中摄像时和在背光场景中摄像时的照度。图像处理单元24对从摄像单元22输出的图像数据或来自存储器控制单元15的图像数据进行预定像素插值、诸如缩小等的大小调整处理、以及颜色转换处理。图像处理单元24通过使用拍摄图像数据来进行预定计算处理。系统控制单元50基于获得的计算结果进行曝光控制和测距控制。因此，进行通过镜头(TTL)自动曝光(AE)处理和自动闪光灯控制发光(EF)处理。此外，图像处理单元24进行自动聚焦(AF)处理。此时，在一些情况下使用摄像单元22中的AF评价值检测单元23的输出。图像处理单元24还使用拍摄图像数据进行预定计算处理，并且基于获得的计算结果进行TTL自动白平衡(AWB)处理。

焦点堆叠单元25输出通过摄像单元22的焦点包围曝光所获得的多个拍摄图像中的各个拍摄图像中的对焦像素，从而生成在景深上扩展的图像。下面将描述其细节。

运动检测单元26使用两个图像数据在关注区域及其附近进行模板匹配处理，并且针对图像所划分成的多个区域中的各个区域或者针对像素中的各个像素来计算运动矢量。在所计算出的运动矢量大于或等于阈值的情况下，运动检测单元26检测到被摄体已经移动，并且将被摄体已经移动通知给系统控制单元50。状态检测单元27检测数字照相机100的状态(诸如由陀螺仪传感器获得的角速度、三脚架的附接/拆卸状态以及由用户使用操作单元70设置的设置细节等)。状态检测单元27将检测结果通知给系统控制单元50。

存储器32存储由摄像单元22获取并进行A/D转换的图像数据以及要在显示单元28上显示的图像数据。存储器32具有足以存储预定数量的静止图像以及预定时间的运动图像和声音的存储容量。存储器32还用作图像显示存储器(视频存储器)。D/A转换器13将存储器32中所存储的图像显示数据转换为模拟信号，并将模拟信号供给至显示单元28。

因此，被写入存储器32中的显示图像数据由显示单元28通过D/A转换器13显示。显示单元28在诸如液晶显示器(LCD)等的显示器上进行与来自D/A转换器13的模拟信号相对应的显示。D/A转换器13将由摄像单元22进行了一次A/D转换并存储在存储器32中的数字信号转换为模拟信号，并且模拟信号被连续地传送到显示单元28并显示在显示单元28上。因此，显示单元28用作电子取景器，并且可以显示通过镜头图像(以下，称为实时取景)。非易失性存储器56是电可擦除且可记录存储器，并且例如使用闪存作为非易失性存储器56。非易失性存储器56存储程序和系统控制单元50的操作所用的常数等。程序在本文中表示用于进行将在下面描述的第一示例性实施例至第二示例性实施例中的各种流程图的程序。

系统控制单元50控制整个数字照相机100。更具体地，系统控制单元50通过执行上述非易失性存储器56中所记录的程序，实现基于被摄体信息、被摄体距离和图像对比度信息的焦点包围曝光。换句话说，系统控制单元50在焦点包围曝光期间进行对调焦透镜103和快门101的驱动控制，从而顺次拍摄焦点位置不同的多个图像。基于系统控制单元50所计算出的值，来设置通过这样的摄像处理获得的相邻拍摄图像之间的焦点位置变化(调焦步长)。

系统存储器52包括随机存取存储器(RAM)，并且展开系统控制单元50的操作所用的常数和变量以及从非易失性存储器56读取的程序等。系统控制单元50还通过控制存储器32、D/A转换器13和显示单元28等来进行显示控制。系统计时器53是对用于各种控制的时间和内置时钟的时间进行计时的计时单元。

数字照相机100包括向系统控制单元50输入各种操作指令的操作装置。操作装置包括模式选择开关60、快门按钮61、第一快门开关64、第二快门开关62、操作单元70和电源开关72。

模式选择开关60将系统控制单元50的操作模式切换到静止图像摄像模式、运动图像摄像模式、再现模式和其他模式中的任意一个。静止图像摄像模式中包括的模式的示例包括自动摄像模式、自动场景判断模式、手动模式、具有针对不同摄像场景的摄像设置的各种场景模式、程序AE模式和自定义模式。

通过模式选择开关60将操作模式直接切换到静止图像摄像模式中包括的这些模式中的任意一个。可替代地，在一旦利用模式选择开关60将操作模式切换到静止图像摄像模式之后，可以利用其他操作构件将操作模式切换到静止图像摄像模式所包括的模式中的任意一个。类似地，运动图像摄像模式也可以包括多个模式。快门按钮61是用于发出摄像指令的操作单元。在快门按钮61的操作的中途，具体地当快门按钮61被半按下时，第一快门开关64被接通，从而生成第一快门开关信号SW1。由第一快门开关信号SW1开始诸如AF处理、AE处理、AWB处理和EF处理等的操作。换句话说，在系统控制单元50的控制下获取用于摄像的参数。例如，用户可以选择中心点AF处理和面部AF处理作为响应于信号SW1所要开始的AF处理。在本文中，中心点AF处理表示用于对摄像画面中的一个中心位置进行AF的处理，并且面部AF处理表示用于对拍摄画面中的通过面部检测功能检测到的面部进行AF的处理。当快门按钮61的操作完成时，具体地当快门按钮61被完全按下(摄像指令)时，第二快门开关62被接通，从而生成第二快门开关信号SW2。系统控制单元50响应于第二快门开关信号SW2，开始从自摄像单元22读取信号起到在记录介质200中写入图像数据的一系列摄像处理的操作。当用户选择并操作显示单元28上所显示的各种功能图标时，针对各个场景将功能适当地分配给操作单元70的操作构件，并且操作单元70的操作构件用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像给送按钮、跳过按钮、缩小按钮和属性改变按钮。例如，当按下菜单按钮时，在显示单元28上显示可设置各种设置的菜单画面。用户可以使用显示单元28上所显示的菜单画面、四向按钮和设置(SET)按钮直观地进行各种设置。电源开关72切换数字照相机100的通电和断电。

数字照相机100还包括电源控制单元80、电源单元40和记录介质I/F18。电源控制单元80包括电池检测电路、DC-DC转换器和用于切换待通电的块的开关电路，并且检测附接电池的存在/不存在、电池的类型和剩余电量。电源控制单元80基于检测结果和来自系统控制单元50的指令来控制DC-DC转换器，并且向包括记录介质200的各个单元供给所需电压并持续所需时间段。电源单元40包括诸如碱性电池和锂电池等的一次电池、诸如NiCd电池、NiMH电池和Li电池等的二次电池、或者交流(AC)适配器。记录介质I/F 18是与诸如存储卡和硬盘等的记录介质200的接口。记录介质200用于记录拍摄图像，并且包括半导体存储器或磁盘。

接下来，将参考图1描述焦点包围曝光的概述。焦点包围曝光是调焦透镜103移动到期望的焦点位置然后进行摄像单元22的曝光和读取的摄像。

现在将参考图2描述由数字照相机100进行的焦点堆叠处理中的基本操作。图2是示出根据本示例性实施例的当对焦点堆叠图像实时取景时在显示单元28上显示的图像的图。位置201表示由AF框表示的焦点包围曝光中的最近距离侧焦点位置，位置202表示无限距离侧焦点位置，并且位置203表示被摄体(在该示例中为昆虫)。在显示单元28上显示表示最近距离侧焦点位置201的AF框和被摄体203。用户操作操作单元70以在显示单元28上显示的图像上指定基准焦点位置。可替代地，由AF评价值检测单元23检测到的被摄体可以被自动指定为基准焦点位置。在图2中，被摄体203的在最近距离侧的部分被指定为基准焦点位置。因此，系统控制单元50将指定为基准焦点位置的位置识别为焦点包围曝光中的最近距离侧焦点位置201，并且在位置201处显示AF框。在确定出最近距离侧焦点位置201之后，基于与Z轴方向(深度方向)上的调焦步长的设置相对应的调焦间隔和摄像次数来确定焦点包围曝光结束的焦点位置(具体地，无限距离侧焦点位置)。在图2中，整个被摄体203落在从最近距离侧焦点位置201到无限距离侧焦点位置202的调焦范围内。在该例示中，生成一个焦点堆叠图像的摄像次数是10次，并且焦点堆叠单元25使用10个拍摄图像来进行焦点堆叠处理。

接下来，将参考图3描述根据本示例性实施例的焦点堆叠处理。图3是示出根据本示例性实施例的焦点堆叠的流程图。在步骤S301中，系统控制单元50对摄像单元22所拍摄的实时取景图像进行场景判断。后面将描述具体的判断方法。在步骤S302中，系统控制单元50基于场景判断的结果来判断是否使焦点堆叠功能有效，并且在步骤S306中设置一个焦点位置或者在步骤S303中设置多个焦点位置。

在步骤S303中，系统控制单元50确定用于焦点堆叠的摄像的焦点位置和次数。系统控制单元50可以基于曝光控制值来设置调焦步长，并且可以改变焦点位置的数量。进行该处理以通过减少要拍摄的图像的数量来减少处理时间和模糊量，来抵抗摄像时间和照相机抖动量随着曝光时间的增加而增加。系统控制单元50可以基于由状态检测单元27检测到的三脚架的附接/拆卸状态来判断是否改变焦点位置的数量。

在步骤S304中，系统控制单元50进行调焦透镜103和快门101的驱动控制，以使摄像单元22顺次拍摄步骤S303中所设置的多个不同焦点位置处的图像。在步骤S305中，焦点堆叠单元25使用在步骤S304中拍摄的多个图像来生成在景深上扩展的图像。在步骤S307中，系统控制单元50进行调焦透镜103和快门101的驱动控制，以使摄像单元22在步骤S306中所设置的焦点位置处拍摄图像。

现在详细描述步骤S305中的焦点堆叠处理。

根据本示例性实施例的焦点堆叠处理可以使用已知技术来进行，并且作为示例以下面的方式来进行。

最初，图像处理单元24对焦点堆叠目标图像进行对准。图像处理单元24在作为多个焦点堆叠目标图像中的一个焦点堆叠目标图像的基准图像中设置多个块。期望图像处理单元24将块设置为具有相同的大小。随后，图像处理单元24在各个对准目标图像中的与基准图像中的各个块的位置相同的相应位置处，设置比基准图像中的各个块更宽的搜索范围。最后，图像处理单元24在目标图像的各个搜索范围中计算与基准图像中的相应块的亮度的绝对差值总和(以下称为SAD)最小化的相应点。图像处理单元24根据基准图像中的各个块的中心和上述相应点，来计算位置偏差作为矢量。在上述相应点的计算中，除了SAD之外，图像处理单元24还可以使用平方差总和(下文中称为SSD)或归一化互相关(下文中称为NCC)等。

随后，图像处理单元24根据基准图像和各个目标图像之间的位置偏差量来计算变换系数。图像处理单元24使用例如投影变换系数作为变换系数。然而，变换系数不仅限于投影变换系数，并且可以使用仿射变换系数或仅包括水平/垂直偏移的简化变换系数。

例如，图像处理单元24可以使用表达式(1)进行变换。

在表达式(1)中，(x',y')表示进行变换之后的坐标，(x,y)表示进行变换之前的坐标。矩阵A表示变换系数。

在对准之后，焦点堆叠单元25计算各个对准图像的对比度值。

作为用于计算对比度值的方法的示例，最初根据各个像素的颜色信号Sr、Sg和Sb，使用下面的表达式(2)来计算亮度Y。

Y＝0.299Sr+0.587Sg+0.114Sb … (2)

随后，如下面的表达式(3)至(5)所示，将Sobel滤波器应用于3×3像素的亮度Y的矩阵L以计算对比度值I。

上述的用于计算对比度值的方法仅仅是例示性的。例如，可以使用诸如拉普拉斯滤波器等的边缘检测滤波器和允许预定频带通过的带通滤波器。

随后，焦点堆叠单元25生成合成图。作为生成合成图的方法，焦点堆叠单元25比较各个图像中的相同位置处的像素的对比度值，并计算与对比度值相对应的合成比率。

下面描述具体计算方法的示例。

焦点堆叠单元25使用对比度值Cm(x，y)来生成合成图Am(x，y)，其中m表示焦点位置不同的多个图像中的第m图像，x表示图像的水平坐标，y表示垂直坐标。作为用于生成合成图的方法，焦点堆叠单元25比较各个图像中的相同位置处的像素的对比度值，并计算与对比度值相对应的合成比率。更具体地，在相同位置处的像素中，对具有最大对比度值的像素给予100％的合成比率，并且对相同位置处的其他像素给予0％的合成比率。换句话说，以下表达式(6)成立。

此时，适当地调节合成比率以防止边界变得不自然。因此，一个图像中的合成图中的合成比率不限于0％和100％两个值，而是连续变化的。

焦点堆叠单元25通过基于所计算出的合成图对拍摄图像进行合成来生成全焦点图像O(x，y)。当原始拍摄图像由Im(x，y)表示时，通过以下表达式(7)生成图像。

上面已经描述了步骤S305中的焦点堆叠处理的示例。

接下来，将描述步骤S301中的场景判断。在本示例性实施例中，将提供描述作为如下情况的示例：从实时取景图像中检测要被拍摄的人的面部作为主被摄体，并且基于要被拍摄的人的面部的位置、大小和数量等来判断场景。图4是示出根据本示例性实施例的主被摄体检测的示例的图。最初，AF评价值检测单元23检测要被拍摄的人的面部。随后，系统控制单元50基于AF评价值检测单元23检测到的要被拍摄的人的面部的位置来计算重要性水平401，基于要被拍摄的人的面部占据视角的比率来计算重要性水平402，并且基于要被拍摄的人的面部的数量来计算重要性水平403。更具体地，作为重要性水平401，系统控制单元50可以设置与要被拍摄的人的面部中心位置404和视角的中心405之间的距离负相关的值。作为重要性水平402，系统控制单元50可以设置与要被拍摄的人的面部407占据视角406的比率正相关的值。作为重要性水平403，系统控制单元50可以设置与要被拍摄的人的面部的数量正相关或负相关的值。

在主被摄体的重要性水平大于预定阈值的情况下，系统控制单元50判断为进行焦点堆叠。在系统控制单元50进行焦点堆叠的情况下，确定为焦点位置被设置在主被摄体(要被拍摄的人的面部)处，并且可以生成主被摄体聚焦并且背景模糊的合成图像。相反，在系统控制单元50判断为不进行焦点堆叠的情况下，仅拍摄一个图像以便具有覆盖背景的深的景深。

以主被摄体是要被拍摄的人的面部为前提提供了上述描述；然而，主被摄体不限于此。

在步骤S301中，系统控制单元50将除AF评价值检测单元23检测到的主被摄体之外的区域计算为背景区域。图5是示出根据本示例性实施例的背景区域检测的示例的图。系统控制单元50获取聚焦在背景区域上的图像，并且计算背景区域的重要性水平。在背景区域的重要性水平小于预定阈值的情况下，系统控制单元50判断为进行焦点堆叠。例如，在图5中，在AF评价值检测单元23在图像501的背景区域中检测到被摄体502的情况下，系统控制单元50增加背景区域的重要性水平。系统控制单元50可以基于由图像处理单元24获得的曝光控制值和测距控制值的计算结果来判断是否已经在室外拍摄到图像501和图像503中的各个图像，并且在判断为已经在室外拍摄到图像的情况下，可以增加背景区域的重要性水平。在室外摄像的情况下，特别是在背景区域上存在地标的情况下，期望拍摄具有深的景深以便使地标聚焦的一个图像。在室外摄像的情况下增加背景区域的重要性水平旨在用于在室外摄像中的背景区域上存在地标的情况。

系统控制单元50可以进行主被摄体检测和背景区域检测两者，并且可以基于两个重要性水平来判断是否进行焦点堆叠。

根据第一示例性实施例，图像处理设备能够从实时取景图像中检测主被摄体和背景区域等，并且能够基于检测结果来自动判断是否进行焦点堆叠。

下面将参考附图描述本发明的第二示例性实施例。在第二实施例中，与第一示例性实施例不同，在场景判断之前和之后进行与是否进行焦点堆叠有关的判断。下面关注于与第一示例性实施例的差异来描述第二示例性实施例。

图6是示出根据第二示例性实施例的焦点堆叠处理的流程图。在第二示例性实施例中，在步骤S301中的场景判断之前的步骤S601中进行与是否进行焦点堆叠有关的判断，并且在步骤S301中的场景判断之后的步骤S602中进行与是否进行焦点堆叠有关的判断，这是第二示例性实施例中的一些特征性的特征。

在步骤S601中，系统控制单元50基于场景判断之前的实时取景图像或数字照相机100的设置来判断是否进行焦点堆叠。在系统控制单元50在步骤S601中判断为不进行焦点堆叠的情况下(步骤S601中为“否”)，处理进行到步骤S306。在步骤S306中，系统控制单元50进行控制以仅拍摄一个图像。

在步骤S601中的与是否进行焦点堆叠有关的判断中，例如在运动检测单元26检测到移动被摄体的情况下，系统控制单元50判断为不进行焦点堆叠，并且处理进行到步骤S306。进行该处理以防止由于区域与运动的合成而导致的合成图像的质量劣化。作为步骤S601中的与是否进行焦点堆叠有关的判断的另一示例，系统控制单元50基于状态检测单元27检测到的数字照相机100的状态来判断摄像模式是否是摄像的人拍摄自己的图像的自拍模式，并且如果系统控制单元50判断为摄像模式是自拍模式，则判断为不进行焦点堆叠。系统控制单元50判断为摄像模式是自拍模式的数字照相机100的状态的示例包括显示单元28(监视器)指向镜头所指向的镜头方向的状态。如果显示单元28是可变角度监视器，则这样的状态是显示单元28翻转以旋转180度的状态。如果显示单元28是俯仰式监视器，则这样的状态是显示单元28在某个方向上移动以指向镜头方向的状态。此外，对于除了数字照相机之外的图像处理设备中的被配置为使得显示单元(监视器)所指向的方向可以与镜头方向一致的装置(诸如设置有前置照相机的智能电话等)，也使得能够进行与是否进行焦点堆叠有关的自动判断。这样的判断的原因在于：在自拍模式中主被摄体在光轴方向上远离背景，使得焦点堆叠不合适。

接下来，描述步骤S602中的与是否进行焦点堆叠有关的判断。在系统控制单元50在步骤S302中使焦点堆叠有效并且在步骤S303中确定了焦点位置之后，在步骤S602中进行与是否进行焦点堆叠有关的判断。换句话说，与步骤S601不同，在步骤S602时已经进行了用于焦点堆叠的设置(例如，摄像次数和调焦步长)。

在步骤S602中，系统控制单元50基于在步骤S303中确定的用于焦点堆叠的设置来判断是否进行焦点堆叠。例如，在所确定的要拍摄的图像的数量大于预定阈值的情况下，系统控制单元50判断为不进行焦点堆叠。进行该处理以防止处理时间由于要拍摄的图像的数量的增加而增加。在该情况下，在步骤S307的摄像中，可以调节光圈，以便拍摄具有与在进行焦点堆叠的情况下可获得的合成图像的景深相对应的景深的一个图像。

在步骤S602中，系统控制单元50根据所确定的焦点位置和一个图像的景深来预测焦点堆叠图像的景深。在系统控制单元50预测出焦点堆叠图像的景深比预定阈值更浅的情况下，系统控制单元50判断为不进行焦点堆叠。这是因为合成图像的浅的景深导致焦点堆叠的优点少。此外，此时，系统控制单元50可以简单地根据所确定的焦点位置中的两端处的焦点位置来预测焦点堆叠图像的景深。

在本示例性实施例中，可以仅进行步骤S601中的操作和步骤S602中的操作其中之一。

根据第二示例性实施例，在场景判断之前和之后基于照相机的状态、移动被摄体检测和所确定的焦点位置等判断为不进行焦点堆叠的情况下，可以判断为不进行焦点堆叠。

(其他示例性实施例)

已经基于在数字照相机中的实现描述了上述示例性实施例；然而，示例性实施例的实现不限于数字照相机。例如，本发明可应用于包括摄像元件的移动装置和能够拍摄图像的网络照相机。

可以通过经由网络或存储介质向系统或设备供给用于实现上述示例性实施例的一个或多于一个功能的程序、并使该系统或设备的计算机中的一个或多于一个处理器读出并执行程序来实现本发明。本发明还可以通过用于实现一个或多于一个功能的电路(例如，专用集成电路(ASIC))来实现。

根据本发明，摄像设备可以在无需用户操作的情况下设置焦点堆叠。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以便涵盖所有这样的修改以及等效结构和功能。

Claims (19)

1.一种图像处理设备，包括：

判断单元，其被配置为进行场景判断；以及

合成单元，其被配置为对光轴方向上的焦点位置不同的多个图像进行合成，

其中，所述合成单元基于所述场景判断的结果来自动进行所述合成，

其中，在所述合成单元进行所述合成的情况下所要生成的合成图像在景深上比所述多个图像更深，以及

其中，所述判断单元判断移动被摄体是否存在，以及

其中，在所述移动被摄体存在的情况下，所述合成单元不进行所述合成。

2.根据权利要求1所述的图像处理设备，其中，所述判断单元对所述多个图像进行所述场景判断。

3.根据权利要求1或2所述的图像处理设备，其中，所述判断单元在所述场景判断中检测被摄体的位置、被摄体占据视角的比率和被摄体的数量中的至少任意一个。

4.根据权利要求1所述的图像处理设备，

其中，所述判断单元在所述场景判断中，基于被摄体的位置、被摄体占据视角的比率和被摄体的数量来确定重要性水平，以及

其中，在所述重要性水平大于预定第一阈值的情况下，所述合成单元进行所述合成。

5.根据权利要求4所述的图像处理设备，其中，所述被摄体的位置和所述视角的中心之间的距离与所述重要性水平负相关。

6.根据权利要求4所述的图像处理设备，其中，所述被摄体占据所述视角的比率与所述重要性水平正相关。

7.根据权利要求1所述的图像处理设备，

其中，所述判断单元在所述场景判断中判断背景是否在室外，以及

其中，在所述背景在室外的情况下，所述合成单元不进行所述合成。

8.根据权利要求1所述的图像处理设备，其中，所述合成单元提取所述多个图像的对焦区域以生成所述合成图像。

9.根据权利要求1所述的图像处理设备，其中，在所述合成单元进行所述合成的情况下所要生成的合成图像的景深比预定第二阈值更浅的情况下，所述合成单元不进行所述合成。

10.一种摄像设备，包括：

摄像单元，其被配置为拍摄光轴方向上的焦点位置不同的多个图像；

判断单元，其被配置为进行场景判断；以及

合成单元，其被配置为对所述多个图像进行合成，

其中，在所述合成单元进行所述合成的情况下所要生成的合成图像在景深上比所述多个图像更深，

其中，所述判断单元判断移动被摄体是否存在，以及

其中，在所述移动被摄体存在的情况下，所述合成单元不进行所述合成。

11.根据权利要求10所述的摄像设备，其中，所述判断单元对所述摄像单元所获取到的实时取景图像进行所述场景判断。

12.根据权利要求10或11所述的摄像设备，其中，在所述摄像单元对摄像人进行摄像的情况下，所述合成单元不进行所述合成。

13.根据权利要求12所述的摄像设备，还包括状态检测单元，所述状态检测单元被配置为检测所述摄像单元的状态，

其中，所述合成单元基于所述状态检测单元所检测到的所述摄像单元的状态来判断所述摄像单元是否对所述摄像人进行摄像。

14.根据权利要求10所述的摄像设备，其中，在所述合成单元不进行所述合成的情况下，所述摄像单元再次拍摄一个图像。

15.根据权利要求10所述的摄像设备，其中，在所述合成单元不进行所述合成的情况下，基于在所述合成单元进行所述合成的情况下能够获得的合成图像的景深来确定所述摄像单元所要拍摄的图像的景深。

16.根据权利要求10所述的摄像设备，还包括确定单元，所述确定单元被配置为确定所述摄像单元所要拍摄的图像的焦点位置，

其中，在所述确定单元所确定的焦点位置的数量大于预定第三阈值的情况下，所述合成单元不进行所述合成。

17.根据权利要求10所述的摄像设备，还包括确定单元，所述确定单元被配置为确定所述摄像单元所要拍摄的多个图像的焦点位置，所述确定单元基于曝光控制值来确定所述焦点位置。

18.一种图像处理方法，包括：

进行与移动被摄体是否存在有关的场景判断；以及

对光轴方向上的焦点位置不同的多个图像进行合成，

其中，基于所述场景判断的结果来自动进行所述合成，

其中，在进行所述合成的情况下所要生成的合成图像在景深上比所述多个图像更深，以及

其中，在所述移动被摄体存在的情况下，不进行所述合成。

19.一种非暂时性计算机可读存储介质，其存储有程序，所述程序用于使计算机：

进行与移动被摄体是否存在有关的场景判断；以及

对光轴方向上的焦点位置不同的多个图像进行合成，

其中，基于所述场景判断的结果来自动进行所述合成，

其中，在进行所述合成的情况下所要生成的合成图像在景深上比所述多个图像更深，以及

其中，在所述移动被摄体存在的情况下，不进行所述合成。

Images