CN116233608A - 图像处理装置及其控制方法、摄像装置和存储介质 - Google Patents

Abstract

本公开提供图像处理装置及其控制方法、摄像装置和存储介质。所述图像处理装置包括：被摄体检测单元，其被配置为检测图像中的被摄体；被摄体距离检测单元，其被配置为检测指示到被摄体的距离的距离信息；被摄体抖动检测单元，其被配置为检测被摄体抖动；通知平面生成单元，其被配置为基于所检测到的被摄体抖动和距离信息来生成用于给出特定被摄体的被摄体抖动的通知的抖动通知图像；以及图像叠加单元。

Description

图像处理装置及其控制方法、摄像装置和存储介质

技术领域

本发明涉及用于给出拍摄图像中发生的被摄体抖动的通知的技术。

背景技术

为了在不引起被摄体抖动的情况下通过照相机来拍摄图像，以下两点是重要的。第一点是通过使照相机与被摄体的运动同步来跟随被摄体。在这种情况下，当在被摄体和照相机之间发生相对偏差时，该偏差作为被摄体抖动而出现在图像中。第二点是设置适当的快门速度。类似于照相机抖动，快门速度相对于被摄体抖动越低，被摄体抖动对拍摄图像的影响将变得明显(可以由人眼来视觉识别该被摄体抖动)的可能性越高。日本特开2020-109948公开了如下技术：通过在摄像装置的电子取景器上或背面液晶屏幕上给出被摄体抖动的通知，使被摄体抖动对于拍摄者可视化。

然而，在日本特开2020-109948中，使用用于检测图像帧之间的运动作为矢量值的运动矢量检测部件作为用于检测被摄体抖动的部件来检测被摄体的抖动。根据摄像元件中出现的被摄体大小和运动矢量的检测框大小，被摄体和其他被摄体存在于矢量框中，并且在检测到除了被摄体之外的矢量的情况下，不能准确地提取被摄体的边缘。由于该原因，与被摄体不同的区域的边缘也可能重叠，这导致质量可能劣化的担忧。

发明内容

本发明提供了一种图像处理装置，其生成拍摄者可以容易地确认被摄体抖动的图像。

本发明的图像处理装置包括：被摄体检测部件，用于检测图像中的被摄体；距离检测部件，用于检测指示到被摄体的距离的距离信息；抖动检测部件，用于检测被摄体抖动；通知图像生成部件，用于基于所检测到的被摄体抖动和所述距离信息来生成用于给出特定被摄体的被摄体抖动的通知的抖动通知图像；以及显示部件，用于显示所述抖动通知图像。

本发明进一步的特征将参考附图从以下示例性实施例的描述中变得明显。

附图说明

图1是示出摄像装置的框图。

图2是示出摄像处理的流程图。

图3是示出第一实施例中的抖动通知图像生成单元的配置示例的图。

图4是示出第一实施例中的抖动通知图像的生成的处理流程的图。

图5是示出被摄体的切出的图。

图6是示出显示颜色的变化的图。

图7的(a)至图7的(c)示出通知平面生成单元的处理。

图8A至图8D是示出抖动通知图像的示例的图。

图9是示出第二实施例中的抖动通知图像生成单元的配置示例的图。

图10A和图10B是示出第二实施例中的被摄体抖动检测单元的处理的图。

具体实施方式

(第一实施例)

图1是示出本实施例中的摄像装置的框图。摄像装置100例如是数字照相机。注意，尽管在本实施例中将包括具有光学系统104的镜头装置的摄像装置的示例描述为摄像装置100，但是本发明不限于此，并且摄像装置100可以是镜头装置可从包括摄像单元105的主体部分拆卸的摄像装置。另外，摄像装置可应用于可处理拍摄图像的任意电子设备。这些电子设备也可以包括诸如移动电话和平板终端等的信息终端。

摄像装置100包括控制单元101、ROM 102、RAM 103、光学系统104、摄像单元105、A/D转换单元106、图像处理单元107、记录单元108、角速度检测单元111、显示单元109和指示输入单元110。作为例如中央处理单元(CPU)的控制单元101通过控制设置在摄像装置100中的块的操作来控制整个摄像装置100。

ROM 102是电可擦除和可记录的非易失性存储器，并且除了摄像装置100中所包括的块的操作程序之外，摄像装置100中所包括的块的操作所需的参数等被记录在ROM 102中。RAM 103是可重写易失性存储器，并且用于加载由控制单元101等执行的程序，并临时记录由摄像装置100中设置的各个块的操作生成的数据。控制单元101通过从ROM 102读取针对设置在摄像装置100中的各个块的控制程序，将控制程序加载到RAM 103中并执行该控制程序，来实现对摄像装置100的控制。

光学系统104在摄像单元105的摄像面上形成被摄体图像。光学系统104包括包含变焦透镜、聚焦透镜和照相机抖动校正透镜等的透镜组。摄像单元105对通过光学系统104形成在摄像单元105的摄像面上的光学图像进行光电转换，以获取图像(图像信号)。具体地，作为诸如CCD或CMOS传感器等的摄像元件的摄像单元105对通过光学系统104形成在摄像单元105的摄像面上的光学图像进行光电转换，并将获得的模拟图像信号输出到A/D转换单元106。在本实施例中，将描述摄像单元105包括用于输出能够进行摄像面相位差方式的距离测量的信号的摄像元件的示例。A/D转换单元106将从摄像单元105输入的模拟图像信号转换为数字图像数据。从A/D转换单元106输出的数字图像数据被临时记录在RAM 103中。

图像处理单元107对RAM 103中所记录的图像数据进行各个图像处理。具体地，图像处理单元107应用用于显像、显示和记录数字图像数据的各种图像处理，诸如由光学系统104和摄像元件引起的像素的缺陷校正处理、去马赛克处理、白平衡校正处理、颜色插值处理和伽马处理等。另外，图像处理单元107包括抖动通知图像生成单元300。抖动通知图像生成单元300生成用于向拍摄者通知图像中的被摄体的抖动的抖动通知图像。抖动通知图像是用于向拍摄者通知被摄体中发生的运动抖动的图像。另外，抖动通知图像可以是用于除了给出在被摄体中发生运动抖动的通知之外还给出在被摄体中没有发生运动抖动的通知的图像。抖动通知图像生成单元300通过针对从A/D转换单元106输出的图像数据和RAM 103中所记录的图像数据生成基于被摄体抖动信息和距离信息可以容易地确认被摄体抖动的图像平面并叠加该图像平面，来生成抖动通知图像。另外，抖动通知图像生成单元300计算被摄体抖动并检测被摄体的边缘，以便生成与被摄体抖动相对应的图像平面。注意，要由图像处理单元107进行的图像处理的对象不限于RAM 103中所记录的图像数据，并且例如可以对从A/D转换单元106输出的数字图像数据和记录单元108中所记录的图像数据进行图像处理。

记录单元108将包括图像数据的数据记录在诸如可拆卸存储卡等的记录介质上，并经由外部接口将图像数据输出到外部装置。记录单元108将由图像处理单元107处理的图像数据经由RAM 103记录为记录图像。

显示单元109包括诸如液晶显示器(LCD)等的显示装置，并且在显示装置上显示RAM 103中所记录的图像和记录单元108中所记录的图像。另外，显示单元109还显示用于接收来自用户的指示的操作用户界面(操作UI)。此外，显示单元109可以包括多个显示装置(诸如电子取景器(EVF)和设置在拍摄者侧(背面)的背面监视器等)。显示单元109可以被配置为能够同时进行到多个显示装置的输出，或者可以被配置为通过切换来选择性地进行显示。作为包括诸如触摸面板和快门按钮等的各种物理操作构件的输入接口的指示输入单元110接收用户指示的输入。设置在拍摄者侧(背面)的背面监视器可以由具有显示单元109和指示输入单元110两者的功能的触摸面板构成。通过将触摸面板中的输入坐标与显示坐标相关联，可以将操作UI配置为使拍摄者能够直接操作触摸面板上所显示的画面。

另外，在控制单元101的控制下，摄像装置100通过A/D转换单元106、RAM 103、图像处理单元107和显示单元109进行实时取景摄像，以在显示装置上顺次地显示从摄像单元105顺次输出的模拟图像信号。在实时取景摄像期间，可以进行诸如针对在假设记录介质上的记录和到外部装置的输出的情况下的主摄像的构图调整以及摄像参数(诸如曝光时间(Tv值)、光圈值(Av值)和ISO感光度等)的改变等的摄像准备。

角速度检测单元111检测施加到摄像装置100的振动。作为例如角速度传感器的角速度检测单元111检测由于照相机抖动或照相机工作而施加到摄像装置100的纵摇方向、横摆方向和侧倾方向上的角速度。注意，角速度检测单元111可以在摄像装置100中被实现为如下的图像处理装置：进行处理，直到角速度检测单元从摄像单元105获取输出信号、在显示单元109上显示图像并将图像记录在记录单元108上为止。图像处理装置在图像处理单元107中生成用于给出将在后面描述的被摄体抖动的通知的图像。

接下来，将参考图2的流程图详细描述由本实施例中的摄像装置100进行的摄像处理。图2是示出摄像处理的流程图。通过使控制单元101根据从ROM102读出并执行的预定程序向摄像装置100的各个单元给出指示来实现本流程图中的各个步骤的处理。注意，在本实施例中，作为示例描述了拍摄者在检查设置在拍摄者侧(背面)的背面监视器上所显示的实时图像的同时进行用于进行摄像的实时取景摄像的情况。

当拍摄者开启摄像装置100时，开始摄像处理。在步骤S201中，控制单元101响应于摄像装置100的开启而开始准备摄像。具体地，控制单元101控制光学系统104和摄像单元105以开始实时取景摄像。在实时取景时段期间，获取由摄像单元105顺次拍摄的图像(准备拍摄图像)，并且在显示单元109的显示装置上显示所获取的图像。拍摄者可以在确认顺次显示在显示装置上的实时取景图像的同时进行诸如构图调整等的摄像准备。注意，在实时取景摄像时段期间进行步骤S202至S206的处理。

在步骤S202中，控制单元101确定用于主摄像的摄像参数。摄像参数可以是诸如快门速度、光圈值和ISO感光度等的参数。可以基于通过指示输入单元110输入的用户指示来确定摄像参数，或者摄像装置100的控制单元101可以自动设置摄像参数。

在步骤S203中，控制单元101判断运动抖动通知的设置是开启设置还是关闭设置。运动抖动通知可以由用户使用例如指示输入单元110来设置，或者摄像装置100可以基于预定摄像条件来自动进行开启设置或关闭设置。在用户进行运动抖动通知的设置的情况下，可以使用一个物理操作构件(按钮或按条等)或触摸面板上的一个图标来进行运动抖动通知的设置，并且在准备摄像期间的任意定时进行开启或关闭设置。另外，可以进行用于周期性地开启/关闭抖动通知的显示的设置。在控制单元101判断为运动抖动通知的设置是开启设置的情况下，处理进行到步骤S204。另一方面，在控制单元101判断为运动抖动通知的设置是关闭设置的情况下，处理进行到步骤S205。

在步骤S204中，抖动通知图像生成单元300生成抖动通知图像。通过在准备拍摄图像上叠加通知平面来生成抖动通知图像，其中该通知平面用于给出在利用主摄像中的摄像参数拍摄图像的情况下被摄体中发生的运动抖动(未发生运动抖动)的通知。稍后将参考图4描述步骤S204的处理的细节。

在步骤S205中，当在步骤S204中生成抖动通知图像时，控制单元101在显示单元109的显示装置上显示抖动通知图像，并且当运动抖动通知的设置是关闭设置时，在显示装置上显示没有叠加运动抖动通知平面的准备拍摄图像。在运动抖动通知的设置是开启设置的情况下，用户可以在检查所显示的抖动通知图像的同时设置诸如主摄像的快门速度(曝光时间)等的摄像参数。

在步骤S206中，控制单元101判断是否已经通过用户操作按下了指示输入单元110的快门按钮。这里，按下快门按钮是用于主摄像的摄像指示。由于该原因，在通过(诸如用于给出摄像准备操作的指示的半按下和用于给出主摄像的指示的全按下等的)两步输入方法接收快门按钮按下输入的配置的情况下，判断是否已经进行了全按下。在仅接收单纯的一步输入的情况下，判断是否已经进行了该步输入。在控制单元101判断为尚未按下快门按钮的情况下，处理返回到步骤S202，并且重复步骤S202至步骤S206的处理。由此，在准备摄像正在进行的同时，用户可以容易地确认在已经利用当前设置的摄像参数进行了主摄像的情况下在被摄体中发生的运动抖动。如果确认了运动抖动并且该运动抖动不是用户优选的运动抖动(不期望发生的运动抖动)，则用户可以在无需按下快门按钮的情况下再次设置诸如主摄像的快门速度(曝光时间)等的摄像参数。另一方面，在控制单元101判断为已经按下快门按钮的情况下，控制单元101使处理进行到步骤S207。

在步骤S207中，控制单元101控制光学系统104和摄像单元105等，使得进行基于设置的摄像参数的主摄像并获取图像(主拍摄图像)。在步骤S208中，控制单元101将通过主摄像获取的主拍摄图像输出到显示单元109和记录单元108。显示单元109在显示装置上显示主拍摄图像。另外，记录单元108将主拍摄图像记录在记录介质上或将主拍摄图像输出到外部装置。

以这种方式，在本实施例的摄像处理中，通过在准备摄像期间显示抖动通知图像来向用户通知被摄体的运动抖动。由此，用户可以在确认显示单元109上所显示的抖动通知图像的同时为主摄像设置适当的曝光时间。另外，可以在设置与适当运动抖动相对应的曝光时间的状态下建立拍摄时机(主摄像)。

接下来，将参考图3描述图像处理单元107中所包括的抖动通知图像生成单元300的配置示例。图3是示出抖动通知图像生成单元300的配置示例的图。抖动通知图像生成单元300基于准备摄像图像和摄像条件来生成抖动通知图像。抖动通知图像生成单元300包括图像切出单元301、被摄体抖动检测单元302、通知平面生成单元303、图像叠加单元304、被摄体距离检测单元305和被摄体检测单元306。

被摄体距离检测单元305检测到被摄体的距离作为被摄体距离数据。被摄体检测单元306检测图像中的被摄体。此外，被摄体检测单元306可以检测被摄体的特征部分(诸如被摄体的类型和器官等)。图像切出单元301从图像切出被摄体检测单元306所检测到的被摄体。在本实施例中，图像切出单元301以被摄体检测单元306所检测到的被摄体的特征部分为单位切出准备拍摄图像。被摄体抖动检测单元302检测被摄体检测单元306所检测到的被摄体的被摄体抖动。通知平面生成单元303和图像叠加单元304是用于生成用于给出被摄体抖动的通知的抖动通知图像的通知图像生成部件。首先，通知平面生成单元303生成与被摄体抖动相对应的通知平面，并且图像叠加单元304将通知平面叠加在图像上以生成抖动通知图像。通知平面生成单元303基于被摄体抖动来生成作为用于给出被摄体抖动的通知的数据的运动通知平面。此外，在本实施例中，可以仅给出特定被摄体而不是所有被摄体的被摄体抖动的通知。由于该原因，本实施例的通知平面生成单元303基于被摄体的距离信息来确定要被通知被摄体抖动的特定被摄体，并且生成用于给出特定被摄体的抖动的通知的通知平面。图像叠加单元304将运动抖动通知平面叠加在拍摄图像上以生成抖动通知图像。

注意，图3所示的一个或多于一个功能块可以通过诸如ASIC或可编程逻辑阵列(PLA)等的硬件来实现，或者可以通过诸如CPU或MPU等的可编程处理器执行软件来实现。另外，一个或多于一个功能块可以通过软件和硬件的组合来实现。因此，在以下描述中，即使当将不同的功能块描述为操作主体时，也可以将相同的硬件实现为主体。

接下来，将参考图4的流程图详细描述在图2的步骤S204中执行的由抖动通知图像生成单元300生成抖动通知图像的处理。图4是示出用于生成抖动通知图像的处理的流程图。通过控制单元101根据从ROM 102读取并执行的预定程序向摄像装置100的各个单元(诸如抖动通知图像生成单元300等)给出指示来实现本流程图中的步骤的处理。

在步骤S401中，控制单元101将由摄像单元105顺次拍摄的准备摄像图像、在步骤S202中确定的主摄像中使用的摄像参数以及由角速度检测单元111检测出的角速度数据输入到抖动通知图像生成单元300。在步骤S402中，抖动通知图像生成单元300的被摄体检测单元306检测被摄体并获取被摄体信息。被摄体检测单元306通过将基于例如深度学习而学习的数据与拍摄的视频进行比较来检测被摄体信息。本文提及的被摄体信息是被摄体的类型和器官。被摄体的类型的示例包括人、动物(狗、猫、鸟和马等)和运载工具(汽车、自行车、摩托车和方程式赛车等)等。另外，在被摄体的类型是人的情况下，被摄体的器官的示例包括眼睛、手、脚、头部和胸部等。此外，在被摄体的类型是动物的情况下，被摄体的器官是眼睛、身体和四肢等。在被摄体是运载工具的情况下，被摄体的器官是头盔、前灯和尾灯等。注意，基于机器学习的被摄体信息的检测是示例，并且可以通过其他方法来检测被摄体信息。

在步骤S403中，被摄体抖动检测单元302获取摄像条件。这里，在步骤S403中获取的摄像条件是在步骤S401中获取的步骤S202中所确定的主摄像的曝光时间(快门速度)以及准备摄像中的图像之间的时间间隔(帧频)。

在步骤S404中，被摄体抖动检测单元302从角速度检测单元111获取指示摄像装置100的抖动的角速度数据。角速度检测单元111可以是诸如陀螺仪传感器等的惯性传感器，或者可以通过使用运动矢量根据不同的准备拍摄图像之间的差分而使用除了被摄体区域之外的矢量值、焦距和帧频来计算角速度数据。

在步骤S405中，被摄体距离检测单元305获取到被摄体的距离信息(距离数据)。被摄体距离检测单元305通过使用例如具有用于进行相位差方式的距离测量的像素的摄像元件，以各个像素为单位从散焦值检测距离信息，该摄像元件能够在摄像单元105的摄像面上进行摄像面相位差方式的距离测量和焦点检测。通过使用能够进行摄像面相位差AF的摄像元件，被摄体距离检测单元305可以基于从光学系统104的出射光瞳的不同区域获得的摄像元件的输出图像信号之间的相位差来检测散焦量。另外，被摄体距离检测单元305可以通过在摄像装置100内部安装(诸如激光位移传感器、超声波传感器或毫米波雷达等的)用于测量距离的传感器来检测被摄体距离数据。被摄体距离检测单元305将所获取的到被摄体的距离信息输出到被摄体抖动检测单元302。

在步骤S406中，图像切出单元301基于在步骤S402中被摄体检测单元306所检测到的被摄体信息，从准备拍摄图像中切出被摄体的图像。图像切出单元301检测例如在相同被摄体内的被摄体的特征部分，并针对被摄体的各个部分切出图像。将参考图5描述被摄体的图像的切出。图5是示出被摄体的切出的图。图5所示的示例表示作为摄像场景的示例的赛车运动场景中的摇摄摄像，并且在准备拍摄图像500的摄像视角中存在多个被摄体(被摄体501、502和503)。被摄体检测单元306基于诸如各个被摄体中的被摄体的类型等的被摄体信息，针对各个部分(被摄体特征区域)生成切出图像。

在存在多个被摄体的情况下，可以从多个被摄体中确定主被摄体。此时，图像切出单元301可以基于被摄体检测单元306的检测结果来自动确定主被摄体，或者可以将由拍摄者任意选择的位置处的被摄体优先作为主被摄体。此外，图像切出单元301可以在指定主被摄体时使用由被摄体距离检测单元305检测出的到被摄体的距离信息。当确定主被摄体时，被摄体检测单元306在主被摄体中检测被摄体的特征部分。例如，在被摄体501是主被摄体的情况下，特征部分是人501a、头盔501b和摩托车501c。图像切出单元301在人501a、头盔501b和摩托车501c的各个区域(被摄体特征区域)中切出图像。另外，这里从图像中切出被摄体的目的是在检测到将在后面描述的被摄体抖动时尽可能地消除噪声并提高被摄体抖动的检测精度。例如，在图5所示的摇摄摄像或充分打开光圈值以将散景(bokeh)添加到背景并使人突出的肖像摄像等中，在背景部分中抖动和模糊变得明显，并且因此当还将该区域输入以用于被摄体抖动检测时，被摄体抖动的检测精度降低。此外，除了创建背景图像之外，在其他被摄体与主被摄体重叠的构图中、运动针对各个被摄体而不同的情况下，被摄体抖动的检测精度类似地降低，因此尽可能准确地检测主被摄体是重要的。

描述将返回到图4。在步骤S407中，被摄体抖动检测单元302根据从图像切出单元301输入的切出图像来检测被摄体抖动。在本实施例中，根据被摄体的边缘的散景程度(清晰度)来检测被摄体抖动(被摄体抖动量)。这是因为当发生被摄体抖动时，边缘变得像散景一样不清晰，并且当不发生被摄体抖动时，边缘变得清晰而没有散景。因此，当边缘清晰时，判断为被摄体抖动小，并且当边缘不清晰时，判断为被摄体抖动大。在与被摄体抖动相对应的边缘的清晰程度的检测中，例如使用拉普拉斯滤波器。另外，可以通过使用拉普拉斯滤波器同时检测被摄体抖动和被摄体边缘。

将描述使用拉普拉斯滤波器来检测被摄体抖动的示例。拉普拉斯滤波器是用于通过使用二阶微分从图像中提取边缘的空间滤波器。由于要输入的图像是数字数据和离散数据，因此可以使用差分来计算微分。在拉普拉斯滤波器的水平和垂直方向上的像素值的一阶微分Ix和Iy由式(1)表示。

拉普拉斯滤波器是二阶微分。由于该原因，通过取一阶微分之间的差分，拉普拉斯滤波器可以由式(2)表示。

当将式(2)中的水平方向和垂直方向的值相加时，最终获得如式(3)所示的拉普拉斯滤波器

在本实施例中，使用拉普拉斯滤波器来进行被摄体边缘的检测和用于指示针对各个切出图像的被摄体抖动强度的拉普拉斯值的计算。尽管针对各个切出图像进行用于表示被摄体抖动强度的拉普拉斯值的计算，但是可以针对各个切出图像进行被摄体边缘的检测，或者对整个准备拍摄图像进行被摄体边缘的检测。

在核值近似4的情况下，用于指示通过应用来自式(3)所示的拉普拉斯

的滤波器而获得的强度(用于加权的值)的核值由式(4)表示。此外，在核值近似8的情况下，核值由式(5)表示。

核值是关注像素周围的像素数量。式(4)是近似4的核值，并且指示取关注像素的上侧、下侧、右侧和左侧上的四个像素的二阶微分。式(5)是近似8的核值，并且指示取不仅包括关注像素的上侧、下侧、右侧和左侧上的像素而且包括倾斜方向上的像素的8个像素的二阶微分。在本实施例中，针对在被摄体特征区域中切出的各个图像，根据切出图像的被摄体的类型(被摄体信息)来改变核值。例如，针对头盔501b设置近似4的核值，并且针对摩托车501c设置近似8的核值。另外，周围像素的数量可以多于八个。

边缘越清晰，关注像素和周围像素的像素值(亮度值)之间的差越大。另外，当关注像素和周围像素的像素值(亮度值)之间的差大时，拉普拉斯值也增大。由于该原因，确定为拉普拉斯值越大，边缘越清晰并且被摄体抖动越小，并且拉普拉斯值越小，边缘越不清晰并且被摄体抖动越大。以这种方式，被摄体抖动检测单元302将利用设置的核值所获得的各个切出图像的拉普拉斯值确定为被摄体抖动量。针对各个切出图像的拉普拉斯值可以是可确定边缘的清晰程度的任意值(诸如切出图像中的像素的拉普拉斯值的绝对值的平均值等)。注意，尽管在本实施例中已经描述了使用拉普拉斯滤波器的示例，但是本发明不限于此，并且可以使用根据边缘的清晰程度来检测被摄体抖动的任意方法。

描述将返回到图4。在步骤S408中，通知平面生成单元303根据在步骤S407中检测到的被摄体抖动，生成用于给出被摄体的运动抖动的通知的通知平面。这里，将描述向用户通知被摄体抖动的示例。在本实施例中，通过进行用于强调显示装置上所显示的图像中的被摄体的边缘的峰值显示并根据被摄体抖动量来改变峰值显示的颜色，来通知被摄体抖动量。例如，在被摄体抖动大到足以在图像上可见的情况下，以红色进行主被摄体的峰值显示，并且在被摄体抖动太小而不足以在图像上可见的情况下，以绿色进行主被摄体的峰值显示。也就是说，在拉普拉斯值小并且被摄体的边缘不清晰的情况下，以红色进行峰值显示，并且在拉普拉斯值大并且被摄体的边缘清晰的情况下，以绿色进行峰值显示。注意，用于峰值显示的颜色的数量和所显示的颜色不限于此。

这里，将更详细地描述与被摄体抖动量相对应的显示颜色的变化。图6是示出显示颜色的变化的图。在图6中，纵轴指示切出图像的拉普拉斯值，横轴指示核值。图6示出通过将具有近似4的核和近似8的核的拉普拉斯滤波器应用于在图5中的被摄体501的头盔501b中所切出的图像而获得的拉普拉斯值。以这种方式，根据与被摄体抖动量相对应的拉普拉斯值来改变为了给出被摄体抖动的通知而针对被摄体的边缘所要显示的颜色。即使当使用相同的图像时，拉普拉斯值也根据核值而变化。由于该原因，根据核值来改变用于在可视化被摄体抖动量时确定颜色的阈值。

例如，在针对头盔501b中切出的图像的大小以近似4的核值应用拉普拉斯滤波器的情况下，当拉普拉斯值等于或大于阈值601时，峰值显示的颜色被设置为绿色，当拉普拉斯值小于阈值601并且等于或大于阈值603时，峰值显示的颜色被设置为橙色，并且当拉普拉斯值小于阈值603时，峰值显示的颜色被设置为红色。此外，在以近似8的核值应用拉普拉斯滤波器的情况下，当拉普拉斯值等于或大于阈值602时，峰值显示的颜色被设置为绿色，当拉普拉斯值小于阈值602并且等于或大于阈值604时，峰值显示的颜色被设置为橙色，并且当拉普拉斯值小于阈值604时，峰值显示的颜色被设置为红色。以这种方式，根据核值改变用于确定要显示的颜色的阈值。除了核值之外，也可以根据针对图像切出单元301的切出的被摄体区域或图像大小来改变用于确定要显示的颜色的阈值。另外，在图6中，尽管已经描述了两个类型的核值，但是该数量可以增加到近似16左右的核值。注意，用于给出被摄体抖动的通知的方法不限于峰值显示的颜色的改变。例如，可以改变峰值显示的边缘的线粗细，可以使线闪烁，或者可以将线配置为虚线。此外，可以仅在被摄体抖动量等于或大于预定阈值时进行用于给出被摄体抖动的通知的显示。

接下来，将参考图7的(a)至图7的(c)详细描述用于给出被摄体抖动的通知的通知平面的生成以及通过将所生成的通知平面叠加在图像上而获得的抖动通知图像的生成。图7的(a)至图7的(c)是示出通知平面生成单元303的处理的图。图7的(a)是示出距离检测框701的排列的图。距离检测框701是用于通过被摄体距离检测单元305检测被摄体距离的检测框，并且基本上被布置在整个准备拍摄图像500上，并且具有多个检测框(在图7的(a)的示例中，垂直14个×水平24个)。以在距离检测框701中的最聚焦的主聚焦框702中的被摄体距离为基准，与预定阈值范围内的被摄体距离相对应的主聚焦距离检测框703被示出为半透明框。例如，通知平面生成单元303基于由被摄体距离检测单元305计算出的距离信息，以主聚焦框702的景深为基准来指定景深在阈值范围(例如，±2深度)内的被摄体。注意，尽管在本实施例中已经描述了使用聚焦区域作为基准区域基于距离信息来确定要经过峰值显示的特定被摄体的示例，但是本发明不限于此，并且例如，可以将叠加有AF框(主距离测量框)的区域设置为基于距离信息的被摄体的特定基准区域。

图7的(b)是示出应用了被摄体抖动检测单元302的拉普拉斯滤波器的图像的图。将拉普拉斯滤波器应用于准备拍摄图像500以检测被摄体的边缘。图7的(c)是示出通知平面的图。通知平面是对最聚焦的主焦距检测框703中的被摄体的边缘进行诸如与被摄体抖动相对应的颜色显示等的峰值显示的图像。具体地，通知平面生成单元303将基于景深检测出的主焦距检测框703(图7的(a))和由拉普拉斯滤波器检测出的被摄体的边缘的图像(图7的(b))彼此叠加，并在叠加部分的边缘上进行峰值显示。根据针对各个切出图像计算出的拉普拉斯值来确定峰值显示的颜色，并且当切出范围彼此重叠时，优先与较大抖动相对应的颜色。例如，在摩托车501c是绿色的、人501a是橙色的并且头盔501b是红色的情况下，头盔501b的区域内的边缘将是红色的。

描述将返回到图4。在步骤S409中，图像叠加单元304将在步骤S408中生成的通知平面(图7的(c))叠加在准备拍摄图像上，以生成抖动通知图像。例如，图像叠加单元304在RAM 103上叠加准备拍摄图像和通知平面以生成抖动通知图像。通过将准备拍摄图像和通知平面叠加在彼此上，可以根据被摄体抖动来进行准备拍摄图像上的主被摄体的峰值显示。

图8A至图8D是示出抖动通知图像的示例的图。赛车运动(摩托车)是图8A和图8B中的被摄体，芭蕾舞女是图8C和图8D中的被摄体。在图8A和8C中示出应用本实施例的示例。在图8B中，被摄体501和被摄体503被检测为相同的被摄体，并且也通知除了作为主被摄体的被摄体501之外的区域。另一方面，根据本实施例，可以仅对相对于拍摄者试图进行摄像的聚焦区域中的被摄体距离处于预定距离内的特定被摄体进行峰值显示。由于该原因，根据本实施例，如图8A所示，可以生成仅对预期的特定被摄体(被摄体501)的边缘进行峰值显示的图像，并且可以向拍摄者仅通知被摄体501的被摄体抖动。另外，即使只有一个被摄体，也存在如下担忧：如图8D所示，舞台和后墙之间的边界线802将被检测为被摄体的一部分并且将进行峰值显示。另一方面，根据本实施例，如图8C所示，可以仅对被摄体801进行峰值显示，并且向拍摄者仅通知被摄体801的被摄体抖动。

注意，尽管在本实施例中已经描述了在摄像装置100的拍摄者侧设置的显示装置上实时显示图像的实时取景摄像的示例，但是本发明不限于此，并且可以在诸如EVF等的其他显示装置上显示用于给出被摄体抖动的通知的图像。此外，在第一实施例中，可以不进行用于获取角速度数据的处理(步骤S404)。

如上所述，根据本实施例，可以生成能够容易地确认拍摄者试图进行摄像的主被摄体的被摄体抖动的图像。通过拍摄者确认该图像，拍摄者可以容易地设置不发生被摄体抖动的快门速度，并且可以获得在主摄像中抑制了被摄体抖动的高质量图像。

(第二实施例)

在本实施例中，使用与第一实施例中的被摄体抖动检测方法不同的被摄体抖动检测方法来检测被摄体抖动并生成抖动通知图像。在第一实施例中，针对通过切出被摄体获得的图像使用拉普拉斯滤波器来检测被摄体抖动。另一方面，在本实施例中，基于从多个图像计算出的运动矢量来指定主被摄体，并且检测被摄体抖动。在下文中，将描述与第一实施例中的被摄体抖动检测单元302的检测方法不同的被摄体抖动检测单元302的检测方法，并且将省略其他共同的操作和处理中的描述。

第二实施例中的图像处理单元107包括抖动通知图像生成单元900来代替第一实施例中的抖动通知图像生成单元300。图9是示出第二实施例中的抖动通知图像生成单元900的配置的图。抖动通知图像生成单元900包括运动矢量检测单元901、被摄体抖动检测单元902、通知平面生成单元303、图像叠加单元304和被摄体距离检测单元305。除了运动矢量检测单元901、被摄体抖动检测单元902和角速度检测单元111之外的单元的操作和处理与第一实施例中的单元的操作和处理相同，并且将省略其描述。

运动矢量检测单元901基于多个准备拍摄图像来检测运动矢量。具体地，运动矢量检测单元901分别使用多个准备拍摄图像作为基准帧和参考帧，并且通过使用基准帧中的基准块来进行与参考帧中的对象区域中的各个块的相关计算。作为相关计算的结果，从具有最高相关性的块与参考块之间的位置关系来计算运动矢量。计算相关值的方法没有特别限制，诸如基于差分绝对值和、差分平方和或正态互相关值的方法等。此外，运动矢量计算方法本身不限于相关计算，并且可以使用诸如梯度方法等的其他方法。运动矢量检测单元901将检测到的运动矢量的数据(矢量数据)输出到被摄体抖动检测单元902。

被摄体抖动检测单元902基于运动矢量来计算被摄体矢量并检测被摄体抖动。被摄体抖动检测单元902基于图像的矢量数据、摄像装置100的角速度数据和被摄体距离数据，将矢量数据分离为与被摄体有关的矢量数据和与被摄体无关的矢量数据。与被摄体无关的矢量数据是例如背景的矢量数据。另外，被摄体抖动检测单元902基于与被摄体有关的矢量数据来检测被摄体抖动。图像的矢量数据(运动矢量)从运动矢量检测单元901输入到被摄体抖动检测单元902，角速度数据从角速度检测单元111输入到被摄体抖动检测单元902，并且被摄体距离数据从被摄体距离检测单元305输入到被摄体抖动检测单元902。这里，将参考图10A和图10B详细描述分离矢量数据的方法。

图10A和图10B是示出分离矢量数据的方法的图。图10A是示出运动矢量的检测的图。图10B示出矢量值的频度分布。图10A示出作为摄像的示例的赛车运动的摇摄场景，并且在摄像视角中存在多个被摄体(被摄体1001、1002和1003)。在图像中布置运动矢量检测框1004，并且例如在运动矢量检测框1004内的各个块中检测相对于一帧之前的帧的运动量作为矢量值。在示出频度分布的图10B中，横轴指示由运动矢量检测框1004检测出的矢量值，纵轴指示频度。注意，当期望检测整个画面的运动时，期望运动矢量检测框1004覆盖整个摄像视角，但是当如在本实施例中那样期望检测摄像视角的一部分(被摄体)的运动时，期望检测框以小的大小密集地布置。这是因为，诸如运动矢量检测框1004覆盖整个摄像视角的情况等，运动矢量检测框1004越大，在摄像元件具有大量像素的情况下或者在帧频周期快的情况下计算处理变得越大。当用于运动矢量检测的计算处理变得更大时，存在如下的担忧：在移动体抖动通知图像的生成和显示中将发生延迟。另外，当用于运动矢量检测的计算处理变得更大时，电力消耗将增加，并且可以拍摄的图像的最大数量也将减少。关于不覆盖整个视角的运动矢量检测框1004，例如可以沿着AF框布置运动矢量检测框1004。这是因为，AF框很可能在被摄体上，并且沿着AF框布置运动矢量检测框1004增加了运动矢量检测框1004拍摄到被摄体的可能性。

在图10B中，角速度数据1005是通过将角速度检测单元111所检测出的摄像装置100的角速度数据转换成摄像面上的运动量而获得的值。被摄体检测单元306使用式(6)将角速度数据转换成摄像面上的运动量。

这里，σ是摄像面上的运动量[mm]，f是焦距[mm]，ω是角速度[deg/sec]，p是帧频[fps]，并且a是像素间距[mm/pixel]。

在如图10A所示极大地移动照相机的同时(在摇摄的同时)进行摄像的情况下，通过将摄像装置100的角速度数据转换成摄像面上的运动量而获得的值和与图像背景有关的矢量在摄像面上一致。也就是说，存在于以摄像面上的像素为单位转换的角速度数据1005附近的矢量1006与运动矢量检测框1004中的背景相对应。实际上，角速度检测单元111经受参考值由于诸如温度变化和冲击等的干扰而波动的偏移漂移。由于该原因，被摄体抖动检测单元902基于以摄像面上的像素为单位转换的角速度数据1005来设置考虑到偏移漂移的预定范围1007，并且将预定范围1007内的矢量确定为背景矢量。注意，可以在观察焦距和偏移变化量的同时改变以角速度数据1005作为基点的预定范围1007的范围。

另外，被摄体抖动检测单元902将预定范围1007之外的矢量设置为被摄体候选，并将被摄体候选的矢量中的最接近预定条件的矢量确定为主被摄体的矢量。例如，被摄体抖动检测单元902将被摄体候选的矢量中的接近大约0的频度最高的位置处的矢量确定为主被摄体的矢量。另外，被摄体抖动检测单元902可以优先将在被摄体候选的矢量中的由被摄体检测单元306确定为主被摄体的位置处的矢量框确定为主被摄体的矢量。

另外，被摄体抖动检测单元902可以通过使用例如具有深度学习功能的被摄体检测功能而不使用频度分布，根据被摄体检测结果来确定要采用的矢量框。例如，在图10A中，在通过被摄体检测功能将被摄体1001检测为主被摄体并且可以检测出头部的位置的情况下，可以采用最接近头部位置的矢量。

此外，如第一实施例中所述，由被摄体距离检测单元305检测出的被摄体距离数据可以用于被摄体矢量的检测。例如，在被摄体1001的头部存在主聚焦框(AF框)的情况下，以基于主聚焦框的景深为基准的与预定范围(例如，±2深度)内的框相对应的矢量框被确定为被摄体，并且矢量框的矢量值被采用为被摄体矢量。另外，可以叠加从角速度数据和被摄体距离数据提取出的被摄体矢量，并且可以最终将两个条件下的重叠区域确定为被摄体矢量。

被摄体抖动检测单元902将检测到的被摄体抖动输出到通知平面生成单元303。通知平面生成单元303生成与由被摄体抖动检测单元902检测出的被摄体抖动相对应的通知平面。在通知平面是针对被摄体的边缘的峰值显示的情况下，通知平面生成单元303以与第一实施例中相同的方式检测被摄体的边缘。此外，通知平面生成单元303可以以与第一实施例中相同的方式基于被摄体的距离信息来指定用于给出被摄体抖动的通知的区域。另外，与第一实施例中类似，图像叠加单元304将通知平面叠加在准备拍摄图像上，以生成根据被摄体抖动强调了边缘的抖动通知图像。所生成的抖动通知图像被显示在显示装置上，并且用户可以在确认抖动通知图像的同时设置快门速度等。

如上所述，根据本实施例，可以生成可以容易地确认拍摄者试图进行摄像的主被摄体的被摄体抖动的图像。通过拍摄者确认该图像，拍摄者可以容易地设置不发生被摄体抖动的快门速度，并且可以获取在主摄像中抑制了被摄体抖动的高质量图像。

(其他实施例)

在上述第一实施例和第二实施例中，基于拉普拉斯值来判断抖动的大小，但是可以考虑到由于散景引起的拉普拉斯值的减小的影响来判断抖动的大小，以便更准确地判断抖动的大小。在尽管抖动小但散景大的情况下，拉普拉斯值减小。因此，在拉普拉斯值小的情况下，可以对切出图像中包括的抖动和散景的频率进行分析，以将抖动和散景彼此分离，并基于已经分离了散景的影响的抖动量来生成通知平面。例如，可以通过将点扩散函数应用于切出图像来进行频率的分析。抖动具有特定频率，而散景是各种频率的复合结果。因此，可以认为，在频率空间中，在特定频率处出现细峰的情况下，抖动的影响大，并且在出现宽峰或不出现特定峰的情况下，散景的影响大。例如，如图6和步骤S407所述，根据与阈值的关系来计算用于以红色显示边缘的拉普拉斯值，并且在通过频率分析判断为抖动的影响大的情况下以红色显示边缘。另一方面，在即使当计算出相同的拉普拉斯值时作为频率分析的结果而判断为散景的影响大的情况下，也认为拉普拉斯值由于散景的影响而已经减小，抖动被判断为小，并且边缘以绿色显示。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最广泛的解释，以便涵盖所有这些修改和等效结构和功能。

本申请要求于2021年12月3日提交的日本专利申请2021-197176的权益，其全部内容通过引用并入本文。

Claims (14)

1.一种图像处理装置，包括：

被摄体检测部件，用于检测图像中的被摄体；

距离检测部件，用于检测指示到被摄体的距离的距离信息；

抖动检测部件，用于检测被摄体抖动；以及

通知图像生成部件，用于基于所检测到的被摄体抖动和所述距离信息来生成用于给出特定被摄体的被摄体抖动的通知的抖动通知图像。

2.根据权利要求1所述的图像处理装置，其中，所述通知图像生成部件基于所述距离信息来确定用于给出被摄体抖动的通知的特定被摄体。

3.根据权利要求1所述的图像处理装置，其中，所述特定被摄体是在相对于基准区域中的被摄体距离处于预定范围内的被摄体距离处的被摄体，或者是在相对于与所述基准区域的被摄体距离相对应的景深处于预定范围内的景深处的被摄体。

4.根据权利要求3所述的图像处理装置，其中，所述基准区域是聚焦区域或者与主距离测量框相对应的区域。

5.根据权利要求1至4中的任一项所述的图像处理装置，还包括图像切出部件，所述图像切出部件用于基于被摄体信息针对被摄体的各个特征区域来切出图像，

其中，所述抖动检测部件针对各个切出图像来检测被摄体抖动。

6.根据权利要求5所述的图像处理装置，其中，所述抖动检测部件基于被摄体的边缘的清晰程度来检测被摄体抖动。

7.根据权利要求5所述的图像处理装置，其中，所述抖动检测部件使用拉普拉斯滤波器来检测被摄体的边缘和被摄体抖动。

8.根据权利要求7所述的图像处理装置，其中，所述抖动检测部件针对各个切出图像根据所述被摄体信息来改变所述拉普拉斯滤波器的核值。

9.根据权利要求1所述的图像处理装置，其中，所述抖动检测部件基于从多个图像检测出的运动矢量来检测被摄体抖动。

10.根据权利要求1所述的图像处理装置，其中，所述抖动通知图像是根据所述抖动检测部件所检测出的被摄体抖动量来强调特定被摄体的边缘的图像。

11.根据权利要求1所述的图像处理装置，其中，所述距离检测部件基于相位差方式的距离测量来检测距离信息。

12.一种摄像装置，包括：

摄像元件，其被配置为包括用于进行相位差方式的距离测量的像素；

根据权利要求1至11中任一项所述的图像处理装置；以及

显示部件，用于显示所述图像处理装置所生成的抖动通知图像。

13.一种图像处理装置的控制方法，所述控制方法包括：

检测图像中的被摄体；

检测指示到被摄体的距离的距离信息；

检测被摄体抖动；以及

基于所检测到的被摄体抖动和所述距离信息来生成用于给出特定被摄体的被摄体抖动的通知的抖动通知图像，以及

显示所述抖动通知图像。

14.一种非暂时性存储介质，其存储有图像处理装置的控制程序，所述控制程序使计算机进行图像处理装置的控制方法的各个步骤，所述控制方法包括：

检测图像中的被摄体；

检测指示到被摄体的距离的距离信息；

检测被摄体抖动；以及

基于所检测到的被摄体抖动和所述距离信息来生成用于给出特定被摄体的被摄体抖动的通知的抖动通知图像，以及

显示所述抖动通知图像。

Images