CN110611761B - 摄像装置、焦点调节方法以及存储介质 - Google Patents

Abstract

提供摄像装置和焦点调节方法，即使被摄体为各种棘手场景也不会成为假对焦和非对焦从而防止无用的AF动作。输入图像数据，生成表示接近规定的多个图像分类中的哪个图像分类的第一指标(S1)，判定对焦镜头是否位于对焦位置附近(S13)，在该判定的结果为对焦镜头位于对焦位置附近的情况下，在根据第一指标而判断为特定的图像分类的情况下(S15“是”)，生成表示与图像数据对应的图像的模糊状态的第二指标(S17)，根据第二指标来判定是否位于真正的对焦位置(S19)，在该判定的结果为位于真正的对焦位置的情况下，向真正的对焦位置驱动对焦镜头(S23)。

Description

摄像装置、焦点调节方法以及存储介质

技术领域

本发明涉及根据来自摄像元件的图像信号而进行镜头的焦点调节的摄像装置、焦点调节方法以及存储介质。

背景技术

作为摄像装置所具备的摄影镜头的自动焦点检测的方式，使用相位差检测方式或对比度AF方式。对比度AF方式是如下的方式：计算由摄影镜头形成的被摄体像的对比度值(也称作AF评价值)，对摄影镜头的位置进行控制使得该对比度值成为峰值。

但是，对比度AF方式很难准确地对夜景摄影时的点光源那样的被摄体进行焦点检测。即，在作为被摄体而包含有装饰灯或车辆的前灯那样的夜景场景中，在摄影镜头的焦点位置处于重度模糊状态的情况下，点光源成为圆形状的模糊，但由于该圆形状的模糊的边缘清晰地显现，因此容易形成假对焦。因此，提出了一种焦点检测装置，其通过对AF评价值进行加工来防止产生假对焦(参照日本公开特许2017-009752号公报(以下，称作“专利文献1”))。此外，提出了一种自动对焦装置，将AF评价值的变化量和对焦镜头位置输入到神经网络以检测对焦位置的方向(参照日本公开特许平7-038798号公报(以下，也称作“专利文献2”))。

在被摄体为夜景场景的情况下，上述的专利文献1所公开的焦点检测装置能够防止假对焦。但是，尽管不是夜景场景等棘手场景但实施用于克服上述的棘手场景的校正处理(例如，专利文献1中公开的处理)的话，有时无法防止假对焦、无法对焦。此外，在专利文献2所公开的自动对焦装置中，预测被摄体位置，无法切换AF控制以在各种棘手场景中对焦。

发明内容

本发明是鉴于这样的情况而完成的，提供即使被摄体是各种棘手场景也不会成为假对焦或非对焦从而防止无用的AF动作的摄像装置、焦点调节方法以及存储介质。

本发明的第一方式的摄像装置具有以下的部分：摄像部，其接受被摄体光而生成图像数据；对焦控制部，其根据所述图像数据而进行焦点检测，根据焦点检测结果而控制对焦驱动；指标生成部，其被输入所述图像数据，生成第一指标和第二指标，该第一指标表示所述图像数据接近规定的多个图像分类中的哪个，该第二指标表示与所述图像数据对应的图像的模糊状态；以及控制部，其根据所述指标生成部的输出而变更所述对焦控制部的对焦驱动的控制。

本发明的第二方式的焦点调节方法具有以下的步骤：由摄像元件接受被摄体光，生成图像数据；输入所述图像数据，生成第一指标和第二指标，该第一指标表示所述图像数据接近规定的多个图像分类中的哪个，该第二指标表示与所述图像数据对应的图像的模糊状态；以及在根据所述图像数据而进行焦点检测并且根据焦点检测结果而控制对焦动作时，基于所述第一指标和第二指标来变更所述对焦动作的控制。

本发明的第三方式的存储介质是存储有计算机程序的计算机可读取的存储介质，其中，在由处理器执行该程序时，执行以下的步骤：由摄像元件接受被摄体光，生成图像数据；输入所述图像数据，生成第一指标和第二指标，该第一指标表示所述图像数据接近规定的多个图像分类中的哪个，该第二指标表示与所述图像数据对应的图像的模糊状态；以及在根据所述图像数据而进行焦点检测并且根据焦点检测结果而控制对焦动作时，基于所述第一指标和第二指标来变更所述对焦驱动控制。

根据本发明，能够提供即使被摄体为各种棘手场景也不会成为假对焦和非对焦从而防止无用的AF动作的摄像装置和焦点调节方法。

附图说明

图1是示出本发明的一个实施方式的照相机的主要电气结构的框图。

图2A和图2B是对本发明的一个实施方式的照相机中的被摄体为夜景场景的情况下的AF控制进行说明的曲线图。

图3是对本发明的一个实施方式的照相机中的被摄体为夜景场景的情况下的AF控制进行说明的图。

图4对本发明的一个实施方式的照相机中的被摄体具有周期性的图案的情况下的AF控制进行说明。

图5是对本发明的一个实施方式的照相机中的被摄体远近混合的情况下的AF控制进行说明的图。

图6是对本发明的一个实施方式的照相机中的被摄体为一般场景的情况下的AF控制进行说明的图。

图7是对本发明的一个实施方式的照相机中的判断棘手场景的神经网络进行说明的图。

图8是对本发明的一个实施方式的照相机中的棘手场景的情况下的AF控制进行说明的曲线图。

图9是示出本发明的一个实施方式的照相机中的输入给神经网络的图像数据的图表。

图10是示出本发明的一个实施方式的照相机中的AF区域的分割的图。

图11是示出本发明的一个实施方式的照相机中的场景判断结果与在静止图像摄影时的对焦判断中使用的神经网络(NN)的关系的图表。

图12是示出本发明的一个实施方式的照相机中的静止图像摄影待机时的焦点调节动作的流程图。

图13是示出本发明的一个实施方式的照相机中的场景识别的动作的流程图。

图14是示出本发明的一个实施方式的照相机中的动态图像摄影待机/记录时的焦点调节动作的流程图。

具体实施方式

以下，作为本发明的摄像装置的一个实施方式，对应用于数字照相机(简称为“照相机”)的例子进行说明。摄像装置除了数字照相机和智能手机这样的设备之外还包含具有对焦镜头的各种摄像装置。本实施方式的照相机具有摄像部，通过该摄像部而将被摄体像转换为图像数据，根据该转换得到的图像数据而将被摄体像实时取景显示于显示部，该显示部配置在主体的背面。摄影者通过观察实时取景显示来决定构图和快门时机。在静止图像摄影时，如果操作释放按钮，则静止图像的图像数据被记录到记录介质中。记录于记录介质中的图像数据能够在选择再现模式时再现显示于显示部。此外，在动态图像摄影时，如果操作动态图像按钮等，则动态图像的图像数据被记录到记录介质中。记录于记录介质中的图像数据能够在选择再现模式时再现显示于显示部。

此外，该照相机具有神经网络，在该神经网络中设定有用于对被摄体的场景进行分类的学习结果和用于判断图像的模糊状态(对焦、非对焦等)的学习结果。在照相机中，将来自摄像部的图像数据输入到神经网络而进行被摄体的场景分类并且判定图像的模糊状态、对焦状态。

图1是示出本实施方式的照相机的主要电气结构的框图。该照相机具有更换镜头10和照相机主体20。更换镜头10和照相机主体20通过电信号接点16而电连接，该电信号接点16设置于照相机主体20的卡口部15。另外，更换镜头10和照相机主体20当然也可以一体构成。在该情况下，更换镜头10内的镜头CPU(Central Processing Unit：中央处理单元)的功能只要由照相机主体20内的CPU负责即可。

更换镜头10具有镜头部10a、镜头控制部13以及镜头CPU 14。此外，虽然图中省略，但更换镜头10具有存储部(存储器)。该存储部存储镜头信息，该镜头信息是与镜头部10a相关的信息。另外，存储部存储更换镜头10进行动作所需的程序和参数等。该存储部例如设置于镜头CPU 14内。当然，存储部也可以与镜头CPU 14独立设置，在该情况下，存储部与镜头CPU 14连接。

此外，更换镜头10的各块例如由硬件构成。然而，一部分的块并不必须由硬件构成，也可以由软件构成。此外，更换镜头10的各块可以不是由单个硬件或软件构成的，也可以由多个硬件或软件构成。

镜头部10a包含用于使来自被摄体的光束成像于照相机主体20的摄像元件21的光学系统。镜头部10a具有光圈12和包含对焦镜头11在内的单一或多个镜头。这里，镜头部10a的光学系统也可以构成为变焦镜头。光圈12的口径构成为可变，限制向摄像元件21入射的来自被摄体的光束。能够通过改变光圈12的口径而对入射到摄像元件21的光量进行控制。

镜头控制部13包含：马达等致动器，其用于驱动对焦镜头11等和光圈12；以及驱动控制电路，其用于进行该致动器的控制。镜头控制部13根据来自镜头CPU 14的控制信号而在光轴方向上对镜头部10a的对焦镜头11进行驱动，由此进行焦点调节。此外，镜头控制部13根据来自镜头CPU 14的控制信号对光圈12进行驱动，由此控制光圈值。

镜头CPU 14是镜头控制用的处理器，具有CPU(Central Processing Unit：中央处理单元)和周边电路。也可以具有像上述那样存储程序和/或参数等的存储器。镜头CPU 14能够通过电信号接点16而与照相机主体20的CPU 28进行通信。镜头CPU 14在CPU 28的控制下进行镜头控制部13的控制。镜头CPU 14并不必须是CPU，也可以由ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等构成。

照相机主体20具有摄像元件21、摄像信号处理部22、摄像控制部23、记录部24、显示部25、操作部26、存储器27、CPU 28、AF处理部29、AE处理部30、闪光装置31以及总线32。此外，如后所述，照相机主体20具有存储了照相机主体20进行动作所需的程序和参数等的存储部(存储器28a)。该存储部例如设置于CPU 28。当然，该存储部也可以与CPU 28独立设置，在该情况下存储部与CPU 28连接。

此外，照相机主体20的各块例如由硬件构成。然而，一部分的块并不必须由硬件构成，也可以由软件构成。此外，照相机主体20的各块可以由单个硬件或软件构成，也可以由多个硬件或软件构成。例如，AF处理部29、AE处理部30的功能的全部或一部分可以由CPU 28通过存储于存储部(存储器)中的程序而实现。

具有作为摄像部的功能的摄像元件21配置在镜头部10a的光轴上并且配置在被摄体像的成像位置附近。摄像元件21具有多个像素，多个像素呈二维状排列。各个像素具有由光电二极管等构成的光电转换部，将被摄体像(光学像)转换为电信号。这里，摄像元件21的像素也可以包含焦点检测像素。焦点检测像素例如构成为限制所入射的光束的入射方向。作为焦点检测像素的结构，存在例如以下结构：通过使用了微透镜的光瞳分割方式来限制光束的入射方向；通过对像素的一部分进行遮光来限制光束的入射方向。在本实施方式中，能够使用任意结构的焦点检测像素。另外，在以下的说明中，摄像元件21的像素包含焦点检测像素。摄像元件21作为摄像部发挥功能，接受被摄体光而生成图像数据。

摄像信号处理部22具有摄像信号处理电路，对从摄像元件21的各像素输出的摄像信号进行放大处理等各种信号处理。由摄像信号处理部22处理后的信号输出到总线32。

摄像控制部23具有摄像控制电路，根据来自CPU 28的控制信号而对摄像元件21输出摄像控制信号(垂直同步信号VD等)，进行摄像元件21的各像素中的电荷蓄积的控制和摄像信号的读出的控制。

记录部24例如是可电改写的非易失性半导体存储器，可以固定于照相机主体20，并且也可以是可装载的。在记录部24中记录有照相机主体20中产生的各种数据。例如，在记录部24中记录有作为摄影结果而取得的图像文件。

显示部25例如是配置于照相机主体20的背面的外装部等的液晶显示器或有机EL显示器。显示部25显示经由摄像元件21取得的实时取景图像和记录于记录部24中的图像等各种图像。此外，在显示部25上显示各种菜单画面。另外，显示部25除了配置于照相机主体20的外装部以外的显示器之外，也可以是通过目镜来观察小型显示器的类型的电子取景器。

操作部26可以是由用户操作的各种操作部件，也可以是界面。作为操作部26，例如包含有触摸面板以及释放按钮、动态图像按钮、模式按钮、选择键、电源按钮这样的各种操作按钮等各种操作部件。

释放按钮具有1st释放开关和2nd释放开关。1st释放开关是通过半按释放按钮(进行1st释放操作)而接通的开关。当1st释放开关接通时，对具有作为焦点调节指示检测部的功能的CPU 28发出AF(焦点调节)和AE(曝光调节)这样的摄影准备的指示。2nd释放开关是通过全按释放按钮(进行2nd释放操作)而接通的开关。当2nd释放开关接通时，对具有作为指示检测部的功能的CPU 28发出静止图像摄影的指示。动态图像按钮是用于进行动态图像摄影的指示的操作部件。

模式按钮是用于选择照相机(摄像装置)的摄影设定的操作部件。选择键例如是用于在菜单画面上选择或决定项目的操作部件。电源按钮是用于接通或切断照相机的电源的操作部件。触摸面板与显示部25的显示画面一体形成，检测用户的手指等在显示画面上的接触位置。CPU 28执行与用户的手指等的接触位置对应的处理。触摸面板作为连拍模式设定部或连拍速度设定部的一例发挥功能，其中，该连拍模式设定部用于将照相机的动作模式切换为例如连续摄影模式(连拍模式)，该连拍速度设定部用于设定连拍速度。当然，连拍模式设定部和连拍速度设定部的功能也可以通过触摸面板以外的操作部件来实现。

存储器27是可电改写的存储器，暂时存储由摄像信号处理部22处理后的数据和AF处理部29或AE处理部30的处理数据等各种数据。在连续摄影模式(连拍模式)中，存储器27作为连拍用缓冲器发挥功能。连拍用缓冲器是以连拍模式中的图像处理为代表的各种运算等所需的作业用的缓冲器。

CPU 28是进行照相机主体20的控制的处理器，具有CPU和周边电路。如上所述，CPU28具有存储程序和/或参数等的存储器28a。另外，存储器28a也可以代替配置于CPU 28内而配置于CPU 28的外部。CPU 28例如通过控制摄像控制部23而对摄像元件21的动作进行控制。此外，CPU 28对应于1st释放开关接通而开始AF动作和AE动作，或者对应于2nd释放开关接通而开始静止图像摄影。另外，CPU 28并不必须是CPU，也可以由ASIC、FPGA等构成。CPU28作为控制部发挥功能，根据指标生成部的输出而变更对焦控制部的对焦驱动的控制。

AF处理部29包含对焦控制用的处理器，根据伴随着对焦镜头11的驱动从摄像元件21输出的摄像信号来计算对比度的评价值。此外，AF处理部29例如根据从成对的焦点检测像素输出的摄像信号之间的相位差来计算与对焦位置之间的偏离方向(焦点偏离方向)和偏离量(焦点偏离量)。CPU 28使用由AF处理部29取得的评价值和焦点偏离量、焦点偏离方向来进行AF动作。

此外，AF处理部29具有后文使用图7来描述的神经网络(推理引擎)29a。该神经网络29a能够设定用于对被摄体场景进行分类的学习结果(推理模型)，通过将图像数据输入到输入部而取得被摄体场景的分类结果。能够根据该被摄体场景的分类结果来判断是否是棘手场景。此外，神经网络29a也能够设定用于判断图像的模糊状态的学习结果(推理模型)，能够通过将图像数据输入到输入部而判断图像的模糊状态(对焦、非对焦状态等)。而且，用于判断模糊状态的学习结果(推理模型)也能够根据各个被摄体场景而分别设定最佳的学习结果。

AF处理部29作为对焦控制部发挥功能，根据图像数据而进行焦点检测，根据焦点检测结果来控制对焦动作(例如，参照图12的S23)。此外，神经网络29a作为指标生成部发挥功能，其被输入图像数据而生成第一指标和第二指标，该第一指标表示图像数据接近规定的多个图像分类中的哪个图像分类，该第二指标表示与图像数据对应的图像的模糊状态(例如，参照图12的S3、S17、图13的S31)。

上述的指标生成部具有：第一神经网络(例如，参照图9的场景判断用NN)，其生成表示图像数据是多个图像分类中的哪个图像分类的指标；以及第二神经网络(例如，图9的焦点状态判断用NN)，其生成表示与图像数据对应的图像的模糊状态的指标。此外，指标生成部根据图像的区域而将图像数据分割为多个，将分割后的各个图像数据输入到第一神经网络和/或第二神经网络(例如，参照图10)。此外，指标生成部具有在初级包含卷积层的神经网络(例如，参照图7的R1～R3)。此外，指标生成部包含夜景场景、周期性被摄体场景、远近混合场景、和上述以外的场景中的至少任意一种场景作为多个图像分类(例如，参照图3～图6)。另外，上述的指标也可以是不使用神经网络，而是AF处理部29或CPU 28使用基于程序的逻辑来计算的。

上述的对焦控制部在指标生成部输出的指标(第一指标)表示夜景场景的情况下，根据亮度来校正作为焦点检测的结果生成的评价值(例如，参照图2B)。另外，该对焦控制部的功能也可以由CPU 28进行。此外，对焦控制部在指标生成部输出的指标(第一指标)表示远近混合场景的情况下，使对焦镜头的驱动方向向至近侧变更而进行焦点检测(例如，参照图5)。此外，对焦控制部在指标生成部输出的指标(第一指标)表示夜景场景并且表示模糊状态的指标(第二指标)示出比规定的量大的模糊量的情况下，提高用于判断为对焦的阈值(例如，参照图3)。对焦控制部在第二指标表示重度模糊状态的情况下，以比通常高的速度来驱动对焦镜头(例如，参照图12的S7、S9)。另外，上述的各对焦控制部的功能不限于由AF控制部29进行，也可以由CPU 28进行，另外，也可以由AF控制部29和CPU 28协作进行。

此外，上述的指标生成部的第二神经网络对应于图像分类而具有多个神经网络，根据第一指标，对多个神经网络进行选择，生成第二指标(例如，参照图11、图12的S17)。指标生成部对应于图像的区域而将图像数据分割为多个，使用第一神经网络对各个区域和图像整体进行图像分类，根据该图像分类结果而生成上述第一指标(例如，参照图13的S31)。

AE处理部30根据被摄体亮度来计算用于使摄像元件21的曝光适当的光圈值和快门速度的条件。被摄体亮度例如是根据从摄像元件21输出的摄像信号而计算的。被摄体亮度也可以通过专用的测光传感器来测定。

闪光装置31具有朝向被摄体投光的发光部。例如，闪光装置31在被摄体亮度低时、在逆光时对被摄体发出照明光。

接下来，使用图2A和图2B，以夜景场景为例对按照每个棘手场景来切换AF控制方法进行说明。图2A和图2B是示出被摄体为夜景、改变对焦镜头11的位置(参照横轴)时的AF评价值(AFval，LAF10)和亮度评价值LVB10的变化的曲线图。图2A示出AF评价值的校正前，图2B示出AF评价值的校正后。

在图2A中，AF评价值(AFval)在位置P1、P3这两处成为峰值，根据该假对焦位置而进行焦点检测，因此无法检测准确的对焦位置。图2B示出在图2A的状态下进行了AF评价值的校正后的情况。图2B所示的AF评价值在位置P2成为峰值，能够检测准确的对焦位置。作为这里的校正，求取亮度评价值的平方或三次方而计算校正值，使用该校正值来校正AF评价值。

然而，如果尽管是夜景场景，但无法判断为应该实施加工AF评价值的校正运算而直接使用AF评价值进行焦点检测的话，会变得重度模糊。例如，如图2B所示，在夜景场景的AF评价值的校正中，对AF评价值(LAF10)使用亮度评价值(LBV10)而进行强力的校正(参照图2B)。因此，如果在日间的一般场景中对AF评价值实施夜景场景用的校正运算，则会成为过校正，AF精度降低，产生轻度模糊。

因此，在本实施方式中，使用神经网络预先学习棘手场景而生成推理模型，使得能够使用该推理模型而可靠地对被摄体场景进行分类。作为棘手场景，在本实施方式中，具有夜景场景、周期性被摄体、远近混合被摄体这三个场景。在学习时，除了这三个场景之外，也能够对通常场景(一般场景)进行分类。此外，对于对焦状态，学习装置也进行学习使得能够分类出重度模糊状态、对焦状态、中间状态这三个状态。而且，在对焦状态的学习时，学习装置先生成针对夜景场景、周期性被摄体、远近混合被摄体分别特化的推理模型，AF处理部29的神经网络29a根据被摄体场景而选择推理模型。另外，学习装置配置在位于照相机主体20的外部的服务器等，由学习装置生成的推理模型是通过互联网等而发送给照相机主体20的。

在神经网络的学习时，在学习夜景场景(参照图3)的情况下，将点光源的场景作为输入信息提供给学习装置。另外，在学习周期性被摄体场景的情况下，将周期图案的印刷品或大厦的窗户(参照图4)等周期性图案作为输入信息提供给学习装置。此外，在学习远近混合场景的情况下，例如，将鸟类与灌木丛(参照图5)、脸部与街道上或穿过枝叶间隙的阳光等远方的被摄体与近距离的被摄体混合那样的图案作为输入信息提供给学习装置。

图3是对被摄体为夜景场景的情况下的AF控制进行说明的图。图3的曲线图的横轴是对焦镜头位置，纵轴是AF评价值(在图4至图6以及图8中，横轴和纵轴也相同)。图像IM1是对焦镜头11位于位置P11的情况下的图像。在该位置，没有对焦，因此处于重度模糊状态。此外，图像IM2是对焦镜头11位于位置P16的情况下的图像。在该情况下，对焦镜头11位于对焦附近(但是，真正的对焦位置为P15)，因此成为焦点稍微偏离的图像。

在被摄体为夜景场景的情况的该例中，如图3所示，AF评价值在对焦镜头11的位置P12、P14、P16为极大值，在位置P13、P15为极小值。公知在夜景场景的情况下，由于亮点的影响而导致在真正的对焦位置AF处评价值为极小值。因此，极大值的位置P12、P14、P16均是假对焦位置，真正的对焦位置是位置P15。

与这样的夜景场景对应的AF评价值在位置P12附近成为极大值，位置P12有可能被错误地判断为对焦。因此，在夜景场景的情况下，使对焦的判断条件严格，使得不会凭借从位于真正的对焦位置P15附近的AF评价值的极大值(例如，位置P14)远离的缓坡(日文：裾野)区域的极大值判断为对焦而导致假对焦。此外，在位置P14～位置16附近，进行专利文献1所公开那样的校正处理，由此检测真正的对焦位置(P15)，对焦于该位置。

图4是被摄体具有周期性图案的场景的情况。图像IM4是对焦镜头11位于作为真正的对焦位置的P23的情况下的图像，处于对焦的状态。如图4所示，AF评价值在对焦镜头11的位置P21、P23成为极大值，在位置P22成为极小值。从图4可知，AF评价值在远离位于真正的对焦位置P23的AF评价值的极大值(位置P23)的缓坡的位置P21成为极大值，位置P21有可能被错误地判定为对焦(假对焦)。因此，与夜景场景的情况同样地，在被摄体为周期性图案的情况下，使对焦的判断条件严格。

图5是被摄体为远近混合场景的情况。图像IM6是如下图像：远方的被摄体与近距离的被摄体混合，虽然对焦于远方但没有对焦于作为摄影的主要对象的被摄体，处于重度模糊的状态。图像IM7是鸟类位于灌木丛中的场景的图像。在该情况下，对焦于作为摄影对象的鸟类O7，是对焦于鸟类O7的对焦状态。

如图5所示，AF评价值在对焦镜头11的位置P31、P33成为极大值，在位置P32成为极小值。从图5可知，极大值的位置P31的AF评价值大于极大值的位置P33的AF评价值。但是，摄影主要对象在位置P33对焦。因此，在远近混合场景的情况下，即使在位置P31判断为对焦，也在规定的范围(例如，换算为散焦量的话，50Fδ左右)内向至近侧(横轴的右侧)进行镜头驱动，确认在至近侧是否没有被摄体。通过进行该处理，能够使对焦镜头向真正的对焦位置P33移动，从而使得对焦于摄影主要对象。另外，上述的“50Fδ”的F是光圈值，δ是允许弥散圆直径。

图6是一般被摄体的场景的例子。图像IM9是处于对焦状态的图像。随着使对焦镜头11从远距离侧朝向近距离侧移动，AF评价值单调增加。然后，AF评价值在位置P42成为极大值，之后，随着使对焦镜头11朝向近距离侧移动，AF评价值单调减少。因此，几乎不会在缓坡的区域的位置P41错误地判断为对焦(假对焦)。因此，在被摄体为一般场景的情况下，假对焦的风险小，因此，随着对焦镜头11移动，AF评价值增加，在判断为越过了峰值之后，判断为能够检测到对焦位置。通过该AF处理，能够使处理时间为最短。

接下来，使用图7对用于学习棘手场景的神经网络进行说明。在本实施方式中，像使用图3至图6所说明那样，根据场景来切换AF控制方法。在本实施方式中，场景的分类使用基于深度学习(deep learning)的神经网络。神经网络29a是设置于AF处理部29内的推理引擎。

如图7所示，神经网络29a具有输入部I、卷积层R1～R3、中间层R4～R6以及输出部O1～O4。本实施方式的神经网络29a的第一层至第三层(R1～R3)是卷积层，第四层至第六层(R4～R6)是中间层。向输入部I输入图像，卷积层R1～R3响应于仅限定的区域的信号。在中间层R4～R6中，各神经元间的耦合的强度是由学习决定的。

在深度学习中，准备由输入图像和场景的分类结果构成的大量的训练用数据，将输入图像输入到输入部I，以输出分类结果的方式学习卷积层的限定区域和各神经元间的耦合的强度。将学习结果(推理模型)设定到设置于AF处理部29内的神经网络(推理引擎)，通过向输入部I输入基于摄像元件21的输出的图像数据而从输出部输出场景的分类结果。

在图7中，例如，在输入图像为一般场景的情况下，从输出O1输出是一般被摄体这一内容，在输入图像为夜景场景的情况，从输出O2输出是夜景场景这一内容。此外，例如，在输入图像为远近混合的情况下，从输出O3输出是远近混合场景这一内容，在输入图像为周期性图案的情况下，从输出O4输出是周期性图案这一内容。

另外，虽然使用了训练用数据的深度学习可以由照相机主体20内的AF处理部29进行，但只要预先使用外部的深度学习用的学习装置进行深度学习、再将学习结果设定到AF处理部29内的神经网络(推理引擎)即可。

此外，作为训练用数据，不限于上述的被摄体场景分类，准备重度模糊状态、对焦、中间状态等焦点状态判定用的训练用数据进行深度学习而取得学习结果。将该学习结果设定到AF处理部29内的神经网络(推理引擎)。神经网络29a能够使用学习结果(推理模型)来判定焦点状态。只要选择性地将多种学习结果(推理模型)中的任意学习结果设定到一个神经网络即可，但不限于此，也可以按照每个学习结果而设置多个神经网络。

接下来，对棘手场景(例如，夜景、周期性、远近混合)的情况下的AF控制的切换进行说明。在由神经网络29a判断为夜景场景(参照图3)和穿过枝叶间隙的阳光场景的情况下，AF处理部29进行夜景用AF评价值校正运算(参照图3)。夜景用AF评价值校正运算是专利文献1中公开的AF评价值的校正运算，使用亮度评价值来校正AF评价值(参照图2B)。另外，AF评价值的校正运算不限于在AF处理部29中进行，也可以在CPU 28中进行。

此外，在由神经网络29a判断为棘手场景(例如，夜景、周期性、远近混合)的情况下，使基于对比度AF的对焦判断条件严格。由此，像使用图3至图5所说明那样，能够防止由于噪声等而导致在AF评价值的缓坡判定为假对焦。

作为使该对焦判断严格的方法，例如，使按照爬山法开始爬山的判断严格，即，使向AF评价值增加的方向开始扫描动作的判断严格。具体而言，使判断为按照时间顺序所取得的AF评价值连续增加的帧数的阈值、AF评价值增加的变化率的阈值以及AF评价值自身大小的阈值分别比通常的判定时的阈值大。此外，使在登上AF评价值的峰值之后下山这一判断严格，即，使AF评价值越过了峰值这一判断严格。具体而言，使判断为按照时间顺序所取得的AF评价值连续减少的帧数的阈值、AF评价值减少的变化率的阈值以及AF评价值自身大小的阈值分别比通常的判定时的阈值大。

此外，在本实施方式中，在通过场景识别而判定为重度模糊状态的情况下，以高速进行扫描驱动(参照图12的S7、S9)。如上所述，由于在AF处理部29的神经网络中也设定有焦点状态判定用的学习结果(推理模型)，因此能够判定焦点状态是否是重度模糊状态。

此外，在棘手场景的情况下，容易假对焦。因此，当在镜头驱动中判断为接近对焦附近的状态或能够进行对焦检测的情况下，使用对焦附近的最终帧的图像(在图12的步骤S11中进行了对焦状态检测时的帧图像)，再次通过焦点状态判断用神经网络来判断是否是对焦状态。此时，根据棘手场景来选择对应的焦点状态判断用神经网络，判断是否对焦。在判断为非对焦状态的情况下，进一步进行镜头驱动和AF评价值检测，确认在这之前是否不存在对焦位置。

使用图8对该点进行说明。图8示出使对焦镜头11从远距离侧朝向近距离侧移动的情况下的AF评价值的变化。在图8所示的例子中，AF评价值在位置P51成为极大值，在位置P52成为极小值，在位置P53再次成为极大值。如上所述，即使增大对焦判定用的阈值以使对焦判断的条件严格，在图8所示那样的情况下，也有可能使对焦镜头停止在假对焦的位置P51而判断为对焦。

因此，在位置P51附近，使用神经网络29a(焦点状态判断用NN)来判定是否是非对焦状态(参照图12的S17)。如果该判定的结果是非对焦状态，则继续进行对焦镜头11的驱动(图12的S19“是”)。该判定是仅将AF区域(也可以包含AF区域附近的区域)的图像数据输入到神经网络29a(焦点状态判断用NN)而进行的。如上所述，由于本实施方式的神经网络29a设置有卷积层R1～R3，因此能够针对仅AF区域及其附近的图像来推理焦点状态。

在图8中，在判明为位置P51附近处于非对焦状态的情况下，进一步继续进行对焦镜头驱动。在对焦镜头11到达位置P53的时刻，再次通过神经网络29a(焦点状态判断用NN)来判定是对焦还是非对焦。在图8所示的例子中，将位置P53判定为真正的对焦位置，能够对焦于摄影对象物。

接下来，使用图9，按照摄影待机中、静止图像AF对焦判断时、以及动态图像AF动作中这三个动作状态的每个状态，对由场景判断用的神经网络(NN)和焦点状态判断用神经网络(NN)输入的图像数据进行说明。另外，如图11所示，焦点状态判断用的神经网络(NN)根据场景判断结果而进一步细分。

在摄影待机中，照相机在静止图像摄影前的状态下显示实时取景，在该期间，用户决定构图，并且寻找摄影时机。在后述的图12、图14所示的流程图中，照相机在摄影待机中进行场景识别(参照图12和图14的S1)，此时使用的学习结果是场景判断用神经网络。向摄影待机中使用的场景判断用神经网络输入画面整体的图像数据。作为该画面整体的图像数据，在本实施方式中，使用VGA图像(640×480像素)，但既可以比该尺寸的图像大也可以比其小。此外，如后所述，除了画面整体的图像数据之外，也向场景判断用神经网络输入与多个分割区域对应的图像数据(图10)。

场景判断用神经网络根据所输入的图像数据而输出是棘手场景即夜景场景、周期性图案场景、远近混合场景或者通常场景(一般场景)中的哪个。此外，场景判断用神经网络根据所输入的图像数据而输出是重度模糊状态、对焦状态以及重度模糊状态和对焦状态以外的中间状态中的哪个。即，场景判断用神经网络根据输入图像而输出上述四个场景×三个焦点状态＝十二个状态中的任意一个状态(例如，夜景场景并且重度模糊状态)。此外，场景判断用神经网络也可以采用分别输出四个场景中的任意一个场景(例如，远近混合场景)和三个焦点状态中的任意一个焦点状态(例如，对焦状态)的结构。

此外，照相机在摄影待机中(图12和图14的S3)执行使用焦点状态判断用的神经网络的处理。摄影待机中，将以用户设定的AF区域为基准的区域的图像数据输入到焦点状态判断用NN。

静止图像AF对焦判断时刻是用户半按释放按钮(进行1st释放操作)、通过AF动作而检测到对焦位置的时刻(图12的S13“是”)。当半按时，对焦镜头11被驱动，根据来自摄像元件21的图像数据而计算AF评价值。根据该AF评价值，对焦镜头11向对焦位置被驱动(参照图12的S9～S13)。在被驱动到对焦位置时，在通过场景识别(S1)而将被摄体判断为棘手场景的情况下，根据与棘手场景对应的焦点状态判断用神经网络来判断焦点状态(参照图12的S17)。此时，向焦点状态判断用神经网络输入检测到对焦位置时所取得的帧的图像数据中的、与所选择的一个AF区域对应的图像数据。该AF区域是由用户选择的AF区域或自动选择的AF区域。

在动态图像AF动作中，向场景判断用神经网络输入画面整体的图像数据和分割区域的图像数据，判断场景(图14的S1)。此外，向焦点状态判断用神经网络输入以用户设定的AF区域为基准的AF区域基准区域的图像数据。

接下来，使用图10对向场景判断用神经网络输入的图像数据进行说明。在向场景判断用神经网络输入画面整体的情况下，如上所述，将画面整体的尺寸调整为VGA图像，输入该调整尺寸后的图像数据。并且，除此之外，还向场景判断用神经网络输入对应于多个AF区域(在图10中，对多个AF区域中的一个AF区域标注标号a1来表示)的存在范围而适当地分割出的分割区域的图像数据。

在图10所示的例子中，分割区域是将画面整体中的多个AF区域所存在的范围分割为五个区域而设定的。即，分为画面的左上的分割区域A1、右上的分割区域A2、左下的分割区域A3、右下的分割区域A4，而在画面的中心附近设置区域A5。在用户选择AF区域的情况下，可以使该分割区域A5的中心与该被选择的AF区域的中心坐标一致来设定分割区域。在后述的全目标模式时也可以使中心与所选择的多个AF区域中的中央的AF区域的中心坐标一致来设定分割区域。这样，通过设置多个分割区域并且使分割区域彼此重复，在多个场景混合的情况下也能够准确地判断场景。后文使用图13对基于场景判断用神经网络的场景判断的详细动作进行描述。

另外，在本实施方式中，向场景判断用神经网络和焦点状态判断用神经网络输入图像数据(图像信息)而进行了推理。但是，不限于图像信息，也可以输入焦点距离、光圈值(Fno)、对焦镜头位置(被摄体距离信息)、亮度值(BV值)、运动矢量信息等而进行推理。此时，输入的数据的比特数只要采用与图像信息相同的比特数(例如，如果图像数据为0～255的值，则其他的数据也是0～255)进行归一化即可。

接下来，对焦点状态判断用神经网络进行说明。设定到焦点状态判断用神经网络的学习结果(推理模型)是通过输入对焦图像、非对焦图像作为训练数据而取得的。图11是对应于场景而示出在静止图像AF的对焦判断时使用的焦点状态判断用神经网络的种类的表。焦点状态判断用神经网络选择与在摄影待机中检测到的场景(图1的S1：场景识别)对应的焦点状态判断用神经网络来使用(图12的S3、S17)。这些焦点状态判断用神经网络设定了针对与各个场景对应的被摄体将对焦的图像和非对焦的图像分别输入到学习装置作为训练数据从而学习了对焦/非对焦的学习结果(推理模型)。

将在单目标AF模式中选择出并被判定为对焦的AF区域内的图像数据调整为50×50像素左右的大小，输入到焦点状态判断用神经网络。此外，不论是全目标模式还是组目标模式都将对焦判断后的AF区域内的图像数据同样地作为焦点状态判断用神经网络的输入数据。另外，全目标模式是如下的AF模式：能够选择多个AF区域中的所有AF区域，按照规定的选择算法(例如最近选择)从所有AF区域中自动选择AF区域而执行AF控制。此外，组目标模式是如下的模式：从所有AF区域中选择规定的数量的相邻的多个AF区域而形成组，根据组(3×3区域、5×5区域等)中包含的AF区域的检测结果而执行AF控制。

此外，在动态图像AF动作中(动态图像摄影待机/记录中)，始终使用焦点状态判断用神经网络来进行焦点状态的判定(参照图14的S17)。在该情况下，重度模糊和中度模糊被视为非对焦。输入到焦点状态判断用神经网络的图像数据是与以AF区域为基准的上述的AF区域基准区域对应的图像数据。在AF模式为组目标模式的情况下，输入与以用户设定的AF区域为中心的3×3的组目标的AF区域组对应的图像数据。无论哪种情况下都将向焦点状态判断用神经网络输入的图像数据的尺寸调整为50×50像素左右的尺寸而使用。此外，在全目标模式的情况下，焦点状态判断用神经网络(NN)也可以与场景判断用NN同样地被输入与将画面内分割为五个部分而得到的分割区域A1～A5对应的图像数据，判断是否对焦。只要使用焦点状态判断用神经网络进行判断的结果为在AF区域A1～A5中的任意区域中是对焦附近，则最终判定为对焦。在没有判断为对焦附近的情况下，在远近混合场景时，朝向近方向开始扫描驱动。此外，当没有被判断为对焦附近时，在夜景场景的情况下，继续进行向无限远方向的扫描，并且在周期性图案的情况下，继续进行同一方向扫描。

接下来，使用图12至图14所示的流程图对本实施方式的焦点调节动作进行说明。CPU 28根据存储器28a中存储的程序而对照相机主体20内和更换镜头10内的各部分进行控制，从而实现这些流程图。图12所示的流程图示出静止图像摄影的待机中和静止图像摄影时的焦点调节动作。

在图12所示的静止图像摄影的流程中，在摄影待机中进行实时取景显示，当半按释放按钮时，进行对焦。当图12的流程开始时，首先进行场景识别(S1)。这里，AF处理部29使用场景判断用的神经网络来判断被摄体的场景(参照图3～图6、图9)，判断是否是棘手场景。此外，判定输入图像是重度模糊状态、对焦状态还是中间状态。在场景识别中，AF处理部29分类为使用图3至图6进行了说明的四个场景、即夜景、周期性、远近混合、一般场景，分类为三个焦点状态、即重度模糊状态、对焦状态、中间状态，从而分类为十二个状态(四个场景×三个焦点状态)中的任意一个状态。

在步骤S1中进行场景识别之后，接着进行AF区域对焦识别(S3)。这里，AF处理部29使用焦点状态判断用神经网络来判定所选择的AF区域是否对焦。作为AF区域，如果是用户指定的AF区域，则使用该AF区域，另一方面，在用户没有指定的情况下，照相机自动选择。作为自动选择方法，例如，可以使用脸部检测结果，此外也可以是包含有位于近距离的被摄体的区域。

进行AF区域对焦识别之后，接着判定是否进行了1st释放的按下操作(S5)。这里，根据操作部26的1st释放开关是否接通来判定。在该判定的结果为1st释放没有被按下的情况下，返回到步骤S1。

另一方面，在步骤S5的判定的结果为1st释放被按下了的情况下，设定参数(S7)。这里，CPU 28或AF处理部29决定AF评价值校正运算方法。例如，在步骤S1的场景识别的结果为夜景的情况下，决定专利文献1等所公开那样的校正。此外，决定对焦判断方法。如上所述，在场景识别的结果为被摄体是棘手场景的情况下，CPU 28或AF处理部29使对焦判断条件严格(例如，使作为判定基准的阈值比通常大)。此外，决定扫描驱动速度。当在场景识别时画面整体或分割区域A5被判断为重度模糊状态的情况下，CPU 28或AF处理部29将扫描速度设定为比通常高的速度。

设定参数之后，接着实施扫描驱动(S9)。这里，镜头控制部13驱动对焦镜头11。在进行驱动的同时，摄像控制部23按照规定的时间间隔从摄像元件21中读出图像数据。此外，当在步骤S1的场景识别中画面整体或分割区域A5被判定为重度模糊状态的情况下，如上所述，镜头控制部13使镜头扫描以比通常高的速度进行。

开始扫描驱动之后，接着进行对焦状态的检测(S11)。这里，AF处理部29使用在步骤S9的扫描驱动中所取得的图像数据来计算AF评价值。判断该计算出的AF评价值连续增加还是从增加转为减少、还是连续减少，执行爬山AF。

接着，判定是否检测到对焦位置(S13)。这里，AF处理部29根据步骤S11的对焦状态检测处理来判定对焦镜头11是否位于对焦位置附近。即，通过扫描驱动使对焦镜头11移动，判定AF评价值是否越过了峰值。另外，当在步骤S1的场景识别中判定为棘手场景的情况下，如上所述，AF处理部29变更对焦判定用的阈值的值，使对焦判断严格。在该判定的结果为不在对焦位置附近的情况下，返回到步骤S11，重复执行上述的动作。

另外，在采用相位差AF作为焦点检测方法代替对比度AF的情况下，在步骤S9、S11中，根据来自焦点检测像素(例如限制入射的光束的入射方向的像素)的像素信号来计算焦点的偏离量和偏离方向。然后，在步骤S13中，根据计算出的偏离量和偏离方向来计算对焦镜头的移动量、移动方向，判定是否检测到了对焦位置。

当步骤S13的判定的结果为位于对焦位置附近的情况下，接着判定是否是棘手场景(S15)。这里，AF处理部29根据步骤S1的场景识别的结果而进行判定。

当步骤S15的判定的结果为是棘手场景的情况下，进行AF区域对焦识别处理(S17)。这里，AF处理部29使用焦点状态判断用的神经网络，来判定来自摄像元件21的图像数据是否对焦(非对焦)。在该情况下，在使用了焦点状态判断用神经网络的推理的结果为轻度模糊的情况下，不判定为对焦。

在步骤S17中进行AF区域对焦识别处理之后，接着判定使用焦点状态判断用神经网络的判断结果是否为非对焦(S19)。

在步骤S19的判定的结果为是非对焦的情况下，设定参数(S21)。这里，AF处理部29根据焦点状态判断用神经网络判断出的结果而再次设定在步骤S7中设定的参数。例如，在夜景、周期性图案的场景的情况下，以使对焦判断严格的方式再次设定参数，使得不会在AF评价值的缓坡成为假对焦。此外，在远近混合被摄体场景的情况下，再次设定参数，以使得向至近侧进一步进行镜头驱动，从而能够判断在至近侧是否存在被摄体。设定参数之后，返回到步骤S9，执行上述的焦点调节动作。

另一方面，在步骤S19的定的结果为不是非对焦的情况(即对焦的情况)下、或者在步骤S15的判定的结果为不是棘手场景的情况下，实施对焦驱动(S23)。这里，AF处理部29根据在步骤S11、S13中检测到的对焦位置，如果是对比度AF，则从评价值峰值位置附近进行近似式运算，由此计算插值对焦位置。然后，AF处理部29借助镜头控制部13朝向该插值对焦位置来驱动对焦镜头11。此外，在计算出的插值对焦位置与当前位置之差的绝对值小于规定的值的情况下，可以省略对焦驱动。

实施对焦驱动之后，接着实施正式曝光(S25)。当释放按钮被全按下而2nd释放开关接通时，CPU 28实施正式曝光。在正式曝光中，当在照相机主体20设置有机械式快门的情况下，通过该机械式快门来控制曝光时间。在没有设置机械式快门的情况下，通过摄像元件21的电子快门来控制曝光时间。经过曝光时间之后，摄像控制部23从摄像元件21读出图像数据。当在摄像信号处理部22等中对所读出的图像数据进行了图像处理之后，将图像数据记录到记录部24中。

正式曝光结束之后，实施初始位置驱动(S27)。这里，AF处理部29驱动对焦镜头11使得在下次扫描开始时对焦镜头11的位置为最佳。实施初始位置驱动之后，结束该流程。

接下来，使用图13所示的流程图对图12的步骤S1的场景识别的动作进行说明。

当场景识别的流程开始时，首先在画面整体+五个区域中使用场景判断用神经网络进行场景判断(S31)。如上所述，在AF处理部29内的神经网络29a的场景判断用神经网络中预先设定有场景判断用的学习结果。向神经网络29a输入来自摄像元件21的图像数据而进行被摄体的场景判断。作为场景分类，分类为使用图3至图6进行了说明的四个场景、即夜景、周期性、远近混合、一般，分类为三个焦点状态、即重度模糊状态、对焦状态、中间状态，从而分类为总计十二个状态(四个场景×三个焦点状态)中的任意一个状态。当向神经网络29a的输入部输入来自摄像元件21的图像数据时，输入画面整体的图像数据，进行画面整体的场景判断。此外，输入像使用图10所说明那样的分割区域A1～A5这五个区域每个区域的图像数据，针对每个区域判断场景。因此，在该步骤中，判断画面整体的场景，并且按照每个分割区域判断场景。关于场景判断用神经网络的输出，针对画面整体、分割区域A1～A5分别输出十二个状态(四个场景×三个焦点状态)中的任意一个作为场景判断的结果(六个输出)。

在画面整体+五个区域中判断场景之后，接着判定第五个区域是否是棘手场景(S33)。这里，AF处理部29根据步骤S31的场景判断的结果，判定第五个区域、即图10的分割区域A5的场景判断的结果是否是夜景、周期性、远近混合等棘手场景。

当步骤S33的判定的结果为分割区域A5是棘手场景的情况下，采用分割区域A5的判断结果(S35)。分割区域A5是包含所选择的AF区域在内的区域，因此不论其他的分割区域A1～A4的场景判断结果如何，AF处理部29都采用分割区域A5的场景判断结果(夜景、周期性、远近混合等中的任意场景)作为被摄体的场景识别的结果，作为场景识别的输出。

另一方面，当步骤S33的判定的结果为分割区域A5不是棘手场景的情况下，接着判定画面整体的场景判断的结果是否是棘手场景(S37)。由于在步骤S31中判断了画面整体的场景，因此AF处理部29根据该判断结果而进行判定。因此，AF处理部29判定画面整体是否是夜景、周期性、远近混合等棘手场景。

当步骤S37的判定的结果为画面整体的场景判断的结果是棘手场景的情况下，采用画面整体的场景判断的结果作为场景识别的输出(S39)。

另一方面，当步骤S37的判定的结果为画面整体的场景判断的结果不是棘手场景的情况下，接着判定是否是全目标模式(S41)。

当步骤S41的判定的结果为不是全目标模式的情况下，判定为一般场景而作为场景识别的输出(S43)。在该情况下，由于包含所选择的AF区域在内的分割区域A5和画面整体不是棘手场景并且不是全目标模式，因此不需要进一步的分割区域A1～A4的场景判断，确定为一般场景。

当步骤S41的判定的结果为是全目标模式的情况下，判定四个区域(分割区域A1～A4)中的任意区域是否是棘手场景(S45)。这是因为，在全目标模式的情况下，假定了如下的状况：由于主被摄体的移动等而从当前选择的AF区域变更，优选选择其他的AF区域。这里，AF处理部29根据步骤S31的场景判断结果来判定分割区域A1～A4中的任意分割区域是否是棘手场景(夜景、周期性、远近混合等)。

在步骤S45的判定的结果为四个区域中的任意区域是棘手场景的情况下，采用可靠性最高的棘手场景的结果(S47)。这里，AF处理部29在被判定为棘手场景的区域(分割区域A1～A4)中采用场景识别的可靠性被判定为最高的结果。另一方面，在步骤S45的判定的结果为四个区域中的任意区域都不是棘手场景的情况下，AF处理部29判断为一般场景作为场景识别的输出(S49)。

在步骤S35、S39、S43、S47、S49中决定场景识别的输出之后，结束场景识别的流程，返回到原来的流程。

接下来，使用图14所示的流程图对动态图像待机和动态图像记录中的动作进行说明。该流程与图12所示的静止图像摄影待机的流程相比，除了将步骤S5置换为S6的“对焦？”、将步骤S25、S27置换为S29的“动态图像继续中？”之外，其余相同。因此，以该不同点为中心进行说明。关于动态图像待机/记录中的处理，在使用动态图像记录按钮等而指示了动态图像记录的情况下，执行动态图像记录，在没有指示的情况下，不进行动态图像记录，成为待机状态。

当动态图像待机/记录中的流程开始时，执行场景识别(S1)。AF处理部29进行图9的动态图像AF动作中的基于场景判断用神经网络的处理。接着，AF处理部29执行AF区域对焦识别，针对所选择的AF区域，使用根据场景识别的结果而选择的焦点状态判断用神经网络来判断是否对焦(S3)。如果场景识别的结果判断为棘手场景，则根据该结果而选择图11所示的焦点状态判断用神经网络进行处理。接着，根据AF区域对焦识别的结果来判定是否对焦(S6)。在该判定的结果为是对焦的情况下，返回到步骤S1。

在步骤S6的判定的结果为不是对焦的情况下，在步骤S7及以后，AF处理部29执行用于向对焦位置驱动对焦镜头11的处理。首先，设定参数(S7)，实施扫描驱动(S9)，进行对焦状态的检测处理(S11)。根据该检测处理的结果，AF处理部29判定是否检测到对焦位置(S13)，在检测到对焦位置的情况下，根据步骤S1的场景识别的结果来判定是否是棘手场景(S15)。在该结果为是棘手场景的情况下，AF处理部29执行AF区域对焦识别，使用与判定出的棘手场景对应的焦点状态判断用神经网络来判断是否对焦(S17)。

接着，AF处理部29判定步骤S17中的使用与棘手场景对应的焦点状态判断用神经网络的判断结果是否是非对焦(S19)。如果该判定的结果为是非对焦，则AF处理部29根据判定出的棘手场景而设定参数(S21)，返回到步骤S9，再次执行焦点调节。另一方面，在步骤S19的判定结果为不是非对焦的情况下、即是对焦的情况下，或者在步骤S15中不是棘手场景的情况下，AF处理部29向根据在步骤S11中检测到的对焦位置而计算出的插值对焦位置实施对焦驱动(S23)。接着，判定是否在继续进行动态图像摄影待机或动态图像记录(S29)。如果该判定结果为继续中，则返回到步骤S1。另一方面，如果步骤S29的判定的结果被判定为不继续，则结束动态图像待机/记录中的流程。

像以上所说明那样，在本发明的一个实施方式中，由摄像元件接受被摄体光而生成图像数据，输入图像数据，生成表示图像数据接近规定的多个图像分类中的哪个的第一指标(例如，场景判別)和表示与图像数据对应的图像的模糊状态的第二指标(例如，焦点状态判断)，根据图像数据而进行焦点检测，根据焦点检测结果而控制对焦动作，该对焦动作根据第一指标和第二指标而变更(例如，参照图12)。

此外，在本发明的一个实施方式中，输入图像数据，生成表示是否接近规定的多个图像分类中的哪个的第一指标(例如，图12的S1、图13的S31)，判定对焦镜头是否位于对焦位置附近(例如，参照图12的S13)。在该判定的结果为对焦镜头位于对焦位置附近的情况下，在根据第一指标而被判断为特定的图像分类的情况下(例如，参照图12的S15的“是”)，生成表示与图像数据对应的图像的模糊状态的第二指标(例如，参照图12的S17)。根据该第二指标来判定是否位于真正的对焦位置(例如，参照图12的S19)，在该判定的结果为位于真正的对焦位置的情况下，向真正的对焦位置驱动对焦镜头(例如，参照图12的S23)。因此，即使被摄体为各种棘手场景，也不会成为假对焦或非对焦，能够防止无用的AF动作。

此外，在本发明的一个实施方式中，在实时取景显示中，由神经网络29a来判断是否是棘手场景(例如，参照图12的S1)，在棘手场景的情况下，根据场景而切换AF控制的切换(例如，参照图12的S17、S19、S21)。因此，能够进行与被摄体场景对应的AF控制，防止假对焦并且防止无用的AF动作。

此外，在本发明的一个实施方式中，棘手场景的判断是由基于深度学习的神经网络而进行的。因此，能够高效并且准确地对被摄体场景进行分类。此外，在神经网络的初级设置有卷积层。因此，能够针对画面内的多个区域分别判断场景。

此外，在本发明的一个实施方式中，在将被摄体场景判断为夜景的情况下，在对比度AF的情况下，将亮度评价值的二次方或三次方的值作为校正值，使用该值来校正AF评价值(例如，参照图2B、图12的S11、S13)。此外，在判断为夜景的情况下，使对焦判断的判定基准比通常严格(例如，参照图12的S7、S11、S13)。因此，即使被摄体为夜景场景，也能够防止假对焦，并且能够可靠地对焦于对焦位置。

此外，在本发明的一个实施方式中，在将被摄体场景判断为夜景、重度模糊的情况下，以比通常高的速度驱动对焦镜头，并且使对焦判断的判定基准比通常严格(例如，参照图3、图12的S7、S9、S11、S13)。因此，即使被摄体场景为夜景或重度模糊，也能够防止假对焦，并且高速地到达对焦位置。

此外，在本发明的一个实施方式中，在将被摄体场景判断为周期性被摄体的情况下，使对比度AF的对焦判断的判定基准比通常严格(例如，参照图4、图12的S7、S11、S13)。因此，即使被摄体为周期性被摄体，也能够防止假对焦，可靠地对焦于对焦位置。

此外，在本发明的一个实施方式中，在将被摄体场景判断为远近混合的情况下，向至近侧大幅地进行镜头驱动，确认是否在近前不存在被摄体(例如，参照图5、图12的S7、S11、S13)。因此，即使被摄体远近混合，也能够防止对焦于远方这样的假对焦，能够可靠地对焦于对焦位置。

此外，在本发明的一个实施方式中，在将被摄体判断为棘手场景(例如，夜景、周期性、远近混合)的情况下，在通过进行AF控制而接近了对焦位置的情况下(例如，参照图12的S13、S15)，使用对焦判断时的帧的图像，再次进行场景判断，判断是否处于接近对焦的状态(例如，参照图12的S17、S19)。

此外，在本发明的一个实施方式中，在摄影待机中和1st释放按下中，切换神经网络(例如，参照图9、图11、图12的S3、S5、S17)。因此，能够在摄影待机中的处理和1st释放按下中的处理中分别进行最佳的推理，能够根据各自的状况而进行最佳的AF控制。

此外，在本发明的一个实施方式中，场景判断神经网络(NN)将画面整体分割为多个，按照各个区域输出判断结果(例如，参照图10)。因此，即使在画面内存在多个被摄体的情况下也能够进行最佳的AF控制。

此外，在本发明的一个实施方式中，根据被摄体的场景的判断结果而切换对焦状态判断用的神经网络(NN)(例如，参照图11、图12的S17)。因此，能够进行与被摄体的场景对应的AF控制。

另外，在本发明的一个实施方式中，学习是通过深度学习而进行的。但是，不限于深度学习，也可以是机器学习等利用了人工智能的学习。此外，外部的装置输入预先生成的学习结果(推理模型)，设定到神经网络29a。但是，在照相机等中，也可以内置学习用的神经网络，与外部的数据库等协作并且生成学习结果(推理模型)。而且，在照相机中设置了神经网络29a进行推理。但是，不限于此，也可以配置设置于外部的云内的神经网络，通过互联网等而始终连接，根据云内的神经网络的推理结果而进行焦点调节等。

此外，在本发明的一个实施方式中，作为棘手场景，选取了夜景、周期性、远近混合这三种的场景进行了说明。但是，不限于这三种场景，也可以追加其他的场景。此外，作为夜景场景，对存在夜空的星星或夜景中的装饰灯等的装饰光那样的、存在点光源的场景进行了说明。此外，作为存在点光源的场景，也存在使用荧光显微镜等来观察具有亮点的试样的情况。在这样的观察具有亮点的试样的情况下，拍摄该试样而进行焦点调节时也能够使用本发明的方法。

此外，在本发明的一个实施方式中，摄像信号处理部22、摄像控制部23、AF处理部29、AE处理部30等采用了与CPU 29独立的结构，但当然也可以将该各部分的一部分或全部与CPU 29一体构成。此外，该各部分也可以是基于使用Verilog来描述的程序语言而生成的门电路等硬件结构，并且，也可以使用DSP(Digital Signal Processor：数字信号处理器)等利用了软件的硬件结构。当然，它们也可以适当组合。

此外，在本发明的一个实施方式中，作为摄影用的设备，使用数字照相机进行了说明，但作为照相机，既可以是数字单镜头反光照相机也可以是无反相机还可以是紧凑型数字照相机，也可以是摄像机、电影摄像机那样的动态图像用的照相机，还可以是内置于移动电话、智能手机、便携信息终端、个人计算机(PC)、平板型计算机、游戏设备等中的照相机、医疗用照相机、显微镜等科学设备用的照相机、自动车辆搭载用照相机、监视用照相机。不论如何，只要是用于进行镜头的焦点调节的设备，就能够应用本发明。

此外，关于在本说明书中所说明的技术中的主要通过流程图进行了说明的控制，大多能够通过程序进行设定，有时也保存于记录介质或记录部。关于向该记录介质、记录部记录的方式，可以在产品出厂时记录，也可以利用分发的记录介质，也可以经由互联网进行下载。

此外，在本发明的一个实施方式中，使用流程图对本实施方式的动作进行了说明，但处理过程可以改变顺序，此外，也可以省略任意的步骤，也可以追加步骤，还可以变更各步骤内的具体的处理内容。

此外，关于权利要求书、说明书以及附图中的动作流程，为了方便，使用了“首先”、“接着”等表现顺序的词汇进行了说明，但除非另有说明，并不是指需要按照该顺序进行实施。

本发明不限于上述实施方式，能够在实施阶段在不脱离其主旨的范围内使结构要素变形并具体化。此外，能够通过适当组合在上述实施方式中公开的多个结构要素而形成各种发明。例如，也可以删除在实施方式中公开的所有结构要素中的几个结构要素。而且，也可以适当组合不同的实施方式内的结构要素。

Claims (21)

1.一种摄像装置，其具有以下的部分：

摄像部，其接受被摄体光而生成图像数据；

对焦控制部，其根据所述图像数据而进行焦点检测，根据焦点检测结果而控制对焦驱动；

指标生成部，其被输入所述图像数据，生成第一指标和第二指标，该第一指标表示所述图像数据接近规定的多个图像分类中的哪个图像分类，该第二指标表示与所述图像数据对应的图像的模糊状态；以及

控制部，其根据所述指标生成部的输出而变更所述对焦控制部的对焦驱动的控制。

2.根据权利要求1所述的摄像装置，其中，

所述指标生成部具有：第一神经网络，其生成表示所述图像数据是多个图像分类中的哪个图像分类的指标；以及第二神经网络，其生成表示与所述图像数据对应的图像的模糊状态的指标。

3.根据权利要求2所述的摄像装置，其中，

所述指标生成部对应于图像的区域而将所述图像数据分割为多个，将分割后的各个图像数据输入到所述第一神经网络和/或所述第二神经网络。

4.根据权利要求1所述的摄像装置，其中，

所述指标生成部具有在初级包含卷积层的神经网络。

5.根据权利要求1所述的摄像装置，其中，

所述指标生成部将夜景场景、周期性被摄体场景、远近混合场景、和上述场景以外的场景中的至少任意一种场景作为所述多个图像分类。

6.根据权利要求5所述的摄像装置，其中，

所述对焦控制部在所述第一指标表示所述夜景场景的情况下，根据亮度来校正作为焦点检测的结果而生成的评价值。

7.根据权利要求5所述的摄像装置，其中，

所述对焦控制部在所述第一指标表示所述远近混合场景的情况下，使对焦镜头的驱动方向向至近侧变更而进行焦点检测。

8.根据权利要求5所述的摄像装置，其中，

所述对焦控制部在所述第一指标表示所述夜景场景并且所述第二指标示出比规定量大的模糊量的情况下，提高用于判断为对焦的阈值。

9.根据权利要求2所述的摄像装置，其中，

所述指标生成部的所述第二神经网络对应于图像分类而具有多个神经网络，根据所述第一指标对所述多个神经网络进行选择而生成所述第二指标。

10.根据权利要求2所述的摄像装置，其中，

所述指标生成部对应于图像的区域而将图像数据分割为多个，针对各个区域和图像整体，使用所述第一神经网络进行图像分类，根据该图像分类结果而生成所述第一指标。

11.根据权利要求1所述的摄像装置，其中，

所述对焦控制部在所述第二指标表示重度模糊状态的情况下，以比通常的速度高的速度来驱动对焦镜头。

12.一种焦点调节方法，其具有以下的步骤：

由摄像元件接受被摄体光而生成图像数据；

输入所述图像数据，生成第一指标和第二指标，该第一指标表示所述图像数据接近规定的多个图像分类中的哪个图像分类，该第二指标表示与所述图像数据对应的图像的模糊状态；以及

在根据所述图像数据进行焦点检测并且根据焦点检测结果控制对焦动作时，基于所述第一指标和第二指标来变更所述对焦动作的控制。

13.根据权利要求12所述的焦点调节方法，其中，

作为所述多个图像分类，包含夜景场景、周期性被摄体场景、远近混合场景、和上述场景以外的场景中的至少任意一种场景。

14.根据权利要求13所述的焦点调节方法，其中，

在所述第一指标表示所述夜景场景的情况下，根据亮度来校正作为焦点检测的结果而生成的评价值。

15.根据权利要求13所述的焦点调节方法，其中，

在所述第一指标表示所述远近混合场景的情况下，使对焦镜头的驱动方向向至近侧变更而进行焦点检测。

16.根据权利要求13所述的焦点调节方法，其中，

在所述第一指标表示所述夜景场景并且所述第二指标表示比规定量大的模糊量的情况下，提高用于判断为对焦的阈值。

17.一种计算机可读的存储介质，其存储有计算机程序，其中，

在由处理器执行该程序时，执行以下的步骤：

由摄像元件接受被摄体光而生成图像数据；

输入所述图像数据，生成第一指标和第二指标，该第一指标表示所述图像数据接近规定的多个图像分类中的哪个图像分类，该第二指标表示与所述图像数据对应的图像的模糊状态；以及

在根据所述图像数据进行焦点检测并且根据焦点检测结果控制对焦动作时，基于所述第一指标和第二指标来变更所述对焦动作的控制。

18.根据权利要求17所述的存储介质，其中，

作为所述多个图像分类，包含夜景场景、周期性被摄体场景、远近混合场景、和上述场景以外的场景中的至少任意一种场景。

19.根据权利要求18所述的存储介质，其中，

在所述第一指标表示所述夜景场景的情况下，根据亮度来校正作为焦点检测的结果而生成的评价值。

20.根据权利要求18所述的存储介质，其中，

在所述第一指标表示所述远近混合场景的情况下，使对焦镜头的驱动方向向至近侧变更而进行焦点检测。

21.根据权利要求18所述的存储介质，其中，

在所述第一指标表示所述夜景场景并且所述第二指标表示比规定量大的模糊量的情况下，提高用于判断为对焦的阈值。

Images