CN114500789A - 摄像设备及其控制方法、以及记录介质 - Google Patents

Abstract

本发明提供摄像设备及其控制方法、以及记录介质。该摄像设备能够进行被摄体的自动摄像和自动认证登记。摄像设备包括使镜筒在平摇方向和倾斜方向旋转移动的驱动单元，并且能够在驱动单元的控制下改变摄像方向。摄像设备能够进行搜索在拍摄的图像数据中检测到的被摄体、并对被摄体进行认证和存储的自动认证登记。摄像设备的第一控制单元进行与是否满足用于进行自动认证登记的条件有关的确定以及与是否满足用于进行自动摄像的条件有关的确定。第一控制单元在进行用于自动摄像的搜索的同时执行自动认证登记确定处理和自动摄像确定处理，并基于确定结果来确定进行自动认证登记的定时。

Description

摄像设备及其控制方法、以及记录介质

技术领域

本发明涉及摄像设备中的自动摄像技术。

背景技术

当使用摄像设备拍摄静止图像或运动图像时，通常摄影者通过取景器等来确定摄像对象，检查自己的摄像状态，并调整摄像对象的取景。在现有技术中，存在如下机制：检测用户的操作错误或外部环境，并通知用户相机不适合摄像，或者以使得相机进入适合摄像的状态的方式来控制相机。

对于通过用户的操作来进行摄像的摄像设备，PCT日本特表第2016-536868号公开了一种生活日志相机，其定期地且连续地进行摄像而无需用户给出摄像指令。生活日志相机在通过带子等佩戴在用户身上的情况下使用，并且以规定时间间隔将用户在日常生活中看到的场景记录为视频。在使用生活日志相机进行摄像时，以规定时间间隔进行摄像，而不是在用户想要的定时(例如按下快门按钮时等)摄像。因此，可以记录用户通常不会拍摄的意外时刻的视频。存在自动拍摄物体的摄像设备。日本特开第2001-51338号公开了一种在满足预定条件的情况下自动进行摄像的设备。

另一方面，日本特许第4634527号公开了一种具有个人认证功能的摄像设备，该个人认证功能用于通过存储与被摄体有关的信息来确定摄像对象。该摄像设备优先聚焦于基于存储的信息的被摄体。个人认证是通过量化面部等的特征的数量来识别个人的处理，但是面部的特征的数量根据人的成长、面部的角度、以及光线照射面部的方式而改变。由于仅通过单个特征量数据难以识别个人，因此使用如下方法：通过针对同一个人使用多个特征量数据，来提高认证精度。日本特开第2007-325285号公开了如下方法：将用于存储与被摄体有关的信息的相机和用于拍摄被摄体的相机分开。可以独立地控制个人认证的摄像定时和被摄体的摄像定时。

在现有技术中，如果自动摄像的要求和自动认证登记的要求不同，则很难在一次摄像中同时实现这两个要求。

发明内容

本发明是为了控制在能够进行自动摄像的摄像设备中对被摄体进行自动认证登记的定时。

根据本发明的实施例，提供了一种摄像设备，其能够进行自动摄像和自动认证登记，所述摄像设备包括：摄像单元，其被配置为拍摄被摄体；搜索单元，其被配置为搜索在所述摄像单元获取的图像数据中所检测到的被摄体；认证登记单元，其被配置为对检测到的被摄体进行认证和存储；以及控制单元，其被配置为进行与是否满足所述认证登记单元进行自动认证登记的第一条件有关的认证登记确定以及与是否满足用于进行自动摄像的第二条件有关的摄像确定，并控制自动摄像和自动认证登记的定时，其中，所述控制单元通过在控制所述搜索单元中的搜索的同时、执行与检测到的被摄体相关的认证登记确定和摄像确定，来确定自动认证登记的定时。

一种在摄像设备中执行的控制方法，所述摄像设备能够进行自动摄像和自动认证登记，所述控制方法包括：搜索在摄像单元获取的图像数据中检测到的被摄体；对检测到的被摄体进行认证和登记；以及进行与是否满足进行自动认证登记的第一条件有关的认证登记确定以及与是否满足用于进行自动摄像的第二条件有关的摄像确定，并控制自动摄像和自动认证登记的定时，其中，通过在控制对被摄体的搜索的同时执行与检测到的被摄体相关的认证登记确定和摄像确定，所述控制确定自动认证登记的定时。

一种非暂时性记录介质，其存储有能够进行自动摄像和自动认证登记的摄像设备的控制程序，所述控制程序使计算机进行所述摄像设备的控制方法的各步骤，所述控制方法包括：搜索在摄像单元获取的图像数据中检测到的被摄体；对检测到的被摄体进行认证和登记；以及进行与是否满足进行自动认证登记的第一条件有关的认证登记确定以及与是否满足用于进行自动摄像的第二条件有关的摄像确定，并控制自动摄像和自动认证登记的定时，其中，通过在控制对被摄体的搜索的同时执行与检测到的被摄体相关的认证登记确定和摄像确定，所述控制确定自动认证登记的定时。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A和图1B是示意性地示出实施例的相机的外观和驱动方向的图。

图2是示出实施例的相机的整体构造的框图。

图3是示出相机与外部设备之间的无线通信系统的构造示例的图。

图4是示出图3中的外部设备的构造的框图。

图5是示出相机和外部设备的构造的图。

图6是示出图5中的外部设备的构造的框图。

图7是示出第一控制单元的操作的流程图。

图8是示出第二控制单元的操作的流程图。

图9A和图9B是示出摄像模式处理的流程图。

图10A至图10D是示出拍摄图像中的区域划分的图。

图11是示出基于自动认证登记确定和自动摄像确定的执行确定的表。

图12A和图12B是示出构图调整中的被摄体布置的图。

图13是示出神经网络的图。

图14是示出外部设备中的图像观看状态的图。

图15是示出学习模式确定的流程图。

图16是示出学习模式处理的流程图。

图17是示出摄像设备的构造的框图。

图18是示出人物信息的示例的表。

图19是示出在外部设备上显示的人物信息的画面示例的图。

图20A和图20B是示出图像数据和被摄体信息的图。

图21是示出由摄像设备进行的周期操作的概要的流程图。

图22A和图22B是示出临时登记确定处理的流程图和表。

图23A和图23B是示出在由于临时登记确定而调整视角之后的图像数据的图和表。

图24A和图24B是示出主要登记确定处理的流程图和表。

图25是示出第一主要登记计数确定处理的流程图。

图26是示出第二主要登记计数确定处理的流程图。

图27A和图27B是示出摄像对象确定处理的流程图和表。

图28A和图28B是示出图像数据和被摄体信息的示例的图。

图29是示出在由于摄像对象确定而调整视角之后的图像的示例的图。

图30是示出登记的人物信息的示例的图。

图31A和图31B是示出图像数据和被摄体信息的示例的图。

图32是示出由摄像设备进行的周期操作的概要的流程图。

图33A和图33B是示出重要性确定处理的流程图和表。

图34A和图34B是示出摄像对象确定处理的流程图和表。

图35A和图35B是示出与变型例相关的图像数据和被摄体信息的示例的图。

具体实施方式

在下文中，将参照附图详细描述本发明的实施例。首先，将描述关于本发明的技术背景。例如，在以生活日志为目的的摄像中，定期地且连续地进行摄像，因此可能记录用户不感兴趣的图像信息。因此，存在如下方法：自动进行摄像设备的平摇操作或倾斜操作以搜索周围被摄体，并以包括检测到的被摄体的视角进行摄像。因此，可以增加记录用户喜欢的图像信息的可能性。

在能够自动控制摄像方向的摄像设备中，需要搜索摄像对象被摄体并且还不能错过摄像定时。需要考虑到被摄体的数量、移动方向和背景来利用平摇和倾斜机构以及变焦机构调整摄像构图，并且还需要在摄像定时迅速进行摄像操作。

可以通过使用个人认证信息来检测优先搜索的摄像对象被摄体，并且个人认证信息可以用于在摄像时确定包含在视角中的被摄体。因此，可以增加记录用户更喜欢的图像的可能性。

然而，在能够进行自动摄像的摄像设备中，如果不自动执行个人认证的登记，则可能会显著降低便利性。通过量化从面部图像获得的特征量来进行个人认证中的个人识别处理。然而，当数值因人的成长变化、面部角度的轻微变化、照在面部的光线的轻微调整等而发生变化时，存在如下可能性：当人物应该是同一个人时，而该人物未被视为同一个人。在这种情况下，当由于被摄体跟踪控制中的错误认证而将人物错误地识别为其他人时，摄像设备跟踪该其他人，结果存在如下问题：错过了本来期望被拍摄的人物的摄像机会。因此，在能够进行自动摄像的摄像设备中，个人认证的可靠度与自动摄像的可靠度直接相关。关于对于同一个人的个人认证的登记信息，通过随时添加登记信息，使用多个登记信息来维持和提高认证精度是重要的，并且需要自动更新登记信息。为了实现更高的性能和更方便的自动摄像，个人认证的自动登记非常重要。

需要高度准确的面部图像数据来登记更准确的个人认证。换言之，假设在受光学透镜的像差影响最小的光学中心布置构图。捕捉较大的面部区域的图像是必要的，并且需要使用摄像设备的静止图像拍摄功能以获得聚焦于被摄体的高分辨率图像。然而，在自动摄像中，通过考虑多个被摄体和背景来进行构图调整，以免错过摄像机会。因此，可能无法同时满足自动摄像所需的条件和个人认证登记所需的构图调整条件。因此，在本实施例中，将描述如下摄像设备的示例，该摄像设备能够控制定时以在不妨碍自动摄像的摄像机会的情况下自动登记个人认证。

图1A是示意性地示出本实施例的摄像设备的外观的图。除了电源开关之外，相机101还配设有用于操作相机的操作构件。镜筒102一体地包括摄像透镜组和摄像元件作为用于对被摄体摄像的摄像光学系统，并且可移动地附接到相机101的固定部103。具体地，镜筒102经由第一旋转单元104和第二旋转单元105(第一旋转单元104和第二旋转单元105是能够相对于固定部103旋转驱动的机构)附接到固定部103，并因此能够改变其摄像方向。第一旋转单元104是沿倾斜方向驱动镜筒102的单元(在下文中，称为倾斜旋转单元)。第二旋转单元105是沿平摇方向驱动镜筒102的单元(在下文中，称为平摇旋转单元)。角速度计106和加速度计107布置在相机101的固定部103处。例如，角速度计106具有陀螺仪传感器，并且加速度计107具有加速度传感器。

图1B是示出三维正交坐标系(X轴、Y轴和Z轴)与三个方向(俯仰、横摆和侧倾)之间的关系的示意图。X轴(水平轴)、Y轴(垂直轴)和Z轴(深度方向的轴)中的各个相对于固定部103的位置被定义。绕X轴的方向被定义为俯仰方向，绕Y轴的方向被定义为横摆方向，并且绕Z轴的方向被定义为侧倾方向。

倾斜旋转单元104包括沿图1B所示的俯仰方向旋转驱动镜筒102的马达驱动机构。平摇旋转单元105包括沿图1B所示的横摆方向旋转驱动镜筒102的马达驱动机构。即，相机101包括沿两个轴向方向旋转驱动镜筒102的机构。

角速度计106和加速度计107分别输出角速度检测信号和加速度检测信号。基于来自角速度计106或加速度计107的输出信号，检测相机101的振动并且旋转驱动倾斜旋转单元104和平摇旋转单元105。因此，校正了镜筒102的抖动或倾斜。基于角速度计106和加速度计107的输出信号，通过使用一定时段内的测量结果来检测相机101的移动。

图2是示出相机101的整体构造的框图。第一控制单元223包括计算处理单元。计算处理单元为中央处理单元(CPU)、微处理单元(MPU)等。存储器215包括动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。第一控制单元223根据存储在非易失性存储器(EEPROM)216中的程序执行各种处理，从而控制相机101的各个块或控制各个块之间的数据传输。非易失性存储器216是电可擦除可编程存储器，并且存储用于操作第一控制单元223的常数、程序等。

变焦单元201包括进行缩放(形成的被摄体图像的放大/缩小)的变焦透镜。变焦驱动控制单元202驱动和控制变焦单元201并在驱动控制期间检测焦距。聚焦单元203包括调整焦点的聚焦透镜。聚焦驱动控制单元204驱动和控制聚焦单元203。摄像单元206包括摄像元件，接收通过各个透镜组入射的光，并将与光量相对应的电荷信息输出到图像处理单元207作为模拟图像信号。变焦单元201、聚焦单元203和摄像单元206布置在镜筒102中。

图像处理单元207对通过对模拟图像信号应用A/D转换而获得的数字图像数据进行图像处理。图像处理包括失真校正、白平衡调整、颜色插值处理等，并且图像处理单元207输出图像处理后的数字图像数据。图像记录单元208获取从图像处理单元207输出的数字图像数据。数字图像数据被转换为诸如联合图像专家组(JPEG)格式等的记录格式。转换后的数据被存储在存储器215中并被发送到将在后面描述的视频输出单元217。

镜筒旋转驱动单元205驱动倾斜旋转单元104和平摇旋转单元105以在倾斜方向和平摇方向上旋转地移动镜筒102。设备抖动检测单元209包括检测相机101在三个轴向方向上的角速度的角速度计106和检测相机101在三个轴向方向上的加速度的加速度计107。第一控制单元223基于来自设备抖动检测单元209的检测信号来计算设备的旋转角度、设备的移位量等。

语音输入单元213利用设置在相机101中的麦克风从相机101周围获取语音信号，将语音信号转换为数字语音信号，并将数字语音信号发送到语音处理单元214。语音处理单元214对输入的数字语音信号进行诸如优化处理等的语音相关处理。通过第一控制单元223将由语音处理单元214处理的语音信号发送到存储器215。存储器215临时存储由图像处理单元207和语音处理单元214获得的图像信号和语音信号。

图像处理单元207和语音处理单元214读取临时存储在存储器215中的图像信号和语音信号，对图像信号进行编码，并对音频信号进行编码等，以生成压缩图像信号和压缩语音信号。第一控制单元223将生成的压缩图像信号和压缩语音信号发送到记录/再现单元220。

记录/再现单元220将由图像处理单元207和语音处理单元214生成的压缩图像信号和压缩语音信号、与摄像相关的控制数据等记录在记录介质221上。如果语音信号没有被压缩和编码，则第一控制单元223将语音处理单元214生成的语音信号和图像处理单元207生成的压缩图像信号发送到记录/再现单元220以记录在记录介质上221。

记录介质221是内置于相机101的记录介质或可从相机101拆卸的记录介质。记录介质221可以记录各种数据，诸如由相机101生成的压缩图像信号、压缩语音信号和语音信号等。通常，容量大于非易失性存储器216的容量的介质用作记录介质221。例如，作为记录介质221，可以使用任何类型的记录介质，诸如硬盘、光盘、磁光盘、CD-R、DVD-R、磁带、非易失性半导体存储器和闪存等。

记录/再现单元220读取和再现记录在记录介质221上的压缩图像信号、压缩语音信号、语音信号、各种数据和程序。第一控制单元223将读取的压缩图像信号和压缩语音信号分别发送到图像处理单元207和语音处理单元214。图像处理单元207和语音处理单元214将压缩图像信号和压缩语音信号临时存储在存储器215中，根据预定过程对信号进行解码，并将解码后的信号发送到视频输出单元217。

多个麦克风布置在相机101的语音输入单元213中。语音处理单元214可以检测声音相对于设置有多个麦克风的平面的方向，并且检测信息用于稍后将描述的被摄体搜索或自动摄像。语音处理单元214检测特定的语音命令。语音命令例如可以是预先登记的某些命令，或者在用户可以在相机中登记特定语音的实施例中，可以是基于登记语音的命令。语音处理单元214还识别声音场景。在声音场景识别中，通过基于大量语音数据预先进行了机器学习的网络来执行声音场景确定处理。例如，在语音处理单元214中设置用于检测诸如“欢呼”、“掌声”或“讲话”等的特定场景的网络，并检测特定声音场景或特定语音命令。当检测到特定声音场景或特定语音命令时，语音处理单元214将检测触发信号输出至第一控制单元223或第二控制单元211。

第二控制单元211与控制整个相机系统的第一控制单元223分开设置，并控制提供给第一控制单元223的电力。第一电源单元210和第二电源单元212分别提供用于操作第一控制单元223和第二控制单元211的电力。通过按下设置在相机101上的电源开关，首先向第一控制单元223和第二控制单元211两者供电。如稍后将描述的，第一控制单元223还进行停止从第一电源单元210向其供电的控制。即使第一控制单元223不进行操作，第二控制单元211也进行操作，因此来自设备抖动检测单元209和语音处理单元214的信息被输入到第二控制单元211。第二控制单元211基于各种输入信息来确定是否启动第一控制单元223。如果确定为将启动第一控制单元223，则第二控制单元211指示第一电源单元210向第一控制单元223供电。

语音输出单元218具有内置在相机101中的扬声器，并且例如在摄像期间从扬声器输出具有预设样式的语音。LED控制单元224控制设置在相机101上的发光二极管(LED)。在摄像等期间基于预设的发光样式或闪烁样式来控制LED。

视频输出单元217具有例如视频输出端子，并且输出图像信号以便在与其连接的外部显示器上显示视频。语音输出单元218和视频输出单元217可以是一个组合端子，例如高清晰度多媒体接口(HDMI)端子。

通信单元222是在相机101与外部设备之间进行通信的处理单元。例如，通信单元222发送和接收诸如语音信号、图像信号、压缩语音信号和压缩图像信号等的数据。通信单元222接收用于开始或结束摄像的命令以及与摄像相关的控制信号(诸如平摇、倾斜和变焦驱动等)，并且将命令和控制信号输出到第一控制单元223。因此，相机101可以根据来自外部设备的指令来驱动。通信单元222在相机101与外部设备之间发送和接收信息，诸如由稍后将描述的学习处理单元219处理的与学习相关的各种参数等。通信单元222包括诸如红外通信模块、蓝牙通信模块、无线LAN通信模块、无线USB或GPS接收器等的无线通信模块。

环境传感器226以预定周期检测相机101的周围环境的状态。环境传感器226例如使用以下传感器来构成。

·温度传感器，其检测相机101周围的温度

·气压传感器，其检测相机101周围的气压

·照度传感器，其检测相机101周围的亮度

·湿度传感器，其检测相机101周围的湿度

·UV传感器，其检测相机101周围的紫外线的量

除了各种检测信息(温度信息、气压信息、照度信息、湿度信息和UV信息)之外，还可以根据各种信息来计算预定时间间隔的变化率。换言之，可以使用温度变化量、气压变化量、照度变化量、湿度变化量和紫外线变化量来确定自动摄像等。

参照图3，将描述相机101与外部设备301之间的通信。图3是示出相机101与外部设备301之间的无线通信系统的构造示例的图。相机101是具有摄像功能的数字相机，并且外部设备301是包括蓝牙通信模块和无线LAN通信模块的智能设备。

在图3中，相机101与外部设备301之间的通信由第一通信302(参照实线箭头)和第二通信303(参照虚线箭头)指示。例如，第一通信302是符合IEEE802.11标准系列的无线局域网(LAN)通信。第二通信303是在控制站与下级站等之间具有主从关系的通信，诸如蓝牙低功耗(以下称为“BLE”)等。无线LAN和BLE是通信方法的示例。各个通信设备具有两个或多个通信功能，例如，可以利用用于在控制站与下级站之间的关系中进行通信的一个通信功能来控制其他通信功能，但是可以使用其他通信方法。然而，使用无线LAN等的第一通信302可以进行比使用BLE等的第二通信303更高速的通信。假设第二通信303比第一通信302消耗更少的电力和/或具有更短的可通信距离。

接下来，参照图4，将描述外部设备301的构造。外部设备301包括例如用于无线LAN的无线LAN控制单元401、用于BLE的BLE控制单元402和用于公共无线通信的公共无线控制单元406。

无线LAN控制单元401进行无线LAN的RF控制、通信处理、用于进行使用符合IEEE802.11标准系列的无线LAN的通信的各种类型的控制的驱动程序处理、以及与使用无线LAN的通信相关的协议处理。BLE控制单元402进行BLE的RF控制、通信处理、用于进行使用BLE的通信的各种类型的控制的驱动程序处理、以及与使用BLE的通信相关的协议处理。公共无线控制单元406进行公共无线通信的RF控制、通信处理、用于进行公共无线通信的各种类型的控制的驱动程序处理、以及与公共无线通信相关的协议处理。公共无线通信是符合例如国际多媒体电信(IMT)标准或长期演进(LTE)标准的通信。

外部设备301还包括包发送/接收单元403。包发送/接收单元403进行如下处理：执行使用无线LAN和BLE的通信、以及与公共无线通信相关的包的发送和接收中的至少一者。本实施例的外部设备301将被描述为在通信中进行包的发送和接收中的至少一者，但是除了包交换之外还可以使用诸如线路交换等的其他通信形式。

外部设备301的控制单元411包括CPU等，并且通过执行存储在存储单元404中的控制程序来控制整个外部设备301。存储单元404存储例如由控制单元411执行的控制程序、以及诸如通信所需的参数等的各种信息。通过控制单元411执行存储在存储单元404中的控制程序来进行稍后将描述的各种操作。

全球定位系统(GPS)接收单元405接收被从人造卫星发送通知的GPS信号，分析GPS信号，并估计外部设备301的当前位置(经度和纬度信息)。另选地，存在如下实施例：通过使用Wi-Fi定位系统(WPS)等，基于与周围存在的无线网络有关的信息来估计外部设备301的当前位置。例如，假设如下情况：GPS接收单元405获取的当前GPS位置信息位于预设位置范围内(以检测位置为中心的预定半径内)，或者在GPS位置信息中发生预定位置变化或更大的变化。在这种情况下，经由BLE控制单元402向相机101通知移动信息，并且移动信息被用作稍后将描述的用于自动摄像和自动编辑的参数。

显示单元407具有能够输出视觉上可识别信息的功能(诸如液晶显示器(LCD)或LED等)、或者能够输出声音的功能(诸如扬声器等)，并且呈现各种信息。操作单元408包括例如用于从用户接收对外部设备301的操作的按钮。例如可以利用触摸面板来构造显示单元407和操作单元408。

语音输入/语音处理单元409通过使用例如内置在外部设备301中的通用麦克风，来获取与用户发出的语音有关的信息。可以通过语音识别处理来识别用户的操作命令。存在如下方法：通过使用外部设备301的专用应用，来通过用户的言语获取语音命令。在这种情况下，可以经由使用无线LAN的第一通信302，来登记用于通过相机101的语音处理单元214来识别的特定语音命令。电源单元410向外部设备301的各个单元提供必要的电力。

相机101和外部设备301通过使用无线LAN控制单元401和BLE控制单元402的通信来进行数据的发送和接收。例如，发送和接收诸如语音信号、图像信号、压缩语音信号和压缩图像信号等的数据。进行从外部设备301到相机101的摄像指令的发送、语音命令登记数据的发送、基于GPS位置信息的预定位置检测通知的发送、地点移动通知的发送等。通过使用外部设备301的专用应用来发送和接收学习数据。

图5是示意性地示出能够与相机101进行通信的外部设备501的构造示例的图。例如，相机101是具有摄像功能的数字相机。外部设备501是包括能够通过使用蓝牙通信模块等与相机101进行通信的各种感测单元的可穿戴设备。

外部设备501具有外部设备501可以佩戴在用户的手臂等上的构造。外部设备501配设有以规定的周期检测生物信息(诸如用户的脉搏、心率、血流量等)的传感器、能够检测用户的运动状态的加速度传感器等。

外部设备501的生物信息检测单元602例如包括分别检测用户的脉搏、心率和血流量的脉搏传感器、心率传感器和血流量传感器以及通过使用导电聚合物与皮肤接触来检测电位变化的传感器。在本实施例中，生物信息检测单元602中包括的心率传感器将用于描述。心率传感器通过使用例如LED用红外光照射皮肤、利用光接收传感器检测透过身体组织的红外光、并对检测到的红外光进行信号处理，来检测用户的心率。生物信息检测单元602将检测到的生物信息信号输出到控制单元607(参照图6)。

外部设备501的抖动检测单元603检测用户的运动状态。抖动检测单元603包括例如加速度传感器或陀螺仪传感器，并获取移动信息和运动检测信息。移动信息是基于加速度信息、运动速度等指示用户是否正在移动的信息。运动检测信息是通过检测运动(诸如用户是否正在摆动手臂并进行动作等)而获得的信息。

外部设备501包括显示单元604和操作单元605。显示单元604输出视觉上可识别的信息，例如LCD或LED等。操作单元605从用户接收对外部设备501的操作指令。

图6是示出外部设备501的构造的框图。外部设备501包括控制单元607、通信单元601、生物信息检测单元602、抖动检测单元603、显示单元604、操作单元605、电源单元606和存储单元608。

控制单元607包括CPU等，并且通过执行存储在存储单元608中的控制程序来控制整个外部设备501。存储单元608存储例如由控制单元607执行的控制程序和诸如通信所需的参数等的各种信息。通过控制单元607执行存储在存储单元608中的控制程序来进行稍后将描述的各种操作。电源单元606向外部设备501的各个单元供电。

操作单元605从用户接收对外部设备501的操作指令，并将其通知给控制单元607。操作单元605通过使用例如内置在外部设备501中的通用麦克风来获取与用户发出的语音有关的信息，通过语音识别处理识别用户的操作命令，并将其通知控制单元607。显示单元604输出视觉上可识别的信息或从扬声器等输出声音，并向用户呈现各种信息。

控制单元607从生物信息检测单元602和抖动检测单元603获取检测信息，并处理检测信息。由控制单元607处理的各种检测信息通过通信单元601被发送到相机101。例如，外部设备501可以在检测到用户的心率变化的定时将检测信息发送到相机101，还可以在移动状态(诸如步行移动、跑步移动和停止等)改变的定时发送检测信息。外部设备501可以在检测到预设的手臂摆动运动的定时将检测信息发送到相机101，还可以在检测到预设距离的移动的定时发送检测信息。

参照图7，将描述相机101的操作序列。图7是示出由相机101的第一控制单元223(主CPU)进行的处理示例的流程图。当用户操作设置在相机101上的电源按钮时，从第一电源单元210向第一控制单元223和相机101的各个组成单元供电。从第二电源单元212向第二控制单元211供电。稍后将参照图8的流程图描述第二控制单元211的操作细节。

在向设备供电之后，开始图7中的处理，并且在S701中，读取启动条件。在本实施例中，与启动电源的条件有关的情况下有以下三种情况。

(1)手动按下电源按钮并由此启动电源的情况

(2)通过外部通信(例如BLE通信)从外部设备(例如外部设备301)发送启动指令并由此启动电源的情况

(3)响应于来自第二控制单元211的指令启动电源的情况

这里，在(3)的情况下，即，如果响应于来自第二控制单元211的指令启动电源，则读取在第二控制单元211中计算出的启动条件。稍后将参照图8描述其细节。这里读取的启动条件用作被摄体搜索或自动摄像期间的一个参数元素，稍后也会描述。当在S701中结束启动条件的读取时，流程进入S702中的处理。

在S702中，读取各种传感器中的检测信号。此处读取的传感器信号如下。

·来自检测振动的传感器(诸如设备抖动检测单元209的陀螺仪传感器或加速度传感器等)的信号

·与倾斜旋转单元104和平摇旋转单元105的各个旋转位置有关的信号

·语音处理单元214检测到的语音信号、通过特定语音识别获得的检测触发信号、以及声音方向检测信号

·来自环境传感器226的环境信息的检测信号

在S702中读取各种传感器中的检测信号，并且流程进入S703中的处理。

在S703中，第一控制单元223检测是否从外部设备发送了通信指令，并且如果已存在通信指令，则控制与外部设备的通信。例如，执行从外部设备301读取各种信息的处理。各种信息包括与使用无线LAN或BLE的远程操作、对语音信号、图像信号、压缩语音信号、压缩图像信号等的发送和接收、来自外部设备301的用于摄像的操作指令以及语音命令登记数据的发送相关的信息。各种信息包括与基于GPS位置信息的预定位置检测通知、地点移动通知、学习数据的发送和接收等相关的信息。如果需要从外部设备501更新用户的运动信息和手臂动作信息以及诸如心率等的生物信息，则执行使用BLE的信息读取处理。已经描述了环境传感器226安装在相机101上的示例，但是环境传感器226可以安装在外部设备301或外部设备501上。在这种情况下，在S703中，执行使用BLE的环境信息读取处理。在S703中进行通信读取，流程进入S704中的处理。

在S704中，确定模式设置。将描述“自动摄像模式”(S710)、“自动编辑模式”(S712)、“自动图像发送模式”(S714)、“学习模式”(S716)和“自动文件删除模式”(S718)的示例。在接下来的S705中，进行用于确定S704中的操作模式是否被设置为低功耗模式的处理。低功耗模式是在操作模式不是“自动摄像模式”、“自动编辑模式”、“自动图像发送模式”、“学习模式”和“自动文件删除模式”中的任何一个的情况下设置的模式。如果在S705中确定为操作模式被设置为低功耗模式，则流程进入S706中的处理，并且如果在S705中确定为操作模式没有被设置为低功耗模式，则流程进入S709中的处理。

在S706中，进行用于将与在第二控制单元211中确定的启动因素相关的各种参数通知给第二控制单元211(子CPU)的处理。各种参数包括抖动检测确定参数、声音检测参数和时间经过检测参数，并且通过在稍后将描述的学习处理中学习参数来改变参数值。当S706中的处理结束时，流程进入S707中的处理，并且关闭对第一控制单元223(主CPU)的供电，使得结束一系列处理。

在S709中，进行用于确定S704中的模式设置是否为自动摄像模式的处理。随后，在S711、S713、S715和S717中，进行用于确定各个对应模式的处理。这里，将描述S704中的模式设置确定处理。在模式设置确定中，从以下(1)至(5)所示的模式中选择模式。

(1)自动摄像模式

<模式确定条件>

条件是：确定为需要基于针对学习设置的各检测信息、从转变到自动摄像模式起经过的时间、过去的摄像信息、拍摄图像的数量等来进行自动摄像。各检测信息是诸如图像、声音、时间、振动、地点、物理变化和环境变化等的信息。

<模式中的处理>

如果在S709中确定为模式设置是自动摄像模式，则流程进入自动摄像模式处理(S710)。基于上述针对学习设置的检测信息进行平摇/倾斜或变焦驱动，并执行对被摄体的自动搜索。当确定为根据摄影者的喜好进行摄像的定时已经到来时，自动进行摄像。

(2)自动编辑模式

<模式确定条件>

条件是：需要基于从进行先前自动编辑的时间起经过的时间、以及过去的拍摄图像信息来进行自动编辑。

<模式中的处理>

如果在S711中确定为模式设置是自动编辑模式，则流程进入自动编辑模式处理(S712)。进行基于学习的静止图像或运动图像选择处理，并基于学习进行自动编辑处理，以根据图像效果或编辑后的视频的时间来创建组合成一个视频的精彩视频。

(3)自动图像发送模式

<模式确定条件>

条件是：如果响应于使用外部设备301的专用应用的指令设置自动图像发送模式，则需要基于从先前图像发送的时间起经过的时间、以及过去的拍摄图像信息来进行自动发送。

<模式中的处理>

如果在S713中确定为模式设置是自动图像发送模式，则流程进入自动图像发送模式处理(S714)。相机101根据用户的喜好自动提取图像，并将看起来适合用户喜好的图像自动发送到外部设备301。基于添加到各个图像的用于确定用户喜好的分数(稍后描述)来进行根据用户的喜好的图像提取。

(4)学习模式

<模式确定条件>

条件是：需要基于从进行先前学习处理的时间起经过的时间、与可用于学习的图像一体的信息或学习数据的数量等来进行自动学习。另选地，如果存在通过通信来自外部设备301的使得设置学习模式的指令，则也设置学习模式。

<模式中的处理>

如果在S715中确定为模式设置是学习模式，则流程进入学习模式处理(S716)。基于外部设备301中的各操作信息、来自外部设备301的学习信息的通知等，通过使用神经网络根据用户的喜好来进行学习。各操作信息包括来自相机的图像获取信息、使用专用应用手动编辑的信息、用户针对相机中的图像输入的确定值信息等。也同时进行诸如个人认证的登记、语音登记、声音场景登记、以及一般物体的识别登记等的检测的学习或者上述低功耗模式的条件的学习。

(5)自动文件删除模式

<模式确定条件>

条件是：需要基于从进行先前自动文件删除的时间起经过的时间、以及记录有图像数据的非易失性存储器216的剩余容量来进行自动文件删除。

<模式中的处理>

如果在S717中确定为模式设置是自动文件删除模式，则流程进入自动文件删除模式处理(S718)。进行如下处理：在非易失性存储器216中的图像当中，基于各个图像的标签信息和摄像日期和时间，来指定要自动删除的文件并删除该文件。

当完成图7中的S710、S712、S714、S716和S718中的处理时，流程返回S702并继续处理。稍后将描述各模式中的处理(S710和S716)的细节。如果在图7的S709中确定为模式设置不是自动摄像模式，则流程进入S711中的处理。如果在S711中确定为模式设置不是自动编辑模式，则流程进入S713中的处理。如果在S713中确定为模式设置不是自动图像发送模式，则流程进入S715中的处理。如果在S715中确定为模式设置不是学习模式，则流程进入S717中的处理。如果在S717中确定为模式设置不是自动文件删除模式，则流程返回到S702并重复进行该处理。自动编辑模式、自动图像发送模式和自动文件删除模式并不与本发明的精神直接相关，因此将省略其详细描述。

图8是示出由相机101的第二控制单元211进行的处理示例的流程图。当用户操作设置在相机101上的电源按钮时，从第一电源单元210向第一控制单元223和相机101的各个组成单元供电。从第二电源单元212向第二控制单元211供电。

在供电之后，第二控制单元(子CPU)211启动，并开始图8中的处理。在S801中，进行用于确定是否经过了预定采样周期的处理。预定采样周期被设置为例如10毫秒(msec)，并且流程根据10msec周期的确定结果(当经过了预定采样周期时)进入S802中的处理。如果确定为未经过预定采样周期，则第二控制单元211等待直到再次执行S801中的确定处理为止。

在S802中，读取学习信息。学习信息是在图7的S706中通过通信向第二控制单元211发送信息时发送的信息，并且包括例如用于以下确定的信息。

(1)用于确定特定抖动状态检测(后述S804)的信息

(2)用于确定特定声音检测(后述S805)的信息

(3)用于确定时间经过检测(后述S807)的信息

在S802中的处理后，流程进入S803，并获取抖动检测值。抖动检测值是来自设备抖动检测单元209的陀螺仪传感器、加速度传感器等的输出值。接下来，流程进入S804，并且进行用于检测预设的特定抖动状态的处理。这里，将描述基于在S802中读取的学习信息来改变确定处理的几个示例。

<轻击检测>

轻击状态例如是用户用指尖等轻击相机101的状态，并且可以基于来自附接到相机101的加速度传感器的输出值来检测轻击状态。通过在预定采样周期内，使来自三轴加速度传感器的输出通过设置在特定频率区域中的带通滤波器(BPF)来处理该输出，并提取因轻击引起的加速度变化的信号区域的分量。测量通过BPF后的加速度信号在预定时间(由TimeA指示)内超过预定阈值(由ThreshA指示)的次数。根据所测量的次数是否是预定次数(由CountA指示)来进行轻击确定。例如，在双击的情况下，将CountA的值设置为2，而在三击的情况下，将CountA的值设置为3。TimeA和ThreshA的各值也可以根据学习信息而改变。

<检测抖动状态>

可以基于附接到相机101的陀螺仪传感器或加速度传感器的输出值来检测相机101的抖动状态。来自陀螺仪传感器或加速度传感器的输出在其高频分量被高通滤波器(HPF)截取且其低频分量被低通滤波器(LPF)截取之后经过绝对值转换。测量计算出的绝对值在预定时间(由TimeB指示)期间超过预定阈值(由ThreshB指示)的次数。根据测量的次数是否等于或大于预定次数(由CountB指示)来检测振动。例如，可以确定相机101的状态是将相机101放置在桌子等上的状态(即抖动较小的状态)还是相机101作为可穿戴相机佩戴在身体上并且用户正在步行的状态(即抖动较大的状态)。与用于确定阈值或确定计数的数量的条件相关地设置多个条件，可以根据抖动级别检测详细的抖动状态。TimeB、ThreshB和CountB的各个值都可以根据学习信息而改变。

在以上示例中，已经描述了通过确定来自抖动检测传感器的检测值来检测特定抖动状态的方法。此外，还存在如下方法：将在预定时间内采样的来自抖动检测传感器的数据输入到使用神经网络(也称为NN)的抖动状态确定设备，并由此通过训练后的NN来检测预先登记的特定抖动状态。在这种情况下，在S802(学习信息的读取)中，读取NN的权重参数。

在进行S804中的检测处理后，流程进入S805的处理，并且进行用于检测预设特定声音的处理。这里，将描述基于在S802中读取的学习信息来改变检测确定处理的几个示例。

<特定语音命令检测>

在检测特定语音命令的处理中，特定语音命令包括预先登记的几个命令、以及基于用户在相机中登记的特定语音的命令。

<特定声音识别>

通过基于大量语音数据预先进行了机器学习的网络来检测声音场景。例如，可以检测诸如“欢呼”、“掌声”或“讲话”等的特定场景。通过学习改变检测对象场景。

<声级确定>

通过确定语音级别的大小在预定时间(阈值时间)内是否超过预定大小(阈值)来检测声级。通过学习改变阈值时间、阈值等。

<声音方向确定>

通过布置在平面上的多个麦克风来针对具有预定响度的声音检测声音方向。

在语音处理单元214中进行上述确定处理，并且在S805中基于预先学习的各个设置确定是否检测到特定声音。

在进行了S805中的检测处理之后，流程进入S806中的处理，并且第二控制单元211确定对第一控制单元223的供电是否被关闭。如果确定为第一控制单元223(主CPU)处于OFF状态，则流程进入S807的处理，而如果确定为第一控制单元223(主CPU)处于ON状态，则流程进入S811的处理。在S807中，进行检测是否经过预设时间的处理。这里，检测确定处理根据在S802中读取的学习信息而改变。学习信息是在图7的S706中通过通信向第二控制单元211发送信息时发送的信息。测量从第一控制单元223的ON状态转变到OFF状态所经过的时间。如果测量的经过时间等于或长于预定时间(由TimeC指示)，则确定为已经经过了预定时间。如果测量的经过时间比TimeC短，则确定为尚未经过预定时间。TimeC是根据学习信息改变的参数。

在进行了S807的检测处理后，流程进入S808的处理，并进行低功耗模式的取消条件是否成立的确定处理。基于以下条件来确定低功耗模式的取消。

(1)检测到特定抖动

(2)检测到特定声音

(3)经过了预定时间

对于(1)，在S804(特定抖动状态检测处理)中确定是否检测到特定抖动。对于(2)，在S805(特定声音检测处理)中确定是否检测到特定声音。对于(3)，在S807(时间经过检测处理)中确定是否经过了预定时间。如果满足(1)至(3)中的至少一个条件，则确定为取消低功耗模式。如果在S808中确定为取消低功耗模式，则流程进入S809的流程，而如果不满足取消低功耗模式的条件，则流程返回S801，并继续处理。

在S809中，第二控制单元211开启对第一控制单元223的供电，并在S810中向第一控制单元223通知将低功耗模式确定为取消的条件(抖动、声音和时间中的任一个)。流程返回S801，并继续处理。

另一方面，如果发生从S806到S811的转变(如果确定为第一控制单元223处于ON状态)，则流程进入S811中的处理。在S811中，进行将在S803至S805中获取的信息通知给第一控制单元223的处理，然后流程返回到S801，使得继续处理。

在本实施例中，存在这样如下构造，其中，即使第一控制单元223处于ON状态，第二控制单元211也进行抖动检测或特定声音检测并且将检测结果通知给第一控制单元223。本实施例不限于该示例，并且可以提供如下构造，其中，如果第一控制单元223处于ON状态则不进行S803至S805中的处理，并且可以通过第一控制单元223中的处理(图7中的S702)来进行抖动检测或特定声音检测。

如上所述，进行图7中的S704至S707中的处理和图8中的处理，并由此基于用户的操作来学习转变到低功耗模式的条件或取消低功耗模式的条件。即，可以根据拥有相机101的用户的使用性来操作相机。稍后将描述学习方法。

在上面的示例中，已经详细描述了用于基于抖动检测、声音检测和时间经过来取消低功耗模式的方法，但是可以基于环境信息来取消低功耗模式。可以基于作为环境信息的温度、气压、照度、湿度或紫外线的绝对量或变化量是否超过预定阈值来确定取消，并且可以通过稍后描述的学习改变阈值。可以基于神经网络来确定抖动检测、声音检测和时间经过的检测信息或者各环境信息的绝对值或变化量，并且可以进行对取消低功耗模式的确定。在该确定处理中，可以通过稍后描述的学习来改变确定条件。

参照图9A和图9B，将描述图7中的S710。首先，在S901(图像识别处理)中，图像处理单元207对摄像单元206取得的信号进行图像处理，以生成用于被摄体检测的图像。对生成的图像进行检测人物、物体等的被摄体检测处理。

如果检测到作为被摄体的人物，则检测被摄体的面部或人体。在面部检测处理中，预先设置用于确定人物面部的样式，可以将拍摄图像中与该样式匹配的部分检测为人物的面部区域。还计算指示被摄体面部的确定性的可靠度。例如，根据拍摄图像中的面部区域的尺寸和指示与面部样式的匹配程度的一致度来计算可靠度。这同样适用于物体识别，并且可以识别与预先登记的样式匹配的物体。

存在通过使用拍摄图像中的色调、饱和度等的直方图来提取特征被摄体的方法。对于在摄像视角内拍摄的被摄体的图像，执行如下处理：将从色调、饱和度等的直方图导出的分布划分为多个区间，并且针对各个区间对拍摄图像进行分类。例如，针对拍摄图像创建多个颜色分量的直方图，并通过山形分布范围来划分图像。对在属于相同区间组合的区域中拍摄的图像进行分类，并且识别被摄体的图像区域。计算被摄体的各个识别图像区域的评估值，并由此可以将具有最高评估值的被摄体的图像区域确定为主被摄体区域。根据上述方法，可以从摄像信息中获得各被摄体信息。

在S902中，进行图像模糊校正量计算处理。具体地，首先，基于由设备抖动检测单元209获取的与角速度和加速度有关的信息来计算相机抖动的绝对角度。通过在抵消绝对角度的角度方向上驱动倾斜旋转单元104和平摇旋转单元105、并获得用于校正图像模糊的角度，来获取图像模糊校正量。可以通过稍后描述的学习处理来改变这里的图像模糊校正量计算处理中的计算方法。

在S903中，确定相机的状态。通过使用基于角速度信息、加速度信息、GPS位置信息等检测到的相机角度和相机移动量，来确定相机的当前振动/移动状态。例如，假设相机101被附接到车辆并且进行摄像。在这种情况下，诸如周围风景等的被摄体信息根据车辆的移动距离而大幅改变。因此，确定状态是否是附接有相机101并且高速移动的“车辆移动状态”，并且确定结果用于稍后将描述的自动被摄体搜索。确定相机101的角度变化是否较大。确定相机101是否处于几乎没有抖动的“静止摄像状态”，如果相机101处于“静止摄像状态”，则可以确定为相机101本身的位置没有变化。在这种情况下，可以进行用于静止摄像的被摄体搜索。如果相机101的角度变化较大，则确定为相机101处于“手持状态”。在这种情况下，可以进行用于手持摄像的被摄体搜索。

在S904中，进行被摄体搜索处理。被摄体搜索包括以下处理。

(1)区域划分

(2)计算各个区域的重要度

(3)确定搜索对象区域

在下文中，将依次描述各个处理。

(1)区域划分

参照图10A至图10D，将描述区域划分。将三维正交坐标系的原点O设置为相机位置。图10A是示出如下示例的示意图，其中以相机位置(原点O)为中心围绕整个圆周划分区域。在图10A的示例中，该区域在倾斜方向和平摇方向中的各个方向上以22.5度为间隔被划分为多个区域。在这样划分的情况下，随着倾斜角度偏离0度，水平方向的圆周变小，并且面积区域变小。另一方面，图10B是示出如下示例的示意图，其中如果倾斜角度为45度或更大，则水平区域范围被设置为大于22.5度。图10C和图10D是示出摄像视角内的区域划分区域的示例的示意图。图10C所示的轴1301表示初始化时的相机101的方向，并且以轴1301的方向为基准方向划分区域。示出了拍摄图像的视角区域1302，并且在图10D中示出了与该区域对应的图像示例。在具有摄像视角的图像中，基于区域划分，如图10D所示来划分图像。示出了多个划分区域1303至1318的示例。

(2)计算各个区域的重要度

针对各个划分区域，根据该区域中存在的被摄体的状况或场景的状况，来计算指示搜索优先顺序的重要度。基于例如该区域中存在的人数、人物面部的尺寸、面部的朝向、面部检测的确定性、人物的面部表情、以及人物的个人认证结果，来计算基于被摄体状况的重要度。基于例如一般物体识别结果、场景判别结果(蓝天、逆光、傍晚场景等)、从区域的方向检测的声级或语音识别结果、以及区域内的运动检测信息，来计算根据场景状况的重要度。

如果在图9A中的相机状态确定(S903)中检测到相机的振动，则重要度可以根据抖动状态而改变。例如，假设相机被确定为处于“静止摄像状态”。在这种情况下，确定为以通过使用面部识别登记的被摄体中具有高优先级的被摄体(例如，相机的拥有者)为中心进行被摄体搜索。例如，在后述的自动摄像中，优先拍摄相机的拥有者的面部。因此，即使相机的拥有者在佩戴相机时进行摄像的时间长，通过移除相机并将相机放置在桌子等上，也可以记录拥有者的许多图像。在这种情况下，由于可以通过平摇或倾斜来搜索面部，因此用户可以仅通过适当安装相机而无需考虑相机放置角度等，来记录拍摄了拥有者的图像或拍摄了许多面部的合影。

仅在上述条件下，重要度最高的区域可能是相同的，除非各个区域存在变化。结果，要搜索的区域将永远不会改变。因此，进行根据过去的摄像信息改变重要度的处理。具体地，进行对在预定时间内被连续指定为搜索区域的区域降低重要度的处理、或者对在S910(稍后描述)中进行摄像的区域在预定时间内降低重要度的处理。

(3)确定搜索对象区域

执行如下处理：基于如上所述计算出的各个区域的重要度，将具有高重要度的区域确定为搜索对象区域。计算以一定视角拍摄搜索对象区域所需的用于平摇和倾斜的搜索目标角度。

在图9A的S905中，进行平摇和倾斜驱动。具体地，通过将控制采样频率的图像模糊校正量与基于用于平摇和倾斜的搜索目标角度的驱动角度相加，来计算平摇驱动量和倾斜驱动量。倾斜旋转单元104和平摇旋转单元105由镜筒旋转驱动单元205驱动和控制。

在S906中，通过控制变焦单元201来进行变焦驱动。具体地，根据在S904中确定的搜索对象被摄体的状态来进行变焦驱动。例如，假设搜索对象被摄体是人物面部的情况。在这种情况下，如果图像上的面部尺寸太小，则可能会因为面部小于最小可检测尺寸而无法检测到面部，并且可能会丢失被摄体。在这种情况下，进行如下控制：通过进行向远摄侧的变焦控制，来增大图像上的面部尺寸。另一方面，如果图像上的面部尺寸太大，则由于被摄体或相机本身的移动，被摄体会容易偏离视角。在这种情况下，进行如下控制：通过进行向广角侧的变焦控制，来减小图像上的面部尺寸。如上所述进行变焦控制，并由此可以维持适合于跟踪被摄体的状态。变焦控制包括通过驱动透镜进行的光学变焦控制和用于通过图像处理改变视角的电子变焦控制。存在进行一种控制的形式和组合两种控制的形式。

S907是自动认证登记的确定处理。基于被摄体检测状态确定是否可以进行个人认证的自动登记。如果面部检测可靠度高并且维持了面部检测可靠度高的状态，则进行更详细的确定。即，如果面部正面向相机的正面而不是侧面，并且如果面部尺寸等于或大于预定值，则该状态被确定为适合于个人认证的自动登记。

随后的S908是自动摄像确定处理。在自动摄像确定中，进行是否进行自动摄像的确定和摄像方法的确定(确定要进行静止图像拍摄、运动图像拍摄、连续摄像和全景摄像等中的哪一个)。稍后将描述是否进行自动摄像的确定。

在S909中，确定是否存在手动摄像指令。手动摄像指令包括通过按下快门按钮给出的指令、通过用手指等轻击相机外壳给出的指令(轻击)、通过输入语音命令给出的指令、来自外部设备的指令等。例如，当用户轻击相机外壳时，通过利用设备抖动检测单元209检测短时间段内的连续高频加速度，来确定由轻击操作触发的摄像指令。语音命令输入方法是如下摄像指令方法，其中如果用户说出用于给出预定摄像指令的口令(例如，“拍照”)，则语音处理单元214识别语音并且触发摄像。来自外部设备的指令方法是由快门指令信号触发的摄像指令方法，通过使用例如来自通过蓝牙连接到相机的智能电话来发送该快门指令信号。

如果在S909中确定为存在手动摄像指令，则流程进入S910中的处理。如果在S909中确定为没有手动摄像指令，则流程进入S914中的处理。在S914中，确定执行自动认证登记。通过使用S907中自动认证登记的可能性的确定结果和S908中自动摄像的可能性的确定结果，来确定是否执行自动认证登记。如果在S914中确定为要执行自动认证登记，则流程进入S915中的处理，而如果确定为不执行自动认证登记，则流程进入S916中的处理。将参照图11描述具体示例。

图11是示出自动认证登记和自动摄像的执行的确定的表。自动认证登记确定结果为“可登记”或“不可登记”，并且自动摄像确定结果为“可摄像”或“不可摄像”。如果确定为个人认证适合登记，则无论自动摄像确定结果如何，都将登记个人认证。如果确定为个人认证不适合登记并且满足自动摄像的条件(“可摄像”)，则将进行自动摄像。

之所以优先考虑自动认证登记的可能性，是因为自动认证登记需要稳定的正面部信息。在自动摄像中，可以根据诸如被摄体的轮廓、临时的微笑和从先前摄像起经过的时间等的因素来确定为要进行摄像。然而，适用于自动认证登记的条件成立并不常见。因此，在本实施例中，提供了一种算法，该算法优先考虑获得适合于自动认证登记的条件的情况。

可能存在如下观点：优先自动认证登记会妨碍自动拍摄的机会。但是，这个观点之所以错误，是因为通过进行自动认证登记提高了个人认证的精度，并且提高了搜索和跟踪优先被摄体的精度，因此对于在自动摄像中发现摄像机会非常有用。在本实施例中，如果确定为个人认证适合登记，则总是优先于是否可以自动摄像的结果来应对。本实施例不限于此，在自动摄像中，可以根据预定时间内的摄像次数或摄像间隔来改变优先级。例如，如果自动摄像中的摄像频率低，则可以进行控制以使得自动摄像临时优先。

图9B中的S915是个人认证登记处理。进行如下一系列处理，其中通过将状态控制为适合于个人认证的摄像状态来进行摄像处理，并且面部特征被量化和存储。将参照图12A和图12B描述其细节。

图12A和图12B是示出构图调整中的被摄体布置的示意图。图12A示出了自动拍摄静止图像时的构图，图12B示出了在用于个人认证的摄像时的构图。调整构图，并由此进入如图12B所示适合于个人认证的状态。为了更准确地获得面部特征，重要的是将被摄体放置在不易受光学像差影响的图像中心，并调整构图，使得可以以大尺寸拍摄面部。另一方面，如果在稍后将描述的S910中自动拍摄静止图像，则最好调整构图，使得如图12A所示主被摄体和背景匹配，并由此可以获得更令人满意的照片。

如果在个人认证登记处理中生成来自用户的手动摄像指令，则可以通过暂停S915的处理来结束摄像模式处理，并再次执行摄像模式处理。构图调整的控制是如下操作：反复进行平摇、倾斜、变焦透镜驱动、以及基于面部检测的面部位置的检查。在该重复操作中随时检查手动摄像指令，并且如果检查到中断，则可以通过停止个人认证登记处理来及时反映用户的意图。

自动摄像是自动记录由摄像单元输出的图像数据的摄像。在图9B的S916中，按照如下确定是否进行自动摄像。具体地，在以下两种情况下确定为要进行自动摄像。第一种情况是：基于在S904中获得的各个区域的重要度，重要度超过预定值。第二种情况是：使用基于神经网络的确定结果，这将在后面描述。自动摄像中的记录是将图像数据记录在存储器215中或将图像数据记录在非易失性存储器216中。还假设图像数据被自动发送到外部设备301并且图像数据被记录在外部设备301中。

在本实施例中，进行控制，使得由于基于神经网络的自动摄像确定处理而自动进行摄像。根据摄像位置的状况和相机的状况，可能最好改变自动摄像的确定参数。与规则时间间隔的摄像不同，基于状况确定的自动摄像控制倾向于优选满足以下要求的形式。

(1)期望拍摄大量包括人和物体的图像。

(2)不期望错过难忘的场景。

(3)考虑到电池余量和记录介质的剩余容量，期望以低功耗拍摄图像。

如果根据被摄体的状态计算评估值，将评估值与阈值进行比较，并且评估值超过阈值，则进行自动摄像。根据使用神经网络的确定来确定自动摄像中的评估值。

接下来，将描述基于神经网络(NN)的确定。作为NN的示例，使用多层感知器的网络的示例在图13中示出。NN用于从输入值预测输出值。预先学习输入值和用作针对输入的模型的输出值，并由此可以针对新的输入值估计遵循经学习模型的输出值。稍后将描述学习方法。

图13中的节点1201及其垂直排列的圆圈指示的多个节点指示输入层中的神经元。节点1203及其垂直排列的圆圈指示的多个节点指示中间层中的神经元。节点1204指示输出层中的神经元。箭头1202指示将各个神经元彼此连接的连接。在基于NN的确定中，将基于当前视角拍摄的被摄体、场景或相机的状态的特征量作为输入，赋予输入层中的神经元。通过基于多层感知器的前向传播规则的计算，来获取从输出层输出的值。如果输出值等于或大于阈值，则确定为要进行自动摄像。

例如，以下信息被用作被摄体的特征。

·与当前变焦倍率和当前视角的一般物体的识别结果相关的信息

·面部检测结果、当前视角拍摄的面部数量、面部微笑程度、闭眼程度、面部角度、面部认证ID编号、以及被摄体人物的视线角度

·场景判别结果、从先前摄像起经过的时间、当前时间、GPS位置信息、以及相对于先前摄像位置的变化量

·当前的语音级别、讲话者、掌声、以及与是否发出欢呼有关的信息

·振动信息(加速度信息和相机状态)、环境信息(温度、气压、照度、湿度、紫外线量)等

如果有来自外部设备501的信息通知，则通知信息(用户的运动信息、手臂动作信息、诸如心率等的生物信息等)也被用作特征信息。特征信息被转换成预定范围内的数值，并作为特征量赋予输入层中的各个神经元。因此，输入层中所需的各个神经元的数量与要使用的特征量的数量相同。

在基于神经网络的确定中，可以通过在后述的学习处理中改变各个神经元之间的连接权重来改变输出值，从而可以使确定结果与学习结果相适应。

自动摄像的确定也根据在图7的S702中读取的第一控制单元223的启动条件而改变。例如，在由于轻击检测而启动或由于特定语音命令而启动的情况下，该操作很可能是根据用户的意图给出当前摄像的指令的操作。因此，摄像频率被设置为高。

在摄像方法的确定中，确定执行基于在S901至S904中检测到的相机的状态和周围被摄体的状态而确定的摄像。确定要执行静止图像拍摄、运动图像拍摄、连续摄像、全景摄像等中的哪一个。例如，如果作为被摄体的人物是静止的，则选择并执行静止图像拍摄。如果被摄体正在移动，则执行运动图像拍摄或连续摄像。如果存在多个被摄体围绕相机，或者基于GPS信息确定为该地点为风景区，则执行全景摄像处理。全景摄像处理是如下处理：通过在进行相机的平摇和倾斜驱动的同时合成依次拍摄的图像，来生成全景图像。以与确定是否进行自动摄像的方法相同的方式，可以通过基于神经网络确定在摄像前检测到的各种信息来确定摄像方法。在该确定处理中，可以通过稍后描述的学习处理来改变确定条件。

在图9B中的S916中，如果在S908中的自动摄像确定处理中确定为要进行自动摄像，则流程进入S910中的处理。如果在S916中确定为不进行自动摄像，则结束摄像模式处理。在S915(自动认证登记处理)之后，结束摄像模式处理。

在S910中，开始自动摄像。即，开始根据在S908中确定的摄像方法的摄像。在这种情况下，聚焦驱动控制单元204进行自动聚焦控制。此外，通过使用光圈控制单元、传感器增益控制单元和快门控制单元(未示出)来进行曝光控制，从而将被摄体调整为具有适当的亮度。在摄像之后，图像处理单元207进行各种公知类型的图像处理(诸如自动白平衡处理、降噪处理和伽马校正处理等)以生成图像数据。

如果在S910中的自动摄像期间满足预定条件，则相机可以通知摄像对象人物进行摄像，然后可以进行摄像。例如，基于以下信息来设置预定条件。

·视角内的面部数量、面部微笑程度、闭眼程度、被摄体人物的视线角度或面部角度、以及面部认证ID编号

·针对个人认证登记的人数、以及摄像时一般物体的识别结果

·与基于场景判别结果、从先前摄像起经过的时间、摄像时间和GPS信息的当前位置是否是风景区相关的信息

·与摄像时的声音级别、是否存在讲话者、掌声以及是否发出欢呼相关的信息

·振动信息(加速度信息和相机状态)、环境信息(温度、气压、照度、湿度和紫外线量)等

作为通知方法，例如，存在如下方法：使用从语音输出单元218发出的声音和通过LED控制单元224的LED点亮。基于这些条件进行带有通知的摄像，因此可以在非常重要的场景中记录相机视线的更佳图像。对于摄像前的通知，可以基于神经网络来确定与拍摄图像有关的信息或摄像前检测到的各种信息，并且可以确定通知方法或定时。在该确定处理中，可以通过稍后描述的学习处理来改变确定条件。

在S911中，执行诸如处理在S910中生成的图像并将处理后的图像添加到运动图像等的编辑处理。具体地，图像处理包括基于人物面部或聚焦位置的修剪处理、图像旋转处理、高动态范围(HDR)效果处理、模糊效果处理、颜色转换滤镜效果处理等。在图像处理中，基于在S910中生成的图像数据，通过以上处理的组合来生成多个处理后的图像。可以进行与在S910中生成的图像数据分开地存储图像数据的处理。对于运动图像处理，进行在进行诸如滑动、变焦和淡入淡出等的特殊效果处理的同时将拍摄的运动图像或静止图像添加到生成的编辑运动图像的处理等。关于S911中的编辑处理，可以通过基于神经网络确定与拍摄图像有关的信息或在摄像之前检测到的各种信息，来确定图像处理方法。在该确定处理中，可以通过稍后描述的学习处理来改变确定条件。

在S912中，进行对拍摄图像的学习信息生成处理。该处理是生成并记录用于稍后描述的学习处理的信息的处理。具体而言，例如，存在以下信息。

·本次拍摄的图像中的摄像时的变焦倍率、摄像时的一般物体识别结果、面部检测结果、拍摄图像中的面部数量、面部微笑程度、闭眼程度、面部角度、面部认证ID编号以及被摄体人物的视线角度

·场景判别结果、从先前摄像起经过的时间、摄像时间、GPS位置信息、以及相对于先前摄像位置的变化量

·与摄像时的声音级别、讲话者、掌声以及是否发出欢呼相关的信息

·振动信息(加速度信息和相机状态)、环境信息(温度、气压、照度、湿度、紫外线量)等

·运动图像拍摄时间、与是否存在手动摄像指令相关的信息等

计算作为量化用户对图像的喜好的神经网络的输出的分数。执行生成这种信息并将该信息作为标签信息记录在拍摄图像文件中的处理。另选地，存在如下方法：将信息存储在非易失性存储器216中，或将与各个拍摄图像有关的信息作为所谓的目录数据以列表形式存储在记录介质221中。

在S913中，进行更新过去的摄像信息的处理。具体地，该处理是更新S908中描述的各个区域的拍摄图像数量、针对个人认证登记的各个人物的拍摄图像数量、通过一般物体识别而识别出的各被摄体的拍摄图像数量以及进行场景判别的各个场景的拍摄图像数量。即，进行将本次拍摄的相应数量的图像的计数数量增加一的处理。同时，进行将当前摄像时间和自动摄像的评估值存储并保持为摄像历史信息的处理。在S913之后，结束一系列处理。

接下来，将描述根据用户喜好的学习。在本实施例中，学习处理单元219通过使用机器学习算法，基于如图13所示的神经网络(NN)来根据用户的喜好进行学习。NN用于根据输入值预测输出值，并且通过预先学习输入值的实际值和输出值的实际值，可以针对新的输入值来估计输出值。可以通过使用NN，根据用户对上述自动摄像、自动编辑和被摄体搜索的喜好来进行学习。还可以通过学习来改变同样作为要输入到NN的特征数据的被摄体信息(面部识别结果、一般物体识别结果等)的登记、摄像通知控制、低功耗模式控制和自动文件删除。

在本实施例中，应用学习处理的操作的示例如下所示。

(1)自动摄像

(2)自动编辑

(3)被摄体搜索

(4)被摄体登记

(5)摄像通知控制

(6)低功耗模式控制

(7)自动文件删除

(8)图像模糊校正

(9)自动图像发送

在应用学习处理的操作中，(2)自动编辑、(7)自动文件删除和(9)自动图像发送并不与本发明的精神直接相关，因此将省略其描述。

<自动摄像>

将描述自动摄像的学习。在自动摄像中，进行根据用户的喜好自动拍摄图像的学习。如参照图9B所描述的，在摄像之后(在S910之后)进行学习信息生成处理(S912)。这是如下处理，其中，根据将在后面描述的方法来选择要学习的图像，并且基于图像中包括的学习信息，通过改变NN的权重来进行学习。通过改变用于确定自动摄像定时的NN和改变用于确定摄像方法(静止图像拍摄、运动图像拍摄、连续摄像、全景摄像等)的NN来进行学习。

<被摄体搜索>

将描述被摄体搜索的学习。在被摄体搜索中，进行根据用户的喜好自动搜索被摄体的学习。在图9A中的被摄体搜索处理(S904)中，计算各个区域的重要度，并且通过平摇、倾斜和变焦驱动来进行被摄体搜索。基于拍摄图像或搜索期间的检测信息来进行学习，并通过改变NN的权重将学习反映为学习结果。通过将搜索操作期间的各种检测信息输入到NN并确定重要度，可以进行反映学习结果的被摄体搜索。除了计算重要度之外，还通过平摇和倾斜来控制搜索方法(移动的速度或频率)。

<被摄体登记>

将描述被摄体登记的学习。在被摄体登记中，进行根据用户的喜好自动登记被摄体或对被摄体排序的学习。作为学习，例如进行面部认证登记、一般物体识别登记、手势或语音识别以及使用声音的场景识别登记。进行对人和物体的认证登记，并基于图像获取的次数或频率、手动摄像的次数或频率、以及搜索期间被摄体出现的频率来设置排序。各信息被登记为使用神经网络进行确定的输入。

<摄像通知控制>

将描述摄像通知的学习。如图9B中的S910所述，当紧接在摄像之前满足预定条件时，相机通知摄像对象人物进行摄像，然后进行摄像。例如，执行如下处理，其中，通过平摇和倾斜驱动来从视觉上引导被摄体的视线，或通过使用从语音输出单元218发出的扬声器声音或来自LED控制单元224的LED光来吸引被摄体的注意力。基于是否紧接在通知后获取到被摄体的检测信息(例如，微笑程度、视线检测和手势)来确定检测信息是否用于学习，并且通过改变NN的权重来进行学习。

紧接在摄像之前的各检测信息被输入到NN，并且确定是否提供通知。确定在通知声音的情况下的声级和声音的类型和定时、以及在通知光的情况下的照明时间、速度和相机朝向(平摇/倾斜运动)。

<低功耗模式控制>

如参照图7和图8所描述的，执行用于打开/关闭向第一控制单元223(主CPU)供电的控制。学习用于从低功耗模式返回的条件和用于转变到低功耗状态的条件。首先，将描述用于取消低功耗模式的条件的学习。

·声音检测

可以通过例如通过使用外部设备301的专用应用的通信而手动设置用户的特定语音、期望检测的特定声音场景或特定声级，来进行学习。存在如下方法，其中在语音处理单元中预先设置了多个检测方法，并且根据将在后面描述的方法来选择要学习的图像。可以通过学习与包括在所选图像中的前后声音相关的信息并将声音确定(特定声音命令，或诸如“欢呼”和“掌声”等的声音场景)设置为启动因素来进行学习。

·环境信息检测

可以通过例如通过使用外部设备301的专用应用的通信而手动设置用户想要使用的环境信息的变化作为启动条件，来进行学习。例如，设置诸如温度、气压、照度、湿度和紫外线的绝对量或变化量等的特定条件，并可以在满足条件的情况下启动摄像设备。可以学习基于各环境信息的确定阈值。如果在根据基于环境信息的启动之后的相机检测信息确定为该因素不是启动因素，则设置用于各个确定阈值的参数使得难以检测环境变化。

上述参数中的各个参数也根据电池余量而变化。例如，当电池余量较小时，难以转变到各种确定，而当电池余量较大时，容易转变到各种确定。具体地，即使在抖动状态检测结果或声音场景检测结果都不是用户想要启动相机的因素时，如果电池余量较大，也可以确定为要启动相机。

也可以通过使用抖动检测信息、声音检测信息、时间经过检测信息、各环境信息、电池余量等，基于神经网络来进行低功耗模式的取消条件的确定。在这种情况下，根据将在后面描述的方法选择要学习的图像，并且基于该图像中包括的学习信息，通过改变NN的权重来进行学习。

接下来，将描述低功耗状态的转变条件的学习。如图7所示，在S704中的模式设置确定中，如果确定为操作模式不是“自动摄像模式”、“自动编辑模式”、“自动图像发送模式”、“学习模式”和“自动文件删除模式”中的任何一种，则操作模式转变到低功耗模式。各个模式的确定条件如上所述，但是各个模式的确定条件也通过学习而改变。

<自动摄像模式>

确定各个区域的重要度，并在通过平摇和倾斜搜索被摄体的同时进行自动摄像。如果确定为没有摄像对象被摄体，则取消自动摄像模式。例如，如果所有区域的重要度或各个区域的重要度之和等于或小于预定阈值，则取消自动摄像模式。在这种情况下，进行如下的设置，其中根据从转变到自动摄像模式起经过的时间来减小预定阈值。从转换到自动摄像模式起经过的时间越长，转变到低功耗模式越容易。

通过根据电池余量改变预定阈值，可以考虑到电池的可用时间来进行低功耗模式控制。例如，当电池余量较小时，提高阈值以利于转变到低功耗模式，而当电池余量较大时，降低阈值使得难以转变到低功耗模式。在此，根据从先前转变到自动摄像模式的时间起经过的时间和拍摄图像的数量，在第二控制单元211中设置用于下一个低功耗模式取消条件的参数(经过时间阈值TimeC)。上述各个阈值通过学习来改变。通过经由使用例如外部设备301的专用应用的通信而手动设置摄像频率、启动频率等来进行学习。

可以存在如下构造，其中累积从相机101的电源按钮打开的时间到电源按钮关闭的时间的经过时间的平均值或各个时间段的分布数据，并且学习各个参数。在这种情况下，对于从电源接通时间到电源断开时间的经过时间较短的用户，通过学习来减小从低功耗模式返回或转变到低功耗状态的时间间隔。相反，对于从电源接通时间到电源断开时间的经过时间较长的用户，通过学习来增大时间间隔。

还基于被摄体搜索期间的检测信息来进行学习。在确定为设置很多重要被摄体的情况下，通过学习来缩短从低功耗模式返回和转变到低功耗状态的时间间隔。相反，在确定为重要被摄体很少的情况下，时间间隔由于学习而变长。

<图像模糊校正>

将描述图像模糊校正的学习。在图9A的S902中计算图像模糊校正量，并且基于图像模糊校正量，通过S905中的平摇和倾斜驱动进行图像模糊校正。在图像模糊校正中，进行用于根据用户抖动的特征进行校正的学习。例如，点扩散函数(PSF)用于拍摄图像，因此可以估计模糊的方向和大小。在图9B的S912中的学习信息生成中，与估计的模糊方向和大小有关的信息被添加到图像数据。

在图7的S716中的学习模式处理中，对预定的输入信息和输出(估计的模糊方向和大小)进行学习用于图像模糊校正的NN的权重的处理。预定输入信息例如是摄像时的各检测信息(摄像前的预定时间的图像中的运动矢量信息、检测到的被摄体(人物或物体)的运动信息、以及振动信息(陀螺仪输出、加速度输出和相机状态))。环境信息(温度、气压、照度和湿度)、声音信息(声音场景确定、特定语音检测和声级变化)、时间信息(从启动起经过的时间、以及从先前摄像起经过的时间)、地点信息(GPS位置信息和位置移动变化量)等可以添加到输入。

当在图9A中的S902中计算图像模糊校正量时，各检测信息都被输入到神经网络，因此可以估计当此时拍摄图像时的模糊大小。当估计的模糊大小大于阈值时，可以进行诸如增加快门速度等的控制。如果估计的模糊大小大于阈值，则可能获取到模糊图像，因此存在禁止摄像的方法。

由于平摇或倾斜的驱动角度受到限制，因此在到达驱动端后无法进行进一步的图像模糊校正。在本实施例中，估计摄像期间的模糊的大小和方向，因此可以估计用于校正曝光期间的图像模糊的平摇或倾斜驱动所需的范围。关于平摇或倾斜的驱动角度，如果曝光期间在可移动范围内没有余量，则执行如下处理，其中，通过增加用于计算图像模糊校正量的滤波器的截止频率来将驱动角度设置为不超过可移动范围。因此，可以抑制大的模糊。如果预测为驱动角度将超过可移动范围，则在曝光之前立即改变驱动角度，在与驱动角度将超过可移动范围的方向相反的方向上进行旋转，并开始曝光。因此，可以在确保可移动范围的同时进行抑制图像模糊的摄像。通过根据用户在摄像期间的特征或相机的使用情况的与图像模糊校正相关的学习，可以抑制或防止拍摄图像的图像模糊。

在本实施例的摄像方法确定中，可以进行平摇确定处理。在平摇时，对于移动的被摄体图像不会模糊，并且拍摄图像以相对于非移动背景而流动。在确定是否进行平摇的处理中，根据摄像前的检测信息来估计用于在没有模糊的情况下拍摄被摄体的平摇和倾斜的驱动速度，并且校正被摄体的图像模糊。在这种情况下，可以通过将信息输入到已经学习了各检测信息的神经网络来估计驱动速度。图像被划分为多个块并且估计各个块的PSF，从而估计主被摄体所在的块中的模糊的方向和大小。基于这种信息进行学习。

还可以根据与用户选择的图像有关的信息来学习背景流的量。在这种情况下，估计不存在主被摄体的块(图像区域)中的模糊的大小，因此可以基于与大小有关的信息来学习用户的喜好。根据学习到的喜好，基于背景流量来设置摄像时的快门速度，因此可以自动进行可以获得根据用户喜好的平摇效果的摄像。

接下来，将描述学习方法。作为学习方法，有“相机中的学习”和“基于与诸如通信设备等的外部设备的协作的学习”。首先，将描述前一种学习方法。本实施例的相机中的学习包括以下方法。

(1)基于手动摄像期间的检测信息的学习

如图9A中的S907至S913所描述，相机101可以进行手动摄像和自动摄像。如果在S907中存在手动摄像指令，则在S912中将指示图像被手动拍摄的信息添加到拍摄图像。如果在S916中确定为自动摄像开启并且拍摄图像，则在S912中，将指示图像被自动拍摄的信息添加到拍摄图像。在手动摄像的情况下，很可能是根据用户的喜好基于被摄体、场景和地点或时间间隔来进行摄像。因此，基于手动摄像时获得的各特征数据或拍摄图像的学习数据来进行学习。基于手动摄像时的检测信息，与拍摄图像中的特征量的提取、个人认证的登记、各个人的面部表情的登记以及人的组合的登记相关地进行学习。例如，基于被摄体搜索时的检测信息，进行根据个人登记的被摄体的面部表情来改变附近的人物或物体的重要性的学习。

(2)基于搜索被摄体时的检测信息的学习

在被摄体搜索期间，确定针对个人认证登记的被摄体正在被同时拍摄为什么样的人物、物体和场景，并且还计算同时在视角内拍摄被摄体的时间比。例如，计算作为针对个人认证登记的被摄体的人物A被同时拍摄为作为针对个人认证登记的被摄体的人物B的时间比。如果人物A和人物B进入视角，则将各种检测信息存储为学习数据，使得自动摄像确定的分数高，并且在学习模式处理中进行学习(图7：S716)。在另一示例中，计算作为针对个人认证登记的被摄体的人物A被同时拍摄为作为通过一般物体识别确定的被摄体的“猫”的时间比。如果人物A和“猫”进入视角，则将各种检测信息存储为学习数据，使得自动摄像确定的分数高，并在学习模式处理中进行学习(图7：S716)。

如果检测到作为针对个人认证登记的被摄体的人物A的高微笑级别，或者如果检测到诸如“高兴”或“惊讶”等的面部表情，则学习到同时拍摄的被摄体很重要。另选地，如果在人物A中检测到诸如“愤怒”或“无表情”等的面部表情，则确定为同时拍摄的被摄体不太可能重要，并且不进行学习。

接下来，将描述本实施例中的基于与外部设备的协作的以下学习。

(1)当外部设备获取图像时进行学习

(2)当经由外部设备向图像输入确定值时进行学习

(3)当分析存储在外部设备中的图像时进行学习

(4)根据由外部设备上传到社交网络服务(SNS)服务器的信息进行学习

(5)当相机参数被外部设备改变时进行学习

(6)根据由外部设备手动编辑图像的信息进行学习

将根据给定的编号依次进行描述。

<当外部设备获取图像时进行学习>

如参照图3所描述，相机101和外部设备301具有被构造为进行第一通信302和第二通信303的通信单元。通常，通过第一通信302发送和接收图像数据，并且通过使用外部设备301的专用应用来将相机101中的图像发送到外部设备301。可以通过使用外部设备301的专用应用查看存储在相机101中的图像数据的缩略图像。用户可以通过从缩略图像中选择并确认用户喜欢的图像或通过进行图像获取指令操作，来将图像数据发送到外部设备301。通过用户选择图像而获得的图像很可能是根据用户喜好的图像。因此，确定为获取的图像为待学习图像。可以基于获取的图像的学习信息，来进行根据用户喜好的各种类型的学习。

将参照图14描述操作示例。图14是示出用户通过使用外部设备301的专用应用查看相机101中的图像的示例的图。在显示单元407上显示存储在相机中的图像数据的缩略图像1604至1609。用户可以选择并获取用户喜欢的图像。按钮1601至1603在改变显示方法的情况下被操作，并构成显示方法改变单元。

当按下第一按钮1601时，模式改变为日期和时间优先显示模式，并且图像按相机101中图像的拍摄日期和时间的顺序显示在显示单元407上。例如，日期和时间新的图像显示在由缩略图像1604指示的位置，而日期和时间旧的图像显示在由缩略图像1609指示的位置。当按下第二按钮1602时，模式改变为推荐图像优先显示模式。基于在图9B的S912中计算的用于确定用户对各个图像的喜好的分数，以分数的降序将相机101中的图像显示在显示单元407上。例如，具有高分的图像显示在由缩略图像1604指示的位置，而具有低分的图像显示在由缩略图像1609指示的位置。当用户按下第三按钮1603时，可以指定诸如人物或物体等的被摄体，然后当指定诸如特定人物或物体等的被摄体时，仅能够显示特定被摄体。

按钮1601至1603也可以同时开启设置。例如，如果所有设置都开启，则只显示指定的被摄体，优先具有新拍摄日期和时间的图像，并且优先显示具有高分的图像。如上所述，由于还针对拍摄图像学习了用户喜好，因此可以通过简单的确认操作从大量拍摄图像中仅提取根据用户喜好的图像。

<当经由外部设备向图像输入确定值时进行学习>

关于查看存储在相机101中的图像，用户可以对各图像进行评分。可以对用户认为喜欢的图像给予高分(例如5分)，并且可以对用户不喜欢的图像给予低分(例如1分)。相机被构造为根据用户操作学习图像的确定值。各图像的分数与相机中的学习信息一起用于重新学习。进行学习，使得以来自指定图像信息的特征数据作为输入的神经网络的输出接近用户指定的分数。

除了用户经由外部设备301向拍摄图像输入确定值的构造之外，还存在用户操作相机101将确定值直接输入到图像的构造。在这种情况下，例如，相机101包括触摸面板显示器。用户操作显示在触摸面板显示器的画面显示单元上的图形用户界面(GUI)按钮，以设置用于显示拍摄图像的模式。用户可以通过在检查拍摄图像的同时向各个图像输入确定值，来进行与上述相同的学习。

<当分析存储在外部设备中的图像时进行学习>

外部设备301的存储单元404中还记录了由相机101拍摄的图像以外的图像。存储在外部设备301中的图像易于用户查看，也易于经由公共无线控制单元406上传到共享服务器，因此很可能包括根据用户喜好的许多图像。

假设外部设备301的控制单元411可以通过使用专用应用以与相机101的学习处理单元219相同的能力来处理存储单元404中存储的图像。通过通信将处理后的学习数据发送到相机101来进行学习。另选地，也可以是如下构造，其中，将希望学习的图像或数据发送到相机101，并在相机101中进行学习。可以是如下构造，其中，用户从存储在存储单元404中的图像中选择希望学习的图像，并通过使用专用应用进行学习。

<根据由外部设备上传到SNS服务器的信息进行学习>

将描述如下方法，其中，将社交网络服务(SNS)中的信息用于学习，SNS是可以构建专注于人与人连接的社交网络的服务或网站。当图像被上传到SNS时，存在如下技术：从外部设备301输入与图像相关的标签，然后将标签与该图像一起发送。还存在如下技术：输入对由其他用户上传的图像的喜欢和不喜欢。也可以确定由其他用户上传的图像是否是拥有外部设备301的用户的喜欢的照片。

可以通过在外部设备301中下载的专用SNS应用来获取由用户上传的图像和与该图像有关的信息。还可以通过输入关于用户是否喜欢由其他用户上传的图像的数据，来获取用户喜欢的图像或标签信息。通过分析这样的图像或标签信息在相机101中进行学习。

外部设备301的控制单元411获取用户上传的图像或被确定为用户喜欢的图像，并且能够以与相机101的学习处理单元219的能力相同的能力处理该图像。通过通信将处理后的学习数据发送到相机101来进行学习。另选地，也可以是如下构造，其中，将希望学习的图像数据发送到相机101，并在相机101中进行学习。

可以基于在标签信息中设置的被摄体信息(例如，诸如狗和猫等的被摄体信息、诸如海滩等的场景信息、以及诸如微笑等的面部表情信息)，来估计用户可能喜欢的被摄体信息。通过将被摄体登记为要输入到神经网络并被检测的被摄体来进行学习。可以是如下构造，其中基于SNS中的标签信息(图像滤波器信息或被摄体信息)的统计值来估计当前在世界上流行的图像信息，并且在相机101中学习该图像信息。

<当相机参数被外部设备改变时进行学习>

当前在相机101中设置的学习参数(诸如NN的权重和要输入到NN的被摄体的选择等)可以被发送到外部设备301并存储在外部设备301的存储单元404中。通过使用外部设备301的专用应用，经由公共无线控制单元406获取专用服务器中设置的学习参数。这也可以设置为相机101中的学习参数。可以通过将某时间点的参数存储在外部设备301中并在相机101中设置参数，来返回学习参数。其他用户拥有的学习参数可以经由专用服务器获取并设置在拥有者自己的相机101中。

可以通过使用外部设备301的专用应用来登记由用户登记的语音命令、认证登记和手势，或者可以登记重要地点。这些信息被作为用于在摄像模式处理(图9A和图9B)中描述的摄像触发和自动摄像确定的输入数据来进行处理。可以是如下构造，其中可以设置摄像频率、启动间隔、静止图像与运动图像之间的比率、喜欢的图像等，并设置低功耗模式控制中描述的启动间隔等。

<根据由外部设备手动编辑图像的信息进行学习>

外部设备301的专用应用可以具有允许根据用户的操作进行手动编辑的功能，并且可以将编辑工作的细节反馈给学习。例如，可以编辑图像效果添加(修剪处理、旋转处理、滑动、变焦、淡入淡出、颜色转换滤镜效果、时间、静止图像/运动图像比率和BGM)。训练自动编辑神经网络，使得针对图像学习信息确定手动编辑的图像效果添加。

接下来，将描述学习处理序列。在图7的S704中的模式设置确定中，确定是否要进行学习处理。如果确定为要进行学习处理，则执行S716中的学习模式处理。将描述学习模式的确定条件。基于诸如从进行先前学习处理时起经过的时间、可用于学习的信息的数量、以及是否存在经由通信设备进行学习处理的指令等的信息，来确定是否转变到学习模式。将参照图15描述学习模式确定处理。

图15是示出在图7的S704(模式设置确定处理)中执行的是否转变到学习模式的确定处理的流程图。当在S704中的模式设置确定处理中给出开始学习模式确定的指令时，开始图15中的处理。在S1401中，确定是否有来自外部设备301的登记指令。该登记指令是用于学习(诸如上述<当外部设备获取图像时进行学习>、<当经由外部设备向图像输入确定值时进行学习>以及<当分析存储在外部设备中的图像时进行学习>等)的登记指令。

如果在S1401中确定为存在来自外部设备301的登记指令，则流程进入S1408中的处理。在S1408中，学习模式确定标志被设置为TRUE(真)，使得S716中的处理被设置为进行，然后学习模式确定处理结束。如果在S1401中确定为没有来自外部设备301的登记指令，则流程进入S1402中的处理。

在S1402中，确定是否有来自外部设备301的学习指令。该学习指令是用于如上述<当相机参数被外部设备改变时进行学习>那样设置学习参数的指令。如果在S1402中确定为存在来自外部设备301的学习指令，则流程进入S1408中的处理。如果在S1402中确定为没有来自外部设备301的学习指令，则流程进入S1403中的处理。

在S1403中，获取从进行先前学习处理(NN的权重的重新计算)的时间起经过的时间(由TimeN指示)。流程进入S1404的处理，获取待学习的新数据的数量(由DN指示)。数据的数量DN对应于在从进行先前学习处理的时间起经过的时间TimeN期间指定要学习的图像的数量。

接着，流程进入S1405的处理，并且基于经过的时间TimeN来计算用于确定是否转变到学习模式的阈值DT。随着阈值DT被设置为越小的值，越容易转变到学习模式。例如，在TimeN小于预定值的情况下的阈值DT的值由DTa指示，而在TimeN大于预定值的情况下的阈值DT的值由DTb指示。DTa被设置为大于DTb，并且阈值被设置为随着时间的经过而变小。因此，即使学习数据的数量少，如果经过的时间长，则也容易转变到学习模式，并且再次进行学习。即，相机转变到学习模式的难易度的设置根据使用时间而改变。

在S1405的处理之后，流程进入S1406的处理，并且确定要学习的数据的数量DN是否大于阈值DT。如果确定为数据的数量DN大于阈值DT，则流程进入S1407的处理，如果确定为数据的数量DN等于或小于阈值DT，则流程进入S1409的处理。在S1407中，将数据的数量DN设置为零。此后，执行S1408中的处理，然后学习模式确定处理结束。

如果流程进入S1409中的处理，则由于没有来自外部设备301的登记指令或学习指令并且数据的数量DN等于或小于阈值DT，因此学习模式确定标志被设置为FALSE(假)。在S716中的处理被设置为不进行之后，学习模式确定处理结束。

接下来，将描述学习模式处理(图7：S716)中的处理。图16是示出学习模式处理的示例的流程图。当在图7的S715中确定学习模式并且流程进入S716中的处理时，开始图16中的处理。在S1501中，确定是否有来自外部设备301的登记指令。如果在S1501中确定为有来自外部设备301的登记指令，则流程进入S1502的处理。如果在S1501中确定为没有来自外部设备301的登记指令，则流程进入S1504中的处理。

在S1502中，执行各种登记处理。各种类型的登记是要输入到神经网络的特征的登记，诸如面部识别登记、一般物体识别登记、声音信息登记和地点信息登记等。在登记处理结束后，流程进入S1503的处理。在S1503中，基于在S1502中登记的信息，进行改变要输入到神经网络的元素的处理。当S1503的处理结束时，流程进入S1507的处理。

在S1504中，确定是否有来自外部设备301的学习指令。如果确定为有来自外部设备301的学习指令，则流程进入S1505的处理，而如果确定为如果没有学习指令，则流程进入S1506的处理。

在S1505中，在通过通信从外部设备301发送的学习参数被设置在各个确定器(诸如NN的权重等)中之后，流程进入S1507中的处理。在S1506中，进行学习(重新计算NN的权重)。转变到S1506中的处理的情况是如参照图15所描述的数据的数量DN超过阈值DT并且重新学习各个确定器的情况。通过使用误差反向传播法、梯度下降法等的重新学习来重新计算NN的权重，并改变各个确定器中的参数。当设置了学习参数时，流程进入S1507中的处理。

在S1507中，执行对文件中的图像进行重新评分的处理。本实施例提供了如下构造，其中基于学习结果对存储在记录介质221的文件中的所有拍摄图像进行评分，并根据分数进行自动编辑或自动文件删除。因此，如果进行重新学习或设置了来自外部设备的学习参数，则也需要更新拍摄图像的分数。在S1507中，进行对存储在文件中的拍摄图像添加新的分数的重新计算，并且当处理结束时，学习模式处理结束。

在上面的描述中，已经描述了如下方法：通过提取假定为用户喜好的场景、学习其特征、并在诸如自动摄像和自动编辑等的相机操作中反映特征，来提出用户喜欢的图像。本发明的实施例不限于该应用。例如，如下所述，本发明可以应用于提出不符合用户喜好的视频的应用。

<使用学习了喜好的神经网络的方法>

根据上述方法进行对用户喜好的学习。在图9A的S908中，执行自动摄像确定处理。当NN的输出值是指示被摄体不符合作为训练数据的用户喜好的值时，进行自动摄像。例如，假设用户喜好的图像被用作训练图像，并且进行学习，使得当示出与训练图像相似的特征时输出高值。在这种情况下，相反，在输出值小于预定阈值的条件下进行自动摄像。类似地，在被摄体搜索处理或自动编辑处理中，执行处理使得NN的输出值是指示被摄体不符合作为训练数据的用户喜好的值。

<使用学习了不符合喜好的状况的神经网络的方法>

在学习处理时，执行如下处理：学习不符合作为训练数据的用户喜好的状况。在上面的示例中，假设手动拍摄的图像是用户自愿拍摄的场景，并且已经描述了使用该图像作为训练数据的学习方法。另一方面，不将手动拍摄的图像用作训练数据，并且进行如下处理：将预定时间或更长时间未手动拍摄的场景添加为训练数据。另选地，如果训练数据包括具有与手动拍摄图像的特征相似的特征的场景数据，则进行从训练数据中删除该数据的处理。进行将具有与由外部设备获取的图像的特征不同的特征的图像添加到训练数据的处理或者从训练数据中删除具有与获取的图像的特征相似的特征的图像的处理。通过上述方式，在训练数据中积累了不符合用户喜好的数据，因此，作为学习的结果，NN可以判别不符合用户喜好的状况。在自动摄像中，根据NN的输出值进行摄像，因此可以对不符合用户喜好的场景进行拍摄。

根据提出不符合用户喜好的图像的方法，由于拍摄了用户不会手动摄像的场景，因此可以减少摄像遗漏的次数。通过提出在不是用户自身想法的场景中的摄像，具有提高用户意识或扩大品味范围的效果。

通过组合上述方法，很容易提出与用户喜好有些相似但部分不同的状况，或者调整对用户喜好的符合程度。可以根据模式设置、各种传感器的状态以及检测信息的状态来改变对用户喜好的符合程度。

在本实施例中，已经描述了相机101中用于学习的构造。另一方面，如果外部设备301具有学习功能，则将学习所需的数据发送到外部设备301，并且仅由外部设备301执行学习。即使采用这种构造，也可以实现与上述相同的学习效果。例如，如以上<当相机参数被外部设备改变时进行学习>中所述，可以通过在相机101中通过通信设置参数(诸如由外部设备301学习的NN的权重等)来进行学习。

此外，存在相机101和外部设备301均具有学习功能的实施例。例如，在相机101中进行学习模式处理(图7：S716)的定时，存储在外部设备301中的学习信息被发送到相机101，学习参数被合并，并且通过使用合并的参数进行学习。

根据本实施例，如果通过使用单个摄像设备来进行自动摄像和自动认证登记，则可以同时实现用于自动摄像的摄像和用于自动认证登记的摄像。特别地，自动认证登记可以提高自动摄像的精度，并且还可以实现不妨碍自动摄像机会的控制。

在下文中，将参照图17至图35描述如下示例，其中，确定被摄体摄像对象人物并进行跟踪控制。例如，在自动摄像中，用户将与主要人物有关的特征信息登记在相机中并指定要优先跟踪和拍摄登记人物，从而可以以人物(优先人物)为中心进行摄像。如果未检测到优先人物，或者即使检测到优先人物但未被识别为优先人物，则希望尽可能地对主要人物进行摄像。即使检测到优先人物，在同时检测到诸如家庭成员或朋友等的其他主要人物的情况下，也希望进行控制，使得该人物也包括在视角中，并且尽可能不将无关人物包括在视角中。

作为被摄体识别技术，存在如下技术，其中逐帧分析图像数据以识别检测到的被摄体，提取识别出的被摄体的出现频率，并且基于出现频率从这些被摄体中选择主被摄体。使用这种技术，总是按照出现频率的降序选择特定数量的被摄体。因此，在绝对人数较少的情况下，即使人物的出现频率明显低于原来的主要人物的出现频率，也可以将该人物确定为主要人物。由于没有考虑被摄体与摄像设备之间的距离，因此存在远离摄像设备的无关人物可能被包括在主要人物中的可能性。

在下文中，将描述如下技术，其中，在无需用户给出摄像指令的情况下定期且连续地进行摄像的自动摄像相机中，在保持主要人物在摄像视角内的同时降低无关人物包括在摄像视角中的频率。具体地，将描述如下示例，其中，基于用户设置以及检测到的人物的面部尺寸、面部位置、面部可靠度和检测频率来确定人物的摄像优先级，并根据各人物的摄像优先级来确定被设置为摄像对象的人物。进行控制，使得如果检测到具有高摄像优先级的人物，则将该人物和具有相似摄像优先级的人物确定为摄像对象，并且将摄像优先级相差一定量以上的人物排除在摄像对象之外。通过选择摄像对象，可以增加用户和与该用户的摄像优先级相似的人物被摄像的可能性，并降低无关人物被摄像的可能性。

图17是示出包括镜筒102、倾斜旋转单元104、平摇旋转单元105和控制箱1100的摄像设备的框图。控制箱1100包括用于控制镜筒102中包括的一组摄像透镜、倾斜旋转单元104和平摇旋转单元105的微型计算机等。控制箱1100布置在摄像设备的固定部103中。即使在进行镜筒102的平摇驱动或倾斜驱动时，控制箱1100也是固定的。

镜筒102包括形成摄像光学系统的透镜单元1021和具有摄像元件的摄像单元1022。镜筒102被控制为通过倾斜旋转单元104和平摇旋转单元105分别在倾斜方向和平摇方向上旋转驱动。透镜单元1021包括改变倍率的变焦透镜、调整焦点的聚焦透镜等，并由控制箱1100中的透镜驱动单元1113驱动和控制。变焦机构单元由变焦透镜和驱动透镜的透镜驱动单元1113构成。通过透镜驱动单元1113使变焦透镜在光轴方向上移动，从而实现变焦功能。

摄像单元1022具有摄像元件，接收通过构成透镜单元1021的各个透镜组入射的光，并将与光量相对应的电荷信息作为数字图像数据输出到图像处理单元1103。倾斜旋转单元104和平摇旋转单元105根据从控制箱1100中的镜筒旋转驱动单元1112输入的驱动指令来旋转和驱动镜筒102。

接下来，将描述控制箱1100的构造。自动摄像中的摄像方向由临时登记确定单元1108、摄像对象确定单元1110、驱动控制单元1111和镜筒旋转驱动单元1112控制。

图像处理单元1103获取从摄像单元1022输出的数字图像数据。诸如失真校正、白平衡调整和颜色插值处理等的图像处理被应用于所获取的数字图像数据。应用了图像处理的数字图像数据被输出到图像记录单元1104和被摄体检测单元1107。图像处理单元1103响应于来自临时登记确定单元1108的指令将数字图像数据输出到特征信息提取单元1105。

图像记录单元1104将从图像处理单元1103输出的数字图像数据转换为诸如JPEG格式等的记录格式，并且将数字图像数据记录在记录介质(非易失性存储器等)上。特征信息提取单元1105获取位于从图像处理单元1103输出的数字图像数据中心的面部图像。特征信息提取单元1105从获取的面部图像中提取特征信息并将面部图像和特征信息输出到人物信息管理单元1106。特征信息是指示位于诸如面部的眼睛、鼻子和嘴巴等的部位的多个面部特征点的信息，并且用于将人物判别为检测被摄体。特征信息可以是指示诸如面部的轮廓、面部的颜色信息和面部的深度信息等的面部特征的其他信息。

人物信息管理单元1106进行在存储单元中存储和管理与各个人物相关联的人物信息的处理。将参照图18描述人物信息的示例。人物信息由人物ID、面部图像、特征信息、登记状态、优先级设置和姓名形成。人物ID是用于识别多个人物信息中的各个信息的ID(识别信息)，并且不发布相同的ID并且设置1以上的值。面部图像数据是从特征信息提取单元1105输入的面部图像的数据。特征信息是从特征信息提取单元1105输入的信息。关于登记状态，假设定义了两种状态，即“临时登记”和“主要登记”。“临时登记”指示如下状态，其中，通过临时登记确定来确定为某人有可能是主要人物。“主要登记”指示如下状态，其中，通过主要登记确定或取决于是否存在用户操作来确定为某人是主要人物。稍后将描述临时登记确定处理和主要登记确定处理的细节。优先级设置是指示是否通过用户操作优先进行摄像的设置。姓名是通过用户操作赋予各个人物的姓名。

当从特征信息提取单元1105获取面部图像和特征信息时，人物信息管理单元1106发布新的人物ID，将该人物ID与输入的面部图像和特征信息相关联，并添加新的人物信息。当添加新的人物信息时，登记状态的初始值为“临时登记”，优先级设置初始值为“不存在”，并且姓名的初始值为空。当从主要登记确定单元1109获取主要登记确定结果(要登记的人物ID)时，人物信息管理单元1106将与人物ID对应的人物信息的登记状态改变为“主要登记”。如果通过用户操作从通信单元1114接收到用于改变人物信息(优先级设置或姓名)的指令，则人物信息管理单元1106根据该指令改变人物信息。如果针对登记状态为“临时登记”的人物改变优先级设置或姓名，则人物信息管理单元1106确定为该人物是主要人物并将该人物的登记状态改变为“主要登记”。稍后将描述重要性确定单元1514。

图19是示出与相机101通信的移动终端设备(外部设备)上的画面示例的示意图。移动终端设备经由相机101的通信单元1114获取人物信息并以列表形式将人物信息显示在画面上。在图19所示的示例中，在画面上显示面部图像、姓名和优先级设置。用户可以改变姓名和优先级设置。如果姓名或优先级设置被改变，则移动终端设备向通信单元1114输出用于改变与人物ID相关联的姓名或优先级设置的指令。

被摄体检测单元1107(图17)从输入自图像处理单元1103的数字图像数据中检测被摄体，并提取与检测到的被摄体有关的信息(被摄体信息)。将描述被摄体检测单元1107检测人物面部作为被摄体的示例。被摄体信息包括例如检测到的被摄体的数量、面部的位置、面部尺寸、面部的朝向以及指示检测确定性的面部的可靠度。被摄体检测单元1107通过将从人物信息管理单元1106获取的各个人物的特征信息与检测到的被摄体的特征信息进行对照来计算相似度。如果相似度等于或大于阈值，则执行将检测到的人物的人物ID、登记状态和优先级设置添加到被摄体信息的处理。被摄体检测单元1107将被摄体信息输出到临时登记确定单元1108、主要登记确定单元1109和摄像对象确定单元1110。稍后将参照图20A和图20B描述被摄体信息的示例。

临时登记确定单元1108确定被摄体检测单元1107检测到的被摄体是否有可能是主要人物，即是否要进行临时登记。如果确定为任何被摄体是要临时登记的人物，则临时登记确定单元1108计算将要临时登记的人物以指定尺寸布置在画面中心所需的平摇驱动角度、倾斜驱动角度和目标变焦位置。将基于计算结果的命令信号输出到驱动控制单元1111。稍后将参照图22描述临时登记确定处理的细节。

主要登记确定单元1109基于从被摄体检测单元1107获取的被摄体信息，确定与用户相似的人物，即要主要登记的人物。如果确定为任何人物是要主要登记的人物，则将要主要登记的人物的人物ID输出到人物信息管理单元1106。后面将参照图24至图26描述主要登记确定处理的细节。

摄像对象确定单元1110基于从被摄体检测单元1107获取的被摄体信息来确定摄像对象被摄体。摄像对象确定单元1110基于摄像对象人物的确定结果，来计算将摄像对象人物以指定尺寸布置在视角内所需的平摇驱动角度、倾斜驱动角度和目标变焦位置。将基于计算结果的命令信号输出到驱动控制单元1111。稍后将参照图27描述摄像对象确定处理的细节。

当从临时登记确定单元1108或摄像对象确定单元1110获取命令信号时，驱动控制单元1111向透镜驱动单元1113和镜筒旋转驱动单元1112输出控制参数信息。基于目标变焦位置的参数被输出到透镜驱动单元1113。与基于平摇驱动角度和倾斜驱动角度的目标位置对应的参数被输出到镜筒旋转驱动单元1112。

如果存在来自临时登记确定单元1108的输入，则驱动控制单元1111不参照来自摄像对象确定单元1110的输入，而是基于来自临时定位确定单元1108的输入值来确定各个目标位置(目标变焦位置和基于驱动角度的目标位置)。镜筒旋转驱动单元1112基于来自驱动控制单元1111的目标位置和驱动速度，向倾斜旋转单元104和平摇旋转单元105输出驱动命令。透镜驱动单元1113具有用于驱动透镜单元1021中包括的变焦透镜、聚焦透镜等的马达和驱动单元。透镜驱动单元1113基于来自驱动控制单元1111的目标位置来驱动各个透镜。

通信单元1114将存储在人物信息管理单元1106中的人物信息发送到诸如移动终端设备等的外部设备。当从外部设备接收到用于改变人物信息的指令时，通信单元1114向人物信息管理单元1106输出指令信号。在本示例中，假设来自外部设备的改变指令是用于改变人物信息的优先级设置和姓名的指令。

图20A和图20B是示出图像数据的示例和由被摄体检测单元1107获取的被摄体信息的示例的图。图20A是示出输入到被摄体检测单元1107的图像数据的示例的示意图。例如，图像数据由960像素的水平分辨率和540像素的垂直分辨率形成。图20B是示出在图20A中示出的图像数据被输入到被摄体检测单元1107的情况下提取的被摄体信息的示例的表。例示的被摄体信息包括被摄体的数量、各个被摄体的被摄体ID、面部尺寸、面部位置、面部朝向、面部可靠度、人物ID、登记状态和优先级设置。

被摄体的数量指示检测到的面部的数量。图20B中的示例是如下示例，其中，被摄体的数量为4，并且包括四个被摄体的面部尺寸、面部位置、面部朝向、面部可靠度、人物ID、登记状态和优先级设置。被摄体ID是用于识别被摄体的数值，并在检测到新被摄体时发布。不会发布相同的被摄体ID，并且每当检测到被摄体时发布新值。例如，如果特定被摄体移出视角而无法检测到，然后返回到视角并被重新检测到，则即使对于同一被摄体也会发布另一新值。

面部尺寸(w，h)是指示检测到的面部的尺寸的数值，并输入面部的宽度(w)和高度(h)的像素数。在本示例中，假设宽度和高度是相同的值。面部位置(x，y)是指示检测到的面部在摄像范围内的相对位置的数值。如果将图像数据的左上角定义为起点(0，0)并将画面右下角定义为终点(960，540)，则输入从起点到面部中心坐标的水平像素的数量和垂直像素的数量。面部朝向是指示检测到的面部的朝向的信息，并且输入正面、向右45度、向右90度、向左45度、向左90度和未知中的任意一个。面部可靠度是指示检测到的人脸的确定性的信息，并且输入0到100之间的任意值。根据与预先存储的多个标准面部模板的特征信息的相似度来计算面部可靠度。

人物ID与由人物信息管理单元1106管理的人物ID相同。当检测到被摄体时，被摄体检测单元1107计算从人物信息管理单元1106获取的各个人物的特征信息与被摄体的特征信息之间的相似度。输入相似度等于或大于阈值的人物的人物ID。如果从人物信息管理单元1106获取的特征信息与任何人物的特征信息都不相似，则输入零作为ID值。与登记状态和优先级设置有关的信息与同人物信息管理单元1106所管理的登记状态和优先级设置有关的信息相同。如果人物ID不为零(即确定为该人如果是人物信息管理单元1106管理的人物之一)，则输入与从人物信息管理单元1106获取的相应人物的登记状态和优先级设置有关的信息。

在本示例中，将参照图21描述周期地执行的处理。图21是示出摄像、人物信息的登记和更新的整体流程的流程图。当摄像设备通电时，摄像设备的摄像单元1022开始周期摄像(运动图像拍摄)，以获取用于各种确定(摄像对象确定、临时登记确定和主要登记确定)的图像数据。在S500中，开始重复处理。

将通过摄像获取的图像数据输出到图像处理单元1103，并且在S501中，获取经过各种类型的图像处理的图像数据。由于获取的图像数据是用于各种确定的图像数据，因此该图像数据从图像处理单元1103输出到被摄体检测单元1107。换言之，这里获取的图像数据对应于用户调整构图并操作快门来拍摄图像的摄像设备中的实时取景显示的图像数据，并且用于获取图像数据的周期摄像对应于实时取景摄像。控制箱1100通过使用获取的图像数据来调整构图或确定自动摄像定时。

接下来，在S502中，被摄体检测单元1107基于图像数据检测被摄体并获取被摄体信息(参照图20B)。在检测到被摄体并获取被摄体信息后，在S503中进行主要登记确定。在主要登记确定中，通过使用与检测到的被摄体有关的信息来确定要主要登记的人物。在该确定中，更新人物信息管理单元1106中的人物信息，但不执行平摇驱动、倾斜驱动和变焦驱动。

在S504中进行临时登记确定。在临时登记确定中，从检测到的被摄体中确定要临时登记的被摄体，并且基于要临时登记的被摄体的面部位置来获取平摇驱动角度和倾斜驱动角度。基于位置和面部尺寸来获取目标变焦位置。临时登记确定单元1108指示图像处理单元1103将图像数据输出到特征信息提取单元1105。当在临时登记确定中获取平摇驱动角度、倾斜驱动角度和目标变焦位置时，基于该信息执行平摇驱动、倾斜驱动和变焦驱动，从而调整用于临时登记的构图。

在S504的处理之后，流程进入S505的处理，并且确定是否正在执行调整用于临时登记的构图的处理。在S505中，如果正在执行调整用于临时登记的构图的处理，则进入S506的处理，而如果没有正在执行调整用于临时登记的构图的处理，则进入S507的处理。

在S506中，特征信息提取单元1105提取位于图像数据中心的被摄体的特征信息，并将提取的特征信息输出到人物信息管理单元1106。在S507中，执行摄像对象确定。摄像对象确定单元1110在检测到的被摄体中确定摄像对象被摄体。基于摄像对象被摄体的面部位置来获取平摇驱动角度和倾斜驱动角度。基于位置和面部尺寸来获取目标变焦位置。当通过摄像对象确定获取到平摇驱动角度、倾斜驱动角度和目标变焦位置时，基于该信息执行平摇驱动、倾斜驱动和变焦驱动，从而调整摄像构图。

在S506和S507之后，流程进入S508的处理，并且确定是否要结束重复处理。如果要继续处理，则流程返回S500，并继续处理。根据摄像单元1022的摄像周期重复执行S501至S507中的处理。

<临时登记处理>

将参照图22A和图22B描述图21中的S504所示的临时登记确定处理。图22A是示出由临时登记确定单元1108进行的临时登记确定处理的流程图。该处理周期地执行并且确定是否存在人物可能是主要人物的可能性。图22B是示出临时登记计数的表。临时登记计数与被摄体ID相关联，并且如果临时登记计数达到50个或更多，则确定为对应的被摄体为临时登记对象人物。由于在多个周期内执行临时登记确定，因此进行如下处理：在当前周期中的确定时存储当前临时登记计数，并在下一个周期中参照和接管直到先前周期所添加的临时登记计数。

在S600中，开始与检测到的被摄体的数量对应的重复处理。当从被摄体检测单元1107获取被摄体信息时，临时登记确定单元1108针对各个被摄体执行S601至S609中的处理，并且在任何被摄体被确定为临时登记对象的情况下执行S610至S613中的处理。在S601中，执行确定被摄体是否未登记的处理。临时登记确定单元1108参照被摄体信息的人物ID，并在确定为被摄体未登记(人物ID为零)的情况下，流程进入S602的处理。如果确定为人物ID的值为1或更大，即被摄体已经被登记，则流程进入下一个被摄体确定处理。

在S602中，临时登记确定单元1108参照存储的直到先前帧的临时登记计数，并在存在相同被摄体ID的临时登记计数的情况下，接管临时登记计数。接下来，在S603中，临时登记确定单元1108确定面部是否面向前方。如果确定为面部面向前方，则流程进入S604中的处理，并且如果确定为面部未面向前方，则流程进入S607中的处理。

S604是用于确定变焦广角时的面部尺寸是否在100到200的范围内的处理。如果满足该条件，则流程进入S605的处理，并且如果不满足该条件，流程进入S607的处理。S605是确定面部可靠度是否等于或大于阈值80的处理。如果满足该条件，则流程进入S606的处理，如果不满足该条件，则流程进入S607的处理。

当满足S603至S605中所示的所有条件时，流程进入S606中的处理。在S606中，临时登记确定单元1108确定为该人物可能是与用户相似的主要人物，将临时登记计数加1(递增)。另一方面，如果不满足S603至S605中所示的任何一个条件，则流程进入S607中的处理。在S607中，临时登记确定单元1108确定为对象人物不太可能是主要人物，并且将临时登记计数设置为0。

在S606和S607中的处理之后，在S608中，临时登记确定单元1108将被摄体的临时登记计数的值与阈值50进行比较。如果确定为临时登记计数的值小于50，则流程进入S609的流程。如果确定为临时登记计数的值等于或大于50，则流程进入S611中的处理。

在S609中，临时登记确定单元1108确定临时登记计数的值是否大于零。如果确定为临时登记计数的值大于零，则流程进入S610的处理，如果不满足该条件(临时登记计数的值为零)，则流程进入S614的处理，而不存储临时登记计数。在S610中，临时登记确定单元1108存储临时登记计数，然后进入S614中的确定处理。在S614中确定是否要结束重复处理，如果处理继续，则流程返回到S600并进入下一个被摄体确定处理。

在S611中，临时登记确定单元1108确定为相应的被摄体可以是主要人物，并将该被摄体设置为临时登记对象。在S612中，临时登记确定单元1108计算平摇驱动角度、倾斜驱动角度和变焦移动位置，使得临时对象被摄体的面部以合适的面部尺寸布置在画面中心，并向驱动控制单元1111输出基于计算结果的命令。例如，如果面部的中心位置在画面中心的5％以内并且面部尺寸为100到200，则特征信息提取单元1105可以获取特征信息。

在本示例中，为了获取特征信息，进行控制使得摄像对象被摄体被布置在画面中心。本示例不限于此，并且可以通过进行图像处理(诸如在不改变被摄体的位置的情况下切出包括对象被摄体的面部的图像数据的一部分等)来提取特征信息。

在S613中，临时登记确定单元1108指示图像处理单元1103将图像数据输出到特征信息提取单元1105。特征信息提取单元1105切出位于输入图像数据中心的面部图像，提取特征信息，并将特征信息输出到人物信息管理单元1106。人物信息管理单元1106基于输入的面部图像和特征信息添加新的人物信息。在S613的处理后，一系列处理结束。

假设本示例的摄像设备中的变焦位置可以设置为0到100。变焦位置的值越小，透镜越靠近广角侧，并且该值越大，透镜越靠近远摄侧。即，S604所示的变焦广角指示变焦位置为零且视角最宽的状态。在摄像设备中，如果变焦广角时的面部尺寸为100到200，则确定为被摄体与摄像设备之间的距离可以被预测为大约50cm到150cm。也就是说，如果被摄体离摄像设备不太近也不太远，则确定为该被摄体可能是主要人物。在图22A的示例中，已经描述了基于面部尺寸计算被摄体与摄像设备之间的距离的处理，但是距被摄体的距离可以根据使用深度传感器、复眼透镜等的其他方法来测量。

随后，将描述在输入图20B所示的被摄体信息的情况下的临时登记确定的具体示例。这里，变焦位置设置为零。由于图20B中的被摄体1和被摄体2已经在图22A的S601中登记(人物ID不为零)，因此不执行S602及之后的处理。

由于图20B中的被摄体3的人物ID在图22A的S601中为零(未登记)，因此执行S602及之后的处理。如图22B所示，直到先前周期的被摄体ID 3的临时登记计数被设置为30。在图22A的S602中，参照直到先前周期的临时登记计数，并且如果存在被摄体ID 3的临时登记计数，则接管该信息。由于图20B中的被摄体3面向前方，因此流程从图22A中的S603进入S604。在S604中，由于变焦广角时的面部尺寸为120，因此流程进入S605中的处理，并且在S605中，面部可靠度为80，因此流程进入S606中的处理。在图22A的S606中，将临时登记计数加1以获得31。由于在S608中临时登记计数小于50，因此在S609中存储临时登记计数后，流程进入下一个被摄体确定。

由于图20B中的被摄体4的人物ID在图22A的S601中为零，因此执行S602及之后的处理。在S602中，参照直到先前周期的临时登记计数，并且如果存在被摄体ID4的临时登记计数，则接管该信息。这里，假设不存在直到先前周期的被摄体ID的临时登记计数。在图22A的S603中，由于面部朝向是向左90度，因此流程进入S607中的处理，并且将临时登记计数设置为零。在S608中，由于临时登记计数小于50，因此流程进入S609的处理，并且在S609中，由于临时登记计数为零，因此不存储临时登记计数，并且处理结束。

随后，将描述如下示例，其中，在图22A的S608中临时登记计数变为50或更多，并且通过平摇驱动、倾斜驱动和变焦驱动将作为临时登记对象的被摄体布置在视角的中心。如果图20B中的被摄体3是临时登记对象，则计算平摇驱动角度和倾斜驱动角度，使得被摄体的面部位置落入预定范围内。预定范围是被摄体面部位置在画面中心5％以内的范围，即x位置坐标值在432至528范围内且y位置坐标值在513至567的范围内的范围。由于被摄体3的面部尺寸在100至200之间，因此变焦位置不改变。

图23A是示出在相对于图20A改变了平摇位置和倾斜位置的情况下的图像数据的示例的图。图23B是示出在将图23A中示出的图像数据输入到被摄体检测单元1107的情况下提取的被摄体信息的示例的表。在本示例中，面部以适当的尺寸布置在画面的中心，因此特征信息提取单元1105可以获取特征信息。在临时登记确定处理中，在多个周期内满足特定条件的未登记人物很可能被确定为主要人物并被添加到人物信息管理单元1106。

<主要登记>

接下来，将参照图24A和图24B，描述图21中的S503所示的主要登记确定处理。图24A是示出由主要登记确定单元1109进行的主要登记确定处理的流程图。与临时登记确定相同，在多个周期执行该确定处理，并且从已经临时登记的人物中确定主要人物。

图24B是示出与人物ID相关联的计数A、计数B和主要登记计数的表。计数A和计数B分别在不同的条件下相加，并且如果计数A的值为50以上或计数B的值为50以上，则添加主要登记计数。如果主要登记计数达到100，则将相应的被摄体确定为主要登记对象人物。假设进行如下处理，其中，在针对各个周期的确定时存储当前计数A、计数B和主要登记计数，并且在下一个周期中，参照并接管直到先前周期所添加的各种计数。

在S1700中，开始与检测到的被摄体的数量对应的重复处理。当从被摄体检测单元1107获取被摄体信息时，主要登记确定单元1109对各个被摄体执行图24A的S1701至S1707中的处理。在S1701中，主要登记确定单元1109确定“临时登记”。如果参照被摄体信息的登记状态并且确定为登记状态是“临时登记”，则流程进入S1702中的处理。如果确定为登记状态不是“临时登记”，则流程进入下一个被摄体确定处理。

在S1702中，主要登记确定单元1109参照直到先前帧所存储的计数，并且在针对同一人物ID存在各种计数的情况下，登记确定单元1109接管各种计数。然后，主要登记确定单元1109执行第一主要登记计数确定(S1703)，并且进一步执行第二主要登记计数确定(S1704)。第一主要登记计数确定是基于单个人物的被摄体信息的确定。执行如下处理：根据对象人物与摄像设备之间的距离和可靠度添加计数A并添加主要登记计数。第二主要登记计数确定是基于与已经被确定为主要人物的“主要登记”人物的相关度的确定。具体地，同时检测多个“主要登记人物”，并且执行如下处理：根据距摄像设备的距离是否相同来添加计数B并添加主要登记计数。稍后将描述第一主要登记计数确定处理和第二主要登记计数确定处理的细节。

在S1704之后的S1705中，主要登记确定单元1109将对应人物的主要登记计数的值与阈值100进行比较。如果确定为主要登记计数的值大于100，则流程进入S1706的处理，而如果确定为主要登记计数的值小于100，则流程进入S1707的处理。在S1706中，主要登记确定单元1109指示人物信息管理单元1106将相应人物的登记状态改变为“主要登记”。此外，在S1707中，主要登记确定单元1109存储各种当前计数。在S1706和S1707之后，流程进入S1708的处理，并且确定是否要结束重复处理。如果要继续处理，则流程返回到S1700，并且继续对下一个检测到的被摄体进行处理。

随后，将参照图25的流程图来描述图24A中的S1703(第一主要登记计数确定)中的处理。在S1801中，主要登记确定单元1109确定变焦广角时的面部尺寸是否在100至200的范围内。如果满足该条件，则流程进入S1802的处理，并且如果不满足该条件，则流程进入S1804的处理。

在S1802中，主要登记确定单元1109确定面部可靠度是否等于或大于阈值80。如果满足该条件，则流程进入S1803的处理，如果不满足该条件，则流程进入S1804的处理。如果满足S1801和S1802中的全部条件，则流程进入S1803中的处理，并且进行将对应于“变焦广角时的面部尺寸/10”的值添加到计数A的处理。在S1804中，主要登记确定单元1109将计数A设置为零，然后结束处理。

在S1803之后的S1805中，主要登记确定单元1109将计数A的值与阈值50进行比较。如果确定为计数A的值等于或大于50，则流程进入S1806的处理，并且如果确定为计数A小于50，则处理结束。主要登记确定单元1109在S1806中将主要登记计数加1，并在S1807中将计数A设置为零。在S1807之后，处理结束。

将参照图26的流程图来描述图24A中的S1704(第二主要登记计数确定)中的处理。在S1901中，主要登记确定单元1109参照被摄体信息，并确定是否同时检测到登记状态为“主要登记”的人物(即，已经被确定为主要人物的多个人物)。如果确定为同时检测到主要登记人物，则流程进入S1902中的处理。如果确定为没有同时检测到主要登记人物，则流程进入S1905中的处理。

在S1902中，主要登记确定单元1109参照被摄体信息的面部尺寸，并确定面部尺寸是否与同时检测到的主要登记人物中的任何一个的面部尺寸相似。具体而言，例如，如果被摄体信息的面部尺寸在作为确定条件的“主要登记人物的面部尺寸±10％”的范围内，则认为面部尺寸相似。如果满足S1902的条件，则流程进入S1903的处理，并且如果不满足该条件，则流程进入S1905的处理。

在S1903中，主要登记确定单元1109将面部可靠度与阈值80进行比较。如果确定为面部可靠度等于或大于80，则流程进入S1904的处理，并且如果确定为面部可靠度小于80，则流程进入S1905的处理。在S1904中，主要登记确定单元1109将与“变焦广角时的面部尺寸/10”对应的值添加到计数B。在S1905中，主要登记确定单元1109将计数B设置为零，然后结束处理。

在S1904之后的S1906中，主要登记确定单元1109将计数B的值与阈值50进行比较。如果确定为计数B的值等于或大于阈值50，则流程进入S1907的处理。如果确定为计数B的值小于阈值50，则该处理结束。在S1907中，主要登记确定单元1109将主要登记计数加1，在S1908中将计数B设置为零，然后结束处理。

随后，将描述在主要登记确定单元1109获取图20B所示的被摄体信息的情况下的主要登记确定的具体示例。变焦位置被设置为零。由于图20B中的被摄体1、被摄体3和被摄体4的登记状态在图24A的S1701中不是“临时登记”，因此不执行S1702及之后的处理。由于图20B中的被摄体2的登记状态在图24A的S1701中是“临时登记”，因此执行S1702及之后的处理。

在图24A的S1702中，参照直到先前周期的计数A、计数B和主要登记计数，并且如果存在人物ID 4的各种计数，则接管该信息。如图24B所示，直到先前周期的人物ID 4的计数A、计数B和主要登记计数分别被设置为30、40和70。计数A和计数B的值的总和是主要登记计数的值。在图24A的S1703中，执行第一主要登记计数确定。由于在图25的S1801中变焦广角时的面部尺寸为110，因此流程进入S1802中的处理，并且由于在S1802中面部可靠度为90，因此流程进入S1803中的处理。在图25的S1803中，由于变焦广角时的面部尺寸为110，因此将11(＝110/10)添加到计数A中，然后计数A变为41(＝30+11)。在图25的S1805中，由于计数A的值小于阈值50，因此第一主要登记计数确定处理结束。

随后，在图24A的S1704中，执行第二主要登记计数确定。在图26的S1901中，参照被摄体信息，并且确定为同时检测到的被摄体1的登记状态为“主要登记”。确定为同时检测到主要登记人物，并且流程进入S1902中的处理。在图26的S1902中，在作为主要登记人物的被摄体1与被摄体2之间比较面部尺寸。由于被摄体1的面部尺寸为120，因此如果面部尺寸为120±10％，即108至132，则确定为面部尺寸相似。由于被摄体2的面部尺寸为110，因此确定为面部尺寸与主要登记人物的面部尺寸相似，并且流程进入S1903的处理。由于在S1903中面部可靠度为90，因此流程进入S1904中的处理。

在图26的S1904中，由于变焦广角时的面部尺寸为110，因此将11(＝110/10)添加到计数B中，然后计数B变为51(＝40+11)。在图26的S1906中，由于计数B等于或大于50，所以流程进入S1907中的处理。在S1907中，将主要登记计数的值70加1，得到71。在S1908中，在将计数B设置为零之后，结束第二主要登记计数确定处理。随后，在图24A的S1705中，由于主要登记计数的值小于阈值100，所以流程进入S1707中的处理。对于人物ID 4，将计数A设置为41，将计数B设置为0，并且将主要登记计数设置为71，并执行存储各种计数的处理。

通过主要登记确定处理已经在多个周期中继续满足如下条件的临时登记的人物被确定为主要人物，该条件是：到摄像设备的距离在预定范围内，或者到已经被确定为主要人物的人物的距离短。人物信息管理单元1106可以基于该确定结果进行更新。

<摄像对象确定>

将参照图27A和图27B描述图21中S507所示的摄像对象确定处理的细节。图27A是示出由摄像对象确定单元1110进行的处理的流程图。每个周期执行本处理，并且从检测到的人物中确定摄像对象人物。当从被摄体检测单元1107获取被摄体信息时，摄像对象确定单元1110执行S1001至S1008中的处理以确定摄像对象被摄体。基于确定结果在S1009和S1010的处理中计算平摇驱动角度、倾斜驱动角度和变焦移动位置。

在S1001中，摄像对象确定单元1110参照被摄体信息并确定是否检测到优先级设置为“存在”的人物。如果检测到相应人物，则流程进入S1002的处理，并且如果未检测到相应人物，则流程进入S1005的处理。

在S1002中，摄像对象确定单元1110将优先级设置为“存在”的人物添加为摄像对象人物，并进入S1003。在S1003中，摄像对象确定单元1110参照被摄体信息，并且确定是否检测到登记状态为“主要登记”的人物。如果检测到相应人物，则流程进入S1004的处理，并且如果未检测到相应人物，则流程进入S1009的处理。在S1004中，摄像对象确定单元1110将登记状态为“主要登记”的人物添加为摄像对象人物，并进入S1009。

如果检测到优先级设置为“存在”的人物，则在S1001至S1004的处理中确定为优先级设置为“存在”的人物和登记状态为“主要登记”的人物为摄像对象人物。在S1005中，摄像对象确定单元1110参照被摄体信息并确定是否检测到登记状态为“主要登记”的人物。如果检测到相应人物，则流程进入S1006的处理，并且如果未检测到相应人物，则流程进入S1009的处理。在S1006中，摄像对象确定单元1110将登记状态为“主要登记”的人物添加为摄像对象人物，并进入S1007。

在S1007中，摄像对象确定单元1110参照被摄体信息并确定是否检测到登记状态为“临时登记”的人物。如果检测到相应人物，则流程进入S1008的处理，并且如果未检测到相应人物，则流程进入S1009的处理。在S1008中，摄像对象确定单元1110将登记状态为“临时登记”的人物添加为摄像对象人物，并进入S1009。

如果未检测到优先级设置为“存在”的人物并且检测到登记状态为“主要登记”的人物，则通过S1006至S1008中的处理确定摄像对象人物。即，确定为登记状态为“主要登记”的人物和登记状态为“临时登记”的人物是摄像对象人物。

在S1009中，摄像对象确定单元1110确定摄像对象人物的数量。如果确定为存在1个或多个摄像对象人物，则流程进入S1010的处理，并且如果确定为摄像对象人物的数量为零，则结束处理。在S1010中，摄像对象确定单元1110计算平摇驱动角度、倾斜驱动角度和变焦移动位置，使得摄像对象包括在视角中，并将计算结果输出到驱动控制单元1111。

图27B是示出根据被摄体信息的登记状态和优先级设置的人物的重要性的表。摄像优先级由1到4的数值表示，其中1为最高摄像优先级，4为最低摄像优先级。

·摄像优先级为1的人物是登记状态为“主要登记”并且其优先级设置为“存在”的人物。

·摄像优先级为2的人物是登记状态为“主要登记”且优先级设置为“不存在”的人物。

·摄像优先级为3的人物是登记状态为“临时登记”的人物。

·摄像优先级为4的人物是未登记的人物。

根据图27A中的处理，如果检测到摄像优先级为1的人物，则摄像对象确定单元1110将摄像优先级为1和2的人物设置为摄像对象，而不将摄像优先级为3和4的人物设置为摄像对象。如果没有检测到摄像优先级为1的人物而检测到摄像优先级为2的人物，则摄像对象确定单元1110将摄像优先级为2和3的人物设置为摄像对象，而不将摄像优先级为4的人物设置为摄像对象。如果没有检测到摄像优先级为1或2的人物，则确定结果为没有被摄体被设置为摄像对象。

图28A和图28B是示出图像数据和被摄体信息的示例的图。图28A是示出输入到被摄体检测单元1107的图像数据的示例的示意图。图28B是示出在图28A中示出的图像数据被输入到被摄体检测单元1107的情况下提取的被摄体信息的示例的表。图28B中的示例是如下信息的示例，其中，被摄体的数量为6，并且包括针对六个被摄体的被摄体ID、面部尺寸、面部位置、面部朝向、面部可靠度、人物ID、登记状态和优先级设置。将描述在摄像对象确定单元1110获取图28B所示的被摄体信息的情况下的摄像对象确定的具体示例。变焦位置被设置为零。

在图27A的S1001中，参照图28B中的被摄体信息，并且由于被摄体2的优先级设置为“存在”，因此流程进入S1002的处理，并将被摄体2添加为摄像对象。在S1003中，参照图28B中的被摄体信息，并且由于被摄体1的登记状态为“主要登记”，因此流程进入S1004的处理，并将被摄体1添加为摄像对象。

在图27A的S1009中，由于摄像对象人物的数量是两个，所以流程进入S1010中的处理。在S1010中，计算平摇驱动角度、倾斜驱动角度和变焦移动位置，使得被摄体1和被摄体2包括在视角中。将省略对计算角度或位置的具体数值的方法的描述。存在将角度或位置指定为绝对值的方法、设置能够指定的驱动角度和位置的最小值并在多个周期中逐渐将最小值改变为对象角度或位置的方法。

图29是示出当输入计算出的平摇驱动角度、倾斜驱动角度和变焦移动位置时作为驱动控制单元1111控制各个驱动单元的结果的图像数据的示例的示意图。在图29的示例中，控制平摇驱动、倾斜驱动和变焦位置移动，使得右侧被摄体1和左侧被摄体2的面部位置的重心布置在画面中心，并且各个被摄体的面部尺寸在150到200之间。

通过上述控制，可以进行摄像，使得作为摄像对象并且被确定为具有高摄像优先级的被摄体1和被摄体2包括在视角中，并且不是摄像对象并且被确定为具有低摄像优先级的被摄体3至6不包括在视角中。如果检测到摄像优先级等于或大于特定级别的人物，则执行如下处理，其中，具有相似摄像优先级的人物被设置为摄像对象，而摄像优先级远离主要人物的人物不被设置为摄像对象。结果，可以进行如下摄像，其中，将主要人物设置为摄像对象并且尽可能从摄像对象中排除低关系度的人物。

接下来，将参照图17、图30至图34描述添加了重要性确定单元1514的示例。在本示例中，示出了如下示例，其中，进一步细分了用于确定摄像优先级的人物信息，并根据各个人物的检测间隔来改变重要性，以提高主要人物的判别精度。

参照图17，将着重于与上述示例的不同之处来描述由控制箱1100进行的处理的细节。人物信息管理单元1106存储和管理与各个人物相关联的人物信息。下面将参照图30描述人物信息。

图30是示出包括重要性的人物信息的示例的表。重要性以外的项目与上述示例相同，因此将省略其说明。将重要性设置为从1到10的10级，其中1指示最低重要性，10指示最高重要性。重要性的下限值在姓名为空的情况下为“0”，而在输入了姓名的情况下为“5”。

当从特征信息提取单元1105获取面部图像和特征信息时，人物信息管理单元1106发布新的人物ID，将人物ID与输入的面部图像和特征信息相关联，并添加新的人物信息。当添加新的人物信息时，登记状态的初始值为“临时登记”，重要性为“0”(未设置)，优先级设置的初始值为“不存在”，并且姓名的初始值为空。当从主要登记确定单元1109获取主要登记确定结果(要登记的人物ID)时，人物信息管理单元1106将与相应人物的人物ID对应的人物信息的登记状态改变为“主要登记”，并将重要性设置为“1”。如果通过用户操作从通信单元1114接收到用于改变人物信息(与优先级设置或姓名有关的信息)的指令，则人物信息管理单元1106根据该指令改变人物信息。如果针对登记状态为“临时登记”的人物改变优先级设置或姓名，则人物信息管理单元1106将相应人物的登记状态改变为“主要登记”，并在姓名改变的情况下将重要性设置为“5”。

当从重要性确定单元1514接收到增加或减去人物ID的重要性的指令时，人物信息管理单元1106增加或减去与对应人物的人物ID对应的人物信息的重要性。被摄体检测单元1107从来自图像处理单元1103的数字图像数据中检测被摄体，并提取与检测到的被摄体有关的信息。将描述被摄体检测单元1107检测人物面部作为被摄体的示例。被摄体信息包括例如检测到的被摄体的数量、面部的位置、面部尺寸、面部的朝向以及指示检测确定性的面部的可靠度。稍后将参照图31A和图31B描述被摄体信息的示例。

被摄体检测单元1107通过将从人物信息管理单元1106获取的各个人物的特征信息与检测到的被摄体的特征信息进行对照来计算相似度。如果相似度等于或大于阈值，则被摄体检测单元1107将检测到的人物的人物ID、登记状态、重要性和优先级设置添加到被摄体信息。被摄体检测单元1107将被摄体信息输出到临时登记确定单元1108、主要登记确定单元1109、摄像对象确定单元1110和重要性确定单元1514。

摄像对象确定单元1110基于从被摄体检测单元1107获取的被摄体信息来确定摄像对象被摄体。摄像对象确定单元1110还基于摄像对象人物的确定结果，来计算将摄像对象人物以指定大小布置在视角内所需的平摇驱动角度、倾斜驱动角度和目标变焦位置。将基于计算结果的命令输出到驱动控制单元1111。稍后将参照图34A描述摄像对象确定处理的细节。

图31A和图31B是示出图像数据和被摄体信息的示例的图。图31A是示出输入到被摄体检测单元1107的图像数据的示例的示意图。图31B是示出在图31A中示出的图像数据被输入到被摄体检测单元1107的情况下提取的被摄体信息的示例的表。示出了如下示例，其中，被摄体信息包括被摄体的数量、各个被摄体的被摄体ID、面部尺寸、面部位置、面部朝向、面部可靠度、人物ID、登记状态、重要性和优先级设置。重要性以外的项目与上述示例中相同，并将省略其描述。

重要性与人物信息管理单元1106管理的重要性相同。如果人物ID不为零，即确定为人物是由人物信息管理单元1106管理的任何人物，则获取从人物信息管理单元1106所获取的相应人物的重要性。

图32是示出本示例中的摄像、人物信息的登记和更新的整体流程的流程图，并且周期地执行以下处理。当摄像设备通电时，摄像单元1022开始周期摄像(运动图像拍摄)以获取用于各种确定的图像数据。各种确定是摄像对象确定、临时登记确定、主要登记确定和重要性确定。在S2800中，开始重复处理。

在S2801中，通过摄像获取的图像数据被输出到图像处理单元1103，并且获取经过各种类型的图像处理的图像数据。当在S2802中检测到被摄体并获取到被摄体信息时，在S2803中进行主要登记确定，在S2804中进行重要性确定，并且在S2805中进行临时登记确定。将省略临时登记确定处理和主要登记确定处理的描述。在S2804中，重要性确定单元1514通过使用与检测到的被摄体有关的信息来确定人物的重要性。在重要性确定中，更新人物信息管理单元1106中的人物信息，但不执行平摇驱动、倾斜驱动和变焦驱动。

S2806是用于确定是否正在执行临时登记构图调整处理的处理。如果确定为正在执行临时登记构图调整处理，则流程进入S2807的处理，如果确定为没有正在执行临时登记构图调整处理，则流程进入S2808的处理。在S2807中，特征信息提取单元1105提取位于图像数据中心的被摄体的特征信息，并将特征信息输出到人物信息管理单元1106。在S2807中，执行摄像对象确定。

在S2807和S2808之后，流程进入S2809的处理，并且确定是否要结束重复处理，如果继续处理，则流程返回S2800。根据摄像单元1022的摄像周期重复执行S2801至S2808中的处理。

接下来，参照图33A和图33B，描述图32中的S2804所示的重要性确定处理。图33A是示出由重要性确定单元1514进行的处理的流程图。在多个周期执行重要性确定处理，并且确定并更新已经主要登记的人物的重要性。图33B是示出与人物ID相关联的最后检测日期和时间以及最后更新日期和时间的表。最后检测日期和时间是最后检测到主要登记的人物的日期和时间。最后更新日期和时间是最后更新主要登记的人物的重要性的日期和时间。最后检测日期和时间以及最后更新日期和时间通过与主要登记的人物的数量对应的数据存储在存储器中，并在各个周期的确定时被参照。

当从被摄体检测单元1107获取被摄体信息时，重要性确定单元1514执行S2901中的处理，然后对检测到的被摄体执行S2902至S2906中的处理，并且还对主要登记的人物执行S2907至S2909中的处理。在S2901中，重要性确定单元1514从相机101的系统时间获取当前日期和时间。在STA中，开始与检测到的被摄体的数量对应的重复处理。在S2902中，重要性确定单元1514参照被摄体信息，并确定登记状态是否为“主要登记”。如果确定为登记状态为“主要登记”，则流程进入S2903的处理，如果登记状态不是“主要登记”，则流程进入STB中的处理。

在S2903中，重要性确定单元1514将当前日期和时间设置为检测到的人物的最后检测日期和时间。在S2904中，重要性确定单元1514确定当前日期和时间是否从最后更新日期和时间起经过30分钟以上且在24小时以内。如果满足该条件，则流程进入S2905的处理，如果不满足该条件，则流程进入STB中的处理。

重要性确定单元1514在S2905中指示人物信息管理单元1106将重要性加1，并且在S2906中将当前日期和时间设置为最后更新日期和时间。确定是否在STB中结束重复处理，如果处理继续，则流程返回STA并进行下一个被摄体的处理。

接下来，对各个主要登记人物执行以下处理。在STC中，开始与主要登记被摄体的数量对应的重复处理。在S2907中，重要性确定单元1514参照当前的日期和时间，并确定最后检测日期和时间以及最后更新日期和时间是否存在1周以上的间隔。如果确定为1周以上未进行检测或更新，则流程进入S2908，而如果确定为1周内进行了检测或更新，则流程进入STD。

重要性确定单元1514在S2908中指示人物信息管理单元1106将重要性减1，并且在S2909中将当前日期和时间设置为最后更新日期和时间。在STD中确定是否要结束重复处理，如果处理继续，则流程返回STC并继续处理下一个主要登记的被摄体。

通过重要性确定处理，每隔一天重新发现的人物的重要性增加，并且一周以上未检测到的被摄体的重要性降低。换句话说，可以增加频繁出现的主要人物的重要性，并降低很少被看见或已经主要登记的无关人物的重要性。

将参照图34A和图34B描述图32中的S2808所示的摄像对象确定处理。图34A是示出由摄像对象确定单元1110进行的处理的流程图。每个周期执行本处理，并且从检测到的人物中确定摄像对象人物。图34B是示出根据被摄体信息的登记状态、重要性和优先级设置的人物的摄像优先级的表(摄像优先级表)。摄像优先级由1到13的数值表示，其中1指示最高摄像优先级，13指示最低摄像优先级。

·摄像优先级为1的人物是登记状态为“主要登记”且优先级设置为“存在”的人物。

·摄像优先级为2至11的人物是登记状态为“主要登记”且优先级设置为“不存在”的人物，且重要性越高，摄像优先级越高。

·摄像优先级为12的人物是登记状态为“临时登记”的人物。

·摄像优先级为13的人物是未登记的人物。

当从被摄体检测单元1107获取到被摄体信息时，摄像对象确定单元1110执行S3001至S3004中的处理以确定摄像对象被摄体。基于确定结果，进行S3005和S3006中的处理以计算平摇驱动角度、倾斜驱动角度和变焦移动位置。

在S3001中，摄像对象确定单元1110参照被摄体信息和图34B所示的摄像优先级表，并获取各个被摄体的摄像优先级。在S3002中，摄像对象确定单元1110确定所有检测到的被摄体中摄像优先级最高的被摄体的摄像优先级是否等于或小于阈值10。如果满足该条件，则流程进入STE中的处理，如果不满足该条件，则确定为没有摄像对象，并且处理结束。在STE中开始与检测到的被摄体的数量相对应的重复处理。在S3003中，摄像对象确定单元1110确定各被摄体的摄像优先级是否小于通过将所有被摄体的最高摄像优先级加2而得的值。如果满足该条件，则流程进入S3004的处理，如果不满足该条件，则流程进入STF中的处理。在STF中确定是否要结束重复处理，如果处理继续，则流程返回STE并继续对下一个检测到的被摄体进行处理。

在S3004中，摄像对象确定单元1110将确定的检测到的被摄体添加为摄像对象。例如，如果摄像优先级最高的被摄体的摄像优先级为“4”，则将摄像优先级为“4”、“5”或“6”的被摄体确定为摄像对象。如果摄像优先级最高的被摄体的摄像优先级为“7”，则将摄像优先级为“7”、“8”或“9”的被摄体确定为摄像对象。在S3004之后，流程进入STF中的处理，其中确定是否要结束重复处理，如果继续处理，则流程返回STE并继续处理下一个检测到的被摄体。当重复处理结束时，流程进入S3005中的处理。

在S3005中，摄像对象确定单元1110确定是否存在一个或多个摄像对象人物。如果满足该条件，则流程进入S3006的处理，如果不满足该条件，则该处理结束。在S3006中，摄像对象确定单元1110计算平摇驱动角度、倾斜驱动角度和变焦移动位置使得摄像对象包括在视角中，并将计算结果输出到驱动控制单元1111。之后，结束一系列的处理。

通过上述控制，可以进行摄像，使得摄像对象被摄体(即被确定为具有高摄像优先级的被摄体)包括在视角中，并且不是摄像对象的被摄体(即被确定为具有低摄像优先级的被摄体)不包括在视角中。如果检测到具有较高摄像优先级的人物，则将具有相似摄像优先级的多个人物确定为摄像对象，并且将具有不同摄像优先级的人物确定为不是摄像对象。可以进行如下摄像，其中，将主要人物设置为摄像对象，并且尽可能从摄像对象中排除低关系度的人物。

(变型例)

以下，将描述上述示例的变型例。在上述示例中，与人物面部的特征相关的信息被用作被摄体信息。在变型例中，可以将与人物以外的被摄体(诸如动物或物体等)有关的特征信息用作被摄体信息。

图35A和图35B示出了如下示例，其中，除了人物之外还可以检测动物的面部信息。图35A是示出输入到被摄体检测单元1107的图像数据的示例的示意图。图35B是示出与图35A中的图像数据对应的被摄体信息的表。当对动物或物体进行摄像时，临时登记确定和主要登记确定作为与人物分开的处理来执行。另选地，如果将动物或物体与人物混合，则执行如下处理：通过根据被摄体的类型对重要性进行加权，来确定摄像对象。

上述示例是如下示例，其中，包括摄像单元1022的镜筒102围绕X轴和Y轴两者旋转，因此可以进行平摇驱动和倾斜驱动。即使镜筒102不能绕X轴和Y轴两者旋转，只要镜筒102可以绕任一轴旋转，本发明仍然适用。例如，在镜筒102可以绕Y轴旋转的构造的情况下，基于被摄体的朝向来进行平摇驱动。

在上述示例中，已经描述了如下摄像设备，其中集成了包括摄像光学系统和摄像元件的镜筒、以及通过使用镜筒控制摄像方向的摄像控制设备。本发明不限于此。例如，摄像设备可以具有透镜设备可更换的构造。存在如下构造，其中摄像设备附接到设置有在平摇方向和倾斜方向上被驱动的旋转机构的平台。摄像设备可以具有摄像功能和其他功能。例如，存在如下构造，其中能够固定具有摄像功能的智能电话的平台和智能电话组合在一起。镜筒、旋转机构(倾斜旋转单元和平摇旋转单元)和控制箱不需要物理连接。例如，可以通过诸如Wi-Fi等的无线通信来控制旋转机构或变焦功能。

已经描述了通过摄像设备获取人物的特征信息的示例。本发明不限于此，并且例如可以存在如下构造，其中从用于面部登记的其他摄像设备或诸如移动终端设备等的外部设备获取人物信息中的面部图像或特征信息，并且登记或添加面部图像或特征信息。

尽管以上描述了本发明的优选实施例，但本发明并不限于这些实施例，可以在本发明的主旨的范围内进行各种变型和改变。

(其他实施例)

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

本申请要求2020年10月27日提交的日本专利申请2020-179882的优先权，该申请的全部内容通过引用并入本文。

Claims (30)

1.一种摄像设备，其能够进行自动摄像和自动认证登记，所述摄像设备包括：

摄像单元，其被配置为拍摄被摄体；

搜索单元，其被配置为搜索在所述摄像单元获取的图像数据中所检测到的被摄体；

认证登记单元，其被配置为对检测到的被摄体进行认证和存储；以及

控制单元，其被配置为进行与是否满足所述认证登记单元进行自动认证登记的第一条件有关的认证登记确定以及与是否满足用于进行自动摄像的第二条件有关的摄像确定，并控制自动摄像和自动认证登记的定时，

其中，所述控制单元通过在控制所述搜索单元中的搜索的同时、执行与检测到的被摄体相关的认证登记确定和摄像确定，来确定自动认证登记的定时。

2.根据权利要求1所述的摄像设备，

其中，所述控制单元将认证登记确定优先于摄像确定。

3.根据权利要求2所述的摄像设备，

其中，如果认证登记确定和摄像确定的结果是满足所述第一条件，则所述认证登记单元登记检测到的被摄体，而如果不满足所述第一条件但满足所述第二条件，则所述控制单元控制自动摄像。

4.根据权利要求1所述的摄像设备，还包括：

第一改变单元，其被配置为改变摄像方向；以及

第二改变单元，其被配置为改变摄像视角，

其中，所述控制单元控制所述第一改变单元或所述第二改变单元在自动摄像和自动认证登记中改变摄像方向或摄像视角的定时。

5.根据权利要求4所述的摄像设备，

其中，所述第一改变单元包括驱动单元，所述驱动单元被配置为使所述摄像单元在多个方向上旋转移动，以及

其中，所述第二改变单元通过驱动透镜或进行图像处理，来改变自动摄像中的视角。

6.根据权利要求4所述的摄像设备，

其中，如果确定为满足所述第一条件，则所述控制单元进行控制，使得所述第一改变单元将被摄体的面部布置在摄像视角的中心。

7.根据权利要求4所述的摄像设备，

其中，如果确定为满足所述第一条件，则所述控制单元进行控制，使得所述第二改变单元将被摄体的面部尺寸改变为预先设置的尺寸。

8.根据权利要求4所述的摄像设备，

其中，如果确定为满足所述第二条件并且检测到的被摄体是人物，则所述控制单元进行控制，使得所述第二改变单元将摄像视角改变为包括所述被摄体的摄像视角。

9.根据权利要求2所述的摄像设备，

其中，所述控制单元根据摄像次数或摄像的时间间隔，将认证登记确定的结果设置为优先于摄像确定的结果。

10.根据权利要求1所述的摄像设备，

其中，如果确定为满足所述第一条件并且存在来自外部设备的摄像指令，则所述控制单元进行用以停止自动认证登记的处理的控制。

11.根据权利要求1所述的摄像设备，

其中，基于获取的被摄体的面部信息的所述第一条件是：面部检测的可靠度大于阈值且被摄体的面部面向所述摄像设备的正面，或者所述可靠度大于所述阈值的状态持续且被摄体的面部面向所述摄像设备的正面。

12.根据权利要求1所述的摄像设备，

其中，所述控制单元获取与检测到的被摄体有关的信息以及摄像历史信息，并且计算摄像的分数并计算确定阈值，以及

其中，所述第二条件是所述分数超过所述确定阈值的条件。

13.根据权利要求4所述的摄像设备，

其中，如果确定为满足所述第一条件，则所述控制单元进行控制，使得所述第二改变单元在自动认证登记之前调整摄像视角。

14.根据权利要求1所述的摄像设备，还包括：

获取单元，其被配置为获取通过图像数据的机器学习而计算或改变的信息，

其中，所述控制单元通过使用所述获取单元获取的信息，来进行对被摄体的登记确定或基于所述第二条件的摄像确定。

15.根据权利要求14所述的摄像设备，

其中，所述控制单元通过使用所述获取单元获取的信息，来进行与是否满足转变到低功耗状态的条件或取消低功耗状态的条件有关的确定，并且基于确定的结果来控制供电。

16.根据权利要求1至15中的任一项所述的摄像设备，

其中，在自动摄像中，所述控制单元获取与被摄体的距离和检测频率有关的信息，确定各被摄体的摄像优先级，并在检测到的多个被摄体中将优先级在预设范围内的被摄体确定为摄像对象被摄体。

17.根据权利要求16所述的摄像设备，

其中，所述控制单元将优先级为第一优先级的第一被摄体以及优先级为第二优先级的第二被摄体确定为摄像对象被摄体，所述第二优先级在距所述第一优先级的预设范围内。

18.根据权利要求17所述的摄像设备，

其中，所述控制单元进行自动摄像的控制，而不将优先级低于所述第二优先级的被摄体设置为摄像对象。

19.根据权利要求17所述的摄像设备，

其中，所述控制单元通过使用与从所述摄像设备到所述第一被摄体和所述第二被摄体的距离有关的信息，来确定各被摄体的摄像优先级。

20.根据权利要求16所述的摄像设备，

其中，所述控制单元进行用于在存储单元中存储并管理被摄体的特征信息的处理，并确定检测到的被摄体的特征信息是否与存储在所述存储单元中的特征信息一致。

21.根据权利要求20所述的摄像设备，

其中，所述存储单元将被摄体的特征信息和优先级相互关联地存储。

22.根据权利要求21所述的摄像设备，

其中，如果检测到与存储在所述存储单元中的特征信息相对应的被摄体，则所述控制单元进行用于根据检测到的被摄体的优先级来更新存储在所述存储单元中的优先级的处理。

23.根据权利要求20所述的摄像设备，

其中，如果获取到检测到的被摄体的特征信息，则所述控制单元进行用于将优先级为预设值或在预设范围内的被摄体的特征信息存储在所述存储单元中的处理。

24.根据权利要求16所述的摄像设备，

其中，所述控制单元基于从检测到的被摄体的最后检测日期和时间起经过的时间，来确定被摄体的优先级。

25.根据权利要求16所述的摄像设备，还包括：

改变单元，其被配置为改变摄像方向，

其中，所述控制单元通过控制所述改变单元，来控制对所确定的摄像对象被摄体的摄像。

26.根据权利要求16所述的摄像设备，还包括：

改变单元，其被配置为改变摄像视角，

其中，所述控制单元通过控制所述改变单元，在所确定的摄像对象被摄体包括在摄像视角中的状态下控制摄像。

27.根据权利要求26所述的摄像设备，

其中，所述控制单元通过使用与被摄体的面部朝向有关的信息或者指示面部的确定性的可靠度，来确定被摄体的优先级。

28.根据权利要求27所述的摄像设备，

其中，所述控制单元进行用于输出优先级以及被摄体的面部的图像数据的控制。

29.一种在摄像设备中执行的控制方法，所述摄像设备能够进行自动摄像和自动认证登记，所述控制方法包括：

搜索在摄像单元获取的图像数据中检测到的被摄体；

对检测到的被摄体进行认证和登记；以及

进行与是否满足进行自动认证登记的第一条件有关的认证登记确定以及与是否满足用于进行自动摄像的第二条件有关的摄像确定，并控制自动摄像和自动认证登记的定时，

其中，通过在控制对被摄体的搜索的同时执行与检测到的被摄体相关的认证登记确定和摄像确定，所述控制确定自动认证登记的定时。

30.一种非暂时性记录介质，其存储有能够进行自动摄像和自动认证登记的摄像设备的控制程序，所述控制程序使计算机进行所述摄像设备的控制方法的各步骤，所述控制方法包括：

搜索在摄像单元获取的图像数据中检测到的被摄体；

对检测到的被摄体进行认证和登记；以及

进行与是否满足进行自动认证登记的第一条件有关的认证登记确定以及与是否满足用于进行自动摄像的第二条件有关的摄像确定，并控制自动摄像和自动认证登记的定时，

其中，通过在控制对被摄体的搜索的同时执行与检测到的被摄体相关的认证登记确定和摄像确定，所述控制确定自动认证登记的定时。

Images