CN111105039A - 信息处理设备及其控制方法和存储器 - Google Patents

Abstract

本发明提供一种信息处理设备及其控制方法和存储器。该信息处理设备将用于学习的数据划分成第一训练数据和第二训练数据，将第一训练数据和第二训练数据存储到存储器中，并且在获得新的特征数据的情况下仅更新第二训练数据而不更新第一训练数据。

Description

信息处理设备及其控制方法和存储器

技术领域

本发明涉及学习用于摄像操作和图像处理中的至少一个的参数的信息处理设备。

背景技术

在使用诸如照相机等的摄像设备的静止图像/运动图像拍摄处理中，用户在通过取景器等检查摄像对象的同时确定该对象，并且在通过他/她自己检查摄像状况的同时调整要拍摄的图像的取景，以拍摄图像。以这种方式使用的摄像设备包括用于检测用户操作中的错误并向用户通知所检测到的错误、或者检测外部环境并向用户通知所检测到的外部环境不适合于摄像的功能。另外，迄今为止，已知用于控制使照相机进入适合于摄像的状态的机构。

与响应于用户操作执行摄像的摄像设备相对地，日本特表2016-536868讨论了用于在没有从用户接收到摄像指示的情况下周期性地和连续地进行摄像的生活日志(lifelog)照相机。该生活日志照相机在用带子等将照相机穿戴在用户的身上的状态下使用，并且以一定的时间间隔将用户在他/她的日常生活中观察到的场景记录为视频图像。使用生活日志照相机的摄像不是在诸如用户释放快门的定时等的期望定时进行的，而是以一定的时间间隔进行的，这使得不是正常拍摄图像的非预期瞬间可以被拍摄作为视频图像。

然而，当在将生活日志照相机穿戴在用户的身上的状态下周期性地进行自动摄像时，获取到用户不期望的视频图像，并且不能获取到用户期望的瞬间的视频图像。

即使生活日志照相机包括学习功能并且能够学习用户期望的瞬间的图像并自动拍摄该瞬间的图像，也需要大量的训练数据用于学习。日本特开2004-354251讨论了用于通过使用神经网络来检查物体中缺陷的存在或不存在的缺陷检查设备。

通过使用日本特开2004-354251中讨论的神经网络来学习用户的偏好，照相机可以在获得用户期望的构图的定时进行自动摄像，或者图像处理设备可以根据用户的偏好对图像进行处理。随着学习处理的进行，可以更准确地反映用户的偏好。

然而，如果使用大量训练数据来学习用户的偏好，则学习结果可能会不相称地强调用户的偏好。在这种情况下，难以以通常优选的构图进行自动摄像和处理图像，这可能降低用户友好性。

发明内容

根据本发明的方面，一种信息处理设备包括控制电路，该控制电路被配置为访问用于存储学习电路进行学习所要使用的训练数据的存储器，并且更新训练数据。存储器存储第一训练数据和第二训练数据，第一训练数据和第二训练数据各自包括多个特征数据。第二训练数据中所包括的特征数据的数量具有上限。控制电路使用从图像中提取的特征数据来更新第二训练数据而不更新第一训练数据。

一种信息处理设备的控制方法，所述控制方法包括：访问被配置为存储学习电路进行学习所要使用的训练数据的存储器，并且更新所述训练数据，其中，所述存储器存储第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据各自包括多个特征数据，其中，所述第二训练数据中所包括的特征数据的数量具有上限，以及其中，不使用从图像提取的特征数据来更新所述第一训练数据，并且使用从图像提取的特征数据来更新所述第二训练数据。

一种非暂时性存储器，其存储指令，所述指令在被信息处理设备的一个或多个处理电路执行时使所述信息处理设备执行控制方法，所述控制方法包括：访问被配置为存储学习电路进行学习所要使用的训练数据的存储器，并且更新所述训练数据，其中，所述存储器存储第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据各自包括多个特征数据，其中，所述第二训练数据中所包括的特征数据的数量具有上限，以及其中，不使用从图像提取的特征数据来更新所述第一训练数据，并且使用从图像提取的特征数据来更新所述第二训练数据。

根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1A和1B是示意性地示出根据第一典型实施例的摄像设备的图。

图2是示出根据第一典型实施例的摄像设备的结构示例的框图。

图3是示出摄像设备和外部装置彼此通信的无线通信系统的结构示例的图。

图4是示出外部装置的结构示例的图。

图5是示出可以与摄像设备通信的外部装置的结构示例的图。

图6是示出外部装置的结构示例的框图。

图7是示出要由第一控制电路进行的操作的示例的流程图。

图8是示出要由第二控制电路进行的操作的示例的流程图。

图9是示出摄像模式处理中的处理过程的流程图。

图10是示出神经网络的图。

图11A、11B和11C是各自示出拍摄图像内的区域划分的图。图11D是示出示例图像的图。

图12是示出学习信息生成处理中的处理过程的流程图。

图13是示出包括固定训练数据和附加训练数据的学习信息的图。

图14是示出学习模式判断中的处理过程的流程图。

图15是示出学习处理中的处理过程的流程图。

图16是示出通过外部装置中的应用浏览摄像设备中的图像的状态的图。

具体实施方式

<摄像设备的结构>

图1A和1B是示意性地示出作为根据第一典型实施例的信息处理设备的摄像设备的图。本发明不仅可应用于通过数字照相机或数字摄像机进行的摄像，而且还可应用于诸如监视照相机、网络照相机、移动电话和平板终端等的摄像设备。另外，本发明还可应用于控制上述摄像设备并基于从摄像设备接收到的图像进行分析的服务器和个人计算机，或者包括摄像设备和服务器的组合的信息处理系统。在第一典型实施例中，将通过示例的方式描述包括图像分析功能、自动摄像功能和图像处理功能的摄像设备。

图1A所示的摄像设备101设置有用于操作电源开关的操作构件(以下将该操作构件称为电源按钮，但是可以使用触摸面板上的轻击操作、轻拂操作、和滑动操作等代替)。作为包括用于摄像的摄像透镜组和图像传感器的壳体的镜筒102安装到摄像设备101，并且设置有用于相对于固定部103转动驱动镜筒102的转动机构。俯仰转动单元104是用于使镜筒102在图1B所示的纵摇方向上转动的马达驱动机构。平摇转动单元105是用于使镜筒102在横摆方向上转动的马达驱动机构。因此，镜筒102可以在沿着至少一个轴的方向上转动。图1B示出在固定部103的位置处的轴的定义。角速度计106和加速度计107安装在摄像设备101的固定部103上。基于角速度计106和加速度计107来检测摄像设备101的振动，并且基于所检测到的抖动角度来转动驱动俯仰转动单元104和平摇转动单元105。利用这种结构，校正作为可移动部的镜筒102的抖动或倾斜。

图2是示出根据本典型实施例的摄像设备101的结构示例的框图。

参考图2，第一控制电路223包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、微处理器或微处理单元(MPU))和存储器(例如，动态随机存取存储器(DRAM)或静态RAM(SRAM))。这些单元用于通过执行各种类型的处理来控制摄像设备101的各块，并且用于控制块之间的数据传输。非易失性存储器(电可擦除可编程只读存储器(EEPROM))216是电可擦除/可记录存储器，并且存储用于第一控制电路223的操作的常数和程序等。

图2所示的变焦单元201包括用于变倍的变焦透镜。变焦驱动控制电路202驱动并控制变焦单元201。调焦单元203包括用于调焦的透镜。调焦驱动控制电路204驱动并控制调焦单元203。

摄像单元206包括图像传感器和模数(A/D)转换器。图像传感器接收穿过各透镜组的光，并将关于与光量相对应的电荷的信息作为模拟图像数据输出到图像处理电路207。图像处理电路207是安装有多个算术和逻辑单元(ALU)的算术电路。图像处理电路207对A/D转换后输出的数字图像数据应用诸如失真校正、白平衡调整和颜色插值处理等的图像处理，并输出进行了图像处理的数字图像数据。图像记录电路208将从图像处理电路207输出的数字图像数据转换成诸如联合图像专家组(JPEG)格式等的记录格式，并且将转换后的数据发送到将在下面描述的存储器215和视频图像输出电路217中的每一个。

镜筒转动驱动电路205驱动俯仰转动单元104和平摇转动单元105，以在俯仰方向和平摇方向上驱动镜筒102。

在设备抖动检测电路209上，例如安装了用于检测摄像设备101的三轴方向上的角速度的角速度计(陀螺仪传感器)106和用于检测摄像设备101的三轴方向上的加速度的加速度计(加速度传感器)107。设备抖动检测电路209基于检测到的信号来计算摄像设备101的转动角度和摄像设备101的偏移量等。

音频输入电路213从摄像设备101上的麦克风获取摄像设备101的周围音频信号，将模拟音频信号转换成数字音频信号，并将数字音频信号发送到音频处理电路214。音频处理电路214对接收到的数字音频信号进行诸如优化处理等的音频处理。通过第一控制电路223将由音频处理电路214处理的音频信号发送到存储器215。存储器215暂时存储由图像处理电路207获得的图像信号和由音频处理电路214获得的音频信号。

图像处理电路207读出存储器215中暂时存储的图像信号，进行例如图像信号的编码，并且生成压缩的图像信号。音频处理电路214读出存储器215中暂时存储的音频信号，进行例如音频信号的编码，并且生成压缩的音频信号。第一控制电路223将压缩的图像信号和压缩的音频信号发送到记录/再现电路220。

记录/再现电路220将由图像处理电路207生成的压缩的图像信号、由音频处理电路214生成的压缩的音频信号、以及与摄像相关联的控制数据等记录在记录介质221上。如果没有对音频信号进行压缩编码，则第一控制电路223将由音频处理电路214生成的音频信号和由图像处理电路207生成的压缩的图像信号发送到记录/再现电路220，并且将音频信号和图像信号记录在记录介质221上。

记录介质221可以是内置在摄像设备101中的记录介质，或者是可拆卸地安装的记录介质。记录介质221可记录由摄像设备101生成的诸如压缩的图像信号、压缩的音频信号和音频信号等的各种数据。通常使用具有比非易失性存储器216的容量大的容量的介质作为记录介质221。记录介质221的示例包括诸如硬盘、光盘、磁光盘、可记录光盘(CD-R)、数字多功能盘(DVD)-R、磁带、非易失性半导体存储器和闪速存储器等的任何类型的记录介质。

记录/再现电路220读出(再现)记录介质221上记录的压缩的图像信号、压缩的音频信号、音频信号、各种数据和程序。第一控制电路223将读取的压缩的图像信号和压缩的音频信号分别发送到图像处理电路207和音频处理电路214。图像处理电路207和音频处理电路214将压缩的图像信号和压缩的音频信号暂时存储到存储器215，以预定的过程对信号解码，并将解码后的信号发送到视频图像输出电路217和音频输出电路218。

在音频输入电路213中，将多个麦克风安装在摄像设备101上。音频处理电路214能够检测安装了多个麦克风的平面上的声音方向。如下所述，音频处理电路214用于搜索或自动摄像。此外，音频处理电路214检测特定音频命令。作为音频命令，可以使用预先登记的一些命令，并且用户可以在摄像设备101中登记特定语音。另外，音频处理电路214可以进行声音场景识别。在声音场景识别中，由通过基于大量音频数据的机器学习预先学习了场景的网络来进行声音场景判断。例如，在音频处理电路214中设置用于检测诸如“一阵欢呼”、“一阵掌声”或“发出语音”等的特定场景的网络。当检测到特定声音场景或特定音频命令时，将检测触发信号输出到第一控制电路223或第二控制电路211。

与用于控制摄像设备101的整个主系统的第一控制电路223分开设置的第二控制电路211控制第一控制电路223的供电。

第一电源电路210提供用于操作第一控制电路223的电力，并且第二电源电路212提供用于操作第二控制电路211的电力。当按下摄像设备101上的电源按钮时，电力首先被供给到第一控制电路223和第二控制电路211这两者。如下所述，第一控制电路223控制断开向第一电源电路210供电。同样在第一控制电路223没有正在操作的时间段期间，第二控制电路211操作，并且从设备抖动检测电路209和音频处理电路214接收信息。第二控制电路211被配置为进行用于基于各种输入信息来判断是否启动第一控制电路223的处理，并且如果判断为启动了第一控制电路223，则向第一电源电路210发送供电指示。

音频输出电路218例如在摄像期间从摄像设备101中内置的扬声器输出预设音频模式。

发光二极管(LED)控制电路224例如在摄像期间以预设的照明或闪烁模式控制设置在摄像设备101上的LED。

视频图像输出电路217例如包括视频图像输出端子，并且发送图像信号以在所连接的外部显示器等上显示视频图像。音频输出电路218和视频图像输出电路217可以耦合在一起以形成诸如高清晰度多媒体接口

端子等的单个端子。

通信电路222建立摄像设备101和外部装置之间的通信，并且发送和接收诸如音频信号、图像信号、压缩的音频信号和压缩的图像信号等的数据。通信电路222还接收摄像开始或结束命令以及与诸如平摇/俯仰驱动和变焦驱动等的摄像处理相关联的控制信号，并且响应于来自能够与摄像设备101通信的外部装置的指示来驱动摄像设备101。此外，在摄像设备101与外部装置之间发送或接收诸如与由以下描述的学习处理电路219进行的学习处理相关联的各种参数等的信息。通信电路222是诸如红外通信模块、蓝牙

通信模块、无线局域网(LAN)通信模块、无线通用串行总线(USB)或全球定位系统(GPS)接收器等的无线通信模块。

<外部通信装置的结构>

图3是示出摄像设备101和外部装置301彼此通信的无线通信系统的结构示例的图。摄像设备101是包括摄像功能的数字照相机，并且外部装置301是包括蓝牙通信模块和无线LAN通信模块的智能装置。

摄像设备101和外部装置(智能装置)301可以通过使用符合例如电气和电子工程师协会(IEEE)802.11标准系列的无线LAN的通信302和使用具有例如控制站和从属站之间的主从关系的通信303(诸如蓝牙低功耗(

Low Energy)等)来彼此通信。无线LAN和蓝牙低功耗是通信方法的示例。各通信设备包括两个或更多个通信功能。例如，在控制站和从属站之间的关系中进行通信的通信功能中的一个通信功能可以控制其它通信功能的情况下，可以使用其它通信方法。在这种情况下，在不失一般性的情况下，使用无线LAN等的第一通信与使用蓝牙低功耗等的第二通信相比能够实现更高速度的通信。另外，第二通信具有以下特征中的至少一个。也就是说，第二通信中的功耗比第一通信中的功耗小，或者第二通信的可通信距离比第一通信的可通信距离短。

将参考图4描述外部装置301的结构。

外部装置301包括例如用于无线LAN的无线LAN控制电路401、用于蓝牙低功耗的蓝牙低功耗控制电路402、以及用于公共无线通信的公共线路控制电路406。外部装置301还包括包发送/接收电路403。无线LAN控制电路401进行无线LAN的射频(RF)控制、通信处理、以及与用于通过使用符合IEEE802.11标准系列的无线LAN的通信来进行各种控制操作的驱动器和使用无线LAN的通信相关联的协议处理。蓝牙低功耗控制电路402进行用于蓝牙低功耗的RF控制、通信处理、以及与使用蓝牙低功耗的通信和用于通过使用蓝牙低功耗的通信进行各种控制操作的驱动器相关联的协议处理。公共线路控制电路406进行用于公共无线通信的RF控制、通信处理、以及与公共无线通信和用于使用公共无线通信进行各种控制操作的驱动器相关联的协议处理。公共无线通信符合例如国际多媒体电信(IMT)或长期演进(LTE)标准。包发送/接收电路403进行用于执行与使用无线LAN和通过蓝牙低功耗的通信以及公共无线通信相关联的包的发送和接收中的至少一个的处理。本典型实施例示出外部装置301执行通信中的包的发送和接收中的至少一个的示例。可以使用诸如线路切换等的其它通信形式来代替交换包。

外部装置301还包括例如控制电路411、存储电路404、GPS接收单元405、显示设备407、操作构件408、音频输入处理电路409和电源电路410。控制电路411执行例如存储电路404中存储的控制程序，以控制外部装置301的整体操作。存储电路404存储例如要由控制电路411执行的控制程序以及诸如用于通信的参数等的各种信息。控制电路411执行存储电路404中存储的控制程序，以实现下面将描述的各种操作。

电源电路410向外部装置301供电。显示设备407包括例如能够输出可以在视觉上识别的信息的液晶显示器(LCD)或LED以及能够输出声音的扬声器，并显示各种信息。操作构件408是例如用于接收外部装置301上的用户操作的按钮。显示设备407和操作构件408可以使用诸如触摸面板等的共同构件来配置。

音频输入处理电路409可以被配置为例如获取从外部装置301中内置的通用麦克风输入的用户的语音，并且通过语音识别处理获取用户操作命令。

此外，使用外部装置301中的专用应用通过用户的发声来获取音频命令。还可以通过使用无线LAN的通信302来将音频命令登记为用于使摄像设备101的音频处理电路214识别特定音频命令的特定音频命令。

GPS接收单元405接收从卫星发送的GPS信号，分析该GPS信号，并估计外部装置301的当前位置(经度/纬度信息)。可选地，可以通过使用Wi-Fi定位系统(WPS)等基于与外部装置301的周围区域中的无线网络有关的信息来估计外部装置301的当前位置。如果所获取到的当前GPS位置信息表示在预设位置范围内(在预定半径内)的位置，则使用蓝牙低功耗控制电路402将移动信息发送到摄像设备101，并且将该移动信息用作用于下面要描述的自动摄像和自动编辑的参数。如果GPS位置信息表示GPS位置改变了预定量或更多，则使用蓝牙低功耗控制电路402将移动信息发送到摄像设备101，并且将该移动信息用作用于下面要描述的自动摄像和自动编辑的参数。

如上所述，摄像设备101和外部装置301通过使用无线LAN控制电路401和蓝牙低功耗控制电路402的通信来交换数据。例如，发送和接收诸如音频信号、图像信号、压缩的音频信号或压缩的图像信号等的数据。此外，外部装置301发送表示诸如摄像设备101的摄像等的操作的操作指示，发送音频命令登记数据，并且发送基于GPS位置信息的预定位置检测通知和地点移动通知。此外，经由外部装置301中的专用应用来发送和接收用于学习的数据。

<配件的结构>

图5是示出可以与摄像设备101通信的外部装置(可穿戴装置)501的结构示例的图。摄像设备101是包括摄像功能的数字照相机，并且外部装置501是包括能够通过蓝牙通信模块等与摄像设备101通信的各种感测部的可穿戴装置。

外部装置501被配置为可穿戴在用户的手臂等上，并且包括用于以预定时间段检测诸如用户的脉搏、心率或血流等的生物信息的传感器、能够检测用户的运动状态的加速度传感器等。

生物信息检测电路502包括例如用于检测用户的脉搏的脉搏传感器、用于检测用户的心率的心率传感器、用于检测用户的血流的血流传感器、或者用于检测与使用导电聚合物的传感器接触的用户皮肤上的电位变化的该传感器。本典型实施例示出使用心率传感器作为生物信息检测电路502的示例。心率传感器通过使用LED等用红外光照射用户的皮肤，通过使用光接收传感器检测透过用户的组织的红外光，并且进行信号处理，以检测用户的心率。生物信息检测电路502将检测到的生物信息作为信号输出到下面要描述的控制电路607。

用于检测用户的运动状态的抖动检测电路503具有例如加速度传感器或陀螺仪传感器。基于加速度信息，抖动检测电路503可以检测用户是否正在移动，并且还可以检测诸如通过摆动他/她的手臂的动作等的运动。

外部装置501还具有用于接收经由可穿戴装置501的用户操作的操作构件505、以及输出能够在视觉上识别的信息的诸如LCD或LED等的显示设备504。

将参考图6描述可穿戴装置501的结构。

可穿戴装置501包括例如控制电路607、通信电路601、生物信息检测电路502、抖动检测电路503、显示设备504、操作构件505、电源电路606和存储电路608。

控制电路607执行例如存储电路608中存储的控制程序，以控制可穿戴装置501的整体操作。存储电路608存储例如要由控制电路607执行的控制程序、以及诸如要用于通信的参数等的各种信息。控制电路607执行例如存储电路608中存储的控制程序，以实现下面要描述的各种操作。

电源电路606向可穿戴装置501供电。显示设备504包括例如能够输出可以在视觉上识别的信息的LCD或LED以及能够输出声音的扬声器，并显示各种信息。操作构件505是例如用于接收经由可穿戴装置501的用户操作的按钮。可以使用诸如触摸面板等的共同构件来配置显示设备504和操作构件505。

操作构件505可以被配置为从例如可穿戴装置501中内置的通用麦克风获取用户的语音，通过音频处理获取用户的语音，并且通过语音识别处理获取用户操作命令。

使用生物信息检测电路502和抖动检测电路503检测并由控制电路607处理的各种检测信息从通信电路601发送到摄像设备101。

例如，在检测到用户的心率变化的定时将检测信息发送到摄像设备101，或者在发送诸如行走移动/行进移动/停止等的移动状态变化的定时发送检测信息。此外，例如，在检测到预设手臂挥动动作的定时发送检测信息，或者在检测到预设距离的移动的定时发送检测信息。

<摄像操作序列>

图7是示出根据本典型实施例的摄像设备101中的第一控制电路223所要进行的操作的示例的流程图。

当用户操作摄像设备101上的电源按钮时，第一电源电路210使电源单元向第一控制电路223和摄像设备101的各块供电。

同样地，第二电源电路212使电源单元向第二控制电路211供电。下面将参考图8所示的流程图详细描述第二控制电路211的操作。

当供电时，开始图7所示的处理。在步骤S701(“步骤”在下文中缩写为“S”)中，读取启动条件。下面描述根据本典型实施例的启动条件的示例：

(1)当手动按下电源按钮时，启动电源；

(2)响应于来自外部装置(例如，外部装置301)使用外部通信(例如，蓝牙低功耗通信)的指示，启动电源；以及

(3)由子处理器(第二控制电路211)启动电源。

在由子处理器启动电源的启动条件(3)的情况下，读取在子处理器中计算的启动条件。下面将参考图8详细描述该操作。

在这种情况下读取的启动条件用作被摄体搜索或自动摄像期间的单个参数要素。以下将描述该操作。在完成读取启动条件之后，处理进入步骤S702。

在步骤S702中，摄像设备101读取各种传感器。在该处理中要读取的传感器的示例包括例如经由设备抖动检测电路209检测振动的陀螺仪传感器和加速度传感器。摄像设备101还可以获取俯仰转动单元104和平摇转动单元105的转动位置。还可以获取由音频处理电路214检测到的音频级别、用于特定语音识别的检测触发、或声音方向。

尽管在图1A和1B至图6中未示出，但是还使用用于检测环境信息的传感器来获取信息。

传感器的示例包括用于以预定周期检测摄像设备101的周围温度的温度传感器、以及用于检测摄像设备101的周围大气压力的变化的大气压力传感器。另外，可以提供用于检测摄像设备101周围的亮度的照度传感器、用于检测摄像设备101周围的湿度的湿度传感器、以及用于检测摄像设备101周围的紫外线光量的紫外线(UV)传感器。除了检测到的温度信息、大气压力信息、亮度信息、湿度信息和UV信息之外，根据检测到的各种信息计算预定时间间隔的变化率的温度变化量、大气压力变化量、湿度变化量和UV变化量等也用于下面要描述的自动摄像等中的判断。

在步骤S702中读取各种传感器之后，处理进入步骤S703。

在步骤S703中，检测是否从外部装置发送了通信指示。当从外部装置发送了通信指示时，建立与外部装置的通信。

例如，外部装置301进行通过无线LAN或蓝牙低功耗的远程操作，或者发送或接收诸如音频信号、图像信号、压缩的音频信号或压缩的图像信号等的数据。此外，检测是否存在要从外部装置301读取的任何指示，例如，表示诸如摄像设备101的摄像等的操作的操作指示、音频命令登记数据的发送、以及基于GPS位置信息的预定位置检测通知、位置移动通知或用于学习的数据的发送和接收。

例如，当从可穿戴装置501更新了诸如与用户的运动、使用用户的手臂的动作或用户的心率有关的信息等的生物信息时，使用蓝牙低功耗读取信息。尽管可以在摄像设备101上安装用于检测上述环境信息的各种传感器，但是也可以在外部装置301或可穿戴装置501上安装各种传感器。在这种情况下，也使用蓝牙低功耗读取环境信息。在步骤S703中通过通信从外部装置301读取信息之后，处理进入步骤S704。

在步骤S704中，进行模式设置判断。从以下选项中判断并选择要在步骤S704中设置的模式。

(1)自动摄像模式

[模式判断条件]

在基于预设的各检测信息(图像、声音、时间、振动、位置、身体变化或环境变化)、从模式转变到自动摄像模式的时间起的经过时间、或先前的摄像信息等判断为要进行自动摄像的情况下，设置自动摄像模式。

[模式内处理]

在自动摄像模式处理(步骤S710)中，基于各检测的信息(图像、声音、时间、振动、位置、身体变化或环境变化)进行平摇/俯仰驱动和变焦驱动，并且自动搜索被摄体。然后，在判断为达到可以进行与用户的偏好相匹配的摄像的定时的情况下，自动进行摄像。

(2)学习模式

[模式判断条件]

在基于从进行前次学习处理的时间起的经过时间、与可以用于学习的图像相关联的信息、或学习数据的数量等判断为要进行自动学习的情况下，设置自动学习模式。在通过通信从外部装置301发送了用于设置学习数据的指示的情况下，也设置自动学习模式。

[模式内处理]

在自动学习模式处理(步骤S712)中，进行用于根据用户的偏好而自动摄像的学习。基于与外部装置301上的各操作有关的信息和与来自外部装置301的学习信息通知有关的信息，使用神经网络来进行根据用户的偏好的学习处理。与外部装置301上的各操作有关的信息的示例包括来自摄像设备101的图像获取信息、表示通过专用应用手动进行编辑指示的信息、以及用户针对摄像设备101中的图像输入的判断值信息。

下面将详细描述自动摄像模式处理和学习模式处理。

在步骤S704中，判断模式设置判断是否被设置为低功耗模式。当在未设置自动摄像模式的状态下满足预定条件(诸如未进行用户操作的状态持续预定时间段的条件等)时，判断为设置了低功耗模式。在完成判断处理之后，处理进入步骤S705。

在步骤S705中，在判断结果表示设置了低功耗模式条件的情况下(步骤S705中为“是”)，处理进入步骤S706。

在步骤S706中，将与要在子处理器中判断的启动因素相关联的各种参数(抖动检测判断参数、音频检测参数和经过时间检测参数)发送到子处理器(第二控制电路211)。在完成步骤S706的处理之后，处理进入步骤S707。主处理器(第一控制电路223)的电源断开，并且摄像设备101终止处理。

另一方面，在步骤S705中判断结果表示未设置低功耗模式的情况下(步骤S705中为“否”)，处理进入步骤S709。在步骤S709中，判断是否设置了自动摄像模式。在设置了自动摄像模式的情况下(步骤S709中为“是”)，处理进入步骤S710。在步骤S710中，进行自动摄像模式处理。在处理完成之后，处理返回到步骤S702以重复处理。在步骤S709中，在判断为没有设置自动摄像模式的情况下(步骤S709中为“否”)，处理进入步骤S711。

在步骤S711中，判断是否设置了学习模式。在判断为设置了学习模式的情况下(步骤S711中为“是”)，处理进入步骤S712。在步骤S712中，进行学习模式处理。在处理完成之后，处理返回到步骤S702以重复处理。在步骤S711中，在判断为没有设置学习模式的情况下(步骤S711中为“否”)，处理返回到步骤S702以重复处理。

图8是示出根据本典型实施例的摄像设备101的第二控制电路211所要进行的操作的示例的流程图。

当用户操作摄像设备110上的电源按钮时，第二电源电路212以与第一电源电路210使电源单元向第一控制电路223供电相同的方式使电源单元向第二控制电路211供电。当供电时，启动子处理器(第二控制电路211)以开始图8中所示的处理。

在步骤S801中，判断是否已经经过了预定的采样时间段。例如，在将10毫秒设置为预定时间段的情况下，处理每10毫秒进入步骤S802。在判断为尚未经过预定时间段的情况下(步骤S801中为“否”)，在不进行任何处理的情况下处理返回到步骤S801，并且子处理器等待预定时间段的经过。

在步骤S802中，获取抖动检测值。抖动检测值是来自使用用于检测振动的传感器(诸如陀螺仪传感器或加速度传感器等)的设备抖动检测电路209的输出值。

当在步骤S802中获取到抖动检测值时，处理进入步骤S803，以进行预设的抖动状态检测处理。

当在步骤S803中进行了特定抖动状态检测处理时，处理进入步骤S804以进行预设的特定声音检测处理。

在音频处理电路214中，进行上述判断处理。在步骤S804中，判断是否检测到特定声音。

当在步骤S804中进行了特定声音检测处理时，处理进入步骤S805。在步骤S805中，判断主处理器(第一控制电路223)是否处于关闭(OFF)状态。在主处理器处于关闭状态的情况下(步骤S805中为“是”)，处理进入步骤S806。在步骤S806中，进行预设的经过时间检测处理。测量从主处理器自开启(ON)状态转变到关闭状态的时间起的经过时间。如果经过时间长于或等于参数时间C，则判断为已经经过了该时间。如果经过时间短于参数时间C，则判断为尚未经过该时间。

当在步骤S806中进行了经过时间检测处理时，处理进入步骤S807，以判断是否进行低功耗模式解除判断。基于以下条件来进行低功耗模式解除判断：

(1)用于特定抖动检测的判断条件；

(2)用于特定声音检测的判断条件；以及

(3)用于经过时间判断的判断条件。

可以通过步骤S803中的特定抖动状态检测处理来判断是否满足特定抖动检测的判断条件。可以通过步骤S804中的特定声音检测处理来判断是否满足特定声音检测的判断条件。可以通过步骤S806中的经过时间检测处理来判断是否满足经过时间检测的判断条件。因此，如果满足上述条件中的任何一个，则判断为要进行低功耗模式解除。

在步骤S807中判断为低功耗模式解除的情况下，处理进入步骤S808以接通主处理器的电源。在步骤S809中，向主处理器发送表示判断为低功耗模式解除所基于的条件(抖动、声音或时间)的通知，并且处理返回到步骤S801以循环处理。

如果在步骤S807中不满足解除条件中的任何一个，并且在没有判断为低功耗模式解除的情况下(步骤S807中为“否”)，则处理返回到步骤S801以循环处理。

在步骤S805中，在判断为主处理器处于开启状态的情况下，将在步骤S802至S805中获取到的信息发送到主处理器，并且处理返回到步骤S801以循环处理。

本典型实施例示出如下结构：当主处理器处于开启状态时子处理器也进行抖动检测和特定声音检测，并且将检测结果发送到主处理器。然而，当主处理器处于开启状态时，可以在不进行步骤S802至S805的处理的情况下，在主处理器的处理(图7所示的步骤S702)中进行抖动检测和特定声音检测。

尽管上面已经详细描述了基于抖动检测、声音检测和经过时间的低功耗模式解除方法，但是可以进行基于环境信息的低功耗模式解除。可以基于温度、大气压力、亮度、湿度或UV的绝对量或变化量是否超过预定阈值来判断环境信息。

<自动摄像模式处理>

将参考图9详细描述自动摄像模式处理。如上所述，由根据本典型实施例的摄像设备101的第一控制电路223控制以下处理。

在步骤S901中，对从摄像单元206发送到图像处理电路207的信号进行图像处理，以生成用于被摄体识别的图像。

基于所生成的图像，进行用于识别人物和物体等的被摄体识别。

在识别人物的情况下，检测被摄体的面部或身体。在面部检测处理中，预先确定用于判断人物面部的图案，并且可以将与拍摄图像中包括的图案一致的区域检测为人物的面部图像。

同时，计算表示被摄体的面部的确定性的程度的可靠性。可靠性是基于例如图像中的面部区域的大小、或与面部图案的一致性等来计算的。

同样地，在物体识别中，可以识别与预先登记的图案一致的物体。

另外，例如，可以使用通过使用拍摄图像中的色相或颜色饱和度等的直方图来提取特征被摄体的方法。在这种情况下，执行如下处理：将与在摄像视场角内拍摄的被摄体的图像相关联的、并且从色相或颜色饱和度等的直方图导出的分布划分为多个区间，并且针对各区间对拍摄图像进行分类。

例如，创建拍摄图像的多个颜色分量的直方图，并且在山形分布范围中对颜色分量进行分类。此外，对在属于同一区间中的组合的区域中拍摄的图像进行分类，并且识别各被摄体的图像区域。

针对识别出的各被摄体图像区域计算评价值，由此可以将具有最高评价值的被摄体的图像区域判断为主被摄体区域。

通过上述方法，可以从摄像信息中获得各被摄体信息。

在步骤S902中，计算图像模糊校正量。具体地，首先，基于由设备抖动检测电路209获取到的角速度和加速度信息来计算摄像设备101的绝对角度。此外，获得用于在消除该绝对角度的角度方向上移动俯仰转动单元104和平摇转动单元105的图像稳定角度，并将该图像稳定角度用作图像模糊校正量。

在步骤S903中，判断摄像设备101的状态。基于使用角速度信息、加速度信息和GPS位置信息等检测到的角度和移动量等来判断摄像设备101的当前振动/运动状态。

例如，当在摄像设备101安装在车辆上的状态下进行摄像时，诸如周围风景等的被摄体信息根据车辆的行驶距离而极大地变化。

因此，判断摄像设备101是否安装在车辆等上并且车辆是否高速行驶，即摄像设备101是否处于“车辆行驶状态”，并且该判断可以用于以下描述的自动被摄体搜索。

此外，判断角度变化是否大以及摄像设备101是否处于摄像设备101几乎没有抖动角度的“放置拍摄状态”。

当摄像设备101处于“放置拍摄状态”时，可以认为摄像设备101自身的角度没有变化，因此可以进行针对放置拍摄状态的被摄体搜索。

当角度变化相对大时，判断为摄像设备101处于“手持状态”，因此可以进行针对手持状态的被摄体搜索。

在步骤S904中，进行被摄体搜索处理。被摄体搜索包括例如以下处理。

(1)区域划分

将参考图11A至11D描述区域划分。如图11A所示，在以摄像设备101的位置(原点O被设置为摄像设备101的位置)为中心的整个圆周上进行区域划分。在图11A所示的示例中，在俯仰方向和平摇方向的各个方向上以22.5度的角度划分区域。当如图11A所示划分区域时，在俯仰方向上的角度远离0度的方向上，水平方向上的圆周减小并且区域减小。因此，如图11B所示，当俯仰角度大于或等于45度时，水平方向上的区域范围被设置为大于22.5度。图11C和11D各自示出在摄像视场角内划分区域的示例。轴1101表示初始化时摄像设备101的方向，并且基于作为基准位置的该方向角度进行区域划分。轴1102表示拍摄图像的视场角的区域。图11D示出在这种情况下获得的图像的示例。在该视场角内拍摄的图像中，基于区域划分将图像划分成图11D所示的区域1103至1118。

(2)计算各区域的重要性级别

对于通过如上所述的划分获得的各区域，基于该区域中存在的各被摄体和该区域中的场景情况来计算表示搜索的优先级的重要性级别。基于各被摄体的状况的重要性级别是基于例如区域中存在的人物的数量、各人物的面部大小、面部方向、面部检测的确定性程度、各人物的表情、以及对各人物的个人认证结果来计算的。基于各场景的状况的重要性级别的示例包括一般物体识别结果、场景辨别结果(蓝天、背光、夜景等)、识别区域方向上的语音或声音级别的结果、以及区域中的运动检测信息。在摄像设备状态判断(步骤S903)中，检测摄像设备101的振动状态，因此可以根据振动状态来改变重要性级别。例如，如果判断为摄像设备101处于“放置拍摄状态”，则以如下方式进行判断：当检测到特定人物的面部识别时设置高重要性级别，使得可以基于针对面部识别而登记的被摄体中具有高优先级的被摄体(例如，摄像设备101的用户)来进行被摄体搜索。此外，在以下要描述的自动摄像中，通过对上述面部设置较高的优先级来进行摄像。即使在摄像设备101穿戴在摄像设备101的用户的身上的状态下该用户携带摄像设备101并且该用户进行持续长时间段的摄像的情况下，当摄像设备101被拆卸并且放置在桌子等上时，用户的大量图像也能够被拍摄并存储。在这种情况下，可以通过平摇或俯仰来进行搜索。因此，在无需考虑摄像设备101放置的角度的情况下，通过适当地安装摄像设备101，可以存储用户的大量图像或者包括许多面部的组照片等。在上述条件下，选择具有最高重要性级别的相同区域，使得除非各区域改变，否则不改变要搜索的区域。因此，重要性级别根据先前的摄像信息而改变。具体地，在预定时间段连续被指定为搜索区域的区域中，可以降低重要性级别，或者在如下所述的步骤S910中进行摄像的区域中，可以在预定时间段降低重要性级别。

(3)确定要搜索的区域

在如上所述计算了各区域的重要性级别之后，将具有高重要性级别的区域确定为要搜索的区域。然后，计算用于将要搜索的区域设置在视场角内所需的平摇/俯仰搜索目标角度。

在步骤S905中，进行平摇/俯仰驱动。具体地，通过将基于图像模糊校正量的控制采样中的驱动角度与平摇/俯仰搜索目标角度相加来计算平摇/俯仰驱动量。镜筒转动驱动电路205驱动并控制俯仰转动单元104和平摇转动单元105中的每一个。

在步骤S906中，控制变焦单元201以进行变焦驱动。具体地，根据在步骤S904中确定的搜索对象被摄体的状态来进行变焦驱动。例如，在搜索对象被摄体是人物的面部的情况下，如果图像上的面部极小，则面部的大小可能小于最小可检测大小并且不能检测到面部，因此摄像设备101可能失去对人物的跟踪。在这种情况下，以通过在远摄方向上缩放图像来增大图像上的面部的大小的方式进行控制操作。另一方面，如果图像上的面部的大小极大，则由于被摄体或摄像设备101本身的运动，被摄体更可能移到视场角的范围之外。在这种情况下，以通过在广角方向上进行图像的变焦来减小画面上的面部的大小的方式进行控制操作。利用该变焦控制，可以保持适合于跟踪被摄体的状态。

在步骤S904至S906中，描述了通过平摇/俯仰驱动或变焦驱动进行被摄体搜索的方法。可选地，可以在通过使用多个广角透镜一次在所有方向上拍摄图像的摄像系统中进行被摄体搜索。在使用360度照相机的情况下，如果使用通过摄像获得的所有信号作为输入图像来进行诸如被摄体检测等的图像处理，则需要大量的处理。因此，对图像的一部分进行剪切，并且在剪切出图像的范围中进行被摄体搜索处理。与上述方法相同，计算各区域的重要性级别，基于该重要性级别来改变图像被剪切的位置，并且进行是否进行以下要描述的自动摄像的判断。利用该结构，可以降低由于图像处理而导致的功耗，并且可以进行高速被摄体搜索。

在步骤S907中，判断用户是否做出(手动)摄像指示。在做出摄像指示的情况下(步骤S907中为“是”)，处理进入步骤S910。在该处理中用户做出的(手动)摄像指示的示例可以包括按下快门按钮、用手指等轻击摄像设备101的壳体、音频命令输入以及来自外部装置的指示。通过轻击操作的摄像指示是如下的摄像指示方法：在用户轻击摄像设备101的壳体的情况下，通过设备抖动检测电路209在短时间段期间检测连续高频加速度，并且所检测到的加速度被用作摄像的触发。音频命令输入是如下的摄像指示方法：在用户说出用于指示预定摄像的口令(例如，“拍摄照片”)的情况下，音频处理电路214识别音频，并且所识别的音频被用作摄像的触发。来自外部装置的指示是如下的摄像指示方法：通过来自连接到摄像设备101的智能电话等的专用应用使用蓝牙所发送的快门指示信号被用作摄像的触发。

在步骤S907中，在没有做出摄像指示的情况下(步骤S907中为“否”)，处理进入步骤S908。在步骤S908中，进行自动摄像判断。在自动摄像判断中，判断是否进行自动摄像。

(1)判断是否进行自动摄像

是否进行自动摄像是基于作为机器学习技术之一的神经网络的判断。图10示出使用多层感知器的网络的示例作为神经网络的示例。神经网络用于基于输入值预测输出值。通过预先学习输入值和用作针对该输入值的模型的输出值，可以针对新的输入值估计与所学习的模型匹配的输出值。下面将描述学习方法。图10中所示的圆1001和垂直布置在圆1001下方的圆表示输入层中的神经元。图10中所示的圆1003和垂直布置在圆1003下方的圆表示中间层中的神经元。图10中所示的圆1004示出输出层中的神经元。各箭头1002表示神经元之间的连接。在基于神经网络的判断中，将基于在当前视场角中拍摄的被摄体、场景和摄像设备101的状态的特征量作为输入被提供给输入层中的神经元，并且通过基于多层感知器中的前向传播的计算来获得从输出层输出的值。如果输出值大于或等于阈值，则判断为执行自动摄像。作为被摄体特征，使用当前变焦比、当前视场角的一般物体识别结果、面部检测结果、以当前视场角拍摄的面部的数量、各面部的微笑程度、闭眼程度、面部角度、面部识别标识(ID)号、被摄体人物的视点角度、场景辨别结果以及特定构图的检测结果等。此外，可以使用从前次摄像时间起的经过时间、当前时间、基于GPS位置信息和前次摄像位置的位置变化量、当前音频级别、发出语音的人物、一阵欢呼和一阵掌声。此外，可以使用振动信息(加速度信息和摄像设备101的状态)和环境信息(温度、大气压力、照度、湿度和紫外线光量)等。此外，当从可穿戴装置501发送了表示信息的通知时，通知信息(例如，用户的运动信息、手臂动作信息或诸如心率等的生物信息)也可以用作特征。将该特征转换成预定范围内的数值，并且将该数值作为特征量给予输入层中的各神经元。因此，输入层中的神经元的数量与如上所述要使用的特征量的数量相对应。

在基于神经网络的判断中，通过如下所述的学习处理来改变神经元之间的连接权重，并且改变输出值，因此可以使判断结果适应于学习结果。

进行自动摄像的判断还根据在图7所示的步骤S702中读取的主处理器启动条件而改变。例如，在通过检测到轻击操作而启动时，或者在响应于特定音频命令而启动时，很可能用户当前期望操作以进行摄像。因此，摄像的频率增加。

在步骤S909中，在作为步骤S908中的自动摄像判断的结果而判断为进行摄像的情况下(步骤S909中为“是”)，处理进入步骤S910。在没有判断为进行摄像的情况下(步骤S909中为“否”)，结束摄像模式处理。

在步骤S910中，开始摄像。在该处理中，调焦驱动控制电路204控制自动调焦。此外，使用光圈控制电路(未示出)、传感器增益控制电路(未示出)和快门控制电路(未示出)来进行用于针对被摄体设置适当亮度的曝光控制。在摄像之后，图像处理电路207进行诸如自动白平衡处理、降噪处理和伽马校正处理等的各种类型的图像处理，以生成图像。

在如上所述的摄像期间，当满足预定条件时，摄像设备101可以在摄像设备101向要拍摄图像的人物通知要进行摄像的处理之后进行摄像。作为通知方法，例如，可以使用来自音频输出电路218的语音消息或声音、或者LED控制电路224的LED照明，或者还可以使用通过进行平摇/俯仰驱动来在视觉上引导被摄体的视线的运动操作。预定条件的示例包括在视场角内的面部的数量、各面部的微笑程度、闭眼程度、被摄体人物的视点角度、被摄体人物的面部角度、面部识别ID号和个人认证中登记的人物的数量。预定条件的示例还包括摄像期间的一般物体识别结果、场景辨别结果、从前次摄像起的经过时间、摄像时间、表示基于GPS信息的当前位置是否是景点的信息、摄像期间的音频级别、是否存在发出语音的人物、一阵掌声以及一阵欢呼。预定条件的示例还包括振动信息(加速度信息和摄像设备101的状态)和环境信息(温度、大气压力、照度、湿度和紫外线光量)。基于这些条件的摄像使得可以在具有高重要性的场景中拍摄并存储具有优选照相机视点的图像。

另外，使用多个预定条件，可以根据各条件改变语音消息或声音、LED照明方法(颜色或闪烁时间等)和平摇/俯仰运动方法(如何移动或驱动速度)。

在步骤S911中，通过例如编辑图像并将该图像添加到运动图像来处理在步骤S910中生成的图像。图像处理的具体示例包括基于人物的面部或聚焦位置的裁切、图像转动、高动态范围(HDR)效果、模糊效果和颜色转换滤波效果。在图像处理中，可以使用在步骤S910中生成的图像，通过上述不同类型的处理的组合来生成多个图像，并且可以与在上述步骤S910中生成的图像分开地存储所生成的图像。此外，作为运动图像处理，可以在进行滑动、缩放或淡入淡出的特殊效果处理的情况下将所拍摄的运动图像或静止图像添加到所生成的编辑后的运动图像。此外，在步骤S911的编辑处理中，可以使用与拍摄图像有关的信息或在摄像之前检测到的各种信息，通过基于神经网络的判断来判断图像处理方法。

在步骤S912中，对拍摄图像进行学习信息生成处理。在这种情况下，生成并记录要用于下面将描述的学习处理的信息。

图12是示出根据本典型实施例的学习信息生成处理的流程图。在步骤S1201中，在第一控制电路223在步骤S910中进行手动摄像的情况下(步骤S1201中为“是”)，处理进入步骤S1202。在进行自动摄像的情况下(步骤S1201中为“否”)，终止该流程图中的处理。

在步骤S1202中，第一控制电路223提取与拍摄图像有关的特征数据。特征数据的具体示例包括当前拍摄图像中的在摄像期间获得的变焦倍率、在摄像期间获得的一般物体识别结果、面部检测结果、拍摄图像中包括的面部的数量、各面部的微笑程度、闭眼程度、面部角度、面部识别ID号、以及被摄体人物的视点角度。特征数据的具体示例还包括场景辨别结果、从前次摄像起的经过时间、摄像时间、基于GPS位置信息和前次摄像位置的位置变化量、在摄像期间获得的音频级别、发出语音的人物、一阵掌声以及一阵欢呼。特征数据的具体示例还包括振动信息(加速度信息和摄像设备101的状态)、环境信息(温度、大气压力、照度、湿度和紫外线光量)、运动图像拍摄时间、以及表示是否做出手动摄像指示的信息。另外，计算分数作为通过量化用户对图像的偏好而获得的神经网络的输出。

在步骤S1203中，第一控制电路223从非易失性存储器216中读出在步骤S1202中提取的特征数据作为现有附加训练数据。在本典型实施例中，如图13所示，在非易失性存储器216中保持包括固定训练数据和附加训练数据的学习信息。固定训练数据是用于学习标准判断基准的特征数据集。在摄像设备101出厂之前存储了该特征数据集，或者从服务器获取该特征数据集。另一方面，附加训练数据是从由摄像设备101手动拍摄的图像提取的特征数据集，并且用于在摄像设备101中反映用户偏好。

通过使用新获得的特征数据进行学习，可以在摄像设备101中反映用户的最近偏好。然而，如果使用从手动拍摄的图像提取的特征数据的学习被无限制地进行，则在出厂之前存储的特征数据的量与总体数据的比降低。因此，学习结果可能不相称地强调用户的偏好。因此，在本典型实施例中，将学习信息分类为固定训练数据和附加训练数据。如果获得要被存储为训练数据的新的特征数据，则仅更新附加训练数据而不更新被存储为基本特征数据的固定训练数据。

在步骤S1204中，第一控制电路223重置在步骤S1202中提取的特征数据的优先级和在步骤S1203中读取的现有附加训练数据中包括的特征数据的优先级。例如，最高优先级由“1”表示，并且最低优先级由“5”表示。将在步骤S1202中提取的特征数据和在步骤S1203中读取的现有附加训练数据中所包括的特征数据的优先级设置为“3”。

在步骤S1205中，第一控制电路223选择优先级在步骤S1204中被重置的特征数据中的一个。

在步骤S1206中，第一控制电路223将所选择的特征数据与固定训练数据中包括的各特征数据进行比较，并且判断所选择的特征数据是否与各特征数据中的任何一个类似。如果所选择的特征数据与固定训练数据中的特征数据之间的类似度大于或等于阈值，则第一控制电路223判断为所选择的特征数据与固定训练数据中包括的特征数据类似。在判断为所选择的特征数据与固定训练数据中包括的特征数据类似的情况下(步骤S1206中为“是”)，处理进入步骤S1207。在判断为所选择的特征数据与固定训练数据中包括的特征数据不类似的情况下(步骤S1206中为“否”)，处理进入步骤S1208。

在步骤S1207中，第一控制电路223降低所选择的特征数据的优先级。优先级可以随着类似程度的增加而降低。

在步骤S1208中，第一控制电路223增加所选择的特征数据的优先级。优先级可以随着类似程度的降低而增加。

在步骤S1209中，第一控制电路223判断获取所选择的特征数据的图像是否是在预定日期和时间时或之后拍摄的。在图像是在预定日期和时间时或之后拍摄的情况下(步骤S1209中为“是”)，处理进入步骤S1211。在图像是在预定日期和时间之前拍摄的情况下(步骤S1209中为“否”)，处理进入步骤S1210。预定日期和时间可以设置为例如在进行步骤S1209的处理的日期之前的半年或一年。可选地，根据手动摄像的频率，可以随着摄像频率的降低而设置更早的日期和时间。

在步骤S1210中，第一控制电路223降低从在比预定日期和时间早的拍摄日期和时间获得的图像中提取的特征数据的优先级。

在步骤S1211中，第一控制电路223判断是否在步骤S1205中选择了所有的在步骤S1202中提取的特征数据和在步骤S1203中读取的现有附加训练数据中包括的特征数据。在存在尚未被选择的任何特征数据的情况下(步骤S1211中为“否”)，处理返回到步骤S1205。在选择了所有特征数据的情况下(步骤S1211中为“是”)，处理进入步骤S1212。

在步骤S1212中，第一控制电路223以优先级的降序来对特征数据进行排序。在该处理中，在被分配了相同优先级的多个特征数据中，基于摄像日期和时间以逆时间顺序来对相应图像进行排序。

在步骤S1213中，第一控制电路223以排序后的特征数据的顺序仅选择预定数量的特征数据，并将学习信息更新为新的附加训练数据。

步骤S1206至S1212中所示的处理是用于对特征数据进行排序的方法的示例。可选地，也可以使用其它排序方法。例如，可以以相应图像的摄像日期和时间的逆时间顺序来简单地对特征数据进行排序，或者可以随机地对特征数据进行排序。在步骤S1213中，要被选择作为新的附加训练数据的特征数据的数量可以是固定的或可变的。例如，在用户可以在菜单画面上选择表示是否在学习处理中主动反映用户偏好的信息的结构中，当选择了表示要在学习处理中主动反映用户偏好的信息时，可以增大要被选择作为新的附加训练数据的特征数据的数量的上限。

将如上所述更新的学习数据写入非易失性存储器216。可选地，将与各拍摄图像有关的信息以列表格式作为所谓的目录数据存储在记录介质221中。

再次参考图9，在步骤S913中更新先前摄像信息。具体地，针对在步骤S908中的上述各区域的拍摄图像的数量、在个人认证中登记的各人物的拍摄图像的数量、在一般物体识别中识别出的各被摄体的拍摄图像的数量、以及在场景辨别中各场景的拍摄图像的数量中的每一个，在该处理中拍摄的图像的计数分别增加“1”。

<学习模式处理>

接着，将描述根据本典型实施例的按照用户的偏好的学习。

在本典型实施例中，学习处理电路219通过使用图10所示的神经网络和机器学习算法来进行根据用户的偏好的学习。学习处理电路219例如是NVIDIA公司制造的JetsonTX2。神经网络用于基于输入值来预测输出值。预先学习输入值和输出值之间的关系使得能够估计与新的输入值相对应的输出值。通过使用神经网络对上述自动摄像或被摄体搜索进行根据用户的偏好的学习处理。

还进行与要输入到神经网络的特征数据相关联的被摄体登记(面部识别或一般物体识别等)。

在本典型实施例中，学习用于自动摄像的基准。

将描述用于自动摄像的学习。在自动摄像中，进行用于自动进行根据用户的偏好的摄像的学习。如上参考图9所示的流程图所述，在摄像之后进行学习信息生成处理(步骤S912)。通过下面将要描述的方法选择要学习的图像，并且通过基于图像中包括的学习信息改变神经网络的权重来学习图像。

接着，将描述学习方法。

学习方法包括“摄像设备中的学习”和“与通信装置协作的学习”。

下面将描述摄像设备中的学习方法。

根据本典型实施例的摄像设备中的学习包括以下方法。

(1)基于与用户何时发出摄像指示有关的检测信息的学习

如上参考图9所示的步骤S907至S913所述，在本典型实施例中，摄像设备101可以进行两种类型的摄像，即手动摄像和自动摄像。如果在步骤S907中通过手动操作做出了摄像指示(如上所述基于三个判断来进行)，则在步骤S912中，添加表示拍摄图像是手动拍摄图像的信息。在步骤S909中判断为自动摄像为开启并且执行摄像的情况下，在步骤S912中，添加表示拍摄图像是自动拍摄图像的信息。

在进行手动摄像的情况下，很可能可以基于用户喜好的被摄体、用户喜好的场景、以及用户喜好的位置和时间间隔来进行摄像。因此，基于在手动摄像期间获得的各特征数据和与拍摄图像有关的学习信息来进行学习。

接着，将描述根据本典型实施例的与外部通信装置协作的学习。

根据本典型实施例的与外部通信装置协作的学习包括以下方法。

(2)响应于使用外部通信装置获取图像的学习

如上参考图3所述，摄像设备101和外部装置301各自具有用于建立通信302和通信303的结构。图像发送/接收主要由通信302进行。外部装置301可以通过使用外部装置301中的专用应用的通信来获取摄像设备101中存储的图像。此外，外部装置301可以使用专用应用来浏览摄像设备101中存储的图像数据的缩略图图像。因此，用户可以从缩略图图像中选择他/她喜好的图像，检查该图像，并且发送图像获取指示，使得外部装置301可以获取该图像。

在该处理中，由于用户选择图像并发出发送指示，并且外部装置301获取图像，因此很可能所获取到的图像与用户喜好的图像相对应。因此，判断为所获取到的图像是要学习的图像，并且基于与所获取到的图像有关的学习信息来学习该图像。因此，可以进行根据用户偏好的各种学习操作。

将描述操作示例。图16是示出通过作为智能装置的外部装置301中的专用应用来浏览摄像设备101中存储的图像的示例的图。在显示设备407上显示摄像设备101中存储的图像数据的缩略图(1604至1609)。用户可以选择他/她喜好的图像并进行图像获取。在该处理中，显示设备407具有用于改变显示方法的显示方法改变部(1601、1602和1603)。当按下显示方法改变部1601时，图像的显示顺序被改变为日期时间偏好显示模式，并且按照摄像设备101中存储的图像的摄像日期和时间的顺序在显示设备407上显示图像(例如，以从具有最新摄像日期和时间的图像1604到具有最旧摄像日期和时间的图像1609的逆时间顺序显示图像)。当按下显示方法改变部1602时，显示模式被改变为推荐图像偏好显示模式。基于在图9所示的步骤S912中针对各图像根据用户的偏好而计算和判断的分数，在显示设备407上按照摄像设备101中的各图像的分数的降序显示图像(例如，按照从具有最高分数的图像1604到具有最低分数的图像1609的分数的降序显示图像)。当按下显示方法改变部1603时，可以指定人物或物体。如果指定了特定人物或物体，则可以单独显示特定被摄体。

可以同时开启由显示方法改变部1601至1603表示的设置。例如，如果所有设置都开启，则仅显示指定的被摄体，并且优先显示具有新的摄像日期和时间的图像，并且优先显示具有高分数的图像。

因此，由于已经针对拍摄图像学习了用户的偏好，因此通过简单的检查操作，可以从大量拍摄图像中容易地仅提取用户喜好的图像。

(3)响应于外部通信装置中的参数的改变的学习

如上所述，摄像设备101和外部装置301各自包括通信单元，并且能够将当前在摄像设备101中设置的学习参数通信到外部装置301，并且将学习参数存储在外部装置301的存储电路404中。学习参数的示例可以包括神经网络的权重和对要输入到神经网络的被摄体的选择。此外，专用服务器中设置的学习参数可以使用外部装置301中的专用应用经由公共线路控制电路406获取，并且还可以设置为摄像设备101中的学习参数。因此，将在特定时间获得的参数存储在外部装置301中，并且设置在摄像设备101中。利用该结构，可以恢复学习参数，或者可以通过专用服务器获取其它用户所拥有的学习参数，并且可以在摄像设备101中设置所获取到的学习参数。

接着，将描述学习处理序列。

在图7所示的步骤S704的模式设置判断中，判断是否进行学习处理。在进行学习处理的情况下，判断为设置了学习模式，然后进行步骤S712中的学习模式处理。

将描述学习模式判断条件。基于从进行前次学习处理的时间起的经过时间、要用于学习的信息的数量、以及表示是否经由通信装置发出学习处理指示的信息，来判断是否转变到学习模式。图14是示出用于判断在步骤S704的模式设置判断处理中是否转变到学习模式的判断处理的流程图。

当在步骤S704的模式设置判断处理中发出开始学习模式判断的指示时，开始图14所示的处理。在步骤S1401中，判断是否从外部装置301发送了学习指示。具体地，如在<响应于通信装置中的参数的改变的学习>一样，判断是否做出了用于设置学习参数的指示。在步骤S1401中，在从外部装置301发送了学习指示的情况下(步骤S1401中为“是”)，处理进入步骤S1408。在步骤S1408中，将学习模式判断设置为“真”，并且做出设置以进行步骤S712的处理。在步骤S1401中没有从外部装置301发送学习指示的情况下(步骤S1401中为“否”)，处理进入步骤S1402。在步骤S1402中，判断是否从外部装置301发送了登记指示。具体地，如在<响应于使用外部通信装置获取图像的学习>中一样，判断是否发出了用于登记新图像的指示。在步骤S1402中，在从外部装置301发送了登记指示的情况下(步骤S1402中为“是”)，处理进入步骤S1408。在步骤S1408中，将学习模式判断设置为“真”，并且做出设置以进行步骤S712的处理，然后终止学习模式判断处理。在步骤S1402中，在没有从外部装置301发送登记的情况下(步骤S1402中为“否”)，处理进入步骤S1403。

在步骤S1403中，获取从进行前次学习处理(神经网络的权重的再计算)的时间起的经过时间N，然后处理进入步骤S1404。在步骤S1404中，获取要新学习的数据的新数据数量DN(在从进行前次学习处理的时间起的经过时间N期间被指定为要学习的图像的图像数量)，然后处理进入步骤S1405。可以将新添加到附加训练数据的特征数据的数量应用于新数据数量DN，或者可以简单地将手动摄像的次数应用于新数据数量DN。在步骤S1405中，根据时间N计算阈值DT。例如，将当时间N小于预定值时设置的阈值DTa设置为比当时间N大于预定值时设置的阈值DTb大。将各阈值设置为随着时间而减小。因此，即使在学习数据量小的情况下，如果经过时间大，则再次进行学习，从而便于摄像设备101根据操作时间改变学习模式。

在步骤S1405中计算阈值DT之后，处理进入步骤S1406以判断要学习的数据的数据数量DN是否大于阈值DT。在数据数量DN大于阈值DT的情况下(步骤S1406中为“是”)，处理进入步骤S1407。在步骤S1407中，将数据数量DN设置为“0”，然后处理进入步骤S1408。在步骤S1408中，将学习模式判断设置为“真(TRUE)”，并且做出设置以进行步骤S712的处理，然后终止学习模式判断处理。

在步骤S1406中，在数据数量DN小于或等于阈值DT的情况下(步骤S1406中为“否”)，处理进入步骤S1409。在这种情况下，没有从外部装置301发送登记指示和学习指示，并且学习数据的数量小于或等于预定值。因此，将学习模式判断设置为“假(FALSE)”以防止进行步骤S712的处理，然后终止学习模式判断处理。

接着，将描述学习模式处理(步骤S712)中的处理。图15是示出学习模式处理的详情的流程图。

在图7所示的步骤S711中判断为设置了学习模式并且处理进入步骤S712的情况下，开始图15所示的处理。在步骤S1501中，判断是否从外部装置301发送了学习指示。在步骤S1501中，在从外部装置301发送了学习指示的情况下(步骤S1501中为“是”)，处理进入步骤S1502。在步骤S1502中，将从外部装置301通信的学习参数(例如，神经网络的权重)设置到各判断单元，然后处理进入步骤S1506。

在步骤S1501中，在没有从外部装置301发送学习指示的情况下(步骤S1501中为“否”)，处理进入步骤S1503。在步骤S1503中，判断是否从外部装置301发送了登记指示。在从外部装置发送了登记指示的情况下(步骤S1503中为“是”)，处理进入步骤S1504。在没有从外部装置发送登记指示的情况下(步骤S1503中为“否”)，处理进入步骤S1505。在步骤S1504中，对由外部装置301获取到的图像进行图12所示的步骤S1202至S1212中的学习信息生成处理，然后处理进入步骤S1505。在步骤S1504的处理中，将由外部装置301所获取到的图像中所包括的特征数据之中的、在学习信息生成处理中被判断为具有高优先级的特征数据添加到附加训练数据。

在步骤S1505中，进行学习(神经网络的权重的再计算)。通过诸如误差反向传播方法或梯度下降方法等的方法再次进行学习，并且再计算神经网络的权重以改变各判断单元的参数。在设置学习参数之后，处理进入步骤S1506。

在步骤S1506中，对文件中的各图像重新评分。在本典型实施例中，基于学习结果将分数添加到文件(记录介质221)中存储的所有拍摄图像，并且基于所添加的分数进行自动编辑处理或自动文件删除处理。因此，当进行来自外部装置301的学习参数的再学习和设置时，还更新各拍摄图像的分数。因此，在步骤S1506中，进行再计算以将新的分数添加到文件中存储的各拍摄图像。在完成处理之后，终止学习模式处理。

虽然基于用于在摄像设备101中进行学习的结构描述了本典型实施例，但是在外部装置301包括学习处理功能、将要用于学习的数据通信到外部装置301、并且仅外部装置301执行学习的结构中，也可以获得与上述学习效果同样的学习效果。在这种情况下，如以上在<响应于使用外部通信装置获取图像的学习>中所述，可以经由通信在摄像设备101中响应于诸如外部装置301学习的神经网络的权重等的参数的设置来进行学习。

此外，可以采用摄像设备101和外部装置301两者都包括学习处理功能的结构。例如，可以在摄像设备101中进行学习模式的定时将外部装置301所拥有的学习信息通信到摄像设备101，并且可以使用合并的学习参数进行学习。

虽然上述典型实施例示出摄像设备101包括学习处理电路219和用于存储学习信息的非易失性存储器216的结构，但是这些组件可以安装在单独的设备上，并且各设备彼此通信。利用这种结构，单独的设备可以用作用于进行上述处理的系统。

本发明还可以通过以下处理来实现：将用于实现根据上述典型实施例的一个或多个功能的程序经由网络或存储介质提供给系统或设备，并且该系统或设备的计算机中的一个或多个处理器读出该程序并执行该程序。本发明还可以由实现根据上述典型实施例的一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (16)

1.一种信息处理设备，包括：

控制电路，其被配置为访问用于存储学习电路进行学习所要使用的训练数据的存储器，并且更新所述存储器中的训练数据，

其中，所述存储器存储第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据各自包括多个特征数据，

其中，所述第二训练数据中所包括的特征数据的数量具有上限，以及

其中，所述控制电路使用从图像提取的特征数据来更新所述第二训练数据而不更新所述第一训练数据。

2.根据权利要求1所述的信息处理设备，其中，所述控制电路通过从所提取的特征数据和所述第二训练数据中所包括的特征数据中选择与所述上限相对应的数量的特征数据来更新所述第二训练数据，并且将所选择的特征数据存储在所述存储器中。

3.根据权利要求2所述的信息处理设备，其中，所述控制电路对所提取的特征数据和所述第二训练数据中所包括的特征数据设置优先级，按照优先级的降序从特征数据中选择与所述上限相对应的数量的特征数据，并且将所选择的特征数据存储在所述存储器中。

4.根据权利要求3所述的信息处理设备，其中，所述控制电路降低所提取的特征数据和所述第二训练数据中所包括的特征数据中的、与所述第一训练数据中所包括的特征数据类似的特征数据的优先级。

5.根据权利要求4所述的信息处理设备，其中，所述控制电路降低所提取的特征数据和所述第二训练数据中所包括的特征数据中的、与各特征数据相对应的图像的拍摄日期和时间较早的特征数据的优先级。

6.根据权利要求1所述的信息处理设备，其中，所述控制电路改变所述上限。

7.根据权利要求6所述的信息处理设备，其中，所述控制电路响应于来自用户的指示而改变所述上限。

8.根据权利要求1所述的信息处理设备，其中，所述控制电路在响应于来自用户的指示而进行摄像的情况下从图像提取特征数据。

9.根据权利要求1所述的信息处理设备，其中，所述第一训练数据是在出厂之前准备的训练数据，并且不使用来自图像的特征数据来更新所述第一训练数据。

10.根据权利要求1所述的信息处理设备，还包括所述学习电路。

11.根据权利要求10所述的信息处理设备，其中，所述学习电路使用神经网络来进行学习。

12.根据权利要求10所述的信息处理设备，还包括处理电路，所述处理电路被配置为基于所述学习电路的学习结果来进行使用摄像设备的摄像操作。

13.根据权利要求12所述的信息处理设备，其中，所述处理电路基于所述学习电路的学习结果来进行自动摄像。

14.根据权利要求12所述的信息处理设备，还包括所述摄像设备。

15.一种信息处理设备的控制方法，所述控制方法包括：

访问被配置为存储学习电路进行学习所要使用的训练数据的存储器，并且更新所述训练数据，

其中，所述存储器存储第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据各自包括多个特征数据，

其中，所述第二训练数据中所包括的特征数据的数量具有上限，以及

其中，不使用从图像提取的特征数据来更新所述第一训练数据，并且使用从图像提取的特征数据来更新所述第二训练数据。

16.一种非暂时性存储器，其存储指令，所述指令在被信息处理设备的一个或多个处理电路执行时使所述信息处理设备执行控制方法，所述控制方法包括：

访问被配置为存储学习电路进行学习所要使用的训练数据的存储器，并且更新所述训练数据，

其中，所述存储器存储第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据各自包括多个特征数据，

其中，所述第二训练数据中所包括的特征数据的数量具有上限，以及

其中，不使用从图像提取的特征数据来更新所述第一训练数据，并且使用从图像提取的特征数据来更新所述第二训练数据。

Images