CN110557560B - 摄像设备及其控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法和存储介质。所述摄像设备包括：摄像单元，其被配置为拍摄图像；生成单元，其被配置为基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像，来生成与各图像的摄像范围相比更宽范围的全景图像；存储单元，其被配置为存储所述生成单元所生成的全景图像；以及检测单元，其被配置为将所述摄像单元所拍摄到的图像和所生成的全景图像进行比较，并且基于比较结果来检测场景的变化。

Description

摄像设备及其控制方法和存储介质

技术领域

本公开通常涉及摄像，并且更特别地涉及摄像设备、该摄像设备的控制方法和存储介质。

背景技术

迄今为止已知有如下的方法作为用于检测摄像设备中的场景变化的方法，其中该方法用于将连续拍摄的邻接图像(帧)之间的特征变化与预定阈值进行比较，并且在特征变化超过阈值的情况下，判断为场景改变。例如，日本特开2010-176570论述了用于将图像分类成预定运动模式并且基于模式分类来检测图像之间的图像变化的技术。

然而，日本特开2010-176570中所论述的技术仅考虑比较连续拍摄的图像的情况。例如，一些系统自适应地在能够进行快速摄像的摄像待机模式和低功耗模式之间切换。在这样的系统中，在从低功耗模式恢复到摄像待机模式时难以高效地检测到场景变化。

发明内容

根据本发明的方面，一种摄像设备的控制方法，所述摄像设备包括被配置为在正在改变摄像方向时拍摄多个图像的摄像单元。所述控制方法包括：基于所述多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；以及比较不同摄像定时的第一全景图像和第二全景图像，并且基于比较结果来检测场景的变化。

根据本发明的另一方面，一种摄像设备的控制方法，所述摄像设备具有功耗降低的低功耗模式和与所述低功耗模式相比能够进行快速摄像的摄像待机模式。所述摄像设备包括被配置为在改变摄像方向时拍摄多个图像的摄像单元。所述控制方法包括：基于所述图像来确定判断场景的变化；以及基于所述场景的判断结果来进行控制以进行自动摄像，其中，基于在从所述摄像待机模式转变为所述低功耗模式时所拍摄到的多个第一图像和在解除所述低功耗模式时所拍摄到的多个第二图像之间的比较结果，来判断是否解除所述低功耗模式。

一种摄像设备，包括：摄像单元，其被配置为拍摄图像；生成单元，其被配置为基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；存储单元，其被配置为存储所述生成单元所生成的全景图像；以及检测单元，其被配置为将所存储的全景图像和所述摄像单元所拍摄到的图像进行比较，并且基于比较结果来检测场景的变化。

一种摄像设备，其具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括：摄像单元，其被配置为拍摄图像；生成单元，其被配置为基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；控制单元，其被配置为使所述摄像单元拍摄图像，将该图像和在所述第一模式下生成的全景图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

一种摄像设备，其具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括：摄像单元，其被配置为拍摄图像；以及控制单元，其被配置为控制是否解除所述第二模式，其中，所述摄像单元被配置为响应于从所述第一模式至所述第二模式的转变，在改变摄像方向时拍摄多个图像；以及所述控制单元被配置为将所述摄像单元在第二模式下拍摄到的图像和所述摄像单元响应于从所述第一模式至所述第二模式的转变而拍摄到的图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

一种摄像设备的控制方法，所述摄像设备包括被配置为拍摄图像的摄像单元，所述控制方法包括：基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；存储所生成的全景图像；以及将所存储的全景图像和所述摄像单元所拍摄到的图像进行比较，并且基于比较结果来检测场景的变化。

一种摄像设备的控制方法，所述摄像设备具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括被配置为拍摄图像的摄像单元，所述控制方法包括：基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；以及使所述摄像单元拍摄图像，将该图像和在所述第一模式下生成的全景图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

一种摄像设备的控制方法，所述摄像设备具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括被配置为拍摄图像的摄像单元，所述控制方法包括：控制是否解除所述第二模式，其中，比较所述摄像单元在第二模式下拍摄到的图像和响应于从所述第一模式至所述第二模式的转变而在正在改变摄像方向时拍摄到的多个图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

一种计算机可读存储介质，其存储用于使计算机进行上述的控制方法的程序。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1A和1B是示意性示出摄像设备的图。

图2是示出摄像设备的结构的图。

图3是示出摄像设备和外部装置的结构的图。

图4是示出外部装置的结构的图。

图5是示出摄像设备和外部装置的结构的图。

图6是示出外部装置的图。

图7是用于说明第一控制单元的流程图。

图8是用于说明第二控制单元的流程图。

图9是低功耗模式解除算法的流程图。

图10是与进入低功耗模式时的拍摄图像有关的图。

图11A、11B和11C各自是与进行低功耗模式解除判断时的拍摄图像有关的图。

图12是用于说明摄像模式处理的流程图。

图13是用于说明自动编辑模式判断的流程图。

图14是用于说明自动编辑模式处理的流程图。

图15是用于说明神经网络的图。

图16A～16D是用于说明拍摄图像内的区域分割的图。

图17是用于说明训练模式判断的流程图。

图18是用于说明训练处理的流程图。

图19是用于说明显示处理的图。

图20是用于说明场景变化检测处理的流程图。

具体实施方式

以下将参考附图来详细说明本公开的各种典型实施例、特征和方面。

<摄像设备的结构>

图1A和1B是示意性示出摄像设备的图。

图1A所示的摄像设备101包括能够操作电源开关的操作构件(以下称为电源按钮，而作为代替，可以在触摸面板上进行诸如轻击、轻拂和滑动等的操作)。镜筒102是包括用于进行摄像的摄像镜头单元和图像传感器的壳体。镜筒102包括附接至摄像设备101并且可以驱动镜筒102相对于固定单元103转动的转动机构。俯仰转动单元104是可以使镜筒102沿图1B所示的纵摇方向(俯仰方向)转动的马达驱动机构。平摇转动单元105是可以使镜筒102沿横摆方向(平摇方向)转动的马达驱动机构。因而，镜筒102可以在一个或多个轴向方向上转动。图1B示出固定单元103的位置处的轴的定义。角速度计106和加速度计107这两者都安装在摄像设备101的固定单元103上。基于角速度计106和加速度计107来检测摄像设备101的振动。基于所检测到的振动角度来转动驱动俯仰转动单元104和平摇转动单元105。利用这样的结构，校正了作为可移动部的镜筒102的振动和倾斜。

图2是示出根据本典型实施例的摄像设备101的结构的框图。

在图2中，第一控制单元223可以包括一个或多个处理器(诸如中央处理单元(CPU)、图形处理单元(GPU)、微处理器和微处理单元(MPU))、一个或多个存储器(诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)等)、电路、或者它们的组合。这些组件可以进行各种类型的处理，以控制摄像设备101的各块并且控制这些块之间的数据传输。非易失性存储器(电可擦除可编程只读存储器(EEPROM))216是电可擦除且可记录的存储器。非易失性存储器216存储第一控制单元223的操作常数和程序。

在图2中，变焦单元201包括变倍所用的变焦透镜。变焦驱动控制单元202控制变焦单元201的驱动。调焦单元203包括焦点调整所用的透镜。调焦驱动控制单元204控制调焦单元203的驱动。

摄像单元206中所包括的图像传感器接收经由透镜单元入射的光，并且将基于该光量的电荷信息作为模拟图像数据输出至图像处理单元207。图像处理单元207将诸如失真校正、白平衡调整和颜色插值处理等的图像处理应用于通过模数(A/D)转换所获得的数字图像数据，并且输出如此得到的数字图像数据。图像记录单元208将从图像处理单元207输出的数字图像数据转换成诸如联合图像专家组(JPEG)格式等的记录格式。将该结果发送至存储器215和以下要说明的视频输出单元217。

镜筒转动驱动单元205驱动俯仰转动单元104和平摇转动单元105，以沿俯仰方向和平摇方向驱动镜筒102。

设备振动检测单元209包括例如角速度计(陀螺仪传感器)106和加速度计(加速度传感器)107。角速度计106检测摄像设备101在三个轴方向上的角速度。加速度计107检测摄像设备101在三个轴方向上的加速度。设备振动检测单元209基于所检测到的信号来计算摄像设备101的转动角度和偏移量。

音频输入单元213从摄像设备101上所设置的麦克风获得摄像设备101周围的音频信号，进行A/D转换，并且将如此得到的数字音频信号发送至音频处理单元214。音频处理单元214对所输入的数字音频信号进行诸如优化处理等的音频相关的处理。第一控制单元223将音频处理单元214处理后的音频信号发送至存储器215。存储器215暂时存储图像处理单元207和音频处理单元214所获得的图像信号和音频信号。

图像处理单元207和音频处理单元214读取存储器215中暂时存储的图像信号和音频信号，并且对该图像信号和音频信号进行编码以生成压缩图像信号和压缩音频信号。第一控制单元223将该压缩图像信号和该压缩音频信号发送至记录和再现单元220。

记录和再现单元220将图像处理单元207和音频处理单元214所生成的压缩图像信号和压缩音频信号以及其它摄像相关的控制数据记录在记录介质221上。在音频信号未被压缩编码的情况下，第一控制单元223将音频处理单元214所生成的音频信号和图像处理单元207所生成的压缩图像信号发送至记录和再现单元220，使得将音频信号和压缩图像信号记录在记录介质221上。

记录介质221可以是内置在摄像设备101中的记录介质、或者可移除的记录介质。记录介质221可以记录包括摄像设备101所生成的压缩图像信号、压缩音频信号和音频信号的各种数据。通常使用容量比非易失性存储器216的容量大的介质。记录介质221的示例包括所有类型的记录介质，诸如硬盘、光盘、磁光盘、可记录的致密盘(CD-R)、可记录的数字多功能盘(DVD-R)、磁带、非易失性半导体存储器和闪速存储器等。

记录和再现单元220读取(再现)记录介质221上所记录的压缩图像信号、压缩音频信号、音频信号、各种数据和程序。第一控制单元223将所读取的压缩图像信号和压缩音频信号发送至图像处理单元207和音频处理单元214。图像处理单元207和音频处理单元214将压缩图像信号和压缩音频信号暂时存储到存储器215中，通过预定过程对这些信号进行解码，并且将解码后的信号发送至视频输出单元217和音频输出单元218。

音频输入单元213包括摄像设备101上所安装的多个麦克风。音频处理单元214可以检测安装有多个麦克风的平面上的声音的方向。将该声音的方向用于以下要说明的搜索和/或自动摄像。音频处理单元214还检测特定语音命令。摄像设备101可被配置成：除预先登记的几个命令以外，用户可以将特定声音登记为语音命令。音频处理单元214还进行声音场景识别。在声音场景识别中，通过使用通过基于大量音频数据的机器学习而预先训练的网络来进行声音场景判断。例如，在音频处理单元214中设置用于检测诸如“欢声四起”、“鼓掌”和“发出语音”等的特定场景的网络。音频处理单元214被配置为在检测到特定声音场景或特定语音命令的情况下，将检测触发信号输出至第一控制单元223和第二控制单元211。

第二控制单元211是与用于控制摄像设备101的整个主系统的第一控制单元223分开设置的。可以包括一个或多个处理器、一个或多个存储器，电路、或者它们的组合的第二控制单元211可以控制向第一控制单元223的供电。

第一电源单元210和第二电源单元212分别供给用于使第一控制单元223和第二控制单元211操作的电力。在按下摄像设备101上所设置的电源按钮的情况下，首先向第一控制单元223和第二控制单元211这两者供电。如以下要说明的，第一控制单元223然后控制第一电源单元210以断开其自身的电源。即使在第一控制单元223不在操作中的情况下，第二控制单元211也操作并输入来自设备振动检测单元209和音频处理单元214的信息。基于各种输入信息，第二控制单元211进行用于判断是否启动第一控制单元223的处理。第二控制单元211被配置为在判断为启动第一控制单元223的情况下，向第一电源单元210发出供电指示。

音频输出单元218例如在摄像期间从摄像设备101中内置的扬声器输出预先设置的声音模式。

发光二极管(LED)控制单元224例如在摄像期间按预设的闪烁模式控制摄像设备101上所设置的LED。

视频输出单元217例如包括视频输出端子。视频输出单元217将用于显示视频图像的图像信号发送至所连接的外部显示器。音频输出单元218和视频输出单元217可被配置为诸如高清晰度多媒体接口(HDMI)(注册商标)端子等的组合端子。

将通信单元222用于摄像设备101和外部装置之间的通信。例如，通信单元222发送和接收与音频信号、图像信号、压缩音频信号和压缩图像信号有关的数据。通信单元222还接收摄像相关的控制信号(诸如摄像开始命令、摄像结束命令、以及平摇、俯仰和变焦驱动的控制信号等)，并且基于来自可与摄像设备101相互通信的外部装置的指示来驱动摄像设备101。通信单元222还在摄像设备101和外部装置之间发送和接收包括以下要说明的训练处理单元219所要处理的各种训练相关的参数的信息。通信单元222的示例包括无线通信模块，诸如红外通信模块、蓝牙

通信模块、无线局域网(LAN)通信模块、无线通用串行总线(USB)模块和全球定位系统(GPS)接收器等。

<与外部通信装置的结构>

图3是示出包括摄像设备101和外部装置(外部通信装置)301的无线通信系统的结构示例的图。摄像设备101是具有摄像功能的数字照相机。外部装置301是包括蓝牙通信模块和无线LAN通信模块的智能装置。

摄像设备101和智能装置301可以通过使用例如符合电气和电子工程师协会(IEEE)802.11标准系列的无线LAN的通信302以及通过如蓝牙

低功耗那样的具有控制站和从属站之间的主从关系的通信303，来进行通信。无线LAN和蓝牙低功耗仅仅是通信技术的示例。可以使用其它通信技术，只要各通信设备具有两个或更多个通信功能、并且可以通过使用在控制站和从属站关系下进行通信的其中一个通信功能来控制另一通信功能即可。在不损害一般性的情况下，诸如无线LAN通信等的第一通信可以比诸如蓝牙低功耗通信等的第二通信更快地进行。第二通信与第一通信相比至少可以具有更低的功耗或更短的通信范围。

将参考图4来说明智能装置301的结构。

例如，智能装置301包括无线LAN所用的无线LAN控制单元401、蓝牙低功耗所用的蓝牙低功耗控制单元402和公共无线通信所用的公共线路控制单元406。智能装置301还包括包发送和接收单元403。无线LAN控制单元401进行无线LAN射频(RF)控制、通信处理和协议处理，该协议处理与用于对符合IEEE 802.11标准系列的无线LAN通信进行各种控制的驱动器有关并且与无线LAN通信有关。蓝牙低功耗控制单元402进行蓝牙低功耗RF控制、通信处理和协议处理，该协议处理与用于对蓝牙低功耗通信进行各种控制的驱动器有关并且与蓝牙低功耗通信有关。公共线路控制单元406进行公共无线通信RF控制、通信处理和协议处理，该协议处理与用于对公共无线通信进行各种控制的驱动器有关并且与公共无线通信有关。公共无线通信的示例包括符合国际多媒体电信(IMT)标准和长期演进(LTE)标准的通信。包发送和接收单元403进行用于至少执行与无线LAN通信、蓝牙低功耗通信和公共无线通信有关的包的发送或接收的处理。在本示例中，智能装置301被描述为在通信期间至少进行包的发送或接收，而除包交换以外，还可以使用诸如电路交换等的其它通信方案。

智能装置301还包括例如控制单元411、存储单元404、GPS接收单元405、显示单元407、操作单元408、音频输入和音频处理单元409、以及电源单元410。可以包括一个或多个处理器、一个或多个存储器、电路、或它们的组合的控制单元411可以例如通过执行存储单元404中所存储的控制程序来控制整个智能装置301。例如，存储单元404存储控制单元411所要执行的控制程序和诸如通信所需的参数等的各种类型的信息。通过控制单元411执行存储单元404中所存储的控制程序来实现以下要说明的各种操作。

电源单元410向智能装置301供电。显示单元407具有能够例如如液晶显示器(LCD)或LED那样输出从视觉上可识别的信息并且如扬声器那样输出声音的功能，并显示各种类型的信息。操作单元408的示例包括用于接受用户在智能装置301上的操作的按钮。显示单元407和操作单元408可被配置为诸如触摸面板等的共通构件。

音频输入和音频处理单元409可被配置为从例如智能装置301中内置的通用麦克风获得用户所发出的语音，并且通过语音识别处理获得用户的操作命令。

音频输入和音频处理单元409经由智能装置301中的专用应用程序从用户所发出的语音获得语音命令。音频输入和音频处理单元409可以将语音命令登记为特定语音命令，其中该特定语音命令被摄像设备101的音频处理单元214经由无线LAN通信302识别为特定语音命令。

GPS接收单元405接收从卫星通知的GPS信号，分析这些GPS信号，并且估计智能装置301的当前位置(经度和纬度信息)。可选地，GPS接收单元405可以通过使用Wi-Fi定位系统(WPS)基于与智能装置301附近的无线网络有关的信息来估计智能装置301的当前位置。在所获得的当前GPS位置信息落在预先设置的位置范围内(在预定半径的范围内)的情况下，GPS接收部405经由蓝牙低功耗控制单元402向摄像设备101通知移动信息。该移动信息用作以下要说明的自动摄像或自动编辑所用的参数。在GPS位置信息表示超过预定量的位置变化的情况下，GPS接收部405经由蓝牙低功耗控制单元402向摄像设备101通知移动信息。该移动信息用作以下要说明的自动摄像或自动编辑所用的参数。

如上所述，智能装置301通过使用无线LAN控制单元401和蓝牙低功耗控制单元402的通信与摄像设备101交换数据。例如，摄像设备101和智能装置301发送和接收与音频信号、图像信号、压缩音频信号和压缩图像信号有关的数据。智能装置301还将摄像和其它操作指示发送至摄像设备101，发送语音命令登记数据，并且进行基于GPS位置信息的预定位置检测通知和位置移动通知。智能装置301还经由智能装置301中的专用应用程序发送和接收训练数据。外部装置301不限于智能装置301。例如，外部装置301可以是省略了显示单元407和操作单元408的专用于语音输入的装置。该装置从上述麦克风获得用户所发出的语音，通过语音识别处理获得用户的操作命令，并且向摄像设备101通知该操作命令。这样的装置还可以具有语音识别功能、云通信功能和使用扬声器的新闻阅读功能。外部装置301可以具有使用搜索引擎和交互系统功能的搜索和语音输出功能。

<配件的结构>

图5是示出摄像设备101和与摄像设备101可通信的外部装置501的结构示例的图。摄像设备101是具有摄像功能的数字照相机。外部装置501例如是可以通过使用蓝牙通信模块与摄像设备101进行通信的可穿戴装置，并且包括各种感测单元。

例如，可穿戴装置501被配置成穿戴在用户的手臂上。可穿戴装置501包括用于按预定周期检测用户的生物体信息(诸如脉搏、心率和血流等)的传感器、以及能够检测用户的运动状态的加速度传感器。

生物体信息检测单元502例如包括用于检测脉搏的脉搏传感器、用于检测心率的心率传感器、用于检测血流的血流传感器、以及用于通过导电聚合物构件与皮肤接触来检测电位的变化的感测传感器。在本典型实施例中，将通过使用心率传感器来说明生物体信息检测单元502。心率传感器例如通过利用来自LED的红外线照射皮肤、利用受光传感器检测透过体组织的红外线并且进行信号处理，来检测用户的心率。生物体信息检测单元502将所检测到的生物体信息作为信号输出至以下要说明的控制单元607。

振动检测单元503旨在检测用户的运动状态。例如，振动检测单元503包括加速度传感器和陀螺仪传感器，并且可以基于加速度信息来检测如用户是否正在移动以及用户是否正在进行摆臂动作那样的运动。

可穿戴装置501还包括用于接受用户在可穿戴装置501上的操作的操作单元505、以及如LCD或LED那样的用于输出从视觉上可识别的信息的显示单元504。

将参考图6来说明可穿戴装置501的结构。

可穿戴装置501包括例如控制单元607、通信单元601、生物体信息检测单元502、振动检测单元503、显示单元504、操作单元505、电源单元606和存储单元608。

可以包括一个或多个处理器、一个或多个存储器、电路或者它们的组合的控制单元607可以例如通过执行存储单元608中所存储的控制程序来控制整个可穿戴装置501。存储单元608例如存储控制单元607所要执行的控制程序、以及诸如通信所需的参数等的各种类型的信息。例如，通过控制单元607执行存储单元608中所存储的控制程序来实现以下要说明的各种操作。

电源单元606向可穿戴装置501供电。显示单元504具有能够例如如LCD或LED那样输出从视觉上可识别的信息并且诸如扬声器等输出声音的功能，并显示各种类型的信息。操作单元505的示例包括用于接受用户在可穿戴装置501上的操作的按钮。显示单元504和操作单元505可被配置为诸如触摸面板等的共通构件。

操作单元505可被配置为例如从可穿戴装置501中内置的通用麦克风获得用户所发出的语音，通过语音处理来处理用户所发出的语音，并且通过语音识别处理来获得用户的操作命令。

来自生物体信息检测单元502和振动检测单元503的各种类型的检测信息由控制单元607处理。通信单元601将如此得到的检测信息发送至摄像设备101。

例如，通信单元601在用户的心率中检测到变化的定时将检测信息发送至摄像设备101，并且在运动状态在例如步行运动、跑步运动和停下之间改变的定时发送检测信息。通信单元601例如在检测到预先设置的摆臂动作的定时和在检测到预定距离的移动的定时也发送检测信息。

<摄像操作序列>

图7是用于说明根据本典型实施例的摄像设备101的第一控制单元223负责的操作的示例的流程图。

在用户操作摄像设备101上所设置的电源按钮的情况下，第一电源单元210使电源单元向第一控制单元223和摄像设备101的其它块供电。

同样，第二电源单元212使电源单元向第二控制单元211供电。以下将参考图8的流程图来说明第二控制单元211的操作的详情。

在供电时，图7的处理开始。在步骤S701中，第一控制单元223读取启动条件。在本典型实施例中，可能的启动条件包括以下：

(1)通过手动按下电源按钮的电源接通；

(2)基于通过外部通信(例如，蓝牙低功耗通信)从外部装置(例如，外部装置301)给出的指示的电源接通；以及

(3)来自子处理器(第二控制单元211)的电源接通。

在(3)来自子处理器的电源接通的情况下，第一控制单元223读取在子处理器中计算出的启动条件。以下将参考图8来说明详情。

使用这里所读取的启动条件作为被摄体搜索或自动摄像期间的参数元素。以下将给出该情况的说明。在启动条件的读取结束之后，处理进入步骤S702。

在步骤S702中，第一控制单元223读取各种传感器。这里要读取的传感器可以包括用于检测振动的传感器(诸如设备振动检测单元209的陀螺仪传感器和加速度传感器等)、以及与俯仰转动单元104和平摇转动单元105的转动位置有关的传感器。要读取的传感器还可以包括与音频处理单元214所检测到的声级、特定语音识别的检测触发和声音方向检测有关的传感器。

尽管在图1A～图6中未示出，但第一控制单元223还从用于检测环境信息的传感器获得信息。

示例包括用于按预定间隔检测摄像设备101周围的温度的温度传感器、以及用于检测摄像设备101周围的气压的变化的气压传感器。可以包括用于检测摄像设备101周围的亮度的照度传感器、用于检测摄像设备101周围的湿度的湿度传感器、以及用于检测摄像设备101周围的紫外线的量的紫外(UV)传感器。除所检测到的温度信息、气压信息、亮度信息、湿度信息和/或UV信息之外，第一控制单元223还将根据所检测到的各种类型的信息按预定时间间隔计算出的变化率(诸如温度变化量、气压变化量、亮度变化量、湿度变化量和/或UV变化量等)用于以下要说明的自动摄像和其它判断。

在步骤S702中读取各种传感器之后，处理进入步骤S703。

在步骤S703中，第一控制单元223检测是否存在来自外部装置的通信指示。如果存在通信指示，则第一控制单元223进行与外部装置的通信。

例如，第一控制单元223接收来自智能装置301的远程操作，并且经由无线LAN或蓝牙低功耗通信来发送和接收与音频信号、图像信号、压缩音频信号和压缩图像信号有关的数据。第一控制单元223检测是否存在来自智能装置301的针对摄像设备101的摄像或其它操作指示、所发送的语音命令登记数据、基于GPS位置信息的预定位置检测通知或位置移动通知、或者用于训练数据的发送和接收的指示。

例如，在可穿戴装置501更新生物体信息(诸如用户的运动信息、手臂动作信息和心率等)的情况下，第一控制单元223经由蓝牙低功耗通信读取该信息。用于检测上述环境信息的各种传感器可以安装在摄像设备100上，或者安装在智能装置301或可穿戴装置501上。在后者情况下，第一控制单元223经由蓝牙低功耗通信读取环境信息。在步骤S703中读取来自外部装置的通信之后，处理进入步骤S704。

在步骤S704中，第一控制单元223进行模式设置判断。第一控制单元223判断各种检测信息与以下要说明的“自动摄像模式”、“自动编辑模式”、“自动图像传送模式”、“训练模式”和“自动文件删除模式”的模式判断条件中的任一个是否匹配。这样的模式由于可以相对快速地拍摄图像因而也被称为摄像待机模式。在各种检测信息与任何上述模式判断条件不匹配的情况下，模式设置被判断为低功耗模式。在低功耗模式中，停止或抑制向图像传感器的供电以降低功耗，并且不能快速地拍摄图像。在步骤S705中，如果上述步骤S704的判断结果是低功耗模式(步骤S705中为“是”)，则处理进入步骤S706。如果该判断结果是除低功耗模式以外(步骤S705中为“否”)，则处理进入步骤S709。

在步骤S706中，第一控制单元223向子处理器(第二控制单元211)通知与在子处理器中要判断的启动原因有关的各种参数(振动检测判断参数、声音检测参数和时间经过检测参数)。通过以下要说明的训练处理来学习这些各种参数并改变这些参数的值。在步骤S707中，第一控制单元223在进入低功耗模式之前，拍摄摄像设备101的周边图像A并将该周边图像A存储到存储器215中。在以下要说明的用于从低功耗模式恢复的算法中使用所存储的周边图像A。

在步骤S707的处理结束之后，处理进入步骤S708。在步骤S708中，主处理器(第一控制单元223)的电源断开。该处理结束。

接着，将详细说明上述步骤S704中的模式设置判断的处理(模式设置判断处理)。要判断的可能模式设置包括：

(1)自动摄像模式

[模式判断条件]

在根据基于以下要说明的训练所设置的各种检测信息(图像、声音、时间、振动、位置、身体变化和环境变化)、从转变为自动摄像模式起所经过的时间、以及过去摄像信息而判断为要进行自动摄像的情况下，设置自动摄像模式。

[模式处理]

在自动摄像模式处理(步骤S710)中，第一控制单元223基于各种检测信息(图像、声音、时间、振动、位置、身体变化和环境变化)来通过平摇、俯仰和变焦驱动自动搜索被摄体。在第一控制单元223判断为该定时适合于符合用户的偏好的摄像的情况下，第一控制单元223进行用于从包括单个静止图像拍摄、连续静止图像拍摄、运动图像拍摄、全景拍摄和延时摄像的各种摄像方法中判断摄像方法的处理。然后，第一控制单元223自动进行摄像。

(2)自动编辑模式

[模式判断条件]

在根据从前次自动编辑起所经过的时间和过去图像拍摄信息而判断为要进行自动编辑的情况下，设置自动编辑模式。

[模式处理]

在自动编辑模式处理(步骤S712)中，第一控制单元223进行用于基于训练来选择静止图像和运动图像的处理，并且进行用于通过基于训练使用图像效果并考虑编辑后的运动图像的持续时间来生成总结了所选择的图像的单个高亮运动图像的自动编辑处理。

(3)自动图像传送模式

[模式判断条件]

在通过经由智能装置301中的专用应用程序给出的指示将模式设置设置为自动图像传送模式、并且根据从前次图像传送起所经过的时间和过去拍摄图像信息而判断为要进行自动图像传送的情况下，设置自动图像传送模式。

[模式处理]

在自动图像传送模式处理(步骤S714)中，摄像设备101自动提取用户有可能偏好的图像，并且将所提取的图像自动发送至智能装置301。基于根据用户的偏好所判断出的并且添加至图像的得分来进行符合用户的偏好的图像提取。

(4)训练模式

[模式判断条件]

在根据从前次训练处理起所经过的时间、与训练可用的图像相关联的信息和训练数据的数量而判断为要进行自动训练的情况下，设置训练模式(自动训练模式)。在经由来自智能装置301的通信给出用以设置训练数据的指示的情况下，也设置训练模式。

[模式处理]

在训练模式处理(步骤S716)中，第一控制单元223进行针对用户的偏好的训练。通过基于与智能装置301上的操作和来自智能装置301的训练信息通知有关的信息使用神经网络来进行针对用户的偏好的训练。与对智能装置301的操作有关的信息的示例包括与从摄像设备101的图像获取有关的信息、经由专用应用程序而手动给出编辑指示的信息、以及与用户针对摄像设备101中的图像所输入的判断值有关的信息。

同时还进行包括个人认证登记、语音登记、声音场景登记和普通物体识别登记的检测相关的训练、以及针对上述的低功耗模式的条件的训练。

(5)自动文件删除模式

[模式判断条件]

在根据从前次自动文件删除起所经过的时间和记录有图像的非易失性存储器216的剩余容量而判断为要进行自动文件删除的情况下，设置自动文件删除模式。

[模式处理]

在自动文件删除模式处理(步骤S718)中，第一控制单元223基于各个图像的标签信息以及拍摄日期和时间来从非易失性存储器216内的图像中指定要自动删除的文件(选择处理)，并且删除所指定的文件。

以下将说明自动摄像模式处理、自动编辑模式处理和训练模式处理的详情。

在步骤S705中，如果判断为模式设置不是低功耗模式(步骤S705中为“否”)，则处理进入步骤S709。在步骤S709中，第一控制单元223判断模式设置是否是自动摄像模式。如果模式设置是自动摄像模式(步骤S709中为“是”)，则处理进入步骤S710。在步骤S710中，第一控制单元223进行自动摄像模式处理。在自动摄像模式处理结束之后，处理返回到步骤S702以进行重复。在步骤S709中，如果判断为模式设置不是自动摄像模式(步骤S709中为“否”)，则处理进入步骤S711。

在步骤S711中，第一控制单元223判断模式设置是否是自动编辑模式。如果模式设置是自动编辑模式(步骤S711中为“是”)，则处理进入步骤S712。在步骤S712中，第一控制单元223进行自动编辑模式处理。在自动编辑模式处理结束之后，处理返回到步骤S702以进行重复。在步骤S711中，如果判断为模式设置不是自动编辑模式(步骤S711中为“否”)，则处理进入步骤S713。

在步骤S713中，第一控制单元223判断模式设置是否是自动图像传送模式。如果模式设置是自动图像传送模式(步骤S713中为“是”)，则处理进入步骤S714。在步骤S714中，第一控制单元223进行自动图像传送模式处理。在自动图像传送模式处理结束之后，处理返回到步骤S702以进行重复。在步骤S713中，如果判断为模式设置不是自动图像传送模式(步骤S713中为“否”)，则处理进入步骤S715。

在步骤S715中，第一控制单元223判断模式设置是否是训练模式。如果判断为模式设置是训练模式(步骤S715中为“是”)，则处理进入步骤S716。在步骤S716中，第一控制单元223进行训练模式处理。在训练模式处理结束之后，处理返回到步骤S702以进行重复。在步骤S715中，如果判断为模式设置不是训练模式(步骤S715中为“否”)，则处理进入步骤S717。

在步骤S717中，第一控制单元223判断模式设置是否是自动文件删除模式。如果判断为模式设置是自动文件删除模式(步骤S717中为“是”)，则处理进入步骤S718。在步骤S718中，第一控制单元223进行自动文件删除模式处理。在自动文件删除模式处理结束之后，处理返回到步骤S702以进行重复。在步骤S717中，如果判断为模式设置不是自动文件删除模式(步骤S717中为“否”)，则处理返回到步骤S702以进行重复。

图8是用于说明根据本典型实施例的摄像设备101的第二控制单元211负责的操作的示例的流程图。

如果用户操作摄像设备101上所设置的电源按钮，则第一电源单元210使电源单元向第一控制单元223供电。第二电源单元212同样使电源单元向第二控制单元211供电。该供电启动子处理器(第二控制单元211)以开始图8的处理。

在步骤S801中，第二控制单元211判断是否经过了用作采样周期的预定时间段。例如，如果预定时间段被设置为10毫秒(msec)，则处理按10毫秒的周期进入步骤S802(步骤S801中为“是”)。如果判断为没有经过预定时间段(步骤S801中为“否”)，则处理在子处理器无需进行任何处理的情况下返回到步骤S801。然后，第二控制单元211等待预定时间的经过。

在步骤S802中，第二控制单元211读取训练信息。训练信息包括在图7的步骤S706中向子处理器通知各种参数期间所传送的信息。所读取的信息的示例包括以下：

(1)特定振动检测的判断条件；

(2)特定声音检测的判断条件；以及

(3)时间经过判断的判断条件。

在步骤S802中读取训练信息之后，处理进入步骤S803。在步骤S803中，第二控制单元211获得振动检测值。振动检测值是来自用于检测振动的传感器(诸如设备振动检测单元209的陀螺仪传感器和加速度传感器等)的输出值。

在步骤S803中获取到振动检测值之后，处理进入步骤S804。在步骤S804中，第二控制单元211进行用于振动状态检测的预先处理(特定振动状态检测处理)。这里，第二控制单元211基于步骤S802中所读取的训练信息来改变判断处理。将说明几个示例。

(1)轻击检测

可以根据附接至摄像设备101的加速度传感器的输出值来检测例如用户用指尖轻击摄像设备101的状态(轻击状态)。按预定间隔对三轴加速度传感器的输出(加速度信号)进行采样，并且使该输出通过设置到特定频域的带通滤波器(BPF)，由此可以提取基于轻击的加速度变化的信号区域。基于通过了BPF的加速度信号在预定时间TimeA内超过预定阈值ThreshA的次数是否是预定次数CountA来进行轻击检测。对于双击，将预定次数CountA设置为2。对于三击，将预定次数CountA设置为3。还可以基于训练信息来改变预定时间TimeA和预定阈值ThreshA。

(2)振动状态的检测

可以根据附接至摄像设备101的陀螺仪传感器或加速度传感器的输出值来检测摄像设备101的振动状态。在绝对值转换之前，经由低通滤波器(LPF)截除陀螺仪传感器或加速度传感器的输出的高频分量并且经由高通滤波器(HPF)截除低频分量。基于所计算出的绝对值在预定时间TimeB内超过预定阈值ThreshB的次数是否大于或等于预定次数CountB来进行振动检测。这使得能够例如判断摄像设备100是处于小振动状态(如在摄像设备100放置在桌子上的情况那样)、还是处于大振动状态(如在摄像设备100可穿戴且由步行用户穿戴的情况那样)。通过提供与判断阈值和判断的计数数量有关的多个条件，可以基于振动级别来精细地检测振动状态。

还可以基于训练信息来改变预定时间TimeB、预定阈值ThreshB和预定次数CountB。

以上已经说明了利用第二控制单元211的基于条件判断的特定振动状态检测的方法。然而，通过将在预定时间内采样的与振动检测传感器有关的数据输入到基于神经网络的振动状态分类器中，可以通过使用所训练的神经网络来检测预先登记的特定振动状态。在这种情况下，步骤S802中所读取的训练信息是神经网络的权重参数。

在步骤S804的特定振动状态检测处理之后，处理进入步骤S805。在步骤S805中，第二控制单元211进行预先设置的特定声音检测处理。这里，第二控制单元211基于步骤S802中所读取的训练信息来改变检测判断处理。将说明几个示例。

(1)特定语音命令的检测

音频处理单元214检测特定语音命令。除预先登记的几个命令以外，用户可以将特定语音作为语音命令登记在摄像设备101中。

(2)特定声音场景的识别

音频处理单元214通过使用基于大量音频数据的机器学习而预先训练的网络来进行声音场景判断。例如，音频处理单元214检测诸如“欢声四起”、“鼓掌”和“发出语音”等的特定场景。通过训练来改变要检测的场景。

(3)声级的判断

音频处理单元214通过使用诸如将声级的大小在预定时间内超过预定级别值的次数相加等的方法来进行基于声级判断的检测。通过训练来改变预定时间和预定级别值的大小。

(4)声音方向的判断

音频处理单元214可以检测安装有多个麦克风的平面上的声音的方向。音频处理单元214针对预定大小的声级检测声音的方向。

在音频处理单元214内进行这样的检测判断处理。在步骤S805中，第二控制单元211通过使用预先训练的设置来判断是否检测到特定声音。

在步骤S805的特定声音检测处理之后，处理进入步骤S806。在步骤S806中，第二控制单元211判断主处理器(第一控制单元223)是否处于关闭状态。如果主处理器处于关闭状态(步骤S806中为“是”)，则处理进入步骤S807。在步骤S807中，第二控制单元211进行预先设置的时间经过检测处理。这里，第二控制单元211基于步骤S802中所读取的训练信息来改变检测判断处理。训练信息是在图7的步骤S706中所述的向子处理器(第二控制单元211)通知各种参数期间所传送的信息。测量从主处理器从开启转变为关闭起所经过的时间，并且如果该经过时间大于或等于参数TimeC，则判断为经过了预定时间。如果该经过时间小于参数TimeC，则判断为没有经过预定时间。参数TimeC基于训练信息而改变。

在步骤S807的时间经过检测处理之后，处理进入步骤S808。在步骤S808中，第二控制单元211判断低功耗模式是否被判断为要解除。

将参考图9、图10和图11A～11C来说明描述用于判断低功耗模式的解除的算法的详情。

可以通过以下的三个条件来触发低功耗模式的解除：

(1)特定振动检测的判断条件；

(2)特定声音检测的判断条件；以及

(3)时间经过判断的判断条件。

这三个条件分别通过图8的步骤S804中的特定振动状态检测处理、步骤S805中的特定声音检测处理和步骤S807中的时间经过检测处理来判断。

在图9的步骤S901中，如果满足上述三个条件中的任一个(步骤S901中为“是”)，则处理进入步骤S902。在步骤S902中，第二控制单元211暂时接通主处理器的电源以拍摄摄像设备101的周边图像B。

在步骤S903中，第二控制单元211在上述的图7的步骤S707中所存储的在进入低功耗模式时的摄像设备101的周边图像A和上述的周边图像B之间进行图像比较。

如图10所示，将周边图像A以360°的全景图像的形式存储在存储器215中。该360°的全景图像是通过在使如下的多个图像基于重叠部分而对准的同时连续地对这多个图像进行合成所获得的，其中这多个图像是在使光学系统沿平摇方向转动的同时拍摄到的。全景图像是指与各单独图像的摄像范围相比更宽范围的图像。可以将与摄像设备101在进入低功耗模式时指向的方位和俯仰角度有关的信息作为附带信息连同周边图像A一起存储。在以下要说明的图像比较中可以使用该附带信息。

在步骤S902中拍摄到周边图像B的情况下，第二控制单元211通过使用上述的与周边图像A有关的附带信息以及与光学系统当前指向的方位有关的方位信息，来如图11A所示计算与周边图像B的摄像视角相对应的周边图像A的对应位置。在步骤S903中，第二控制单元211然后进行计算以确定周边图像A的对应部分与周边图像B之间的差分和。如果图像之间的差分信息中所包括的差分和超过预定阈值，则在步骤S904中，第二控制单元211判断为在进入低功耗模式时的周围环境和当前周围环境之间存在大的差异(步骤S904中为“是”)。然后，处理进入步骤S905。在步骤S905中，第二控制单元211进行低功耗模式解除处理。

如果图像之间的差分和不超过预定阈值，则第二控制单元211判断为在进入低功耗模式时的周围环境和当前周围环境之间不存在大的差异(步骤S904中为“否”)。然后处理进入步骤S906。在步骤S906中，第二控制单元211再次断开主处理器的电源以维持低功耗模式。

周边图像B的拍摄不限于一次。如图11B所示，第二控制单元211可以按多个离散视角进行观察，并且基于各个视角处的与周边图像A的差分和来进行判断。如图11C所示，可以在进入低功耗模式时存储周边图像A中所包括的被摄体中的特征被摄体的方位，并且可以在恢复判断时将该方位反馈到周边图像B的摄像方位。因而，将周边图像A存储为全景图像使得能够进行与不同摄像定时的周边图像B的快速对照、以及减少要存储的存储量。

在图8的步骤S808中，如果判断为要解除低功耗模式(步骤S808中为“是”)，则处理进入步骤S809。在步骤S809中，第二控制单元211接通主处理器的电源。在步骤S810中，第二控制单元211向主处理器通知低功耗模式被判断为要解除的解除条件(振动、声音或时间)。处理返回到步骤S801以进行循环。

在步骤S806中，如果判断为主处理器处于开启状态(步骤S806中为“否”)，则处理进入步骤S811。在步骤S811中，第二控制单元211向主处理器通知步骤S803～S805中所获得的信息。然后，处理返回到步骤S801以进行循环。

在本典型实施例中，子处理器被配置为即使在主处理器处于开启状态时也进行振动检测和特定声音检测，并且向主处理器通知检测结果。然而，子处理器可被配置为在主处理器开启的情况下，不进行步骤S803～S805的处理。在这种情况下，可以进行振动检测和特定声音检测作为主处理器的内部处理(图7的步骤S702)。

通过如上所述进行图7的步骤S704～S707和图8的处理，基于用户的操作来学习用以进入低功耗模式的条件和用以解除低功耗模式的条件。这使得能够进行针对拥有摄像设备101的用户的可用性定制的照相机操作。以下将说明训练方法。

<自动摄像模式处理>

将参考图12来说明自动摄像模式处理。

在步骤S1201中，第一控制单元223通过利用图像处理单元207对摄像单元206所捕获的信号进行用于被摄体检测的图像处理来生成图像。第一控制单元223对所生成的图像进行诸如人物检测和普通物体检测等的被摄体检测。在人物检测的情况下，第一控制单元223检测被摄体的面部和人体。

对于面部检测处理，预先定义用于判断人物的面部的图案。第一控制单元223可以将拍摄图像中的与这样的图案一致的区域检测为人物面部图像。第一控制单元223同时计算表示被摄体是面部的可能性的可靠度。例如，根据图像中的面部区域的大小和与面部图案的一致度来计算可靠度。对于物体识别，可以同样地识别与先前登记的图案一致的物体。

可以通过使用拍摄图像中的色相或颜色饱和度的直方图的方法来提取特征被摄体。将从与在摄像视角内拍摄的被摄体的图像有关的色相或颜色饱和度的直方图推导出的分布划分成多个区段。然后进行用于针对各区段对所拍摄图像进行分类的处理。

例如，第一控制单元223生成拍摄图像中的多个颜色分量的直方图，基于凸状分布范围对图像进行分割，对在属于区段的同一组合的区域中拍摄到的图像进行分类，并且识别被摄体图像区域。第一控制单元223针对所识别的各个被摄体图像区域计算评价值，然后可以判断为评价值最高的被摄体的图像区域是主被摄体区域。通过使用这样的方法，可以从摄像信息获得与各被摄体有关的被摄体信息。

在步骤S1202中，第一控制单元223计算图像振动校正量。更具体地，第一控制单元223基于设备振动检测单元209所获得的角速度和加速度信息来计算绝对照相机角度。然后，第一控制单元223将用以使俯仰转动单元104和平摇转动单元105沿补偿绝对角度的角度方向移动的图像稳定角度确定为图像振动校正量。可以通过以下要说明的训练处理来改变用于这样的图像振动校正量计算处理的计算方法。

在步骤S1203中，第一控制单元223进行照相机状态判断。第一控制单元223基于根据角速度信息、加速度信息和GPS位置信息所检测到的照相机角度和照相机移动量来判断照相机(摄像设备101)当前处于什么振动/运动状态。

例如，在摄像设备101安装在车辆上的状态下进行摄像的情况下，与周围环境有关的被摄体信息随着移动距离而大幅改变。然后，第一控制单元223判断摄像设备101是否处于安装在车辆上且高速移动的“车辆行驶状态”。可以将该判断结果用于以下要说明的自动被摄体搜索。

第一控制单元223判断照相机角度是否存在大的变化，并且判断摄像设备101是否处于振动角度小的“静止摄像状态”。如果摄像设备101处于“静止摄像状态”，则可以认为摄像设备101本身没有进行角度变化。在这种情况下，可以进行静止摄像被摄体搜索。

如果照相机角度存在相对较大的变化，则判断为摄像设备101处于“手持状态”。在这种情况下，可以进行手持被摄体搜索。

在步骤S1204中，第一控制单元223进行被摄体搜索处理。被摄体搜索包括以下处理：

(1)区域分割

将参考图16A～16D来说明区域分割。如图16A所示，在照相机位置在中央(照相机位置在原点O处)的状态下在整个周边上进行区域分割。在图16A的示例中，在俯仰方向和平摇方向这两者上以22.5°为单位对整个区域进行分割。通过图16A所示的区域分割，随着照相机的俯仰方向上的角度远离0°，水平圆周减小并且区段变小。如图16B所示，如果俯仰角度为45°以上，则区段的水平范围被设置成大于22.5°。图16C和16D示出摄像视角内的区域分割的示例。轴1601表示初始化期间的摄像设备101的方向。以该方向和角度作为基准位置来进行区域分割。视角区域1602表示拍摄图像的视角区域。图16D示出这里的图像的示例。基于区域分割，将在该视角内拍摄到的图像分割成图16D的区域1603～1618。

(2)针对各区域的重要度级别的计算

针对如上所述分割后的各个区域，基于该区域中所包括的被摄体和该区域的场景状况来计算表示进行搜索时的优先顺序的重要度级别。例如，基于该区域中所包括的人物的数量、人物面部的大小、人物面部的方向、面部检测的可靠性、人物的面部表情和人物的个人认证结果来计算基于被摄体状况的重要度级别。例如，基于普通物体识别结果、场景判断结果(诸如蓝天、背光和夜景等)、来自该区域的方向的声音的级别和声音识别结果、以及该区域内的运动检测信息来计算基于场景状况的重要度级别。由于通过上述的照相机状态判断(步骤S1203)来检测照相机的振动状态，因此可以基于振动状态来改变重要度级别。例如，如果判断为照相机处于“静止摄像状态”，则第一控制单元223判断为要通过特别强调在面部认证中所登记的被摄体中的优先顺序最高的被摄体(例如，照相机的所有者)来进行被摄体搜索。也通过优先该面部来进行以下要说明的自动摄像。即使照相机的所有者穿戴并随身携带该照相机以进行长时间摄像，该所有者的许多图像如此也可以通过所有者卸下照相机并将照相机放置在例如桌子上来记录。由于可以利用平摇和俯仰操作来进行搜索，因此可以在无需考虑照相机的放置角度的情况下简单地放置照相机来记录所有者的图像或许多面部的合影照。仅通过上述条件，除非在区域中存在变化，否则相同的区域将被设置为最高重要度级别，并且要搜索的区域将始终保持相同。然后，第一控制单元223基于过去的摄像信息来改变重要度级别。具体地，第一控制单元223可以降低在预定时间内被指定为搜索区域的区域的重要度级别，或者降低在以下要说明的步骤S1210中所拍摄的区域的在预定时间内的重要度级别。

(3)搜索对象区域的确定

在如上所述计算区域的重要度级别之后，第一控制单元223将重要度级别高的区域确定为搜索对象区域。然后，第一控制单元223计算在视角内拍摄搜索对象区域所需的平摇和俯仰搜索目标角度。

在步骤S1205中，第一控制单元223进行平摇和俯仰驱动。具体地，第一控制单元223通过将图像振动校正量与用于基于平摇和俯仰搜索目标角度的控制采样的驱动角度进行相加来计算平摇和俯仰驱动量。第一控制单元223通过使用镜筒转动驱动单元205来控制俯仰转动单元104和平摇转动单元105的驱动。

在步骤S1206中，第一控制单元223控制变焦单元201以进行变焦驱动。具体地，第一控制单元223基于步骤S1204中所确定的搜索对象被摄体的状态来驱动变焦单元201。例如，如果搜索对象被摄体是人物面部，则图像中的大小太小的面部由于该面部小于可检测的最小大小因而可能无法被检测到并且可能被错过。在这种情况下，第一控制单元223控制变焦单元201以变焦到远摄侧，使得图像中的面部的大小增大。如果图像中的面部太大，则由于被摄体或照相机自身的移动而导致被摄体可能容易离开视角。在这种情况下，第一控制单元223进行控制以使变焦单元201变焦到广角侧，使得图像中的面部的大小减小。这样的变焦控制可以维持适合于追踪被摄体的状态。

与上述的步骤S1201～S1206的操作并行地，第一控制单元223可以比较按预定时间间隔获得的不同定时的图像，基于比较结果来检测场景变化，并且使光学系统指向场景变化的区域。

例如，在图20的步骤S2001中，第一控制单元223最初在步骤S1201的定时通过使用摄像单元206来拍摄摄像设备101的周边图像A。在步骤S2002中，如果满足诸如经过了预定时间等的条件(步骤S2002中为“是”)，则处理进入步骤S2003。在步骤S2003中，第一控制单元223拍摄摄像设备101的周边图像B。

在步骤S2004中，第一控制单元223在上述的步骤S2001中所存储的摄像设备101的周边图像A和上述的周边图像B之间进行图像比较。

如图10所示，将周边图像A以360°的全景图像的形式存储在存储器215中。该360°的全景图像是通过在使如下的多个图像基于重叠部分而对准的同时连续地对这多个图像进行合成所获得的，其中这多个图像是在使光学系统沿横摆方向转动的同时拍摄到的。可以将与摄像设备101指向的方位和俯仰角度有关的信息作为附带信息连同周边图像A一起存储。在以下要说明的图像比较中可以使用该附带信息。

在步骤S2003中拍摄到周边图像B的情况下，如图11A所示，第一控制单元223通过使用上述的与周边图像A有关的附带信息以及与光学系统当前指向的方位有关的方位信息，来计算与周边图像B的摄像视角相对应的周边图像A的对应位置。在步骤S2004中，第一控制单元223进行计算以确定周边图像A的对应部分和周边图像B之间的差分和。如果图像之间的差分和超过预定阈值，则在步骤S2005中，第一控制单元223判断为在步骤S1201的定时的周围环境和当前周围环境之间存在大的差异(步骤S2005中为“是”)。然后，处理进入步骤S2006。在步骤S2006中，第一控制单元223中断步骤S1201～S1206的被摄体搜索处理，并且使光学系统指向发现差异的区域。

另一方面，如果图像之间的差分和不超过预定阈值，则第一控制单元223判断为在步骤S1201时的周围环境和当前周围环境之间不存在大的差异(步骤S2005中为“否”)。然后，处理进入步骤S2007。在步骤S2007中，第一控制单元223基于步骤S1201～S1206所示的针对各区域的重要度来继续被摄体搜索处理。

在传统技术中，已能够判断出仅摄像设备101当前指向的方向上的场景变化。通过使用上述的算法，可以高效地判断摄像设备101周围的场景变化，并且可以防止错过要拍摄的场景。

在步骤S1207中，第一控制单元223判断是否存在手动摄像指示。如果存在手动摄像指示(步骤S1207中为“是”)，则处理进入步骤S1210。手动摄像指示可以通过按下快门按钮、通过针对照相机壳体的手指轻击、通过语音命令的输入或者作为来自外部装置的指示而给出。利用轻击操作的摄像指示是用于在用户轻击照相机壳体时、通过设备振动检测单元209检测短时间段内的连续高频加速度来触发摄像的摄像指示方法。语音命令的输入是用于在用户发出预定摄像指示短语(诸如“拍照”等)的声音时、通过音频处理单元214识别语音来触发摄像的摄像指示方法。来自外部装置的指示是如下的摄像指示方法，其中在该摄像指示方法中，使用从例如通过蓝牙经由专用应用程序而连接至照相机的智能电话发送来的快门指示信号作为触发。

在步骤S1208中，第一控制单元223进行自动摄像判断。在自动摄像判断中，第一控制单元223判断是否进行自动摄像并且判断摄像方法(判断进行静止图像拍摄、运动图像拍摄、连拍和全景摄像中的哪个)。

<是否进行自动摄像的判断>

基于以下两个判断来进行与是否进行自动摄像有关的判断。一个判断是基于步骤S1204中所获得的各区域的重要度级别。如果重要度级别超过预定值，则第一控制单元223判断为要进行自动摄像。另一判断是基于神经网络。图15示出作为神经网络的示例的多层感知器网络的示例。神经网络用于根据输入值预测输出值。预先利用输入值和针对输入值的典型输出值训练神经网络，这使得能够针对新的输入值来对模仿所学习的示例的输出值进行估计。以下将说明训练方法。在图15中，圆1501和在下方的排成列的圆表示输入层的神经元。圆1503和在下方的排成列的圆表示中间层的神经元。圆1504表示输出层的神经元。箭头1502和其它箭头表示神经元之间的连接。在基于神经网络的判断中，将基于在当前视角中拍摄到的被摄体、场景和照相机状态的特征量作为输入供给至输入层的神经元。输出层通过基于多层感知器前向传播规则的计算来提供输出值。如果输出值大于或等于阈值，则第一控制单元223判断为要进行自动摄像。可用的被摄体特征可以包括当前变焦倍率、当前视角处的普通物体识别结果、面部检测结果、在当前视角内拍摄的面部的数量、面部的微笑程度和闭眼程度、面部角度、面部认证标识(ID)号和人物被摄体的视线角度。还可以使用场景判断结果、从前次摄像起所经过的时间、当前时间、GPS位置信息、从前次摄像位置起的变化量、当前音频级别、以及是否存在说话的人物、鼓掌和欢声。还使用振动信息(加速度信息或上述照相机状态)和环境信息(诸如温度、气压、照度、湿度和UV线量等)。如果存在从可穿戴装置501通知的信息，则也可以使用所通知的信息(用户的运动信息、手臂动作信息和诸如心率等的生物体信息)作为特征。将这些特征转换成预定范围的数值，并且将这些数值作为特征量供给至输入层的各个神经元。因此，输入层需要包括与所使用的特征量的数量一样多的神经元。

可以改变基于神经网络的判断的输出值，并且可以通过以下要说明的训练处理改变神经元之间的连接权重来将判断结果调整为训练结果。

与是否进行自动摄像有关的判断也根据在图7的步骤S702中所读取的主处理器的启动条件而改变。例如，在通过轻击检测或通过特定语音命令启动主处理器的情况下，由于用户想要在此刻进行摄像，因此进行该操作的可能性高。然后，在这样的情况下，训练神经网络以增加摄像频率。

<摄像方法的判断>

在判断摄像方法时，第一控制单元223基于在步骤S1201～S1204中检测到的照相机的状态和周围被摄体的状态来判断进行静止图像拍摄、运动图像拍摄、连拍和全景摄像中的哪个。例如，在被摄体(人物)保持静止的情况下，进行静止图像拍摄。在被摄体正在移动的情况下，进行运动图像拍摄或连拍。在照相机周围存在多个被摄体的情况下，可以进行用于通过在操作平摇和俯仰驱动的同时对顺次拍摄到的图像进行合成来生成全景图像的全景摄像处理。在基于上述的GPS信息而发现摄像地点是景点的情况下，可以进行用于通过在操作平摇和俯仰驱动的同时对顺次拍摄到的图像进行合成来生成全景图像的全景摄像处理。如在<是否进行自动摄像的判断>部分中所述的判断方法那样，可以通过对在摄像之前检测到的各种类型的信息使用基于神经网络的判断来判断摄像方法。可以通过以下要说明的训练处理来改变判断处理的判断条件。

在步骤S1209中，如果基于步骤S1208的自动摄像判断而判断为要进行自动摄像(步骤S1209中为“是”)，则处理进入步骤S1210。否则(步骤S1209中为“否”)，自动摄像模式处理结束。

在步骤S1210中，第一控制单元223开始自动摄像。这里，第一控制单元223使用步骤S1208中所判断出的摄像方法来开始摄像。这里，第一控制单元223通过使用调焦驱动控制单元204来进行自动调焦控制。第一控制单元223还通过使用未示出的光圈控制单元、传感器增益控制单元和快门控制单元来进行曝光控制，使得被摄体具有适当的亮度。在摄像之后，图像处理单元207进行包括自动白平衡处理、降噪处理和伽马校正处理的各种类型的传统图像处理，以生成图像。如果在摄像时满足预定条件，则照相机可以在进行摄像之前通知摄像对象人物。通知方法例如可以使用来自音频输出单元218的声音和LED控制单元224所产生的LED光。预定条件的示例包括视角内的面部的数量、面部的微笑程度和闭眼程度、人物被摄体的视线角度和面部角度、面部认证ID号、以及个人认证并登记的人物的数量。其它示例包括摄像期间的普通物体识别结果、场景判断结果、从前次摄像起所经过的时间、摄像时刻、基于GPS信息的当前位置是否是景点、摄像期间的声级、以及是否存在说话的人、鼓掌和欢声。其它示例包括振动信息(加速度信息或上述的照相机状态)和环境信息(温度、气压、照度、湿度和UV线量)。通过基于这样的条件进行所通知的摄像，可以在重要场景处记录期望的看着照相机的图像。还可以通过对与拍摄图像有关的信息或在摄像之前检测到的各种类型的信息使用基于神经网络的判断来判断这样的摄像前通知的通知方法和定时。可以通过以下要说明的训练处理来改变判断处理的判断条件。

在步骤S1211中，第一控制单元223进行编辑处理，诸如处理步骤S1210中所生成的图像并将步骤S1210中所生成的图像添加到运动图像等。图像处理的具体示例包括基于人物面部或聚焦位置的裁切处理、图像旋转处理、高动态范围(HDR)效果、模糊效果和颜色转换滤波器效果。可以基于步骤S1210中所生成的图像来生成经过了上述处理的组合的多个图像，并且将这多个图像与上述步骤S1210中所生成的图像分开存储。作为运动图像处理的示例，可以利用幻灯片、缩放和淡入淡出等的特殊效果将所拍摄的运动图像或静止图像添加到先前生成的要编辑的运动图像。还可以通过对与拍摄图像有关的信息或在摄像之前检测到的各种类型的信息使用基于神经网络的判断，判断步骤S1211的编辑处理中的图像处理方法。可以通过以下要说明的训练处理来改变判断处理的判断条件。

在步骤S1212中，第一控制单元223进行用于生成与拍摄图像有关的训练信息的处理。这里，第一控制单元223生成并记录要用于以下要说明的训练处理的信息。该信息的具体示例包括当前拍摄图像的摄像期间的变焦倍率、摄像期间的普通物体识别结果、面部检测结果和拍摄图像中的面部的数量。其它示例包括面部的微笑程度和闭眼程度、面部角度、面部认证ID号、人物被摄体的视线角度、以及场景判断结果。其它示例包括从前次摄像起所经过的时间、摄像时刻、GPS位置信息、相对于前次摄像位置的变化量、摄像期间的声级、以及是否存在说话的人、鼓掌和欢声。其它示例包括振动信息(加速度信息或上述的照相机状态)、环境信息(温度、气压、照度、湿度和UV线量)、运动图像拍摄时间、以及是否存在手动摄像指示。第一控制单元223还计算得分，该得分是与图像中的用户的偏好有关的神经网络的输出的数值表示。

第一控制单元223生成这样的信息并且将该信息作为标签信息记录到拍摄图像文件中。第一控制单元223可以将与拍摄图像有关的信息写入非易失性存储器216中，或者将信息以列表形式作为目录数据存储到记录介质221中。

在步骤S1213中，第一控制单元223更新过去的摄像信息。具体地，过去的摄像信息包括步骤S1208的说明中所述的各区域中拍摄到的图像的数量、个人认证并登记的各人物的拍摄图像数量、通过普通物体识别所识别的各被摄体的拍摄图像数量、以及在通过场景判断所判断出的各场景中拍摄到的图像的数量。第一控制单元223使当前拍摄到的图像所应用于的图像的数量增加1。

<自动编辑模式处理(高亮运动图像)>

接着，将说明根据本典型实施例的自动编辑模式处理(高亮运动图像)。在图7中的步骤S704的模式设置判断中，第一控制单元223判断是否进行自动编辑模式处理(高亮运动图像)。如果判断为要进行自动编辑模式处理，则第一控制单元223进行步骤S712的自动编辑模式处理。

将说明自动编辑模式的判断条件。基于例如从前次自动编辑模式处理起所经过的时间、以及与在上次进行自动编辑模式处理的时间点之后拍摄到的图像有关的训练信息和得分来进行与是否进入自动编辑模式有关的判断。图13示出在步骤S704的模式设置判断处理中所进行的、用于判断是否进入自动编辑模式的处理流程。

在步骤S704的模式设置判断处理中给出用以开始自动编辑模式判断的指示的情况下，开始图13的处理。在步骤S1301中，第一控制单元223获得从前次自动编辑模式处理起的经过时间TimeD。处理进入步骤S1302。在步骤S1302中，第一控制单元223获得与在上次进行自动编辑模式处理的时间点之后拍摄到的图像相对应的训练信息和得分。处理进入步骤S1303。在步骤S1303中，第一控制单元223根据步骤S1302中所获得的多个数据来计算用于判断是否进行自动编辑的评价值DB。评价值DB是通过例如从各图像信息提取图像特征、并且随着特征的类型的数量的增加而增大评价值DB的值来计算的。如结合上述的自动摄像所述，针对图像计算表示用户的偏好的得分。随着得分高的图像的数量增加，评价值DB的值也增大。评价值DB的值还被计算成随着拍摄图像的数量的增加而增大。因而，评价值DB取决于得分、图像的数量和特征的类型。处理进入步骤S1304。在步骤S1304中，第一控制单元223根据经过时间TimeD来计算阈值DA。例如，在经过时间TimeD小于预定值的情况下的阈值DAa被设置成大于在经过时间TimeD大于预定值的情况下的阈值DAb。阈值DA也被设置成随时间的经过而减小。这使得即使存在不多的摄像数据、照相机也能够通过在经过了长时间之后进行自动编辑模式处理来基于使用时间而自动生成高亮运动图像。

在步骤S1304的处理结束之后，处理进入步骤S1305。在步骤S1305中，如果评价值DB大于阈值DA(步骤S1305中为“是”)，则处理进入步骤S1306。这对应于如下的情况：在上次进行自动编辑模式处理的时间点之后成功获得要自动编辑的数据、或者判断为由于经过了长时间而要进行自动编辑模式处理。在步骤S1306中，第一控制单元223将自动编辑模式设置成“真”(TRUE)。自动编辑模式判断结束。在步骤S1305中，如果评价值DB小于或等于阈值DA(步骤S1305中为“否”)，则判断为要自动编辑的数据未准备好，并且处理进入步骤S1307。在步骤S1307中，第一控制单元223将自动编辑模式设置成“假”(FALSE)，使得将不进行自动编辑处理。自动编辑模式判断结束。

接着，将说明自动编辑模式处理(步骤S712)中的处理。图14示出自动编辑模式处理的详细流程图。

在步骤S1401中，第一控制单元223进行用于选择记录介质221中所存储的静止图像和运动图像的处理(图像选择处理)，由此选择要用于编辑的图像。处理进入步骤S1402。

如这里所采用的，图像选择处理包括：按图像提取元数据、将该元数据转换成评价值、以及列出评价值达到或超过预定阈值的图像。元数据的示例包括所拍摄到的静止或运动图像中的面部的数量、面部大小和颜色组。基于以下要说明的训练的结果来决定静止图像和运动图像的选择比率，由此基于用户的设置、摄像频率和各种设置来优先选择图像。

在步骤S1402中，第一控制单元223和图像处理单元207将图像效果应用于步骤S1401中所选择的图像。处理进入步骤S1403。

要应用于静止图像的图像效果的示例包括人物面部或聚焦位置在中心的裁切处理、图像旋转处理、HDR效果、模糊效果、诸如幻灯片、缩放和淡入淡出等的特殊效果处理、以及颜色滤波器效果。

将颜色滤波器效果同样地应用于运动图像。

在步骤S1403中，第一控制单元223设置图像再现时间。这里，第一控制单元223通过使用步骤S1401中所选择的图像，为了生成在步骤S1405中所要说明的高亮运动图像的目的，基于以下要说明的训练的结果来设置适当的图像再现时间。处理进入步骤S1404。

在步骤S1404中，第一控制单元223设置要应用于步骤S1405中所述的高亮运动图像的音乐(背景音乐(BGM))。这里，第一控制单元223基于以下要说明的训练的结果来设置最适合提供给用户的音乐(BGM)。处理进入步骤S1405。

在步骤S1405中，第一控制单元223通过使用步骤S1401～S1404中所进行的处理的结果来生成高亮运动图像。将所生成的高亮运动图像存储在记录介质221中。

可以根据基于神经网络的判断，根据附加至拍摄图像的信息或者在摄像之前检测到的各种信息来判断上述的要选择的图像、要应用的图像效果、再现时间和BGM。可以通过以下要说明的训练处理来改变判断处理的判断条件。

<训练处理>

接着，将说明根据本典型实施例的针对用户偏好的训练。

在本典型实施例中，训练处理单元219通过使用如图15所示的神经网络以及机器学习算法来进行针对用户偏好的训练。神经网络用于根据输入值预测输出值。预先利用实际输入值和针对这些输入值的实际输出值训练神经网络，这使得能够针对新的输入值估计输出值。通过使用神经网络来进行上述的自动摄像、自动编辑和被摄体搜索中的针对用户偏好的训练。

训练处理单元219还登记被摄体(以用于面部认证和普通物体识别)，并且通过训练来修改摄像通知控制、低功耗模式控制和自动文件删除。所登记的被摄体还用作要输入到神经网络的特征数据。

在本典型实施例中，通过训练处理所要学习的元素包括以下：

(1)自动摄像；

(2)自动编辑；

(3)被摄体搜索；

(4)被摄体登记；

(5)摄像通知控制；

(6)低功耗模式控制；

(7)自动文件删除；

(8)图像振动校正；以及

(9)自动图像传送。

<自动摄像>

将说明针对自动摄像的训练。对于自动摄像，训练处理单元219进行训练，使得自动拍摄符合用户的偏好的图像。如以上参考图12的流程图所述，在摄像之后进行训练信息生成处理(步骤S1212)。训练处理单元219利用以下要说明的方法自动选择要学习的图像、即用户有可能偏好的图像，并且基于所选择的图像中所包括的训练信息通过改变权重来训练神经网络。

训练处理单元219通过修改用于判断自动摄像定时的神经网络并且通过修改用于判断摄像方法(静止图像拍摄、运动图像拍摄、连拍或全景摄像)的神经网络，来进行训练。

<自动编辑>

将说明针对自动编辑的训练。为了自动编辑，训练处理单元219针对紧接在图12的步骤S1211中的摄像之后的编辑和图13所述的高亮运动图像的编辑进行训练。

将说明紧接在摄像之后的编辑。训练处理单元219利用以下要说明的方法来自动选择要学习的图像、即用户有可能偏好的图像，并且基于所选择的图像中所包括的训练信息通过改变权重来训练神经网络。训练处理单元219将从摄像期间或紧挨在摄像之前的信息获得的各种类型的检测信息输入到神经网络中，并且判断编辑方法(诸如裁切处理、图像旋转处理、HDR效果、模糊效果和颜色转换滤波器效果等)。

将说明高亮运动图像的编辑。训练处理单元219进行针对高亮运动图像的训练，使得自动创建符合用户的偏好的高亮运动图像。训练处理单元219利用以下要说明的方法来自动选择要学习的图像、即用户有可能偏好的图像，并且基于这些图像中所包括的训练信息通过改变权重来训练神经网络。训练处理单元219将从摄像期间或紧挨在摄像之前的信息获得的各种类型的检测信息输入到神经网络中，并且判断要应用的图像效果(裁切处理、旋转处理、HDR效果、模糊效果、幻灯片、缩放、淡入淡出、颜色转换滤波器效果、BGM、时间、以及静止图像和运动图像的比率)。

<被摄体搜索>

将说明针对被摄体搜索的训练。训练处理单元219进行针对被摄体搜索的训练，使得自动搜索符合用户的偏好的被摄体。如以上参考图12的流程图所述，在被摄体搜索处理(步骤S1204)中，第一控制单元223计算各个区域的重要度级别并且进行平摇、俯仰和变焦驱动以搜索被摄体。训练处理单元219通过改变权重来利用拍摄图像和搜索期间的检测信息而训练神经网络。

第一控制单元223通过将搜索操作期间的各种类型的检测信息输入到神经网络中以判断重要度级别来进行反映了训练的被摄体搜索。除重要度级别的计算以外，第一控制单元223例如还确定平摇和俯仰搜索方法(速度和移动频率)。

<被摄体登录>

将说明针对被摄体登记的训练。训练处理单元219进行针对被摄体登记的训练，使得与用户的偏好一致地自动登记被摄体并对被摄体进行排名。对于训练，训练处理单元219进行例如面部认证登记、普通物体识别登记、姿势和语音识别以及基于声音的场景识别登记。训练处理单元219对人物和普通物体进行认证登记。训练处理单元219基于图像获取的次数或频率、手动摄像的次数或频率以及所搜索的对象的出现频率来设置排名。这些信息被登记为基于神经网络的判断所用的输入。

<摄像通知控制>

将说明针对摄像通知控制的训练。如图12的步骤S1210所述，如果紧挨在摄像之前满足预定条件，则照相机在进行摄像之前通知摄像对象人物。例如，照相机使用从视觉上引导被摄体的视线的平摇/俯仰驱动运动、从音频输出单元218发出的扬声器声音和/或LED控制单元224所产生的LED光。

训练处理单元219基于紧接在通知之后是否获得与被摄体有关的检测信息(诸如微笑程度、眼睛方向和姿势等)来判断是否将检测信息用于训练。训练处理单元219通过改变权重来训练神经网络。

第一控制单元223将紧挨在摄像之前的检测信息输入到神经网络中以判断是否进行通知并判断操作(声音(声级/声音类型/定时)、光(点亮时间、速度)、以及平摇/俯仰运动)。

<低功耗模式控制>

如参考图7和图8所述，控制向主处理器(第一控制单元223)的供电的接通/断开。训练处理单元219进行针对用以从低功耗模式恢复的条件和用以进入低功耗模式的条件的训练。

将说明针对用以解除低功耗模式的条件的训练。

(1)轻击检测

如上所述，通过训练来改变预定时间TimeA和预定阈值ThreshA。在上述的轻击检测的阈值ThreshA下降的状态下进行临时轻击检测。根据临时轻击是否被判断为在轻击检测之前检测到，将参数TimeA和ThreshA设置成便于检测。

如果基于轻击检测之后的照相机检测信息而判断为轻击不是启动原因，则将参数TimeA和ThreshA设置成使检测困难。

(2)振动状态检测

如上所述，通过训练改变预定时间TimeB、预定阈值ThreshB和预定次数CountB。如果振动状态满足启动条件，则启动第一控制单元223。如果基于启动之后的预定时间内的照相机检测信息而判断为振动状态不是启动原因，则训练神经网络以使基于振动状态判断的启动困难。如果判断为大振动下的摄像频率高，则设置神经网络以使基于振动状态判断的启动容易。

(3)声音检测

可以通过用户例如经由与外部装置301的专用应用程序的通信来手动设置特定语音、要检测的特定声音场景或特定声级来进行训练。

还可以通过使用以下的方法来进行训练。预先在音频处理单元214中设置要检测的多个声音。通过使用以下要说明的方法来自动选择要学习的图像(用户有可能偏好的图像)。利用所选择的图像中所包括的摄像之前和之后的声音信息来训练神经网络。将声音(特定声音命令或者诸如“欢声”和“鼓掌”等的声音场景)设置为启动原因。

(4)图像差分检测

如上所述，如果在进入低功耗模式时的周边图像A和在解除判断期间拍摄到的周边图像B之间的图像差分大，则第二控制单元211判断为摄像场景已改变，并且解除低功耗模式。通过训练改变针对图像差分的阈值和要获得图像差分的被摄体的位置。例如，如果判断为图像差分大并且解除低功耗模式、但然后没有拍摄到值得自动摄像的图像，则将针对图像差分的阈值设置成增大，使得不太可能退出低功耗模式。如果判断为解除低功耗模式的持续时间长并且功耗太高，则将针对图像差分的阈值设置成增大，使得不太可能退出低功耗模式。

(5)环境信息检测

可以通过用户例如经由与外部装置301的专用应用程序的通信而手动设置与启动所用的环境信息的变化有关的条件来进行训练。例如，可以基于与温度、气压、亮度、湿度和/或UV线的绝对量或变化有关的特定条件来启动第一控制单元223。

训练处理单元219可以基于各个环境信息来利用判断确定阈值训练神经网络。如果基于由于环境信息引起的启动之后的照相机检测信息而判断为环境信息不是启动原因，则将判断阈值参数设置成使检测困难。

上述参数还随着剩余电池电量而改变。例如，如果剩余电池电量低，则在进行各种判断时不太可能考虑这些参数。如果剩余电池电量高，则在进行各种判断时更有可能考虑这些参数。具体地，振动状态的检测结果和通过声音检测的声音场景的检测结果是不构成用户肯定想要启动照相机的原因的条件。这样的条件进入检测判断的可能性随着剩余电池电量而改变。

用以解除低功耗模式的条件还可以通过对与振动检测、声音检测和时间经过检测有关的信息、各种类型的环境信息和剩余电池电量进行基于神经网络的判断来判断。在这种情况下，训练处理单元219通过使用以下要说明的方法来自动选择要学习的图像，并且基于所选择的图像中所包括的训练信息通过改变权重来训练神经网络。

将说明针对用以进入低功耗模式的条件的训练。如图7所示，如果在步骤S704的模式设置判断中判断为模式设置不是“自动摄像模式”、“自动编辑模式”、“自动图像传送模式”、“训练模式”和“自动文件删除模式”，则摄像设备101进入低功耗模式。以上说明了各个模式的判断条件。也通过训练改变各个模式的判断条件。

(1)自动摄像模式

如上所述，第一控制单元223判断各个区域的重要度级别，并且利用平摇和俯仰驱动进行被摄体搜索以实现自动摄像。如果第一控制单元223判断为不存在要摄像的被摄体，则第一控制单元223解除自动摄像模式。例如，如果所有区域的重要度级别或者这些区域的重要度级别的总值降至预定阈值以下，则第一控制单元223解除自动摄像模式。这里，第一控制单元223基于从转变为自动摄像模式起所经过的时间来减小预定阈值。从转变为自动摄像模式起所经过的时间越长，进入低功耗模式越容易。

可以通过基于剩余电池电量改变预定阈值来进行基于电池寿命的低功耗模式控制。例如，剩余电池电量越低，阈值越高。剩余电池电量越高，阈值越低。第一控制单元223基于从前次转变为自动摄像模式起的经过时间和拍摄图像数量，来将下次解除低功耗模式的条件的参数(经过时间阈值TimeC)设置到子处理器中。

通过训练改变上述阈值。

可以例如经由与外部装置301的专用应用程序的通信而手动设置摄像频率和启动频率来进行训练。

训练处理单元219可被配置为累积从摄像设备101的电源按钮的接通到断开的经过时间的平均值或针对各时间带的分布数据，并且利用参数训练神经网络。在这种情况下，如果用户按短周期接通和断开摄像设备100的电源，则训练神经网络，以缩短从低功耗模式恢复和进入低功耗模式的时间间隔。如果用户按长周期接通和断开摄像设备100的电源，则训练神经网络以延长这些间隔。

还利用搜索期间的检测信息训练神经网络。如果判断为通过训练设置成重要的被摄体的数量大，则训练神经网络，以缩短从低功耗模式恢复和进入低功耗模式的时间间隔。如果重要被摄体的数量小，则训练神经网络，以延长这些间隔。

<自动文件删除>

将说明针对自动文件删除的训练。训练处理单元219在空闲文件空间和要以更高优先级删除的图像的选择方面进行针对自动文件删除的训练。通过使用以下要说明的方法，用户基于外部装置301所获得的图像的拍摄日期和时间以及所获得的通过自动编辑生成的运动图像(高亮运动图像)的编辑内容来选择要删除的图像。然后，训练处理单元219利用所选择的要删除的图像来训练神经网络。例如，如果所获得的高亮运动图像包括按短时间间隔拍摄的大量图像，则训练神经网络，以按更高优先级删除在较早的日期和时间拍摄的文件。如果高亮运动图像包括按长时间间隔拍摄的图像，则训练神经网络，使得即使日期和时间较早也不删除得分高的文件。

在其它示例中，如果训练神经网络以增加摄像频率，则自动删除文件以增加空闲文件空间。如果训练神经网络以降低摄像频率，则自动删除文件以留下较少的空闲文件空间。

在其它示例中，如果训练神经网络以增加运动图像拍摄的频率，则自动删除文件以增加空闲文件空间。如果训练神经网络以增加静止图像拍摄的频率，则自动删除文件以留下较少的空闲文件空间。

<图像振动校正>

将说明针对图像振动校正的训练。通过在图12的步骤S1202中计算校正量、并且在步骤S1205中基于这些校正量驱动俯仰转动单元104和平摇转动单元105，来进行图像振动校正。训练处理单元219进行针对图像振动校正的训练，使得基于用户的振动特征来进行校正。

可以例如通过估计点扩散函数(PSF)来估计拍摄图像中的照相机抖动的方向和大小。在图12的步骤S1212的训练信息生成处理中，将所估计的照相机抖动的方向和大小作为信息添加到图像。

在图7的步骤S716的训练模式处理中，训练处理单元219以所估计的照相机抖动的方向和大小作为输出，利用摄像期间的检测信息(与摄像之前的预定时间内的图像有关的运动矢量信息)训练振动校正所用的神经网络。训练处理单元219还利用与所检测到的被摄体(人或普通物体)有关的运动信息以振动信息(陀螺仪输出、加速度输出和上述照相机状态)作为输入，通过改变权重来训练振动校正所用的神经网络。判断输入还可以包括环境信息(温度、气压、照度和湿度)、声音信息(声音场景判断、特定语音检测和声级变化)、时间信息(从启动起的经过时间和从前次摄像起的经过时间)、以及位置信息(GPS位置信息以及位置和移动的变化量)。

在步骤S1202中计算图像振动校正量时，可以通过将上述检测信息输入到神经网络中来估计摄像瞬时的照相机抖动的大小。如果所估计的照相机抖动大小大，则第一控制单元223可以进行控制以增大快门速度。如果所估计的照相机抖动大小大，则可以禁用摄像以避免模糊图像。

由于平摇和俯仰驱动角度受到限制，因此一旦到达驱动末端，则进一步的校正变得不可用。然而，可以通过估计摄像期间的照相机抖动的大小和方向来估计用于在曝光期间进行振动校正的所需的平摇和俯仰驱动范围。如果在曝光期间可移动范围的余量并不多，则可以通过增大用于计算图像振动校正量的滤波器的截止频率来抑制大的照相机抖动，使得不超过可移动范围。如果有可能超过可移动范围，则可以通过紧挨在曝光之前使平摇和俯仰角度在与有可能超过可移动范围的方向相反的方向上转动、然后利用足够的可移动范围开始曝光，来进行无照相机抖动的摄像。

以这种方式，可以根据用户在摄像期间的特征和用途来针对振动校正训练神经网络。因而，可以防止拍摄图像变模糊。

在上述的摄像方法的判断中，第一控制单元223可以判断是否进行摇摄、使得移动被摄体表现为无模糊并且静止背景表现为经过，并且基于摄像之前的检测信息来进行被摄体模糊校正。第一控制单元223根据摄像之前的检测信息来估计用于无模糊地拍摄被摄体的平摇和俯仰驱动速度，并且进行被摄体模糊校正。在这种情况下，通过将上述检测信息输入到预先训练的神经网络中来估计驱动速度。

为了训练神经网络，第一控制单元223将图像划分成块并且估计各个块的PSF，以估计包括了主被摄体的块中的模糊的方向和大小。基于该信息，训练处理单元219可以训练神经网络。

可以从与用户所选择的图像有关的信息学习背景平移量。在这种情况下，第一控制单元223估计不包括主被摄体的块中的模糊的大小。可以基于该信息来学习用户的偏好。第一控制单元223可以基于所学习的偏好的背景平移量来设置摄像期间的快门速度，由此可以自动拍摄具有符合用户偏好的摇摄效果的图像。

<自动图像传送>

将说明针对自动图像传送的训练。对于自动图像传送，训练处理单元219关于在记录介质221上所记录的图像中对要以更高优先级传送的图像的选择以及关于传送频率进行训练。训练处理单元219通过使用以下要说明的方法来自动选择要学习的图像(用户有可能偏好的图像)。训练处理单元219可以基于所选择的图像中所包括的训练信息通过改变权重来训练神经网络。如以上结合自动摄像所述，针对各个图像计算表示用户的偏好的得分。以更高优先级传送得分更高的图像。

与过去传送的图像相对应的训练信息也用于图像传送判断并且也通过训练来改变。假定用户通过使用以下要说明的方法选择要学习的图像、并且设置要重视图像中所包括的哪个训练信息(特征量)。如果过去传送的许多图像包括相同的特征量，则训练处理单元219进行设置，使得传送包括其它特征量且得分高的图像。

图像传送频率也根据照相机的各种状态而改变。

图像传送频率随着剩余电池电量而改变。例如，剩余电池电量越低，设置成传送图像的频率越低。剩余电池电量越高，设置成传送图像的频率越高。具体地，例如，可以通过配置神经网络、以将从上次自动传送起所经过的时间乘以在该经过时间内拍摄的图像的得分中的最高得分并且在乘积超过阈值的情况下传送图像，来实现图像传送频率的这种变化。然后，基于剩余电池电量来改变阈值。

在其它示例中，摄像设备101基于所设置的摄像频率来改变自动图像传送的频率。如果训练神经网络以增加摄像频率，则自动图像传送的频率也被设置成增加。如果训练神经网络以降低摄像频率，则自动图像传送的频率也被设置成降低。可以通过根据摄像频率改变上述阈值来改变基于摄像频率的设置的图像传送频率。

在其它示例中，基于(记录介质221上的)文件空闲空间来改变自动图像传送的频率。文件空闲空间越大，自动图像传送的频率被设置得越低。文件可用空间越小，自动图像传送的频率被设置得越高。可以通过根据文件空闲空间改变上述阈值来改变基于文件空闲空间的图像传送频率。

接着，将说明训练方法。可能的训练方法包括针对“照相机内的训练”的训练方法和针对“与通信装置协作的训练”的训练方法。

将说明照相机内训练的方法。根据本典型实施例的照相机内训练的方法包括以下：

(1)利用手动摄像期间的检测信息的训练；以及

(2)利用被摄体搜索期间的检测信息的训练。

<利用手动摄像期间的检测信息的训练>

如图12的步骤S1207～S1213所述，在本典型实施例中，摄像设备101可以进行手动摄像和自动摄像这两个类型的摄像。如果在步骤S1207中存在手动摄像指示(如上所述，包括三个判断)，则在步骤S1212中，将表示图像是手动拍摄图像的信息附加到拍摄图像。如果在步骤S1209中判断为要进行自动摄像，则在步骤S1212中，将表示图像是自动拍摄图像的信息附加到拍摄图像。

在手动摄像的情况下，拍摄图像极有可能是基于用户偏好的被摄体、场景、位置和/或时间间隔所拍摄到的图像。然后，训练处理单元219基于在手动摄像期间获得的特征数据和与拍摄图像有关的训练信息来进行训练。

训练处理单元219还基于手动摄像期间的检测信息，来关于拍摄图像中的特征量的提取、个人认证的登记、各人物的表情的登记以及人物的组合的登记来进行训练。训练处理单元219还基于被摄体搜索期间的检测信息(例如，基于个人认证并登记的被摄体的表情)来进行用以改变附近的人物和普通物体的重要性的训练。

<利用被摄体搜索期间的检测信息的训练>

在被摄体搜索操作期间，第一控制单元223判断个人认证并登记的被摄体是连同什么人物、普通物体和场景一起拍摄到的，并且计算在相同视角内连同人物、普通物体和场景一起同时拍摄个人认证并登记的被摄体的时间比率。

例如，第一控制单元223计算作为个人认证并登记的被摄体的人物A连同作为个人认证并登记的被摄体的人物B一起被拍摄的时间比率。然后，第一控制单元223将各种类型的检测信息存储为训练数据，使得如果人物A和B落在视角内，则用于自动摄像判断的得分增加。然后，训练处理单元219在步骤S716的训练模式处理中进行训练。

在其它示例中，第一控制单元223计算作为个人认证并登记的被摄体的人物A连同通过普通物体识别所判断出的被摄体“猫”一起被拍摄的时间比率。然后，第一控制单元223将各种类型的检测信息存储为训练数据，使得如果人物A和“猫”落在视角内，则针对自动摄像判断的得分增加。然后，训练处理单元219在步骤S716的训练模式处理中进行训练。

在另外的其它示例中，通过检测作为个人认证并登记的被摄体的人物A的微笑程度或表情而检测到“快乐”或“惊喜”。在这种情况下，训练处理单元219训练神经网络，使得在存在人物A的状态下所拍摄的被摄体的重要性高。如果检测到诸如“愤怒”和“绷着脸”等的表情，则由于在存在人物A的状态下所拍摄的被摄体不太可能重要，因此训练处理单元219进行不进行训练的处理。

接着，将说明根据本典型实施例的与外部通信装置协作的训练。根据本典型实施例的用于与外部通信装置协作的训练的方法包括以下：

(1)基于外部通信装置获取图像的训练；

(2)基于经由外部通信装置针对图像输入判断值的训练；

(3)基于对外部通信装置中所存储的图像的分析的训练；

(4)基于外部通信装置上传到社交网络服务(SNS)服务器的信息的训练；

(5)基于外部通信装置改变照相机参数的训练；以及

(6)基于与外部通信装置手动编辑图像有关的信息的训练。

<基于利用外部通信装置获取图像的训练>

如图3所述，摄像设备101和外部装置301包括用于通信302和303的通信单元。主要通过通信302来发送和接收图像。外部装置301可以经由外部装置301中的专用应用程序通过通信获得摄像设备101中的图像。可以经由外部装置301中的专用应用程序浏览摄像设备101中所存储的图像数据的缩略图图像。利用这样的结构，用户可以从缩略图图像中选择他/她喜欢的图像，确认这些图像，并且发出图像获取指示以将图像获取到外部装置301中。

由于图像是由用户选择和获取到的，因此所获取到的图像极有可能是用户偏好的图像。因而，判断为所获取到的图像是要学习的图像，并且基于与所获取到的图像有关的训练信息来进行训练。这样，可以进行针对用户的偏好的各种类型的训练。

将说明操作示例。

图19示出在用户正经由作为智能装置的外部装置301中的专用应用程序浏览摄像设备101中的图像的情况下的显示示例。将照相机中所存储的图像数据的缩略图图像1904～1909显示在显示单元407上，并且用户可以选择并获取他/她喜欢的图像。提供用于改变显示方法的显示方法改变部1901、1902和1903。如果按下显示方法改变部1901，则显示方法改变为日期和时间优先显示模式，其中在该日期和时间优先显示模式中，将缩略图图像按摄像设备101中的图像的拍摄日期和时间的顺序显示在显示单元407上。例如，缩略图图像1904显示有较新的日期和时间，并且缩略图图像1909显示有较早的日期和时间。如果按下显示方法改变部1902，则显示方法改变为推荐图像优先显示模式。基于在图12的步骤S1212中所计算的根据用户在图像中的偏好所判断出的得分，将缩略图图像按摄像设备101中的图像的得分的降序显示在显示单元407上。例如，缩略图图像1904显示有较高得分，并且缩略图图像1909显示有较低得分。如果按下显示方法改变部1903，则用户可以指定人物或普通物体。然后，如果指定了特定人物或普通物体，则可以仅显示包括特定被摄体的图像的缩略图图像。

可以将显示方法改变部1901～1903同时设置成开启。例如，如果所有的显示方法改变部1901～1903都设置成开启，则通过优先日期和时间较新的图像并且优先得分较高的图像，仅显示包括指定被摄体的图像的缩略图图像。

由于学习了拍摄图像中的用户偏好，因此可以通过简单的确认操作来从大量拍摄图像中容易地提取仅用户偏好的图像。

<基于经由外部通信装置针对图像输入判断值的训练>

如上所述，摄像设备101和外部装置301包括通信单元，并且被配置成可以经由外部装置301中的专用应用程序来浏览摄像设备101中所存储的图像。摄像设备101和外部装置301可被配置成用户向图像分配得分。摄像设备101和外部装置301被配置成：用户可以将高得分(例如，五个点)分配给他/她喜欢的图像，并且将低得分(例如，一个点)分配给他/她不喜欢的图像，并且照相机基于用户操作来学习得分。在照相机中将图像的得分连同训练信息一起用于再训练。输入了从所指定的图像信息所提取的特征数据的神经网络被训练为提供更接近用户所指定的得分的输出。

在本典型实施例中，外部装置301被配置成用户经由外部装置301针对拍摄图像输入判断值。可选地，摄像设备101可被配置成用户操作摄像设备101以针对图像直接输入判断值。在这种情况下，例如，摄像设备101包括触摸面板显示器，并且用户按下触摸面板显示器的画面显示单元上所显示的图形用户界面(GUI)按钮以设置用于显示拍摄图像的模式。可以通过用户确认拍摄图像并针对各个图像输入判断值来进行相同的训练。

<基于分析外部通信装置中所存储的图像的训练>

外部装置301包括存储单元404。存储单元404被配置为还记录除摄像设备101所拍摄到的图像以外的图像。由于外部装置301中所存储的图像可以由用户容易地浏览并且可以经由公共线路控制单元406被容易地上传到共享服务器，因此图像极有可能包括大量用户偏好的图像。

外部装置301被配置成控制单元411可以经由专用应用程序对存储单元404中所存储的图像进行与摄像设备101中的训练处理单元219的训练处理同样的训练处理。外部装置301可被配置为将处理后的训练数据通信至摄像设备101以进行训练。外部装置301可被配置为将要学习的图像或数据发送至摄像设备101，使得摄像设备101在内部进行训练。

外部装置301可被配置成用户经由专用应用程序从存储单元404中所存储的图像中选择要学习的图像，并且进行训练。

<基于外部通信装置上传至SNS服务器的信息的训练>

将说明用于将SNS上的信息用于训练的方法。SNS是可以构建强调人之间的联系的社交网络的服务或网站。存在用于在向SNS上传图像时、从智能装置输入与图像有关的标签并将该标签连同图像一起发送的技术。还存在用于针对其它用户上传的图像输入喜欢或不喜欢的技术。可以判断其它用户所上传的图像是否是拥有外部装置301的用户偏好的照片。

下载到外部装置301的专用SNS应用程序可以获得如上所述由用户他/她自己上传的图像和与这些图像有关的信息。如果用户输入他/她是否喜欢其它用户上传的图像，则SNS应用程序还可以获得用户偏好的图像和标签信息。SNS应用程序被配置为能够分析这样的图像和标签信息，并且将如此得到的结果设置到摄像设备101中以进行训练。

外部装置301被配置成：控制单元411可以获得如上所述由用户上传的图像和用户判断为他/她喜欢的图像，并且进行与摄像设备101中的训练处理单元219的训练处理同样的训练处理。外部装置301可被配置为将处理后的训练数据通信至摄像设备101以进行训练。外部装置301可被配置为将要学习的图像发送至摄像设备101，使得摄像设备101在内部进行训练。

外部装置301进行训练，以基于标签信息和SNS所提供的图像滤波器来改变图7中的步骤S712的自动编辑模式处理和图12中的步骤S1211的编辑处理中的颜色转换滤波器效果。

摄像设备101可以根据标签信息中所设置的被摄体信息(例如，诸如狗和猫等的普通物体信息、诸如海滩等的场景信息、以及诸如微笑等的表情信息)来估计用户有可能偏好的被摄体。然后，外部装置301进行将所估计的被摄体登记为要输入至神经网络的要检测的被摄体的训练。

外部装置301可被配置为能够根据SNS标签信息(图像滤波器信息和被摄体信息)的统计来估计当前世界中普遍存在的图像信息，并且将所估计的图像信息设置到摄像设备101中以进行训练。

<基于利用外部通信装置改变照相机参数的训练>

如上所述，摄像设备101和外部装置301包括通信单元。可以将摄像设备101中当前设置的训练参数(诸如神经网络的权重和要输入至神经网络的被摄体的选择等)通信至外部装置301并存储在外部装置301的存储单元404中。摄像设备101和外部装置301被配置成：外部装置301中的专用应用程序可以经由公共线路控制单元406获得专用服务器中所设置的训练参数，并且将所获得的训练参数设置为摄像设备101中的训练参数。由此，可以将某时间点的训练参数存储在外部装置301中，然后设置到摄像设备101中以进行恢复。可以经由专用服务器获得其它用户的训练参数，并且将这些参数设置到自身的摄像设备101中。

外部装置301可被配置成用户可以经由外部装置301的专用应用程序来登记语音命令、认证信息和/或手势。还可以登记重要地点。这种信息被处理为针对结合通过自动摄像判断而触发摄像的自动摄像模式处理(图12)所述的情况的输入数据。

外部装置301可被配置成能够设置摄像频率、启动间隔、静止图像和运动图像的比率以及喜欢的图像，由此可以设置在<低功耗模式控制>部分中所述的启动间隔以及在<自动编辑>部分中所述的静止图像和运动图像的比率。

<基于与利用外部通信装置手动编辑图像有关的信息的训练>

外部装置301的专用应用程序可以具有能够基于用户的操作进行手动编辑的功能，并且编辑操作的内容可被反馈给训练。

例如，可以进行应用图像效果的编辑(裁切处理、旋转处理、幻灯片、缩放、淡入淡出、颜色转换滤波器效果、时间、静止图像和运动图像的比率、以及BGM)。训练自动编辑所用的神经网络，以基于与图像有关的训练信息来判断手动编辑的图像效果的应用。

接着，将说明训练处理序列。

在图7的步骤S704中的模式设置判断中，第一控制单元223判断是否进行训练处理。如果判断为要进行训练处理，则判断为模式设置是训练模式。在步骤S716中，第一控制单元223进行训练模式处理。

将说明训练模式的判断条件。根据从前次训练处理起所经过的时间、可用于训练的信息数、以及经由外部装置301是否给出了训练处理指示，判断是否进入训练模式。图17示出用于在步骤S704的模式设置判断处理中判断是否进入训练模式的判断处理流程。

在步骤S704的模式设置判断处理中给出用以开始训练模式判断的指示时，图17的处理开始。在步骤S1701中，第一控制单元223判断是否存在来自外部装置301的登记指示。这里，第一控制单元223判断是否存在诸如上述的<基于利用外部通信装置获取图像的训练>和<基于经由外部通信装置针对图像输入判断值的训练>等的用于进行训练的登记指示。第一控制单元223还判断是否存在诸如<基于分析外部通信装置中所存储的图像的训练>等的用于进行训练的登记指示。在步骤S1701中，如果存在来自外部装置301的登记指示(步骤S1701中为“是”)，则处理进入步骤S1708。在步骤S1708中，第一控制单元223将训练模式设置成“真”，并且进行设置以进行步骤S716的处理。如果在步骤S1701中不存在来自外部装置301的登记指示(步骤S1701中为“否”)，则处理进入步骤S1702。在步骤S1702中，第一控制单元223判断是否存在来自外部装置301的训练指示。这里，如<基于利用外部通信装置改变照相机参数的训练>那样，第一控制单元223判断是否给出了用以设置训练参数的训练指示。在步骤S1702中，如果存在来自外部装置301的训练指示(步骤S1702中为“是”)，则处理进入步骤S1708。在步骤S1708中，第一控制单元223将训练模式设置成“真”，并且进行设置以进行步骤S716的处理。训练模式判断处理结束。如果在步骤S1702中不存在来自外部装置301的训练指示(步骤S1702中为“否”)，则处理进入步骤S1703。

在步骤S1703中，第一控制单元223获得从前次训练处理(神经网络权重的重新计算)起的经过时间TimeN。处理进入步骤S1704。在步骤S1704中，第一控制单元223获得要学习的新数据的数量DN(被指定为在从前次训练处理起的经过时间TimeN内要学习的图像的数量)。处理进入步骤S1705。在步骤S1705中，第一控制单元223根据经过时间TimeN计算阈值DT。例如，在经过时间TimeN小于预定值时的阈值DTa被设置成大于在经过时间TimeN大于预定值时的阈值DTb。阈值DT也被设置成随时间的经过而减小。因而，即使训练数据并不多，也在经过了长时间之后再次进行训练，从而便于基于使用时间训练和改变照相机。

在步骤S1705中计算阈值DT之后，处理进入步骤S1706。在步骤S1706中，第一控制单元223判断要学习的数据的数量DN是否大于阈值DT。如果数据的数量DN大于阈值DT(步骤S1706中为“是”)，则处理进入步骤S1707。在步骤S1707中，第一控制单元223将数据的数量DN设置为0。处理进入步骤S1708。在步骤S1708中，第一控制单元223将训练模式设置成“真”，并且进行设置以进行步骤S716的处理。训练模式判断处理结束。

在步骤S1706中，如果数据的数量DN小于或等于阈值DT(步骤S1706中为“否”)，则处理进入步骤S1709。在步骤S1709中，由于不存在来自外部装置301的登记指示、不存在来自外部装置301的训练指示、并且训练数据的数量DN小于或等于预定值，因此第一控制单元223将训练模式设置成“假”并且进行设置以不进行步骤S716的处理。训练模式判断处理结束。

接着，将说明训练模式处理(步骤S716)中的处理。图18示出训练模式处理的详细流程图。

如果在图7的步骤S715中判断为模式设置是训练模式(步骤S715中为“是”)，则处理进入步骤S716，并且图18的处理开始。在步骤S1801中，第一控制单元223判断是否存在来自外部装置301的登记指示。在步骤S1801中，如果存在来自外部装置301的登记指示(步骤S1801中为“是”)，则处理进入步骤S1802。在步骤S1802中，第一控制单元223进行各种类型的登记处理。

各种类型的登记处理包括要输入到神经网络的特征的登记，诸如面部认证的登记、普通物体登记的登记、声音信息的登记和位置信息的登记等。

在登记处理结束之后，处理进入步骤S1803。在步骤S1803中，第一控制单元223基于步骤S1802中所登记的信息来改变要输入到神经网络的元素。

在步骤S1803的处理结束之后，处理进入步骤S1807。如果在步骤S1801中不存在来自外部装置301的登记指示(步骤S1801中为“否”)，则处理进入步骤S1804。在步骤S1804中，第一控制单元223判断是否存在来自外部装置301的训练指示。如果存在来自外部装置301的训练指示(步骤S1804中为“是”)，则处理进入步骤S1805。在步骤S1805中，第一控制单元223将从外部装置301通信的训练参数(神经网络权重)设置到各个分类器中。处理进入步骤S1807。

在步骤S1804中，如果不存在来自外部装置301的训练指示(步骤S1804中为“否”)，则处理进入步骤S1806。在步骤S1806中，训练处理单元219进行训练(神经网络权重的重新计算)。如参考图17所述，在要学习的数据的数量DN超过阈值DT并且可以再训练分类器的条件下，处理进行到步骤S1806。通过反向传播或随机梯度下降来再训练神经网络，由此重新计算神经网络权重并改变分类器的参数。在设置训练参数之后，处理进入步骤S1807。

在步骤S1807中，第一控制单元223再次将得分分配给文件中的图像。在本典型实施例中，第一控制单元223被配置为基于训练结果来向文件(记录介质221)中所存储的所有拍摄图像分配得分，然后基于所分配的得分来进行自动编辑和/或自动文件删除。如果进行再训练或者从外部装置301设置训练参数，则由此还需要更新拍摄图像的得分。在步骤S1807中，第一控制单元223然后进行重新计算以将新的得分分配给文件中所存储的拍摄图像。在处理结束之后，训练模式处理结束。

在本典型实施例中，提供了用于通过提取用户有可能偏好的场景、学习该场景的特征、并且将这些特征反映在诸如自动摄像和自动编辑等的照相机操作上来建议符合用户的偏好的视频图像的方法。然而，本公开不限于这样的应用。例如，本公开的典型实施例可用于故意建议不符合用户自身的偏好的视频图像。以下说明实现方法的示例。

<使用利用偏好训练的神经网络的方法>

如上所述利用用户的偏好训练神经网络。如果在自动摄像模式处理的步骤S1208中、神经网络的输出值具有表示与作为教学数据的用户偏好的差分的值，则进行自动摄像。例如，假定如果在以用户偏好的图像作为教学图像的情况下观察到与教学图像的特征类似的特征，则训练神经网络以输出高值。在这种情况下，如果输出值反而低于或等于预定值，则进行自动摄像。同样，如果神经网络的输出值具有表示与作为教学数据的用户偏好的差分的值，则进行被摄体搜索处理和自动编辑处理。

<使用针对不符合偏好的情形所训练的神经网络的方法>

在该方法中，在训练处理期间利用不符合用户的偏好的情形作为教学数据来训练神经网络。例如，在上述训练方法中，由于手动拍摄的图像是用户按照偏好所拍摄的场景，因此使用这样的图像作为教学数据。相反，在本示例中，不使用手动拍摄的图像作为教学数据。作为代替，添加在预定时间以上内未被手动拍摄的场景作为教学数据。可选地，如果教学数据包括具有与手动拍摄的图像的特征类似的特征的场景，则可以从教学数据中删除这样的场景。可以将具有与外部通信装置所获得的图像的特征不同的特征的图像添加到教学数据。可以从教学数据中删除具有与获得的图像的特征类似的特征的图像。以这种方式，不符合用户的偏好的数据被累积到教学数据中，并且所训练的神经网络可以对不符合用户的偏好的情形进行分类。在自动摄像中，可以基于神经网络的输出值通过摄像拍摄不符合用户的偏好的场景。在自动编辑中，可以同样建议不符合用户的偏好的编辑图像。

如上所述，通过故意建议不符合用户自身的偏好的视频图像，在用户倾向于错过手动拍摄的场景处拍摄图像。这可以提供减少场景遗漏的效果。建议用户他/她自身所想不到的场景的拍摄和编辑效果也可以提供激励用户并扩展偏好范围的效果。

组合上述方式使得能够建议与用户偏好在一定程度上类似且部分不同的情形。这便于调整与用户偏好的匹配程度。可以基于模式设置、各种传感器的状态和/或检测信息的状态来改变与用户的偏好的匹配程度。

在本典型实施例中，训练被描述为在摄像设备101内进行。然而，通过向外部装置301提供训练处理能力、将训练所需的数据通信至外部装置301、并且仅在外部装置301中进行训练，可以实现同样的训练效果。在这种情况下，如在上述的<基于利用外部通信装置改变照相机参数的训练>部分中所述，可以将诸如外部装置301所训练的神经网络的权重等的参数通信并设置到摄像设备101以进行训练。

摄像设备101和外部装置301这两者都可以配备有训练处理能力。例如，外部装置301可以在摄像设备101在内部进行步骤S716的训练模式处理的定时将其自身的训练信息通信至摄像设备101，并且可以合并训练参数以进行训练。

本公开的典型实施例不限于利用数字照相机或数字摄像机的摄像，并且可以在诸如监视照相机、web照相机和移动电话等的摄像设备上实现。

根据本公开的典型实施例，可以提供可以高效地检测场景变化的摄像设备和用于控制该摄像设备的方法。

在整个本公开中所述的单元是用于实现本公开所述的处理的典型和/或优选模块。如本文所使用的，术语“单元”可以通常指代用于实现目的的固件、软件、硬件、或其它组件(诸如电路等)、或者它们的任何组合。这些模块可以是硬件单元(诸如电路、固件、现场可编程门阵列、数字信号处理器或专用集成电路等)和/或软件模块(诸如计算机可读程序等)。以上并未穷尽地描述用于实现各种步骤的模块。然而，在存在用于进行特定处理的步骤的情况下，可以存在用于实现相同处理的相应功能模块或单元(由硬件和/或软件实现)。通过所述的步骤和与这些步骤相对应的单元的所有组合的技术解决方案都包括在本公开中。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (22)

1.一种摄像设备，包括：

摄像单元，其被配置为拍摄图像；

生成单元，其被配置为对所述摄像单元在正在改变摄像方向时拍摄到的多个第一图像进行合成，以生成与所述多个第一图像各自的摄像范围相比更宽范围的全景图像；

存储单元，其被配置为存储所述生成单元所生成的全景图像；以及

检测单元，其被配置为将所存储的全景图像和所述摄像单元所拍摄到的第二图像进行比较，并且基于比较结果来检测场景的变化。

2.根据权利要求1所述的摄像设备，其中，所述检测单元被配置为将所述摄像单元所拍摄到的第二图像和所存储的全景图像进行比较，并且在所述比较结果表示图像之间的差分大于预定阈值的情况下，判断为所述场景改变。

3.根据权利要求1所述的摄像设备，还包括确定单元，所述确定单元被配置为存储所存储的全景图像中所包括的特征被摄体的方向，并且基于所存储的特征被摄体的方向来确定所述摄像单元拍摄图像的方向。

4.一种摄像设备，其具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括：

摄像单元，其被配置为拍摄图像；

生成单元，其被配置为基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；

控制单元，其被配置为使所述摄像单元在所述第二模式下拍摄图像，将在所述第二模式下所拍摄到的图像和在所述第一模式下生成的全景图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

5.根据权利要求4所述的摄像设备，其中，所述控制单元被配置为将所述摄像单元在所述第二模式下所拍摄到的图像和根据所述摄像单元在所述第一模式下在正在改变摄像方向时拍摄到的多个图像而生成的全景图像进行比较，并且在比较结果表示图像之间的差分大于预定阈值的情况下，解除所述第二模式。

6.根据权利要求5所述的摄像设备，其中，所述控制单元被配置为基于差分信息和与在解除所述第二模式之后是否进行摄像有关的信息来进行训练，并且基于训练结果来改变所述预定阈值，其中，所述差分信息是所述摄像单元在所述第二模式下所拍摄到的图像和根据所述摄像单元在所述第一模式下在正在改变摄像方向时拍摄到的多个图像而生成的全景图像之间的差分信息。

7.根据权利要求4所述的摄像设备，还包括确定单元，所述确定单元被配置为存储所存储的全景图像中所包括的特征被摄体的方向，并且基于所存储的特征被摄体的方向来确定所述摄像单元拍摄图像的方向。

8.根据权利要求4所述的摄像设备，其中，所述第一模式包括摄像待机模式。

9.根据权利要求4所述的摄像设备，其中，在所述第二模式下，停止或暂停向图像传感器的供电。

10.根据权利要求4所述的摄像设备，其中，所述控制单元被配置为在检测到预定振动的情况、检测到预定声音的情况和经过了预定时间的情况中的至少任一情况下，控制是否解除所述第二模式。

11.一种摄像设备，其具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括：

摄像单元，其被配置为拍摄图像；以及

控制单元，其被配置为控制是否解除所述第二模式，

其中，所述摄像单元被配置为响应于从所述第一模式至所述第二模式的转变，在改变摄像方向时拍摄多个图像；以及

所述控制单元被配置为将所述摄像单元在所述第二模式下拍摄到的图像和所述摄像单元响应于从所述第一模式至所述第二模式的转变而拍摄到的图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

12.根据权利要求11所述的摄像设备，其中，所述控制单元被配置为基于所述比较结果，在图像之间的差分大于预定阈值的情况下，判断为场景改变并且解除所述第二模式，以及在图像之间的差分小于或等于所述预定阈值的情况下，维持所述第二模式。

13.根据权利要求11所述的摄像设备，其中，所述控制单元被配置为将所述多个图像合成为全景图像，并且将所述摄像单元在所述第二模式下所拍摄到的图像和所述全景图像进行比较。

14.根据权利要求11所述的摄像设备，其中，

所述多个图像是所述摄像设备的附近的拍摄图像，以及

所述控制单元被配置为在将所述摄像单元在所述第二模式下所拍摄到的图像和所述多个图像进行比较时，基于摄像期间的方位信息来将所述摄像单元在所述第二模式下所拍摄到的图像和所述多个图像中的对应部分进行比较。

15.根据权利要求11所述的摄像设备，其中，在拍摄所述多个图像时存储所述摄像设备的附近所存在的特征被摄体的方向，并且基于所存储的特征被摄体的方向和所述摄像设备正在面向的当前方向来确定所述摄像单元在所述第二模式下拍摄图像的方向。

16.根据权利要求11所述的摄像设备，其中，所述第一模式包括摄像待机模式。

17.根据权利要求11所述的摄像设备，其中，在所述第二模式下，停止或暂停向图像传感器的供电。

18.根据权利要求11所述的摄像设备，其中，所述控制单元被配置为在检测到预定振动的情况、检测到预定声音的情况和经过了预定时间的情况中的至少任一情况下，控制是否解除所述第二模式。

19.一种摄像设备的控制方法，所述摄像设备包括被配置为拍摄图像的摄像单元，所述控制方法包括：

对所述摄像单元在正在改变摄像方向时拍摄到的多个第一图像进行合成，以生成与所述多个第一图像各自的摄像范围相比更宽范围的全景图像；

存储所生成的全景图像；以及

将所存储的全景图像和所述摄像单元所拍摄到的第二图像进行比较，并且基于比较结果来检测场景的变化。

20.一种摄像设备的控制方法，所述摄像设备具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括被配置为拍摄图像的摄像单元，所述控制方法包括：

基于所述摄像单元在正在改变摄像方向时拍摄到的多个图像来合成图像，以生成与各图像的摄像范围相比更宽范围的全景图像；以及

使所述摄像单元在所述第二模式下拍摄图像，将在所述第二模式下所拍摄到的图像和在所述第一模式下生成的全景图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

21.一种摄像设备的控制方法，所述摄像设备具有第一模式和与所述第一模式相比功耗降低的第二模式，所述摄像设备包括被配置为拍摄图像的摄像单元，所述控制方法包括：

控制是否解除所述第二模式，

其中，比较所述摄像单元在所述第二模式下拍摄到的图像和响应于从所述第一模式至所述第二模式的转变而在正在改变摄像方向时拍摄到的多个图像进行比较，并且基于比较结果来控制是否解除所述第二模式。

22.一种计算机可读存储介质，其存储用于使计算机进行根据权利要求19至21中任一项所述的控制方法的程序。

Images