CN111294488A - 摄像设备及其控制方法和存储介质 - Google Patents

Abstract

本发明涉及一种摄像设备及其控制方法和存储介质。所述摄像设备包括：摄像部件，用于拍摄被摄体图像；确定部件，用于在所述摄像部件所拍摄到的图像数据中确定用以搜索被摄体的区域；变焦部件，用于改变所述摄像部件的拍摄视角；以及控制部件，用于执行控制，使得在所述确定部件确定了用以搜索被摄体的区域的情况下，所述变焦部件将所述摄像部件的拍摄视角改变到广角侧。

Description

摄像设备及其控制方法和存储介质

技术领域

本发明涉及摄像设备中的自动拍摄技术。

背景技术

已知有在无需来自用户的拍摄指示的情况下定期进行连拍的生活记录照相机(lifelogging camera)(日本特开2016-536868)。生活记录照相机在用带等贴附至用户的身体的状态下使用，并且按所设置的时间间隔将来自用户的日常生活的场景记录为图像。生活记录照相机并非是在通过用户按下快门按钮等所指定的时间进行拍摄。相反，该照相机针对所设置的每个时间间隔自动进行拍摄，这使得可能拍摄到通常不会拍摄的意外瞬间的图像。

日本专利05453953公开了在被配置为能够改变拍摄方向的摄像设备中所应用的自动搜索出被摄体并拍摄该被摄体的技术。即使在自动拍摄中，基于所检测到的被摄体来确定拍摄构图也使得可以提高拍摄用户将会喜欢的图像的机会。

在为了生活记录的目的而拍摄图像时，也可能记录用户不太感兴趣的图像。使照相机自动平摇和俯仰以搜索出周围的被摄体并且以包括所检测到的被摄体的视角进行拍摄，这可以提高记录用户将会喜欢的图像的机会。

然而，还存在照相机自动搜索出并检测到的被摄体不是最适合拍摄的被摄体的情形。例如，在搜索被摄体时，照相机可能未能将没有正看着照相机的人物检测为重要被摄体，并且结果该人物可能从拍摄中被排除。此外，在使用光学变焦机构放大被摄体时，照相机可能未能发现已接近的其它被摄体。换句话说，对照相机自动搜索出被摄体的处理存在限制。这导致将拍摄到与用户想要的被摄体不同的被摄体的问题。

发明内容

本发明是有鉴于上述问题而实现的，并且本发明使得可以在自动被摄体搜索期间以反映用户的意图的方式自动搜索被摄体。

根据本发明的第一方面，提供一种摄像设备，包括：摄像部件，用于拍摄被摄体图像；确定部件，用于在所述摄像部件所拍摄到的图像数据中确定用以搜索被摄体的区域；变焦部件，用于改变所述摄像部件的拍摄视角；以及控制部件，用于执行控制，使得在所述确定部件确定了用以搜索被摄体的区域的情况下，所述变焦部件将所述摄像部件的拍摄视角改变到广角侧。

根据本发明的第二方面，提供一种摄像设备的控制方法，所述摄像设备包括用于拍摄被摄体图像的摄像部件，并且所述控制方法包括：在所述摄像部件所拍摄到的图像数据中进行用以搜索被摄体的区域的确定；进行所述摄像部件的拍摄视角的改变；以及执行控制，使得在所述确定的步骤中确定了用以搜索被摄体的区域的情况下，在所述改变的步骤中将所述摄像部件的拍摄视角改变到广角侧。

根据本发明的第三方面，提供一种存储有程序的计算机可读存储介质，所述程序用于使计算机执行摄像设备的控制方法的各步骤，所述摄像设备包括用于拍摄被摄体图像的摄像部件，并且所述控制方法包括：在所述摄像部件所拍摄到的图像数据中进行用以搜索被摄体的区域的确定；进行所述摄像部件的拍摄视角的改变；以及执行控制，使得在所述确定的步骤中确定了用以搜索被摄体的区域的情况下，在所述改变的步骤中将所述摄像部件的拍摄视角改变到广角侧。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1A和1B是示意性示出作为根据本发明的摄像设备的实施例的照相机的外观的图。

图2是示出根据实施例的照相机的整体结构的框图。

图3是示出照相机和外部装置之间的无线通信系统的结构的示例的图。

图4是示出外部装置的结构的图。

图5是示出照相机和外部装置的结构的图。

图6是示出外部装置的结构的图。

图7是示出第一控制单元所执行的操作的流程图。

图8是示出第二控制单元所执行的操作的流程图。

图9A是示出在拍摄模式处理中执行的操作的流程图。

图9B是示出在以区域为单位求出重要度级别时执行的变焦控制操作的流程图。

图10A～10E是示出拍摄图像内的区域分割的图。

图11是示出神经网络的图。

图12是示出在外部装置中浏览图像的图。

图13是示出学习模式判断的流程图。

图14是示出学习处理的流程图。

具体实施方式

以下将参考附图来详细说明本发明的实施例。

照相机结构

图1A和1B是示意性示出作为根据本发明的摄像设备的实施例的照相机的外观的图。图1A所示的照相机101设置有电源开关、以及能够进行照相机操作的操作构件等。以一体方式包括用作用于拍摄被摄体图像的光学摄像系统的拍摄透镜组和图像传感器等的镜筒102以能够移动的方式附接至照相机101的锚固部103。具体地，镜筒102经由作为能够相对于锚固部103转动驱动的机构的俯仰转动单元104和平摇转动单元105附接至锚固部103。

俯仰转动单元104包括能够沿在图1B中所示的纵摇方向转动驱动镜筒102的马达驱动机构。平摇转动单元105包括能够沿也在图1B中示出的横摆方向转动驱动镜筒102的马达驱动机构。换句话说，照相机101具有沿两个轴方向转动驱动镜筒102的机构。图1B所示的各轴是相对于锚固部103的位置定义的。角速度计106和加速度计107布置在照相机101的锚固部103中。照相机101基于来自角速度计106和加速度计107等的输出信号来检测振动，并且可以通过转动驱动俯仰转动单元104和平摇转动单元105来校正镜筒102中的抖动和倾斜等。角速度计106和加速度计107等还基于在所设置的时间段中获得的测量结果来检测照相机的移动。

图2是示出根据本实施例的照相机101的整体结构的框图。在图2中，第一控制单元223例如包括CPU(MPU)和存储器(DRAM、SRAM)等。第一控制单元223通过根据非易失性存储器(EEPROM)216中所存储的程序执行各种类型的处理来控制照相机101的各个块、以及控制块之间的数据的传送等。非易失性存储器216是电可擦除/可记录的存储器，其如上所述存储第一控制单元223所用的操作常数和程序等。

在图2中，变焦单元201包括用于执行变倍(放大和缩小所形成的被摄体图像)的变焦透镜。变焦驱动控制单元202控制变焦单元201的驱动，并且检测此时的焦距。调焦单元203包括用于调整焦点的调焦透镜。调焦驱动控制单元204控制调焦单元203的驱动。摄像单元206包括图像传感器。摄像单元206经由各透镜组接收入射光，并且将由该光量产生的电荷的信息作为模拟图像信号输出至图像处理单元207。注意，变焦单元201、调焦单元203和摄像单元206布置在镜筒102内。

图像处理单元207对通过对模拟图像信号进行A/D转换所获得的数字图像数据应用诸如失真校正、白平衡调整和颜色插值等的图像处理，并且输出处理后的数字图像数据。从图像处理单元207输出的数字图像数据由图像记录单元208转换成诸如JPEG等的记录所用的格式，然后被存储在存储器215中，或者被发送至(后面所述的)图像输出单元217等。

镜筒转动驱动单元205通过驱动俯仰转动单元104和平摇转动单元105来使得镜筒102在俯仰方向和平摇方向上转动。装置抖动检测单元209包括用于检测照相机101在三个轴方向上的角速度的角速度计(陀螺仪传感器)106、以及用于检测照相机101在三个轴方向上的加速度的加速度计107等。基于这些传感器所检测到的信号来计算装置的转动角度和偏移量等。

音频输入单元213经由照相机101中所设置的麦克风获得来自照相机101的周围的音频的信号，将该音频转换成数字音频信号，并且将该信号发送至音频处理单元214。音频处理单元214对所输入的数字音频信号执行诸如优化等的与音频有关的处理。音频处理单元214处理后的音频信号由第一控制单元223发送至存储器215。存储器215暂时存储从图像处理单元207和音频处理单元214获得的图像信号和音频信号。

图像处理单元207和音频处理单元214读出存储器215中暂时存储的图像信号和音频信号等，并且对该图像信号和音频信号进行编码以生成压缩图像信号和压缩音频信号。第一控制单元223将该压缩图像信号和压缩音频信号发送至记录/重放单元220。

记录/重放单元220将图像处理单元207和音频处理单元214所生成的压缩图像信号和压缩音频信号、以及与拍摄有关的其它控制数据等记录在记录介质221中。在不对音频信号进行压缩和编码的情况下，第一控制单元223将音频处理单元214所生成的音频信号和图像处理单元207所生成的压缩图像信号发送至记录/重放单元220，并且使得将这些信号记录到记录介质221中。

记录介质221可以是内置于照相机101中的记录介质或者可移除的记录介质，并且能够记录各种类型的数据，诸如照相机101所生成的压缩图像信号、压缩音频信号和音频信号等。对于记录介质221，通常使用与非易失性存储器216相比具有更大容量的介质。例如，记录介质221可以是任何类型的记录介质，诸如硬盘、光盘、磁光盘、CD-R、DVD-R、磁带、非易失性半导体存储器或闪速存储器等。

记录/重放单元220读出(或重放)记录介质221中所记录的压缩图像信号、压缩音频信号、音频信号、各种类型的数据、以及程序等。然后，第一控制单元223将所读出的压缩图像信号和压缩音频信号发送至图像处理单元207和音频处理单元214。图像处理单元207和音频处理单元214将压缩图像信号和压缩音频信号暂时存储在存储器215中，通过预定过程对这些信号进行解码，并且将解码后的信号发送至图像输出单元217。

音频输入单元213设置有多个麦克风。音频处理单元214可以检测声音相对于配置有多个麦克风的平面的方向，因而用于后面将说明的搜索被摄体和自动拍摄图像等。此外，音频处理单元214检测特定语音命令。该配置可以如下：除了预先登记的数个命令之外，用户还可以将特定语音作为语音命令登记在照相机中。音频处理单元214还识别音频场景。在音频场景识别中，使用基于大量音频数据通过机器学习预先训练的网络来判断音频场景。例如，在音频处理单元214中设置有用于检测诸如观众欢呼声、鼓掌声和说话等的特定场景的网络，并且使用该网络来检测特定音频场景和特定语音命令等。在检测到特定音频场景或特定语音命令时，音频处理单元214将检测触发信号输出至第一控制单元223或第二控制单元211等。

除了用于控制照相机101的主系统整体的第一控制单元223之外，照相机101还设置有用于控制第一控制单元223的电力供给的第二控制单元211。第一电源单元210和第二电源单元212分别向第一控制单元223和第二控制单元211供给操作所用的电力。响应于按下照相机101中所设置的电源按钮，首先向第一控制单元223和第二控制单元211这两者供给电力。然而，如后面将说明的，第一控制单元223自身可以执行用于断开向第一电源单元210的电力供给的控制。第二控制单元211即使在第一控制单元223没有正在工作时也工作，并且将来自装置抖动检测单元209和音频处理单元214等的信息作为输入。第二控制单元211基于各种输入信息来判断是否启动第一控制单元223，并且在判断为要启动第一控制单元223时，指示第一电源单元210向第一控制单元223供给电力。

音频输出单元218例如在拍摄期间等从内置于照相机101中的扬声器输出预设的音频模式。LED控制单元224例如在拍摄期间等，基于预设的点亮模式或闪烁模式等来使得照相机101中所设置的LED点亮。图像输出单元217例如由图像输出端子构成，并且输出用于使得将图像显示在所连接的外部显示器等中的图像信号。音频输出单元218和图像输出单元217可以是单个集成端子，例如高清多媒体接口(HDMI(High-Definition MultimediaInterface)；注册商标)端子。

通信单元222是用于在照相机101和外部装置之间进行通信的部分，并且例如发送和接收诸如音频信号、图像信号、压缩音频信号和压缩图像信号等的数据。通信单元222还接收用于开始和停止拍摄的命令、以及诸如平摇、俯仰和变焦驱动等的与拍摄有关的控制信号等，并且基于来自外部装置的指令来驱动照相机101。通信单元222还在照相机101和外部装置之间发送和接收诸如与(后面所述的)学习处理单元219所处理的学习有关的各种参数等的信息。通信单元222包括红外通信模块、蓝牙(Bluetooth，注册商标)通信模块、无线LAN通信模块、或者诸如无线USB(Wireless USB，注册商标)或GPS接收器等的无线通信模块等。

环境传感器226按预定周期检测照相机101的周边环境的状态。环境传感器226包括用于检测照相机101的周边温度的温度传感器、用于检测照相机101周围的大气压的变化的大气压传感器、以及用于检测照相机101的周边亮度的照度传感器。环境传感器226还包括用于检测照相机101周围的湿度的湿度传感器、以及用于检测照相机101周围的紫外光量的UV传感器等。除了所检测到的温度信息、大气压信息、亮度信息、湿度信息和UV信息之外，在后面将说明的自动拍摄等的判断中，还使用根据所检测到的各种信息计算为预定时间段内的变化率的温度变化量、大气压变化量、亮度变化量、湿度变化量和紫外光变化量等。

与外部装置的通信

图3是示出照相机101和外部装置301之间的无线通信系统的结构的示例的图。照相机101是具有拍摄功能的数字照相机，并且外部装置301是包括蓝牙通信模块和无线LAN通信模块的智能装置。

照相机101和外部装置301能够通过第一通信302和诸如蓝牙低功耗(以下称为“BLE(Bluetooth Low Energy)”)等的第二通信303进行通信，其中该第一通信302例如使用基于IEEE 802.11规范系列的无线LAN，以及该第二通信303提供控制站和附属站之间的主/从关系。注意，无线LAN和BLE仅仅是通信方法的示例。可以使用其它通信方法，只要各通信装置具有两个或更多个通信功能即可，其中用于在控制站和附属站之间的关系内进行通信的通信功能其中之一例如能够控制其它通信功能。然而，假定如下：第一通信302(例如，无线LAN)与第二通信303(例如，BLE)相比能够进行更快的通信，并且第二通信303与第一通信302相比消耗更少的电力、具有更短的通信范围、或者这两者。

将使用图4来说明外部装置301的结构。外部装置301例如包括无线LAN所用的无线LAN控制单元401和BLE所用的BLE控制单元402、以及公共无线线路通信所用的公共无线控制单元406。外部装置301还包括包发送/接收单元403。无线LAN控制单元401执行针对无线LAN的RF控制、通信处理、用于执行针对基于IEEE 802.11规范系列的无线LAN通信的各种控制的驱动器处理、以及与通过无线LAN的通信有关的协议处理等。BLE控制单元402执行针对BLE的RF控制、通信处理、用于执行针对BLE通信的各种控制的驱动器处理、以及与通过BLE的通信有关的协议处理等。公共无线控制单元406执行针对公共无线线路通信的RF控制、通信处理、用于执行针对公共无线线路通信的各种控制的驱动器处理、以及与公共无线线路通信有关的协议处理等。公共无线线路通信基于诸如国际多媒体电信(IMT)或长期演进(LTE)等的标准。包发送/接收单元403执行用于执行与无线LAN、BLE和公共无线线路通信有关的包的发送和接收至少之一的处理。尽管本实施例将外部装置301描述为在通信中发送包、接收包或这两者，但可以作为代替使用除包交换以外的诸如线路交换等的通信格式。

外部装置301例如还包括控制单元411、存储单元404、GPS接收单元405、显示单元407、操作单元408、音频输入/音频处理单元409和电源单元410。控制单元411例如通过执行存储单元404中所存储的控制程序来控制外部装置301整体。存储单元404例如存储控制单元411所执行的控制程序、以及诸如通信所需的参数等的各种信息。通过控制单元411执行存储单元404中所存储的控制程序来实现(后面所述的)各种操作。

电源单元410向外部装置301供给电力。显示单元407具有使得能够如LCD或LED等那样进行视觉上可识别的信息的输出、或者如扬声器等那样进行音频的输出的功能，并且显示各种类型的信息。操作单元408例如包括用于接受用户对外部装置301进行的操作的按钮等。显示单元407和操作单元408例如与触摸面板一样可被配置为集成构件。

音频输入/音频处理单元409例如是内置于外部装置301中的用于获取用户的语音的通用麦克风。该单元可被配置为通过语音识别处理来识别来自用户的操作命令。此外，使用外部装置301中的专用应用，可以获取到用户所发出的语音命令，然后将这些语音命令通过使用无线LAN的第一通信302登记为照相机101的音频处理单元214所要识别的特定语音命令。

GPS(全球定位系统)接收单元405通过接收从卫星发出的GPS信号并分析这些GPS信号来估计外部装置301的当前位置(经度/纬度信息)。作为代替，可以基于周围区域中所存在的无线网络的信息，使用Wi-Fi定位系统(WPS)等来估计外部装置301的当前位置。在当前获取到的GPS位置信息位于预设的位置范围内(在与以检测位置为中心的预定半径相对应的范围内)的情况下、以及在该GPS位置信息中的位置改变了不小于预定量的情况下等，可以将移动信息经由BLE控制单元402通信至照相机101。该移动信息可被用作后面将说明的自动拍摄和自动编辑等所用的参数。

如上所述，照相机101和外部装置301通过使用无线LAN控制单元401和BLE控制单元402的通信来交换数据。例如，发送和接收诸如音频信号、图像信号、压缩音频信号和压缩图像信号等的数据。还从外部装置301向照相机101发送拍摄指示等、语音命令登记数据、基于GPS位置信息的预定位置检测通知、以及场所移动通知等。还发送和接收外部装置301中的专用应用所使用的学习数据。

配件的结构

图5是示出能够与照相机101进行通信的外部装置501的结构的示例的图。照相机101是具有拍摄功能的数字照相机，而外部装置501例如是包括各种感测单元的可穿戴装置，其能够通过蓝牙通信模块与照相机101进行通信。

外部装置501例如被配置为能够穿戴在用户的手臂等上，并且包括用于以预定周期检测用户的生物体信息(诸如他或她的脉搏、心跳和血流等)的传感器、以及能够检测用户的活动状态的加速度计等。

生物体信息检测单元602例如包括用于检测用户的脉搏的脉搏传感器、用于检测用户的心跳的心跳传感器、用于检测用户的血流的血流传感器、以及用于使用与皮肤接触的导电聚合物来检测电位的变化的传感器等。本实施例中所给出的说明假定使用心跳传感器作为生物体信息检测单元602。心跳传感器例如通过使用LED等用红外光照射皮肤、使用受光传感器检测穿过了生物体组织的红外光、并且执行信号处理，来检测用户的心跳。生物体信息检测单元602将所检测到的生物体信息作为信号输出至控制单元607(参见图6)。

用于检测用户的活动状态的摇摆检测单元603例如包括加速度计或陀螺仪传感器等，并且可以基于加速度信息来检测诸如用户是否正在移动、或者摆动他或她的手臂等的运动。还提供了用于接受用户对外部装置501进行的操作的操作单元605、以及用于以从视觉上可识别的方式输出信息的作为LCD或LED监视器等的显示单元604。

图6是示出外部装置501的结构的图。如上所述，外部装置501例如包括控制单元607、通信单元601、生物体信息检测单元602、摇摆检测单元603、显示单元604、操作单元605、电源单元606和存储单元608。

控制单元607例如通过执行存储单元608中所存储的控制程序来控制外部装置501整体。存储单元608例如存储控制单元607所执行的控制程序、以及诸如通信所需的参数等的各种信息。例如，通过控制单元607执行存储单元608中所存储的控制程序来实现(后面所述的)各种操作。

电源单元606向外部装置501供给电力。显示单元604具有诸如LCD或LED等的用于输出从视觉上可识别的信息、或者诸如扬声器等的用于输出音频的输出单元，并且显示各种类型的信息。操作单元605例如包括用于接受用户对外部装置501进行的操作的按钮等。显示单元604和操作单元605例如与触摸面板一样可被配置为集成构件。操作单元605例如可以使用内置于外部装置501中的通用麦克风来获取用户的语音。该单元可被配置为通过语音识别处理来识别来自用户的操作命令。

由生物体信息检测单元602和摇摆检测单元603获取到、然后由控制单元607处理的各种类型的检测信息经由通信单元601被发送至照相机101。例如，可以在检测到用户的心跳的变化时将检测信息发送至照相机101，或者可以在诸如步行、跑步或站立等的用户的移动状态存在变化时发送检测信息。此外，可以在检测到预设的手臂摆动运动时发送检测信息，或者可以在检测到预设距离的移动时发送检测信息。

照相机操作序列

图7是示出根据本实施例的照相机101的第一控制单元223所执行的操作的示例的流程图。

在用户操作照相机101中所设置的电源按钮时，从第一电源单元210向第一控制单元223和照相机101中的各个块供给电力。同样地，从第二电源单元212向第二控制单元211供给电力。后面将使用图8的流程图来详细说明第二控制单元211的操作。

在供给了电力时，图7的处理开始。在步骤S701中，加载启动条件。在本实施例中，提供以下的三个条件以开始电力供给。

(1)响应于手动按下电源按钮，开始电力供给。

(2)响应于通过外部通信(例如，BLE通信)从外部装置(例如，外部装置301)发送的启动指示，开始电力供给。

(3)响应于来自第二控制单元211的指示，开始电力供给。

这里，在(3)响应于来自第二控制单元211的指示而开始电力供给的情况下，加载在第二控制单元211内计算出的启动条件。这将在后面使用图8来详细说明。这里加载的启动条件用作被摄体搜索和自动拍摄等期间的一个参数要素，并且这些也将在后面进行说明。一旦加载了启动条件，则序列进入步骤S702。

在步骤S702中，加载来自各种传感器的检测信号。这里加载的传感器信号其中之一是来自诸如装置抖动检测单元209中的加速度计或陀螺仪传感器等的、用于检测振动的传感器的信号。还存在表示俯仰转动单元104和平摇转动单元105的转动位置的信号。此外，还存在音频处理单元214所检测到的音频信号、用于特定语音识别的检测触发信号、声音方向检测信号、以及环境传感器226所检测到的环境信息检测信号。一旦在步骤S702中加载了来自各种传感器的检测信号，则序列进入步骤S703。

在步骤S703中，检测是否从外部装置发送了通信指示。如果发送了通信指示，则与外部装置执行通信。该通信例如包括：通过无线LAN或BLE的来自外部装置301的远程操作；音频信号、图像信号、压缩音频信号和压缩图像信号等的交换；来自外部装置301的用于拍摄等的操作指示；语音命令登记数据的发送；基于GPS位置信息的预定位置检测通知和场所移动通知以及学习数据的交换；等等。该通信还包括：在更新了用户的生物体信息(诸如活动信息、手臂动作信息和心跳等)的情况下，通过BLE从外部装置501加载信息。尽管上述环境传感器226可以设置在照相机101中，但环境传感器226也可以设置在外部装置301或外部装置501中。在这种情况下，在步骤S703中，通过BLE加载环境信息。一旦在步骤S703中从外部装置通过通信加载了信息，则序列进入步骤S704。

在步骤S704中，进行模式设置判断，之后序列进入步骤S705。在步骤S705中，判断在步骤S704中操作模式是否被设置为低电力模式。如果模式既不是(后面所述的)“自动拍摄模式”、“自动编辑模式”、“自动图像传送模式”、“学习模式”也不是(后面所述的)“自动文件删除模式”，则该模式被判断为低电力模式。如果在步骤S705中模式被判断为低电力模式，则序列进入步骤S706。

在步骤S706中，将与在第二控制单元211中所判断的启动因素有关的各种参数(摇摆检测判断参数、声音检测参数和经过时间检测参数)通信至(作为子CPU的)第二控制单元211。各种参数的值在(后面所述的)学习处理中通过学习而改变。一旦步骤S706的处理结束，则序列进入步骤S707，其中在步骤S707中，(作为主CPU的)第一控制单元223断开，并且该处理结束。

如果在步骤S705中模式被判断为不是低电力模式，则在步骤S709中判断步骤S704中的模式设置是否是自动拍摄模式。接着，将说明在步骤S704中执行的模式设置判断处理。从以下的模式中选择要判断的模式。

(1)自动拍摄模式

模式判断条件

在基于诸如以下等的信息判断为要执行自动拍摄的情况下，设置自动拍摄模式：通过学习所设置的各种类型的检测信息(图像、声音、时间、振动、场所、身体变化、环境变化)；表示从转变为自动拍摄模式起所经过的时间量的信息；以及过去的拍摄信息和过去拍摄的拍摄次数；等等。

该模式中的处理

在自动拍摄模式处理(步骤S710)中，基于各种类型的检测信息(图像、声音、时间、振动、场所、身体变化和环境变化)来通过平摇、俯仰和变焦操作自动搜索被摄体。然后，在判断为可以进行与用户的偏好匹配的拍摄时，自动执行拍摄。

(2)自动编辑模式

模式判断条件

在基于自前次自动编辑起所经过的时间量和过去拍摄的图像的信息而判断为要执行自动编辑的情况下，设置自动编辑模式。

该模式中的处理

在自动编辑模式处理(步骤S712)中，执行自动编辑处理以生成高亮运动图像，其中在该自动编辑处理中，基于学习处理来选择静止图像和运动图像等，并且基于学习，根据图像效果和编辑后的运动图像的持续时间等将这些静止图像和运动图像等收集到单个运动图像中。

(3)自动图像传送模式

模式判断条件

在响应于使用外部装置301中的专用应用所作出的指示而设置自动图像传送模式的情况下，在基于自前次图像传送起所经过的时间量和过去拍摄的图像的信息而判断为应当执行自动传送时，设置自动图像传送模式。

该模式中的处理

在自动图像传送模式处理(步骤S714)中，照相机101自动提取假定与用户的偏好匹配的图像，并且将该图像自动传送至外部装置301。基于添加至(后面所述的)各个图像的根据用户的偏好所判断出的得分来执行与用户的偏好匹配的图像的提取。

(4)学习模式

模式判断条件

在基于自前次学习处理起所经过的时间量、与在学习中可以使用的图像一体化的信息、以及学习数据的数量等而判断为应当执行自动学习的情况下，设置学习模式。在通过来自外部装置301的通信作出了用于设置学习模式的指示的情况下，也设置该模式。

该模式中的处理

在学习模式处理(步骤S716)中，基于来自外部装置301的各种操作信息(从照相机获取到的图像的信息、经由专用应用已手动编辑的信息、以及用户针对照相机内的图像所输入的判断值信息)、以及来自外部装置301的学习信息的通知等，使用神经网络来执行基于用户的偏好的学习。同时还执行与检测有关的学习(诸如用于个人认证的登记、语音登记、音频场景登记和一般物体识别的登记等)以及针对上述低电力模式的条件的学习等。

(5)自动文件删除模式

模式判断条件

在基于自前次自动文件删除起所经过的时间量、以及用于记录图像的非易失性存储器216中剩余的空间等而判断为应当执行自动文件删除的情况下，设置自动文件删除模式。

该模式中的处理

在自动文件删除模式处理(步骤S718)中，基于各图像的标签信息以及拍摄该图像时的日期/时间等来指定并删除非易失性存储器216中的要自动删除的文件。

后面将详细说明这些模式中的各模式中的处理。

返回到图7，如果在步骤S705中判断为模式不是低电力模式，则序列进入步骤S709，其中在步骤S709中，判断模式是否设置为自动拍摄模式。如果判断的结果表示模式是自动拍摄模式，则序列进入步骤S710，其中在步骤S710中，执行自动拍摄模式处理。一旦该处理结束，序列返回到步骤S702，其中在步骤S702中，重复该处理。如果在步骤S709中模式被判断为不是自动拍摄模式，则序列进入步骤S711。

在步骤S711中，判断模式是否设置为自动编辑模式。如果模式是自动编辑模式，则序列进入步骤S712，其中在步骤S712中，执行自动编辑模式处理。一旦该处理结束，序列返回到步骤S702，其中在步骤S702中，重复该处理。如果在步骤S711中模式被判断为不是自动编辑模式，则序列进入步骤S713。由于自动编辑模式与本发明的主要主题无直接关系，因此这里将不给出对自动编辑模式的详细说明。

在步骤S713中，判断模式是否设置为自动图像传送模式。如果模式是自动图像传送模式，则序列进入步骤S714，其中在步骤S714中，执行自动图像传送模式处理。一旦该处理结束，序列返回到步骤S702，其中在步骤S702中，重复该处理。如果在步骤S713中模式被判断为不是自动图像传送模式，则序列进入步骤S715。由于自动图像传送模式与本发明的主要主题无直接关系，因此这里将不给出对自动图像传送模式的详细说明。

在步骤S715中，判断模式是否设置为学习模式。如果模式是学习模式，则序列进入步骤S716，其中在步骤S716中，执行学习模式处理。一旦该处理结束，序列返回到步骤S702，其中在步骤S702中，重复该处理。如果在步骤S715中模式被判断为不是学习模式，则序列进入步骤S717。

在步骤S717中，判断模式是否设置为自动文件删除模式。如果模式是自动文件删除模式，则序列进入步骤S718，其中在步骤S718中，执行自动文件删除模式处理。一旦该处理结束，序列返回到步骤S702，其中在步骤S702中，重复该处理。如果在步骤S717中判断为模式不是自动文件删除模式，则序列返回到步骤S702，并且重复该处理。由于自动文件删除模式与本发明的主要主题无直接关系，因此这里将不给出对自动文件删除模式的详细说明。

图8是示出根据本实施例的照相机101的第二控制单元211所执行的操作的示例的流程图。

在用户操作照相机101中所设置的电源按钮时，从第一电源单元210向第一控制单元223和照相机101中的各块供给电力。同样地，从第二电源单元212向第二控制单元211供给电力。

在供给了电力时，第二控制单元(子CPU)211启动，并且图8所示的处理开始。在步骤S801中，判断是否经过了预定采样周期。该预定采样周期例如被设置为10ms，因而在10ms的周期之后序列进入步骤S802。在判断为没有经过预定采样周期的情况下，第二控制单元211待机。

在步骤S802中，加载学习信息。学习信息是在图7的步骤S706中向第二控制单元211通信信息时传送的信息，并且例如包括以下的信息。

(1)(后面所述的步骤S804中使用的)特定抖动检测的判断

(2)(后面所述的步骤S805中使用的)特定声音检测的判断

(3)(后面所述的步骤S807中使用的)经过时间的判断

一旦在步骤S802中加载了学习信息，则序列进入步骤S803，其中在步骤S803中获取抖动检测值。抖动检测值是装置抖动检测单元209中的陀螺仪传感器或加速度计等所输出的值。

一旦在步骤S803中获取到抖动检测值，则序列进入步骤S804，其中在步骤S804中，执行用于检测预设的特定抖动状态的处理。这里，根据步骤S802中所加载的学习信息来改变判断处理。以下将给出数个示例。

轻击检测

可以根据附接至照相机101的加速度计107所输出的值来检测例如用户用他或她的指尖敲击了照相机101的状态(轻击状态)。通过使三轴加速度计107的输出按预定采样周期通过了被设置到特定频率范围的带通滤波器(BPF)，可以提取与由轻击引起的加速度的变化相对应的信号范围。然后，基于通过了BPF的加速度信号在预定时间量TimeA内是否超过预定阈值ThreshA预定次数CountA来检测轻击。对于双击，将CountA设置为2，并且对于三击，将CountA设置为3。也可以根据学习信息来改变TimeA和ThreshA。

抖动状态检测

可以根据附接至照相机101的陀螺仪传感器106和加速度计107等所输出的值来检测照相机101的抖动状态。使用高通滤波器(HPF)和低通滤波器(LPF)来分别截除来自陀螺仪传感器106和加速度计107等的输出的高频分量和低频分量，之后将这些输出转换成绝对值。基于所计算的绝对值在预定时间量TimeB内是否超过预定阈值ThreshB不少于预定次数CountB来检测振动。这使得可以判断诸如照相机101放置在桌子等上的情况等的存在极小抖动的状态、或者诸如照相机101作为可穿戴照相机附接至用户的身体并且用户正在步行的情况等的存在极大抖动的状态。通过针对判断阈值和判断计数等设置多个条件，可以基于抖动级别来更精细地检测抖动状态。也可以根据学习信息来改变TimeB、ThreshB和CountB。

以上说明了通过判断来自抖动检测传感器的检测值来检测特定抖动状态的方法。然而，通过将在预定时间量内采样的来自抖动检测传感器的数据输入至使用神经网络的抖动状态判断器中，还可以基于该数据使用所训练的神经网络来检测预先登记的特定抖动状态。在这种情况下，步骤S802中所加载的学习信息是神经网络的权重参数。

一旦在步骤S804中执行了特定抖动状态检测处理，则序列进入步骤S805，其中在步骤S805中，执行用于检测预设的特定声音的处理。这里，根据步骤S802中所加载的学习信息来改变检测判断处理。以下将给出数个示例。

特定语音命令检测

检测特定语音命令。除了预先登记的数个命令之外，用户还可以将特定语音作为语音命令登记在照相机中。

特定音频场景识别

使用基于大量音频数据通过机器学习而预先训练的网络来判断音频场景。例如，检测诸如观众欢呼声、鼓掌声和说话等的特定场景。所检测的场景基于学习而改变。

声级判断

通过判断音频级别的音量在预定时间量内是否超过预定音量来检测声级。预定时间量和预定大小等基于学习而改变。

声音方向判断

使用配置在平面上的多个麦克风来针对预定音量的声音检测声音的方向。

在音频处理单元214内执行上述的判断处理，并且基于预先学习的各种设置来在步骤S805中判断是否检测到特定声音。

在步骤S805中执行用于检测特定声音的处理时，序列进入步骤S806，其中在步骤S806中，判断第一控制单元223的电源是否断开。如果第一控制单元223(主CPU)断开，则序列进入步骤S807，其中在步骤S807中，执行用于检测预设时间量的经过的处理。这里，根据步骤S802中所加载的学习信息来改变检测判断处理。学习信息是在图7的步骤S706中向第二控制单元211通信信息时所传送的信息。测量自第一控制单元223从接通转变为断开起所经过的时间量。如果所经过的时间量大于或等于预定时间量TimeC，则判断为经过了该时间，而如果所经过的时间量小于TimeC，则判断为尚未经过该时间。TimeC是根据学习信息而改变的参数。

一旦在步骤S807中执行了用于检测所经过的时间量的处理，则序列进入步骤S808，其中在步骤S808中判断是否满足了用于取消低电力模式的条件。基于以下条件来判断是否取消低电力模式。

(1)检测到特定类型的抖动。

(2)检测到特定声音。

(3)经过了预定时间量。

对于(1)，通过在步骤S804中执行的特定抖动状态检测处理来判断是否检测到特定类型的抖动。对于(2)，通过步骤S805中所执行的特定声音检测处理来判断是否检测到特定声音。对于(3)，通过步骤S807中所执行的用于检测所经过的时间量的处理来判断是否经过了预定量的时间。在满足(1)～(3)至少之一的情况下，判断为要取消低电力模式。

一旦在步骤S808中判断为要取消低电力模式，则序列进入步骤S809，其中在步骤S809中，接通第一控制单元223的电源。然后，在步骤S810中，将用于判断取消低电力模式的条件(抖动、声音或时间量)通信至第一控制单元223。然后，序列返回到步骤S801，并且该处理循环。如果在步骤S808中不满足用于取消低电力模式的任何条件、并且判断为将不取消低电力模式，则序列返回到步骤S801，并且该处理循环。

另一方面，如果在步骤S806中判断为第一控制单元223接通，则序列进入步骤S811，其中在步骤S811中，将从步骤S803至S805所获取到的信息通信至第一控制单元223。然后，序列返回到步骤S801，并且该处理循环。

在本实施例中，配置如下：即使在第一控制单元223接通时，第二控制单元211也检测抖动和特定声音等，并且将这些检测的结果通信至第一控制单元223。然而，配置也可以如下：在第一控制单元223接通时，不执行步骤S803～S805的处理，并且通过第一控制单元223内的处理(图7的步骤S702)来执行抖动和特定声音等的检测。

如上所述，通过图7的步骤S704～S707中的处理以及图8所示的处理等，基于用户操作来学习用于转变为低电力模式的条件和用于取消低电力模式的条件等。这使得可以执行与拥有照相机101的用户使用该照相机的方式匹配的照相机操作。后面将说明该学习的方法。

尽管前面详细说明了用于基于抖动检测、声音检测或时间的经过来取消低电力模式的方法，但也可以基于环境信息来取消低电力模式。可以基于温度、大气压、亮度、湿度和紫外光的绝对量或变化量是否超过预定阈值来判断环境信息，并且还可以基于后面将说明的学习来改变这些阈值。

诸如所检测到的抖动、声音和时间经过等的检测信息以及各环境信息中的绝对值和变化量等可以基于神经网络来判断，并且可以用于判断是否取消低电力模式。可以基于后面将说明的学习来改变该判断处理中的判断条件。

自动拍摄模式处理

将使用图9A来说明在自动拍摄模式下执行的处理。首先，在步骤S901中，图像处理单元207对从摄像单元206获得的信号执行图像处理，并且生成被摄体检测所用的图像。对所生成的图像执行用于检测人物或物体等的被摄体检测处理。

在检测人物的情况下，检测被摄体的面部和身体等。在面部检测处理中，预先设置用于判断人物的面部的图案，并且可以将所拍摄到的图像内的与这些图案匹配的部分检测为人物的面部区域。同时计算表示被摄体是面部的确定程度的可靠度级别。例如，根据图像内的面部区域的大小、以及该区域与面部图案匹配的程度等来计算可靠度级别。这同样适用于识别与预先登记的图案匹配的物体的物体识别。

还存在使用所拍摄到的图像内的色相或饱和度等的直方图来提取特征被摄体的方法。将根据与在拍摄视角内发现的被摄体的图像有关的色相或饱和度等的直方图所计算出的分布分割成多个区间，并且执行用于以区间为单位对所拍摄到的图像进行分类的处理。例如，针对所拍摄到的图像创建颜色分量的多个直方图，并将这些直方图划分为峰状分布范围。在属于相同的区间组合的区域中对所拍摄到的图像进行分类，并且识别与被摄体相对应的图像区域。然后，通过针对所识别的被摄体的各图像区域计算评价值，可以将评价值最高的被摄体图像区域判断为主被摄体区域。通过上述方法，可以从拍摄信息获得各被摄体信息。

在步骤S902中，计算图像模糊校正量。具体地，首先，基于装置抖动检测单元209所获得的角速度和加速度信息来计算照相机移动的绝对角度。然后，求出通过使俯仰转动单元104和平摇转动单元105在抵消该绝对角度的角度方向上移动来校正图像模糊的角度，并将该角度视为图像模糊校正量。注意，可以基于(后面所述的)学习处理来改变在这里执行的图像模糊校正量计算处理中使用的计算方法。

在步骤S903中，判断照相机的状态。基于根据角速度信息、加速度信息和GPS位置信息等所检测到的照相机角度和照相机移动量等来判断照相机中的振动/移动的当前状态。例如，如果照相机101在安装在车辆上的状态下进行拍摄，则诸如周围风景等的被摄体信息将根据车辆移动的距离而大幅改变。如此，判断照相机是否处于照相机安装在车辆等上并且正高速移动的“车辆移动状态”，并且该判断用在(后面所述的)自动被摄体搜索中。还判断照相机的角度是否大幅改变，以判断照相机101是否处于照相机几乎没有经历摇摆的“静止拍摄状态”。在该“静止拍摄状态”中，可以安全地假定照相机101本身将不改变位置，因而可以执行静止拍摄所用的被摄体搜索。另一方面，在照相机的角度相对大幅地改变时，照相机被判断为处于“手持状态”，并且该判断可用于执行手持情形所用的被摄体搜索。

在步骤S904中，执行被摄体搜索处理。被摄体搜索由以下处理构成。

(1)区域分割

(2)以区域为单位计算重要度级别

(3)确定搜索对象区域

以下将顺次说明这些处理。

(1)区域分割

使用图10A～图10E来说明区域分割。如图10A所示，以照相机的位置用作中心(原点O被视为照相机位置)，将照相机的整个外围分割成区域。在图10A的示例中，在俯仰方向和平摇方向这两者上针对每22.5度执行分割。在如图10A所示执行分割时，随着俯仰方向上的角度远离0度，水平方向上的周长变小，并且这些区域也变小。这样，在如图10B所示、俯仰角度大于或等于45度的情况下，水平方向上的区域范围被设置成大于22.5度。

图10C和10D示出通过在拍摄视角内执行的区域分割所获得的区域的示例。轴1301表示初始状态下的照相机101的朝向，并且使用基准位置的该朝向来执行区域分割。1302表示所拍摄到的图像的视角区域，并且图10D示出此时所拍摄到的图像的示例。基于在来自拍摄视角的图像内执行的区域分割，如图10D的附图标记1303～1318所示对图像进行分割。

(2)以区域为单位计算重要度级别

针对通过上述分割所获得的各个区域，根据各区域内的被摄体的状态和场景的状态等，来计算表示用于执行搜索的优先顺序的重要度级别。基于例如区域中所存在的人物的数量、人物的面部的大小、面部的朝向、面部检测的确定程度、人物的表情、以及对人物的个人认证结果等来计算基于被摄体的状态的重要度级别。另一方面，基于例如一般物体识别结果、场景判断结果(蓝天、逆光和夜景等)、来自区域的方向的声音的级别和语音识别结果、以及区域内的运动检测信息等来计算基于场景的状态的重要度级别。

另外，在图9A的照相机状态判断(步骤S903)中在照相机中检测到振动的情况下，也可以根据振动状态来使重要度级别改变。例如，如果已判断为“静止拍摄状态”，则判断为要通过关注通过面部认证所登记的被摄体中的优先级高的被摄体(例如，照相机的所有者)来执行被摄体搜索。例如，还通过优先照相机所有者的面部来执行(后面所述的)自动拍摄。通过这样做，即使照相机的所有者通常在照相机附接至他或她的身体的状态下四处走动的同时拍摄图像，也可以通过移除照相机并将该照相机放置在桌子等上来拍摄包括所有者的更多数量的图像。由于此时可以通过平摇和俯仰来搜索出面部，因此可以在无需考虑照相机的放置角度等的情况下，通过以适当的方式放置照相机来简单地拍摄包括所有者的图像、以及包括许多面部的合影照等。

仅在上述条件下，如果在各个区域中不存在变化，则相同的区域将始终具有最高的重要度级别。结果，所搜索的区域将永远不会改变。有鉴于此，根据过去的拍摄信息来改变重要度级别。具体地，可以针对在预定时间量内被连续指定为搜索区域的区域来降低重要度级别，以及可以降低在(后面所述的)步骤S910中执行拍摄的区域中的预定时间量的重要度级别，等等。

此外，在照相机正在移动的情况下(诸如在照相机附接至照相机的所有者的身体或安装在车辆等上的情况下等)，存在如下的情形：在使用平摇/俯仰功能对周围执行了被摄体搜索时，在进行拍摄的时间点被摄体不再可见。可选地，被摄体可能已变得太远或太小，这使得被摄体搜索无意义。有鉴于此，根据在步骤S903中检测到的角速度信息、加速度信息和GPS位置信息，并且还根据针对拍摄图像中的各个坐标所计算出的运动矢量，来计算照相机的移动方向和移动速度等。然后，基于此，可以从一开始就判断为在远离行进方向的区域中不存在被摄体。相反，可以根据移动速度来改变搜索时间间隔(诸如在高速移动时缩短被摄体搜索时间间隔等)，以便确保不会遗漏重要被摄体。

这里将关于在以区域为单位求出重要度级别时的变焦位置给出附加说明。在第一次以区域为单位计算重要度级别时、以及在自计算重要度级别起经过了预定时间量的情况下等，在变焦单元201已被驱动到广角侧的状态下，以区域为单位计算重要度级别。这是因为，在第一次计算重要度时、以及在自计算重要度起经过了预定时间量的情况下等，并不知晓重要被摄体存在于何处，因此需要在宽范围内进行检索。求出已将变焦单元控制成移动到广角侧的重要度级别，这使得可以缩短搜索所需的时间。在确定了被摄体对象区域之后，在(后面所述的)步骤S906中使用变焦驱动来追踪被摄体。在正追踪被摄体的状态下，利用变焦单元201控制视角以确保被摄体具有适当的大小、以及与背景的适当平衡等。然而，在要取消被摄体追踪并且要再次搜索出被摄体的情况下，在将变焦单元驱动到广角侧之后，以区域为单位来计算重要度级别。

注意，平摇转动单元105包括除了能够进行利用马达的转动驱动之外还能够进行手动定位的机构，因而也可以手动设置位置。可以利用在驱动平摇转动单元时使用的脉冲传感器来检测手动平摇操作。在以区域为单位计算重要度级别时，如果使用该机构手动进行了平摇操作，则手动指定的区域被判断为最重要的区域。将该区域的重要度级别设置为极高的值，这使得可以以反映用户的意图的方式确定搜索对象区域。此外，如果在正追踪被摄体的状态下手动进行了平摇操作，则快速控制变焦以移动到广角侧、然后以区域为单位重新计算重要度级别，这使得可以以反映用户的意图的方式确定搜索对象区域。

此时，可以根据在手动平摇操作期间使用的手动控制量来改变用于向广角侧移动的变焦控制量。换句话说，在手动执行大的平摇操作时，控制变焦以移动到广角端，并且删除针对各区域的重要度级别。另一方面，在执行了小的平摇操作时，控制变焦以仅向着广角侧略微移动，并且此时保存针对各区域的重要度级别。这在提高将正确地拍摄到被摄体的可能性方面是有用的。

另外，关于俯仰驱动，在搜索被摄体时，首先从水平位置执行区域搜索。特别地，在执行了手动平摇操作时，执行俯仰驱动，以使得照相机相对于地面呈水平，然后执行被摄体搜索。然后，在返回到在手动平摇操作之前使用的俯仰方向之后，再次执行被摄体搜索。这使得可以更快地找到重要被摄体。

图9B是示出在迄今为止已概要地说明的以区域为单位求出重要度级别时执行的变焦控制操作的流程图。

在开始用于以区域为单位求出重要度级别的操作时，在步骤S931中，判断当前是否正在追踪被摄体。如果照相机当前正在追踪被摄体，则序列进入步骤S934，并且如果照相机当前并未正在追踪被摄体，则序列进入步骤S932。

在步骤S932中，判断这是否是第一次以区域为单位的重要度级别计算。如果这是第一次重要度级别计算，则该序列进入步骤S934，以及如果这不是第一次重要度级别计算，则序列进入步骤S933。

在步骤S933中，判断自前次的以区域为单位的重要度级别计算起是否经过了预定时间量。如果经过了预定时间量，则需要再次计算重要度级别，并且序列因此进入步骤S934。然而，如果没有经过预定时间量，则该流程图的操作在保持当前变焦位置(视角)的情况下结束。

在步骤S934中，判断是否执行了手动平摇操作。如果执行了手动平摇操作，则序列进入步骤S935，而如果没有执行手动平摇操作，则序列进入步骤S941。

在步骤S935中，判断手动平摇操作的操作量是否大于或等于预定量。如果操作量大于或等于预定量，则用户有意将照相机指向的方向上的区域被视为最重要的区域。因而，序列进入步骤S936，并且变焦被驱动到广角侧。此时，根据在步骤S935中确认的平摇操作的移动量来调整向着变焦侧的控制量，这使得可以拍摄用户想要拍摄的被摄体。在进行了该操作之后，序列进入步骤S937以再次以区域为单位计算重要度级别。

在步骤S937中，删除先前存储的重要度级别，然后该序列进入步骤S938。在步骤S938中，执行俯仰驱动，以使得视角为水平，并且在步骤S939中，重新计算重要度级别。

另一方面，如果在步骤S934或S935中没有执行手动平摇操作，或者如果执行了手动平摇操作但操作量低，则在步骤S941中照相机拉远到广角端略前的预定广角位置。然后，在步骤S942中，保持所存储的重要度级别。可选地，如果这是第一次计算重要度级别，则计算重要度级别。

这样，在以区域为单位计算重要度级别的情况下，如上所述控制变焦使得可以更快速地找到重要被摄体。

(3)确定搜索对象区域

如上所述，一旦针对各区域计算出重要度级别，则将重要度级别高的区域确定为搜索对象区域。然后，计算在视角中拍摄搜索对象区域所需的平摇/俯仰搜索目标角度。

返回到图9A的说明，在步骤S905中，执行平摇/俯仰驱动。具体地，通过以控制采样频率将图像模糊校正量与基于平摇/俯仰搜索目标角度的驱动角度相加来计算平摇/俯仰驱动量。然后，利用镜筒转动驱动单元205执行俯仰转动单元104和平摇转动单元105的驱动控制。

在步骤S906中，控制变焦单元201并且执行变焦驱动。具体地，根据在步骤S904中确定的要搜索出的被摄体的状态来驱动变焦。例如，如果要搜索出的被摄体是人物的面部、但该面部在图像中太小，则该面部的大小可能小于可以检测到的最小大小。因此，可能无法检测到该面部，这导致该面部被照相机错过。在这种情况下，执行控制，以变焦到远摄侧并且增大图像中的面部的大小。另一方面，如果该面部在图像中太大，则根据被摄体和照相机自身等的移动，被摄体可能移出视角。在这种情况下，执行控制，以变焦到广角侧并减小图像中的面部的大小。执行这种变焦控制使得可以维持适合于追踪被摄体的状态。

在步骤S907中，判断是否手动进行了拍摄指示，并且如果进行了手动拍摄指示，则序列进入步骤S910。此时，可以通过按下快门按钮、用手指等轻敲(轻击)照相机壳体等、输入语音命令、或者输入来自外部装置的指示等来进行手动拍摄指示。通过装置抖动检测单元209检测在用户轻击照相机壳体的短时间段内持续的高频加速度，来判断将轻击操作视为触发的拍摄指示。输入语音命令是如下的拍摄指示方法：在用户说出指示进行拍摄的预定关键短语(例如，“拍照”)的情况下，音频处理单元214识别出该语音并将该语音用作拍摄的触发。使用来自外部装置的指示是如下的拍摄指示方法：使用利用专用应用从通过蓝牙连接至照相机的智能电话等发送来的快门指示信号作为触发。

如果在步骤S907中没有进行手动拍摄指示，则序列进入步骤S908，其中在步骤S908中，执行自动拍摄判断。在自动拍摄判断中，判断是否执行自动拍摄，并且还判断拍摄方法(即，判断是否拍摄静止图像、运动图像、连续图像或全景等)。

判断是否执行自动拍摄

按以下方式进行与是否执行自动拍摄有关的判断。具体地，在以下两个情况下判断为要执行自动拍摄。首先，基于在步骤S904中获得的各区域的重要度级别，在重要度级别超过预定值的情况下，判断为要执行自动拍摄。其次，基于神经网络来进行判断。

图11示出作为神经网络的一个示例的多层感知器网络。神经网络用于根据输入值预测输出值。通过预先学习输入值以及对这些输入进行建模的输出值，可以针对新的输入值估计遵循所学习的模型的输出值。后面将说明该学习所用的方法。在图11中，1201和从1201起垂直排列的圆表示输入层的神经元，1203和从1203起垂直排列的圆表示中间层的神经元，并且1204表示输出层的神经元。诸如由1202表示的箭头等的箭头表示连接神经元的链接。在基于神经网络的判断中，将以当前视角出现的被摄体、以及基于场景或照相机的状态的特征量等作为输入提供给输入层神经元，并且通过基于多层感知器的前向传播规则的计算来获得从输出层输出的值。如果输出值大于或等于阈值，则判断为要执行自动拍摄。使用以下的特征作为被摄体的特征：当前变焦比；以当前视角的一般物体识别结果和面部检测结果；面部的数量、面部的微笑强度、眼睛的开/闭程度、面部角度、面部认证ID号、以及用作当前视角的被摄体的人物的视线角度；场景判断结果；自前次拍摄起所经过的时间量；当前时间；GPS位置信息和相对于前次拍摄位置的变化量；当前音频级别；发出声音的人物；是否存在鼓掌或欢呼；振动信息(加速度信息、照相机状态)；以及环境信息(温度、大气压、亮度、湿度、紫外光量)；等等。此外，如果从外部装置501通信了信息，则该信息(用户的活动信息、手臂的动作信息、以及诸如心跳等的生物体信息等)也被用作特征。将这些特征转换成预定范围内的数值，并且将这些数值作为特征量供给至输入层的神经元。因此，需要将输入层中的神经元的数量设置成等同于上述所使用的特征量的数量。

在基于神经网络的判断中，可以通过在(后面所述的)学习处理中改变神经元之间的连接的权重来改变输出值，并且可以将该判断的结果应用于学习结果。

另外，自动拍摄的判断也根据在图7的步骤S702中加载的第一控制单元223的启动条件而改变。例如，响应于检测到轻击或特定语音命令而启动的单元是表示用户当前希望拍摄图像的操作的可能性高。因此，拍摄的频率被设置得更高。

拍摄方法判断

在拍摄方法判断中，基于在步骤S901～S904中检测到的照相机状态和周边的被摄体的状态等来判断是否拍摄静止图像、运动图像、连续图像或全景等。例如，在被摄体(人物)静止的情况下，拍摄静止图像，而在被摄体正在移动的情况下，拍摄运动图像或连续图像。另一方面，如果多个被摄体正在围绕照相机、或者基于上述GPS信息而判断为当前场所是景点等，则可以执行用于通过在使照相机平摇/俯仰的同时将顺次拍摄到的图像合成来生成全景图像的全景拍摄处理。与在“判断是否执行自动拍摄”中所述的判断方法相同，还可以基于神经网络来判断在拍摄之前检测到的各种类型的信息，并且将这些信息用在拍摄方法判断中。可以基于后面将说明的学习处理来改变该判断处理中的判断条件。

返回到图9A的说明，在步骤S909中，如果在步骤S908中已判断为要执行自动拍摄，则序列进入步骤S910，而如果没有判断为要执行自动拍摄，则自动拍摄模式处理结束。

在步骤S910中，开始自动拍摄。此时，使用在步骤S908中判断出的拍摄方法来开始自动拍摄。此时，调焦驱动控制单元204执行自动调焦控制。另外，使用光圈控制单元、传感器增益控制单元和快门控制单元(未示出)来控制曝光，使得被摄体处于适当亮度。此外，在拍摄之后，图像处理单元207执行诸如自动白平衡处理、降噪处理和伽玛校正处理等的各种类型的已知图像处理，结果生成了图像。

在拍摄期间，如果满足预定条件，则照相机可以在向正被拍摄的人物通知正在进行拍摄之后进行拍摄。该通知例如可以通过从音频输出单元218发出声音、或者使用LED控制单元224使LED闪烁等来执行。预定条件例如包括以下条件：以当前视角的面部的数量、面部的微笑强度、眼睛的开/闭程度、用作被摄体的人物的面部角度和视线角度、面部认证ID号、以及为了个人认证所登记的人物的数量；拍摄时的一般物体识别结果；场景判断结果；自前次拍摄起所经过的时间量；拍摄时刻；基于GSP信息，当前场所是否是景点；拍摄时的音频级别；是否存在发出声音的人物；是否存在鼓掌或欢呼；振动信息(加速度信息、照相机状态)；以及环境信息(温度、大气压、亮度、湿度、紫外光量)；等等。通过基于这些条件提供拍摄通知，可以在重要度高的场景中获得照相机的视线更好的图像。

在以这种方式在拍摄之前提供通知时，还可以基于神经网络来判断拍摄图像的信息或在拍摄之前检测到的各种类型的信息，并且确定通知方法和定时等。可以基于后面将说明的学习处理来改变该判断处理中的判断条件。

在步骤S911中，执行编辑处理，其中在该编辑处理中，编辑在步骤S910中生成的图像或者将该图像添加到运动图像等。“编辑图像”具体包括基于人物的面部或者焦点的位置来裁剪图像、旋转图像、以及添加HDR(高动态范围)效果、背景虚化效果、颜色转换滤波效果等。在图像编辑中，可以基于步骤S910中所生成的图像来生成通过组合上述处理所获得的多个编辑图像，并且可以将这些编辑图像与步骤S910中所生成的图像分开保存。另外，在处理运动图像时，可以执行如下的处理：在添加诸如擦除、缩放和淡入淡出等的特殊效果的同时，将已拍摄到的运动图像或静止图像添加到已生成的编辑运动图像。同样在步骤S911中所执行的编辑中，也可以基于神经网络来判断拍摄图像的信息或在拍摄之前检测到的各种类型的信息、并且确定图像编辑方法。可以基于后面将说明的学习处理来改变该判断处理中的判断条件。

在步骤S912中，执行拍摄图像学习信息生成处理。这里，生成并记录在(后面所述的)学习处理中使用的信息。具体地，该信息是从当前拍摄图像中获取的以下信息：拍摄期间使用的变焦比；拍摄时的一般物体识别结果和面部检测结果；拍摄图像中的面部数量；面部的笑容强度；眼睛的开/闭程度；面部角度；面部认证ID号；用作被摄体的人物的视线的角度；场景判断结果；自前次拍摄起所经过的时间量；拍摄时刻；GPS位置信息和相对于前次拍摄的位置的变化量；拍摄时的音频级别；发出声音的人物；是否存在鼓掌或欢呼；振动信息(加速度信息、照相机状态)；环境信息(温度、大气压、亮度、湿度、紫外光量)；运动图像拍摄持续时间；以及是否手动指示了拍摄；等等。还可以计算得分，该得分是用于量化用户的图像偏好的神经网络的输出。生成该信息并将该信息作为标签信息记录在拍摄图像文件中。可选地，可以将该信息写入非易失性存储器216，或者可以将各拍摄图像的信息以所谓的“目录数据”的列表格式保存在记录介质221中。

在步骤S913中，更新过去的拍摄信息。具体地，针对此时拍摄到的图像的数量，将在步骤S908中已说明的、以区域为单位所进行的拍摄次数、针对为了个人认证所登记的各人物所进行的拍摄次数、针对通过一般物体识别所识别出的各被摄体所进行的拍摄次数、以及针对来自场景判断的各场景所进行的拍摄次数向上计数1。

学习处理

接着，将说明如在本实施例中执行的根据用户的偏好的学习。在本实施例中，学习处理单元219使用诸如图11所示的神经网络等的神经网络，采用机器学习算法来执行根据用户的偏好的学习。神经网络是用于根据输入值预测输出值的装置。通过学习实际输入值以及实际输出值，可以针对新的输入值来估计输出值。使用神经网络来执行针对上述的自动拍摄、自动编辑和被摄体搜索的根据用户的偏好的学习。还执行如下的操作，这些操作用于通过学习来改变还用作输入至神经网络的特征数据的、被摄体信息(面部认证和一般物体识别等的结果)的登记、拍摄通知控制、低电力模式控制、以及自动文件删除等。

在本实施例中，将学习处理应用于以下的操作。

(1)自动拍摄

(2)自动编辑

(3)被摄体搜索

(4)被摄体登记

(5)拍摄通知控制

(6)低电力模式控制

(7)自动文件删除

(8)图像模糊校正

(9)自动图像传送

在应用学习处理的前述操作中，自动编辑、自动文件删除和自动图像传送与本发明的主要主题无直接关系，因此将不说明这三者。

自动拍摄

接着，将说明针对自动拍摄的学习。在自动拍摄中，执行学习，以使得自动拍摄符合用户的偏好的图像。如使用图9A的流程图所述，在拍摄之后(在步骤S910之后)执行学习信息生成处理(步骤S912)。通过后面将说明的方法选择要学习的图像，并且基于该图像中包括的学习信息通过改变神经网络的权重来执行学习。

通过改变用于判断自动拍摄定时的神经网络、并且改变用于判断拍摄方法(拍摄静止图像、运动图像、连续图像或全景图像等)的神经网络，来执行学习。

被摄体搜索

接着，将说明针对被摄体搜索的学习。在被摄体搜索中，执行学习，以使得自动搜索出符合用户的偏好的被摄体。如使用图9A的流程图所述，在被摄体搜索处理(步骤S904)中，通过计算针对各区域的重要度级别、然后执行平摇、俯仰和变焦驱动，来搜索出被摄体。学习是基于拍摄图像和当前搜索出的检测信息等来执行的，并且通过改变神经网络的权重而被反映为学习结果。通过将在搜索操作期间使用的各种类型的检测信息输入至神经网络中、然后判断重要度级别，来执行反映学习的被摄体搜索。除了计算重要度级别之外，例如还执行(基于速度或移动频率)控制平摇/俯仰搜索方法、以及根据照相机的移动速度控制被摄体搜索区域等。

被摄体登记

接着，将说明针对被摄体登记的学习。在被摄体登记中，执行学习，以使得对符合用户的偏好的被摄体进行自动登记和排名。作为学习，例如执行面部认证登记、一般物体识别的登记、手势登记、语音识别、以及基于声音的场景识别等。针对人物和物体执行认证登记，并且基于获取图像的次数和频率、手动拍摄的次数和频率、以及搜索出的被摄体出现的频率等来设置排名。所登记的信息被登记为用于使用各个神经网络进行判断的输入。

拍摄通知控制

接着，将说明针对拍摄通知的学习。如图9A的步骤S910所述，如果紧挨在进行拍摄之前满足预定条件，则照相机可以在向正被拍摄的人物通知正在进行拍摄之后进行拍摄。例如，通过平摇/俯仰驱动从视觉上引导被摄体的视线，使用从音频输出单元218发出的扬声器声音、以及使用LED控制单元224使LED灯闪烁等来引起被摄体的注意。基于是否获得了被摄体的检测信息(例如，微笑强度、视线检测和手势等)紧挨在上述通知之后判断是否将检测信息用于学习，然后通过改变神经网络的权重来执行学习。

将紧挨在拍摄之前的检测信息输入至神经网络，并且判断是否进行通知、以及要执行的各种操作(声音(声级/声音类型/定时)、光(点亮时间、速度)和照相机的朝向(平摇/俯仰运动))等。

低电力模式控制

如使用图7和图8所述，将向主CPU(第一控制单元223)的电力供给控制成接通和断开，但也针对用于从低电力模式返回的条件、以及用于转变为低电力模式的条件等执行学习。接着将说明用于取消低电力模式的条件的学习。

轻击检测

如上所述，通过学习来改变预定时间量TimeA和预定阈值ThreshA等。在上述的轻击检测阈值已下降的状态下，还执行初步轻击检测，并且基于在轻击检测之前是否判断为初步轻击检测来将TimeA和ThreshA等的参数设置成更容易检测。如果根据在轻击检测之后的照相机检测信息判断为轻击不是启动的原因，则将TimeA和ThreshA等的参数设置成使轻击检测更加困难。

抖动状态检测

如上所述，通过学习来改变预定时间量TimeB、预定阈值ThreshB和预定次数CountB等。如果判断抖动状态的结果满足启动条件，则执行启动；然而，如果根据在启动之后的预定时间量中获得的照相机检测信息而判断为这些结果不是启动的原因，则执行学习以使得基于抖动状态判断的启动更加困难。另外，如果判断为在抖动量极大的状态下频繁地进行拍摄，则进行设置以使得基于抖动状态判断的启动更加困难。

声音检测

例如，可以通过用户经由使用外部装置301中的专用应用的通信手动地设置特定语音、要检测的特定音频场景或特定声级等来执行学习。还可以通过在音频处理单元中预先设置多个检测方法、通过后面将说明的方法选择要学习的图像、学习图像中所包括的前后声音信息、然后设置要用作启动的原因的声音判断(特定声音命令、或者诸如欢呼或鼓掌等的音频场景等)，来执行学习。

环境信息检测

例如，可以通过用户经由使用外部装置301中的专用应用的通信手动设置要用作启动条件的环境信息的变化来执行学习。例如，可以在温度、大气压、亮度、湿度和紫外光量的绝对量或变化量等的特定条件下引起启动。还可以学习基于各环境信息的判断阈值。如果根据使用环境信息的启动之后的照相机检测信息判断为该信息不是启动的原因，则将各个判断阈值的参数设置成使得更难以检测环境变化。

上述参数还根据电池的剩余电量而改变。例如，在电池的剩余电量少时，使得各种判断更加困难，而在电池的剩余电量大时，使得判断更加容易。具体地，存在如下的情形：即使在抖动状态检测结果和声音场景检测结果等没有绝对表示用户希望启动照相机的情况下，在电池的剩余电量大时，也判断为启动照相机。

另外，可以使用抖动检测、声音检测、所经过的时间量的检测的信息、各种类型的环境信息、以及电池的剩余电量等，基于神经网络来进行用于取消低电力模式的条件的判断。在这种情况下，通过后面将说明的方法选择要学习的图像，并且基于该图像中所包括的学习信息通过改变神经网络的权重来执行学习。

接着，将说明用于转变为低电力模式的条件的学习。如图7所示，在步骤S704的模式设置判断中判断为模式既不是“自动拍摄模式”、“自动编辑模式”、“自动图像传送模式”、“学习模式”也不是“自动文件删除模式”时，模式转变为低电力模式。用于判断各个模式的条件如上所述，但用于判断各个模式的条件还通过学习而改变。

自动拍摄模式

如上所述，通过以区域为单位判断重要度级别、然后在搜索出被摄体的同时控制平摇/俯仰来执行自动拍摄，但如果判断为不存在要拍摄的被摄体，则取消自动拍摄模式。例如，在所有区域的重要度级别、或者通过将这些区域的重要度级别相加在一起所获得的值已降至低于预定阈值的情况下，取消自动拍摄模式。此时，还可以根据从转变为自动拍摄模式起所经过的时间量来减小预定阈值。随着自转变为自动拍摄模式起所经过的时间量的增加，使得更容易转变为低电力模式。

另外，通过根据电池的剩余电量改变预定阈值，可以根据电池的剩余电量来控制低电力模式。例如，在电池的剩余电量小时，增大阈值以使得更容易转变为低电力模式，而在电池的剩余电量大时，减小阈值以使得更难以转变为低电力模式。这里，根据从前次转变为自动拍摄模式起所经过的时间量和所进行的拍摄次数，来针对第二控制单元211(子CPU)设置用于下次取消低电力模式的条件的参数(所经过的时间量的阈值TimeC)。上述阈值通过学习而改变。例如，通过经由使用外部装置301中的专用应用的通信手动设置拍摄频率和启动频率等来执行学习。

另一方面，配置可以如下：针对从照相机101的电源按钮接通时起直到电源按钮断开时为止所经过的时间的平均值或时间段来累积分布数据，并且学习这些参数。在这种情况下，执行学习，以使得用于从低电力模式恢复和转变为低电力模式等的时间对于仅使电源在短时间内保持接通的用户而言变短，并且对于使电源在长时间内保持接通的用户而言变长。

还使用搜索期间的检测信息来执行学习。执行学习，以使得用于从低电力模式恢复和转变为低电力模式等的时间在判断为存在多个通过学习设置为重要的被摄体的情况下变短，并且在判断为不存在多个这样的重要被摄体的情况下变长。

图像模糊校正

接着，将说明针对图像模糊校正的学习。通过在图9A的步骤S902中计算校正量、然后基于该校正量在步骤S905中执行平摇/俯仰驱动，来执行图像模糊校正。在图像模糊校正中，执行学习，以使得校正与用户的抖动的特征匹配。例如，可以通过使用点扩散函数(PSF)来在拍摄图像中估计模糊的方向和大小。在图9A的步骤S912中所执行的学习信息生成中，将所估计的模糊的方向和大小作为信息添加到图像。

在图7的步骤S716中所执行的学习模式处理中，通过使用所估计的模糊的方向和大小作为输出、并且使用在拍摄期间获取到的各种类型的检测信息(拍摄之前的预定时间量内的图像的运动矢量信息、所检测到的被摄体(人物或物体)的移动信息、振动信息(陀螺仪传感器输出、加速度输出、照相机状态))作为输入，来学习图像模糊校正所用的神经网络的权重。还可以通过添加诸如以下等的其它信息作为输入来执行判断：环境信息(温度、大气压、亮度、湿度)、声音信息(音频场景判断、特定音频检测、声级变化)、时间信息(自启动所经过的时间量、自前次拍摄所经过的时间量)、以及场所信息(GPS位置信息、位置移动的变化量)等。

在步骤S902中计算图像模糊校正量时，将上述检测信息输入至神经网络，这使得可以估计在该瞬时拍摄的图像中的模糊的大小。在所估计的模糊的大小高时，还可以执行用于增加快门速度等的控制。在所估计的模糊的大小高时，所得到的图像将是模糊的，因而还可以使用禁止进行拍摄的方法。

由于针对平摇/俯仰驱动角度存在限制，因此一旦到达了驱动范围的端部，则不能执行进一步的校正。然而，估计拍摄时的模糊的大小和方向使得可以估计对曝光期间的图像模糊进行校正所需的平摇/俯仰驱动范围。如果在曝光期间的移动范围中不存在余量，则可以通过增大在计算图像模糊校正量时使用的滤波器的截止频率使得不超过移动范围，来抑制大的模糊。此外，在看起来将超过移动范围时，在紧挨曝光之前首先使平摇/俯仰角度在与看起来将超过移动范围的方向相反的方向上转动之后开始曝光，这使得可以保持在移动范围内并且拍摄无模糊的图像。这使得可以学习与用户拍摄图像时的特征、以及用户使用照相机的方式等匹配的图像模糊校正，而这继而使得可以防止拍摄图像变模糊。

在上述的“拍摄方法判断”中，可以判断是否执行移动被摄体清晰、但静止背景正经历运动模糊的“摇摄”。在这种情况下，可以根据直到拍摄为止的检测信息来估计用于拍摄无模糊的被摄体的平摇/俯仰驱动速度，然后可以执行被摄体模糊校正。此时，将上述检测信息输入至已训练的神经网络，这使得可以估计驱动速度。将图像分割成各个块，并针对各块估计PSF以估计主被摄体所处的块中的模糊的方向和大小，并且基于该信息来执行学习。

还可以根据用户所选择的图像的信息来学习背景模糊量。在这种情况下，估计主被摄体未位于的块中的模糊的大小，并且可以基于该信息来学习用户的偏好。通过基于已学习的偏好的背景模糊量来设置拍摄期间所使用的快门速度，可以自动执行具有与用户的偏好匹配的摇摄效果的拍摄。

接着，将说明学习方法。作为学习方法，可以给出“照相机中的学习”和“通过链接至通信装置的学习”。

以下将说明照相机中的学习的方法。根据本实施例的照相机中的学习包括以下的方法。

(1)根据在手动拍摄期间获得的检测信息的学习

(2)根据在被摄体搜索期间获得的检测信息的学习

根据在手动拍摄期间获得的检测信息的学习

如参考图9A的步骤S907～S913所述，在本实施例中，照相机101可以通过手动拍摄和自动拍摄这两个方法进行拍摄。如果在步骤S907中进行了手动拍摄指示，则在步骤S912中添加表示拍摄图像是手动拍摄到的图像的信息。然而，如果在步骤S909中判断为自动拍摄开启的情况下拍摄了图像，则在步骤S912中添加表示拍摄图像是自动拍摄到的图像的信息。

这里，如果手动拍摄了图像，则基于用户的偏好被摄体、偏好场景、以及偏好场所和时间间隔等拍摄了图像的可能性高。因此，基于在手动拍摄期间获得的特征数据、以及拍摄图像的学习信息等来执行学习。另外，基于在手动拍摄期间获得的检测信息来执行与从拍摄图像的特征量的提取、个人认证登记、以个人为单位的表情的登记、以及人物的组合的登记等有关的学习。还执行学习，以基于在被摄体搜索期间获得的检测信息(例如，被登记为个人的被摄体的表情)来改变附近的人或物体的重要度级别。

根据在被摄体搜索期间获得的检测信息的学习

在被摄体搜索操作期间，判断与为了个人认证所登记的被摄体同时出现的人物、物体和场景的类型，并且计算这些物体同时出现在相同视角中的时间比率。例如，计算作为为了个人认证所登记的被摄体的人物A与同样作为为了个人认证所登记的被摄体的人物B同时出现的时间比率。在人物A和人物B在相同视角内的情况下，将各类型的检测信息保存为学习数据，使得针对自动拍摄判断的得分增加，然后通过学习模式处理(步骤S716)来执行学习。

作为另一示例，计算作为为了个人认证所登记的被摄体的人物A与通过一般物体识别所判断出的被摄体“猫”同时出现的时间比率。在人物A和猫在相同视角内的情况下，将各类型的检测信息保存为学习数据，使得针对自动拍摄判断的得分增加，然后通过学习模式处理(步骤S716)来执行学习。

此外，在作为为了个人认证所登记的被摄体的人物A中检测到极大笑容或者表示快乐或惊喜等的表情的情况下，执行学习，以使得同时出现的被摄体被视为重要。可选地，例如，如果检测到表示愤怒或严肃等的表情，则同时出现的被摄体不太可能重要，并且执行处理以使得不执行学习。

接着，将说明根据本实施例的通过链接至外部装置的学习。根据本实施例的通过链接至外部装置的学习包括以下的方法。

(1)根据外部装置所获取到的图像的学习

(2)通过经由外部装置针对图像输入判断值的学习

(3)通过分析外部装置中所保存的图像的学习

(4)根据由外部装置上传到SNS服务器的信息的学习

(5)通过使用外部装置改变照相机参数的学习

(6)根据使用外部装置手动编辑的图像的信息的学习

根据外部装置所获取到的图像的学习

如参考图3所述，照相机101和外部装置301具有用于执行第一通信302和第二通信303的通信单元。主要通过第一通信302来发送和接收图像，并且可以使用外部装置301中所设置的专用应用来将照相机101内的图像发送至外部装置301。另外，可以使用外部装置301中所设置的专用应用来浏览照相机101中所保存的图像数据的缩略图图像。通过从缩略图图像中选择他或她喜欢的图像、确认该图像、并且指示获取该图像，用户可以将该图像发送至外部装置301。

此时，基于用户的选择获取到图像，因此所获取到的图像是用户喜欢的图像的可能性高。如此，判断为所获取到的图像是应当学习的图像，并且可以通过基于所获取到的图像的学习信息执行学习来执行针对用户的偏好的各种类型的学习。

这里将说明这些操作的示例。图12示出使用外部装置301中所设置的专用应用来浏览照相机101中的图像的示例。将照相机内所保存的图像数据的缩略图图像(1604～1609)显示在显示单元407中，并且用户可以选择并获取他或她喜欢的图像。此时，设置有构成用于改变显示方法的显示方法改变单元的按钮1601、1602和1603。

按下按钮1601转变为日期/时间优先显示模式，其中在该日期/时间优先显示模式中，将照相机101中的图像按照拍摄这些图像的日期/时间显示在显示单元407中。例如，将日期/时间最新的图像显示在由1604表示的位置处，并且将日期/时间最早的图像显示在由1609表示的位置处。

按下按钮1602转变为推荐图像优先显示模式。基于在图9A的步骤S912中计算出的用于判断用户对各图像的偏好的得分，将照相机101内的图像从得分最高的图像起顺次显示在显示单元407中。例如，将得分最高的图像显示在由1604表示的位置处，并且将得分最低的图像显示在由1609表示的位置处。

通过按下按钮1603，可以指定诸如人或无生命物体等的被摄体，并且指定特定的人物或物体使得可以仅显示具有该特定被摄体的图像。还可以将按钮1601～1603同时设置成开启。例如，如果所有这些按钮都设置成开启，则在优先显示较新拍摄的并且得分较高的图像的状态下，仅显示包含所指定的被摄体的图像。以这种方式，也根据用户对拍摄图像的偏好来执行学习，这使得可以使用简单的确认操作来从所拍摄到的大量图像中仅提取与用户偏好匹配的图像。

通过经由外部装置针对图像输入判断值的学习

如上所述，照相机101和外部装置301包括通信单元，并且可以使用外部装置301中所设置的专用应用来浏览照相机101中保存的图像。这里，该配置可以为用户向各图像添加得分。用户可以向他或她喜欢的图像添加高分(例如，5分)，并且向他或她不喜欢的图像添加低分(例如，1分)，并且该配置为照相机基于用户操作来学习。在照相机内将各图像的得分连同学习信息一起用于再学习。执行学习，使得将来自所指定的图像信息的特征数据作为输入的神经网络的输出接近用户所指定的得分。

在本实施例中，该配置为用户使用外部装置301来针对所拍摄到的图像输入判断值。然而，该配置可以为用户操作照相机101以针对图像直接输入判断值。在这种情况下，照相机101例如设置有触摸面板显示器，并且用户按下触摸面板显示器的画面显示部中所显示的GUI按钮，以转变为用于显示所拍摄到的图像的模式。然后，使用诸如用户在确认已拍摄到的各图像的同时针对这些图像输入判断值等的方法来执行相同类型的学习。

通过分析外部装置中所保存的图像的学习

外部装置301包括存储单元404，并且假定该配置为将除照相机101所拍摄到的图像以外的图像记录在存储单元404中。此时，外部装置301中所保存的图像可以由用户容易地浏览，并且还可以经由公共无线控制单元406被容易地上传到共享服务器。因此，存在与用户的偏好匹配的许多图像的可能性高。

外部装置301的控制单元411被配置为能够以与照相机101中的学习处理单元219相同的性能级别，使用专用应用来处理存储单元404中所保存的图像。然后，通过将处理后的学习数据通信至照相机101来执行学习。可选地，该配置可以如下：将要学习的图像或数据等发送至照相机101，然后在照相机101内学习这些图像或数据等。如下的配置也是可以的：用户使用专用应用从存储单元404内所保存的图像中选择要学习的图像，然后学习这些图像。

根据由外部装置上传到SNS服务器的信息的学习

现在将说明将来自社交网络服务(SNS)的信息用于学习的方法，其中该SNS是构建主要目标是使人彼此联系的社交网络服务的服务或网站等。存在如下的技术：在将图像上传至SNS时，从外部装置301输入与该图像有关的标签，然后将这些标签连同图像一起发送。还存在如下的技术：用户输入他或她是喜欢还是不喜欢其它用户所上传的图像，因而可以判断其它用户所上传的图像是否是与外部装置301的所有者的偏好匹配的图像。

如上所述，可以使用下载到外部装置301的专用SNS应用来获取用户他或她自己所上传的图像以及与图像有关的信息。还可以通过输入用户是否喜欢其它用户所上传的图像来获取与用户的偏好匹配的图像和标签信息等。这使得可以通过分析这些图像和标签信息等来在照相机101内执行学习。

外部装置301的控制单元411被配置为能够如上所述获取用户所上传的图像和被判断为用户喜欢的图像等，并且以与照相机101内的学习处理单元219相同的性能执行处理。然后，通过将处理后的学习数据通信至照相机101来执行学习。可选地，配置可以如下：将要学习的图像发送至照相机101，然后在照相机101内学习这些图像。

可以根据标签信息中所设置的被摄体信息(例如，表示诸如狗或猫等的被摄体的类型的物体信息、表示海滩等的场景信息、以及表示微笑等的表情信息等)来估计有可能与用户的偏好匹配的被摄体的信息。然后，通过将该被摄体登记为要输入至神经网络的要检测的被摄体来执行学习。

如下的配置也是可以的：根据上述的SNS标签信息(图像滤波器信息和被摄体信息等)的统计值来估计当前世界流行的图像的信息，然后可以在照相机101内学习该信息。

通过使用外部装置来改变照相机参数的学习

如上所述，照相机101和外部装置301包括通信单元。可以将照相机101中当前设置的学习参数(神经网络权重和输入至神经网络的被摄体的选择等)通信至外部装置301，并且保存在外部装置301的存储单元404中。另外，可以使用外部装置301中所设置的专用应用经由公共无线控制单元406获取专用服务器中所设置的学习参数，并且将这些学习参数设置为照相机101内的学习参数。因而，通过将从某时间点起的参数设置在外部装置301中并将这些参数设置在照相机101中，可以恢复学习参数。另外，可以经由专用服务器获取其它用户所保持的学习参数，并将这些学习参数设置在用户自身的照相机101中。

另外，用户所登记的语音命令、认证登记和手势能够使用外部装置301中所设置的专用应用来登记，并且还可以登记重要场所。将该信息作为自动拍摄模式处理期间(图9A)的拍摄触发、以及针对自动拍摄判断的输入数据等来处理。另外，使用使得可以设置拍摄频率、启动间隔、静止图像与运动图像的比例、以及偏好图像等的配置，可以设置以上在“低电力模式控制”中所述的启动间隔等。

根据使用外部装置手动编辑的图像的信息的学习

外部装置301中的专用应用可以设置有允许用户手动编辑图像的功能，并且编辑操作的详情可被反馈到学习处理中。例如，可以执行添加图像效果(裁切、旋转、擦除、缩放、淡入淡出、颜色转换滤波效果、时间、静止图像/运动图像比例、以及BGM等)的编辑。然后，利用来自图像的学习信息来训练自动编辑所用的神经网络，以使得判断为添加已手动编辑的图像效果。

接着，将说明学习处理序列。在图7的步骤S704中所执行的模式设置判断中，判断是否应当执行学习处理。如果判断为应当执行学习处理，则执行步骤S716的学习模式处理。

首先，将说明学习模式判断条件。基于自前次学习处理起所经过的时间量、在学习中可以使用的信息的数量、以及是否存在经由通信装置作出的用以执行学习处理的指示等，来判断是否转变为学习模式。在图13中示出在步骤S704的模式设置判断处理内执行的用于判断是否转变为学习模式的处理的流程。

在步骤S704的模式设置判断处理中指示开始学习模式判断时，图13中所示的处理开始。在步骤S1401中，判断是否存在来自外部装置301的登记指示。这里，“登记”是指与是否存在针对诸如以下等的学习的登记指示有关的判断：上述的“根据外部装置所获取到的图像的学习”、“通过经由外部装置针对图像输入判断值的学习”和“通过分析外部装置中所保存的图像的学习”。

如果在步骤S1401中存在来自外部装置301的登记指示，则序列进入步骤S1408，其中在步骤S1408中，学习模式判断被设置成“真”，使得执行步骤S716的处理。然后，学习模式判断处理结束。然而，如果在步骤S1401中不存在来自外部装置的登记指示，则序列进入步骤S1402。

在步骤S1402中，判断是否存在来自外部装置的学习指示。这里，“学习指示”与“通过使用外部装置来改变照相机参数的学习”一样，是指与是否存在用以设置学习参数的指示有关的判断。如果在步骤S1402中存在来自外部装置的学习指示，则序列进入步骤S1408，其中在步骤S1408中，将学习模式判断成“真”，使得执行步骤S716的处理。然后，学习模式判断处理结束。然而，如果在步骤S1402中不存在来自外部装置的学习指示，则序列进入步骤S1403。

在步骤S1403中，获取自执行前次学习处理(神经网络权重的重新计算)起所经过的时间量TimeN，之后序列进入步骤S1404。在步骤S1404中，获取要新学习的数据的数据数量DN(在自从执行前次学习处理起所经过的时间量TimeN期间针对学习所指定的图像的数量)，之后序列进入步骤S1405。在步骤S1405中，计算用于基于所经过的时间量TimeN来判断是否进入学习模式的阈值DT。该设置如下：阈值DT的值越低，越容易进入学习模式。例如，作为在TimeN小于预定值时的阈值DT的值的DTa被设置得高于作为在TimeN大于预定值时的阈值DT的值的DTb，并且该阈值被设置成随着时间的经过而减小。因此，即使学习数据少，在经过了更大量的时间时，也更容易进入学习模式。再次执行学习使得照相机更容易根据使用照相机的时间量来通过学习而改变。

一旦在步骤S1405中计算出了阈值DT，则序列进入步骤S1406，其中在步骤S1406中，判断用于学习的数据数量DN是否大于阈值DT。如果数据数量DN大于阈值DT，则序列进入步骤S1407，其中在步骤S1407中，将DN设置为0。然后，序列进入步骤S1408，其中在步骤S1408中，将学习模式判断设置成“真”，使得执行步骤S716(图7)的处理。然后，学习模式判断处理结束。

如果在步骤S1406中DN小于或等于阈值DT，则序列进入步骤S1409。这里，不存在来自外部装置的登记指示和学习指示，并且用于学习的数据数量小于或等于预定值。因此，将学习模式判断设置成“假”，使得不执行步骤S716的处理，之后学习模式判断处理结束。

接着，将说明在学习模式处理(步骤S716)内执行的处理。图14是示出在学习模式处理中执行的操作的详细流程图。

在图7的步骤S715中判断为学习模式并且序列进入步骤S716时，图14所示的处理开始。在步骤S1501中，判断是否存在来自外部装置301的登记指示。如果在步骤S1501中存在来自外部装置301的登记指示，则序列进入步骤S1502。在步骤S1502中，执行各种登记处理。

各种类型的登记是要输入至神经网络的特征的登记，诸如面部认证的登记、一般物体识别的登记、声音信息的登记、以及场所信息的登记等。一旦登记处理结束，则序列进入步骤S1503，其中在步骤S1503中，基于步骤S1502中所登记的信息来改变输入至神经网络的元素。一旦步骤S1503的处理结束，则序列进入步骤S1507。

如果在步骤S1501中判断为不存在来自外部装置301的登记指示，则序列进入步骤S1504，其中在步骤S1504中，判断是否存在来自外部装置301的学习指示。如果存在来自外部装置301的学习指示，则序列进入步骤S1505，其中在步骤S1505中，将从外部装置301通信的学习参数设置在各种判断器(即，神经网络权重等)中。然后，序列进入步骤S1507。

然而，如果在步骤S1504中不存在来自外部装置301的学习指示，则在步骤S1506中执行学习(神经网络的权重的重新计算)。在如使用图13所述、要学习的数据数量DN超过阈值DT并且要再学习各个判断器的情况下，执行步骤S1506的处理。使用诸如误差反向传播或梯度下降等的方法来执行再学习，重新计算神经网络中的权重，并且改变判断器的参数。一旦设置了学习参数，则序列进入步骤S1507。

在步骤S1507中，对文件中的图像重新评分。在本实施例中，基于学习结果来对文件(记录介质221)中所保存的所有拍摄图像赋予得分，并且该配置为根据所提供的得分来执行自动编辑和自动文件删除等。因此，在经由再学习或从外部装置设置了学习参数的情况下，还需要更新赋予至已拍摄到的图像的得分。因而，在步骤S1507中，执行重新计算，以将新的得分赋予至文件内所保存的拍摄图像，并且在该处理结束时，学习模式处理也结束。

本实施例说明了在照相机101内执行学习的结构。然而，即使利用外部装置301设置有学习功能、将学习所需的数据通信至外部装置301、并且仅在外部装置中执行学习的结构，也可以实现相同的学习效果。在这种情况下，该配置可以如下：如以上在“通过使用外部装置来改变照相机参数的学习”中所述，通过使用通信将在外部装置中所学习的诸如神经网络权重等的参数设置在照相机101中来执行学习。

可选地，该配置可以如下：在照相机101和外部装置301这两者中都设置学习功能，其中例如在照相机101中要执行学习模式处理(步骤S716)时将外部装置301所保持的学习信息通信至照相机101，然后通过合并学习参数来执行学习。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种摄像设备，包括：

摄像部件，用于拍摄被摄体图像；

确定部件，用于在所述摄像部件所拍摄到的图像数据中确定用以搜索被摄体的区域；

变焦部件，用于改变所述摄像部件的拍摄视角；以及

控制部件，用于执行控制，使得在所述确定部件确定了用以搜索被摄体的区域的情况下，所述变焦部件将所述摄像部件的拍摄视角改变到广角侧。

2.根据权利要求1所述的摄像设备，

其中，所述确定部件包括计算部件，所述计算部件用于将所述摄像部件的拍摄视角分割成多个区域并且计算所述多个区域中的各区域的重要度级别。

3.根据权利要求2所述的摄像设备，

其中，基于所述多个区域的重要度级别，所述确定部件将重要度级别高的区域确定为用以搜索被摄体的区域。

4.根据权利要求2所述的摄像设备，

其中，在所述计算部件对所述重要度级别的计算是第一次计算的情况下、或者在所述重要度级别的前次计算之后经过了预定时间量的情况下，所述控制部件执行控制，使得所述变焦部件将所述拍摄视角改变到广角侧。

5.根据权利要求1所述的摄像设备，

其中，在对所述摄像部件进行了手动平摇操作的情况下，所述控制部件执行控制，使得所述变焦部件将所述拍摄视角改变到广角侧。

6.根据权利要求5所述的摄像设备，

其中，所述控制部件基于在对所述摄像部件进行了手动平摇操作的情况下的操作量，来控制所述变焦部件将所述拍摄视角向广角侧改变的量。

7.根据权利要求6所述的摄像设备，

其中，所述控制部件执行控制，使得在对所述摄像部件进行了手动平摇操作的情况下的操作量大于或等于预定量的情况下，所述变焦部件将所述拍摄视角移动到广角侧。

8.根据权利要求7所述的摄像设备，还包括：

计算部件，用于将所述摄像部件的拍摄视角分割成多个区域，并且计算所述多个区域中的各区域的重要度级别，

其中，在对所述摄像部件进行了手动平摇操作的情况下的操作量大于或等于预定量的情况下，所述控制部件删除先前存储的重要度级别。

9.根据权利要求6所述的摄像设备，

其中，所述控制部件执行控制，使得在对所述摄像部件进行了手动平摇操作的情况下的操作量小于预定量的情况下，所述变焦部件将所述拍摄视角移动到广角端之前的预定广角位置。

10.根据权利要求9所述的摄像设备，还包括：

计算部件，用于将所述摄像部件的拍摄视角分割成多个区域，并且计算所述多个区域中的各区域的重要度级别，

其中，在对所述摄像部件进行了手动平摇操作的情况下的操作量小于预定量的情况下，所述控制部件保存先前存储的重要度级别。

11.根据权利要求5所述的摄像设备，

其中，在对所述摄像部件进行了手动平摇操作的情况下，所述控制部件使所述摄像部件相对于俯仰方向移动到水平位置。

12.一种摄像设备的控制方法，所述摄像设备包括用于拍摄被摄体图像的摄像部件，并且所述控制方法包括：

在所述摄像部件所拍摄到的图像数据中进行用以搜索被摄体的区域的确定；

进行所述摄像部件的拍摄视角的改变；以及

执行控制，使得在所述确定的步骤中确定了用以搜索被摄体的区域的情况下，在所述改变的步骤中将所述摄像部件的拍摄视角改变到广角侧。

13.一种存储有程序的计算机可读存储介质，所述程序用于使计算机执行摄像设备的控制方法的各步骤，所述摄像设备包括用于拍摄被摄体图像的摄像部件，并且所述控制方法包括：

在所述摄像部件所拍摄到的图像数据中进行用以搜索被摄体的区域的确定；

进行所述摄像部件的拍摄视角的改变；以及

执行控制，使得在所述确定的步骤中确定了用以搜索被摄体的区域的情况下，在所述改变的步骤中将所述摄像部件的拍摄视角改变到广角侧。

Images