CN117278832A - 控制设备、摄像设备、控制方法、记录介质和摄像系统 - Google Patents

Abstract

本发明涉及一种控制设备、摄像设备、控制方法、记录介质和摄像系统。控制设备控制通过自动拍摄来获得要提供给用户的图像的摄像设备。该设备评价被摄体的状态，基于该评价的结果来判断是否使得摄像设备进行拍摄，获得表示分别针对被摄体的状态类型的用户的需求趋势的需求信息，并且基于该需求信息来控制该判断的操作。该设备控制该判断的操作，使得摄像设备进行拍摄的频度根据对被摄体的各个状态类型的需求的大小而变化。

Description

控制设备、摄像设备、控制方法、记录介质和摄像系统

技术领域

本发明涉及控制设备、摄像设备、控制方法、记录介质和摄像系统，并且特别涉及通过检测被摄体来进行自动拍摄的系统。

背景技术

存在进行不以用户所输入的拍摄指示为条件的拍摄(以下可称为自动拍摄)并且记录图像的摄像设备(日本特开2021-057815)。近年来，设想了在诸如体育节和演奏会等的节日和活动中使用这样的摄像设备、以及开发使通过自动拍摄所记录的图像可用于用户的服务。

另一方面，对日本特开2021-057815中所述的摄像设备进行控制，使得在执行拍摄操作之后的预定时间段内不进行再拍摄，以避免记录许多类似图像。然而，对拍摄操作的这种控制导致了在满足用户需求的场景中进行拍摄的次数减少的可能性。

发明内容

本发明是有鉴于上述问题而做出的，并且提供一种控制设备、摄像设备、控制方法、记录介质和摄像系统，其实现容易地记录处于用户所期望的状态的被摄体的自动拍摄。

本发明在其第一方面提供一种控制设备，所述控制设备用于控制摄像设备，所述摄像设备通过自动拍摄来获得要提供给用户的图像，所述控制设备包括至少一个处理器和/或电路，所述至少一个处理器和/或电路被配置为用作以下单元：评价单元，其被配置为评价被摄体的状态；判断单元，其被配置为基于所述评价单元所进行的评价的结果，来判断是否使得所述摄像设备进行拍摄；获得单元，其被配置为获得需求信息，所述需求信息用于表示分别针对被摄体的状态类型的用户的需求趋势；以及控制单元，其被配置为基于所述获得单元所获得的需求信息来控制所述判断单元的操作，其中，所述控制单元控制所述判断单元的操作，使得所述摄像设备进行拍摄的频度根据针对被摄体的各个状态类型的需求的大小而变化。

本发明在其第二方面提供一种摄像设备，其包括：摄像单元；根据第一方面的控制设备；以及记录单元，其被配置为在所述判断单元判断为使得进行拍摄的情况下，记录所述摄像单元所拍摄到的图像。

本发明在其第三方面提供一种控制设备的控制方法，所述控制设备用于控制摄像设备，所述摄像设备通过自动拍摄来获得要提供给用户的图像，所述控制方法包括：评价被摄体的状态；基于在所述评价中进行的评价的结果，来判断是否使得所述摄像设备进行拍摄；获得需求信息，所述需求信息用于表示分别针对被摄体的状态类型的用户的需求趋势；以及基于在所述获得中所获得的需求信息来控制所述判断，其中，在所述控制中，控制所述判断，使得所述摄像设备进行拍摄的频度根据针对被摄体的各个状态类型的需求的大小而变化。

本发明在其第四方面提供一种计算机可读记录介质，其记录有程序，所述程序用于使得计算机执行根据第三方面的控制方法。

本发明在其第五方面提供一种摄像系统，所述摄像系统用于向用户提供通过摄像设备进行的自动拍摄所获得的图像，所述摄像系统包括所述摄像设备、用于控制所述摄像设备的控制设备、以及用于基于提供给用户的图像来收集用户的需求趋势的收集服务器，所述控制设备包括至少一个处理器和/或电路，所述至少一个处理器和/或电路被配置为用作以下单元：评价单元，其被配置为评价被摄体的状态；判断单元，其被配置为基于所述评价单元所进行的评价的结果，来判断是否使得所述摄像设备进行拍摄；获得单元，其被配置为从所述收集服务器获得需求信息，所述需求信息用于表示分别针对被摄体的状态类型的用户的需求趋势；以及控制单元，其被配置为基于所述获得单元所获得的需求信息来控制所述判断单元的操作，其中，所述控制单元控制所述判断单元的操作，使得所述摄像设备进行拍摄的频度根据针对被摄体的各个状态类型的需求的大小而变化。

通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示例性示出根据本发明的实施例和变形例的摄像系统的结构的图。

图2A和图2B是用于说明根据本发明的实施例和变形例的摄像设备100的图。

图3是示例性示出根据本发明的实施例和变形例的摄像设备100的功能结构的框图。

图4是示例性示出根据本发明的实施例和变形例的与自动拍摄序列中的搜索操作相关的处理的流程图。

图5A、图5B、图5C和图5D是用于说明根据本发明的实施例和变形例的搜索操作的图。

图6A和图6B是用于说明根据本发明第一实施例的自动拍摄中的等待时间段的图。

图7是示例性示出根据本发明第一实施例的与自动拍摄序列中的拍摄判断相关的处理的流程图。

图8是示例性示出根据本发明第一变形例的与自动拍摄序列中的拍摄判断相关的处理的流程图。

图9A、图9B和图9C是用于说明根据本发明第二实施例的与拍摄判断相关的处理的图。

具体实施方式

[第一实施例]

在下文，将参考附图来详细说明实施例。注意，以下实施例并不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但不限于需要所有这些特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，将相同的附图标记赋予相同或类似的结构，并且省略了其冗余说明。

以下说明的实施例与作为控制设备的一个示例的如下示例有关，在该示例中，将本发明应用于能够在满足预定条件时拍摄要提供给用户的图像(自动拍摄)的摄像设备。然而，不论用户所进行的操作输入如何，本发明都可应用于能够控制能够进行自动拍摄的摄像设备上的拍摄的定时的任何装置。

此外，在本说明书中，假定“自动拍摄”不是在接受了用户所进行的与拍摄指示相关的操作输入时进行的拍摄，而是在经由特定设备上的场景识别判断为在当前状况下应进行拍摄时所进行的拍摄。这里，假定“场景”是指摄像设备所拍摄的环境，并且在狭义上可以指可以通过平摇或俯仰操作在摄像设备的视角内所拍摄的空间。在场景识别中可以使用拍摄图像和来自外部传感器的输出等，并且在例如该识别结果满足预定拍摄条件的情况下执行自动拍摄。

<<摄像系统的结构>>

图1是示意性示出根据本发明实施例的摄像系统的结构的图。

本实施例的摄像系统提供了用于向用户销售通过放置在预定场景中的摄像设备100针对该场景中的被摄体进行自动拍摄所获得的图像(以下称为记录图像)的服务。尽管后面将说明详情，但不论用户所进行的操作输入如何，摄像设备100都被配置为能够自主地执行与图像记录相关的拍摄。尽管记录图像可以是静止图像或运动图像，但在本实施例中将它们作为静止图像进行描述，以便于理解本发明。

在图1的系统中，通过由摄像设备100进行的自动拍摄所获得的记录图像经由连接到同一局域网(LAN)120的通信终端110被发送到网络170中的数据服务器130。LAN 120可以是使用有线或无线连接构成的网络，并且实现摄像设备100和通信终端110之间的相互信息通信。此外，LAN 120经由未示出的路由器连接到网络170。网络170例如是诸如因特网等的广域网，并且使得能够在LAN 120外部的设备与通信终端110之间进行信息通信。

数据服务器130是累积记录图像的服务器。尽管在图1的示例中示出仅一个摄像设备100，但拍摄记录图像的摄像设备100的数量不限于一个，并且可以包括多个摄像设备。在这种情况下，数据服务器130收集并累积各摄像设备100所拍摄到的记录图像。

提供方服务器140提供向用户销售数据服务器130中所累积的记录图像的服务(以下称为拍摄销售服务)。为了使用拍摄销售服务，各用户使得客户端终端160(其可以是诸如PC和智能电话等的电子装置)经由浏览应用访问与提供方服务器140相关的预定站点(服务提供站点)。在本实施例的服务提供站点上，用户使用该用户特有的标识信息登录到拍摄销售服务；结果，用户可以查看数据服务器130中所累积的记录图像中的与用户相关的图像，并且从这些图像中选择并购买期望的记录图像。这里，与用户相关的记录图像等同于例如包括作为个人的用户、用户的家庭成员或熟人、或者与用户有关系的人物等作为被摄体的图像、以及具有由用户指定的属性(诸如用户所参加的活动等)的图像。例如以下载高分辨率数据的模式以及以将记录图像打印在预定薄片上并邮寄的模式等，可以将用户所购买的记录图像提供给用户。

收集服务器150基于拍摄销售服务的各用户所购买的记录图像的信息(购买信息)来管理作为对用户的需求趋势的分析的需求信息。在假定针对各用户管理需求信息(也就是说，基于一个用户的购买信息来配置与该用户相关的需求信息)的情况下说明本实施例的摄像系统。尽管后面将说明详情，但需求信息是在控制是否在摄像设备100上进行自动拍摄时所参考的信息，并且是通过根据用户所购买的记录图像中的被摄体的状态类型分析用户希望获得的记录图像的趋势(需求趋势)所获得的。在用户期望通过摄像设备100进行自动拍摄的情况下，将基于用户的过去购买信息的需求信息发送到摄像设备100；结果，对摄像设备100的操作进行控制，使得在被摄体处于用户高度需求的状态的定时进行自动拍摄。结果，针对用户有可能购买的记录图像进行自动拍摄；因此，从用户的观点来看，更容易获得示出处于期望状态的被摄体的记录图像，而从服务提供方的观点来看，预计销售增加。

尽管后面将说明详情，但关于用户所购买的记录图像，本实施例的收集服务器150指定在这些记录图像中示出的与用户相关的人物(例如，家庭成员)的面部表情，并且针对各面部表情分析用户的需求趋势。假定通过机器学习来进行分析，并且收集服务器150通过指定在已购买的记录图像中示出的被摄体的面部表情的类型(微笑面部和哭泣面部等)、并且学习已购买的记录图像整体中的各面部表情的比例，来获得与用户的需求趋势相关的学习结果。

注意，尽管为简单起见在假定构成摄像系统的设备处于图1的模式的情况下说明本实施例，但本发明不限于以这种方式体现。各个设备(诸如服务器等)的各个功能(例如，图像的记录、销售和学习)不必一定局限于由一个设备执行；这些功能的一部分可以通过多个设备协调操作来执行，或者多个功能可以由一个设备执行。此外，由诸如服务器等的设备执行的功能的一部分可以由摄像设备100执行。

<摄像设备100的结构>

接着，将使用图2A、图2B和图3来详细说明本实施例的摄像设备100的结构和功能结构。

图2A示意性示出摄像设备100的外部结构。如该图所示，在摄像设备100上，镜筒201(其是包括进行摄像的拍摄透镜组件和图像传感器的壳体)经由转动机构附接到固定单元202。在该图的示例中，相对于固定单元202设置固定的三维坐标系(XYZ笛卡尔坐标系)。如图2B所示，转动机构包括使镜筒201围绕X轴在纵摇(pitch)方向上转动的俯仰转动单元203和使镜筒201围绕Y轴在横摆(yaw)方向上转动的平摇转动单元204。也就是说，在本实施例的摄像设备100中，镜筒201被配置为能够使用包括俯仰转动单元203和平摇转动单元204的双轴转动机构来改变摄像方向。

摄像设备100的固定单元202设置有检测摄像设备100和镜筒201的振动和运动的角速度计205和加速度计206。在后面所述的抖动检测单元309基于来自角速度计205和加速度计206的输出检测到振动的情况下，对俯仰转动单元203和平摇转动单元204中的至少一个的驱动进行控制以进行模糊校正和倾斜校正。

图3是示例性示出摄像设备100的功能结构的框图。

第一控制单元323被配置为包括处理器(例如，CPU、GPU、微处理器或MPU等)和存储器(例如，DRAM或SRAM等)。该处理器和存储器通过执行各种类型的处理，来控制摄像设备100的各块的操作并控制各块之间的数据传送。非易失性存储器(闪速ROM)316是电可擦除且可记录的存储器，并且例如存储第一控制单元323的操作所用的常数和程序。

镜筒201包括具有进行变倍的变焦透镜的变焦单元301和具有进行焦点调整的透镜的调焦单元303。变焦单元301的驱动由变焦控制单元302控制，并且调焦单元303的驱动由调焦控制单元304控制。

摄像单元306包括图像传感器，接收经由透镜组件入射到图像传感器上的光，并且将通过对与入射光量相对应的电荷的信息应用模数(A/D)转换所获得的数字图像数据输出到图像处理单元307。图像处理单元307对输入的图像数据应用各种类型的图像处理。在从摄像单元306输入了图像数据的情况下，图像处理单元307对该图像数据应用诸如失真校正、白平衡调整和颜色插值处理等的图像处理，并且输出如此得到的数字图像数据。从图像处理单元307输出的数字图像数据在图像编码单元308中被转换成诸如JPEG格式等的记录格式，并且被发送到存储器315和后面所述的输出单元317。

转动驱动单元305通过驱动俯仰转动单元203和平摇转动单元204来使镜筒201在纵摇方向和横摆方向上转动并驱动。由转动驱动单元305引起的镜筒201的转动和驱动不仅用于改变摄像方向，而且用于进行用于抵消摄像设备100的振动的模糊校正。如前面所述，抖动检测单元309包括检测摄像设备100的三轴方向上的角速度的角速度计205和检测该设备的三轴方向上的加速度的加速度计206。在这种情况下，基于抖动检测单元309所检测到的信号来推导摄像设备100的转动角度和偏移量等，并将它们用于转动驱动单元305的驱动和控制。

声音输入单元313从摄像设备100中所设置的未示出的麦克风获得摄像设备100周围的声音作为声音信号，对该声音信号应用A/D转换，并且将如此得到的声音信号发送到声音处理单元314。声音处理单元314执行声音相关处理，诸如用于使输入的数字声音数据适当的处理等。然后，第一控制单元323将由声音处理单元314处理后的声音数据发送到存储器315。存储器315暂时存储由图像处理单元307和声音处理单元314获得的图像数据和声音数据。

在拍摄时等进行记录的情况下，图像处理单元307和声音处理单元314读出存储器315中暂时存储的图像数据和声音数据，执行用于对图像信号进行编码以及对声音数据进行编码等的处理，并且生成压缩图像数据和压缩声音数据。第一控制单元323将这样的压缩图像数据和压缩声音数据发送到记录和再现单元320。

记录和再现单元320将由图像处理单元307和声音处理单元314生成的压缩图像数据和压缩声音数据、以及与拍摄相关的其他控制数据等记录到记录介质321中。此外，在不对声音数据应用压缩编码的情况下，第一控制单元323将声音处理单元314所生成的声音数据和图像处理单元307所生成的压缩图像数据发送到记录和再现单元320，并将它们记录到记录介质321中。

记录介质321可以是内置在摄像设备100中的记录设备，或者可以是被配置为可附接到摄像设备100且从摄像设备100可移除的存储设备。记录介质321可以保持在内部记录各种类型的数据，诸如由摄像设备100生成的压缩图像数据和压缩声音数据等，并且通常使用具有比非易失性存储器316更大的容量的存储设备作为记录介质321。记录介质321例如可以包括基于各种方法的记录设备，诸如硬盘、光盘、磁光盘、CD-R、DVD-R、磁带、非易失性半导体存储器和闪速存储器等。

记录和再现单元320读出(再现)记录介质321中所记录的各种类型的数据，诸如压缩图像数据和压缩声音数据等。然后，第一控制单元323将所读出的压缩图像数据和压缩声音数据发送到图像处理单元307和声音处理单元314。图像处理单元307和声音处理单元314将压缩图像数据和压缩声音数据暂时存储到存储器315中，按预定过程对它们进行解码，并且将解码后的信号发送到输出单元317和声音输出单元318。

注意，假定声音输入单元313包括多个未示出的麦克风，声音处理单元314可以检测这多个麦克风放置于的平面中的声音的方向，并且在后面所述的搜索和自动拍摄中使用这样的方向。此外，声音处理单元314可被配置为能够检测特定的声音命令。这些声音命令可被配置为能够包括预先登记的命令，并且附加地包括用户所登记的特定声音。此外，声音处理单元314还能够识别声音场景。在声音场景的识别中，使用基于预先准备的大量声音数据的机器学习所训练的网络判断进行拍摄的场景(声音场景)。例如，可以在声音处理单元314中设置用于检测特定场景(其中，“欢呼声响起”、“掌声响起”和“发出了声音”等)的网络，并且该网络是可检测的。在这种情况下，声音处理单元314可被配置为在检测到特定声音场景或特定声音命令时，向第一控制单元323和第二控制单元311输出检测触发信号。

第二控制单元311是与第一控制单元323分开设置的控制设备，并且控制向第一控制单元323的电源供给。假定本实施例的摄像设备100包括两个类型的控制设备(即，第一控制单元323和第二控制单元311)，使得不仅可以根据对诸如电源开关等的操作构件进行的操作输入，而且可以根据前述的声音命令和抖动检测单元309所进行的检测的结果，来启动摄像设备100。更具体地，在仅执行有限功能(诸如利用声音处理单元314的声音检测和利用抖动检测单元309的抖动检测等)的情况下，仅第二控制单元311开始操作，控制这些单元，并且判断是否满足摄像设备100的启动条件。然后，在第二控制单元311判断为满足启动条件的情况下，第二控制单元311使第一电源单元310向第一控制单元323供给电源，使得对包括拍摄的摄像设备100的所有块的操作进行控制。第一控制单元323根据第二控制单元311所进行的判断而开始控制，并且进行与启动的原因相对应的各种类型的操作。因此，第二电源单元312是被配置为在从连接到摄像设备100的电池供给了电源或者经由适配器或USB供给了外部电源时恒定地处于ON(接通)状态的电源电路，并且向第二控制单元311供给电源。

LED控制单元324控制摄像设备100中所设置的LED，使得在例如拍摄等时LED以预设图案点亮或闪烁。声音输出单元318在例如拍摄等时从摄像设备100中内置的扬声器输出预设声音图案。输出单元317例如由视频输出端子构成，并且输出图像信号以使所连接的外部显示器等显示视频。声音输出单元318和输出单元317可以是单个联合端子，例如，如高清多媒体接口()端子那样的端子。

通信单元322例如是与摄像设备100中所包括的外部设备的通信接口，诸如红外通信模块、通信模块和无线LAN通信模块等。通信单元322向外部设备发送和从外部设备接收例如声音数据和图像数据。在本实施例中，摄像设备100经由通信单元322与通信终端110进行信息通信，并且发送记录图像或接收与收集服务器150的学习结果相关的需求信息。此外，通信单元322还可以从外部装置接收与拍摄相关的控制信号(诸如拍摄开始或完成命令、以及平摇、俯仰或变焦驱动等)；在这种情况下，所接收到的控制信号被发送到第一控制单元323，并且进行摄像设备100的驱动和控制。注意，尽管在假定通过由摄像设备100进行的拍摄所获得的记录图像经由通信终端110发送到数据服务器130的情况下说明本实施例，但本发明不限于以这种方式体现。记录图像可以经由摄像设备100和数据服务器130之间的通信和连接直接发送到数据服务器130。

识别单元325检测存在于场景中的人物的面部，并且执行面部识别处理，该面部识别处理用于识别该检测到的面部是谁的面部，以及特别地，该检测到的面部是否属于要拍摄的人物。在本实施例的拍摄销售服务中，要拍摄的人物(被摄体)的面部根据使用该拍摄销售服务的用户而变化。因此，在摄像设备100中，在从用户接受了自动拍摄的请求的情况下，在自动拍摄之前获得被摄体的面部图像。例如，被摄体的面部图像可以从进行了自动拍摄的请求的用户所使用的终端接收到，可以从收集服务器150或数据服务器130等作为与用户相关联地登记的面部图像获得，或者可以由摄像设备100通过初步拍摄获得。因此，识别单元325针对在摄像设备100的启动期间间歇地获得的拍摄图像执行面部检测处理，并且在检测到面部的情况下，通过面部识别处理判断该面部与要拍摄的人物的面部图像是否匹配。面部识别处理可以使用例如识别面部的眼睛、鼻子和嘴巴等的位置并经由与数据库的交叉引用来进行识别的2D识别方法，并且还可以使用利用红外传感器和点阵投影仪来进行识别的3D识别方法。

设置单元326设置进行自动拍摄的拍摄条件。尽管后面将说明详情，但由于本实施例的摄像设备100在不接受来自用户的与拍摄指示相关的操作输入的情况下进行自动拍摄，因此设置表示在哪个条件下进行拍摄的拍摄条件。尽管可以以任何方式设置拍摄条件，但在以下所述的模式中假定拍摄条件是相对于通过评价被摄体的状态适合拍摄的程度(对拍摄的适合程度)所获得的评价值而设置的。可以通过相对于例如诸如面部检测的状况、面部识别的结果、被摄体闭眼的程度、被摄体的面部的面部表情、面部的方向以及被摄体区(subject region)的大小等的评价标准评价拍摄图像，来获得与适合程度相关的评价值。假定例如每当获得拍摄图像时推导评价值，并且在该评价值超过预设拍摄阈值的情况下判断为要进行拍摄。也就是说，评价值越高，评价值表示摄像设备100正在拍摄的场景越适合拍摄。因此，拍摄条件可以确定用于推导该拍摄阈值的方法以及拍摄阈值。

<<拍摄销售服务的概述>>

以下说明使用本实施例的摄像系统提供的拍摄销售服务的概述。拍摄销售服务大致划分为拍摄阶段和销售阶段，在该拍摄阶段中，摄像设备100在从用户接收到用于拍摄预定被摄体(人物)的请求时进行自动拍摄，在该销售阶段中，用户从通过自动拍摄所记录的记录图像中选择并购买期望的图像。拍摄请求可以作为例如用户操作通信终端110中所设置的操作输入构件的结果而被接受，或者可以在通信终端110从用户所使用的通信终端接收到相应信息时被接受。可替代地，可以经由摄像设备100中所设置的未示出的操作输入构件接受拍摄请求。在接受了拍摄请求时，通信终端110将表示该拍摄请求的信息经由LAN120发送到摄像设备100。此时，需要登录到拍摄销售服务以进行拍摄请求，并且基于该登录来标识用户。

拍摄阶段例如等同于举办诸如体育节和校园剧等的要拍摄的活动的时间段。摄像设备100例如由活动组织者等预先放置在会场等内；在活动正在进行时，摄像设备100拍摄会场的图像，并且在满足所设置的拍摄条件的情况下进行拍摄并对记录图像进行记录。摄像设备100可以以其固定(安装)在例如云台或基座上的模式放置，或者以其可移动地安装在汽车等上的模式放置。要拍摄的被摄体是与进行拍摄请求的用户相关联的人物；例如，在像体育节这样的活动中，被摄体可以是参加该体育节中的竞赛的(用户的)孩子(学生)。记录图像在活动正在进行时顺次地或者在活动结束之后的预定定时经由通信终端110被上传并累积在数据服务器130中。

另一方面，销售阶段等同于例如在将拍摄阶段中所记录的记录图像上传到数据服务器130完成之后、在提供方服务器140上设置与活动相对应的查看用Web页面(以下称为销售页面)的时间段。更具体地，销售阶段等同于用以访问服务提供站点中的该销售页面的权限被授予用户的时间段。用户可以经由浏览应用(浏览器)从客户端终端160访问服务提供站点，并且通过输入用户ID和密码进行登录来查看用户已被授予访问权限的销售页面。在销售页面上，可以确认各记录图像的内容，可以选择是否购买各记录图像，并且可以进行与所选择的记录图像的购买相关的支付过程。

本实施例的摄像系统进行如下的控制：基于购买信息来根据需要更新表示用户的需求趋势的需求信息，并且在之后使用拍摄销售服务时的拍摄阶段中基于该需求信息来改变自动拍摄的拍摄频度。换句话说，拍摄销售服务不仅进行针对一个活动完成的自动拍摄和图像销售，而且基于与一个活动相关的用户的购买信息来学习用户的需求，并且将这些需求反映在针对其他活动的自动拍摄中的拍摄控制中。结果，在拍摄阶段中，进行控制以增加在被摄体处于用户高度需求的状态(具有面部表情)时的拍摄频度，并且可以增加在该状态下拍摄到的记录图像的数量。此外，在销售阶段中，该用户或利用者可以从与他们的偏好匹配的更大量记录图像中选择要购买的图像，并且提供服务的商业经营者可以期待利润增加。

因此，在提供本实施例的拍摄销售服务时，在摄像系统中执行以下序列的处理。另外，以下说明如下的模式作为本发明的示例：在一个用户针对使用本图像拍摄系统的活动进行了用于拍摄他们的孩子的请求的情况下，摄像设备100响应于该请求而进行包括该孩子的场景的自动拍摄。

<用户登记序列>

在本实施例的拍摄销售服务中，如前面所述，在拍摄阶段中选择与进行拍摄请求的用户相关联的人物作为被摄体。也就是说，需要在拍摄阶段开始之前设置针对使用服务的用户的被摄体，这是有必要的。此外，为了基于过去购买信息来控制自动拍摄的拍摄频度，需要识别用户是谁，并且在拍摄阶段开始之前获得该用户的过去购买信息或基于该过去购买信息所学习的需求趋势的信息。

因此，假定各用户进行了用户登记以使用拍摄销售服务。在本实施例的摄像系统中，在提供方服务器140中执行与用户登记相关的处理。配置用户登记，使得例如可以在与提供方服务器140相关的服务提供站点上进行用户登记，并且各用户通过使用浏览器从客户端终端160访问服务提供站点来进行用户登记，这就足够了。一旦用户进行了用户登记，就在例如提供方服务器140中所包括的数据库中登记并管理与该用户相关的信息(用户信息)。数据库中所管理的用户信息不仅可以包括唯一地标识用户的标识信息(诸如用户ID等)，而且可以包括作为与该用户相关的被摄体的人物的面部图像的信息。

<需求信息生成序列>

此外，为了将用户所购买的图像的需求趋势反映在摄像设备100的自动拍摄中，还与收集服务器150共享各用户的购买信息。与提供方服务器140类似，收集服务器150在未示出的数据库中管理使用拍摄销售服务的各个用户的信息。假定在收集服务器150的数据库中针对各用户所管理的信息包括该用户的用户ID以及基于该用户的购买信息通过机器学习所获得的学习结果的信息(需求信息)。需求信息是基于用户的购买信息在收集服务器150中生成并顺次更新的。在本实施例的收集服务器150中，分析用户所购买的记录图像中所包括的被摄体的面部的面部表情，并且将这些面部表情作为用户所需求的面部表情进行学习。也就是说，收集服务器150所生成的需求信息是通过基于购买信息针对各用户来学习偏好面部表情以及期望这些面部表情的程度(购买频度)所获得的学习结果。关于需求信息，在获得了表示相应用户新购买的记录图像的购买信息的情况下，将用户的需求趋势连同直到前次为止的学习结果一起更新。

注意，为了使需求信息是适当地反映用户偏好的信息，在针对该用户获得了与至少预定数量的记录图像相关的购买信息的条件下，在后面所述的自动拍摄中使用需求信息，这就足够了。也就是说，在所购买的记录图像的数量少(样本数量少)的情况下，即使基于其购买信息生成了需求信息，也存在需求信息没有适当地表示用户的需求的可能性。因此，可以在关于在数量上等于或大于用户的需求趋势由需求信息表示的设置数量的记录图像而学习了购买信息的条件下，使用关于用户所生成的需求信息。在这种情况下，许可采用如下的配置：在满足该条件之前不生成需求信息，也就是说，在购买了至少预定数量的记录图像之前不生成与用户相关的需求信息。

<自动拍摄序列>

此外，在拍摄阶段中，摄像设备100在不接受来自用户的与拍摄指示相关的操作输入的情况下，通过识别场景中所包括的要拍摄的被摄体(与进行拍摄请求的用户相关联的人物；以下称为目标被摄体)来进行自动拍摄。尽管摄像设备100被放置成其可以拍摄场景，但目标被摄体不必一定总是在其视角内拍摄到。由于该原因，自动拍摄序列包括用于进行控制使得在视角内发现并拍摄目标被摄体的搜索操作以及用于通过评价在视角内拍摄到的目标被摄体的状态来判断是否进行自动拍摄的拍摄判断操作。

(与搜索操作相关的处理)

首先，将参考图4的流程图来说明摄像设备100的搜索操作的概述。通过第一控制单元323读出例如非易失性存储器316中所存储的相应处理程序、将该处理程序展开到内置存储器、并执行该处理程序，可以执行与本流程图相对应的处理。本处理将被描述为例如在判断为在视角内未拍摄到目标被摄体时或者在视角内拍摄到的目标被摄体的位置改变时开始。

在步骤S401中，在第一控制单元323的控制下，识别单元325获得在当前摄像设置下要拍摄的图像中的预定对象的分布状况。更具体地，首先，图像处理单元307对摄像单元306所获得的拍摄图像应用预定图像处理，并且生成被摄体检测所用的图像(以下称为检测用图像)。然后，识别单元325通过针对该检测用图像执行用于检测预定对象的图像的检测处理来获得分布状况。在本实施例中，由于目标被摄体是人物，因此识别单元325在检测处理中检测到人物的图像作为预定对象。

人物的图像的检测可以通过从检测用图像中检测面部和人体来进行。例如，在面部检测处理中，使用预先设置的用于指定人物的面部的图案，检测到检测用图像中的表示该图案的区作为人物的面部区。假定此时识别单元325同时推导表示所检测到的面部区是面部的确定性的可靠度。假定基于例如检测用图像中的面部区的大小以及面部区和面部图案之间的一致程度等来推导可靠度。

在步骤S402中，第一控制单元323基于由抖动检测单元309获得的角速度和加速度的信息来推导施加到摄像设备100的抖动(振动)作为绝对角度。然后，第一控制单元323推导如下的转动角度作为图像模糊校正量，利用该转动角度，通过在抵消所推导出的绝对角度的角度方向上驱动俯仰转动单元203和平摇转动单元204来进行图像模糊校正。

在步骤S403中，第一控制单元323判断摄像设备100的放置状态。更具体地，第一控制单元323基于由抖动检测单元309获得的角速度信息和加速度信息，或者基于根据例如从未示出的GPS传感器输出的位置信息所获得的摄像设备100的拍摄方向和移动量，来判断放置状态。放置状态表示摄像设备100当前处于哪种振动状态和运动状态。例如，在摄像设备100正比预定速度更快地移动的情况下，估计为摄像设备100安装在诸如车辆等的移动体上，因此第一控制单元323判断为放置状态是“车辆移动状态”。此外，例如，在摄像方向的变化量小于基准值的情况下，第一控制单元323判断为放置状态是摄像设备100几乎不经历抖动的“静止拍摄状态”。此外，例如，在摄像方向的变化量大于基准值的情况下，预期人物正握持摄像设备100，因此第一控制单元323判断为放置状态是“手持状态”。顺次获得的拍摄图像内的图像的变化可以根据摄像设备100处于哪种放置状态而变化；因此，在后面将说明的确定搜索目标区域时参考本步骤中获得的放置状态的信息。

在步骤S404中，第一控制单元323确定接下来搜索目标被摄体的存在的摄像方向。摄像方向的确定包括“区域分割”、“针对各区域的重要度的推导”和“搜索目标区域的确定”的处理。以下将更详细地说明各处理。

(1)区域分割

现在使用图5A来说明区域分割的处理。在图5A的示例中，摄像设备100位于原点O处，并且以摄像设备100为中心的整个圆周被分割为区域。在图5A的示例中，在俯仰方向和平摇方向各自上以22.5度为单位进行分割。另一方面，在如图5A那样进行分割的模式中，随着俯仰方向上的角度偏离0度，水平方向上的圆周距离变得更短并且分割区域变得更小。由于该原因，如图5B所示，对于俯仰角度为45度以上的区，分割区域被设置为在水平方向(平摇方向)上具有比22.5度大的宽度。

图5C和图5D示出与摄像有关的视角内的已分割为区域的区的示例。在图5C中，轴501是初始化状态下的摄像设备100的方向，并且使用该方向作为基准位置来进行区域分割。区域502表示在与在初始化状态下进行的摄像有关的视角内拍摄到的区域，并且图5D示例性示出在该情况下拍摄到的拍摄图像。如该图所示，拍摄图像中的区503至518分别与不同的分割区域相对应。

(2)针对各区域的重要度水平的推导

随后，针对以前述方式分割的各个区域，第一控制单元323根据存在于该区域中的被摄体(人物)的状况来推导表示进行搜索的优先顺序的重要度水平。例如，基于存在于区域内的人物的数量、人物的面部的大小、面部的方向、面部检测的确定性、人物的面部表情、以及人物的个体识别结果等来推导基于被摄体的状况的重要度水平。在推导各区域的重要度水平时，可以基于步骤S403中判断出的摄像设备100的放置状态来进一步调整重要度水平。

注意，尽管关于由于目标被摄体是人物因此基于与人物相关的信息来推导各区域的重要度水平的模式说明了本实施例，但可以基于其他信息来推导重要度水平。可以根据例如场景的状况来推导重要度水平；例如，在推导中可以使用场景中的对象的识别结果、场景区分的结果(蓝天、背光或夜景等)、从区域的方向发出的声音的级别、声音识别的结果、以及区域内的运动的检测信息等。

此外，存在如下的可能性：如果仅使用上述条件，除非区域经历改变，否则具有最高重要度水平的区域保持相同，并且因此搜索目标区域不改变；由于该原因，可以根据过去拍摄信息来调整重要度水平。具体地，第一控制单元323可以降低已被连续指定为搜索目标重要度水平并持续预定不间断时间段的区域的重要度水平，或者降低与在预定时间段内进行了拍摄的方向相对应的区域的重要度水平。

(3)对搜索目标区域的确定

第一控制单元323基于针对各个区域所推导出的重要度水平来确定搜索目标区域。第一控制单元323例如将步骤(2)中所获得的具有最高重要度水平的区域确定为搜索目标区域就足够了。

一旦以这种方式确定了搜索目标区域，第一控制单元323就确定用于将该区域在视角内拍摄的摄像设备100的摄像方向，并且推导使镜筒201朝向该摄像方向所需的平摇角度和俯仰角度(以下称为搜索目标角度)。

在步骤S405中，第一控制单元323执行与摄像方向的变化相关联的平摇和俯仰驱动。更具体地，第一控制单元323通过将步骤S402中推导出的控制采样频度处的图像抖动校正量与步骤S404中推导出的基于搜索目标角度的驱动角度相加，来推导平摇和俯仰驱动量。然后，第一控制单元323使转动驱动单元305使用所推导出的平摇和俯仰驱动量来控制俯仰转动单元203和平摇转动单元204的驱动。

在步骤S406中，第一控制单元323执行与变焦因数的变化相关联的变焦驱动。更具体地，第一控制单元323根据步骤S404中确定的搜索目标区域中所分布的面部区的大小来确定要应用到变焦单元301的变焦因数。在本实施例中，由于识别出与目标被摄体相对应的面部区并且基于该目标被摄体的面部表情来控制自动拍摄，因此需要在后面所述的拍摄判断操作中以使得能够进行面部识别的大小来拍摄搜索目标区域中所包括的面部区。也就是说，如果在要进行拍摄判断的拍摄图像(以下称为判断用图像)中面部区的大小太小，则不能判断与该面部区相关的人物是否是目标被摄体。因此，在搜索目标区域中所包括的面部区降至低于可以应用面部识别处理的最小大小的情况下，第一控制单元323使变焦因数朝向远摄端改变，并且进行变焦驱动，使得在该面部区的大小已增大的状态下获得判断用图像。另一方面，如果搜索目标区域中所包括的面部区的大小太大，则存在如下的可能性：在之后在判断用图像的摄像的定时之前被摄体或摄像设备100已移动的情况下，该面部区在判断用图像中没有收敛在视角内。因此，在搜索目标区域中所包括的面部区超过预定大小的情况下，第一控制单元323使变焦因数朝向广角端改变，并且在该面部区的大小已减小的状态下针对判断用图像进行变焦驱动。以这种方式，可以提高针对判断用图像的面部识别处理的成功率，并且此外，在例如在跟踪特定被摄体时进行拍摄的情况下，也可以实现适当的视角控制。

在步骤S407中，第一控制单元323判断在场景中是否存在目标被摄体。作为识别单元325使用根据步骤S405和S406中已改变的摄像方向和变焦因数所拍摄到的拍摄图像(判断用图像)来执行面部识别处理的结果，进行该判断。更具体地，与步骤S401类似，识别单元325针对判断用图像检测面部区，针对所检测到的各个面部区执行面部识别处理，并且判断所检测的各个面部区是否是目标被摄体的面部区。关于目标被摄体的面部识别，从提供方服务器140获得与进行拍摄请求的用户相关联的目标被摄体的面部图像，并且使用该面部图像进行面部识别。在作为面部识别处理的结果而判断为目标被摄体的面部区包括在判断用图像中的情况下，第一控制单元323判断为在场景中存在目标被摄体，并且结束与本搜索操作相关的处理。此外，在判断为在场景中不存在目标被摄体的情况下，第一控制单元323使处理返回到步骤S401，并重复搜索操作。

(与拍摄判断相关的处理)

在与上述搜索操作相关的处理中判断为在场景中存在目标被摄体的情况下，第一控制单元323执行与拍摄判断有关的处理。

基本上，基于在判断用图像中出现的目标被摄体的图像的状态来推导表示对拍摄的适合程度的评价值，并且基于该评价值是否超过基于拍摄条件所设置的拍摄阈值来判断是否进行拍摄。基于例如与判断用图像相关的面部检测结果和个人识别结果的信息、包括目标被摄体的被摄体闭眼的程度、面部的面部表情、面部的方向、以及图像大小等来推导该评价值。

另一方面，如果在拍摄图像(判断用图像)的评价值超过拍摄阈值的条件下进行自动拍摄，则如前面所述记录了许多类似图像，因此通常从进行了拍摄起直到可以进行下次拍摄为止设置预定等待时间段。也就是说，在当例如面部表情是微笑时容易地推导出超过拍摄阈值的评价值的情况下，如果目标被摄体保持微笑，则连续进行自动拍摄，并且记录了大量具有类似内容的图像；由于该原因，进行控制以降低在类似条件下进行自动拍摄的频度。

图6A例示示出针对顺次获得的判断用图像推导出的评价值的转变以及进行自动拍摄的定时的图。在该图中，横轴表示所经过的时间段(时刻)，并且纵轴表示针对判断用图像所推导出的评价值。该图中垂直延伸的一个条形的高度表示针对与特定时刻相关地获得的判断用图像所推导出的评价值。在该图形中，示出拍摄阈值601，并且分布在该图中的各个时刻处的条形通过与它们同该拍摄阈值601的关系相关联的模式来区分。具体地，用黑色填充的条形表示评价值不超过拍摄阈值601的时刻，而用白色填充的条形表示在评价值超过拍摄阈值601时进行拍摄的时刻。此外，具有阴影的条形表示评价值超过拍摄阈值601的时刻，但由于这些时刻落在等待时间段中，因此不进行拍摄。

在图6A的示例中，将与不进行拍摄的等待时间段相关的时间段阈值设置为10秒；在自执行第一次拍摄的时刻602起所经过的时间段不超过时间段阈值的时刻603至606处，评价值超过拍摄阈值601，但不进行拍摄。另一方面，在自时刻602起所经过的时间段超过时间段阈值之后、评价值超过拍摄阈值601的时刻607处，进行拍摄。也就是说，进行控制，使得通过设置等待时间段，从时刻602到时刻606不进行许多不必要的拍摄会话。

另一方面，通过设置上述等待时间段的通常方法，存在如下的可能性：在评价值变为最高的定时，不进行自动拍摄。在图6A的示例中，尽管在时刻605处评价值变为最高，但由于在时刻602处进行了拍摄，因此在落在等待时间段中的该时刻处不进行拍摄。也就是说，通过提供固定等待时间段的前述设置，存在如下的可能性：不记录假定用户期望的具有高评价值的图像，由此降低了用户购买的意愿。

由于该原因，本实施例的摄像设备100进行控制，使得通过基于与进行了拍摄请求的用户相关的需求信息动态地改变等待时间段，在目标被摄体的状态是用户高度需求的状态的情况下增加拍摄频度。更具体地，第一控制单元323进行控制，使得通过基于需求信息在目标被摄体表现出用户高度需求的状态的情况下将等待时间段改变为比通常短，来针对该状态下的目标被摄体增加记录图像的数量。

本实施例的收集服务器150从用户所购买的记录图像中指定在这些记录图像中出现的目标被摄体的面部表情，并且通过学习用户偏好购买表现出各个面部表情的记录图像的程度来生成需求信息。例如，需求信息包括如下的需求趋势作为学习结果，这些需求趋势表示用户所购买的记录图像中的78％包括微笑作为目标被摄体的面部表情，17％包括严肃面部，并且5％包括哭泣面部。也就是说，本实施例的需求信息包括用户更偏好的(用户希望购买的)面部表情的类型、以及用户所购买的图像中的示出各个面部表情的图像的百分比的信息。也就是说，关于用户所购买的图像中的示出特定面部表情的图像的百分比，百分比越高表示该用户的需求(偏好程度)越高。以下，用户所购买的图像中的示出特定面部表情的图像的百分比也可被简称为对该面部表情的需求程度。

现在说明针对目标被摄体具有微笑面部的情况下如图6B所示推导评价值的模式、对等待时间段的改变的控制以及自动拍摄的频度。注意，图6B示出与图6A的评价值类似的评价值的时间变化。在如前面所述与用户相关的需求信息表示对微笑面部的需求程度为78％的情况下，该用户在目标被摄体具有微笑面部时偏好拍摄频度高。因此，在第一控制单元323使得针对目标被摄体具有微笑面部的状态在时刻602处进行拍摄之后，第一控制单元323将等待时间段设置为小于10秒的时间段。

根据针对各个面部表情的需求程度来缩短这里设置的等待时间段，使得针对用户高度需求的面部表情，拍摄频度增加。在本实施例中，第一控制单元323推导出通过将正常等待时间段(10秒)乘以对微笑面部的需求程度所获得的时间段(即，78％(10×0.78＝7.8秒))作为缩短时间段。结果，在针对具有微笑面部的目标被摄体、在评价值超过拍摄阈值时进行拍摄的情况下，直到再次类似地拍摄微笑面部的状态为止所设置的等待时间段为10–7.8＝2.2秒。在图6B的示例中，由于等待时间段缩短到2.2秒，因此判断为在时刻602处拍摄到具有微笑面部的目标被摄体之后、在时刻605处将进行拍摄。也就是说，用户高度需求的具有微笑面部的目标被摄体的拍摄频度增加；结果，可以如图6B的示例那样提高在高评价值的定时进行拍摄的可能性。

注意，尽管已经参考图6A和图6B使用在目标被摄体具有微笑面部的情况下推导出的评价值的示例说明了与拍摄判断有关的控制，但也可以针对其他面部表情类似地进行控制。也就是说，将关于相同面部表情所设置的等待时间段调整为根据对与用户相关的该面部表情的需求程度而缩短的值，这就足够了。也就是说，关于由与用户相关的需求信息表示为需求的面部表情，设置比正常设置的等待时间段(10秒)短的值。假定在这种情况下，在针对任何面部表情进行了拍摄的情况下，在目标被摄体改变了他们的面部表情的稍后情况所用的拍摄判断中不参考与该面部表情相关地设置的等待时间段。换句话说，等待时间段是针对已被拍摄的目标被摄体的面部表情分别设置的，并且根据用户的需求趋势来改变相同面部表情的拍摄频度。

此外，本发明不限于以上述模式来体现；在不限制目标被摄体的面部表情的情况下，所设置的等待时间段可以简单地确定在进行了一次拍摄会话之后可以进行下一拍摄为止的时间段。也就是说，等待时间段可以是如下的时间段，该时间段是基于最近拍摄期间的目标被摄体的面部表情所设置的，但之后在目标被摄体不具有相同面部表情的情况下应用该时间段。例如，在最近拍摄期间目标被摄体具有微笑面部的情况下，设置2.2秒的等待时间段；在自最近拍摄起所经过的时间超过2.2秒的情况下，即使目标被摄体的面部表情不是微笑面部，也在评价值超过拍摄阈值的条件下进行拍摄。

以下参考图7的流程图来说明上述拍摄判断操作的详情。通过第一控制单元323读出例如非易失性存储器316中所存储的相应处理程序、将该处理程序部署到内置存储器、并执行该处理程序，可以执行与本流程图相对应的处理。本处理将被描述为在例如在通过执行与搜索操作相关的处理判断为在场景中存在目标被摄体之后拍摄到判断用图像时开始。此外，假定在执行本处理之前，获得了与进行拍摄请求的用户相关的需求信息和目标被摄体的面部图像的信息。注意，为了便于理解本发明，将在假定摄像设备100所进行的拍摄是静止图像的拍摄的情况下说明本实施例。然而，本发明不限于以这种方式体现，并且可以用于判断是否进行不同类型的拍摄，诸如运动图像的拍摄和连续拍摄等。

在步骤S701中，在第一控制单元323的控制下，识别单元325基于判断用图像来指定目标被摄体的面部表情。

在步骤S702中，第一控制单元323推导判断用图像的评价值。在推导评价值时，可以参考与判断用图像相关的面部检测结果和面部识别结果、以及目标被摄体的面部表情等的信息。

在步骤S703中，第一控制单元323判断该判断用图像的评价值是否超过拍摄阈值。拍摄阈值例如可以是针对目标被摄体的面部表情分别提供的，并且由设置单元326预先设置。在第一控制单元323判断为判断用图像的评价值超过拍摄阈值的情况下，处理进入步骤S704；在判断为评价值不超过拍摄阈值的情况下，本处理在不进行拍摄的情况下完成。

在步骤S704中，第一控制单元323获得与步骤S701中指定的面部表情(目标被摄体的当前面部表情)相关的等待时间段。在本实施例中，假定与目标被摄体的当前面部表情相关的等待时间段是由第一控制单元323基于用户的需求信息中所包括的对该面部表情的需求程度所推导出的。例如，在如上所述、目标被摄体的当前面部表情是微笑面部并且需求信息中的对微笑面部的需求程度为78％的情况下，作为从10秒的固定等待时间段中减去与该78％相对应的7.8秒的结果而推导出2.2秒的等待时间段。此外，在需求信息不包括对目标被摄体的当前面部表情的需求程度的信息(不存在对该信息的需求)的情况下，将该等待时间段设置为10秒(即，固定等待时间段)。注意，不需要每当执行本步骤时都推导等待时间段；例如，在接收到更新后的需求信息的情况下，第一控制单元323可以推导等待时间段并预先将其存储到存储器等中，并且可以参考所存储的等待时间段。

在步骤S705中，第一控制单元323判断自针对目标被摄体的当前面部表情进行的先前拍摄起所经过的时间段是否超过与该面部表情相关的等待时间段。在自针对目标被摄体的当前面部表情进行的先前拍摄起所经过的时间段超过与该面部表情相关的等待时间段的情况下，第一控制单元323使处理进入步骤S706；在该时间段不超过等待时间段的情况下，当前处理在不进行拍摄的情况下完成。

在步骤S706中，第一控制单元323进行拍摄处理，在该拍摄处理中，摄像单元306进行拍摄操作并将所获得的图像作为记录图像进行记录，并且本处理完成。记录图像可以被记录在诸如非易失性存储器316和记录介质321等的摄像设备100内，或者可以经由通信单元322被发送到并由此记录到数据服务器130中。

如上所述，本实施例的控制设备可以实现容易地记录处于用户所期望的状态的被摄体的自动拍摄。更具体地，控制设备针对判断用图像评价目标被摄体的状态，获得与目标被摄体的面部表情和目标被摄体相关的评价值作为评价结果，并且判断是否拍摄目标被摄体。控制设备根据已基于用户对记录图像的购买历史所学习的对用户所期望的目标被摄体的面部表情的需求趋势，来改变直到根据对各个面部表情的需求的大小而可以进行下一拍摄为止的等待时间段。此时，可以通过使针对用户高度需求的面部表情所设置的等待时间段比针对需求低的面部表情所设置的时间段短，来增加在目标被摄体具有用户高度需求的面部表情的情况下所进行的拍摄的频度。结果，在销售通过自动拍摄所记录的记录图像的服务中，用户容易获得处于与他们的偏好匹配的适当状态的图像。换句话说，由于前述基于用户的需求趋势对拍摄频度的控制，用户不太可能错过他们偏好的图像的获得；这使得用户在无需独自利用摄像设备100进行拍摄的情况下容易地获得他们偏好的图像。此外，从服务提供方的观点来看，用户将购买记录图像的可能性增加，并且预计利润增加。

注意，尽管已在假定目标被摄体例如是进行了拍摄请求的用户或者与该用户相关联的人物(诸如用户的家庭成员或熟人等)的情况下说明了本实施例，但将容易理解，本发明不限于以这种方式体现。本发明不要求目标被摄体是人物；例如，任何类型的对象(诸如像狗或猫这样的动物等)以及其他实体也可以用作被摄体。也就是说，只要针对目标被摄体指定了诸如面部表情和姿势等的状态类型、并且基于用户针对该状态类型的需求趋势来改变自动拍摄的拍摄频度，本发明就适用。因此，用户的需求趋势不限于针对人物的面部表情进行学习，并且可以针对根据作为目标被摄体所选择的对象的类型而自适应地设置的状态类型进行学习。

此外，尽管已在假定使用用于指定与预设图像图案匹配的区的方法来检测被摄体的情况下说明了本实施例，但本发明不限于以这种方式体现。被摄体的检测可以包含其他方法，诸如使用拍摄图像中的色相或饱和度等的直方图来提取特征被摄体的方法等。提取特征被摄体的方法执行如下的处理：针对在与拍摄有关的视角内捕获到的被摄体的图像，将从色相或饱和度等的该直方图推导出的分布划分为多个区间，并且针对各区间对拍摄图像进行分类。例如，针对拍摄图像生成多个颜色分量的直方图，对该直方图中的山形分布范围进行划分，基于属于相同区间的组合的区来对拍摄图像进行分类，并且指定示出被摄体的图像的区。在这种情况下，识别单元325还可以针对所指定的被摄体的区来分别推导评价值，并将这些区中的具有最大评价值的区指定为主被摄体区。

此外，已在假定在与自动拍摄序列中的搜索操作相关的处理中在场景中存在目标被摄体的条件下拍摄判断用图像、并且执行与拍摄判断相关的处理的情况下说明了本实施例；然而，本发明不限于以这种方式体现。摄像设备100的自动拍摄不需要仅针对特定目标被摄体进行；例如，只要所检测到的人物中的人物的图像的状态满足拍摄条件，即使该人物不是目标被摄体，也可以进行自动拍摄。也就是说，在检测到目标被摄体的情况下没有获得判断用图像。在这种情况下，第一控制单元323例如识别判断用图像中所包括的人物，指定与该人物相关联的用户，获得与该用户相关的需求信息，并且进行拍摄判断，这就足够了。

[第一变形例]

已经关于如下的模式说明了上述实施例：针对目标被摄体的面部表情而将与需求信息相符合的等待时间段分别设置为时间段阈值，并且在自满足拍摄条件时针对目标被摄体的面部表情所进行的先前拍摄起所经过的时间段超过时间段阈值的情况下进行拍摄。然而，本发明不限于以这种方式体现，并且可以采用如下的模式：在判断是否进行拍摄时，根据目标被摄体的当前面部表情来确定自最近进行的拍摄起应经过的时间段的阈值。也就是说，每当判断用图像的评价值超过拍摄阈值时，可以基于该判断用图像中的目标被摄体的面部表情来确定与需求趋势相对应的时间段阈值，并且不论最近记录的记录图像中的目标被摄体的面部表情如何，都可以基于所经过的时间段进行拍摄判断。

在该模式中，可以如例如图8的流程图那样执行与拍摄判断相关的处理。注意，在根据本变形例的与拍摄判断相关的处理的说明中，进行与根据第一实施例的相同处理的操作类似的操作的步骤被赋予相同的附图标记，并且省略了其说明；以下将仅说明执行本变形例特有的处理的步骤。

在步骤S703中判断为判断用图像的评价值超过拍摄阈值的情况下，在步骤S801中，第一控制单元323获得与目标被摄体的当前面部表情相关的时间段阈值，也就是说，自最近进行的拍摄起应经过的时间段的阈值。在本变形例中，假定第一控制单元323使用与步骤S704的方法类似的方法，每次基于对目标被摄体的当前面部表情的需求程度来推导时间段阈值。然而，本发明不限于以这种方式体现；可以通过参考基于需求信息预先推导出的时间段阈值的信息来获得时间段阈值。

在步骤S802中，第一控制单元323判断自最近拍摄起所经过的时间段是否超过步骤S801中所获得的时间段阈值。在自最近拍摄起所经过的时间段超过与目标被摄体的当前面部表情相关的时间段阈值的情况下，第一控制单元323使处理进入步骤S706；在该时间段未超过时间段阈值的情况下，本处理在不进行拍摄的情况下完成。

这使得可以实现容易地记录示出处于用户期望的状态的被摄体的图像的自动拍摄。更具体地，由于根据对判断用图像中的目标被摄体的面部表情的需求程度来设置自最近进行的拍摄起应经过的时间段阈值，因此可以根据需求的大小来控制拍摄频度。

[第二实施例]

已关于如下的模式说明了上述实施方式和变形例：在判断用图像的评价值超过拍摄阈值的情况下，在自先前进行的拍摄起经过了根据对目标被摄体的面部表情的需求程度所设置的时间段的条件下进行自动拍摄。然而，与是否进行自动拍摄有关的判断不限于此。还可以在不提供诸如等待时间段等的不进行拍摄的时间段阈值的情况下，通过例如在进行了一次拍摄会话之后暂时增大拍摄阈值，来设置自动拍摄的会话之间的间隔并避免类似图像的冗余记录。在这种情况下，如在例如图9A中所示、响应于拍摄而随时间改变拍摄阈值，这就足够了。在图9A中，横轴表示所经过的时间段，并且纵轴表示拍摄阈值。

在所示示例中，拍摄阈值线性地波动；该拍摄阈值在执行了自动拍摄时通过增加预定值(例如，100)而改变为值T_MAX，然后当在拍摄之后经过了一定时间段时返回到正常拍摄阈值T_ST。以这种方式，与第一实施例类似，在进行了一次拍摄会话之后，拍摄阈值与拍摄之前相比(也就是说，与正常情况相比)具有高值，因此不太可能进行自动拍摄。也就是说，与第一实施例类似，存在如下的可能性：即使目标被摄体处于用户偏好的状态，也不进行下一拍摄，直到经过一定时间段为止。注意，在该图的示例中，进行控制，使得在由于自动拍摄而增大的拍摄阈值返回到正常值之后，如果在预定时间段内不进一步进行拍摄，则在预定时间段结束之前拍摄阈值进一步减小到值T_MIN，使得容易地进行拍摄。

将关于如下的方法来说明本实施例，该方法在被配置为通过使拍摄阈值以上述方式波动来降低自动拍摄中的拍摄频度的模式中，增加处于与用户的偏好匹配的状态的目标被摄体的拍摄频度。在以下所述的示例中，假定需求信息表示学习结果，由此用户所购买的记录图像的78％包括微笑作为目标被摄体的面部表情，17％包括严肃面部，且5％包括哭泣面部，并且目标被摄体具有微笑面部。在这种情况下，例如，拍摄阈值的时间转变如图9B所示。

在图9B的示例中，与图9A类似，拍摄阈值在进行了自动拍摄时增大到T_MAX，然后逐渐减小；然而，在目标被摄体的面部表情是微笑面部的时间段901中，如由粗线所示，拍摄阈值均匀地减小了固定值。也就是说，尽管第一控制单元323在进行了自动拍摄的情况下进行控制使得拍摄阈值从T_MAX顺次返回到正常值，但在目标被摄体的面部表情是在需求信息中设置了需求程度的微笑面部的情况下，拍摄阈值被设置为通过从拍摄阈值减去固定值所获得的值。在这种情况下减去的固定值(减去值)根据对检测到的目标被摄体的面部表情的需求程度而变化，使得容易针对需求高的面部表情进行自动拍摄。例如，在微笑面部的情况下，第一控制单元323推导出通过将紧接拍摄之后的100的增大值乘以对微笑面部的需求程度(即，78％)所获得的值(100×0.78＝78)作为减去值。结果，将通过从由于拍摄而增大的值减去78所获得的值设置为在对具有微笑面部的目标被摄体的拍摄判断中所使用的拍摄阈值。

无需说明，上述用于使拍摄阈值的波动变化的控制类似地适用于通过需求信息设置了需求程度的其他面部表情(严肃面部和哭泣面部)。

如上所述，根据本实施例的摄像设备100，根据需求程度来缩短直到拍摄阈值返回正常值为止的时间段，并且在目标被摄体具有用户偏好的面部表情的情况下可以增加拍摄频度。也就是说，可以增加记录与用户的偏好匹配的记录图像的概率，并且不太可能在目标被摄体处于用户期望的状态的情况下错过拍摄。

注意，尽管已在假定通过从基于T_ST+T_MAX根据时间衰减所设置的值中减去与对所检测到的目标被摄体的面部表情的需求程度相对应的固定值来推导拍摄阈值的情况下说明了本实施例，但本发明不限于以这种方式体现。例如，如图9C中的粗线所示，可以通过根据对目标被摄体的面部表情的需求程度改变T_MAX自身(T'_MAX)来缩短返回到T_ST所需的时间段。

[第二变形例]

已在假定在任何模式中都使用相同的推导方法来推导评价值的情况下说明了上述实施例和变形例；然而，例如，在检测到在需求信息中设置了需求程度的面部表情的情况下，可以通过向评价值加上与需求程度相对应的值来推导该评价值。这样，在目标被摄体具有用户所需求的面部表情的情况下，可以进一步增加拍摄频度。

[第三变形例]

尽管已关于将时间段阈值和拍摄阈值设置为与需求信息中所设置的对目标被摄体的面部表情的需求程度相对应的值的模式说明了以上实施例和变形例，但本发明不限于以这种方式体现。也就是说，尽管已关于进行控制使得拍摄频度与对目标被摄体的面部表情的需求程度的大小成比例地增加的模式说明了以上实施例和变形例，但本发明不限于以这种方式体现。本发明进行控制、使得针对在需求信息中设置了高需求程度的面部表情与设置了更低需求程度的面部表情相比拍摄频度增加，这就足够了，并且拍摄频度的程度无需与需求程度成比例地设置。此外，在这种情况下，可以针对具有落在预定范围内的两个不同需求程度的面部表情设置相同的拍摄频度。

[第四变形例]

尽管已在假定作为收集服务器150基于各用户的购买信息进行机器学习的结果而配置该用户的需求信息的情况下说明了上述实施例和变形例，但本发明不限于以这种方式体现。也就是说，需求信息无需被配置为机器学习的学习结果，并且可以例如是基于购买信息并且以查找表等的形式配置的统计数据。

[第五变形例]

此外，尽管已在假定基于各个用户的购买信息来配置个人的需求信息作为用户的需求趋势的情况下说明了上述实施例和变形例，但本发明不限于以这种方式体现。例如，可以基于被分类为任意集合(诸如充当被摄体的学生所属的班级、年级、学校或学区等)的一个或多于一个用户的购买信息来配置需求信息。例如，作为在学校举办的活动中针对被摄体(即，多个学生)进行自动拍摄的结果、并且通过稍后基于监护人所购买的记录图像进行学习，将需求信息配置为将去任意学校的学生的全体监护人的需求趋势。在这种情况下，在之后在该学校举办的活动中，将与全体监护人相关联的需求信息发送到摄像设备100，并在活动期间的自动拍摄中参考；结果，可以记录多个用户(监护人)平均期望的大量记录图像。注意，在这种情况下，由于可以针对各活动指定在拍摄判断中要参考的需求信息，因此在拍摄阶段中不必一定标识各用户。

[第六变形例]

此外，尽管已在假定摄像设备100获得需求信息并且在拍摄判断中基于需求信息控制拍摄频度的情况下说明了上述实施例和变形例，但本发明不限于以这种方式体现。可以在例如以能够通信的方式连接到摄像设备100的外部控制设备(例如，通信终端110)中进行对与摄像设备100的自动拍摄相关的操作的控制。在该模式中，在控制设备中基于需求信息来判断是否进行拍摄，并且在判断为要进行拍摄的情况下，基于判断结果来控制摄像设备100的操作。

[第七变形例]

此外，尽管已在假定将记录图像以销售的形式提供给用户的情况下说明了上述实施例和变形例，但本发明不限于以这种方式体现。可以将记录图像以不涉及金钱支付的任何形式提供给用户。此外，可以通过收集针对各图像所获得的任意信息(诸如与表示用户的偏好的评价相关的输入信息、查看次数、以及已登记的喜欢数量等)来分析用户的需求趋势，并且这些需求趋势可以反映在需求信息中。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或设备，该系统或设备的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种控制设备，用于控制摄像设备，所述摄像设备通过自动拍摄来获得要提供给用户的图像，所述控制设备包括至少一个处理器和/或电路，所述至少一个处理器和/或电路被配置为用作以下单元：

评价单元，其被配置为评价被摄体的状态；

判断单元，其被配置为基于所述评价单元所进行的评价的结果，来判断是否使得所述摄像设备进行拍摄；

获得单元，其被配置为获得需求信息，所述需求信息用于表示分别针对被摄体的状态类型的用户的需求趋势；以及

控制单元，其被配置为基于所述获得单元所获得的需求信息来控制所述判断单元的操作，

其中，所述控制单元控制所述判断单元的操作，使得所述摄像设备进行拍摄的频度根据针对被摄体的各个状态类型的需求的大小而变化。

2.根据权利要求1所述的控制设备，其中，

所述控制单元控制所述判断单元的操作，使得随着针对被摄体的状态类型的需求增加，所述摄像设备进行拍摄的频度增加。

3.根据权利要求1所述的控制设备，其中，

所述控制单元控制所述判断单元的操作，使得在针对被摄体的状态类型的需求程度是第一需求程度的情况下，与在所述需求程度是表示比所述第一需求程度低的第二需求程度的情况相比，所述摄像设备进行拍摄的频度更高。

4.根据权利要求2所述的控制设备，其中，

所述评价的结果包括指定被摄体的状态类型的信息，

在自所述摄像设备针对与所述评价的结果所指定的被摄体的状态类型相同的状态类型进行的先前拍摄起所经过的时间段超过了预设的时间段阈值的条件下，所述判断单元判断为使得所述摄像设备进行拍摄，以及

所述控制单元通过根据针对所述评价的结果所指定的被摄体的状态类型的需求的大小改变所述时间段阈值，来改变所述摄像设备进行拍摄的频度。

5.根据权利要求2所述的控制设备，其中，

所述评价的结果包括指定被摄体的状态类型的信息，

在自所述摄像设备进行的最近拍摄起所经过的时间段超过了预设的时间段阈值的条件下，所述判断单元判断为使得所述摄像设备进行拍摄，以及

所述控制单元通过根据针对所述评价的结果所指定的被摄体的状态类型的需求的大小改变所述时间段阈值，来改变所述摄像设备进行拍摄的频度。

6.根据权利要求2所述的控制设备，其中，

所述评价的结果包括指定被摄体的状态类型的信息以及通过评价被摄体的状态对拍摄的适合程度所获得的评价值，

在所述评价值超过了拍摄阈值的条件下，所述判断单元判断为使得所述摄像设备进行拍摄，

在进行了拍摄的情况下，在所述拍摄之后的预定时间段内，通过将所述拍摄阈值增加到比所述拍摄之前的拍摄阈值高的值来设置所述拍摄阈值，以及

所述控制单元通过根据针对所述评价的结果所指定的被摄体的状态类型的需求的大小改变在所述拍摄之后的预定时间段中的拍摄阈值，来改变所述摄像设备进行拍摄的频度。

7.根据权利要求2所述的控制设备，其中，

所述评价的结果包括指定被摄体的状态类型的信息以及通过评价被摄体的状态对拍摄的适合程度所获得的评价值，

在所述评价值超过了预定的拍摄阈值的条件下，所述判断单元判断为使得所述摄像设备进行拍摄，以及

所述控制单元通过根据针对所述评价的结果所指定的被摄体的状态类型的需求的大小增大所述评价值，来改变所述摄像设备进行拍摄的频度。

8.根据权利要求1所述的控制设备，其中，

以图像的销售的形式向用户提供图像，以及

所述需求信息是基于用户所购买的图像中的被摄体的状态类型而构成的信息。

9.根据权利要求8所述的控制设备，其中，

所述需求信息是用于通过机器学习、基于用户所购买的图像来学习针对被摄体的状态类型的需求的趋势的结果。

10.根据权利要求1所述的控制设备，其中，

所述需求信息是基于在预定活动中拍摄到的多个图像中的、基于多个用户所进行的操作而被判断为需求高的多个图像中的被摄体的状态类型而构成的信息。

11.根据权利要求1所述的控制设备，还包括：

标识单元，其被配置为标识用户，

其中，所述评价单元评价与所述标识单元所标识的用户相关联的被摄体的状态，以及

其中，所述获得单元获得与所述标识单元所标识的用户相关联的需求信息。

12.根据权利要求1所述的控制设备，其中，

被摄体是人物，以及

被摄体的状态类型是人物的面部表情的类型。

13.一种摄像设备，包括：

摄像单元；

根据权利要求1至12中任一项所述的控制设备；以及

记录单元，其被配置为在所述判断单元判断为使得进行拍摄的情况下，记录所述摄像单元所拍摄到的图像。

14.一种控制设备的控制方法，所述控制设备用于控制摄像设备，所述摄像设备通过自动拍摄来获得要提供给用户的图像，所述控制方法包括：

评价被摄体的状态；

基于在所述评价中进行的评价的结果，来判断是否使得所述摄像设备进行拍摄；

获得需求信息，所述需求信息用于表示分别针对被摄体的状态类型的用户的需求趋势；以及

基于在所述获得中所获得的需求信息来控制所述判断，

其中，在所述控制中，控制所述判断，使得所述摄像设备进行拍摄的频度根据针对被摄体的各个状态类型的需求的大小而变化。

15.一种计算机可读记录介质，其记录有程序，所述程序用于使得计算机执行根据权利要求14所述的控制方法。

16.一种摄像系统，用于向用户提供通过摄像设备进行的自动拍摄所获得的图像，所述摄像系统包括所述摄像设备、用于控制所述摄像设备的控制设备、以及用于基于提供给用户的图像来收集用户的需求趋势的收集服务器，所述控制设备包括至少一个处理器和/或电路，所述至少一个处理器和/或电路被配置为用作以下单元：

评价单元，其被配置为评价被摄体的状态；

判断单元，其被配置为基于所述评价单元所进行的评价的结果，来判断是否使得所述摄像设备进行拍摄；

获得单元，其被配置为从所述收集服务器获得需求信息，所述需求信息用于表示分别针对被摄体的状态类型的用户的需求趋势；以及

控制单元，其被配置为基于所述获得单元所获得的需求信息来控制所述判断单元的操作，

其中，所述控制单元控制所述判断单元的操作，使得所述摄像设备进行拍摄的频度根据针对被摄体的各个状态类型的需求的大小而变化。