CN103959756A - 便携式电子设备和使用便携式电子设备来记录媒体的方法 - Google Patents

Abstract

一种便携式电子设备包括用来记录媒体的第一传感器(2)和用来捕获表示所述便携式电子设备的用户的身体状况的数据的至少一个第二传感器(18,19,30)，至少一个第二传感器(18,19,30)被配置成响应于第一传感器(2)记录媒体来捕获数据。处理装置(4)被与至少一个第二传感器(18,19,30)接口连接。处理装置(4)被配置成：获取由至少一个第二传感器(18,19,30)捕获的数据；基于数据对于所记录的媒体生成元数据，所述元数据指示身体状况；以及使所述元数据被与记录的媒体相关联地存储。

Description

便携式电子设备和使用便携式电子设备来记录媒体的方法

技术领域

本申请涉及一种便携式电子设备并且涉及一种使用便携式电子设备来记录媒体的方法。本申请特别地涉及可以用于便携式通信装置的这样的便携式电子设备和方法。

背景技术

各种便携式电子设备现今设置有用于记录图像、视频或其它媒体的组件。这样的电子设备的示例包括可以包括相机的便携式通信装置。例如，现代移动电话或个人数字助理可以装配有相机。日益增加的数据传输带宽使得使用便携式通信装置来记录媒体并且然后将所记录的媒体传送给另一装置变得越来越有吸引力。

随着使用便携式电子设备的媒体记录的日益流行，组织所记录的媒体是一项重要任务。可以使用便携式电子设备来捕获大量的图像或视频。这会花费大量的时间来随后组织和编辑所记录的媒体。

在组织所记录的媒体的任务中帮助用户的一个方法在于将所记录的媒体传送给个人计算机，并且在其中在媒体项目输出给用户时评估用户对各种媒体项目的响应的半自动过程中组织所记录的媒体。这样的方法仍然将需要专用处理阶段，这可能是费时的。

发明内容

在本领域内存在对于解决上述缺点中的一些的便携式电子设备和方法的持续需要。特别地，在本领域内存在对于下述便携式电子设备和方法的需要，在该设备和方法中，生成与记录的媒体关联的附加的信息(这可以随后用于对多个记录的媒体进行分组)，以便在多个记录的媒体中进行搜索，或者以便以其它方式帮助用户组织记录的媒体。

根据实施方式，提供了一种便携式电子设备。该便携式电子设备包括用来记录媒体的第一传感器。该便携式电子设备包括至少一个第二传感器，其用来捕获表示便携式电子设备的用户的身体状况的数据，所述至少一个第二传感器被配置成响应于第一传感器记录媒体来捕获数据。该便携式电子设备包括与至少一个第二传感器接口连接的处理装置。该处理装置被配置成：获取由至少一个第二传感器所捕获的数据；基于该数据为所记录的媒体生成元数据，所述元数据指示身体状况；以及使元数据被与所记录的媒体相关联地存储。

至少一个第二传感器可以被配置成在第一传感器同时地记录媒体时捕获数据。

处理装置可以被配置成验证所捕获的数据是否满足预定规则，并且配置成使元数据基于所捕获的数据是否满足预定规则而被选择性地存储。

预定规则可以包括至少一个阈值比较。

至少一个第二传感器可以被配置成捕获表示第一身体状况的第一数据和表示不同于第一身体状况的第二身体状况的第二数据。处理装置可以被配置成：对于第一数据执行第一阈值比较，对于第二数据执行第二阈值比较，以及基于第一阈值比较和第二阈值比较的结果选择性地生成元数据。

便携式电子设备可以包括被配置成存储所记录的媒体和所关联的元数据的存储装置。处理装置可以被配置成基于分别与媒体相关联的元数据来处理存储于存储装置中的媒体。

处理装置可以被配置成基于与媒体相关联的元数据在存储于存储装置中的媒体中执行搜索。

处理装置可以被配置成基于与媒体相关联的元数据将存储于存储装置中的媒体组织成多个组。

处理装置可以被配置成评估规则以基于关联的元数据将存储于存储装置中的媒体组织成多个组。规则可以随着时间的推移而改变。可以自动地调整规则。处理装置可以被配置成使与通过用户输入而被分别分组在一起的多个媒体项目相关联的元数据相关，以便调整规则。

与媒体相关联的元数据可以包括指示第一身体状况的第一元数据和指示不同于第一身体状况的第二身体状况的第二元数据。处理装置可以被配置成基于分别与媒体相关联的第一元数据和第二元数据来处理存储于存储装置中的媒体。

第一传感器可以包括图像传感器。

图像传感器可以被配置成记录包括多个图像帧的视频。至少一个第二传感器可以被配置成在多个图像帧被记录时捕获数据。

处理装置可以被配置成使元数据基于在多个图像帧被记录时捕获的数据针对所述多个图像帧的子集被选择性地存储。

便携式电子设备可以包括与处理装置和至少一个第二传感器中的第二传感器接口连接的无线通信电路。

至少一个第二传感器可以包括被配置成捕获用户的身体语言(例如，用户的面部表情)的图像传感器。处理装置可以被配置成分析用户的身体语言。替换地或附加地，至少一个第二传感器可以包括用于测量皮肤电反应的装置。替换地或附加地，至少一个第二传感器可以包括用于测量用户的脉搏率的心率监视器。替换地或附加地，至少一个第二传感器可以包括用于测量血氧饱和度的装置。用于测量氧饱和度的装置可以是脉冲血氧计。替换地或附加地，至少一个第二传感器可以包括用于记录用户的脑活动的装置。可以使用这样的第二传感器的各种组合，并且可以附加地或替换地使用被配置成捕获表示用户的身体状况的数据的其它第二传感器。

可以使用多个第二传感器。

处理装置可以被配置成通过使从一个或多个第二传感器获取的原始数据被存储作为指示用户的身体状况的元数据来生成针对所记录的媒体的元数据。替换地或附加地，处理装置可以对依赖于从一个或多个第二传感器获取的一个函数或多个函数进行求值，以便生成元数据。在这种情况下，处理装置通过处理原始数据来生成处理后的传感器数据并且使处理后的传感器数据被存储。替换地或附加地，处理装置可以使从第二传感器获取的原始传感器数据和通过处理原始数据所获得的处理后的传感器数据的组合被存储作为元数据。

根据实施方式，提供了一种使用便携式设备来记录媒体的方法。所述方法包括记录媒体。表示便携式电子设备的用户的身体状况的数据在媒体被记录时被捕获。用于所记录的媒体的元数据基于所捕获的数据被生成，元数据指示身体状况。元数据被与所记录的媒体相关联地存储。

媒体可以使用第一传感器来记录，并且数据可以使用不同于第一传感器的至少一个第二传感器来捕获。

可以在第一传感器同时地记录媒体时捕获数据。

至少一个第二传感器可以被配置成在第一传感器同时地记录媒体时捕获数据。

可以基于所捕获的数据是否满足预定规则而选择性地存储元数据。预定规则可以包括至少一个阈值比较。可以捕获表示第一身体状况的第一数据和表示不同于第一身体状况的第二身体状况的第二数据。可以对于第一数据执行第一阈值比较，可以对于第二数据执行第二阈值比较，以及可以基于第一阈值比较和第二阈值比较的结果选择性地生成元数据。可以应用各种逻辑算符来确定是否将要生成并存储元数据。例如，逻辑“AND(与)”、逻辑“OR(或)”或逻辑“XOR(异或)”算符可以被应用于第一和第二阈值比较的结果，以便基于第一和第二阈值比较的结果选择性地生成元数据。

便携式电子设备可以包括其中存储所记录的媒体和所关联的元数据的储存器。可以基于分别与媒体相关联的元数据来处理存储于存储装置中的媒体。

可以基于与媒体相关联的元数据来执行存储于存储装置中的媒体中的搜索。替换地或附加地，存储于存储装置中的媒体可以基于与媒体相关联的元数据而分配给多个不同的组。

与媒体相关联的元数据可以包括指示第一身体状况的第一元数据和指示不同于第一身体状况的第二身体状况的第二元数据。可以基于分别与媒体相关联的第一元数据和第二元数据来处理存储于存储装置中的媒体。可以应用各种逻辑算符来确定媒体是否与对应于身体状况的特定组合的元数据相关联。例如，逻辑“AND(与)”、逻辑“OR(或)”或逻辑“XOR(异或)”算符可以被应用于分别针对第一元数据和第二元数据执行的第一和第二阈值比较的结果。

所记录的媒体可以包括至少一个图像。

所记录的媒体可以包括具有多个图像帧的视频。可以在多个图像帧被记录时捕获表示身体状况的数据。可以在正在进行的视频记录期间的多个时间处连续地或准连续地记录表示身体状况的数据。可以基于在多个图像帧被记录时所捕获的数据针对视频的多个图像帧的子集选择性地存储元数据。

表示用户的身体状况的数据中的至少一些可以通过无线接口来发送。生成元数据的处理装置可以通过无线连接读出至少一个第二传感器，以获取捕获的数据。

表示用户的身体状况的数据可以包括用户的身体语言(例如，用户的面部表情)的图像。替换地或附加地，表示用户的身体状况的数据可以包括皮肤电反应。替换地或附加地，表示用户的身体状况的数据可以包括用户的脉搏率。替换地或附加地，表示用户的身体状况的数据可以包括血氧饱和度。可以使用表示身体状况的这样的数据的各种组合，并且可以附加地或替换地使用用于身体状况的其它指示。

多个第二传感器可以被用来捕获表示身体状况的数据。

所述方法可以由任何方面或实施方式的便携式电子设备来执行。

根据又一个实施方式，提供了一种存储指令代码的非瞬时性存储介质，所述指令代码当被便携式电子设备的处理器执行时，使得该便携式电子设备执行任何一个方面或实施方式的方法。

根据本发明的另一实施方式，提供了一种处理图像的方法。元数据与每个图像相关联，元数据指示用户在各图像被记录的时间的身体状况。所述方法包括获取与图像相关联的元数据，以及基于各自关联的元数据来处理图像。处理可以包括基于元数据对图像进行搜索。处理可以替换地或附加地包括基于与图像相关联的元数据将图像分配给多个组中的一个。

各种实施方式的便携式电子设备和方法允许生成元数据，所述元数据指示用户在各媒体被记录的时间的身体状况。媒体可以呗自动地标记有个人传感器信息。个人传感器信息可以被标记于图像、视频序列或图像序列的各图像帧。当媒体将被组织时，当将在媒体中执行搜索时，或者当将执行其它后续处理时，可以使用这样的自动生成的标记。标记在媒体被记录时自动地添加。不要求执行单独的后续处理来在后续阶段添加针对身体状况的指示。

应当理解的是，能够不仅在所指示的相应组合中而且在其它组合中或孤立地使用上面所提到的特征和仍然要在下面被解释的特征，而不背离本发明的范围。在其它实施方式中上面提到的方面和实施方式的特征可以与彼此组合。

附图说明

本发明的前面的和附加的特征和优点当结合附图阅读时从以下具体实施方式将变得显而易见，在附图中同样的附图标记指代同样的元素。

图1是根据实施方式的便携式电子设备的正视图。

图2是便携式电子设备的后视图。

图3是图1和2的便携式电子设备的示意框图。

图4是示出根据实施方式的便携式电子设备的操作的视图。

图5是根据实施方式的方法的流程图。

图6是根据实施方式的方法的流程图。

图7是根据实施方式的根据个人传感器信息所组织的媒体的示意图。

图8是根据实施方式的通信系统的示意图。

图9是根据实施方式的方法的流程图。

具体实施方式

在下文中，将参考附图详细地描述本发明的实施方式。应当理解的是，实施方式的以下描述将不在限制性意义上进行。本发明的范围不旨在被在下文中所描述的实施方式并且被图限制，图仅被认为是说明性的。

图将被认为是示意表示，并且图中所图示的元素未必按比例示出。相反地，各种元素被表示使得它们的功能和一般目的对于本领域的技术人员而言变得显而易见。图中所示出的或本文中所描述的功能块、装置、组件或其它身体或功能单元之间的任何连接或耦合还可以通过间接连接或耦合来实现。还可以通过无线连接建立组件之间的耦合。功能块可以用硬件、固件、软件或其组合加以实现。

除非另外具体地指出，否则各种实施方式的特征可以与彼此组合。

将描述使用便携式电子设备来记录媒体的便携式电子设备和方法。便携式电子设备具有被配置成记录媒体的第一传感器。第一传感器可以包括被配置成捕获图像、或形成视频序列的一系列图像帧的图像传感器。表示用户的身体状况的数据在图像传感器通过将光学图像转换成图像数据来记录图像时被确定。在本文中还被称为“个人传感器信息”的捕获的数据涉及用户在图像捕获执行的时间的身体状况。捕获的数据或从其生成的其它数据被存储从而其与所记录的媒体相关联。

如将在下面更详细地解释的那样，各实施方式的便携式电子设备和方法自动地将个人传感器信息添加到图像或其它媒体，从而便于后续处理。虽然这可能足以监视用户的一个身体状况，但是可以与图像或其它媒体的记录同时地捕获表示多个不同身体状况的多个不同的数据。可以基于表示多个不同身体状况的数据来生成用于媒体的元数据。例如，可以捕获面部表情、脉搏率、皮肤电反应或血液饱和度中的至少一个。所捕获的数据可以被处理以生成元数据。用户的面部表情可以进行图像处理以确定对不同程度的微笑进行量化的数值，并且数值可以被存储作为与所记录的媒体相关联的元数据。诸如脉搏率、皮肤电反应或血液饱和度的其它传感器数据可以被直接存储为元数据。指示在媒体记录的时间的不同身体状况的数据可以被并行地捕获，并且可以用来生成指示用户的身体状况的元数据。例如，元数据可以包括指示脉搏率的值或指示血氧饱和度的另一值。例如，这两个值的组合可以用来识别身体劳损状况。例如，可以在记录媒体时捕获其它数据，并且可以对其它数据进行处理以将该个人信息作为标记添加到图像文件。表示用户的身体状况的数据的至少一小部分可以涉及诸如身体语言的可见的用户的状况。表示用户的身体状况的数据的至少一小部分可以涉及不可见的诸如脑活动、电压或电流或电阻的状况。

图1是便携式电子设备1的正视图，图2是便携式电子设备1的后视图，以及图3是便携式电子设备1的示意框图表示。便携式电子设备1包括主图像传感器2、显示器3以及处理装置4。处理装置4可以是一个处理器或者可以包括多个处理器，例如主处理器13和图形处理单元14。便携式电子设备1的主图像传感器2可以包括数码相机的各种组件。主图像传感器2可以包括对焦光学器件11。主图像传感器2包括光电传感器15，其执行图像采样以将光学图像转换成图像数据。主图像传感器2可以包括附加的组件，例如闪光灯单元12、光照传感器或类似物。主图像传感器2用作被配置成记录图像或一系列图像帧的第一传感器。

便携式电子设备1具有捕获表示便携式电子设备1的用户的身体状况的数据的至少一个第二传感器。如将在下面更详细地描述的那样，至少一个第二传感器可以具有各种配置并且可以感测表示用户的身体状况的各种不同类型的数据。至少一个第二传感器不同于被用于记录媒体的第一传感器。

处理装置4可以执行处理和控制操作。当图像将被用主图像传感器2记录时，处理装置4可以获取由至少一个第二传感器捕获的数据。处理装置4可以生成与图像相关联的元数据，元数据是基于由至少一个第二传感器捕获的数据生成的。可以生成元数据使得该元数据包括处理装置4从第二传感器读取的捕获的数据。还可以生成元数据使得处理装置4执行附加的处理。例如，如果至少一个第二传感器包括在主图像传感器2记录图像或视频的时间捕获用户的身体语言的照片的第二图像传感器19，则处理装置4可以执行由第二图像传感器19捕获的用户的身体的照片的图像处理。处理装置4可以通过处理由第二图像传感器19捕获的用户的身体的照片来得到数值。例如，用户的嘴的曲率可以被量化，以从而用作微笑程度的指示。

处理装置4被配置为其使用由第二传感器在媒体被记录时捕获的数据来生成元数据。表示身体状况的数据因此表示用户在媒体记录时的身体状况。这便于记录的媒体的自动化处理。可以根据用户在媒体记录时的身体状况来组织、搜索或过滤所记录的媒体。由于在媒体文件的创建时添加了指示用户的个人信息的标记，因此不要求执行单独的后续处理以将这样的信息添加到媒体文件。如将更详细地描述的那样，指示身体状况的数据可以具有各种格式中的任何一个。例如，数据可以是这样的，可以基于由第二传感器所捕获的数据来识别幸福的、兴奋的、重工作负荷的状态和/或其它身体状态中的至少一个。

处理装置4被配置为与媒体的记录协作地获取由第二传感器捕获的数据。媒体的记录可以触发处理装置4来获取由第二传感器捕获的数据。处理装置4可以获取由第二传感器在媒体记录进行时所捕获的数据。处理装置4可以在主图像传感器2捕获图像的时间主动地查询至少一个第二传感器，以便获取表示用户的身体状况的数据。如果主图像传感器2捕获到具有多个图像帧的视频，则处理装置4可以在记录期间主动地查询至少一个第二传感器多次。处理装置4获取到由第二传感器在视频记录期间捕获的数据的时刻可以与记录视频序列的图像帧的帧速率相匹配。不要求针对每个图像帧获取指示身体状况的数据。处理装置4可以仅针对记录的视频的图像帧的子集(例如，针对每第n个帧)从第二传感器获取数据，其中n是大于1的整数。

可以使用其它技术来配合随着媒体记录的元数据的生成，以便确保元数据指示用户在媒体记录时的身体状况。例如，第二传感器可以连续地或准连续地监视用户的身体状况。处理装置4可以被配置成选择对应于媒体记录执行的时间的由第二传感器捕获的那些数据。第二传感器可以使用时间戳，这有助于处理装置4识别第二传感器在媒体记录执行的同时捕获的数据。只要能够识别在媒体记录执行时捕获的数据，处理装置4无需获取表示用户在媒体记录执行的同时的身体状况的数据。

处理装置4可以执行各种功能中的任何一个来生成元数据。处理装置4可以生成针对记录的媒体的元数据，使得该元数据包括表示在媒体记录时的传感器读数的从第二传感器获取的一个或数个值。可以附加地在元数据中存储标识符以分别使从第二传感器获取的每个值与特定身体状况相关联。例如，处理装置4可以与将值标识为脉搏率的标识符相结合地生成元数据，使得它们包括从心率传感器获取的值。处理装置4可以与将值标识为血氧饱和度和/或脉搏率的标识符相结合地生成元数据，使得它们包括从血氧计获取的值。处理装置4可以与将值标识为皮肤电反应的标识符相结合地生成元数据，使得它们包括从用于测量皮肤电反应的装置获取的值。根据可用于捕获表示用户的身体状况的数据的第二传感器，可以使用其它标识符。

虽然处理装置4可以使从一个或多个第二传感器获取的原始数据被存储作为元数据，但是处理装置4可以在生成元数据时执行附加的处理。处理装置4可以通过对依赖于从一个或多个第二传感器获取的原始数据的函数进行求值来生成处理后的传感器数据。处理装置4可以对依赖于从一个或多个第二传感器获取的原始数据的数学函数进行求值来生成元数据。元数据还可以被生成为该元数据包括从一个或多个第二传感器获取的原始数据和通过将原始数据输入到一个或多个函数而获得的处理后的数据的组合。

例如，处理装置4可以对由第二图像传感器19所捕获的用户的面部的图像执行图像识别。处理装置4可以通过分析由第二图像传感器19所捕获的用户的面部的图像来计算数值，以确定指示用户的身体状况的数值量。例如，处理装置19可以确定将嘴的外边缘连接到嘴的最低部分的两条线之间的角度，从而量化用户的面部表情中的微笑程度。可以使用用于身体语言的其它量化指标。由处理装置4执行的处理的结果可以被存储在与由主图像传感器2捕获的图像或视频相关联的元数据中。

处理装置4可以对由不同的第二传感器所提供的数据执行逻辑操作。例如，表示身体状况的第二传感器的数据可以与阈值相比较。如果定义身体状况的一个以上的特征量被第二传感器捕获到，则处理装置4可以使用逻辑运算来组合第二传感器的输出。这可以在生成元数据时和/或在随后评估针对记录的媒体所生成的元数据时进行。例如，由不同的第二传感器所提供的第一数据和第二数据可以均与阈值相比较，并且逻辑算符可以被应用于阈值比较的结果。处理装置4可以识别其中例如脉搏率高于第一阈值并且皮肤电反应高于第二阈值以及血液饱度低于第三阈值的状态。通过评估由多个第二传感器在媒体记录期间捕获的数据而识别出的这样的身体状况可以指示用户处于高度紧张的状态。处理装置4还可以识别其中例如脉搏率高于第一阈值并且皮肤电反应高于第二阈值以及血液饱和度高于第四阈值的情形。通过评估由多个第二传感器在媒体记录期间所捕获的数据而识别出的这样的身体状况可以指示用户处于高度努力的状态。处理装置4还可以识别其中例如脉搏率高于第一阈值并且血液浓度高于第三阈值的情形。

如果处理装置4对由至少一个第二传感器捕获的数据执行逻辑运算或其它处理，则可以基于逻辑运算或其它处理的结果生成元数据。处理装置4基于由第二传感器提供的数据来生成元数据，使得该元数据表示用户在媒体记录时的身体状况。处理装置4使元数据被与所记录的媒体相关联地存储。元数据可以被存储在与其相关联的媒体的媒体文件中。在其它实施方式中，元数据可以存储在与媒体文件分离的文件中，但呗存储为允许在元数据与媒体文件之间建立一一对应关系。

处理装置4可以使元数据和媒体文件被本地存储在便携式电子设备中，例如在非易失性存储器5或其它存储设备中。当用户激活设定以允许指示身体状况的数据被共享时，处理装置4可以通过无线通信接口9来通信存储在存储器5中的媒体文件和关联的元数据中的一些。例如，当用户希望发送特定媒体文件时，如果用户已激活允许个人数据的传输的设定，则处理装置4可以获取关联的元数据并且可以通过无线通信接口9将这个信息通信给服务器。处理装置4也可以从存储器5获取元数据以用于其它目的，例如媒体文件的搜索、分组，或根据过滤规则对媒体文件进行过滤。

第二传感器可以具有各种配置。例如，在图像捕获期间指向用户的第二图像传感器19可以被用来确定用户的身体语言。第二图像传感器19被集成到还包括处理装置4和主图像传感器2的便携式电子装置的外壳10中。可以存在被集成到便携式电子装置中的其它第二传感器。例如，可以提供个人数据传感器18来在媒体记录时测量皮肤电反应或用户的身体状况的另一量化特征。个人数据传感器18作为捕获表示用户在媒体记录时的身体状况的数据的第二传感器。个人数据传感器18被集成在便携式电子装置中。个人数据传感器18可以具有在外壳10的外部处露出的部件。

可以与便携式电子装置分开地提供另一个人数据传感器30。另一个人数据传感器30作为捕获表示用户在媒体记录时的身体状况的数据的第二传感器。另一个人数据传感器30可以具有用于附连到用户的身体的安装部31。另一个人数据传感器30可以被安装到耳朵、手指或用户的皮肤的另一部分。另一个人数据传感器30可以被配置为测量用户的脉搏率和血氧浓度的脉冲血氧计。另一个人数据传感器30可以被配置为测量用户的脉搏率的心率监视器。另一个人数据传感器30可以被配置为用于监视用户的脑活动的装置。另一个人数据传感器30可以通过无线连接与处理装置4接口连接。另一个人数据传感器30可以具有用于与便携式电子装置的无线传感器接口8通信的无线接口38。无线接口38和无线传感器接口8可以被配置为用于近场通信。无线接口38和无线传感器接口8可以被配置为用于使用IEEE802.11协议族的协议的通信。例如而不是限制，无线接口38和无线传感器接口8可以被配置为用于使用蓝牙健康装置配置文件(HDP)的通信。可以根据例如IEEE11073优化交换协议、或用于健康相关传感器与其它装置之间的通信的其它协议来执行无线接口38与无线传感器接口8之间的通信。

便携式电子设备1可操作为便携式通信装置，例如蜂窝电话、个人数字助理或类似物。便携式电子设备1可以包括用于语音通信的组件，其可以包括麦克风21、扬声器22以及用于与无线通信网络通信的无线通信接口9。便携式电子设备1可以具有可手动操作的用户接口。用户接口可以包括设置在便携式电子设备的外壳10上的功能和控制键7和/或显示器3的触敏或接近感测输入部17。

参考图4至9，将更详细地解释便携式电子设备1的操作。

由便携式电子装置1的主图像传感器2所捕获的图像或一系列图像可以被存储在非易失性存储器5或另一存储装置中。可以针对图像中的至少一些存储指示用户在媒体记录期间的身体状况的关联的元数据。指示用户的身体状况的元数据可以例如被作为属性存储在与图像或视频相同的文件中，或者可以被存储在单独的文件中。

当记录包括多个图像帧的视频时，可以对于若干帧捕获指示用户的身体状况的数据，并且可以生成和存储元数据以便与视频序列的各图像帧相关联。使用用户的身体状况作为搜索规则，这便于对特定图像帧的搜索。

图4是图示采用图1至3的便携式电子设备1的各种传感器捕获的数据的示意表示。在所图示的操作中，使用主图像传感器2来捕获多个图像帧41-44而记录视频。图像被以帧间隔Tr捕获。

使用面向用户的第二图像传感器19，可以捕获用户的身体语言的图像51-54。可以评估图像51-54，以便确定量化身体语言的数值。例如，可以执行图像分析以检测用户的面部并且量化微笑程度。

使用另一第二传感器(例如脉冲血氧计或心率监视器)，可以在视频的记录期间监视用户的脉搏率。

可以在分别记录视频的图像帧时捕获图像51-54。可以在视频模式下操作第二图像传感器19，以便在使用主图像传感器2同时地执行视频记录时记录用户的面部表情。类似地，可以在分别记录视频的图像帧时读出脉搏率值55-58。虽然还可以以帧间隔Tr捕获和评估由第二传感器捕获的数据，但是用于捕获表示用户的身体状况的数据的速率可以不同于捕获图像帧41-44的速率。例如，可以以比帧间隔Tr更长的间隔k·Tr来捕获使用第二图像传感器捕获的图像51-54，其中k是大于1的整数。可以以比帧间隔Tr更长的间隔m·Tr读出脉搏率值55-58，其中m是大于1的整数。

可以为视频序列的图像帧中的至少一些生成元数据。可以选择性地仅为形成视频序列的图像帧的子集生成和存储元数据。例如，可以仅为每第n个图像帧生成元数据，其中n是大于1的整数。

替换地或附加地，可以基于捕获的数据的评估针对图像帧选择性地存储元数据。出于这种目的，由第二传感器提供的数据可以与阈值59相比较。基于比较的结果，可以选择性地存储元数据。从而，可以针对用户的身体状况示出特定反应的那些媒体选择性地生成和存储元数据，所述特定反应由捕获超过特定阈值或者下降至另一特定阈值以下的数据来反映。当选择性地存储元数据时，可以降低存储空间要求。如果存在一个以上的第二传感器，则可以使用逻辑运算对由多个第二传感器捕获的数据执行针对记录的媒体选择性地存储元数据的处理。由不同的第二传感器提供的数据可以分别进行阈值比较，并且逻辑算符可以被应用于阈值比较的结果。例如，可以对针对脉搏率执行的第一阈值比较和针对血氧水平执行的第二阈值比较的结果执行逻辑与操作、或操作或异或操作。这允许在表示用户的身体状况的不同值中的至少一个示出与默认值的显著偏离时选择性地生成元数据。

可以基于由第二传感器在多个媒体记录处理期间捕获的数据来调整阈值。从而，可以考虑用户的身体状况的特性对于各个用户来说不同的事实。例如，静止时的脉搏率可以对于不同用户来说是不同的。通过调整在生成元数据时和/或在基于元数据的记录媒体的处理时使用的阈值，可以实现使用先前捕获的数据来调整阈值的能够就其用户自动地学习的便携式电子设备。

图5是方法60的流程图。方法60可以由图1至3的便携式电子设备1来执行。例如而不是限制，将在图像记录的背景下对方法60进行解释。

在61处，确定是否将捕获图像。该确定可以包括监视便携式电子设备的输入接口。如果没有图像将被捕获，则在61处继续监视。

如果将要捕获图像，则在62处执行图像记录并且在63处捕获表示用户的身体状况的数据。响应于图像记录(即，与图像记录协作地)执行数据的捕获。可以在时间重叠情况下执行图像记录和表示身体状况的数据的捕获。如果在第一时段中执行图像记录，并且在第二时段中执行表示用户的身体状况的数据的捕获，则第二时段可以至少部分地与第一时段重叠。第二时段可以被完全包含在第一时段中，或者第一时段可以被完全包含在第二时段中。

在64处，基于表示用户的身体状况的数据生成元数据。为了生成元数据，可以将由第二传感器输出的数值写入元数据。如果第二传感器提供包括指示脉搏率、血氧饱和度或皮肤电反应的数值的数据，则这个值可以被写入元数据。可以执行附加的处理来生成元数据。如已经参考图1至4所解释的那样，可以对由第二传感器所捕获的数据执行图像分析、阈值比较和/或逻辑运算来生成元数据。

在65处，存储图像文件和关联的元数据。元数据可以被包括在图像文件中。元数据可以被包括在图像文件的属性字段中或者可以以其它方式标记到图像。元数据还可以被存储在单独的文件中，从而可以在元数据与图像文件之间建立一对应关系。方法返回到61处的监视。

可以在由第二传感器捕获的数据满足预定义规则时选择性地执行元数据的生成和存储。可以执行阈值比较以确定表示在图像捕获期间的身体状况的数据是否应该被转换为与图像文件相关联的元数据。

图6是其中选择性地存储元数据的方法67的流程图。方法67可以由图1至3的便携式电子设备1来执行。例如而不是限制，将在图像记录的背景中对方法67进行解释。可以以如参考图5所解释的相同方式执行用与图5中相同的附图标记标明的步骤。

在61处，确定是否将捕获图像。如果将捕获图像，则在62处执行图像记录。附加地，在63处捕获表示用户的身体状况的数据。

在67处，对捕获的数据进行评估以确定捕获的数据是否满足预定规则。捕获的数据可以进行阈值比较。例如，脉搏率可以与脉搏率阈值相比较以确定用户是否处于兴奋的状态。可以基于在较早的媒体记录期间用便携式电子设备所测量到的脉搏率来调整阈值。由多个不同的第二传感器捕获的数据可以均与阈值相比较，并且阈值比较的结果可以使用“与”或“或”逻辑算符彼此组合。如果所捕获的数据不满足预定规则，则方法进行到68。在68处，存储所记录的图像，但没有元数据被存储。

如果所捕获的数据满足预定规则，则方法进行到64。在64处，生成元数据。在65处，存储媒体文件和关联的元数据。方法然后返回到61处的监视。

元数据是标记于记录的媒体(诸如图像或视频)的个人信息。元数据可以被用来将在不同时间记录的不同媒体项目分组在一起，并且对其标记类似的个人信息。可以本地在便携式电子设备处或者在媒体文件和关联的元数据所被发送到的装置处执行根据所关联的元数据的媒体的组织。不同的规则可以被不同的装置用来分别根据元数据来组织媒体。为了在便携式电子设备处本地组织媒体数据，处理装置4可以获取与记录的媒体相关联的元数据并且可以使用该元数据来将媒体项目分组在一起，或者用来使用用户的身体状况作为搜索规则在媒体中执行搜索。

图7示意性地图示了其中媒体项目根据所关联的元数据被分组成多个组71-73的存储装置70。媒体项目不需要在存储装置上身体地分组在一起。可以在逻辑级别实现分组。例如，可以执行根据对其标记的个人数据对媒体项目进行分组来组织媒体以用于经由便携式电子设备的显示器输出给用户。

媒体项目的组71与微笑面部表情相关联。组71包括两个媒体文件74、76。组71可以进一步包括与媒体文件74、76相关联的元数据。媒体文件74、76基于在使用第二图像传感器19所捕获的视频中是否检测到微笑而被分配到组71。

媒体项目的组72与兴奋相关联。脉搏率可以指示用户在记录媒体时的兴奋。组72包括两个媒体文件77、78。组72可以进一步包括与媒体文件77、78相关联的元数据。媒体文件77、78基于涉及脉搏率的规则而被分配给组72。例如，如果在图像记录期间所捕获的脉搏率超过阈值，则媒体文件77、78被分配给组72。

媒体项目的组73与对应于重工作负荷的状态相关联。脉搏率和血氧饱和度在组合地评估时可以指示这样的状态。组73包括媒体文件79。组73可以进一步包括与媒体文件79相关联的元数据。媒体文件79基于涉及使用逻辑“与”组合的针对捕获的脉搏率的第一阈值比较和针对捕获的血氧饱和度的第二比较的规则而被分配给组73。例如，如果在图像记录期间捕获的脉搏率超过第一阈值并且如果血氧饱和度低于第二阈值，则媒体文件79可以被分配给组73。

与在延长的时段期间记录的媒体文件(诸如视频序列)相关联的元数据可以被分配给该媒体文件的各个段。元数据可以与视频序列的特定图像帧相关联。当元数据选择性地与视频序列的各个图像帧相关联时，元数据能够被用来容易地识别在记录视频时引起了特定身体状况的视频的子序列。

根据可用于捕获表示用户的身体状况的数据的第二传感器，可以定义其它组。同样可能的是，如果所关联的元数据符合用于将媒体项目分配给第一组和不同的第二组的规则，则一个媒体项目被包括在多个组中。

可以不仅在执行媒体记录的便携式电子设备1处本地使用指示在媒体记录时的身体状况的元数据。可以通过无线通信接口9将元数据发送到移动通信网络。可以有条件地根据用户是否已主动地确认了他或她愿意将标记于记录的媒体的个人传感器信息发送到移动通信网络来执行这样的传输。在移动通信网络中，服务器可以基于与媒体文件相关联的元数据来执行发送媒体文件的处理。例如，在社交网络中，指示各用户在媒体记录期间的身体状况的元数据可以被用来将媒体项目组成组，以便在媒体项目或类似物中进行搜索。其它装置可以依照所关联的元数据对媒体进行分组。例如，媒体和关联的元数据可以被从便携式电子设备发送到另一便携式电子设备，并且可以在另一个便携式电子设备处依照所关联的元数据进行组织。不同的装置可以使用不同的规则来将媒体组织成多个组。

图8是通信系统80的示意图。在通信系统80中，便携式电子设备81-83与服务器85进行通信以共享媒体，并且可选地，共享指示在记录媒体时的身体状况的元数据。便携式电子设备81-83与无线移动通信网络84进行通信以将消息发送到服务器85或者从服务器85接收消息。服务器85可以被包括在移动通信网络84的核心网中，或者可以以其它方式与移动通信网络84的节点接口连接。当便携式电子设备81-83中的一个愿意共享图像和在元数据中包括的关联的个人传感器信息时，它可以将包含媒体和关联的元数据的消息发送到服务器85。

服务器85可以具有存储图像和关联的个人传感器信息的数据库86。数据库86还可以包括针对多个便携式电子设备来定义用于共享图像和关联的个人传感器信息的联系人的身份的信息。

在服务器85上执行的媒体组织器模块87可以执行基于与媒体相关联的元数据的媒体的处理。例如，响应于从便携式电子设备81接收到包括图像和关联的个人传感器信息的消息，服务器85可以根据与图像相关联的元数据将图像分配给多个组中的至少一个。基于用户在记录媒体时的身体状况来选择组。当便携式电子设备81的用户同意与便携式电子设备82的用户共享关于他的或她的身体状况的信息时，至少一些其它用户(诸如便携式电子设备82的用户)可以访问该组。

图9是其中与记录的媒体相关联的元数据被用来将媒体组织成组或者在媒体中执行搜索的方法90的流程图。方法90可以由被用来记录媒体并且用来捕获表示用户的身体状况的数据的便携式电子设备1来执行。方法90还可以由不同于被用来记录媒体的便携式电子设备1的装置来执行(例如由图8的通信系统80的服务器85来执行)。存在分别具有被用来组织媒体项目的关联的元数据的多个媒体项目。

在91处，接收指示身体状态的用户输入。用户输入可以指示预定义身体状态的有限集合中的至少一个。这样的身体状态的示例包括“微笑”、“高脉搏率”、“高度紧张”、“高度努力”、“高工作负荷”或类似物。

在92处，获取与存储在存储设备中的媒体项目相关联的元数据。获取元数据可以包括从媒体文件的专用字段中或从一一对应地与媒体文件相关联的单独文件中获取元数据。

在93处，确定指示用户的身体状况的元数据是否满足预定规则。在93处的验证可以涉及至少一个阈值比较。如果元数据包括指示多个身体状况的数据，诸如脉搏率、皮肤电反应或血氧饱和度，则验证可以包括逻辑操作。出于这种目的，多个阈值比较的结果可以被供应给逻辑“与”算符或逻辑“或”算符。这在识别身体状态时提供增强的通用性。例如，包含在元数据中的脉搏率值和血氧饱和度值可以与彼此组合以确定用户在媒体被记录时是否一直处于高度独立、高度紧张或高工作负荷的状态。

用于93处的验证的预定规则可以取决于在91处接收到的用户输入。例如，为了确定媒体项目是否对应于高脉搏率，元数据中的脉搏率可以与阈值相比较。对于这个规则可以丢弃可以被包括在元数据中的其它值(诸如血氧水平)。为了确定媒体项目是否对应于高付出状态，可以确定脉搏率是否大于第一阈值并且血氧饱和度是否低于另一阈值。

根据比较的结果，在94处，将媒体项目选择性地添加到媒体项目的子集。如果所关联的元数据表明用户在媒体项目记录的时间具有由在91处的用户输入所指定的身体状态，则媒体项目被添加到子集。

在95处，确定是否存在存储于存储装置中的其它媒体项目。如果存在其它媒体项目，则方法进行到96。在96处，选择另一媒体项目。方法返回到92，并且重复步骤92至95。在这个过程中，如果所关联的元数据表明用户在媒体项目记录的时间具有由在91处的用户输入所指定的身体状态，则媒体项目被添加到子集。

如果确定已经针对所有可用的媒体项目执行了93的验证，则方法进行到97。在97处，包括在子集中的媒体项目可以被输出给用户。包含用户具有特定身体状态的媒体项目的组响应于91处的查询输入而被返回给用户。

可以在各种装置处(例如在便携式电子设备处或在远离该便携式电子设备的装置处)执行基于元数据的媒体的分组。用于根据所关联的元数据来组织媒体的规则可以随着时间的推移而改变。例如，可以基于用户偏好(诸如基于可以被专用用户动作激活的用户设定)来调整规则。还可以基于根据由各用户执行的手动分组的机器学习来改变规则。为此目的，可以监视用户手动地将媒体文件分组在一起的方式，并且指示身体状况的关联的元数据可以被相关以自动地标识用户定义的组与和各组中的媒体相关联的元数据之间的相关性。从而，可以考虑通过监视由用户手动地定义的组和指示身体状况的所关联的元数据得到的信息来得到或者调整用于将媒体文件分组在一起的规则。还可以基于根据由多个用户所执行的动作的机器学习来改变规则。例如，可以监视多个不同用户分别对媒体项目进行分组的方式，并且指示各用户的身体状况的所关联的元数据可以与由用户所定义的组相关。可以根据多个用户的机器学习调整用于分组的规则。可以基于多个用户分别执行媒体的分组的方式来生成更新后的分组规则算法。可以在移动通信网络或广域网的服务器处生成更新后的分组规则算法。更新卷皮的分组规则算法可以被用在中央实体(诸如在移动通信网络中或在广域网中的服务器)处，和/或可以被部署到用于在便携式电子装置中使用的便携式电子装置。

虽然已经参考图描述了记录媒体的便携式电子设备和方法，但是可以在另外的实施方式中实现修改和变更。在设备和装置中，所记录的媒体可以是图像帧。所记录的媒体还可以包括形成视频的多个图像帧。虽然在图像记录的上下文中对实施方式进行了描述，但是设备和方法可以被应用于其它种类的媒体记录，诸如视频和/或音频记录。

为了进一步说明，虽然描述了第二传感器的特定实施方式，但是可以替换地或附加地使用其它第二传感器。例如，至少一个第二传感器可以包括血压监视器、温度计或其它监视器，诸如心血管传感器或健康传感器。

尽管已经参考特定优选实施方式示出和描述了本发明，但是等同物和修改将被本领域的技术人员在对本说明的阅读和理解时想到。本发明包括所有这样的等同物和修改，并且仅由所附权利要求的范围来限制。

Claims (15)

1.一种便携式电子设备，所述便携式电子设备包括：

第一传感器(2)，所述第一传感器(2)用来记录媒体(41-44)；

至少一个第二传感器(18,19,30)，所述至少一个第二传感器(18,19,30)用来捕获表示所述便携式电子设备(1)的用户的身体状况的数据(51-54,55-58)，所述至少一个第二传感器(18,19,30)被配置成响应于所述第一传感器(2)记录所述媒体(41-44)来捕获所述数据(51-54,55-58)；

处理装置(4)，所述处理装置(4)与所述至少一个第二传感器(18,19,30)接口连接，所述处理装置(4)被配置成：

获取由所述至少一个第二传感器(18,19,30)捕获的所述数据(51-54,55-58)；

基于所述数据(51-54,55-58)对于记录的媒体(41-44)生成元数据(75)，所述元数据(75)指示所述身体状况；以及

使所述元数据(75)与所记录的媒体(41-44)相关联地存储。

2.根据权利要求1所述的便携式电子设备，

所述至少一个第二传感器(18,19,30)被配置成在所述第一传感器(2)同时地记录所述媒体(41-44)时捕获所述数据(51-54,55-58)。

3.根据权利要求1或权利要求2所述的便携式电子设备，

所述处理装置(4)被配置成：

验证捕获的数据(51-54,55-58)是否满足预定规则，以及

使所述元数据(75)基于所捕获的数据(51-54,55-58)是否满足所述预定规则被选择性地存储。

4.根据权利要求3所述的便携式电子设备，

所述预定规则可以包括至少一个阈值比较。

5.根据权利要求3或权利要求4所述的便携式电子设备，

所述至少一个第二传感器(18,19,30)被配置成捕获表示第一身体状况的第一数据(51-54)和表示不同于所述第一身体状况的第二身体状况的第二数据(55-58)，

所述处理装置(4)被配置成：

对于所述第一数据(51-54)执行第一阈值比较；

对于所述第二数据(55-58)执行第二阈值比较；以及

基于所述第一阈值比较和所述第二阈值比较的结果选择性地生成所述元数据(75)。

6.根据前述权利要求中任何一项所述的便携式电子设备，该便携式电子设备进一步包括存储装置(5)，所述存储装置(5)被配置成存储所记录的媒体(41-44)和与所述媒体(41-44)相关联的所述元数据(75)；

所述处理装置(4)被配置成基于分别与所述媒体(41-44)相关联的所述元数据(75)来处理存储在所述存储装置(5)中的媒体(41-44)。

7.根据权利要求6所述的便携式电子设备，

所述处理装置(4)被配置成基于与所述媒体(41-44)相关联的所述元数据(75)在存储于所述存储装置中的所述媒体(41-44)中执行搜索。

8.根据权利要求6或权利要求7所述的便携式电子设备，

所述处理装置(4)被配置成基于与所述媒体(41-44)相关联的所述元数据(75)将存储在所述存储装置(5)中的所述媒体(41-44)组织成多个组(71-73)。

9.根据权利要求6-8中任何一项所述的便携式电子设备，

与所述媒体(41-44)相关联的所述元数据(75)包括指示第一身体状况的第一元数据和指示不同于所述第一身体状况的第二身体状况的第二元数据，

所述处理装置(4)被配置成基于分别与所述媒体(41-44)相关联的所述第一元数据和所述第二元数据来处理存储于所述存储装置中的所述媒体(41-44)。

10.根据前述权利要求中任何一项所述的便携式电子设备，

所述第一传感器包括图像传感器(2)。

11.根据权利要求10所述的便携式电子设备，

所述图像传感器(2)被配置成记录包括多个图像帧(41-44)的视频，

所述至少一个第二传感器(18,19,30)被配置成在所述多个图像帧(41-44)被记录时捕获所述数据(51-54,55-58)。

12.根据权利要求11所述的便携式电子设备，

所述处理装置(4)被配置成使所述元数据(75)被基于在所述多个图像帧(41-44)被记录时捕获的所述数据(51-54,55-58)对于所述多个图像帧(41-44)的子集而选择性地存储。

13.根据前述权利要求中任何一项所述的便携式电子设备，所述便携式电子设备进一步包括无线通信电路(8,38)，所述无线通信电路(8,38)使所述处理装置(4)与所述至少一个第二传感器(18,19,30)中的第二传感器(30)接口连接。

14.一种使用便携式电子设备(1)来记录媒体(41-44)的方法，所述方法包括：

记录媒体(41-44)；

捕获表示所述便携式电子设备的用户的身体状况的数据(51-54,55-58)，所述数据(51-54,55-58)是在所述媒体(41-44)被记录时捕获的；

基于所捕获的数据(51-54,55-58)，对于所记录的媒体(41-44)生成元数据(75)，所述元数据(75)指示所述身体状况；以及

将所述元数据(75)与所记录的媒体(41-44)相关联地存储。

15.根据权利要求14所述的方法，

使用根据权利要求1至13中任何一项所述的便携式电子设备(1)来执行。