CN101896903A - 标注至少一个媒体信号的记录的方法 - Google Patents

Abstract

在标注至少一个媒体信号(22，23)的记录的方法中，该记录涉及在其期间已经捕获了对应物理信号的至少一个时间间隔。该方法包括用基于数据(14-16)的信息(17)扩充该至少一个媒体信号(22，23)，该数据(14-16)代表在与记录关联的物理位置的环境中的至少一个物理参数的值并且与在该至少一个时间间隔以外的时间点至少部分地相关。

Description

标注至少一个媒体信号的记录的方法

技术领域

本发明涉及一种标注至少一个媒体信号的记录的方法，

其中该记录涉及在其期间已经捕获了对应物理信号的至少一个时间间隔，

该方法包括用基于数据的信息扩充该至少一个媒体信号，该数据代表在与记录关联的物理位置的环境中的至少一个物理参数的值。

本发明也涉及一种用于标注至少一个媒体信号的记录的系统，该记录涉及在其期间已经捕获了对应物理信号的至少一个时间间隔，该系统包括：

信号处理系统，用于用信息扩充该至少一个媒体信号；以及

到至少一个传感器的接口，该传感器用于测量在与记录关联的物理位置的环境中的至少一个物理参数。

本发明也涉及一种计算机程序。

背景技术

US 2006/0149781公开了可以在任何如下应用中使用的元数据文本文件，在该应用中媒体文件或者甚至文本文件中的位置可以与传感器信息有关。这一点在如下例子中举例说明，在该例子中来自传感器的温度和湿度读数用来寻找传授烹饪的视频中的位置。厨师使用专用厨具来预备膳食，这些专用厨具比如是配备成感测它们是否盛满液体的罐壶、感测它们的温度的长柄锅和感测它们何时被冲压的甜点切刀。所有这些厨具向摄像机发送它们的传感器值，读数在该摄像机被记录成元数据文本文件。元数据文本文件将传感器读数与视频同步。当商业上包装这一节目时，元数据文本文件与用于该节目的视频包括在一起。

该已知方法的问题在于对于将与视频一起提供的所有相关传感器信息而言视频记录本身必然很长。如果仅把在实际记录的视频段期间捕获的传感器数据与视频一起包装，则对于用户确定在视频拍摄所在位置的主要条件而言可能相关的信息将丢失。

发明内容

本发明的目的在于提供一种适合于以相对准确和高效的方式传送与标注的记录的生产境况有关的信息的标注至少一个媒体信号的记录的方法、用于标注至少一个媒体信号的记录的系统和计算机程序。

这一目的通过根据本发明的标注至少一个媒体信号的记录的方法来实现，该方法包括用基于数据的信息扩充该至少一个媒体信号，该数据代表在与记录关联的物理位置的环境中的至少一个物理参数的值并且与在至少一个时间间隔以外的时间点至少部分地相关。

由于用基于数据的信息扩充记录，该数据代表在与记录关联的物理位置的环境中的至少一个物理参数的值，所以可以提供与标注的记录的生产境况有关的信息。在原理上有可能基于该信息至少近似地重建那些境况。这提供对媒体信号的更吸引人的回放。由于该信息基于与在该至少一个时间间隔以外的时间点至少部分相关的参数值，所以该信息更准确。它也覆盖媒体信号未覆盖的时段，例如在编辑媒体信号时删除的间隔或者恰在捕获媒体信号之前或者之后的时段。因此，媒体信号的捕获与用于创建标注信息的传感器数据的捕获无关。

该方法的一个实施例包括解释参数值以将参数值变换成用来扩充该至少一个媒体信号的信息。

在添加标注信息之前解释参数值允许减少消息。效果在于使标注更高效。

该方法的一个实施例包括接收至少一个参数值流并且将该至少一个参数值流变换成数据速率比该至少一个参数值流更低的数据流。

效果在于提供如下形式的解释，该形式的解释产生覆盖比参数值相关的时间间隔更长的时间间隔的值。这一实施例适合于表征在已经捕获或者再现与媒体信号对应的物理信号的位置处的氛围，因为环境条件在与媒体信号相同的短期时间尺度上一般不变。

又一变型包括将多个参数值序列变换成在用来扩充该至少一个媒体信号的信息中包括的单个数据序列。

效果在于使标注信息更准确而同时将标注信息的量保持至可接受的水平。

该标注记录的方法的一个实施例包括通过测量在捕获与该至少一个媒体信号对应的物理信号的物理位置处的环境中的物理参数来获得传感器数据并且用至少部分地基于这样获得的传感器数据的信息扩充该至少一个媒体信号。

效果在于提供对在记录位置的环境条件进行描述的信息。这样的信息因此与媒体信号传送的环境条件的影响协调。标注的记录适合于重建环境条件或者至少在回放记录的一个媒体信号或者多个媒体信号时加强环境条件的影响。

在一个实施例中，参数值与在时间间隔的至少部分内的时间点有关，该时间间隔涵盖在其期间捕获对应物理信号的该至少一个时间间隔。

效果在于保证用与在其期间已经捕获了对应物理信号的该至少一个时间间隔相关的信息标注媒体信号。然而，添加冗余信息的风险相对低，因为该信息基于与在该至少一个时间间隔以外的时间点至少部分地相关的参数值。

该方法的一个实施例包括通过测量代表与对应于该至少一个媒体信号的物理信号所代表的物理量不同的物理量的至少一个物理参数来获得传感器数据。

效果在于用相对相关的数据扩充记录。无法根据该至少一个媒体信号来容易地推断基于代表与对应于该至少一个媒体信号的物理信号所代表的物理量不同的物理量的物理参数的信息。

根据另一方面，根据本发明的用于标注至少一个媒体信号的记录的系统包括：

信号处理系统，用于用信息扩充该至少一个媒体信号；以及

到至少一个设备的接口(33)，该设备用于确定在与记录关联的物理位置的环境中的至少一个物理参数的值，

其中该系统能够在至少一个时间间隔以外从该至少一个设备获得代表参数值的数据并且用至少部分地基于那些数据的信息扩充该至少一个媒体信号。

由于该系统包括到至少一个设备的接口，该设备用于确定在与记录关联的物理位置的环境中的至少一个物理参数的值，所以该系统能够捕获如下数据，该数据代表在产生标注的记录时的环境条件。在回放标注的记录时，适当系统可以至少给出这些条件的影响。由于该系统能够获得代表在该至少一个时间间隔以外的物理参数值的数据并且用至少部分地基于该数据的信息扩充记录，所以相对高效地提供全面信息。

在实施例中，该系统被配置成实现根据本发明的一种标注至少一个媒体信号的记录的方法。

在这一实施例中，该系统被自动配置成保证用基于数据的信息扩充该至少一个媒体信号，该数据代表在与记录关联的物理位置的环境中的至少一个物理参数的值并且与在该至少一个时间间隔以外的时间点至少部分地相关。

根据本发明的另一方面，提供一种计算机程序，该计算机程序包括在并入机器可读介质中时能够使具有信息处理能力的系统执行根据本发明的方法的指令集。

附图说明

将参照以下附图更具体地解释本发明：

图1是记录系统的示意图；

图2是使用图1的记录系统来进行的记录过程的状态图；并且

图3是家庭娱乐系统的示意图。

具体实施方式

参照图1，示出了用于捕获物理信号以创建一个或者多个媒体信号的标注记录的记录系统1的例子。记录系统1包括摄像机2、麦克风3以及第一、第二和第三传感器4-6。

在所示实施例中，摄像机2包括用于将光强度值转换成数字视频数据流的光敏传感器阵列7。一般而言，数字视频数据流将被编码和压缩、与数字音频数据流同步并且与数字音频数据流一起被记录到记录设备8中的记录介质。用基于如下数据的标注信息扩充媒体信号，该数据代表在记录位置的环境中的至少一个物理参数的值。在这一上下文中，物理参数是某物理量(即与自然力有关的量)的值。

摄像机2包括形式为触屏接口9的用户接口。它包括用于开始和停止捕获视频和音频信号的第一用户控制10。它还包括用于开始和停止捕获基于代表在记录位置的至少一个物理参数的数据的标注信息的第二用户控制11。

在所示实施例中，提供传感器4-6中的至少一个用于测量代表与对应于数字音频和视频信号的物理信号所代表的物理量不同的物理量的至少一个物理参数。因此，由于视频和音频信号代表光强度和声能量，所以例如第一传感器4可以测量温度、第二传感器5可以测量湿度而第三传感器6可以测量振动。在其它实施例中，存在更少的传感器或者没有传感器4-6，并且标注信息例如基于来自麦克风3的信号。在另一实施例中，传感器4-6中的至少一个测量代表与数字音频和视频信号所捕获的那些量相似的量的物理参数。例如，传感器4-6之一可以测量环境光强度。

在另一实施例中，从用于调节如下设备的系统获得值，这些设备被布置成调节环境条件，例如背景照明水平。因此，在这些实施例中未直接测量环境条件的这一方面。可以有与传感器数据的组合，例如传感器测量风速，并且也收集用于调节泛光照明的设置。

在图2中示出了记录系统1的一些状态。通常，操作者将使用第二用户控制11以开始捕获和记录在记录场景的环境(状态12)。摄像机2持续地捕获(状态13)通过它的到三个传感器4-6的接口接收的参数值流14-16。这三个数据值流14-16被简化成环境数据值的单个集合17。该简化包括在将环境信息记录到记录介质(状态20)之前解释参数值流(状态18)并且添加定时信息(状态19)。较后的状态20包括在文件中以文本格式(例如xML(可扩展标记语言)格式)记录环境信息。

在一个实施例中，三个参数值流14-16被简化成环境值流，每个值代表在对应时间点的环境。添加用于将每个环境值与时间点相关的定时信息。在另一实施例中，定时信息用于标识对环境进行确定的时间间隔，从而环境信息涉及状态12的整个持续时间。在另一实施例中，第一和第二流14、15被简化成带时间戳的环境值序列，并且解释第一、第二和第三流16以获得对环境在捕获环境这一状态12的持续时间内的又一方面进行表征的数据集。

即使生成一连串的带时间戳的环境值，数据速率一般仍然低于参数值流14-16的数据速率，这意味着与参数值相比，环境值与更长的时间间隔有关。

图2也示出了其中仅记录媒体信号的状态21。捕获音频流22和视频流23(状态24)。它们使用定时信息来同步(状态25)并且记录于记录设备8中的记录介质上(状态26)。

始于和到达捕获环境数据这一状态12的一般进度用于以相对简单的方式提供与在记录位置的环境有关的更可靠信息。当用户致动第一用户控制10以记录视频段时，正常进度是从捕获和记录环境这一状态12到捕获和记录视听信号和环境这一状态27且又回到捕获和记录环境这一状态12。环境数据也基于与在居间时间间隔内的时间点以及在记录之前的时间间隔内的时间点有关的参数值。在一个实施例中，这通过摄像机2的适当编程来自动化。

在另一实施例中，环境信息集17基于来自麦克风3的信号的值而未使用传感器4-6。由于环境信息基于与在记录音频信号的时间间隔以外的时间点有关的麦克风信号的值，所以仍然增强标注的记录的整个信息内容。另外，解释麦克风信号以得到代表环境的信息(不同于声能量)。例如，可以通过确定在如下时间间隔内的平均背景噪声水平来获得环境信息，该时间间隔涵盖在其期间对记录的音频和视频信号进行捕获的时间间隔。

图3图示了家庭娱乐系统28，该系统包括家庭影院29、电视机30和扬声器31、32。家庭影院29由操控主存储器37中保持的数据的数据处理单元36控制。

视频输出级38向电视机30提供解码的视频信号。音频输出级39向扬声器31、32提供模拟音频信号。

家庭影院29还包括到第一和第二外围设备34、35的接口33，这些外围设备用于调整家庭娱乐系统28的环境中的物理条件。这些外围设备34、35代表一类设备，这些设备包括适合于发射颜色和强度可变的光的灯；适合于提供气流的风扇；用于提供强度和颜色可变的背光的洗衣机灯单元；以及允许用户体验移动和振动的震动设备。也可以提供其它知觉，比如嗅觉。数据处理单元36通过执行用脚本(例如专用(私有)标记语言的脚本)编码的指令，经由接口33来控制外围设备34、35的输出。脚本包括定时信息和代表外围设备34、35的设置的信息。

家庭影院29从内部海量存储设备40或者从用于从记录介质如光盘读取数据的读取单元41访问媒体信号。家庭影院29也能够经由网络接口42接收媒体信号的记录副本。

家庭影院29可以用本身已知的方式获得用如下脚本标注的媒体信号，这些脚本表明用于外围设备34、35的设置。然而，家庭影院29也可以获得用使用图2中所示方法创建的这一类信息标注的媒体信号。在该情况下，家庭影院29通过根据某些规则解释标注媒体信号的信息以确定至少一个目标环境、然后通过将该目标环境或多个目标环境变换成用于外围设备34、35的设置并且可选地变换成用于音频输出级39、扬声器31、32或者系统的用于再现视听信号的其它部件的设置来获得脚本本身。

例如，标注的记录可以是在飞机场获得的记录。即使没有飞机起飞或者着陆的镜头，标注信息仍然将表明有噪环境。这是因为环境数据基于与在记录时间间隔以外的时间点至少部分地相关的至少一个物理参数(比如噪声水平)的值。家庭影院29将表明有噪环境的信息解译成如下脚本，该脚本用于调节外围设备34、35以重建环境、例如创建振动知觉并且向媒体信号中包括的音轨添加飞机声音。

家庭影院29采用数据库，该数据库将特定环境与特定设置和/或在如下算法中的特定参数值相关，这些算法用于根据媒体信号的特性来创建设置。

在一个实施例中，家庭娱乐系统28还被配置成实现如图2中所示方法。具体而言，它能够用基于如下数据的信息扩充媒体信号，该数据代表在与它处理的媒体信号的记录关联的物理位置的环境中的至少一个物理参数的值并且与再现媒体信息的位置对应。颇为显然，这样的参数值与在原先记录媒体信号的时间间隔以外的时间点有关。家庭影院29包括到与图1的记录系统1的传感器4-6相似的传感器44的接口43。因此在这一实施例中，可以用代表在首次再现媒体信号时的环境的标注信息扩充媒体信号的记录，从而可以在以后时间重建该环境。

上文具体讨论的实施例示范了标注至少一个媒体信号的记录的方法的性质。这些性质也是该方法的其它实施例(未示出)的特征。例如，移动电话可以作为记录系统来操作，该系统配备有用于获得形式为数字图像的媒体信号的相机以及麦克风。不记录声音信息，但是可以分析在涵盖图像捕获时间点的间隔内的声音信号以确定环境。。例如，当在足球比赛时捕获数字图像时，可以分析声音信号以自动确定人群的情绪。

在另一实施例中，使用分布式记录系统。获得代表城市中的值的数据，同时使用无线通信将数字图像捕获到遍布城市的联网传感器。也分析代表在对数字图像进行捕获的时间间隔的过程中收听的音乐的数据。分析数据全体以得到代表用户在捕获数字图像之时所处情绪和/或城市中的环境的信息。

这些实施例中的每个实施例允许用如下信息扩充媒体信号，该信息基于无法直接根据媒体信号本身得到的参数值。这些实施例中的每个实施例通过解释参数值以推测环境或者情绪而不是记录来自传感器的附加信号来以高效方式实现这一点。在这些实施例中的每个实施例中，代表环境或者情绪的信息至少部分地基于与在记录间隔以外的时间点有关的参数值，从而增强标注信息的可靠性。

应当注意上述实施例举例说明而不是限制本发明并且本领域技术人员将能够设计许多替代实施例而不脱离所附权利要求的范围。在权利要求中，置于括号之间的任何标号不应理解为限制该权利要求。使用动词“包括”及其变形并不排除存在与权利要求中声明的那些单元或者步骤不同的单元或者步骤。单元之前的冠词“一”或“该”并不排除存在多个这样的单元。可以借助包括数个不同单元的硬件以及借助适当编程的计算机来实施本发明。在列举若干装置的设备权利要求中，这些装置中的若干装置可以由同一项硬件实现。在互不相同的从属权利要求中记载某些措施这一纯粹事实并不表明无法有利地利用这些措施的组合。

取代在物理盘上记录媒体信号并且向用于再现该至少一个媒体信号的系统提供物理盘或者其副本，媒体信号和标注信息可以暂时记录于存储器设备(如固态存储器设备或者硬盘单元)中、然后经由网络来传递。

如本领域技术人员将显而易见的那样，‘装置’意味着包括执行操作或者设计成执行指定功能的任何硬件(比如单独或者集成电路或者电子元件)或者软件(比如程序或者程序部分)，该硬件或者软件为单独的或者与其它功能组合、处于隔离或者与其它单元协作。‘计算机程序’将理解为意味着存储于计算机可读介质(如光盘)上、可经由网络(如因特网)下载或者可以任何其它方式销售的任何软件产品。

Claims (10)

1.一种标注至少一个媒体信号(22，23)的记录的方法，

其中所述记录涉及在其期间已经捕获了对应物理信号的至少一个时间间隔，

所述方法包括用基于数据(14-16)的信息(17)扩充所述至少一个媒体信号(22，23)，所述数据(14-16)代表在与所述记录关联的物理位置的环境中的至少一个物理参数的值并且与在所述至少一个时间间隔以外的时间点至少部分地相关。

2.根据权利要求1所述的方法，包括解释所述参数值(14-16)以将所述参数值(14-16)变换成用来扩充所述至少一个媒体信号(22，23)的所述信息(17)。

3.根据权利要求2所述的方法，包括接收至少一个参数值流(14-16)并且将所述至少一个参数值流(14-16)变换成数据速率低于所述至少一个参数值流的数据流(17)。

4.根据权利要求2或者3所述的方法，包括将多个参数值序列(14-16)变换成在用来扩充所述至少一个媒体信号(22，23)的所述信息(17)中包括的单个数据序列。

5.根据任一前述权利要求所述的方法，包括通过测量在捕获与所述至少一个媒体信号对应的所述物理信号所在的物理位置的环境中的物理参数，来获得传感器数据，并且用至少部分地基于这样获得的传感器数据的信息(17)扩充所述至少一个媒体信号(22，23)。

6.根据任一前述权利要求所述的方法，其中所述参数值(14-16)与在时间间隔的至少部分内的时间点有关，所述时间间隔涵盖在其期间捕获所述对应物理信号的所述至少一个时间间隔。

7.根据任一前述权利要求所述的方法，包括通过测量代表与对应于所述至少一个媒体信号的所述物理信号所代表的物理量不同的物理量的至少一个物理参数来获得传感器数据。

8.一种用于标注至少一个媒体信号(22，23)的记录的系统，所述记录涉及在其期间已经捕获了对应物理信号的至少一个时间间隔，所述系统包括：

信号处理系统(2；29)，用于用信息(17)扩充所述至少一个媒体信号(22，23)；以及

到至少一个设备(4-6；44)的接口(33)，所述至少一个设备(4-6；44)用于确定在与所述记录关联的物理位置的环境中的至少一个物理参数的值，

其中所述系统能够在所述至少一个时间间隔以外从所述至少一个设备(4-6；44)获得代表参数值的数据(14-16)并且用至少部分地基于所述数据(14；16)的信息(17)扩充所述至少一个媒体信号(22，23)。

9.根据权利要求8所述的系统，配置成实现根据权利要求1至7中的任一权利要求所述的方法。

10.一种计算机程序，包括在并入机器可读介质中时能够使具有信息处理能力的系统执行根据权利要求1至7中的任一权利要求所述的方法的指令集。

Images