CN102473172A - 改进的音频/视频方法和系统 - Google Patents

改进的音频/视频方法和系统 Download PDF

Info

Publication number
CN102473172A
CN102473172A CN2010800333777A CN201080033377A CN102473172A CN 102473172 A CN102473172 A CN 102473172A CN 2010800333777 A CN2010800333777 A CN 2010800333777A CN 201080033377 A CN201080033377 A CN 201080033377A CN 102473172 A CN102473172 A CN 102473172A
Authority
CN
China
Prior art keywords
data
video
audio
information
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800333777A
Other languages
English (en)
Inventor
J.D.洛德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digimarc Corp
Original Assignee
Digimarc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digimarc Corp filed Critical Digimarc Corp
Publication of CN102473172A publication Critical patent/CN102473172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Abstract

通过使用一体数据对象(诸如修改的MPEG文件或数据流)使音频和/或视频数据与(例如，和加速度、取向或倾斜相关的)辅助传感器数据在结构上持久地相关联。以这种形式，不同的再现装置可以采用共同传送的传感器数据来改变音频或视频内容。对传感器数据的这种使用可以针对不同的用户实现个性化(例如通过偏好数据)。例如，加速计数据可以与视频数据相关联，从而允许一些用户观看视频的抖动稳定版本，并且允许另一些用户在这种运动伪影按原样保留下来的情况下观看视频。以类似的方式，诸如焦平面距离之类的摄像机参数可以与音频/视频内容共同传送，从而在摄像机从远距离对象捕捉音频/视频时允许音量被减小。一些配置采用多个图像传感器和/或多个音频传感器——每个传感器也采集辅助数据。

Description

改进的音频/视频方法和系统
相关申请数据
在美国，本申请是2009年7月24日提交的临时申请61/228,336的非临时申请并且要求该临时申请61/228,336的优先权。
背景技术
对于配备有视频/图像传感器(例如，摄像机)的蜂窝电话和其它装置而言，合乎需要的是存在一种编码格式，其以一体的方式包括除了现有配置(例如，MPEG)的图像/声音以外的额外数据流。可以以这样的配置传送的一些额外数据流包括2D/3D加速计/倾斜传感器、2D/3D罗盘(磁力计)、镜头变焦、光圈、焦距和景深等。
通过与图像信息一起传送这些数据，图像可以根据辅助信息便利地得到处理。此外，如果辅助信息持久地与图像信息相关联，那么不同的装置可以使用辅助信息在不同的时间以不同的方式处理视频(和/或音频)。
可以由拍摄图像的装置和/或其它装置/系统/应用程序(例如，视频播放器应用程序或诸如YouTube之类的社交媒体网站等)来这样使用辅助数据。这样的处理可以发生在图像拍摄的时候(例如，手动或自动实况摄制)、或者发生在视频内容被制作成娱乐节目时、或者发生在后期制作期间(例如，译码成不同的格式或者为了在不同的环境中消费)、或者发生在内容最终被再现给观看者时，等等。
发明内容
举例来说，本技术的一个实施例是从一体的数据对象(例如，MPEG文件或流)中恢复出音频数据和摄像机数据(例如，焦平面距离)这两者的方法。根据焦平面数据处理音频数据以产生用于再现给用户的改变后的音频数据。该处理可以包括控制音频的音量，使得相对于焦平面对应于附近对象时捕捉的声音而言，当焦平面对应于远距离对象时捕捉的声音被衰减(即较近的对象听起来声音较大)。该效果可以由用户取决于偏好而被启用或禁用。
另一实施例是从一体的数据对象中恢复出视频数据和传感器数据(例如，加速计数据)这两者的方法。根据加速计数据处理视频数据以便补偿或者不补偿摄像机运动(例如，抖动)，这同样基于由用户指定的偏好数据来进行。
更一般地，本技术的某些方面涉及既包括(1)音频和/或视频信息又包括(2)摄像机和/或传感器数据的一体数据对象。特定实施例涉及从不同的数据源生成这样的一体对象、和/或从这样的一体对象中恢复出各个单独的数据的方法和装置。其它方法和配置采用传感器和/或摄像机数据来改变音频和/或视频信息。
根据参考附图给出的以下详细说明，本技术的上述及其它特征和优点将更加明了。
附图说明
图1示出使用MPEG编码在系统之间传送音频和视频数据的现有技术配置。
图2示出根据本技术的一个方面的配置。
图3示出不同的接收单元如何利用来源于移动电话的公共数据流。
图4是示出移动电话的各方面的框图。
具体实施方式
图1示出现有技术配置。诸如视频摄像机之类的始发装置包括用于拍摄图像的摄像机系统(包括2D图像传感器)和用于捕捉音频的麦克风。按照诸如MPEG之类的标准描述(例如，编码)所捕捉的数据。作为结果而得到的视频和音频数据流以众所周知的方式(例如，MPEG数据流)被整合--与各种其它处理和记录装置兼容。接收单元对所发送的视频进行解码并将其提供给显示屏。同样，接收单元对所发送的音频进行解码并将其提供给扬声器。
较新的装置包括除了现有技术图像传感器/麦克风以外的大量传感器。例如，甚至便宜的智能电话会包括诸如(用于感测手势、倾斜等的)加速计和(例如用于感测罗盘方向的)磁力计之类的组件。另外，光学捕捉参数(诸如镜头变焦和光圈尺寸)可以作为数据被取得，并在之后用于处理图像(和/或音频)数据。
图2示出使用本技术的各方面的示例性实现方案。始发单元(例如，蜂窝电话)提供包括三个维度的加速度信息(典型地是以正交配置设置的三个MEMS加速计)、(例如，通过GPS或其它方式获得的)3D位置坐标、时间戳数据、(典型地从磁力计或者霍尔效应罗盘取得的)三个维度的取向信息、以及倾斜传感器(其可以包括积分的加速计数据或者陀螺装置)的数据。摄像机数据可以包括有关焦点、变焦、光圈尺寸、景深、曝光时间、ISO设定、镜头焦距、焦深等的信息。这些参数允许重新计算图像如何与空间域相关。可以包括其它系统特定定时信息，诸如每个换能器和摄像机/视频帧之间的相对迟滞。例如，辅助数据可以包括相关联的视频帧的帧识别号，或者与MPEG I帧绑定的其它同步方法。
该刚刚详述的信息与由始发单元捕捉的音频和/或视频信息一起被共同传送，例如采用诸如MPEG之类的一体数据流的形式或者保存在诸如MPEG数据文件之类的一体文件中。(这些一体配置被统称为一体数据对象(unitary data object)，并且具有以结构化的方式使这些完全不同类型的数据持久关联在一起的优点。)
图2中也示出接收单元。接收单元取得一些或全部刚刚详述的数据，并且采用这些数据来形成再现给用户的输出。
考虑这样的输出如何与共同传送的辅助数据发生联系的几个实例。一个实例是抖动补偿(运动稳定化)。许多摄像机感测摄像机的抖动(例如，通过一个或更多加速计)，并处理图像数据以便在图像数据从摄像机输出之前去除该影响。采用本技术的配置感测抖动--如前所述。然而，不是在摄像机中去除该影响，而是相关联的抖动数据与所捕捉的图像数据一起传送。接收该数据的装置和应用程序可以选择应用(现有技术摄像机中所使用的那种)防抖动算法，或者可以以图像的包括抖动在内的未加工的原始形式呈现该图像。是否应用辅助数据去除抖动这种伪影(artifact)可以视具体情况来决定，或者自动地决定(例如，特定的视频播放器可以总是以抖动稳定的方式呈现视频)，或者根据用户选择来决定(例如，按照用户界面控制的操作所指示的那样，或者通过参考所保存的偏好数据)。
另一实例是音频处理。大多数音频捕捉装置包括某种形式的自动增益控制(AGC)，其设法保持相对恒定的音频水平。如果由麦克风感测到的音频较弱，那么将其放大；如果较强，那么将其衰减。例如对于收听者舒适性而言，这通常是合乎需要的。根据本技术的一方面，在捕捉的时候应用AGC，如前所述。然而，在再现的时候，应用程序可以根据对象距摄像机的距离来控制音频的音量。也就是说，音频输出可以根据指示摄像机的焦平面的位置的辅助数据而得到控制。如果摄像机聚焦在靠近摄像机的对象上(例如，与几英尺远的人会谈)，那么再现系统可以输出处于第一值的音频水平。相反，如果摄像机聚焦在远距离对象上，那么再现装置可以将音频水平降低到较低的第二值，从而给听众一种加强远距离视觉效果的音响效果。这在本文中被称为“空间感”音频(dimensional audio)。(再次，是否采用这样的处理可以有选择地控制，自动或手动控制。)
类似地，可以按照由共同传送的加速计或磁力计数据所指示的那样，基于摄像机的运动来增加或定制声音效果。如果感测到摄影机抖动或晃动，则可以将低频噪声叠加在现有音频数据上。如果数据表明摄像机正在向上或向下摇摄，那么可以添加(分别是)上升或下降频率的哨声。等等。
图3描绘出该配置的多面性。从始发单元输出单个数据供给。该数据供给被分发给各种接收单元(或者是“实况”分发，或者是经由中间存储装置和/或制作(production))。不同的接收单元以不同的方式再现数据，例如一些接收单元具有运动稳定显示，而一些没有；一些接收单元具有空间感音频，一些具有常规(AGC)音频。(接收单元也可以是蜂窝电话。接收单元之一可以是始发单元。图4中示出示例性蜂窝电话的框图。)
尽管图2中的接收单元被示出仅包括显示器和扬声器作为输出装置，但是当然也可以使用更多或更少的输出装置。在一种配置中，包括一个或更多触觉输出装置，使得例如在始发单元处感测到的运动信息可以在接收单元处作为运动(振动)被再现。触觉技术和输出装置可从Immersion公司的专利(诸如专利7,425,675、7,561,142)和已公开的申请20090096632获知。
全异数据流的编码可以使用诸如MPEG-2/H.262和H.264/MPG-4之类的已知协议的基本方法。可以修正这些协议以便添加其它扩展，类似于(音频)MPG多通道(ISO 14496-3)。另一种方法是使用MPEG-2中的6个LCPM音频通道当中的一个或更多可用通道(这些被无损编码并且可以在较低采样率和比特率下完成)。
举例来说，关于各空间换能器、换能器轴、摄像机设定、光学参数等的数据被编码成数字流并且在其编码的时候被嵌入MPEG-2流的其中一个音频通道中。(当前编码允许选择通道的数目和比特率，所以可以使得一个或更多通道可供使用。)选择音频编码方法，其超出来自摄像机和麦克风的原始音频所需要的数目而实现足够数目的附加通道。换能器等的数据包括用于这些附加音频通道的数据流。这使换能器数据保持与音频/视频流同步，这对于音频/视频数据的后续处理而言是合乎需要的。(在另一种配置中，同步不在协议中保持，而是通过参考以数字水印方式添加到一个或更多辅助数据流中的同步信号以及音频和/或视频数据而在之后建立。参见例如专利6,836,295和6,785,401。)
因为空间和加速计数据不需要非常高的比特率(如下面进一步讨论的那样)，所以这些数据流可以串行地组合到较少数目的音频通道(甚至是单个音频通道)中。举个大致的例子：为4个换能器的3个轴(总共12个轴)中的每个轴留出每样本32比特，加上各自为32比特的32个摄像机设定，会产生每一个图像帧总共176字节。如果图像帧频是60帧/秒，那么辅助数据速率是10,560字节/秒，这完全在甚至最低的音频通道(44.1kHz8比特)之内。因为一些辅助数据不需要每帧都传输，所以通道使用可以进一步减少。
因为辅助数据的较低数据率，辅助数据可以以比常规音频低的比特率进行编码。摄像机的空间坐标可以具有最低数据率。表征光学捕捉系统的辅助数据(透镜、光学系统、曝光等)可以例行地发送，但是仅需要在变化(通常与首先显现变化的帧相关联)时被发送。在一个特定实现方案中，将这些数据与MPEG视频的I帧对准地进行发送以便在编辑后的流中进行图像后处理。对于变焦、光圈、取向(orientation)、景深、焦距、方位(bearing)、3D GPS、时间等而言，每帧只需要一次。以更快的速率有用地采集加速度信息以便保持摄像机空间运动(或者被积分以得到速率和相对空间位置)。加速度信息可以比每帧一次更迅速地被采集，但是只在帧间隔被发送，或者可以以更高或更低的频繁度被发送。(也就是说，加速计和位置数据不需要被限制于视频帧频。)
在给定相对低的数据速率的情况下，不需要数据压缩(但是当然也可以使用数据压缩)。对于缓慢变化的数据而言，一些实现方案通常可以发送差分更新，并且以更低的频繁度发送完整坐标进行重新同步(以类似于MPEG中I帧相对于B和P帧的方式)。不同的数据类型(例如，差分或完整)可以由相关联的数据包或字段中的标签(例如，采用XML样式)指示。
加速度数据可以在本地在始发单元处被积分(一阶和二阶积分)，并且这些参数被包括在辅助数据流中，因为可以获得比定位每个帧所需的精度更高的精度。类似地，通过跟踪并组合加速度、取向、罗盘和位置，可以在摄像机上以更高的精度更好地计算空间位置。加速度数据的积分高效地切割其带宽。
在一些实施例中，辅助数据与同步和标识字段/标签一起被集合到流中，以便使得能够对视频进行分析和关联。不同数据的精度也可以在流中指定(标记)。
在另一种配置中，空间信息的每个样本群利用与该数据相对应的时间戳而被界定或形成为数据包。
在一种特定配置中，对辅助数据进行编码，并且在现有音频通道(例如采用5.1音频实现方案)之间对其进行多路传输和/或将其混合到现有音频通道中。对于诸如来自移动电话和许多其它摄像机的单声道声音而言，额外的通道容量实质上可自由利用。在另一实现方案中，把辅助数据编码到人类听觉范围(例如低于300Hz或高于15KHz)的底部或顶部附近的一个或更多载波中。(可以修改MP3或其它编码使其适合于保留这样的数据频带。)这些数据频带可以在回放的时候在再现给人们进行消费的音频中被任选地过滤和去除。
在又一种配置中，把辅助数据作为在遍及音频(视频)的一部分或全部的范围上对音频(或视频)的微小变化，以隐写方式传送。这样的数字水印技术在例如专利6,061,793和6,590,996中有详细描述。
如对于本领域技术人员明显的那样，例如在接收单元处提供与编码配置互补的解码器配置以提取辅助数据。
又一种配置采用新的标准编码格式，其把换能器和摄像机数据编码到专用通道内，这与视频帧编码同步(尽管这同样不需要被限制于帧频)。
可以使得所述流内的数据字段标签和/或包头字段是可扩展的，以便允许在将来能够包含额外的数据类型。在一种特定配置中，包头被保持得较短——仅用于识别换能器数据的几个标准群组/包；该群组是相对坐标群组还是绝对坐标群组；和/或它是否包含摄像机信息。对于使用可扩展内容的数据包，任选地保留大量附加包头比特组合。(可扩展的)数据包内的每个数据元素或群组于是可以顺次地或者分等级地(如在XML中那样)界定。可扩展性对于所有数据群组都是有用的，但是合乎需要地并不形成带宽需求的主要部分。
合乎需要地，编码的流(或相应的文件结构)在开头附近被加上标签以便使知道协议的播放器能够正确地分析选项，选择忽略所述流，(在被编码到音频通道中的情况下)不设法将辅助数据作为声音播放，等等。
为了在旧式装置(例如，旧式视频/音频播放器)上进行回放，可以预先剥除辅助数据，或者如果播放器知道编码协议，则它可以选择忽略该数据。
上面给出了举例说明共同传送的辅助数据的使用的几个实例。这样的应用的数量是无数的。下面简要提几个其它实例：
·与来自映射的空间信息组合(例如，类似于增强现实系统Layar.eu，但是根据记录的视频而不是根据实况供给进行工作)。
·建造3D图像(甚至使用摄像机运动和抖动、结合光路设定来提供立体视图信息，然后对图像进行内插)。
·跟踪摄像机空间位置以便进行映射。
·用户对图像内容加标签以便用于定位或社交应用程序。
·使得能够在后期制作或实况回放时对视场中的对象加标签(例如，在游览同一地点时，先前记录的假期的视频剪辑现在可以经由朋友们的来自蜂窝电话的实时坐标供给，来实时地指示朋友们在哪里)。
·允许搜索视频以获得事件的可能场景(关于犯罪等的法医应用——利用快速搜索来确定是否有任何人碰巧在背景中拍摄到事件X的场景，而不是人工地复查&辨别每帧的场景所属于的事件)。
组合的音频/视频和辅助数据流可以在实况广播中使用或者被记录。当进行实况广播时，它允许始发单元捕捉事件(例如，体育赛事)，同时对辅助数据的处理(例如，结合辅助数据来处理音频/视频)由(在家中在PC/TV上观看的)观看者或者由中间服务(播音室或云处理)来执行。
可以组合多个摄像机场景以便构造更复杂的空间场景。观看者于是可以通过使得能够从不同角度观察的后期处理效果来观察事件。利用所附加的空间标签数据或者通过使用对象识别，观察者/观看者可以跟踪各个单独的比赛者、运动员、汽车、马，其中对在数据流中包含有空间数据的多个图像源进行选择/内插/混合，以便跟随所标记的对象/人。额外的标记和标签可以在特定空间位置处嵌入到场景中。
可以为包括汽车、马、橄榄球在内的各种体育赛事制作位置(GPS)/加速度监视标签(例如，构建到球员制服中)。辅助数据应答器(位置、加速度等)甚至可以集成到体育用球、橡胶圆盘(puck)或者其它运动或静态的固定装置中，并且这些辅助数据与(例如从边界线取得的)事件的音频/视频一起被共同传送。这些对被观看的对象赋予相对于摄像机的已知位置。
其它评论
假定读者熟悉与上述讨论相关的各种协议和数据传输标准/规范。通过引用将详述这些规范的各种标准文献(例如，ISO/IEC 14496-3、ISO/IEC 13818-1、ISO/IEC 14496、ITU H.262、ITU H.222、RFC 3640等)结合在本文中。
尽管已经参考说明性实例描述和举例说明了本发明的原理，但是应认识到的是，本技术并不局限于此。
例如，尽管特别参考了示例性协议和标准(例如，MPEG-2)，但是自然也可以修改其它协议和标准以便使其适合于所详述的目的。这些包括MPEG-4、MPEG-7、MPEG-21等。
已经参考了在捕捉时对音频进行AGC处理、并在此后根据辅助数据来可控制地改变音频水平的实施例。在另一种配置中，在捕捉的时候不对音频进行AGC处理。而是，以其初始被捕捉的形式对其进行编码。音频水平或其它效果仍然可以根据辅助数据而得到控制。
尽管详述的实施例使用辅助数据来处理共同传送的音频和/或视频数据，但这不是必需的。在其它实现方案中，辅助数据可以由接收单元用于与音频/视频相独立的目的(例如，识别所显示的地图上的捕捉位置等)。
应认识到的是，作为对传感器数据(或摄像机数据)自身进行编码的替代，可以对基于这样的数据的其它信息进行编码。例如，可以在蜂窝电话上处理指示瞬时位置信息的数据，以便产生运动矢量数据。该运动矢量数据(和其它这些后处理数据)可以与相关联的音频和/或视频一起被编码到一体数据对象中。当运动通过导数过程(derivativeprocess)与位置相关时，也可以应用无数其它类型的处理，例如积分、滤波等。类似地，不同类型的辅助数据可以被组合或者被联合处理(例如，位置数据的导数可以产生运动的一个估计值，并且加速计数据的积分可以产生运动的第二估计值，然后可以对这两个估计值求平均值)。在一些配置中，存储原始传感器数据，并且把对该原始数据所加的标签包含在编码的数据流中，以便在需要时用于后续再分析。
类似地，应该理解的是，所详述的辅助数据的类型是说明性的，而不是限制性的。例如，在另一种配置中，运动员的智能电话可以配备有氧气传感器或心率监测器，并且该信息可以保存在数据结构中，所述数据结构还包括相关的音频或视频信息。(在一些实施例中，这些传感器可以通过蓝牙或其它短距离连接技术连接到蜂窝电话。)通过这样的配置，自行车比赛视频可以与示出竞赛者的变化的心率和血氧水平的图形注释一起被再现。
尽管详述的配置特别认为辅助(例如，传感器)数据可以有用地对图像(视频)数据的处理做出贡献，但是其它处理配置也是有用的。例如，图像数据可以用于帮助处理传感器数据，或者用于提供图像和各组传感器数据之间的同步。视频流可以包括嵌入到数据通道中的数据同步标签，大得多的数据或可供选择的数据可以与其同步。(这些可能需要不同于视频帧/时间戳，因为可能无法从帧编号或时间计算出传感器测量的事件ID。此外，视频后期制作可能会丢失原始帧信息。)同样，如果捕捉的辅助数据太大以至于无法方便地包含在一体数据对象内(例如，在音频或元数据通道中)，那么与该数据相关联的ID号可以作为替代而被嵌入到一体数据对象中。
例如，考虑在捕捉运动视频期间的某个时刻捕捉静止照片和换能器数据。关于该图像的标签可以嵌入到视频流辅助通道中以便链接到该图像。(该图像可以具有用于链接回到图像帧/时间的标签。)照片捕捉时间可以以比帧频更精细的分辨率来记录。
也考虑在智能电话正在捕捉视频时，以比视频帧频更大的帧频为该智能电话采集位置数据的高速样本序列(例如位置、取向、倾斜)。作为结果而得到的辅助数据可能会过于庞大以至于无法与视频一起包含在数据对象中。(或者位置数据可以在不同的处理中被捕捉。)向该位置数据的ID赋予一标签，并且将该标签嵌入到视频流中(或许在该数据捕捉的开始点和停止点处)。可以出于各种目的而处理该数据，例如为了合成被成像对象的3D模型、量化与握住/使用电话的动作相关联的用户运动、等等。
尽管详述的配置特别考虑了单个图像传感器或单个音频传感器，但是本技术也非常适合于与多个传感器一起使用。
在一种这样的配置中，多个传感器捕捉音频或视频，和/或辅助数据。捕捉的信息可以馈送给云资源或其它处理系统，在这里这多个流可以被分析、组合或被挑选进行再现。例如，多个摄像机的相对位置可以从(例如与视频一起被编码的)相关联的位置数据计算得到。当一个摄像机在另一个摄像机的视界内时，它的存在或位置可以在UI中指示(例如，通过取景框中的突出的矩形)--向观看者指示可使用另一个视点。当视频新闻工作者拍摄事件或访谈时，空间位置信息可以指示在哪里可以在不同于正被观看的视频流的视频流中获得更好的音频或图像。
事件的多个视点可以被分析并组合以便再现事件的3D模型。捕捉的位置(运动)数据允许摄像机运动得到补偿，并且允许每个图像基于摄像机取向、焦距、视场等因素而被变换/重新映射。
如果多个音频传感器部署在空间中--每个音频传感器也采集辅助信息(例如，其瞬时位置)，那么就会得到可据以产生各种效果的丰富数据集。考虑拍摄一部电影，其中每个表演者都具有这样的麦克风。作为结果而得到的音频/辅助数据流可以以不同的方式再现给不同的消费者。一个消费者可能想要听到如同处于动作的中心的音频。(例如，可以计算麦克风的位置平均值，并且可以计算并再现来自各个麦克风的音频在该位置处的声场贡献，同时任选地基于人类双耳听觉的已知模型来对立体声方向性进行建模。)另一消费者可能想要跟随特定的女演员并且听到如同该女演员听到的音频那样的音频。同样，这样的系统可以在该女演员来回走动时确定在该女演员位置处的净声场(netsound field)。(女演员的声音总是主要的；其他人根据他们距女演员的距离而被相应地听到。)如果再现环境包括扬声器的阵列(例如，右前方、左前方、后部中央(例如，多通道环绕声))，那么可以对数据进行处理以便在再现给消费者时不仅考虑音量，而且还考虑360度的方向性。消费者可以挑选原始表演中的实质上任意的虚拟收听点，该收听点可以是静态的或运动的。
在又一实施例中，可以感测消费者的位置(例如，使用携带的智能电话)，并且音频源可以由处理器(例如，消费者的智能电话)根据消费者的位置和运动来再现。例如，在再现(使用前面段落的配置记录的)鸡尾酒会的音频时，消费者可以在实体空间内移动以便偷听特别感兴趣的谈话。这可以在不需要多通道环绕声的情况下(例如，利用插入消费者的智能电话中的简单耳塞)完成，或者也可以采用多通道扬声器配置。
刚刚提到的配置特别适用于基于计算机的游戏，在该游戏中玩家可以在时间和位置这两者上与系统或其他真实/虚拟玩家交互。
本受让人的专利7,197,160详述了如何把位置信息(例如，纬度/经度)隐写地编码到图像和音频中。
尽管已经参考了蜂窝电话，但是应认识到的是，本技术可以在各种装置(电话或非电话装置，便携式装置和固定装置)上得到应用。
(特别预期到的蜂窝电话有：苹果iPhone 4和遵循Google的安卓规范的蜂窝电话，例如HTC Evo 4G和摩托罗拉Droid X。包括触摸界面在内的iPhone的细节在苹果公司的已公开的专利申请20080174570中有提供。)
可以用作始发和接收单元的蜂窝电话和其它装置的基本设计对于本领域技术人员而言是熟悉的。一般地说，各自包括一个或更多处理器、一个或更多内存(例如，RAM)、存储装置(例如，磁盘或闪存)、用户界面(其可包括例如键区、TFT LCD或OLED显示屏、触摸或其它姿态传感器、以及用于提供图形用户界面的软件指令)、这些元件之间的互连装置(例如，总线)、以及用于与其它装置通信的接口(其可以是无线的，诸如GSM、CDMA、W-CDMA、CDMA2000、TDMA、EV-DO、HSDPA、WiFi、WiMax或蓝牙，和/或可以是有线的，诸如通过以太局域网、T-1因特网连接等)。始发装置典型地包括摄像机和/或麦克风，以及用于提供上面提及的辅助数据的一个或更多其它组件/系统。
根据本文中提供的说明，用于实现所详述的功能的软件指令可以容易地由技术人员编写，例如以C、C++、Visual Basic、Java、Python、Tcl、Perl、Scheme、Ruby等编写。根据本技术的蜂窝电话和其它装置可以包括用于执行不同功能和动作的软件模块。
通常，每个装置包括提供对硬件资源的接口和通用功能的操作系统软件，并且还包括可被选择性地调用以执行用户期望的特定任务的应用软件。已知的音频和视频编解码器、浏览器软件、通信软件和媒体处理软件可以被修改以适应在此详述的许多用途。软件和硬件配置数据/指令通常被存储为由实体介质携带的一个或更多数据结构中的指令，所述实体介质诸如是可以穿过网络访问的磁盘或光盘、存储卡、ROM等。一些实施例可以实现为嵌入系统，即一种专用计算机系统，其中操作系统软件和应用软件对用户而言无法区分(例如，基本的蜂窝电话通常就是这种情况)。本说明书中详述的功能性可以以操作系统软件、应用软件和/或嵌入系统软件实现。
不同的功能可以在不同的装置上实现。将一操作描述为由特定装置执行(例如，始发蜂窝电话把镜头数据编码到MPEG流的音频通道中)并不是限制性的而是示例性的；由另一装置(例如，接收或知道除MPEG流以外的镜头数据的后续装置)执行操作也是明显可预期到的。
(以类似的方式，将数据描述为存储在特定装置上也是示例性的；数据可以存储在任何地方：存储在本地装置中，存储在远程装置中，存储在云中，被分布式存储，等等。)
操作不需要专门由可明确识别的硬件执行。相反，一些操作可以向外提交给其它服务(例如，云计算)，这些其它服务通过另外的通常是匿名的系统来完成它们的执行任务。这样的分布式系统可以是大型的(例如，包含全球范围的计算资源)，或者是本地的(例如，当便携式装置通过蓝牙通信识别附近的装置，并且将一个或更多附近装置牵涉到一任务(诸如贡献来自本地地形的数据)中时)。
尽管本公开已经在说明性实施例中详述了动作的特定排序和元件的特定组合，但是应认识到的是，其它预期到的方法可以对各动作重新排序(可能省略一些动作并增加其它动作)，并且其它预期到的组合可以省略一些元件并增加其它元件，等等。
尽管是作为完整的系统来公开，但是所详述的配置的子组合也是可分别预期到的。
应认识到的是，对内容信号(例如，图像信号、音频信号、换能器信号等)的所详述的处理包括将这些信号以各种物理形式进行变换。图像和视频(穿过实体空间传播并描绘实体对象的电磁波形式)可使用摄像机或其它拍摄装置从实体对象拍摄，或者由计算装置生成。类似地，可使用音频换能器(例如麦克风)捕捉穿过实体介质传播的声压波，并将其转换为电子信号(数字形式或模拟形式)。尽管这些信号典型地以电子和数字形式被处理以实现上述组件和处理，但是这些信号也可以以包括电子、光学、磁、和电磁波形式在内的其它物理形式被捕捉、处理、发送和存储。在处理期间以各种方式并且出于各种目的对内容信号进行变换，从而产生信号和相关信息的各种数据结构表示形式。继而，对存储器中的数据结构信号进行变换以便在搜索、分类、读取、写入和检索过程中进行操作。这些信号还可以被变换以便被捕捉、发送、存储并经由显示器或音频换能器(例如扬声器)输出。
本说明书中详述的特征和配置可以与2009年6月12日提交的共同未决申请12/484,115(公开号为US20100048242)中详述的特征和配置结合使用。例如，申请12/484,115中详述的对象识别架构和技术可以用在本技术的实现方案中。应该理解的是，申请人打算将本申请中公开的方法、元件和概念与申请12/484,115中详述的方法、元件和概念组合(反之亦然)。根据所提供的教导，所有这些组合的实现方案对于本领域技术人员而言是直接明了的。
在某些实施例中，始发装置从一个或更多人捕捉生物统计信息(例如，指纹、心率、视网膜图案、呼吸率等)。该数据同样可以由接收单元用来例如确定应该如何(或是否应该)再现音频/视频数据。
所详述的技术对用户自创内容(UGC)站点(诸如YouTube)特别有用。这里所详述的辅助数据可以由UGC站点接收并保存，并且在以后提供给其他用户——供他们以所描述的方式使用。可替换地，UGC站点可以采用辅助数据来处理音频/视频数据，然后只提供处理后的音频/视频数据给用户。(也就是说，所示出的图2的“接收单元”事实上可以是提供音频和/或视频给另外的单元的中间处理单元。)
本文反复提及GPS数据。这应被理解为是任何位置相关信息的简略表达；它不需要从全球定位系统的卫星群得到。例如，另一种适合于产生位置数据的技术依赖通常在装置(例如WiFi、蜂窝等)之间交换的无线电信号。给定若干通信装置，信号自身以及控制这些信号的不完美的数字时钟信号形成一个参考系，从该参考系中可以抽取均高度准确的时间和位置。这样的技术在早期公开的国际专利公开WO08/073347中有详述。本领域技术人员将熟悉若干其它位置估计技术，包括那些基于到达时间技术的位置估计技术，以及那些基于(由Rosum提供的)广播无线电和电视塔和(由Skyhook Wireless提供并用在iPhone中的)WiFi节点的位置的位置估计技术，等等。
尽管位置信息通常包括纬度和经度数据，但是它可以可替换地包括更多、更少或不同的数据。例如，它可以包括取向信息(诸如由磁力计提供的罗盘方向，或者由陀螺仪或其它传感器提供的倾斜信息)。它还可以包括诸如由数字测高仪系统提供的高程信息。
Digimarc具有与本主题相关的各种其它专利文献。参见例如2010年7月13日提交的申请12/835,527、已公开的国际申请WO2010022185和专利6,947,571。
不可能对在此描述的技术的无数变型和组合明确地编出目录。申请人认识到并且希望本说明书的概念可以被组合、替换和互换--既包括在它们自己之间被组合、替换和互换，又包括与从所引用的现有技术获知的那些概念组合、替换和互换。此外，应认识到的是，所详述的技术可以与(当前的和即将出现的)其它技术被包括在一起以获得有利效果。
为了提供全面的公开而不会过度地使本说明书变长，申请人通过引用把上面参考的文献和专利公开结合在本文中。(这些文献的全部内容被结合在本文中，即使上面是结合它们的特定教导来引用的。)这些参考文献公开了可以结合到在此详述的配置中并且在此详述的技术和教导可以结合到其中的技术和教导。

Claims (33)

1.一种方法，包括以下动作：
接收视频信息，并对所述视频信息进行变换以便将其表示到一体数据对象的视频部分中；
接收音频信息，并对所述音频信息进行变换以便将其表示到所述一体数据对象的音频部分中；
接收包括与加速度、取向或倾斜相关的至少一个参数的传感器信息，并对所述传感器信息进行变换以便将其表示到所述一体数据对象中；和
将所述一体数据对象发送给数据接收器，或者将所述一体数据对象存储在计算机可读存储介质上，使得所述传感器信息通过所述一体数据对象在结构上与所述音频和视频信息相关联，并且由此使所述传感器信息适合于由处理器用于改变所述音频或视频信息。
2.如权利要求1所述的方法，包括使用处理器根据所述传感器信息的至少一部分来改变所述音频或视频信息。
3.如权利要求1所述的方法，包括对所述传感器信息进行变换以便将其表示到所述一体数据对象的所述视频部分中。
4.如权利要求1所述的方法，其中所述一体数据对象包括MPEG数据流或MPEG数据文件。
5.如权利要求1所述的方法，包括将所述传感器信息变换到人类听觉范围的底部附近或顶部附近的频率范围。
6.如权利要求1所述的方法，包括将所述传感器信息表示为隐写地隐藏在所述音频或视频信息中的信号。
7.如权利要求1所述的方法，其中所述传感器数据包括加速度数据。
8.如权利要求1所述的方法，其中所述传感器数据包括取向数据。
9.如权利要求1所述的方法，其中所述传感器数据包括倾斜数据。
10.如权利要求1所述的方法，还包括接收摄像机数据，以及对所述摄像机数据进行变换以便将其表示到所述一体数据对象的所述音频部分中，其中所述摄像机数据包括与焦点、变焦、光圈尺寸、景深、曝光时间、ISO设定和/或焦深相关的至少一个参数。
11.一种方法，包括以下动作：
接收一体数据对象；
从所述一体数据对象的音频部分中恢复出音频数据；和
从所述一体数据对象的音频部分中恢复出传感器数据，所述传感器数据包括与加速度、取向或倾斜相关的至少一个参数；
其中所述恢复动作中的至少一个是由硬件处理器执行的。
12.如权利要求11所述的方法，其中所述恢复出传感器数据的动作包括对音频数据应用隐写解码处理以从所述音频数据中提取所述传感器数据。
13.如权利要求11所述的方法，包括根据所述传感器数据的至少一部分来改变恢复出的音频数据。
14.如权利要求11所述的方法，还包括从所述一体数据对象的视频部分中恢复出视频数据，并且根据所述传感器数据的至少一部分来改变恢复出的视频。
15.一种方法，包括以下动作：
接收一体数据对象；
从所述一体数据对象的音频部分中恢复出音频数据；和
从所述一体数据对象的所述音频部分中恢复出摄像机数据，所述摄像机数据包括与焦点、变焦、光圈尺寸、景深、曝光时间、ISO设定和/或焦深相关的至少一个参数；
其中所述恢复动作中的至少一个是由硬件处理器执行的。
16.如权利要求15所述的方法，包括根据所述传感器数据的至少一部分来改变恢复出的音频数据。
17.如权利要求15所述的方法，还包括从所述一体数据对象的视频部分中恢复出视频数据，并且根据所述传感器数据的至少一部分来改变恢复出的视频。
18.一种方法，包括以下动作：
接收一体数据对象；
从所述一体数据对象中恢复出视频数据和传感器数据这两者，所述传感器数据包括与加速度、取向或倾斜相关的至少一个参数；和
根据所述传感器数据的至少一部分来处理所述视频数据，以产生改变后的视频数据来再现给用户；
其中所述动作中的至少一个是由硬件处理器执行的。
19.如权利要求18所述的方法，包括：
获得用户偏好数据；
根据所述用户偏好数据，利用所述传感器数据的至少一部分来处理所述视频数据；和
将处理后的视频再现给用户。
20.如权利要求19所述的方法，包括使用所述传感器数据来对所述视频进行抖动补偿。
21.如权利要求19所述的方法，包括通过用户界面从用户获得所述用户偏好数据。
22.一种包含非短暂软件指令的计算机可读存储介质，所述非短暂软件指令使处理器由此被编程为：
从所接收的一体数据对象中恢复出视频数据和传感器数据这两者，所述传感器数据包括与加速度、取向或倾斜相关的至少一个参数；和
根据所述传感器数据的至少一部分来处理所述视频数据，以产生改变后的视频数据来再现给用户。
23.一种方法，包括以下动作：
接收一体数据对象；
从所述一体数据对象中恢复出视频数据和摄像机数据这两者，所述摄像机数据包括与焦点、变焦、光圈尺寸、景深、曝光时间、ISO和/或透镜焦距相关的至少一个参数；和
根据所述摄像机数据的至少一部分来处理所述视频数据，以产生改变后的视频数据来再现给用户；
其中所述动作中的至少一个是由硬件处理器执行的。
24.一种方法，包括以下动作：
接收一体数据对象；
从所述一体数据对象中恢复出音频数据和传感器数据这两者，所述传感器数据包括与加速度、取向或倾斜相关的至少一个参数；和
根据所述传感器数据的至少一部分来处理所述音频数据，以产生改变后的音频数据来再现给用户；
其中所述动作中的至少一个是由硬件处理器执行的。
25.一种方法，包括以下动作：
接收一体数据对象；
从所述一体数据对象中恢复出音频数据和摄像机数据这两者，所述摄像机数据包括与焦点、变焦、光圈尺寸、景深、曝光时间、ISO和/或透镜焦距相关的至少一个参数；和
根据所述摄像机数据的至少一部分来处理所述音频数据，以产生改变后的音频数据来再现给用户；
其中所述动作中的至少一个是由硬件处理器执行的。
26.如权利要求25所述的方法，其中所述处理包括根据摄像机焦点数据来改变音频的幅度，以产生空间感音频。
27.一种方法，包括：
从体育赛事中的活动对象所携带的传感器采集传感器信息；
使用位于远离所述活动对象的位置的摄像机采集来自所述体育赛事的视频信息；
生成一体数据对象，所述一体数据对象包括与所采集的传感器信息相对应的数据和与所采集的视频信息相对应的数据这两者；和
将所述一体数据对象存储在计算机可读存储介质中，或者将所述一体数据对象发送给数据接收器。
28.如权利要求27所述的方法，包括从橡胶圆盘、球、马、比赛者或汽车所携带的传感器采集所述传感器信息。
29.如权利要求27所述的方法，其中所述传感器数据包括加速度数据、取向数据、位置数据和/或倾斜数据中的至少一种。
30.一种移动电话，包括处理器以及至少第一和第二传感器，所述处理器被配置成生成包括由所述第一传感器感测的信息和由所述第二传感器感测的信息的一体数据对象，其中所述第一传感器包括图像或音频传感器，并且所述第二传感器包括加速度传感器、取向传感器或倾斜传感器。
31.如权利要求30所述的移动电话，其中所述其它传感器包括加速度传感器。
32.如权利要求30所述的移动电话，其中所述其它传感器包括取向传感器。
33.如权利要求30所述的移动电话，其中所述其它传感器包括倾斜传感器。
CN2010800333777A 2009-07-24 2010-07-23 改进的音频/视频方法和系统 Pending CN102473172A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22833609P 2009-07-24 2009-07-24
US61/228,336 2009-07-24
PCT/US2010/043129 WO2011011737A1 (en) 2009-07-24 2010-07-23 Improved audio/video methods and systems

Publications (1)

Publication Number Publication Date
CN102473172A true CN102473172A (zh) 2012-05-23

Family

ID=43499443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800333777A Pending CN102473172A (zh) 2009-07-24 2010-07-23 改进的音频/视频方法和系统

Country Status (6)

Country Link
US (2) US8773589B2 (zh)
EP (1) EP2457181A4 (zh)
JP (1) JP2013500544A (zh)
KR (1) KR20120053006A (zh)
CN (1) CN102473172A (zh)
WO (1) WO2011011737A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104049749A (zh) * 2013-03-15 2014-09-17 英默森公司 产生来自视频内容分析的触觉反馈的方法和设备
US9148569B2 (en) 2012-11-21 2015-09-29 Bank Of America Corporation Capturing an image on a mobile device
CN105284129A (zh) * 2013-04-10 2016-01-27 诺基亚技术有限公司 音频记录和回放装置
CN105981369A (zh) * 2013-12-31 2016-09-28 谷歌技术控股有限责任公司 用于以数字图像格式向应用处理器提供传感器数据和图像数据的方法和系统
CN107105183A (zh) * 2017-04-28 2017-08-29 宇龙计算机通信科技(深圳)有限公司 录音音量调节方法及装置
CN108933911A (zh) * 2018-07-27 2018-12-04 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质
WO2019075617A1 (zh) * 2017-10-16 2019-04-25 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
CN115359812A (zh) * 2017-09-15 2022-11-18 高通股份有限公司 基于相机的视场的与远程物联网（iot）设备的连接

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8773589B2 (en) 2009-07-24 2014-07-08 Digimarc Corporation Audio/video methods and systems
US8907983B2 (en) 2010-10-07 2014-12-09 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
WO2012071466A2 (en) 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US9084068B2 (en) * 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
WO2013041152A1 (en) * 2011-09-19 2013-03-28 Thomson Licensing Methods to command a haptic renderer from real motion data
US8730328B2 (en) 2011-10-06 2014-05-20 Qualcomm Incorporated Frame buffer format detection
US20130093899A1 (en) * 2011-10-18 2013-04-18 Nokia Corporation Method and apparatus for media content extraction
US8442265B1 (en) 2011-10-19 2013-05-14 Facebook Inc. Image selection from captured video sequence based on social components
US9286641B2 (en) 2011-10-19 2016-03-15 Facebook, Inc. Automatic photo capture based on social components and identity recognition
US8437500B1 (en) 2011-10-19 2013-05-07 Facebook Inc. Preferred images from captured video sequence
JP5751162B2 (ja) * 2011-12-27 2015-07-22 トヨタ自動車株式会社 呼吸検出装置
US20130188922A1 (en) 2012-01-23 2013-07-25 Research In Motion Limited Multimedia File Support for Media Capture Device Position and Location Timed Metadata
US10133653B2 (en) * 2012-02-23 2018-11-20 Cadence Design Systems, Inc. Recording and playback of trace and video log data for programs
US8847137B2 (en) 2012-02-29 2014-09-30 Blackberry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
TWI586143B (zh) * 2012-04-05 2017-06-01 皇家飛利浦電子股份有限公司 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置
US20130329010A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Three-dimensional (3-d) image review in two-dimensional (2-d) display
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
JP6351588B2 (ja) * 2012-07-20 2018-07-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 奥行きフィルタリング用のメタデータ
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US9261960B2 (en) * 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9338420B2 (en) 2013-02-15 2016-05-10 Qualcomm Incorporated Video analysis assisted generation of multi-channel audio data
WO2014131733A1 (en) * 2013-02-27 2014-09-04 Thomson Licensing Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
CN105190463B (zh) 2013-03-13 2017-04-12 流量控制有限责任公司 用于使用通过智能电话技术提供的能力来定义最佳太阳定位的方法
US10769852B2 (en) * 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
CN103637786A (zh) * 2013-10-29 2014-03-19 上海大学 人体姿态及体能信息采集和检测系统与方法
US20150187390A1 (en) * 2013-12-30 2015-07-02 Lyve Minds, Inc. Video metadata
US9313343B2 (en) 2014-02-20 2016-04-12 Google Inc. Methods and systems for communicating sensor data on a mobile device
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
US11405658B2 (en) 2014-08-24 2022-08-02 Autovidprod Llc System and process for providing automated production of multi-channel live streaming video feeds
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9916836B2 (en) 2015-03-23 2018-03-13 Microsoft Technology Licensing, Llc Replacing an encoded audio output signal
US10291849B1 (en) 2015-10-16 2019-05-14 Tribune Broadcasting Company, Llc Methods and systems for determining that a video-capturing device is unsteady
US9928696B2 (en) * 2015-12-30 2018-03-27 Immersion Corporation Externally-activated haptic devices and systems
EP3923269B1 (en) 2016-07-22 2023-11-08 Dolby Laboratories Licensing Corporation Server-based processing and distribution of multimedia content of a live musical performance
US11232129B2 (en) 2019-03-26 2022-01-25 At&T Intellectual Property I, L.P. Method for content synchronization and replacement
US11627238B2 (en) * 2019-04-05 2023-04-11 Cuescript Inc. System and method for connecting multiple video, metadata and remote telecommand signals for teleprompting and other applications
EP3745706B1 (en) 2019-05-29 2021-06-30 Axis AB System and method for video processing with picture stabilization and predictive compression
CN113992836A (zh) * 2020-07-27 2022-01-28 中兴通讯股份有限公司 变焦视频的音量调节方法、装置和视频拍摄设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337688B1 (en) * 1999-01-29 2002-01-08 International Business Machines Corporation Method and system for constructing a virtual reality environment from spatially related recorded images
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
CN1622080A (zh) * 2003-11-25 2005-06-01 天津通广集团益之达科技有限公司 利用计算机程序控制影音制作系统
US20070192872A1 (en) * 1999-05-19 2007-08-16 Rhoads Geoffrey B Methods and Devices Employing Content Identifiers
CN101159799A (zh) * 1998-07-31 2008-04-09 数字标记公司 重要文件的数字水印与方法

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1461960A (en) 1923-07-17 Assighok to the bastiah-blessihg
US2107986A (en) 1938-02-08 Dispensing apparatus for
US3039654A (en) 1959-12-17 1962-06-19 Dale R Lopatka Fluid dispensing apparatus
USRE25879E (en) 1962-12-15 1965-10-12 Dispensing valves having a stem by-pass for gassing
US3231150A (en) 1964-02-26 1966-01-25 Seary Ltd Metering button cap for pressurized container valves
US3280857A (en) 1964-05-14 1966-10-25 Bausch & Lomb Sample holder
US3306382A (en) 1965-02-05 1967-02-28 Weber Dental Mfg Company Automatic weight-responsive container fillers
US3456847A (en) 1967-02-24 1969-07-22 Westinghouse Electric Corp Water supply and dispensing apparatus
US3650434A (en) 1970-04-06 1972-03-21 Republic Corp Liquid proportioning device
US3807701A (en) 1971-11-12 1974-04-30 Nalco Chemical Co Polymer solution preparation system
US4057223A (en) 1975-10-03 1977-11-08 Nalco Chemical Company Mixing block for mixing polymers
US4233265A (en) 1979-07-25 1980-11-11 Olin Corporation Liquid polymer hydration
US4642222A (en) 1984-07-02 1987-02-10 Stranco, Inc. Polymer feed system
GB2179778A (en) 1985-08-29 1987-03-11 Alternate Resources Limited Indicator device
US4664528A (en) 1985-10-18 1987-05-12 Betz Laboratories, Inc. Apparatus for mixing water and emulsion polymer
US5372421A (en) 1986-06-05 1994-12-13 Pardikes; Dennis Method of inverting, mixing, and activating polymers
US4769154A (en) 1987-10-29 1988-09-06 Waste Water Management, Inc. Chlorine oxidation waste water treatment method
US4966310A (en) 1988-12-01 1990-10-30 Hawkins Gerald P Collapsible storage container and method for storing matter
US4952066A (en) 1989-02-24 1990-08-28 Hoffland Robert O Method and apparatus for diluting and activating polymer
US5141131A (en) 1989-06-30 1992-08-25 Dowelanco Method and apparatus for the acceleration of a propellable matter
JPH0393369A (ja) * 1989-09-05 1991-04-18 Toshiba Corp ビデオカメラの画面揺れ補正装置
US5470150A (en) 1990-06-20 1995-11-28 Pardikes; Dennis G. System for mixing and activating polymers
JPH0537940A (ja) * 1991-08-01 1993-02-12 Minolta Camera Co Ltd ビデオカメラ
JPH0537846A (ja) * 1991-07-15 1993-02-12 Sony Corp 画像記録再生装置
AU5139293A (en) 1992-09-24 1994-04-12 Stephen D. Podd Container aeration/vaccum liner pads and liner systems
US6596260B1 (en) 1993-08-27 2003-07-22 Novartis Corporation Aerosol container and a method for storage and administration of a predetermined amount of a pharmaceutically active aerosol
US5427125A (en) 1994-03-08 1995-06-27 Mortech Technologies Of North America Ltd. Lavatories and the like cleaning appliance
JPH10334595A (ja) * 1996-04-12 1998-12-18 Sony Corp 記録装置、再生装置、伝送装置及び記録媒体
TW320811B (zh) 1996-04-12 1997-11-21 Sony Co Ltd
US6004024A (en) 1997-11-14 1999-12-21 Calgon Corporation Emulsion feed assembly
US6148271A (en) 1998-01-14 2000-11-14 Silicon Pie, Inc. Speed, spin rate, and curve measuring device
WO1999036115A2 (en) 1998-01-16 1999-07-22 1263152 Ontario Inc. Indicating device for use with a dispensing device
US6005610A (en) * 1998-01-23 1999-12-21 Lucent Technologies Inc. Audio-visual object localization and tracking system and method therefor
US6452612B1 (en) * 1998-12-18 2002-09-17 Parkervision, Inc. Real time video production system and method
US6384109B1 (en) 1999-03-25 2002-05-07 Proflow, Inc. Polymer make-down unit with flushing feature
US6987975B1 (en) 1999-04-08 2006-01-17 Ericsson Inc. Method of generating control signals based on location of radio terminals
US7760905B2 (en) * 1999-06-29 2010-07-20 Digimarc Corporation Wireless mobile phone with content processing
EP2352120B1 (en) 2000-01-13 2016-03-30 Digimarc Corporation Network-based access to auxiliary data based on steganographic information
CA2338302A1 (en) 2000-03-07 2001-09-07 C. William Moseley Fuel level indicator for propane tank on a barbecue
US8225370B2 (en) 2000-07-13 2012-07-17 Sony Corporation Digital broadcast signal processing apparatus and digital broadcast signal processing method
JP4759851B2 (ja) * 2000-07-13 2011-08-31 ソニー株式会社 伝送信号処理装置及び信号伝送方法
GB0022710D0 (en) 2000-09-15 2000-11-01 Bp Oil Int Dispenser and method of use
FR2816599B1 (fr) 2000-11-10 2003-03-14 Denis Delbarre Fut pour liquide avec moyens de soutirage sous pression
US7197160B2 (en) 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US6846407B2 (en) 2001-04-26 2005-01-25 Emi, Llc Method and apparatus for recovery of waste water
US6990681B2 (en) * 2001-08-09 2006-01-24 Sony Corporation Enhancing broadcast of an event with synthetic scene using a depth map
US6978671B1 (en) 2001-09-10 2005-12-27 Daniel Meggs Gas tank gauge
US20030047178A1 (en) 2001-09-12 2003-03-13 Stefan Barth Barbeque fuel tank system
CA2363476C (en) 2001-11-20 2010-06-08 Udo Hendrick Verkerk A device for the addition of a compound or compound mixture to another under various reaction conditions, parallel or otherwise
US7034679B2 (en) * 2001-12-31 2006-04-25 Ncr Corporation System and method for enhancing security at a self-checkout station
KR20030063810A (ko) * 2002-01-24 2003-07-31 삼우정보기술 주식회사 인터넷을 이용한 감시 및 관리 시스템용 중계장치
US6884867B2 (en) 2002-02-21 2005-04-26 Norchem Industries Precondition for inverting, mixing, and activating polymers
GB0205893D0 (en) 2002-03-13 2002-04-24 Otv Sa Water purification apparatus
US20040035297A1 (en) 2002-08-26 2004-02-26 Mathues John H. Beverage supply system
US8797402B2 (en) * 2002-11-19 2014-08-05 Hewlett-Packard Development Company, L.P. Methods and apparatus for imaging and displaying a navigable path
US6779685B2 (en) 2002-12-11 2004-08-24 Dispensing Systems International, Llc Pressure controlled method for dispensing a carbonated beverage
JP2004357145A (ja) * 2003-05-30 2004-12-16 Olympus Corp 電子機器
US6997347B2 (en) 2003-07-02 2006-02-14 Industrial Scientific Corporation Apparatus and method for generating calibration gas
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US7641080B2 (en) 2004-03-17 2010-01-05 Pepsico., Inc. Dispensing mechanism using long tubes to vary pressure drop
US7178974B1 (en) 2004-08-06 2007-02-20 Bell Marcus O Plural component polymer grout plant
US8107599B2 (en) * 2005-02-15 2012-01-31 Fastvdo, Llc Methods and apparatus for the composition and communication of digital composition coded multisensory messages (DCC MSMS)
US7370190B2 (en) * 2005-03-03 2008-05-06 Digimarc Corporation Data processing systems and methods with enhanced bios functionality
US7673347B2 (en) * 2005-08-30 2010-03-02 Sap Ag Information control in federated interaction
US20080314807A1 (en) 2005-09-23 2008-12-25 Max Rudolf Junghanns Systems and Methods For Treating Water
US7995981B2 (en) * 2005-10-31 2011-08-09 Silicon Laboratories Inc. Receiver with image rejection calibration at an undesired picture carrier and method therefor
US8131145B2 (en) * 2006-02-09 2012-03-06 Karl Frederick Scheucher Lightweight cordless security camera
WO2007097271A1 (ja) 2006-02-20 2007-08-30 Matsushita Electric Industrial Co., Ltd. 撮像装置、印刷装置、印刷システムおよび印刷方法
US7945070B2 (en) * 2006-02-24 2011-05-17 Digimarc Corporation Geographic-based watermarking keys
JP5008421B2 (ja) * 2006-03-03 2012-08-22 パナソニック株式会社 画像処理方法、画像処理装置、集積回路、カメラおよびプログラム
US8116576B2 (en) 2006-03-03 2012-02-14 Panasonic Corporation Image processing method and image processing device for reconstructing a high-resolution picture from a captured low-resolution picture
US20070272768A1 (en) 2006-05-26 2007-11-29 Williams Donald R Water-Based Airless Adhesive Application Container
US7509347B2 (en) * 2006-06-05 2009-03-24 Palm, Inc. Techniques to associate media information with related information
US8218033B2 (en) 2007-09-10 2012-07-10 Sanyo Electric Co., Ltd. Sound corrector, sound recording device, sound reproducing device, and sound correcting method
JP2009156888A (ja) * 2007-12-25 2009-07-16 Sanyo Electric Co Ltd 音声補正装置及びそれを備えた撮像装置並びに音声補正方法
EP2232191A4 (en) 2007-09-18 2013-03-27 Pepperball Technologies Inc SYSTEMS, METHODS AND APPARATUSES FOR USE IN INHIBITING POWDER DISPENSING
US20090290645A1 (en) 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US20100091187A1 (en) * 2008-10-15 2010-04-15 Echostar Technologies L.L.C. Method and audio/video device for processing caption information
US8893026B2 (en) * 2008-11-05 2014-11-18 Pierre-Alain Lindemann System and method for creating and broadcasting interactive panoramic walk-through applications
EP2187595A1 (en) 2008-11-18 2010-05-19 Koninklijke Philips Electronics N.V. A method and a module for labeling a set of data samples
CN102349087B (zh) * 2009-03-12 2015-05-06 谷歌公司 自动提供与捕获的信息例如实时捕获的信息关联的内容
US8773589B2 (en) 2009-07-24 2014-07-08 Digimarc Corporation Audio/video methods and systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
CN101159799A (zh) * 1998-07-31 2008-04-09 数字标记公司 重要文件的数字水印与方法
US6337688B1 (en) * 1999-01-29 2002-01-08 International Business Machines Corporation Method and system for constructing a virtual reality environment from spatially related recorded images
US20070192872A1 (en) * 1999-05-19 2007-08-16 Rhoads Geoffrey B Methods and Devices Employing Content Identifiers
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
CN1622080A (zh) * 2003-11-25 2005-06-01 天津通广集团益之达科技有限公司 利用计算机程序控制影音制作系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9148569B2 (en) 2012-11-21 2015-09-29 Bank Of America Corporation Capturing an image on a mobile device
CN104049749B (zh) * 2013-03-15 2019-09-20 意美森公司 产生来自视频内容分析的触觉反馈的方法和设备
CN104049749A (zh) * 2013-03-15 2014-09-17 英默森公司 产生来自视频内容分析的触觉反馈的方法和设备
US9911196B2 (en) 2013-03-15 2018-03-06 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US10482608B2 (en) 2013-03-15 2019-11-19 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
CN105284129A (zh) * 2013-04-10 2016-01-27 诺基亚技术有限公司 音频记录和回放装置
US10834517B2 (en) 2013-04-10 2020-11-10 Nokia Technologies Oy Audio recording and playback apparatus
CN105981369A (zh) * 2013-12-31 2016-09-28 谷歌技术控股有限责任公司 用于以数字图像格式向应用处理器提供传感器数据和图像数据的方法和系统
CN107105183A (zh) * 2017-04-28 2017-08-29 宇龙计算机通信科技(深圳)有限公司 录音音量调节方法及装置
CN115359812A (zh) * 2017-09-15 2022-11-18 高通股份有限公司 基于相机的视场的与远程物联网（iot）设备的连接
WO2019075617A1 (zh) * 2017-10-16 2019-04-25 深圳市大疆创新科技有限公司 一种视频处理方法、控制终端及可移动设备
CN108933911A (zh) * 2018-07-27 2018-12-04 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质
CN108933911B (zh) * 2018-07-27 2021-12-07 深圳市广和通无线股份有限公司 音量调节方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP2457181A4 (en) 2013-01-23
KR20120053006A (ko) 2012-05-24
EP2457181A1 (en) 2012-05-30
US9940969B2 (en) 2018-04-10
US8773589B2 (en) 2014-07-08
US20110069229A1 (en) 2011-03-24
WO2011011737A1 (en) 2011-01-27
US20150003802A1 (en) 2015-01-01
JP2013500544A (ja) 2013-01-07

Similar Documents

Publication Publication Date Title
CN102473172A (zh) 改进的音频/视频方法和系统
JP7054677B2 (ja) カメラワーク生成方法及び映像処理装置
EP2619761B1 (en) Enriching digital photographs
US20190005987A1 (en) Automatic generation of video and directional audio from spherical content
CN103959802B (zh) 影像提供方法、发送装置以及接收装置
CN101729781B (zh) 显示控制设备和显示控制方法
JP2014127987A (ja) 情報処理装置および記録媒体
US10347298B2 (en) Method and apparatus for smart video rendering
US20130101162A1 (en) Multimedia System with Processing of Multimedia Data Streams
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
CN105721752B (zh) 摄像装置和摄像方法
US10728689B2 (en) Soundfield modeling for efficient encoding and/or retrieval
CN101681088A (zh) 创建并且再现全景声音图像的方法，以及用于再现这样的图像的设备
WO2018027067A1 (en) Methods and systems for panoramic video with collaborative live streaming
WO2021014716A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2008277959A (ja) 撮像装置、再生装置及び記録ファイル作成方法
WO2010061791A1 (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
US20150375109A1 (en) Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems
TWI636453B (zh) 多媒體資料處理裝置及方法
JP6643081B2 (ja) アルバム動画生成装置、アルバム動画生成方法及びプログラム
JP2021040217A (ja) 撮像装置及びその制御方法並びにプログラム
JP2006094314A (ja) 臨場感を得られる森林空間再現方法とその装置。

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120523