CN104871550B - 用于使音频延时适应于画面帧速率的方法和装置 - Google Patents

用于使音频延时适应于画面帧速率的方法和装置 Download PDF

Info

Publication number
CN104871550B
CN104871550B CN201380040857.XA CN201380040857A CN104871550B CN 104871550 B CN104871550 B CN 104871550B CN 201380040857 A CN201380040857 A CN 201380040857A CN 104871550 B CN104871550 B CN 104871550B
Authority
CN
China
Prior art keywords
digital movie
delay
picture
frame rate
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380040857.XA
Other languages
English (en)
Other versions
CN104871550A (zh
Inventor
威廉·吉本斯·雷德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104871550A publication Critical patent/CN104871550A/zh
Application granted granted Critical
Publication of CN104871550B publication Critical patent/CN104871550B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309—Table of contents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • G03B31/02—Associated working of cameras or projectors with sound-recording or sound-reproducing means in which sound track is on a moving-picture film
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/802—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving processing of the sound signal

Abstract

为了在播放列表中的数字电影作品的播放期间将具有不同帧速率的数字电影作品的声音信息与对应画面信息进行同步，首先根据数字电影作品帧速率，针对该播放列表中的数字电影作品的对应画面信息建立相关联的音频延迟设置。然后，在数字电影作品的播放期间，根据针对对应数字电影作品帧速率的相关联的音频延迟设置，调整声音信息和画面信息之间的定时。

Description

用于使音频延时适应于画面帧速率的方法和装置
相关申请的交叉引用
本申请依35U.S.C.119(e)要求2012年8月1日递交的美国临时专利申请序列号No.61/678,243的优先权，其教导并入本文。
技术领域
本发明涉及用于将声音(音频)信息与画面(视频)信息同步的技术。
背景技术
传统地，在美国和加拿大，以每秒24帧进行运动画面电影的摄制和呈现，而在欧洲和亚洲，以每秒25帧进行运动画面电影的摄制和呈现。从Warner Bros发布Peter Jackson的″The Hobbit"到2012年末，数字电影放映商将开始面对接收多种运动画面帧速率(例如48fps或甚至68fps)的数字电影作品(即内容)的可能。然而，这种更高帧速率数字电影作品中的对应声音的呈现速率将很可能不改变。当前，数字剧场系统以每秒48,000或96,000采样的速率呈现声音(音频)。典型的数字剧场声音处理系统呈现小音频延迟(几个采样的数量级)，并且延迟保持恒定或相对恒定(即以48KHz采样速率和96KHz采样速率的数字系统中的两个采样延迟之差保持在1/48000秒的数量级)。
数字网络中的分组延迟也相对小地变化，并且典型的观众未感知到这些延迟，因为每个音频采样存在于数字电影作品的单帧持续时间的1/2000至1/4000之间的某一点上。然而，大多数数字电影放映机作为信号处理管道存在。画面信息逐像素地流入投影机以存储在帧缓冲区中。根据放映机设置，对帧缓冲区中的像素进行颜色校正和/或缩放和/或剪辑。最终，这种处理将数字图像变为适用于驱动数字放映机中的显像仪的形式。与这种数字电影放映相关联的处理导致从向放映机发送第一像素的时间到图像呈现在屏幕上的时间的延迟(图像处理)的人为产品(artifact)。然而，因为大多数现代放映机使用帧缓冲管道架构来进行图像处理，放映机延迟(tPICTURE_LATENCY)一般随着显示帧的速率而改变。这是因为，在帧缓冲管道架构中，图像数据逐帧地通过处理阶段，每个帧间隔前进一个阶段，直到帧被显示出来。在一般情况下，对于单个放映机或放映机的模型，可以凭经验测量不同帧速率的tPICTURE_LATENCY值，但在帧缓冲管道架构的情况下，tPICTURE_LATENCY可以由下式表示：
等式1：
其中，FRAME_RATE是提供帧的速率(以帧/秒为单位)(通常不是整数)；
FRAMES是放映机的图像处理构架中帧缓冲阶段数(例如二)，每个阶段可以历时一个帧间隔来完成；以及
tFIXED是恒定的时间量(例如5mS)，表示在架构中发现的其他转移、处理或建立时间，其不随帧速率改变并且未表示在等式1的第二项中。本文中，使用惯例，使得增加画面延时的延迟负的更多，而增加视频延时的延迟是正的。该惯例还应用于比较中：相对于音频增加画面延时的延迟同样负的更多。为了本文讨论并容易提供合理可信的示例延迟值而非限制性的目的，假定延迟可用等式1确定的放映机架构。对于其他架构，可以应用不同等式(未示出)，或可以进行经验性的延迟测量。
对于具有以上tFIXED(-5mS)和FRAMES(2)的示例值的数字电影放映机的示例情况，以每秒24帧的速率，放映机将导致-0.005-2/24秒或-88 1/3mS的延迟。然而，以每秒48帧，放映机将导致-0.005-2/48秒或-46 2/3mS的延迟；并且以每秒60帧，延迟变为-0.005-2/60＝-38 1/3mS。(记住，按照以上惯例，更小的负值意味着画面延时更少)。
数字电影作品的帧速率是由作品自身中的元数据确定的。如果作品的图像资产被标记为每秒24帧，则以每秒24帧进行呈现。如果资产被标记为每秒48帧，则以该帧速率进行呈现。帧速率表示为作品中的元数据，并且商业数字电影设备不提供改变该帧速率的选项。在数字电影设备不能以指定的帧速率播放作品的情况下，设备将拒绝播放该作品。
对于数字电影剧场中的声音，在音频呈现中存在偏移一些或所有放映机的固有延迟145的两种实质性延迟源(tSOUND_LATENCY)，如以下等式所表示：
等式2：tSOUND_LATENCY＝tAUDIO_DELAY+tTIME_OF_FLICHT
其中：tTIME_OF_FLIGHT是声音从扬声器穿过空中到达观众中的一员的时间；以及
tAUDIO_DELAY是剧场声音处理器的属性，其可以是恒定的或可以是手动地或自动地可调节的。
由音频处理、音频信号传输(在一些现代礼堂中是通过网络传输)和放大相对于这些其他值是较小的并可以被忽略或认为是tAUDIO_DELAY的一部分。
因为声音在空气中的速度是大约1126英尺/秒(根据温度和湿度而变化)，粗略的近似(略微低估)是声音在1mS内前进1英尺。在从扬声器已经发出音频信号之后，经过礼堂的自由空气到观众的距离确定声音延迟的tTIME_OF_FLIGHT部分，并且对于坐得离扬声器最远的观众是最大的。
根据下式，当画面延迟和声音延迟恰好相等时发生理想的声音和画面同步，产生零同步误差：
等式3：tSYNC_ERROR＝tSOUND_LATENCY+tPICTURE_LATENCY+tDIFFERENTIAL_DELAY
代入等式2得到：
等式4：tSYNC_ERROR＝tAUDIO-DELAY+tTIME_OF_FLIGHT+tPICTURE_LATENCY+tDIFFERENTIAL_DELAY
其中：
tSYNC_ERROR表示完美的声音和画面同步(当零时)，并根据上述惯例，是负数以表示画面相对于声音滞后，并且是正数以表示声音相对于画面滞后；以及，
tDIFFERENTIAL_DELAY(在本文中还被称为“差分延迟”并缩写为)在一些数字电影媒体块上可用的设置，其允许技术人员修改向放映机发送画面的时候和向剧场音频设备输出音频的时候之间的相对延时。用tDIFFERENTIAL_DELAY的出厂缺省值(由制造商改变)提供这些数字电影媒体块。一些制造商传递系统的tDIFFERENTIAL_DELAY被设置为零，使得技术人员必须通过偏移tPICTURE_LATENCY和tTIME_OF_FLIGHT两者来手动设置tAUDIO_DELAY以实现同步。其他制造商为tDIFFERENTIAL_DELAY提供近似地偏移tPICTURE_LATENCY和典型tTIME_OF_FLIGHT的出厂缺省，使得tAUDIO_DELAY可以近似地为零(除了大于一般的礼堂)。
在当今影院中，无论是基于数字或基于胶片，存在两种手动控制：一种调整tAUDIO_DELAY并且在可用时是技术人员的设置(一般不由日常操作员进行)，而另一种调整tDIFFERENTIAL_DELAY并表示胶片电影设备和数字电影设备中的不同技术。对于胶片放映机，通过将光学声音轨道读取器沿着胶片路径在物理上重新放置得离胶片快门(film gate)更近或更远来调整tDIFFERENTIAL_DELAY，即将光学声音轨道读取器移动到离胶片快门更近，则使得tDIFFERENTIAL_DELAY正得更多(即更迟读取声音)。几十年来，电影的音频未经过外部处理器，使得该设置是可用于设置tTIME_OF_FLIGHT的唯一设置(即tAUDIO_DELAY和tPICTURE_LATENCY两者实质上均是零)。对于数字电影媒体块，tDIFFERENTIAL_DELAY是对技术人员可用的配置，但一般不对日常操作员可用。在数字电影安装中，必须正确设置tDIFFERENTIAL_DELAY和tAUDIO_DELAY两者以偏移tPICTURE_LATENCY和tTIME_OF_FLIGHT。
根据上文，显然当今(现有)数字电影礼堂系统(具有上述示例属性并被调整为当请求以48fps呈现数字电影作品时以24fps呈现同步的画面和声音(使得tSYNC_ERROR＝0)的放映机)将具有tPICTURE_LATENCY@24-tPICTURE_LATENCY@48的tSYNC_ERROR为(-881/3--462/3)＝-412/3mS并在早于声音412/3mS或早大约两帧时显示画面(即声音将像是晚两帧)。在一些观点来看，同步中的这种误差不是剧烈的。作为恒定的同步误差，观众将适应这种偏移。然而，当数字电影系统执行具有混合帧速率数字电影作品的列表时，tSYNC_ERROR将在具有不同帧速率的作品中改变。帧速率变化将突出画面/声音同步中的差异，使其明显并甚至使非专业观众厌烦。
历史上，几乎所有数字电影作品都以相同的帧速率(每秒24帧)存在。很少(如果有的话)内容提供商提供其他帧速率的数字电影作品，因此很少(如果有的话)放映商将不同帧速率数字电影作品编纂在相同的播放列表中。虽然问题的确存在，放映商忽略了该问题。
因此，存在当画面信息具有不同帧速率时用于将声音(音频)信息与画面(视频)信息同步的技术的需要。
发明内容
简言之，根据本原理的示意性实施例，一种用于在数字电影作品的播放期间针对播放列表中不同帧速率的数字电影作品将声音信息与对应画面信息进行同步的方法，通过首先根据数字电影作品的帧速率来对播放列表中的数字电影作品的对应画面信息建立相关联的音频延迟设置开始。在数字电影作品的播放期间，根据针对对应数字电影作品帧速率的相关联的音频延迟设置，调整声音信息和画面信息之间的定时。
附图说明
图1A和1B描绘了本原理的数字电影剧场系统的第一示意性实施例和第二示意性实施例的示例性框图，其示出了针对观众同步画面信息和声音信息的定时延迟和可调整延时的有效效果；
图2描绘了示出现有数字电影系统中可变放映机延迟和固定视频延时如何能够产生同步的变化误差的示例性表；
图3描绘了示出根据本原理的数字电影媒体块中的动态同步设置和剧场声音处理系统中的静态延时如何能够补偿可变放映机延迟以实现不同帧速率的一致的画面和声音同步的第一示例性表；
图4描绘了示出根据本原理的数字电影媒体块中的动态同步设置如何能够补偿可变放映机延迟以实现不同帧速率的一致的画面和声音同步的第二示例性表；
图5描绘了示出根据本原理的音频链中的动态延时设置如何能够补偿大多数(但不一定是所有)可变放映机延迟以实现不同帧速率的改进画面和声音同步的第三示例性表；
图6描绘了根据本原理的与图3的表相对应的列举了在不同帧速率应用的单个差分延迟的示例性转移图和对每个帧速率转移相对应的画面信息或音频信息的示例性修改；以及
图7A-7D描绘了根据本原理的若干备选示例性时间轴，其示出了在从24fps向60fps转换期间对进行播放的数字电影播放列表的画面和声音信息的影响；
图8A-8D描绘了根据本原理的若干备选示例性时间轴，其示出了在从60fps向24fps转换期间对进行播放的数字电影播放列表的画面和声音信息的影响；
图9描绘了根据本原理的在画面帧速率改变时修改声音和画面信息的差分延迟的处理的示例性流程图。
具体实施方式
图1A和1B分别描绘了用于实现本原理的声音和画面信息同步技术的数字电影剧场系统100A和100B的第一示例性实施例和第二示例性实施例的示例性框图。参考图1A，数字剧场系统100A包括数字电影媒体块130A，数字电影媒体块130A用于渲染从数字电影作品存储单元131以它们指定的帧速率接收的多个数字电影作品。数字电影媒体块130A向数字电影放映机140提供所渲染的画面并向剧场声音处理系统150A(在该领域还被称为“B-链”)提供对应的声音。如本文详细讨论，数字电影作品可以具有不同帧速率。当前，大多数数字电影作品具有每秒24帧的帧速率。然而，现在一些更新的数字电影作品具有更高的帧速率(一般地每秒48帧或甚至60帧)，因为上述特定延迟，这可以导致播放期间与对应的声音(音频)信息的同步困难。
数字电影媒体块130A一般包括用于读取表示从数字电影作品存储单元131接收的数字电影作品的画面信息和声音信息的数据的各种机制。数字电影媒体块130A将表示画面信息的数据供应给画面处理模块132，并将表示声音信息的数据供应给声音处理模块133。为了实现声音信息和画面信息之间的同步，数字电影媒体块130将允许画面处理模块132如画面与声音差分延时值134A(一般设置为零(0)mS)所定义，在声音处理模块133之前(或之后)运行。零延时指示画面处理模块132输出的图像的第一像素保持与从声音处理模块133输出的与从存储单元131读取的作品中的该第一像素相对应的第一音频采样相关联的声音实质上同步。在本原理的本示例性实施例中，延时存储器135A可以针对正在播放的数字电影作品的每个不同帧速率的差分延时134A供应不同设置。在其他实施例中，由于从延时存储器135A读取设置，数字电影媒体块130A可以根据在存储器135A中存储的其他数据来计算延时设置，其中“其他数据”可以是例如取决于帧速率并具有特定预定参数的等式(例如等式1)和针对其变量tFIXED和FRAMES的值。
除了在存储器135A中存储的这种延迟数据之外或代替在存储器135A中存储的这种延迟数据，数字电影媒体块130A根据在与放映机的固有延迟145有关的查询之后从数字电影放映机140返回的数据来获得或计算延迟(假定数字电影放映机140拥有报告其针对每个特定帧速率的固有延迟145或返回计算必需的参数(例如适于等式1的tFIXED和FRAMES)的能力)。在与图1A一致的示例性实施例中，数字电影媒体块130A考虑播放列表中每个数字电影作品的帧速率，并每当帧速率的改变变得必需时从延时存储器135A获取适当的差分延迟值。
一般地，数字电影媒体块130A、数字电影放映机140和剧场声音处理系统150A处于放映室120内。墙壁108将放映室120与剧场110分隔。墙壁108有玻璃部分109，通过玻璃部分109，数字电影放映机140生成的放映光束142通过放映机镜头141照射到屏幕101上。在一些实施例中，数字电影媒体块130A和数字电影放映机140可以作为单个集成单元存在，而不是图1A中所描绘的两个分离的单元。剧场声音处理系统150A通过放大器151向位于屏幕101背后的一个或更多个扬声器104提供音频。(扬声器104具有名称“主扬声器”或“主”)。剧场可以包括位于其他地方的额外扬声器(未示出)(还被称为“环绕扬声器”或“环绕”)。一些剧场还具有特殊的换能器(未示出)(有时被称为低音炮，专用于低频效果(LFE)，一般处于屏幕101之下或之后)，并且在该配置中，这种特殊的换能器具有与本讨论的主扬声器104相同的效果。
数字电影放映机140从数字电影媒体块130A接收画面信息(一般一次一个像素)。放映管道143接受用于合成和处理(通常以若干阶段)的画面信息。放映管道143一般包括一个或更多个帧缓冲区。管道143的最后阶段向光引擎144传送已处理的图像数据(画面信息)，光引擎144包括多个显像仪(一般每个主颜色有一个显像仪)，其对照明器(未示出)提供的光进行调制。镜头141将已调制的光从显像仪投影到屏幕101上以渲染用于由观众观看的画面。数字电影放映机140具有可测量的固有延迟145(tPICTURE_LATENCY)，该可测量的固有延迟145是从数字电影媒体块130A从画面处理模块132向数字电影放映机140发送第一像素的时间到该像素出现在屏幕101上的时间。数字电影放映机140的固有延迟一般包括恒定分量和取决于帧速率的分量两者。
为了本原理的目的，可以存在对于所关注的帧速率的固有延迟的预定值。实际上，存在确定该延迟的若干机制。例如，放映机制造商、影院操作员或技术人员可以通过使用示波器(未示出)和负责像素照亮的光电管(未示出)来凭经验测量延迟。利用这种设备，剧场操作员或技术人员可以监视从数字电影媒体块130A向数字电影放映机140发送的画面信息，并对于不同帧速率中的每一个，测量直到该画面信息被放映到屏幕上的延时。备选地，可以根据放映机的说明来确定固有延迟145。在不同方式中，可以基于在声音和画面之间观测或测量的同步改变，估计固有延迟(例如可以使用同步检查器(例如Pharoah Editorial，Inc.of New York，NY制造并销售的具有适当的测试媒体的″Syncheck3″)进行测量)。在其他实施例(未示出)中，数字电影放映机140可以向数字电影媒体块130A或向另一控制器(未示出)报告其针对每个帧速率的固有延迟145。于是，数字电影媒体块130A或另一控制器(未示出)可以采用适当的步骤来使用差分和音频延时134A/152A进行补偿。
并不是在复杂的加权方案中考虑全部观众，而是为了测量或估计的目的，位于“主座位”102的假设观众103可以表示观众。“主座位”102可以表示实际座位(例如图1A中的座位102)或假定座位(例如位于过道中间的“主座位”)。主座位102一般面向剧场的中央，并用作用于设置画面(视频)和声音(音频)同步以及声音均衡、音量、画面亮度和对于与主座位渐远的座位位置期望近乎均匀偏离的其他参数的参考位置。通过合理地选择用于设置这些参数的主座位102，放映商可以最大化礼堂中所有座位的期望观看体验质量。传统地，剧场操作员在主座位102的位置，以礼堂地面107之上近似与坐在主座位中的假设就坐观众103的头部高度相对应的高度，测量这些参数。因此，这些测量提供坐在假定观众103的位置处的实际人可能经历的那些参数的值。
剧场操作员进行的测量可以包括假定观众103的头部和中央主扬声器104之间的距离105。在很多情况下，剧场操作员将基于从主座位102到屏幕101的距离来估计此距离(例如因为屏幕遮蔽了扬声器104)。在一些情况下，剧场操作员可以根据剧场的平面图来建立距离105。在其他情况下，剧场操作员可以定义距离105，并使用该所定义的距离来指定主座位102的位置(沿着地面107的中心线)。例如，剧场操作员可以建立指示“主座位应当位于沿着剧场的中心线距离屏幕2.5倍的屏幕高度的地方”的策略，在这种情况下，10英尺高的屏幕将是25英尺的估计主座位到扬声器距离105的先验结果。
如在本领域中所周知，在正确调整的礼堂中，来自屏幕101背后的扬声器104的声音将在对应声音从礼堂中的任意环绕扬声器(未示出)到达之前到达室内的每个座位102和106。这确保了意在源自屏幕的声音实际上看上去源自屏幕，而如果源自环绕扬声器的声音首先到达而来自扬声器104的对应声音稍后到达，则情况不同。传统地，向所有环绕扬声器通道应用的剧场声音处理系统150A中的固定环绕延时(未示出)的合适设置将假定礼堂100中没有座位在数字电影作品中的声音从主扬声器104到达之前接收到从环绕扬声器同时提供的声音。来自环绕声音扬声器的声音可以与来自主扬声器的声音同时到达，而不是在其之前到达。用于设置相对于主扬声器的该固定环绕延迟的正确方法在本领域中是周知的，并且当应用本原理的画面和声音同步技术时其设置的值和其设置的方法均将不改变。该环绕声音延时与和不同帧速率相关联的延迟延时152A不同。然而，除了这些现有的环绕延时之外，延迟延时152A将同等地影响主通道、环绕通道和LFE通道。
图1B示出了用于实现本原理的同步技术的数字电影剧场系统的备选优选实施例100B。图1B的数字电影剧场系统100B拥有与图1A的数字电影剧场系统100A所有相同或类似的元件，其中类似的元件稍微不同地相连和/或起作用。因此，对于那些“类似”的元件，附图标记用于标识类似元件，除了对于图1A中的对应元件在图1B中出现字母“B”而不是字母“A”。图1B的数字电影剧场系统100B与图1A的数字电影剧场系统100A的区别在于具有手动可调节画面与声音差分延时134B。这允许不管帧速率而将延时手动设置为零或某个其他值。于是，数字剧场系统100B根据数字电影媒体块130B使用信号136传送的指示，自动地仅调整剧场声音处理系统150B中的音频延时152B。在图1B的示意性实施例中，数字电影媒体块130B可以基于信号136取回(recall)针对音频延迟(tAUDIO_DELAY)的预设值135B，其是基于用于播放特定作品的帧速率来确定的。在另一实施例(未示出)中，信号136可以包括表示音频延时152B的适当设置(tAUDIO_DELAY)的数据，在这种情况下，数字电影媒体块130B将直接从存储器135B读取针对音频延迟(tAUDIO_DELAY)的预设，用于作为信号136转发延迟152B(通过存储器135B至媒体块130B(如针对135A至130A所示出的)的连接)。
图2示出了当使用当今数字电影技术而不受益于本发明(例如缺少用于实现针对不同帧速率的画面和声音同步的差分延时预设值135A)时剧场操作员预计在礼堂100A中观察的假设性示例性数据。固定调整表200示出三行数据，每一行分别表示假定以每秒24帧、每秒48帧、每秒60帧呈现数字电影作品时系统的行为。帧速率列201指示对应作品的播放速率(以每秒帧数(f/s)为单位)。放映机延迟有关列202-204指示数字电影放映机140应用于作品的画面(视频)单元的延时(相对于声音(音频)单元)(在本示例和以下示例中，根据等式1和结合等式1描述的符号惯例)。数字电影放映机中所使用的不同管道架构产生所测量的管道延迟分量(以帧为单位(即等式1中的FRAMES))，例如两帧或三帧延迟，或某个不同的数(如对于数字电影放映机140的列202中所示的“-2”值所指示)。在一些非常见情况下(未示出)，FRAMES可以合理地为非整数值，例如如果放映机的图像处理构架要在其阶段中的任意一个中利用字段交错或块操作模式。一些数字电影放映机拥有相对于帧速率不变的固定延迟分量(即tFIXED)(针对图1的列203中的数字电影放映机140示出)。根据等式1，列204中表示的总共放映机延迟(tPICTURE_LATENCY)包括固定延迟分量(列203)加上延迟分量的帧(列202)除以帧速率(列201)的商的和。如列204中所指示，在较高帧速率，总数字电影放映机延迟下降。数字电影放映机延迟可能仅具有负值，因为放映机仅可以在从数字电影媒体块接收图像之后显示图像，并且完全不可能在声音上引入延迟。
图2的列206指示对于剧场声音处理系统150A(即图1A的B-链)的延时设置152A(这里是90mS)或简单地指示声音处理系统延时值(固定的或固有的)。在该现有系统的示例情况中，声音处理系统延时值在所有帧速率均保持不变。该值表示声音(音频)相对于画面(视频)的延时，并且仅可以具有正值，因为剧场声音处理系统150A在其接收之前不可能发出音频，并且完全不可能导致画面的延时。列207指示声音行进扬声器到主座位距离105(在图1A的示例中构成40英尺)的飞行时间所导致的音频延时。列207中所指示的对于延时的40mS的值表示稍微超过近似。(更精确地，在20摄氏度的干燥空气中，声音的速度是1126英尺/秒，对于40英尺给出更接近35.5mS的飞行时间(如果空气湿润则稍少，如果空气更冷则稍多))。为了讨论的目的，一英尺行程的近似等于一毫秒延时是方便和足够的。对于所有帧速率，该近似保持恒定，但是对于不同大小的礼堂将改变，或伴随主座位102的不同选择而改变。
列208中示出的结果表示在图1A和1B的所示主座位102处以列201中的每个帧速率的画面与声音净延迟(tSYNC_ERROR)，并且在每一行中理想地总是零。在表200中，剧场操作员或技术人员已经通过手动地设置数字电影媒体块差分延迟(tDIFFERENTIAL_DELAY)134A来使用传统装置对数字电影系统进行调谐以在24fps产生该理想零延迟。(应当注意的是，图2表示对于现有礼堂的值，而并不利用本发明的取决于帧速率的差分延迟预设值135A)。根据公式4，对于每一行，列208中的净延迟包括对于相同行中列204、205、206和207中的值的总和。对于表200的第一行，与24fps相对应，列204、206和207中值的和导致以下数学关系(-83+90+40)＝47mS。因此，将数字电影媒体块差分延迟134A设置为值-47mS(如在整个列205中进行的)将导致列208中的和为零，并且从主座位102观察有完美同步的画面和声音，但这仅对于24fps。对于其他帧速率，如列208的第二行和第三行所示，列205和206中的每一个的固定值集合不再产生零净延迟。
图2中所示的效果表示以下实质性问题：每当数字电影播放列表呈现与其前一作品具有不同帧速率的作品时需要不同的手动设置，或每当数字电影作品具有不同的帧速率时迫使观众经历改变的声音和画面同步。当今的数字电影媒体块(不论是集成的规格还是外部的规格)(例如由Doremi Labs.Inc.of Burbank，CA、Dolby Laboratories，Inc of SanFrancisco，CA、GDC Technology(USA)LLC of Burbank，CA、Qube Cinema，Inc.of Burbank，CA和Sony Professional Solutions of America of Los Angeles，CA制造的那些数字电影媒体块)均以以下方式进行操作：无论帧速率，为数字电影媒体块中的差分延时提供至多单个设置。类似地，制造用于B-链的剧场声音处理设备仅提供单个总延时值(如果有的话)。一般通过编辑当数字电影媒体块或声音处理器启动时加载的特定配置来进行这些延时的调整，而一些制造商使用对应的用户界面(未示出)来提供设置的手动调整。当前没有系统提供自动选择用于具有不同帧速率的数字电影作品的单独设置。
尽管在一些情况下剧场操作员或他们的职员可以根据设备制造商的规范(例如对于列202、203、204和205并且在固定的情况下还有列206)来计算净延迟(例如图2的列208中表示的值)，净延迟(tSYNC_ERROR)的经验性测量保持更普遍。例如，调谐影院的技术人员可以使用同步计(例如Pharoah Editorial，Inc.of New York，NY的Syncheck3)，同步计提供画面或音频滞后另一个并且滞后多少毫秒的数字读数。技术人员还可以用两通道示波器来测量净延迟，一个通道监视通过麦克风的声音，另一通道用光电探测器监视画面。在任一情况下，技术人员将使用特殊的内容测试剪辑来进行这些测量，例如具有单个白色的帧、而余下的帧是黑色的剪辑。单个白色的帧对应于内容中的音频猝发音，黑色的帧对应于静默。伴随着重复地播放该剪辑，技术人员可以读取仪表或示波器来辨别净延迟(如列208中)以确定声音(猝发音)还是画面(白色闪光)先到达主座位以及先到达多久。
使用这种工具，剧场操作员或技术人员可以通过进行所测量的净延迟所需的任何偏移调整来凭经验设置数字电影媒体块同步。例如当这种仪表指示画面领先声音10mS时，剧场操作员或技术人员可以将差分延时134A/134B调整-10mS，从而将画面延时更多。(如上所述，根据本文所使用的惯例，负值表示画面相对于声音的更大延时)。备选地，剧场操作员或技术人员可以将音频延时152A/152B调整-10mS，从而减少音频延时(延时152A/152B具有至少10mS的值因为延时152A/152B的值不能小于零)。备选地，可以作出那些调整的组合。当仪表指示声音领先画面10mS时，剧场操作员或技术人员可以将差分延时134A/134B或延时152A/152B增加10mS以将声音相对于画面偏移(延时)额外的10mS。备选地，剧场操作员或技术人员可以将差分延时134A/134B和延时152A/152B两者增加5mS或总和为10mS的两个不同值(例如3mS和7mS；-5mS和15mS等)，只要延时152A/152B保持大于或等于零。
不论剧场操作员或技术人员如何设置延时134A/134B和延时152A/152B以针对24fps的帧速率实现零净画面与声音延迟(如在列208的第一行中可见)，在不同帧速率条件(例如在第二行和第三行中分别对于48fps和60fps)使用相同的设置(在整个列205和206中示出)将导致具有非零值的净同步(在列208第二行和第三行中示出)。即，即使现有数字电影系统在24fps下在主座位处实现画面和声音同步，系统将不在其他帧速率下提供同步。
根据本原理，为了在不同帧速率下保持同步，数字电影系统必须针对每个不同帧速率利用针对延时值134A/134B和延时值152A/152B中的任意一个或两者选择的不同值(如结合分别示出表300、400和500的图3、4和5所讨论的)。应当注意的是，对于图2-5中所示的所有示例，放映机140将假定地显示与所选择的帧速率中的每一个相一致的相同示例性行为，并且假定主座位102到扬声器104的相对位置为恒定的。因此，关于所选择的帧速率中的每一个，在表200、300、400、500中的每一个中放映机延迟列202-204和列207中的到主座位距离值保持相同。
在图3中，表300示出了与图1A中的数字剧场系统100A的配置一致的列301的不同帧速率中的每一个的示例性值，其中延迟设置152A在整个列306中示出恒定值，而仅针对差分延迟134A的数字电影媒体块差分延迟设置改变，如列305所示。列305中提供的值对于所列出的帧速率中的每一个实现在主座位102处的声音和画面的实质性同步，如列308中的零值所示。在本示例中，所有差分延时延迟值134A具有相同的负号，即所有设置表示数字电影媒体块130A在对应声音已经输出到剧场声音处理系统150A之后的几毫秒向放映机140输出画面。
在图4中，表400示出了剧场声音处理系统150A引入可忽略延迟(由列406中的零表示)的不同配置。这些值可以构成剧场声音处理系统150A中的延迟152A的实际设置。备选地，音频处理设备可以不提供延迟设置152A，并且对于B-链实质上为零的该延迟(如列406中所示)是固有的。对于列401中的每个帧速率，根据声音或画面中的哪一个需要相对于另一个的延迟以实现列408中的零值，数字电影媒体块130A中的差分延时134A具有不同的设置(跨越两种符号，如列405所示)。在剧场声音处理系统150A施加固定但足够小的延时(在本示例中是小于7mS)的情况下(这仍将需要数字电影媒体块130A根据帧速率提供具有两种符号值的差分延时134A)，类似的方案将提供相同的优点。
在图5中，表500示出了针对图1B的数字电影系统100B的值，其中数字电影媒体块130B不具有可变的差分延时134A(或其被设置为零)。代之以数字电影媒体块130B确保数字电影媒体块发出的画面和声音之间的差分延时134B保持为零(还被称为“编辑同步”)。(备选实施例可以将数字电影媒体块差分延迟手动地设置为某一恒定值(通常接近零)，但当今数字电影媒体块设备的一些制造商缺省地将其设置为其他非零值)。在示例性表500中，对于列501中的每个不同帧速率，剧场声音处理系统(B-链)150B被自动地设置为列506中的不同延时值(如上文指出，其不能低于零)。因为延迟152B不能具有小于零的值(tAUDIO_DELAY)，一些情况可以产生延迟152B不能实现画面和声音完美同步的情况(如列506的60fps行中的杂乱条目所示)，其中零最小延时设置仍不足以补偿声音(音频)晚到达主座位102的量。换言之，来自扬声器104的飞行时间对声音施加的不可避免的延时(在列207中列出)保持大于在60fps时放映机140施加于画面上的总延时(在列204中列出)，使得最终将延时152B的最小设置设为零不足以补偿差异，结果是在60fps时将存在一些残留净延迟并且声音将晚7mS到达主座位102，这对于一些情形可能是完全可接受的。
如上所述，图1B的数字电影媒体块130B可以响应于信号136或例如来自放映机140或单独的控制器(未示出)的另一控制信号(未示出)，使或触发将延时152B自动设置为延时存储器135B中提供的值(tAUDIO_DELAY)。在这些实施例中的任意一个中，剧场声音处理系统150B接收足以确定将何种设置用于音频延时152B的当前帧速率的指示。在其他实施例中，对音频延时152B的控制信号可以指示音频延时值(tAUDIO_DELAY)自身。
图6示出了与图4的表400中示出的延时设置相对应的示例性状态转移图600。三种状态610、620和630中的每一个分别对应于以24fps、48fps和60fps播放数字电影作品的图1A的数字电影媒体块130A。在每种状态中，画面与声音差分延迟(这里用作对于tDIFFERENTIAL_DELAY更简洁和方便的表示)将根据图4的列405的内容分别具有以下43mS、2mS和-7mS的值。状态610、620和630中的转移612、621、623、632、613和631中的每一个指示桥接状态的不同差分延迟之间的转移所必需的对声音或画面的最小填充量。
从状态610(24fps)到状态620(48fps)的转移612使画面与声音差分延迟从43mS改变为2mS。因此差分延迟改变-41mS(对应于画面中的间隙(因为媒体块对画面进行更多延时以补偿放映机的更少延时))，假定来自一个数字电影作品的声音(音频)未经历剪辑或重叠(即混合或叠像渐变)(下文将更详细地进行讨论)。一些数字电影媒体块或放映机可以通过以在转移中表示的帧速率(这里24fps或48fps)中的一个或两者提供黑色图像来容易地提供这种图像间隙。在这些情况下，差分延迟改变(这里-41mS)可以不对应于便利的整数帧数，在这种情况下，空白帧或黑色帧的数量可以增加到下一整数计数，并且还可以在声音(音频输出)中添加该帧数的持续时间和最小值之间的差作为静默。以此方式，不论画面间隙接收的大于最小值的额外时间如何，声音将具有类似增加的间隙。
类似地，转移623和613分别产生-9mS和-50mS的差分延迟改变，分别需要将针对那些持续时间的最小空白间隙引入画面。相反，从状态620到610的转移621使从2mS变为43mS，因此导致41mS的差分延迟改变，这需要将41mS间隙插入声音轨道以提供静默。类似地，转移632和转移631分别产生9mS和50mS的差分延迟改变，这需要将对应的间隙引入声音轨道。如上文所述，如果因为某个原因，需要比最小值长的转移时间，则声音信号和图像信号经历大于最小值的类似增加量的填充。
图7A示出了示例性时间轴700，示例性时间轴700从左向右前进并对应于从状态610(其中数字电影作品以24fps播放)向状态630(其中数字电影作品以60fps播放)的转移613。时间轴700的上半部分表示数字电影作品的画面(视频)单元，而时间轴700的下半部分表示数字电影作品的声音(音频)单元。示例时间轴700示出与以上关于数字剧场系统100A、表400和状态图600所讨论的示例的一致性。因此，在24fps时，是43mS，针对此原因，在时间轴700中，画面单元701和对应的声音单元702相互偏移703(43mS)。(根据本文所使用的惯例，的正值指示声音滞后于画面)。类似地，在60fps时，是-7mS，导致画面单元704和声音单元705偏移706(-7mS)。差分延迟703和差分延迟706中的差异在时间轴700的画面信息中产生50mS间隙707。如果不与数字电影放映机140的要求不兼容，对于间隙707表示的间隔，数字电影媒体块130A可以在画面单元701之后简单地停止输出画面单元，直到画面单元704开始。同时，关于从数字电影媒体块130A向剧场声音处理系统150A的声音信息的输出，在声音单元702和声音单元705之间不存在间隙或间断。
图7B示出了与不容许间隙707的放映机140相关联的不同示例性时间轴710。取而代之，数字电影媒体块130A将适当数量的空白帧717注入时间轴710的画面流。帧717的总持续时间应当实质上等于间隙707的总持续时间(即50mS)。在60fps时，50mS对应于三个帧。在将帧717插入画面流之后，播放画面单元714，其具有关于音频单元715的716(-7mS)。如在时间轴700中，数字电影媒体块130A不具有间隙或间断地向剧场声音处理系统150A输出两个连续的声音单元702和715。如果放映机140可以即时地从播放画面单元701时的24fps切换到60fps以播放帧717并然后播放画面单元714，该方案良好工作，但如果放映机140在放映画面单元714之前可以稳定于60fps，则该方案将同样工作。
图7C示出了当放映机不能在与的改变相对应的时间量(即间隙707的持续时间)中从24fps切换到60fps时结合放映机140的另一示例性时间轴720。在此情况下，数字电影媒体块130将相同的额外间隔‘T’引入时间轴720的画面轨道和声音轨道中的每一个中。在画面轨道中，在与(50mS)的改变相对应的间隙729之前或之后(示出了‘之前’)添加持续时间‘T’的间隙727。在声音单元702之后的声音轨道中，引入实质上相似的持续时间间隙或静默填充728，这导向声音单元725(对应于画面单元724，并与其偏移-7mS(由726示出))。在各种实施例中，单元727和728构成对应信号中的间隙或填补(还被称为填充)，对于画面表示黑色帧或对于声音表示静默。放映机140和剧场声音处理系统150A的要求将确定这些间隙的长度。当使用填补了黑色帧的画面时，这些可以以24fps或60fps出现，并且持续时间T可以对应于这些黑色帧的总持续时间。因为时间轴720假定间隙729是可接受的，在间隙之前的黑色帧将不可能是必需的。在一些实施例中，表示间隔T的间隙729和间隙727具有相反顺序，其中间隙727包含60fps的黑色帧的填充，以辅助放映机140容纳新帧速率或与新帧速率同步。
图7D示出了与图7C的时间轴720类似的时间轴730，但间隙被替换为黑色帧739，使得画面轨道连续地从画面单元701向填补737(在整个持续时间‘T’期间是黑色帧)、向黑色帧739、向画面单元734流动。声音单元703在间隙或静默738之前，间隙或静默738后接声音单元735，声音单元735相对于画面单元734保持画面与声音差分延迟736。在本示例中，在需要时，填补737可以包括24fps或60fps或两者(24fps然后60fps)的黑色帧，以满足放映机140的无缺陷操作的要求(即在需要时，除了与具有T+50mS的黑色居间间隔的单元701和单元734相对应的画面之外，避免向屏幕102的任意放映)。
图8A示出了覆盖从60fps的具有的状态630到24fps的具有的状态610的自反转移630的时间轴800。在画面轨道中，60fps的画面单元801与24fps的画面单元804邻接。这假定放映机140和数字电影媒体块130A可以支持这些值。在声音轨道上，与画面单元801相对应的声音单元802在单元801之前803(等于-7mS)运行。与画面单元804相对应的声音单元805在画面单元804之后806(等于43mS)运行，这导致时间轴800的声音轨道中50mS的间隙807。这假定剧场声音处理系统150A将把该间隙解释为50mS静默而没有毛刺(glitch)。
图8B描绘了与图7B的时间轴710类似的时间轴810。然而，时间轴810描绘了数字电影媒体块130A用50mS的静默817填充声音单元802和声音单元815之间的间隔。这里，声音单元815跟在对应的画面单元814之后816(等于43mS)处，这产生声音单元802/815之间的50mS间隔。
图8C描绘了与图7C的时间轴720类似的时间轴820。然而，与图7C的时间轴720相反，图8C的时间轴820假定放映机140(或数字电影媒体块130A)不能立即从60fps转移到24fps，并需要多达“T”的一些时间量以成功切换。这里，除了存在于声音单元802和声音单元825之间的50mS间隙829之外，存在额外的间隙828(可以替换为静默填补)。对应的间隙或空白帧填补827发生于画面单元801和画面单元824之间。画面单元824对应于声音单元825，具有43mS的826)。
图8D描绘了与图7D的时间轴730类似的时间轴。与图7D的时间轴730相比，图8的时间轴830将静默填充838和静默填充839分别用于间隔“T”以及差分延迟803和差分延迟836之间的50mS差两者，用于剧场声音处理系统150A将不干脆地接受声音单元802和声音单元835之间的信号丢失的情况。持续时间“T”可以具有任意持续时间。然而，如以上所讨论，如果放映机140不容易地容忍来自数字电影媒体块130A的画面信号中的间隙，则，“T”的持续时间可以对应于60fps、24fps或两者的一些数量的黑色帧，以有助于在向状态610转移时向新帧速率的转移。在时间轴700、710、720、730、820和830中的任意一个中，数字电影放映机140可以在数字电影作品从一个帧速率向另一个帧速率转移时使其在画面单元之间的非零持续时间间隔期间的输出空白，例如以隐藏否则将对观众可见的毛刺。
图9描绘了关于图1A的数字剧场系统100A描述的示例性处理900，示例性处理900用于管理在两个连续数字电影作品可能具有不同帧速率并因此导致差分延迟改变的情况下该两个连续数字电影作品之间的转移。一般地，转移管理处理(例如处理900)一般将由数字电影媒体块(例如130A、130B)执行。然而，转移管理处理的一些步骤可能需要与放映机140集成(例如在一个实施例中(未示出)，放映机140接收关于其在不同帧速率下的延迟145的查询)。此外，处理可能需要与剧场声音处理系统150B集成(例如如图1B中，音频延时152B变为由信号136设置)。
转移管理处理900从步骤901开始，其中图1A的数字电影媒体块130A具有与放映机140的画面输出连接和与剧场声音处理系统150A的声音输出连接。在步骤902期间，数字电影媒体块130A接受系统被配置为处理的每个帧速率的差分延迟(例如通过从技术人员接受值或通过询问放映机140或其他源)。这些差分延迟可以驻留在存储器135A中。可以如上所述针对每个帧速率凭经验提供差分延迟，或者可以提供分量延迟和延时(例如在列202、203、306、406中找到的那些分量延迟和延时)和到主座位的距离或飞行时间(例如在列207中指定的距离或飞行时间)并计算差分延迟。
在步骤903期间，数字电影媒体块130A确定针对第一数字电影作品的第一帧速率。例如，数字电影媒体块130A可以通过检查数字电影作品或对应画面资产文件中的任意一个文件中的元数据来确定帧速率。在步骤904期间，数字电影媒体块130A从存储器135A取回与第一帧速率相对应的差分延迟并在设置差分延迟134A时应用该值。如果需要额外的延时以用于允许数字电影媒体块130A或放映机140调整到新设置的帧速率，该延时设置同样在该步骤期间进行。否则或在此之后，数字电影媒体块130A用被设置为的差分延迟134A播放第一数字电影作品。这导致用适当的净画面与声音延迟向观众呈现，该净画面与声音延迟将在主座位102处具有零值或接近零值。
在步骤905期间，数字电影媒体块130A确定与第二(下一)数字电影作品相对应的第二(下一)帧速率。在此步骤期间，数字电影媒体块130A从存储器135A取回对应的差分延迟接下来，执行步骤906，在此期间，数字电影媒体块130A进行比较以确定是否等于(或当前帧速率和下一帧速率是否相等)。如果相等，则处理分支到步骤910，在步骤910期间，第二(下一)数字电影用相同的差分延迟进行播放。通常，这意味着在第一数字电影作品和第二数字电影作品的播放之间不需要间隙或填补。然而，如果画面格式发生改变(例如立体(scope)和平面(flat)之间或2D和3D之间)，数字电影放映机140可能需要或施加延时，则即使差分延迟中不需要改变，数字电影媒体块130A可以在播放第二数字电影作品之前，在声音轨道和画面轨道中的每一个中插入适当类型和持续时间的间隙和/或填补。
如果在步骤906期间，数字电影媒体块130A确定与不相等，则在步骤907期间，数字电影媒体块确定新差分延迟是否具有比当前延迟更小的值。如果是，则在步骤909期间，在第一数字电影作品的声音单元完成播放时，数字电影媒体块在紧接在声音轨道之后插入持续时间的声音填充(按照需要，可以是静默或间隙)(例如作为间隙807或静默单元817)，并继续进行到步骤910。如果则图9的处理900从步骤907分支到步骤908，在步骤908，在第一数字电影作品的画面单元完成播放之后，数字电影媒体块130A在紧接在画面轨道之后插入持续时间的画面填充(按照需要，可以是黑色帧或间隙)插入到之后(例如作为间隙707或黑色帧717)，并同样继续进行到步骤910。
在步骤910期间，数字电影媒体块130A在第一数字电影作品之后用被设置为的差分延迟134A开始播放第二数字电影作品。除非需要额外延时(如在时间轴720、730、820和830中)，在第一数字电影作品之后立即播放第二数字电影作品，其中第二数字电影作品的声音单元紧跟在第一数字电影作品的声音单元或声音填充(如果在步骤909期间插入了声音填充)之后。同样地，第二数字电影作品的画面单元紧跟在第一数字电影作品的画面单元或画面填充(如果在步骤908期间插入了画面填充)之后。如果需要额外延时(如上文所讨论)，则在步骤910期间，数字电影媒体块130A用匹配间隙727和728、737和738、827和828、以及837和838将这些延时插入画面轨道和声音轨道两者中。这些匹配间隙可以出现在任意插入的填充(在步骤908或909)之前(如时间轴720、730、820、830所示)；或它们可以出现在那些填充之后(未示出)。
在适于与数字剧场系统100B一起使用的转移管理处理的另一示例性实施例中，在步骤902，代替计算差分延迟(在数字剧场系统100B中未使用)，经验地或通过计算地提供适当的音频延时设置(tAUDIO_DELAY)。可能存在以下情况：(如在表500中针对60fps的行中)对于音频延时152B的最大可允许设置或最小可允许设置(如在列506中具有零值)可能不足以实现在主座位120处的完美画面与声音同步。在这些情况下，当计算音频延时设置(tAUDIO_DELAY)时，所计算的值被钳位于可允许的范围中。因此，在表500中60fps行的情况下，如果计算，则对于剧场声音处理系统的理想音频延时值将是-7mS，但因为该值超过下限，该值被钳位于最小可允许值(即，零)。在与处理900相对应的其他步骤中，将被对应的tAUDIO_DELAYn代替。
在备选实施例(未示出)中，不是让操作员输入例如在列405中的差分延迟，媒体块130A可以根据针对放映机延迟(例如列202、203)、剧场声音处理系统音频延迟(列306或406)和主座位距离105(例如列207)的单独分量值，计算针对所考察的任意帧速率的对应延时差分延迟135A。对于感兴趣的许多不同帧速率，并且如果放映机规范清楚地提供延迟信息，这将是良好的设计选择。在这种情况下，当操作员确认时，数字媒体电影块130A将计算对应的差分延迟，并将该值存储在存储器135A中。备选地，数字电影媒体块130A将存储所给出的参数，并每当需要时计算差分延迟。存储器135A用于存储指示针对每个必需的帧速率的差分延迟的数据。
以上描述了用于同步不同帧速率的数字电影作品的画面(视频)和声音(音频)的方法和装置。

Claims (13)

1.一种用于在播放列表中的数字电影作品的播放期间将具有不同帧速率的所述数字电影作品的声音信息与对应画面信息同步的方法，包括以下步骤：
在播放之前，根据数字电影作品帧速率，针对所述播放列表中的所述数字电影作品的所述对应画面信息建立相关联的音频延迟设置；以及
在所述数字电影作品的播放期间，根据针对对应数字电影作品帧速率的相关联的音频延迟设置，对所述声音信息和所述画面信息之间的定时进行调整。
2.根据权利要求1所述的方法，其中，对所述声音信息和所述画面信息之间的定时进行调整，以实现在给定数字电影作品帧速率的对应声音单元和画面单元之间的近乎零差分延迟。
3.根据权利要求1所述的方法，其中，所述音频延迟设置是通过所接收的所述画面信息和声音信息的经验测量建立的。
4.根据权利要求1所述的方法，其中，如果所述画面单元领先所述声音单元，则对所述声音信息和画面信息之间的定时进行调整，以延迟所述画面信息中的画面单元的呈现。
5.根据权利要求1所述的方法，其中，如果所述声音单元领先所述画面单元，则对所述声音信息和画面信息之间的定时进行调整，以延迟所述声音信息中的所述声音单元的呈现。
6.根据权利要求1所述的方法，还包括以下步骤：在以第二帧速率播放第二数字电影作品之前，在以第一帧速率播放的第一数字电影作品的所述声音单元之间和所述画面单元之间插入间隙或填补之一。
7.根据权利要求6所述的方法，其中，针对所述声音单元的所述间隙包括静默。
8.一种在用于呈现播放列表中的数字电影作品的数字电影系统中的装置，用于实质上将每个数字作品的画面信息和声音信息进行同步而与数字电影作品帧速率无关，所述装置包括：
数字电影媒体块，所述数字电影媒体块用于渲染以数字电影作品的帧速率接收的数字电影作品，所述数字电影媒体块(a)在播放之前，根据所述数字电影作品帧速率，针对所述播放列表中的所述数字电影作品的所述对应画面信息建立相关联的音频延迟设置；以及(b)在所述数字电影作品的播放期间，根据针对对应数字电影作品帧速率的相关联的音频延迟设置，对所述声音信息和所述画面信息之间的定时进行调整。
9.根据权利要求8所述的装置，其中，所述数字电影媒体块对所述声音信息和所述画面信息之间的定时进行调整，以实现在给定数字电影作品帧速率的对应声音单元和画面单元之间的近乎零差分延迟。
10.根据权利要求8所述的装置，其中，如果所述画面单元领先所述声音单元，则所述数字电影媒体块对所述声音信息和画面信息之间的定时进行调整，以延迟所述画面信息中的画面单元的呈现。
11.根据权利要求8所述的装置，其中，如果所述声音单元领先所述画面单元，则所述数字电影媒体块对所述声音信息和画面信息之间的定时进行调整，以延迟所述声音信息中的所述声音单元的呈现。
12.根据权利要求8所述的装置，其中，所述数字电影媒体块在以第二帧速率播放第二数字电影作品之前，在以第一帧速率播放的第一数字电影作品的所述声音单元之间和所述画面单元之间插入间隙或填补之一。
13.根据权利要求12所述的装置，其中，针对所述声音单元的所述间隙包括静默。
CN201380040857.XA 2012-08-01 2013-02-15 用于使音频延时适应于画面帧速率的方法和装置 Expired - Fee Related CN104871550B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261678243P 2012-08-01 2012-08-01
US61/678,243 2012-08-01
PCT/US2013/026251 WO2014021936A1 (en) 2012-08-01 2013-02-15 Method and apparatus for adapting audio delays to picture frame rates

Publications (2)

Publication Number Publication Date
CN104871550A CN104871550A (zh) 2015-08-26
CN104871550B true CN104871550B (zh) 2018-06-22

Family

ID=47843395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380040857.XA Expired - Fee Related CN104871550B (zh) 2012-08-01 2013-02-15 用于使音频延时适应于画面帧速率的方法和装置

Country Status (6)

Country Link
US (1) US9595299B2 (zh)
EP (1) EP2880867B1 (zh)
JP (1) JP2015529059A (zh)
KR (1) KR20150037949A (zh)
CN (1) CN104871550B (zh)
WO (1) WO2014021936A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102342081B1 (ko) * 2015-04-22 2021-12-23 삼성디스플레이 주식회사 멀티미디어 장치 및 이의 구동 방법
JP2017103542A (ja) * 2015-11-30 2017-06-08 株式会社小野測器 同期装置、同期方法及び同期プログラム
US10334254B2 (en) * 2016-09-23 2019-06-25 Apple Inc. Feed-forward and feed-back metadata exchange in image processing pipelines to improve image quality
CN106572384B (zh) * 2016-11-15 2017-12-19 深圳市环球数码科技有限公司 一种实时音效处理系统和实时音效处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901656A (zh) * 2005-07-19 2007-01-24 日本电气视象技术株式会社 视频和音频重放设备及方法、输出时刻改变设备及方法
CN101088292A (zh) * 2004-11-16 2007-12-12 汤姆森许可贸易公司 用于对数字服务的不同部分进行同步的设备和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677466A (en) * 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
CN101116335B (zh) * 2005-02-07 2012-07-04 汤姆森许可贸易公司 用于重放视频信号和一个或多个音频信号的方法和设备
KR100594995B1 (ko) 2006-03-17 2006-07-03 (주)동영아이텍 디지털 시네마 광고용 멀티미디어 파일 생성 시스템
EP2116047B1 (en) * 2007-03-06 2011-05-25 Thomson Licensing Digital cinema anti-camcording method and apparatus based on image frame post-sampling
US7430018B1 (en) 2008-03-24 2008-09-30 International Business Machines Corporation Timesharing of a display screen
GB0905317D0 (en) 2008-07-14 2009-05-13 Musion Ip Ltd Video processing and telepresence system and method
JP5286050B2 (ja) * 2008-11-28 2013-09-11 株式会社日立国際電気 符号化−復号化装置および映像伝送システム
CA2757571A1 (en) * 2009-04-13 2010-10-21 Showscan Digital Llc Method and apparatus for photographing and projecting moving images
US8525885B2 (en) * 2011-05-15 2013-09-03 Videoq, Inc. Systems and methods for metering audio and video delays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101088292A (zh) * 2004-11-16 2007-12-12 汤姆森许可贸易公司 用于对数字服务的不同部分进行同步的设备和方法
CN1901656A (zh) * 2005-07-19 2007-01-24 日本电气视象技术株式会社 视频和音频重放设备及方法、输出时刻改变设备及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Digital Cinema system specification Version 1.2;Member Representative Committee;《Internet citation》;20080307;正文第3.1.4.3节、第7.5.4.2.1节、第7.3节、第7.3.1节、第7.3.2节、第3.1.4.2节，第7.5.4节、图5-6 *

Also Published As

Publication number Publication date
EP2880867A1 (en) 2015-06-10
EP2880867B1 (en) 2018-06-13
US20150170712A1 (en) 2015-06-18
US9595299B2 (en) 2017-03-14
CN104871550A (zh) 2015-08-26
WO2014021936A1 (en) 2014-02-06
KR20150037949A (ko) 2015-04-08
JP2015529059A (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
US9756287B2 (en) System and method for providing a two-way interactive 3D experience
CN106688251B (zh) 音频处理系统和方法
CA2809314C (en) Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content distribution system
CA2430656C (en) System and method for automatically adjusting the sound parameters of a home theatre system
CN104871550B (zh) 用于使音频延时适应于画面帧速率的方法和装置
US8311401B2 (en) Multimedia playing system and method for playing multimedia using the same
TW201242356A (en) Playback method and playback apparatus of multimedia content
US7756275B2 (en) Dynamically controlled digital audio signal processor
US20150095940A1 (en) Playlist content selection system and method
JP2003078843A (ja) 映像上映システムおよびそのための映像多重化装置
US20230046511A1 (en) Method and system for transmitting and reproducing acoustic information
US20130038685A1 (en) 3d display apparatus, method and structures
KR102273439B1 (ko) 다면 영상 재생 시스템 및 실시간 중계 서비스 제공 방법
Grau et al. 3D-TV R&D activities in europe
Lipton Digital stereoscopic cinema: the 21st century
JP6237042B2 (ja) コンテンツ再生装置、再生スケジュール調整方法及びプログラム
JP7406169B2 (ja) 同期制御装置、同期制御方法、および、同期制御プログラム
JP2005223821A (ja) マルチストリーム再生システム
EP4221263A1 (en) Head tracking and hrtf prediction
EP3337163A1 (en) Method and apparatus for optimal home ambient lighting selection for studio graded content
Mori et al. Kansei-based investigation of methods for projection of digital content
WO2023150486A1 (en) Gesture controlled audio and/or visual rendering
Dingeldey et al. Interactive 3D Stereoscopic Dome with Automatic Calibration.
WO2024083525A1 (en) Video reproduction system and media reproduction system and method of synchronized reproducing of a video data stream of an audiovisual data stream and computer-readable storage medium
EP3471425A1 (en) Audio playback system, tv set, and audio playback method

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180622

Termination date: 20190215