JP2007533189A - ビデオ・オーディオ同期 - Google Patents

ビデオ・オーディオ同期 Download PDF

Info

Publication number
JP2007533189A
JP2007533189A JP2007506883A JP2007506883A JP2007533189A JP 2007533189 A JP2007533189 A JP 2007533189A JP 2007506883 A JP2007506883 A JP 2007506883A JP 2007506883 A JP2007506883 A JP 2007506883A JP 2007533189 A JP2007533189 A JP 2007533189A
Authority
JP
Japan
Prior art keywords
audio
video
signal
event
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007506883A
Other languages
English (en)
Inventor
クリスティアン ヘントシェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2007533189A publication Critical patent/JP2007533189A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Television Receiver Circuits (AREA)

Abstract

オーディオビジュアルシステム（１００，２００，３００）からの視覚的及び聴覚的出力をフィードバックプロセスにより同期化する。視覚的イベントと聴覚的イベントは、オーディオ信号パス及びビデオ信号パスにおいてそれぞれ識別される。そして相関処理によって、これら信号間の時間差が計算され、ビデオ信号又はオーディオ信号は、視聴者／リスナによるオーディオ及びビデオの同期した受け取りがなされるように遅延される。

Description

本発明は、オーディオビジュアルシステムにおけるオーディオ出力とビデオ出力とを同期化するための方法及びシステムに関する。
今日のオーディオビジュアルシステムでは、異なる装置の間における情報の流れが、ビジュアルデータすなわちビデオデータと音声すなわちオーディオデータのシーケンスを表すデータストリームの形態を採る勢いが増してきている。大抵は、ディジタルデータストリームは、符号化された形式で、例えばＭＰＥＧなどで装置間で伝送され、これにより、強力なディジタルデータエンコーダ及びデコーダが必要となっている。こうしたエンコーダ及びデコーダは、厳格な意味で良好な性能を提供するのに十分に強力ではあるが、装置間の性能の差、特にビデオデータ対オーディオデータを考慮したときの性能の差に関する問題がある。すなわち、テレビジョンユニットに接続されたＤＶＤプレーヤを用いて例えば映画を観ている人の視点からは音と映像との同期に関する問題がある。かかるビデオ信号は、オーディオ信号に対して遅れることが極めて多いので、オーディオ信号について作用する遅延機能を必要とする。また、表示装置のための又は表示装置における通常のビデオ処理は、当該ビデオ信号の付加的な遅延を生じさせるためのフレームメモリを用いている。この遅延は、入力源及び内容（アナログ、ディジタル、解像度、フォーマット、入力信号アーチファクト等）や、この特定の入力信号のための選択されたビデオ処理、拡張可能な又は適応型のシステムにおけるビデオ処理のために利用可能なリソースに応じて変わりうる。特に、大抵は、恐らくは異なる製造業者による異なる多数の装置を有するシステムが用いられる場合に同期の問題の範囲を予測することがない。
英国特許出願公開に係る文献のＧＢ２３６６１１０Ａには、同期装置の従来技術の例が開示されている。ＧＢ２３６６１１０Ａでは、ビジュアル及びオーディオ音声認識を用いて同期エラーが排除される。しかしながら、ＧＢ２３６６１１０Ａは、機能の完全なチェーン、すなわちＤＶＤプレーヤなどのソースからＴＶセットなどの出力装置までが考慮される状況に関する問題を論じていない。例えば、ＧＢ２３６６１１０Ａは、高級ＴＶセット又はＰＣにおけるグラフィクスカードにおける場合のような、実際のディスプレイに近いビデオデータ処理により導入される遅延がある場合を開示していない。
したがって本発明の目的は、上述したような従来技術のシステムに関係する短所を克服することである。
発明によるシステムでは、オーディオ出力及びビデオ出力の同期が多数のステップにより行われる。オーディオ信号及びビデオ信号は、受信され、ラウドスピーカ及びディスプレイにそれぞれ供給される。オーディオ信号は、聴覚に関する少なくとも１つのイベントを識別することを含めて解析され、ビデオ信号も、視覚に関する少なくとも１つのイベントを識別することを含めて解析される。当該聴覚的イベントは、当該視覚的イベントに関連しており、その関連の間、当該聴覚的イベントと当該視覚的イベントとの時間差が計算される。そして、オーディオ信号及びビデオ信号のうちの少なくとも一方に遅延が施され、その遅延の値を当該聴覚イベントと当該視覚イベントとの計算された時間差に応じたものとしている。これにより、オーディオ出力とビデオ出力が同期化される。
好ましくは、ビデオ信号の解析は、信号のビデオ処理（少なくともそうした相当な遅延をかけるディジタルビデオ処理）の後に行われ、オーディオ信号の解析は、オーディオ信号がラウドスピーカにより発せられ好ましくは当該システム及び視聴者の近くに位置づけられるマイクロフォンを介して受信された後に行われる。
部屋のマイクロフォンにより表示システムのラウドスピーカにより発せられた音声を測定することは非常に容易であり、マイクロフォンによる音声のピックアップ時間は、少なくとも通常のオーディオ／ビデオ遅延（大抵は１０分の１秒以下のオーダの遅延）のタイムスケールにおいて、視聴者の耳に入り（したがって遅延補償は視聴者が知覚したものに調整される）、ラウドスピーカによって発声される時間に相当する。
マイクロフォンと等価なものとしてカメラを置くことは面倒であり、付加的なカメラ関連の遅延の可能性がある。
本発明者の見識は、ビデオ信号は、システムの必要な精密さで他の遅延も無視可能に与えられるようなポイントにおいて、ディスプレイにより表示される直前にタイミング制御可能である、というものである（リップシンクの必要な正確さは、心理音響学的実験からよく知られている）。
したがって、オーディオ信号及びビデオ信号の解析は、処理チェーンにおいて遅れて、すなわちオーディオ信号及びビデオ信号が機械的音響波及び表示スクリーンからの光学的出力に変換されるシステムのポイント近くで（例えば、ＬＣＤスクリーンのドライバやＣＲＴのカソードに入る前などで）行われるのが好ましい。これにより、当該出力を見る人により知覚されるような音と像の非常に良好な同期を得ることができる、という利点を奏する。特に有利なのは、ビデオ信号がディスプレイハードウェアにより発せられる前にビデオ信号処理の大部分が行われるようなシステムに本発明が用いられる場合であり、符号化されたメディアが表示前に復号されなければならないディジタル伝送システムの場合である。好ましくは、解析機能及び遅延補正を有するＴＶセットに本発明が実現される。
なお、この処理を他の装置（例えばディスクリーダであって、チェーン（ハイエンドＴＶセットにおけるビデオ処理など）における他の遅延に関する情報が当該ディスクリーダに通信（例えば測定された信号又はマスタクロックに対するタイミング情報の有線／無線通信）される場合のもの）において行うようにしてもよい。当該チェーンにおける（特に視聴者の体験に近いところの）適切なポイントでの通信遅延及び／又は測定は、内部アクセスが可能でない対象のテレビジョンシステムにおける装置の遅延を補償することができる。
遅延補正は、信号処理チェーンにおいて当該チェーンにおいて遅れてオーディオ測定の前に行われるので、遅延補正は、調整フィードバックループを介して行われる。
本発明の実施例において、前記オーディオ信号及び前記ビデオ信号は、略同時の視覚的及び聴覚的イベントを有するテスト信号を有する。このテスト信号は、当該遅延の簡単な識別及び正確な測定について非常に簡単な構成となり好ましい。
当該遅延の値は、好適実施例では記憶され、他の実施例では識別情報がオーディオ信号及びビデオ信号に関して受信される。この記憶された遅延の値は、オーディオ及びビデオ信号のソース（信号源）に関する情報に関連している。したがってこのようなシステムの利点は、ＤＶＤプレーヤやケーブルテレビジョンソース又は衛星レシーバなどのオーディオビジュアルシステムにおいて多数の様々な入力装置を扱うことができることである。
上述したように同期ステップを行うことにより、継続的な態様で、遅延の値の差を変えることにより弱められるソースからのビデオ及びオーディオ信号の同期化を得ることができる。これには、装置及び処理パスの切り換えが含まれる。
例えば圧縮規格は、可変遅延をもたらすシーン内容に応じて複雑さを変えることにより受信可能であり、或いは処理は、内容に依存性のあるものとすることができる（例えば、バックグラウンドにおいて走る動画に係る動きを基礎としたアップコンバージョンがイーメールメッセージがポップアップしたときに計算上簡単な異形体に変えられる）。
以下、本発明を図面に基づいて説明する。
図１は、オーディオビジュアルシステム１００を示しており、このシステムは、ビデオ信号１５０及びオーディオ信号１５２を受信するように構成されたＴＶセット１３２と、ビデオ及びオーディオ信号１５０，１５２を供給するソース（信号源）部１３１とを有する。ソース部１３１は、ＤＶＤソース又はケーブルＴＶ信号源などのメディアソース（ＳＲＣ）１０２を有し、ビデオ信号１５０及びオーディオ信号１５２を有するデータストリームを供給することが可能となっている。
ＴＶセット１３２は、ビデオ信号及びオーディオ信号を解析することができ、当業者が分かるような入出力インターフェース、処理ユニット及びメモリ回路のようなサブパートを含みうる解析回路１０６を有する。この解析回路は、ビデオ信号１５０及びオーディオ信号１５２を解析し、これら信号をＴＶセット１３２のビデオ処理回路１２４及びオーディオ処理回路１２６に供給する。マイクロフォン１２２は、アナログ音声をディジタル形態に変換する必要な回路を含んでおり、また解析回路１０６に接続される。
ＴＶセット１３２のビデオ処理回路１２４及びオーディオ処理回路１２６は、それぞれディスプレイ１１４及びラウドスピーカ１１２において視覚データ及び音声を生成し呈示する。普通は処理遅延が生じるものである。何となれば、復号（画像の順序直し）やフレームレートアップコンバージョンのための画像補間などのためである。
フィードバックライン１５３は、図２ないし図４に関連してさらに説明されるように、ビデオ処理回路１２４において処理された後にビデオ信号を解析回路１０６に供給する。ダイレクトパスにおけるものとは異なり、当該解析を並列ブランチなどで行うこともできる。
ソース部１３１は、代替実施例では、解析回路１０６のようなＴＶセット１３２に存在する１つ又はこれを超える数のユニットを有するようにしてもよい。例えば、ＤＶＤプレーヤは、解析回路を擁するものとしてもよく、これにより、現にあるＴＶセットを用いることができ、本発明の恩恵に浴することになる。
当業者には理解されることとなるように、図１におけるシステムは、通常は、電源、増幅器及びその他多数のディジタル及びアナログユニットを有する。しかし、簡明に示すため、本発明に関連するユニットだけを図１に示している。さらに、当業者ならば分かるように、システム１００の種々のユニットは、集積のレベルに応じて１つ以上の物理的構成要素において実現可能である。
例えば図１におけるシステム１００の種々のユニットを用いた本発明の動作は、図２及び図３における機能ブロック図を参照して以下にさらに詳しく説明する。
図２において、本発明による同期システム２００は、機能ブロックについて概略的に示される。ＤＶＤプレーヤ又はケーブルＴＶのセットトップボックス（ＳＴＢ）などのソースユニット２０２は、ビデオ信号２５０及びオーディオ信号２５２をシステム２００に供給する。ビデオ及びオーディオ信号２５０及び２５２は、当業者ならば理解されるように、ディジタルデータストリーム又はアナログデータストリームにより供給可能である。
ビデオ信号２５０は、ビデオ処理手段２０４において処理されディスプレイ２０６に画像の形態で視聴者に呈示される。オーディオ信号２５２は、オーディオ処理手段２１０において処理され、ラウドスピーカ２１２により音声の形態で視聴者に出力される。ビデオ処理及びオーディオ処理の双方は、アナログ／ディジタル及びディジタル／アナログ変換並びに復号動作を含みうる。オーディオ信号は、調整可能な遅延処理２０８が施され、その動作は、以下に説明されるように、時間的な差の解析に基づいたものである。
ビデオ信号は、ビデオ処理２０４の後、ディスプレイ２０６に供給される直前（又は同時）に、ビデオ解析２１４が施される。ビデオ解析の間、ビデオ信号において構成される画像の列は、場面変更、示されている人による唇の動きの開始、突然の内容変更（例えば爆発）などのような特定の視覚的イベントについて解析されサーチされる。これについては、図４ａに関連して以下に詳しく説明する。
ビデオ解析と共に、オーディオ解析は、ラウドスピーカ２１２からマイクロフォン２２２を介して受信されたオーディオ信号に対して行われる。このマイクロフォンは、視聴者の近い位置に置かれるのが好ましい。オーディオ解析の間、オーディオ信号は、音声ギャップや音声開始、主要な振幅変化、特定のオーディオ内容イベント（例えば爆発）などの特定の聴覚的イベントについて解析されサーチされる。これについては図４ｂに関連して以下に詳しく説明する。
代替えの実施例では、視覚的イベント及び聴覚的イベントは、ソースユニットにより供給されるテスト信号の一部となりうる。このようなテスト信号は、非常に簡単な視覚的イベント（黒い情報だけを含む多数のフレームの中にある白い情報だけを含む１つのフレームなど）と、簡単な聴覚的イベント（非常に短いオーディオ断片（例えば短い音声、バースト、クリックなど）とを有することができる。
ビデオ解析２１４及びオーディオ解析２１６それぞれの、検出された視覚的及び聴覚的イベントの形の結果は、どちらも時間差解析機能２１８に供給される。例えば相関アルゴリズムを用いて、視覚的イベントと聴覚的イベントとの間に関連付けがなされ、これらの時間差が計算され、評価され、記憶機能２２０によって記憶される。かかる評価は、乏しい解析結果を無視しビデオ及びオーディオ相関の高い可能性を持つイベントを信頼するのに重要である。或る調整時間の後、時間差はゼロに近くなる。これはまた、弱いオーディオ及びビデオイベントを識別する役に立つ。異なる入力ソースへの切り換えの後、遅延の値を変えてもよい。新しい入力ソースへの切り換え及び状況に応じてその特性は、ビデオ・オーディオ相関ユニット２１４，２１６，２１８及び２２０の１つ以上に対して信号伝達されるようにしてもよい。この場合、新しい入力ソースのための記憶された遅延の値は、迅速な遅延補償のために選択されることができる。
そして記憶された時間差は、調整可能な遅延処理２０８により用いられ、差解析機能２１８における時間差の反復的収束に至り、これにより、視聴者により知覚されるようなオーディオ及びビデオの同期を得ることになる。
代替例として、オーディオ信号の調整可能な遅延処理２０８は、ソースユニット２０２に、或いは後のオーディオ処理チェーンにおいて（例えば増幅器の異なる段の間に）存在可能である。
ここで図３に移ると、本発明による同期システム３００の他の実施例は、機能ブロックに関して概略的に示されている。ＤＶＤプレーヤ又はケーブルＴＶネットワークのセットトップボックスなどのソースユニット３０２は、ビデオ信号３５０及びオーディオ信号３５２をシステム３００に供給する。前の実施例におけるが如く、ビデオ及びオーディオ信号３５０，３５２は、ディジタルデータストリーム又はアナログデータストリームにより供給可能である。
ビデオ信号３５０は、ビデオ処理手段３０４において処理され、ディスプレイ３０６における画像の形態で視聴者に呈示される。オーディオ信号３５２は、オーディオ処理手段３１０において処理され、ラウドスピーカ３１２を介して音声の形態で視聴者に出力される。ビデオ処理及びオーディオ処理の双方は、アナログ／ディジタル及びディジタル／アナログ変換並びに復号動作を含みうる。ビデオ信号は、調整可能な遅延処理３０８が施され、その動作は、時間差の解析に基づいている。この点については以下に説明する。
ビデオ信号は、処理３０４の後、ディスプレイ３０６への供給の直前（又は同時）に、ビデオ解析３１４にかけられる。ビデオ解析中、当該ビデオ信号において構成される画像の列は、場面変更、示される人による唇の動きの開始、突然の内容変化（例えば爆発）などのような特定の視覚的イベントについて解析されサーチされる。これについては図４ａに関連して以下に詳しく説明する。
ビデオ解析と同時に、オーディオ解析３１６は、オーディオ信号に対して行われる。オーディオ信号がラウドスピーカ２１２からマイクロフォン２２２を介して受信される上述の実施例とは対照的に、ここではオーディオ信号が直接、すなわちラウドスピーカ３１２を介して出力されるのと同時に、オーディオ解析３１６の機能に供給される。オーディオ解析３１６の間、オーディオ信号は、音声ギャップ及び音声開始、主要な振幅変化、特定のオーディオ内容イベント（例えば爆発）などの特定の聴覚的イベントについて解析されサーチされる。これについては図４ｂに関連して以下に詳しく説明する。
上述のように、代替実施例では、視覚的イベント及び聴覚的イベントは、ソースユニット３０２により供給されるテスト信号の一部となりうる。
検出された視覚的及び聴覚的イベントの形態の、それぞれビデオ解析３１４及びオーディオ解析３１６の結果は、どちらも時間差解析機能３１８に供給される。例えば相関アルゴリズムを用いて、視覚的イベントと聴覚的イベントとの関連づけがなされ、これらの時間差が計算され、評価され記憶機能３２０において記憶される。かかる評価は、乏しい解析結果を無視しビデオ及びオーディオ相関性の高い可能性を持つイベントを信頼するのに重要である。或る調整時間の後、時間差はゼロに近くなる。これはまた、弱いオーディオ及びビデオイベントを識別する役に立つ。異なる入力ソースへの切り換えの後、遅延の値を変えることができる。新しい入力ソースへの切り換え及び状況に応じてその特性は、ビデオ・オーディオ相関ユニット３１４，３１６，３１８及び３２０の１つ以上に対して信号伝達されるようにしてもよい。この場合、新しい入力ソースのための記憶された遅延の値は、迅速な遅延補償のために選択されることができる。
そして記憶された時間差は、調整可能な遅延処理３０８により用いられ、差解析機能３１８における時間差の反復的収束となり、これにより、視聴者により知覚されるようなオーディオ及びビデオの同期を得ることになる。
前の実施例におけるが如く、ビデオ信号の調整可能な遅延処理３０８は、代替的に、ソースユニット３０２において、或いは後のオーディオ処理チェーンにおいて（例えばプリアンプとメインアンプとの間に）存在可能である。
ここで図４ａ及び図４ｂに移り、視覚的イベント及び聴覚的イベントの解析並びに遅延の値を得る目的でのこれらの関連づけについての実施例を、もう少し詳しく説明する。
図４ａにおいて、時間の関数として、ＣＲＴ又はＬＣＤなどにおける表示出力ハードウェアに供給される直前に検出されるようなビデオ信号輝度４０１は、本例では２つの異なるビデオエキスパートモジュール（爆発検出エキスパートモジュール４０３及び人の話者解析モジュール４０５）において解析される。これらモジュールの出力は、視覚的イベントシーケンス４０７であり、例えば、大抵が一連の時刻として符号化される（Ｔｅｘｐｌ１；第１の検出された爆発などの推定時刻）。
同様に、図４ｂにおいては、時間の関数としての音声ボリューム信号４０２は、時刻（ｔ０）で開始する同じマスタークロックに関連したタイミングを得るために１つ以上のオーディオ検出エキスパートモジュール４０４において解析され、ここでのイベントは、オーディオ−ビデオ遅延のために後の時点にシフトされる。本例のオーディオ検出エキスパートモジュール４０４は、離散フーリエ変換モジュール（ＤＦＴ）及びフォーマット解析モジュール（スピーチ部分を検出しモデル化するためのもの）のような構成要素を有し、その出力は、イベント時間位置マッピングモジュール４０６に供給され、本例では時間的位置を解析されたサブパートの聴覚的波形に関連づけるために用いられる。すなわち、時間位置マッピングモジュール４０６の出力は、聴覚的イベントシーケンス４０８である（或いは当該マッピングは、ビデオの例におけるが如くエキスパートモジュール自体において生じるようにしてもよい）。
これらモジュールすなわちビデオ及びオーディオエキスパートモジュール４０５，４０４（マッピングモジュール４０６）は、大抵は次のようなことを行う。すなわち、特定のタイプの断片があるかどうかの識別、その時間的範囲の識別及びその後の時刻の関連付け（例えば発見的方法がスピーチの到来のポイントを規定するようにしてもよい）である。
例えば、爆発を認識することのできるビデオエキスパートモジュールも、多数の付加的なデータ要素を計算する。ここで、色アナライザは、爆発において画像フレームの大部分が略白色、略赤色又は略黄色で、連続した画像の色ヒストグラムに現われることを認識する。動きアナライザは、爆発前の比較的に静止した景色と爆発の素早い変化との間の多くの変化を認識する。テクスチャアナライザは、画像フレームにわたるテクスチャに関して爆発は非常に滑らかなものと認識する。これら全ての測定情報の特定の出力に基づいて、シーンは爆発として分類される。
顔表情モジュールも、当業者による文献で知ることができ、当該従来技術によれば、例えば唇を、いわゆるスネーク（数学的な境界曲線）により追跡することができる。異なるアルゴリズムを組み合わせて種々の必要な正確さ及び頑強さのエキスパートモジュールを作るようにしてもよい。
発見的アルゴリズムにより、これらの測定値は、信頼レベル［０，１］で通常は変換される。これは、閾値ｋ＝＋／−１を越える例えば全て画像が爆発と識別される。
爆発を認識するオーディオエキスパートモジュールは、ボリューム（増大）、重低音及びサラウンドチャネル分散（爆発はＬＦＥ（低周波効果）チャネルで行われることが多い）のようなことをチェックする。
そして視覚的イベントとオーディオイベントとの関連付けは、原理的に簡単明瞭である。すなわちオーディオのピークがビデオのピークに対応するのである。
但し、この状況は、もっと複雑となる可能性もある。すなわち、特定の時刻（例えば音声シーケンスの始まり）へのマッピングの発見的方法は、エラーを招く可能性があり（異なる発見的方法は、時刻を他のどこかに置くことになる）、証拠の計算がエラーを招く可能性があり、オーディオとビデオとの間にビデオ内（in-video）リードタイムがある可能性があり（例えばソース信号の編集に起因して、オーディオイベントが対応のビデオイベントから短い時間の後に位置づけられる）、誤りの正（すなわちイベントが多すぎる）及び誤りの負（すなわちイベントが足りない）がある。したがって、１つの視覚的イベントの１つの聴覚的イベントへの単一のマッピングはあまり巧く機能しない可能性がある。
視覚的イベント及び聴覚的イベントを関連づける他の方法は、多数のイベントをマッピングすること、すなわちシーンシグネチャである。例えば、代表的な式を用いて、オーディオイベントとビデオイベントは、時系列上ＴＡ＝ＴＶ＋Ｄ＋／−Ｅの範囲で生じた場合には合致とする。ここで、ＴＡは及びＴＶは、エキスパートモジュールにより提供される厳密なイベント時刻であり、Ｄは現に予測された遅延であり、Ｅは許容誤差である。
合致の数は、その遅延がいかに正確に推定されるかの程度である。すなわち、可能な全ての遅延にわたり得られる最大のマッチング（数）は、実際の遅延の良好な推定をもたらす。勿論、イベントは同じタイプでなければならない。例えば、爆発は、時刻が殆ど正確な遅延だけ異なる場合でも、これは明らかにエラーと分かるので音声と合致することはない。
これは、合致に関しては十分に良好であるが、Ｅは大きすぎない方がよく、そうでなければ、Ｅの残りの最大エラーは平均Ｅ／２となる。
加算によりガウスエラーはある程度平均化されうるので、合致の推定をより正確に行うことができる。ランキング解析に基づいて、例えば２つの連続した爆発がある場合、第１のオーディオ爆発イベントは第１のビデオイベント及び第２のものなどと一致する可能性が高い。そこでこれらランキングベースの合致は、差別化されて１組の遅延、Ｄ１＝ＴＡ１−ＴＶ１（爆発１）、Ｄ２＝ＴＡ２−ＴＶ２（爆発２）などをもたらす。そしてこれらは、連続したイベントにつき合計され、より安定した平均遅延推定値をもたらす。
実際には、オーディオ及びビデオの部分をエキスパートモジュールにロードするのではなく、ビデオ及びオーディオ信号を「急いで」処理することができ、その後十分長く、注釈（すなわち、爆発、スピーチなどのどれかのタイプ）をつけられたイベント時間シーケンスの部分は、合致しうる。遅延がかなり長い期間において同じままである場合及び／又は短い遅延ミスマッチが許容可能である場合には解析を遅延してもよい。
したがって要約すると、オーディオビジュアルシステムからの視覚的及び聴覚的出力は、フィードバックプロセスにより同期化される。視覚的イベント及び聴覚的イベントは、オーディオ信号パス及びビデオ信号パスのそれぞれにおいて識別される。そして、相関処理により、当該信号間の時間差が計算され、ビデオ信号又はオーディオ信号が、視聴者によりオーディオ及びビデオの同期受信をなすために遅延される。
開示したアルゴリズムの構成要素は、実際には、ハードウェア（例えば特定用途向けＩＣの部分）として又は特定のディジタル信号処理器や一般のプロセッサなどにおいて走るソフトウェアとして実現可能である。
コンピュータプログラム製品の下では、一般の又は特定の目的で、プロセッサにコマンドを与える一連のローディングステップの後に、発明の特徴的ないずれかの機能を、当該プロセッサに実行させることを可能にするコマンド群の物理的実現を理解すべきである。実際、コンピュータプログラム製品は、例えばディスク又はテープなどの担体上のデータとして、メモリ内にあるデータとして、有線又は無線によるネットワーク接続手段において伝達するデータとして、又は紙上のプログラムコードとして実現可能である。プログラムコードとは別に、プログラムに必要な特徴的データも、コンピュータプログラム製品として具現化されうる。
なお、上述した実施例は、本発明を限定するというよりも例示するものである。請求項において組み合わされているような本発明の要素の組み合わせとは別に、要素の他の組み合わせも可能である。要素のいずれの組み合わせも単一の専用の要素において実現可能である。
請求項における括弧内の参照符号には、当該請求項を限定する意図はない。「有する」なる文言は、請求項に挙げられていない要素又は態様の存在を排除するものではない。要素の単数表現は、当該要素の複数の存在を排除するものではない。
本発明が実現されるオーディオビジュアルシステムのブロック図を概略的に示す図。 本発明による同期システムの第１の好適な実施例の概略的機能ブロック図。 本発明による同期システムの第２の好適な実施例の概略的機能ブロック図。 ビデオ信号解析を概略的に示す図。 オーディオ信号解析を概略的に示す図。

Claims (14)

  1. オーディオビジュアルシステムにおいてオーディオ出力とビデオ出力とを同期化する方法であって、
    ・オーディオ信号及びビデオ信号を受信するステップと、
    ・前記オーディオ信号をラウドスピーカに供給するステップと、
    ・前記オーディオ信号から少なくとも１つの聴覚的イベントを識別することを含めて前記オーディオ信号を解析するステップと、
    ・前記ビデオ信号を表示ユニットへ供給するステップと、
    ・前記ビデオ信号から少なくとも１つの視覚的イベントを識別することを含めて前記ビデオ信号を解析するステップと、
    ・前記聴覚的イベントと視覚的イベントとの時間差を計算することを含めて前記聴覚的イベントを前記視覚的イベントに関連づけるステップと、
    ・前記オーディオ信号及び前記ビデオ信号のうちの少なくとも一方に遅延をかけ、その際当該遅延の値を前記聴覚的イベントと前記視覚的イベントとの間の当該計算された時間差に応じたものとし、これにより前記オーディオ出力と前記ビデオ出力とを同期化するステップと、
    を有する、方法。
  2. 請求項１に記載の方法であって、前記ビデオ信号を解析するステップは、当該信号のビデオ処理の後に行われる、方法。
  3. 請求項１又は２に記載の方法であって、前記オーディオ信号を解析するステップは、前記オーディオ信号が前記ラウドスピーカにより発せられマイクロフォンにより受信された後に行われる、方法。
  4. 請求項１ないし３のうちいずれか１つに記載の方法であって、前記オーディオ信号及び前記ビデオ信号は、略同時の視覚的及び聴覚的イベントを有するテスト信号を有する、方法。
  5. 請求項１ないし４のうちいずれか１つに記載の方法であって、前記遅延の値を記憶するステップをさらに有する、方法。
  6. 請求項５に記載の方法であって、記憶された遅延の値は、前記オーディオ及びビデオ信号のそれぞれのソースに関する情報に関連づけられる、方法。
  7. 請求項６に記載の方法であって、
    ・前記オーディオ信号及び前記ビデオ信号のソースに関する識別情報を受け取るステップと、
    ・前記遅延の値を前記オーディオ及びビデオ信号のソースに関する情報に関連づけるステップと、
    をさらに有する方法。
  8. 請求項１ないし７のうちいずれか１つに記載の方法であって、
    ・オーディオ信号及びビデオ信号を受信するステップと、
    ・前記オーディオ信号をラウドスピーカに供給するステップと、
    ・前記オーディオ信号から少なくとも１つの聴覚的イベントを識別することを含めて前記オーディオ信号を解析するステップと、
    ・前記ビデオ信号を表示ユニットへ供給するステップと、
    ・前記ビデオ信号から少なくとも１つの視覚的イベントを識別することを含めて前記ビデオ信号を解析するステップと、
    ・前記聴覚的イベントと視覚的イベントとの時間差を計算することを含めて前記聴覚的イベントを前記視覚的イベントに関連づけるステップと、
    ・前記オーディオ信号及び前記ビデオ信号のうちの少なくとも一方に遅延をかけ、その際当該遅延の値を、前記聴覚的イベントと前記視覚的イベントとの間の当該計算された時間差に応じたものとし、これを連続的に繰り返し、これにより前記オーディオ出力と前記ビデオ出力とをダイナミックに同期化するステップと、
    を有する、方法。
  9. オーディオ出力とビデオ出力とをオーディオビジュアルシステムにおいて同期化するシステムであって、
    ・信号源からの信号を、当該信号源からの当該信号のオーディオ部分から少なくとも１つの聴覚的イベントを識別し当該信号源からの当該信号のビデオ部分から少なくとも１つの視覚的イベントを識別することを含めて解析する手段と、
    ・前記聴覚的イベントと前記視覚的イベントとの時間差を計算することを含めて前記聴覚的イベントを前記視覚的イベントに関連づける手段と、
    ・前記オーディオ信号及び前記ビデオ信号の一方に遅延をかけ、その際当該遅延の値を、前記聴覚的イベントと前記視覚的イベントとの間の当該計算された時間差に応じたものとし、これにより前記オーディオ出力と前記ビデオ出力とを同期化する手段と、
    ・前記オーディオ信号及び前記ビデオ信号をラウドスピーカ及びディスプレイにそれぞれ供給する手段と、
    を有するシステム。
  10. 請求項９に記載のシステムであって、前記ビデオ信号を解析する手段は、前記ビデオ信号を処理するいずれかの手段の後に位置づけられる、システム。
  11. 請求項９又は１０に記載のシステムであって、前記オーディオ信号を解析する手段は、マイクロフォンを介して前記オーディオ信号を受信するように構成されている、システム。
  12. 請求項９ないし１１のうちいずれか１つに記載のシステムであって、前記遅延の値を記憶する手段をさらに有するシステム。
  13. 請求項１２に記載のシステムであって、
    ・前記オーディオ信号及び前記ビデオ信号のソースに関する識別情報を受け取る手段と、
    ・前記オーディオ及びビデオ信号のソースに関する情報に前記遅延の値を関連づける手段と、
    を有するシステム。
  14. 請求項１に記載の方法をプロセッサが実行することを可能にするコードを有するコンピュータプログラム。
JP2007506883A 2004-04-07 2005-03-29 ビデオ・オーディオ同期 Pending JP2007533189A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04101436 2004-04-07
PCT/IB2005/051061 WO2005099251A1 (en) 2004-04-07 2005-03-29 Video-audio synchronization

Publications (1)

Publication Number Publication Date
JP2007533189A true JP2007533189A (ja) 2007-11-15

Family

ID=34962047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007506883A Pending JP2007533189A (ja) 2004-04-07 2005-03-29 ビデオ・オーディオ同期

Country Status (6)

Country Link
US (1) US20070223874A1 (ja)
EP (1) EP1736000A1 (ja)
JP (1) JP2007533189A (ja)
KR (1) KR20070034462A (ja)
CN (1) CN1973536A (ja)
WO (1) WO2005099251A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1657929A1 (fr) 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
KR100584615B1 (ko) * 2004-12-15 2006-06-01 삼성전자주식회사 오디오/비디오 동기 자동 조정 장치 및 그 방법
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
KR100793790B1 (ko) * 2006-03-09 2008-01-11 엘지전자 주식회사 무선 비디오 시스템 및 이 무선 비디오 시스템에서 신호를처리하는 방법
CA2541560C (en) 2006-03-31 2013-07-16 Leitch Technology International Inc. Lip synchronization system and method
JP4953707B2 (ja) * 2006-06-30 2012-06-13 三洋電機株式会社 デジタル放送受信機
US8698812B2 (en) * 2006-08-04 2014-04-15 Ati Technologies Ulc Video display mode control
CN101295531B (zh) * 2007-04-27 2010-06-23 鸿富锦精密工业（深圳）有限公司 多媒体装置及其使用方法
US9083943B2 (en) * 2007-06-04 2015-07-14 Sri International Method for generating test patterns for detecting and quantifying losses in video equipment
DE102007039603A1 (de) * 2007-08-22 2009-02-26 Siemens Ag Verfahren zum Synchronisieren von medialen Datenströmen
EP2203850A1 (en) * 2007-08-31 2010-07-07 International Business Machines Corporation Method for synchronizing data flows
US8381086B2 (en) * 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
CN101803390A (zh) * 2007-09-21 2010-08-11 汤姆森特许公司 对用户可观察信号进行同步的设备和方法
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
JP5050807B2 (ja) * 2007-11-22 2012-10-17 ソニー株式会社 再生装置、表示装置、再生方法および表示方法
US8436939B2 (en) * 2009-10-25 2013-05-07 Tektronix, Inc. AV delay measurement and correction via signature curves
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
JP5813767B2 (ja) 2010-07-21 2015-11-17 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期
US9565426B2 (en) 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction
EP2571281A1 (en) * 2011-09-16 2013-03-20 Samsung Electronics Co., Ltd. Image processing apparatus and control method thereof
US20130141643A1 (en) * 2011-12-06 2013-06-06 Doug Carson & Associates, Inc. Audio-Video Frame Synchronization in a Multimedia Stream
KR20130101629A (ko) * 2012-02-16 2013-09-16 삼성전자주식회사 보안 실행 환경 지원 휴대단말에서 컨텐츠 출력 방법 및 장치
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
EP2814259A1 (en) * 2013-06-11 2014-12-17 Koninklijke KPN N.V. Method, system, capturing device and synchronization server for enabling synchronization of rendering of multiple content parts, using a reference rendering timeline
KR102201617B1 (ko) * 2014-01-07 2021-01-12 삼성전자 주식회사 Av기기 및 그 제어방법
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9628702B2 (en) 2014-05-21 2017-04-18 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9224044B1 (en) 2014-07-07 2015-12-29 Google Inc. Method and system for video zone monitoring
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
KR101909132B1 (ko) 2015-01-16 2018-10-17 삼성전자주식회사 영상 정보에 기초하여 음향을 처리하는 방법, 및 그에 따른 디바이스
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10097819B2 (en) 2015-11-23 2018-10-09 Rohde & Schwarz Gmbh & Co. Kg Testing system, testing method, computer program product, and non-transitory computer readable data carrier
US10599631B2 (en) 2015-11-23 2020-03-24 Rohde & Schwarz Gmbh & Co. Kg Logging system and method for logging
US20170150140A1 (en) * 2015-11-23 2017-05-25 Rohde & Schwarz Gmbh & Co. Kg Measuring media stream switching based on barcode images
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
CN108377406B (zh) * 2018-04-24 2020-12-22 海信视像科技股份有限公司 一种调整音画同步的方法及装置
EP3726842A1 (en) * 2019-04-16 2020-10-21 Nokia Technologies Oy Selecting a type of synchronization
KR102650734B1 (ko) * 2019-04-17 2024-03-22 엘지전자 주식회사 복수의 스피커들에 다채널 오디오 신호를 제공하기 위한 오디오 장치, 오디오 시스템 및 방법
GB2586985B (en) * 2019-09-10 2023-04-05 Hitomi Ltd Signal delay measurement
CN110753166A (zh) * 2019-11-07 2020-02-04 金华深联网络科技有限公司 一种清淤机器人远程操控视频数据与音频数据同步的方法
CN110798591A (zh) * 2019-11-07 2020-02-14 金华深联网络科技有限公司 一种挖掘机远程操控视频数据与音频数据同步的方法
CN110830677A (zh) * 2019-11-07 2020-02-21 金华深联网络科技有限公司 一种凿岩机器人远程操控视频数据与音频数据同步的方法
CN110753165A (zh) * 2019-11-07 2020-02-04 金华深联网络科技有限公司 一种推土机远程操控视频数据与音频数据同步的方法
CN111354235A (zh) * 2020-04-24 2020-06-30 刘纯 一种钢琴远程教学系统
FR3111497A1 (fr) * 2020-06-12 2021-12-17 Orange Procédé de gestion de la restitution d’un contenu multimédia sur des dispositifs de restitution.
KR20220089273A (ko) * 2020-12-21 2022-06-28 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4024878A1 (en) * 2020-12-30 2022-07-06 Advanced Digital Broadcast S.A. A method and a system for testing audio-video synchronization of an audio-video player
KR20240009076A (ko) * 2022-07-13 2024-01-22 삼성전자주식회사 오디오와 비디오의 출력을 동기화하는 전자 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02274070A (ja) * 1989-03-10 1990-11-08 Tektronix Inc 遅延時間補償方法
JPH05219459A (ja) * 1992-01-31 1993-08-27 Nippon Hoso Kyokai <Nhk> 映像と音声の同期方法
JPH09205625A (ja) * 1996-01-25 1997-08-05 Hitachi Denshi Ltd 映像音声多重化伝送装置の同期方法
JPH1188847A (ja) * 1997-09-03 1999-03-30 Hitachi Denshi Ltd 映像・音声同期方式
JP2001024992A (ja) * 1999-07-06 2001-01-26 Sanyo Electric Co Ltd 映像音声送受信装置
JP2002165153A (ja) * 2000-11-27 2002-06-07 Asaka Co Ltd 映像／音声ずれ補正方法及び装置
JP2002290767A (ja) * 2001-03-27 2002-10-04 Toshiba Corp 映像及び音声の時間合わせ装置及び時間合わせ方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5387943A (en) * 1992-12-21 1995-02-07 Tektronix, Inc. Semiautomatic lip sync recovery system
US6836295B1 (en) * 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
WO2000005901A1 (en) * 1998-07-24 2000-02-03 Leeds Technologies Limited Video and audio synchronisation
DE19956913C2 (de) * 1999-11-26 2001-11-29 Grundig Ag Verfahren und Vorrichtung zur Anpassung der Laufzeitdifferenz von Video- und Audiosignal in einem Fernsehgerät
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
US7212248B2 (en) * 2002-09-09 2007-05-01 The Directv Group, Inc. Method and apparatus for lipsync measurement and correction
US7499104B2 (en) * 2003-05-16 2009-03-03 Pixel Instruments Corporation Method and apparatus for determining relative timing of image and associated information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02274070A (ja) * 1989-03-10 1990-11-08 Tektronix Inc 遅延時間補償方法
JPH05219459A (ja) * 1992-01-31 1993-08-27 Nippon Hoso Kyokai <Nhk> 映像と音声の同期方法
JPH09205625A (ja) * 1996-01-25 1997-08-05 Hitachi Denshi Ltd 映像音声多重化伝送装置の同期方法
JPH1188847A (ja) * 1997-09-03 1999-03-30 Hitachi Denshi Ltd 映像・音声同期方式
JP2001024992A (ja) * 1999-07-06 2001-01-26 Sanyo Electric Co Ltd 映像音声送受信装置
JP2002165153A (ja) * 2000-11-27 2002-06-07 Asaka Co Ltd 映像／音声ずれ補正方法及び装置
JP2002290767A (ja) * 2001-03-27 2002-10-04 Toshiba Corp 映像及び音声の時間合わせ装置及び時間合わせ方法

Also Published As

Publication number Publication date
CN1973536A (zh) 2007-05-30
WO2005099251A1 (en) 2005-10-20
EP1736000A1 (en) 2006-12-27
KR20070034462A (ko) 2007-03-28
US20070223874A1 (en) 2007-09-27

Similar Documents

Publication Publication Date Title
JP2007533189A (ja) ビデオ・オーディオ同期
US10359991B2 (en) Apparatus, systems and methods for audio content diagnostics
CN112400325B (zh) 数据驱动的音频增强
US8400566B2 (en) Feature optimization and reliability for audio and video signature generation and detection
US20100302401A1 (en) Image Audio Processing Apparatus And Image Sensing Apparatus
US8064754B2 (en) Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
US20160316108A1 (en) System and Method for AV Sync Correction by Remote Sensing
US20080273116A1 (en) Method of Receiving a Multimedia Signal Comprising Audio and Video Frames
CN110933485A (zh) 一种视频字幕生成方法、系统、装置和存储介质
US20230224552A1 (en) Timely Addition of Human-Perceptible Audio to Mask an Audio Watermark
CN111954064B (zh) 音视频同步方法和装置
CN110896503A (zh) 视音频同步的监测方法及系统，以及视音频播出系统
CN110024379B (zh) 用于同步第一音频信号和第二音频信号的方法
US8330859B2 (en) Method, system, and program product for eliminating error contribution from production switchers with internal DVEs
CN111354235A (zh) 一种钢琴远程教学系统
Fernández et al. Monitoring of audio visual quality by key indicators: Detection of selected audio and audiovisual artefacts
CN111601157B (zh) 一种音频输出方法及显示设备
US20230104933A1 (en) Spatial Audio Capture
KR20230018641A (ko) 음성 처리 장치를 포함하는 다중 그룹 수업 시스템
CN113965662A (zh) 音视频输出设备及其音视频延时校准方法及相关组件
El-Helaly Integrated audio-video synchronization system for use in multimedia applications
El-Helaly for the Degree of Master of Applied Science (Electrical and Computer Engineering) at
CA2567667A1 (en) Method and communication apparatus for reproducing a moving picture, and use in a videoconference system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101202