JP2007312192A - リップシンク評価装置、及びリップシンク調整装置 - Google Patents
リップシンク評価装置、及びリップシンク調整装置 Download PDFInfo
- Publication number
- JP2007312192A JP2007312192A JP2006140217A JP2006140217A JP2007312192A JP 2007312192 A JP2007312192 A JP 2007312192A JP 2006140217 A JP2006140217 A JP 2006140217A JP 2006140217 A JP2006140217 A JP 2006140217A JP 2007312192 A JP2007312192 A JP 2007312192A
- Authority
- JP
- Japan
- Prior art keywords
- data
- marker
- time
- time difference
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Systems (AREA)
Abstract
【課題】 伝送路106に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を客観的に、定量的に、且つ、時系列的に把握できるリップシンク評価装置を取得する。
【解決手段】 マーカ挿入部152は、伝送路106に入力されるビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入し、時間差測定部153は、伝送路106から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路106中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する。
【選択図】 図1
【解決手段】 マーカ挿入部152は、伝送路106に入力されるビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入し、時間差測定部153は、伝送路106から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路106中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する。
【選択図】 図1
Description
本発明は、伝送路に入力される、出力同時性が要求されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置、及び該時間差を調整するリップシンク調整装置に関する。
ビデオデータ、及びオーディオデータからなる実時間AV信号を、伝送路(例えばインターネット網)や、信号処理回路を経由してビデオモニタ等に出力すると、本来同時に出力されなければならない筈である両データが、伝送路や信号処理回路の特性に起因し、時間差を持って出力されることがある。かかる場合には、両データの時間差を検出し、該時間差を調整し、両データの同時性(以後の説明では両データの同時性をリップシンクと記す)を確保する必要がある。かかるリップシンクを検出するリップシンク評価装置が市販されている(非特許文献1参照)。
上記市販されているリップシンク評価装置の時間差測定原理について以下に説明する。
図7は、従来技術の動作説明図である。
図に示すビデオ画面300は、上記装置がテスト用の実時間AV信号を所定の伝送路に入力した場合に於けるビデオデータとオーディオデータとの出力側における時間差計測用の画面である。図に示すように、ビデオ画面300上には、固定された4本の縦長のパルスバー301と、矢印方向へ等速度で移動する1本の縦長のクロスバー302が表示される。ビデオデータとオーディオデータ間に出力の同時性がある場合にはクロスバー302が、パルスバー301の上を通過する時に、オーディオデータがオペレータによって聴取される。一方、出力の同時性が無い場合には、オペレータによってオーディオデータが聴取されたときにクロスバー302はパルスバー301から離れている。この時のクロスバー302とパルスバー301との距離が、ビデオデータとオーディオデータとの間に発生した時間差を表すことになる。
図7は、従来技術の動作説明図である。
図に示すビデオ画面300は、上記装置がテスト用の実時間AV信号を所定の伝送路に入力した場合に於けるビデオデータとオーディオデータとの出力側における時間差計測用の画面である。図に示すように、ビデオ画面300上には、固定された4本の縦長のパルスバー301と、矢印方向へ等速度で移動する1本の縦長のクロスバー302が表示される。ビデオデータとオーディオデータ間に出力の同時性がある場合にはクロスバー302が、パルスバー301の上を通過する時に、オーディオデータがオペレータによって聴取される。一方、出力の同時性が無い場合には、オペレータによってオーディオデータが聴取されたときにクロスバー302はパルスバー301から離れている。この時のクロスバー302とパルスバー301との距離が、ビデオデータとオーディオデータとの間に発生した時間差を表すことになる。
従って、評価対象システムの入力側から実時間AV信号を入力し、該評価対象システムの出力側で、オペレータがオーディオデータを聴取しながら、上記ビデオ画面300を観測することによって、評価対象システム中に於ける上記時間差を目視によって検出することが可能であった。更に、オペレータが時間差を目視しながら評価対象システムを手動で調整し、実時間AV信号の同時性を確保することも可能であった。
特開平10−285483
http://www.shibasoku.co.jp/products/avc/psllak.html
以上説明した従来技術では、オペレータの主観評価によってリップシンクのずれを確認するため、異なるオペレータ間での個人差が無視出来なかった。また、リップシンクのずれを定量的に把握することが困難であった。更に、リップシンクの確認は、数秒周期で行われていたため、短時間内にリップシンクのずれ量が変化する場合には対応できなかった。上記従来技術には、このような解決すべき課題が残されていた。
本発明は、伝送路または信号処理手段に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置であって、上記伝送路または信号処理手段に入力される上記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、上記伝送路または信号処理手段から出力される上記ビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、上記伝送路または信号処理手段中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出する時間差計測部とを備えることを主要な特徴とする。
本発明によるリップシンク評価装置によれば、送信側に於いて、マーカ挿入部がビデオデータ及びオーディオデータのそれぞれに入力時刻を特定可能なマーカデータを挿入し、受信側では時間差計測部が上記マーカデータを検出し、上記伝送路または信号処理手段中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出するのでリップシンクのずれ量を客観的に求めることが可能になる。その結果、従来の方法とは異なり,ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握できるという効果を得る。
以下に本発明の最良の実施形態について説明する。
図1は、実施例1のリップシンク評価システムのシステム構成図である。
図に示すように本実施例のリップシンク評価システム100は、評価対象システム101と、リップシンク評価装置151とを含む。
評価対象システム101は、AV入力部102と、符号化送信部103と、受信復号部104と、AVモニタ105と、伝送路106とを備え、リップシンク評価装置151は、マーカ挿入部152と、時間差測定部153とを備える。以下にAVデータの生成からリップシンクの評価まで、AVデータの流れに沿って、上記各部分の構成と機能とを合わせて説明し、実施例1のリップシンク評価システムの内容を明らかにする。
図に示すように本実施例のリップシンク評価システム100は、評価対象システム101と、リップシンク評価装置151とを含む。
評価対象システム101は、AV入力部102と、符号化送信部103と、受信復号部104と、AVモニタ105と、伝送路106とを備え、リップシンク評価装置151は、マーカ挿入部152と、時間差測定部153とを備える。以下にAVデータの生成からリップシンクの評価まで、AVデータの流れに沿って、上記各部分の構成と機能とを合わせて説明し、実施例1のリップシンク評価システムの内容を明らかにする。
AV入力部102は、ビデオカメラ及びマイクロフォン、又はDVDプレーヤー等を内蔵し、ビデオデータ及びオーディオデータからなるAVデータ(1)を生成し、符号化送信部103とマーカ挿入部152へ送出する部分である。一例としてビデオデータは、ビデオカメラまたはDVDプレーヤーを介して、画像サイズが720×480(画素)で、フレームレートが29.97Hz、Y、Cb、Crが4対2対2形式(1画素あたり16ビット)のディジタルデータとして生成される。又、オーディオデータは、マイクやDVDプレーヤーを介して、一例としてサンプリング周波数が48KHz、2チャンネル、量子化16ビット/チャネルのディジタルデータとして生成される。このビデオデータとオーディオデータとは多重化され、AVデータ(1)として通常は符号化送信部103へ送出される。但し、評価対象システム101と、リップシンク評価装置151とを結合して利用する場合には、AVデータ(1)は、AV入力部102からマーカ挿入部152を経由して符号化送信部103へ送出され、直接符号化送信部103へ送出されることは無くなる。
符号化送信部103は、AV入力部102からAVデータ(1)を受入れ、又は、マーカ挿入部152からAVデータ(2)を受入れて、符号化し、更に符号化データを蓄積し、伝送路106に対応する伝送パケット107を構成し、伝送路106を介して受信復号部104へ送信する部分である。
マーカ挿入部152は、AV入力部102からAVデータ(1)を受入れてビデオデータとオーディオデータに分離し、それぞれのデータに送信側の出力タイミング(出力時刻)を特定可能なタイムマーカを挿入し、更に、両データを多重化し、AVデータ(2)として符号化送信部103へ送出する部分である。以下にマーカ挿入部152が、ビデオデータ、及びオーディオデータに対してタイムマーカを挿入する機能について、それぞれの説明図を用いて説明する。最初にビデオマーカデータについて説明し、続いてオーディオマーカデータについて説明する。
図2は、ビデオマーカデータの説明図である。
この図は、画像サイズが720×480(画素)、フレームレートが29.97Hzのフレーム中におけるビデオマーカデータが含まれる位置と、そのビデオマーカデータの構成を示す図である。図に示すように、画像サイズが720×480(画素)のビデオフレームは、有効ビデオ領域152−1と、マーカ領域152−2とに分割される。本発明では、オーバースキャン方式を採用し、マーカ領域152−2は、一般的なビデオモニタでは表示されない領域に配置される。このマーカ領域152−2にビデオマーカデータ152−3が表示される。ビデオマーカデータ152−3は、マーカ挿入部152(図1)がAV入力部102からAVデータ(1)を受入れると、1/29.97秒毎に生成される。一例として720×8(画素)で構成される。以後の説明では、縦方向の画素数をライン数(縦方向の画素数=ライン数)で表示する。
この図は、画像サイズが720×480(画素)、フレームレートが29.97Hzのフレーム中におけるビデオマーカデータが含まれる位置と、そのビデオマーカデータの構成を示す図である。図に示すように、画像サイズが720×480(画素)のビデオフレームは、有効ビデオ領域152−1と、マーカ領域152−2とに分割される。本発明では、オーバースキャン方式を採用し、マーカ領域152−2は、一般的なビデオモニタでは表示されない領域に配置される。このマーカ領域152−2にビデオマーカデータ152−3が表示される。ビデオマーカデータ152−3は、マーカ挿入部152(図1)がAV入力部102からAVデータ(1)を受入れると、1/29.97秒毎に生成される。一例として720×8(画素)で構成される。以後の説明では、縦方向の画素数をライン数(縦方向の画素数=ライン数)で表示する。
図に示すようにビデオマーカデータ152−3は、左右ほぼ中央の240画素に、同期パターン152−3aと、マーカビット列152−3bとを挿入し、その他の領域には、黒パターン152−3cを挿入する。同期パターン152−3aは、8画素分の白パターンと右側(図中)に隣接する8画素分の黒パターンとによって構成される。マーカビット列152−3bは、8画素分の白パターン、または黒パターンによって各々8ビットのビット値(一例として白が1、黒が0)が表現される。
ビデオマーカデータ152−3には、3つのマーカビット列152−3b(合計24ビット)によって表現される送信タイミング(送信時刻)が挿入される。この送信タイミングは、一例として1/29.97秒周期で送信されるビデオフレームのフレーム番号Fnによって特定される。このビデオフレームのフレーム番号Fnは上記8ライン同一番号に固定され、フレーム毎にインクリメントされる。出力側では、受信したビデオデータからこのフレーム番号Fnを取得することによって、そのビデオフレームが入力側から送信された時刻(送信タイミング)を特定し、その送信時刻と出力側での出力時刻とから伝送路106(図1)中における伝搬時間を取得することが可能になる。
又、マーカ挿入部152(図1)は、2チャンネルのオーディオデータを受入れると、一方のチャンネルのオーディオデータを破棄し、そこに以下に説明するオーディオマーカデータを上書きしてマーカチャネルを生成する。
図3は、オーディオマーカデータの説明図である。
この図は、オーディオマーカデータの構成を示す図である。図に示すように、オーディオマーカデータ152−5は、0.4ms幅を有する24ビットから構成される。各ビットのデータ値は以下の定義に基いて設定される。
定義(1)
0.4ms周期の各ビットの境界で必ず極性を反転させることとする。
定義(2)
ビット値が1の場合に限って、上記0.4ms周期の各ビットの中央でも反転させることとする。ビット値が0の場合は、定義(1)のみが適用され定義(2)は適用されない。
この図は、オーディオマーカデータの構成を示す図である。図に示すように、オーディオマーカデータ152−5は、0.4ms幅を有する24ビットから構成される。各ビットのデータ値は以下の定義に基いて設定される。
定義(1)
0.4ms周期の各ビットの境界で必ず極性を反転させることとする。
定義(2)
ビット値が1の場合に限って、上記0.4ms周期の各ビットの中央でも反転させることとする。ビット値が0の場合は、定義(1)のみが適用され定義(2)は適用されない。
上記定義に基づいて、図3(a)のデータ値を信号レベル(H、L)で表すと図3(b)のように表される。図3(b)に示すように0.4ms周期の各ビットの境界で必ず極性が反転されている(定義1)。更に、ビット値が1の場合には、ビットの中央(0.2ms)で極性が反転されている(定義2)。
マーカ挿入部152(図1)がAV入力部102からAVデータ(1)を受入れると、1/29.97秒毎に1オーディオフレームが上記定義に基づいて生成される。24ビットのオーディオマーカデータ152−5は、1オーディオフレームの中に挿入される。オーディオマーカデータ152−5は、一例として、そのオーディオフレームのフレーム番号fnを表している。このフレーム番号fnは、1/29.97秒経過毎にインクリメントされる。
従って、出力側では、受信したオーディオデータからこのフレーム番号fnを取得することによって、そのオーディオフレームが入力側から送信された時刻(送信タイミング)を特定出来ることになる。即ち、0.4ms毎のデータ変化点を検出し、その0.4msの中間に別のデータ変化点が検出されればデータ値1を認識できるのでフレーム番号fnを読み出すことが可能になる。その結果、出力側では、受信したオーディオデータからこのフレーム番号fnを取得することによって、そのオーディオフレームが入力側から送信された時刻(送信タイミング)を特定し、その送信時刻と出力側での出力時刻とから伝送路106(図1)中における伝搬時間を取得することが可能になる。
上記のように構成されたビデオマーカデータ152−3(図2)が挿入されたビデオデータと、上記のように構成されたオーディオマーカデータ152−5(図2)が挿入されたオーディオデータは、マーカ挿入部152(図1)によって多重化されAVデータ(2)として符号化送信部103(図1)へ送出される。符号化送信部103(図1)は、上記のように、このAVデータ(1)、又はAVデータ(2)を符号化し、更に符号化データを蓄積し、伝送パケット107を構成し、伝送路106を介して受信復号部104へ送信することになる。
図1に戻って、受信復号部104は、伝送路106を介して符号化送信部103から伝送パケット107を受信してAVデータ(3)に復号化し、AVモニタ105と、時間差測定部153へAVデータ(3)を送出する部分である。AVモニタ105は、AVデータ(3)を受入れて所定の目的に供する部分である。伝送路106は、例えばインターネット網などのようにAVデータを伝送可能なネットワークである。
時間差測定部153は、受信復号部104からAVデータ(3)を受入れてビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路106中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から時間差データを算出して出力する部分である。時間差測定部153の詳細な構成とその機能について以下に説明する。
図4は、時間差測定部の構成図である。
図に示すように時間差測定部153は、ビデオキャプチャ部153−1と、ビデオマーカ読出部153−2と、オーディオキャプチャ部153−3と、オーディオマーカ読出部153−4と、時間差計算部153−5と、時間差出力部153−6とを有する。
図に示すように時間差測定部153は、ビデオキャプチャ部153−1と、ビデオマーカ読出部153−2と、オーディオキャプチャ部153−3と、オーディオマーカ読出部153−4と、時間差計算部153−5と、時間差出力部153−6とを有する。
ビデオキャプチャ部153−1は、AVデータ(3)を受入れて、ビデオデータを取得し、ビデオマーカ読出部153−2へ出力する部分である。ビデオマーカ読出部153−2は、ビデオキャプチャ部153−1からビデオデータを受入れて、ビデオマーカデータ152−3(図2)を読み出して時間差計算部153−5へ送出する部分である。
オーディオキャプチャ部153−3は、AVデータ(3)を受入れて、オーディオデータを取得し、オーディオマーカ読出部153−4へ出力する部分である。オーディオマーカ読出部153−4は、オーディオキャプチャ部153−3からオーディオデータを受入れて、オーディオマーカデータ152−5(図3)を読み出して時間差計算部153−5へ送出する部分である。
時間差計算部153−5は、ビデオマーカ読出部153−2からビデオマーカを、オーディオマーカ読出部153−4からオーディオマーカを、それぞれ同時に受入れて時間差を算出し、時間差データを時間差出力部153−6へ出力する部分である。時間差計算部153−5は、ビデオマーカに挿入されているビデオフレーム番号Fxからそのビデオフレームが伝送路106(図1)へ送信された時刻を特定する。その送信時刻と出力側での出力時刻とから伝送路106(図1)中における伝搬時間を取得する。又、オーディオマーカに挿入されているオーディオフレーム番号fyからそのオーディオフレームが伝送路106(図1)へ送信された時刻を特定する。その送信時刻と出力側での出力時刻とから伝送路106(図1)中における伝搬時間を取得する。このようにして取得されたビデオデータの伝搬時間とオーディオデータの伝搬時間から時間差を取得し、時間差出力部153−6へ時間差データを送出する。
時間差出力部153−6は、時間差計算部153−5から時間差データを受入れて蓄積すると共に、図示しないモニタに表示する部分である。その表示について以下に説明する。
図5は、時間差出力部の動作説明図である。
図は、X軸方向に測定開始からの経過時間を表し、Y軸方向に、時間差出力部153−6(図4)から受入れたビデオデータとオーディオデータとの時間差を表している。図に示すように、本実施例によれば、ビデオデータとオーディオデータとの時間差を時系列的に表すことが可能であることが分かる。この図では一例としてリップシンクのずれ量の時系列変化を折線グラフで表している。
図5は、時間差出力部の動作説明図である。
図は、X軸方向に測定開始からの経過時間を表し、Y軸方向に、時間差出力部153−6(図4)から受入れたビデオデータとオーディオデータとの時間差を表している。図に示すように、本実施例によれば、ビデオデータとオーディオデータとの時間差を時系列的に表すことが可能であることが分かる。この図では一例としてリップシンクのずれ量の時系列変化を折線グラフで表している。
以上説明したように、本実施例によるリップシンク評価システムによれば、送信側に於いて、マーカ挿入部がビデオデータ及びオーディオデータのそれぞれに入力時刻を特定可能なマーカデータを挿入し、受信側では時間差計測部が上記マーカデータを検出し、上記伝送路中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から上記時間差を算出するのでリップシンクのずれ量を客観的に求めることが可能になる。その結果、従来の方法とは異なり、ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握できるという効果を得る。
尚、上記説明では、フレーム番号をマーカデータとして挿入することとして説明したが、本発明は、この例に限定されるものではない。即ち、フレームの送信時刻を特定出来るデータであれば如何なるデータであってもかまわない。例えば再生予定時刻をマーカデータとして挿入しても良い。また、上記説明では、伝送路に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差のみに限定して説明したが、本発明は、この例に限定されるものではない。例えば、信号処理回路中においても同時に入力されるビデオデータ及びオーディオデータ間に出力時に於ける時間差が発生する場合もある。かかる場合にも本発明は有効に適用可能である。
上記実施例1によって、ビデオフレーム単位でのリップシンクのずれ量を定量的、且つ、時系列的に把握することが可能になった。本実施例では、実施例1で把握したリップシンクのずれ量をAV入力部に帰還して、出力側におけるビデオデータとオーディオデータとの同時性を図ることとする。
図6は、実施例2のリップシンク評価システムのシステム構成図である。
図に示すように本実施例のリップシンク評価システム200は、評価対象システム201と、リップシンク調整装置251とを含む。
評価対象システム201は、AV入力部202と、符号化送信部103と、受信復号部104と、AVモニタ105と、伝送路106とを備え、リップシンク調整装置251は、マーカ挿入部152と、時間差測定部252と、リップシンク調整部253と、伝送路254とを備える。以下に実施例1との相違部分のみについて詳細に説明する。実施例1と同様の部分については、実施例1と同一の符号を付して説明を省略する。
図に示すように本実施例のリップシンク評価システム200は、評価対象システム201と、リップシンク調整装置251とを含む。
評価対象システム201は、AV入力部202と、符号化送信部103と、受信復号部104と、AVモニタ105と、伝送路106とを備え、リップシンク調整装置251は、マーカ挿入部152と、時間差測定部252と、リップシンク調整部253と、伝送路254とを備える。以下に実施例1との相違部分のみについて詳細に説明する。実施例1と同様の部分については、実施例1と同一の符号を付して説明を省略する。
AV入力部202は、ビデオカメラ及びマイクロフォン、又はDVDプレーヤー等を内蔵し、ビデオデータ及びオーディオデータからなるAVデータ(1)を生成し、符号化送信部103とマーカ挿入部152へ送出する部分である。一例としてビデオデータは、ビデオカメラまたはDVDプレーヤーを介して、画像サイズが720×480(画素)で、フレームレートが29.97Hz、Y、Cb、Crが4対2対2形式(1画素あたり16ビット)のディジタルデータとして生成される。又、オーディオデータは、マイクやDVDプレーヤーを介して、一例としてサンプリング周波数が48KHz、2チャンネル、量子化16ビット/チャネルのディジタルデータとして生成される。このビデオデータとオーディオデータとは多重化され、AVデータ(1)として符号化送信部103、及びマーカ挿入部152へ送出される。更に、本実施例では、リップシンク調整部253から調整データ(Ts)を受入れて、出力側におけるビデオデータとオーディオデータとの同時性を図るべく、ビデオデータとオーディオデータとの出力タイミングを調整する部分である。
時間差測定部252は、受信復号部104からAVデータ(3)を受入れてビデオデータ及びオーディオデータのそれぞれから上記マーカデータを検出し、伝送路106中における上記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から時間差データ(Td)を算出して出力する部分である。更に、本実施例では、算出した時間差データ(Td)をリップシンク調整部253へ送信する部分である。
リップシンク調整部253は、時間差測定部252から伝送路254を介して時間差データ(Ts)を受信し、ビデオデータがオーディオデータより進んでいる場合、ビデオデータの出力を遅らせるように、ビデオデータがオーディオデータより送れている場合、オーディオデータの出力を遅らせるように、調整データ(Ts)をAV入力部202へ送出する部分である。尚、上記伝送路254は、例えばインターネット網などのようにAVデータを伝送可能なネットワークであれば良く、伝送路106を共用しても良い。
以上説明したように、本実施例では、実施例1で説明したリップシンク評価装置151(図1)に対して、該リップシンク評価装置151(図1)から時間差データ(Td)を受入れて、ビデオデータ及びオーディオデータの同時性を確保すべく、上記時間差に基づいて伝送路106へのビデオデータ及びオーディオデータそれぞれの入力タイミングを変更させるリップシンク調整部253を追加し、更に、上記実施例1のAV入力部102(図1)の機能に、上記リップシンク調整部253から調整データ(Ts)を受入れて、出力側におけるビデオデータとオーディオデータとの同時性を図るべく、ビデオデータとオーディオデータとの出力タイミングを調整する機能を追加することによって自動的にリップシンクが確保されるリップシンク調整装置を得ることが出来るという効果を得る。
上記実施例では、AVデータを伝送路を介して伝送する場合に限定して説明したが、本発明はこの例に限定されるものではない。例えば、評価対象システムが伝送路を持たず、任意の信号処理回路を経由してAVデータを出力する場合に、上記信号処理回路を経由する前に、AVデータにマーカデータを挿入し、信号処理回路から出力されるAVデータを上記実施例と同様に時間差測定部に入力することによって、評価対象システムのリップシンク特性を確認することが出来る。
又、上記実施例では、ビデオ画面上にマーカ挿入位置、ビデオマーカデータのフォーマットなどについて詳細に説明したが、ビデオデータに基づいてビデオフレーム毎の送信時刻(または再生予定時刻)を特定出来るものであれば他の任意のフォーマットにてビデオマーカデータを定義しても良い。又、上記実施例では、オーディオマーカデータをオーディオデータとして表現する方法として、隣接するマーカビット間の時間間隔、マーカビットの値(0、1)毎の波形表現,隣接するマーカデータ間の時間間隔、等について具体的に規定したが、本発明はこの例に限定されるものではない。オーディオデータに基づいてビデオフレーム毎の送信時刻(または再生予定時刻)を特定できるものであれば他の任意のフォーマットであっても良い。
又、上記実施例では、一つのオーディオチャネルをオーディオマーカデータ専用に利用する場合について説明したが、本発明はこの例に限定されるものでは無い。例えば、オーディオデータの可聴領域または不可聴領域にオーディオマーカデータを挿入しても上記実施例と同様の効果をえることができる。可聴領域を利用する場合には、例えば、マーカ挿入部を高音域(20KHz前後)の正弦波ノイズをオーディオデータに重畳し、オーディオマーカデータ値に応じて、該ノイズの位相を変化させるように構成し、時間差測定部を該ノイズの位相を検出してオーディオマーカに変換するように構成することも出来る。
又、不可聴領域を利用する場合の例としては、マーカ挿入部を、オーディオマーカデータを従来公知の電子透かし方法により、オーディオデータに埋め込むように構成し、時間差測定部を、該電子透かし情報を検出してオーディオマーカデータに変換するように構成しても良い。又、時間差測定部でのマーカ検出精度を高めるため、マーカとして挿入する情報として、再び、現在の再生予告時刻またはコンテンツ終了までの残り時間数を追加で挿入してもよい。この場合には、マーカデータが冗長に構成されているため、時間差測定部にてマーカ検出結果に異常が合った場合、他の冗長データより、異常か否かを判断し、その値を補正させることが可能である。
100 リップシンク評価システム
101 評価対象システム
102 AV入力部
103 符号化送信部
104 受信復号部
105 AVモニタ
106 伝送路
107 伝送パケット
151 リップシンク評価装置
152 マーカ挿入部
153 時間差測定部
AVデータ(1) ビデオデータ及びオーディオデータの多重化信号
AVデータ(2) ビデオデータ及びオーディオデータの多重化信号
AVデータ(3) ビデオデータ及びオーディオデータの多重化信号
AVデータ(4) ビデオデータ及びオーディオデータの多重化信号
101 評価対象システム
102 AV入力部
103 符号化送信部
104 受信復号部
105 AVモニタ
106 伝送路
107 伝送パケット
151 リップシンク評価装置
152 マーカ挿入部
153 時間差測定部
AVデータ(1) ビデオデータ及びオーディオデータの多重化信号
AVデータ(2) ビデオデータ及びオーディオデータの多重化信号
AVデータ(3) ビデオデータ及びオーディオデータの多重化信号
AVデータ(4) ビデオデータ及びオーディオデータの多重化信号
Claims (8)
- 伝送路または信号処理手段に同時に入力されるビデオデータ及びオーディオデータ間に発生する出力時に於ける時間差を測定するリップシンク評価装置であって、
前記伝送路または信号処理手段に入力される前記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、
前記伝送路または信号処理手段から出力される前記ビデオデータ及びオーディオデータのそれぞれから前記マーカデータを検出し、前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から前記時間差を算出する時間差計測部とを備えることを特徴とするリップシンク評価装置。 - 前記マーカデータは、
前記ビデオデータ及びオーディオデータそれぞれのフレーム番号であることを特徴とする請求項1に記載のリップシンク評価装置。 - 前記ビデオデータに挿入されるマーカデータは、
オーバースキャン方式の非可視領域に挿入され、
前記オーディオデータに挿入されるマーカデータは、
オーディオデータの特定チャネルに挿入されることを特徴とする請求項1又は請求項2に記載のリップシンク評価装置。 - 前記時間差計測部は、
前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を時系列的に計測し、該それぞれの伝搬時間から前記時間差を時系列的に算出することを特徴とする請求項1に記載のリップシンク評価装置。 - 伝送路または信号処理手段から出力されるビデオデータ及びオーディオデータの同時性を確保するリップシンク調整装置であって、
前記伝送路または信号処理手段に入力される前記ビデオデータ及びオーディオデータのそれぞれに、各々の入力時刻を特定可能なマーカデータを挿入するマーカ挿入部と、
前記伝送路または信号処理手段から出力される前記ビデオデータ及びオーディオデータのそれぞれから前記マーカデータを検出し、前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を計測し、該それぞれの伝搬時間から前記時間差を算出する時間差計測部と、
前記時間差計測部から前記時間差を受入れて、前記同時性を確保すべく、前記伝送路または信号処理手段への前記ビデオデータ及びオーディオデータそれぞれの入力タイミングを前記時間差に基づいて変更させるリップシンク調整部とを供えることを特徴とするリップシンク調整装置。 - 前記マーカデータは、
前記ビデオデータ及びオーディオデータそれぞれのフレーム番号であることを特徴とする請求項5に記載のリップシンク調整装置。 - 前記ビデオデータに挿入されるマーカデータは、
オーバースキャン方式の非可視領域に挿入され、
前記オーディオデータに挿入されるマーカデータは、
オーディオデータの特定チャネルに挿入されることを特徴とする請求項5又は請求項6に記載のリップシンク調整装置。 - 前記時間差計測部は、
前記伝送路または信号処理手段中における前記ビデオデータ及びオーディオデータそれぞれの伝搬時間を時系列的に計測し、該それぞれの伝搬時間から前記時間差を時系列的に算出することを特徴とする請求項5に記載のリップシンク調整装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006140217A JP2007312192A (ja) | 2006-05-19 | 2006-05-19 | リップシンク評価装置、及びリップシンク調整装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006140217A JP2007312192A (ja) | 2006-05-19 | 2006-05-19 | リップシンク評価装置、及びリップシンク調整装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007312192A true JP2007312192A (ja) | 2007-11-29 |
Family
ID=38844619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006140217A Pending JP2007312192A (ja) | 2006-05-19 | 2006-05-19 | リップシンク評価装置、及びリップシンク調整装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007312192A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011146783A (ja) * | 2010-01-12 | 2011-07-28 | Kddi Corp | 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法 |
CN106358039A (zh) * | 2016-09-07 | 2017-01-25 | 深圳Tcl数字技术有限公司 | 音画同步测试方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993553A (ja) * | 1995-09-26 | 1997-04-04 | Matsushita Electric Ind Co Ltd | 画像通信装置および画像通信方法 |
JP2001298757A (ja) * | 2000-04-11 | 2001-10-26 | Nippon Hoso Kyokai <Nhk> | 映像・音声遅延時間差測定装置 |
JP2002185936A (ja) * | 2000-12-11 | 2002-06-28 | Matsushita Electric Ind Co Ltd | 遅延時間補正機能付き伝送装置 |
JP2003259314A (ja) * | 2002-02-26 | 2003-09-12 | Nippon Hoso Kyokai <Nhk> | 映像音声同期方法及びそのシステム |
JP2003348489A (ja) * | 2002-05-29 | 2003-12-05 | Sony Corp | 放送受信機 |
JP2005286742A (ja) * | 2004-03-30 | 2005-10-13 | Kenwood Corp | Av装置、avシステムおよびav信号転送方法 |
-
2006
- 2006-05-19 JP JP2006140217A patent/JP2007312192A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993553A (ja) * | 1995-09-26 | 1997-04-04 | Matsushita Electric Ind Co Ltd | 画像通信装置および画像通信方法 |
JP2001298757A (ja) * | 2000-04-11 | 2001-10-26 | Nippon Hoso Kyokai <Nhk> | 映像・音声遅延時間差測定装置 |
JP2002185936A (ja) * | 2000-12-11 | 2002-06-28 | Matsushita Electric Ind Co Ltd | 遅延時間補正機能付き伝送装置 |
JP2003259314A (ja) * | 2002-02-26 | 2003-09-12 | Nippon Hoso Kyokai <Nhk> | 映像音声同期方法及びそのシステム |
JP2003348489A (ja) * | 2002-05-29 | 2003-12-05 | Sony Corp | 放送受信機 |
JP2005286742A (ja) * | 2004-03-30 | 2005-10-13 | Kenwood Corp | Av装置、avシステムおよびav信号転送方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011146783A (ja) * | 2010-01-12 | 2011-07-28 | Kddi Corp | 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法 |
CN106358039A (zh) * | 2016-09-07 | 2017-01-25 | 深圳Tcl数字技术有限公司 | 音画同步测试方法及装置 |
CN106358039B (zh) * | 2016-09-07 | 2019-02-01 | 深圳Tcl数字技术有限公司 | 音画同步测试方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7593061B2 (en) | Method and apparatus for measuring and/or correcting audio/visual synchronization | |
US20050019020A1 (en) | Video/audio synchronizing apparatus | |
US7948558B2 (en) | Audio video timing measurement and synchronization | |
JP4317995B2 (ja) | ストリーム解析装置とストリーム解析表示方法 | |
ATE390798T1 (de) | Verfahren und vorrichtung zum empfangen von hyperlink-fernsehprogrammen | |
JP2008283577A5 (ja) | ||
RU2011105393A (ru) | Устройство передачи данных стереоизображения, способ передачи данных стереоизображения, устройство приема данных стереоизображения и способ приема данных стереоизображения | |
ATE549864T1 (de) | Bildsignalverarbeitungsvorrichtung, vorrichtung zur anzeige dreidimensionaler bilder, system zur übertragung/anzeige dreidimensionaler bilder und bildsignalverarbeitungsverfahren | |
US20110013085A1 (en) | Method and Apparatus for Measuring Audio-Video Time skew and End-to-End Delay | |
JP2005184749A (ja) | 映像遅延時間測定方法及びそのシステムと装置 | |
US11259058B2 (en) | Use of rendered media to assess delays in media distribution systems | |
JP2007312192A (ja) | リップシンク評価装置、及びリップシンク調整装置 | |
US10687015B2 (en) | Method for synchronizing a first audio signal and a second audio signal | |
JP2007312191A (ja) | ビデオ品質評価装置、ビデオ品質監視装置、およびビデオ品質監視システム | |
JP2011146783A (ja) | 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法 | |
JP2005033314A (ja) | 信号遅延測定装置、信号遅延測定方法および信号遅延測定プログラム | |
KR20160068053A (ko) | 디스플레이 장치의 이상 검출 시스템 및 방법 | |
CN115914708A (zh) | 媒体的音视频同步方法及系统、电子设备 | |
JP2001298757A (ja) | 映像・音声遅延時間差測定装置 | |
JP5305488B2 (ja) | 遅延検出装置、遅延検出方法 | |
KR20160082368A (ko) | 네트워크 기반 멀티 디스플레이에서 콘텐츠 간 동기화 방법 및 시스템 | |
TWI814427B (zh) | 影音同步方法 | |
JP2007312190A (ja) | オーディオ品質評価装置、オーディオ品質監視装置、及びオーディオ品質監視システム | |
JP5342229B2 (ja) | 放送実績取得システム、情報埋め込み装置、情報検出装置及び放送実績取得方法 | |
JP2004242130A (ja) | 映像・音声伝送時間差測定用の信号発生装置およびその方法、並びに信号解析装置およびその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111115 |