JP2006186990A - リップシンク測定方法 - Google Patents

Abstract

【課題】 簡易な構成でしかも高精度で音声画像出力装置におけるリップシンクの計測が可能なリップシンク測定方法を提供すること。
【解決手段】 音声と画像を出力可能な音声画像出力装置１０におけるリップシンク測定方法であって、黒一色の画像データ３２と、任意の色の画像データ３４が所要時間で交互に表示され、黒一色の画像データ３２又は任意の色の画像データ３４の一方に音声データ３６が付加された測定用データ３０を音声画像出力装置１０に再生させ、再生結果の画像データ３２、３４による波形および音声データ３６による波形を、音声画像出力装置１０に接続された波形測定器２０で同時に出力させ、画像データ３２、３４による波形と音声データ３６による波形を観察することにより、画像データ３２または３４と音声データ３６が出力されるタイミングのずれを計測することを特徴とする。
【選択図】 図３

Description

本発明はリップシンク測定方法に関し、より詳細には、特別な装置を用いずに、簡単な方法でありながら、正確な計測が可能なリップシンク測定方法に関する。

音声データと画像データを同時に出力する音声画像出力装置においては、音声データと画像データの出力タイミングが一致しないことがあった。
特に、ライブ映像を収録したソフト等の画像データと音声データの出力タイミングが重要なソフトを出力する際においては、アーティストの口の動きと音声とが一致せず、違和感が生じることがある。

そこで、音声データと画像データの出力タイミングの同期状態（いわゆるリップシンク）を計測する方法および装置がいくつか提案されている。近年においては、例えば、特許文献１に記載されているようなテレビジョンの映像信号と音声信号の時間差測定方法および装置が提案されている。

特許文献１によるテレビジョンの映像信号と音声信号の時間差測定方法および装置を具体的に説明すると、以下のようになる。
すなわち、同時に発生したテレビジョンの映像信号（Ｖｉ）と音声信号（Ａｉ）とがそれぞれ別の伝送路または信号処理回路を介して伝送または処理されたのちモニタに供されるとき、モニタ時点における映像信号（Ｖｉ）と音声信号（Ａｉ）の到達時間差を測定する方法であって、送信側または前記信号処理回路の入力側においては、画面の一部における時間的な輝度の変化が識別可能なテレビジョンの映像信号（Ｖｉ）とその輝度が変化した時点に同時に発生したテレビジョンの音声信号（Ａｉ）とをそれぞれ別の前記伝送路または前記信号処理回路に入力するようにし、受信側または前記信号処理回路の出力側においては、伝送されまたは信号処理されたテレビジョンの映像信号（Ｖｏ）と音声信号（Ａｏ）とに基づいてそれぞれテレビジョンの映像と音声とを得て、該得られた映像と音声とから前記テレビジョンの映像信号（Ｖｏ）の輝度の変化時点に対応した第１のパルス信号と前記テレビジョンの音声信号（Ａｏ）の発生時点に対応した第２のパルス信号とをそれぞれ発生させ、それら発生した第１のパルス信号と第２のパルス信号との時間差を測定することによって、該測定結果を、前記送信側または前記信号処理回路の入力側で発生した前記テレビジョンの映像信号（Ｖｉ）と音声信号（Ａｉ）の到達時間差とするようにしたものである。

特許文献１に記載の発明により、ある一つの音声画像出力装置におけるリップシンクを簡易に測定することが可能である。
特開平１０−２８５４８３号公報

特許文献１におけるテレビジョンの映像信号と音声信号の時間差測定方法および装置においては、画像データは光信号を記録したものであるのに対し、音声データは音信号を記録したものであるため、リップシンクを計測する際に用いられる計測データには予め光信号と音信号の伝播速度の違いによる誤差が含まれている。このため、リップシンクの測定精度の向上の妨げになるといった課題がある。

本発明は、簡易な構成でしかも高精度で音声画像出力装置におけるリップシンクの計測が可能なリップシンク測定方法の提供を目的とするものである。

本発明は、音声および画像を出力可能な音声画像出力装置のリップシンクを測定するリップシンク測定方法であって、黒一色の画像データと、任意の色の画像データが所要時間をあけて交互に表示されると共に、黒一色の画像データまたは任意の色の画像データのいずれか一方に音声データが付加された測定用データを音声画像出力装置に再生させ、該再生結果の前記画像データによる波形および前記音声データによる波形を、前記音声画像出力装置に接続された波形測定器において同時に出力させ、前記画像データによる波形と前記音声データによる波形を観察することにより、前記画像データと前記音声データが出力されるタイミングのずれを計測することを特徴とするリップシンク測定方法である。

また、前記任意の色の画像データとして、複数色からなる画像データを用いていることを特徴とする。
これにより、音声画像出力装置がモノクロディスプレイであっても、明確に画像データの変更を確認することができる。また、目が不自由な測定者であっても画像データの変化の識別を容易に行うことができる。

また、同一の音声画像出力装置において、前記タイミングのずれを複数回計測し、該タイミングのずれ幅の変化を計測することを特徴とする。
これにより、音声画像出力装置の品質を検査することができる。

また、前記波形測定器は、オシロスコープであることを特徴とする。
これにより簡単な構成でのリップシンクの測定が可能になると共に、リップシンクの計測装置を安価に提供することができる。

本発明にかかるリップシンク測定方法によれば、簡単な手順により音声画像出力装置のリップシンクを計測することができる。また、画像データが黒と白の二色により構成されているので、波形測定器での観察が容易になるため、測定誤差を低減させることができる。さらに、リップシンクを計測するデータを予め精密に作成することにより、高精度のリップシンクの計測が可能になる。
さらにまた、等しい構成からなる複数の音声画像出力装置に本発明を適用することにより、音声画像出力装置の品質検査が可能になる。

以下、本発明にかかるリップシンク測定方法を用いた音声画像出力装置のリップシンク測定方法の実施の形態について、図面に基づいて説明する。なお、本実施の形態においては、音声画像出力装置としてＤＶＤプレーヤを用い、波形測定器にオシロスコープを用いた形態について説明をする。
図１は、本実施の形態におけるリップシンク測定用データの構成図である。図２は、リップシンク計測装置をＤＶＤプレーヤに適用した状態を示す概略構成図である。図３は、オシロスコープの出力画面の拡大図である。

本実施の形態におけるリップシンク測定方法には、ＤＶＤプレーヤ１０と、ＤＶＤプレーヤ１０の外部出力端子１２、１４に接続されたオシロスコープ２０と、リップシンク測定用データ３０が記録されているＤＶＤ（図示せず）のみで行うことができる。
ＤＶＤプレーヤ１０は、外部出力端子１２、１４の他に、光ピックアップ、ＲＦアンプ、記憶手段、音声データ処理手段、画像データ処理手段、制御手段等により構成される一般的なＤＶＤプレーヤ１０である。

図示しないＤＶＤに記録されているリップシンク測定用データ３０は、図１に示すように、黒一色を画像表示装置（図示せず）に表示させる第１の画像データ３２と、白一色を画像表示装置に表示させる第２の画像データ３４がそれぞれ所要時間ずつ交互に配設されている。また、第２の画像データ３４が記録されている区間には音声データ３６が付加されている。
本実施の形態においては、第１の画像データ３２の継続時間と第２の画像データ３４および音声データ３６の継続時間をそれぞれｘ秒としている。また、音声データ３６は、所定の周波数のみにより構成され、かつ、一定音量に設定されているのが好ましい。

このように構成されたリップシンク測定用データ３０が記録されたＤＶＤをＤＶＤプレーヤ１０に装着して再生することにより、ＤＶＤプレーヤ１０のリップシンクを計測し、ＤＶＤプレーヤ１０の品質検査とすることができる。
ＤＶＤプレーヤ１０には、外部出力端子である画像出力端子１２および音声出力端子１４から接続ケーブル１２ａ、１４ａを介してオシロスコープ２０が接続されている。接続ケーブル１２ａおよび１４ａは、オシロスコープの入力端子３２、３４に接続されている。ＤＶＤプレーヤ１０により再生されたリップシンク測定用データ３０は、画像データ３２、３４は画像出力端子１２から第１入力端子３２を経由してオシロスコープ２０に入力され、音声データ３４は音声出力端子１４から第２入力端子３４を経由してオシロスコープ２０に入力される。

オシロスコープ２０は、それぞれの入力端子３２、３４から入力された画像データ３２または、画像データ３４および音声データ３６を電圧変換し、表示部２６に波形表示する。ＤＶＤプレーヤ１０のリップシンクがとれていない場合には、図３に示すように、第２の画像データ３４の出力時間と音声データ３６の出力時間に差が生じる。

図３に示すように、第１の画像データ３２の画像信号の波形と第２の画像データ３４の画像信号の波形は明確に区別される。音声データ３６は、第２の画像データ３４と精密に同期しているはずであるので、オシロスコープ２０で画像データ３２、３４の波形の切り替わり時間と音声データ３６の波形発生時間を観測し、それぞれの時間差を計算するだけで、ＤＶＤプレーヤ１０のリップシンクの度合いを容易に計測することができる。

また、同一のＤＶＤプレーヤ１０において、リップシンク測定用データ３０を複数回再生すると、ＤＶＤプレーヤ１０の個体差により、リップシンクの度合い（第２の画像データ３４と音声データ３６の開始時間の時間差）がその都度異なる場合がある。このようなことから、同一のＤＶＤプレーヤ１０において複数回リップシンクの計測を行えば、ＤＶＤプレーヤ１０のリップシンク性能の良否を把握することができる。

以上に、本発明を実施の形態に基づいて説明をしたが、本願発明は、以上の実施の形態に限定されるものではない。
例えば、本実施の形態におけるリップシンク測定用データ３０は、第２の画像データ３４に音声データ３６を対応させているが、第１の画像データ３２に音声データを対応させても良い。また、リップシンク測定用データ３０は、第１の画像データ３２と第２の画像データ３４（および音声データ３６）がそれぞれｘ秒（所要時間）ごとに切り替わる形態になっているが、必ずしも同じ時間で切り替わる必要はなく、図４のように、第１の画像データ３２と第２の画像データ（および音声データ３６）の切り替わり時間はランダムな時間で切り替わる形態にすることももちろん可能である。

また、上記実施の形態においては、任意の色の画像データとして白色一色の画像データを用いて説明しているが、任意の色の画像データは、白色一色の画像データに限定されるものではない。
例えば、「任意の色」を単色と捕らえるならば、赤色、緑色、青色、黄色等、黒色と明確に区別することができればいずれの色であってもよい。さらに、「任意の色」を複数色と捕らえるならば、赤色、緑色、青色、黄色等のうち少なくとも２色からなる画像データとすることもできる。このような画像データとしては、いわゆるカラーバー画面を挙げることができる。

また、本実施の形態においては、音声画像出力装置としてＤＶＤプレーヤ１０を用いているが、ＶＨＳデッキや、パソコン等であっても良いのはもちろんである。また、波形測定器はオシロスコープが用いられているが、アナログ型、デジタル型のいずれの形式であっても良く、また、オシロスコープ以外の波形測定器を採用することもできる。

また、本実施の形態におけるリップシンク測定用データ３０はＤＶＤに記録されているが、検査対象の音声画像出力装置に対して同じ構成のリップシンク測定用データ３０を用いることができれば他の記録媒体に記録することもできる。記録媒体の種類は音声画像出力装置の種類に応じて適宜選択すれば良い。また、予め、音声画像出力装置に内蔵されている記憶手段に記憶させておくこともちろん可能であるのはいうまでもない。

本実施の形態におけるリップシンク測定用データの構成図である。 リップシンク計測装置をＤＶＤプレーヤに適用した状態を示す概略構成図である。 オシロスコープの出力画面の拡大図である。 リップシンク測定用データの他の実施形態の一例を示す説明図である。

符号の説明

１０ ＤＶＤプレーヤ
１２、１４ 外部出力端子
２０ オシロスコープ
２２、２４ 入力端子
３０ リップシンク測定用データ
３２ 第１の画像データ
３４ 第２の画像データ
３６ 音声データ
５０ リップシンク計測装置

Claims (4)

1. 音声および画像を出力可能な音声画像出力装置のリップシンクを測定するリップシンク測定方法であって、
   黒一色の画像データと、任意の色の画像データが所要時間をあけて交互に表示されると共に、黒一色の画像データまたは任意の色の画像データのいずれか一方に音声データが付加された測定用データを音声画像出力装置に再生させ、
   該再生結果の前記画像データによる波形および前記音声データによる波形を、前記音声画像出力装置に接続された波形測定器において同時に出力させ、
   前記画像データによる波形と前記音声データによる波形を観察することにより、前記画像データと前記音声データが出力されるタイミングのずれを計測することを特徴とするリップシンク測定方法。
2. 前記任意の色の画像データとして、複数色からなる画像データを用いていることを特徴とする請求項１記載のリップシンク測定方法。
3. 同一の音声画像出力装置において、前記タイミングのずれを複数回計測し、該タイミングのずれ幅の変化を計測することを特徴とする請求項１または２記載のリップシンク測定方法。
4. 前記波形測定器は、オシロスコープであることを特徴とする請求項１〜３のうちいずれか一項記載のリップシンク測定方法。

Images