JP2001224002A - 音声・映像同期方法および音声・映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
音声・映像同期方法および音声・映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP2001224002A JP2001224002A JP2000030809A JP2000030809A JP2001224002A JP 2001224002 A JP2001224002 A JP 2001224002A JP 2000030809 A JP2000030809 A JP 2000030809A JP 2000030809 A JP2000030809 A JP 2000030809A JP 2001224002 A JP2001224002 A JP 2001224002A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- video
- signal
- time
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 この発明は、同時に入力された映像信号と音
声信号のうち、音声信号に対して音声翻訳処理が行なわ
れるシステムにおいて、音声と映像との同期をとること
ができる音声・映像同期方法を提供することを目的とす
る。 【解決手段】 同時に入力された所定期間の映像信号と
音声信号のうち、映像信号を一時的に記憶手段に記憶さ
せるとともに、音声信号に対して音声翻訳処理を行な
い、音声翻訳処理によって上記音声信号に対する翻訳処
理された音声合成波形が生成されたときに、記憶手段に
記憶された上記映像信号の時間長が上記音声合成波形の
時間長に応じた長さになるように上記映像信号に対して
時間軸圧縮伸長処理を行い、当該時間軸圧縮伸長処理が
終了したときに、時間軸圧縮伸長処理後の映像信号と、
音声翻訳処理によって生成された上記音声合成波形とを
同時に出力させるようにした。
声信号のうち、音声信号に対して音声翻訳処理が行なわ
れるシステムにおいて、音声と映像との同期をとること
ができる音声・映像同期方法を提供することを目的とす
る。 【解決手段】 同時に入力された所定期間の映像信号と
音声信号のうち、映像信号を一時的に記憶手段に記憶さ
せるとともに、音声信号に対して音声翻訳処理を行な
い、音声翻訳処理によって上記音声信号に対する翻訳処
理された音声合成波形が生成されたときに、記憶手段に
記憶された上記映像信号の時間長が上記音声合成波形の
時間長に応じた長さになるように上記映像信号に対して
時間軸圧縮伸長処理を行い、当該時間軸圧縮伸長処理が
終了したときに、時間軸圧縮伸長処理後の映像信号と、
音声翻訳処理によって生成された上記音声合成波形とを
同時に出力させるようにした。
Description
【０００１】
【発明の属する技術分野】この発明は、音声と映像との
同期をとるための音声・映像同期方法および音声・映像
処理プログラムを記録したコンピュータ読み取り可能な
記録媒体に関する。
同期をとるための音声・映像同期方法および音声・映像
処理プログラムを記録したコンピュータ読み取り可能な
記録媒体に関する。
【０００２】
【従来の技術】音声と映像とを通信するシステムとし
て、ＴＶ会議システムがある。ＴＶ会議システムでは、
複数の遠隔地間で、音声信号と映像信号とを送受信する
ことによって、これらの遠隔地間でのコミュニケーショ
ンが可能となる。一般的に、音声処理に要する時間に比
べて映像処理に要する時間の方が長くかかるので、従来
のＴＶ会議システムでは、音声処理にディレイをかける
ことによって、映像と音声との同期をとっていた。
て、ＴＶ会議システムがある。ＴＶ会議システムでは、
複数の遠隔地間で、音声信号と映像信号とを送受信する
ことによって、これらの遠隔地間でのコミュニケーショ
ンが可能となる。一般的に、音声処理に要する時間に比
べて映像処理に要する時間の方が長くかかるので、従来
のＴＶ会議システムでは、音声処理にディレイをかける
ことによって、映像と音声との同期をとっていた。
【０００３】ところで、遠隔地間でのコミュニケーショ
ンでは、しばしば異なる言語間のコミュニケーションが
必要となる。そのような場合、音声処理に音声翻訳技術
を導入することにより、実質的に共通した言語でコミュ
ニケーションを行なうことが可能となる。しかしなが
ら、このようにすると、音声信号に対して音声翻訳処理
を行なう必要があり、音声の方が映像よりも遅れてしま
い、従来の同期方法では、映像と音声との同期がとれな
くなるという問題がある。
ンでは、しばしば異なる言語間のコミュニケーションが
必要となる。そのような場合、音声処理に音声翻訳技術
を導入することにより、実質的に共通した言語でコミュ
ニケーションを行なうことが可能となる。しかしなが
ら、このようにすると、音声信号に対して音声翻訳処理
を行なう必要があり、音声の方が映像よりも遅れてしま
い、従来の同期方法では、映像と音声との同期がとれな
くなるという問題がある。
【０００４】
【発明が解決しようとする課題】この発明は、同時に入
力された映像信号と音声信号のうち、音声信号に対して
音声翻訳処理が行なわれるシステムにおいて、音声と映
像との同期をとることができる音声・映像同期方法およ
び音声・映像処理プログラムを記録したコンピュータ読
み取り可能な記録媒体を提供することを目的とする。
力された映像信号と音声信号のうち、音声信号に対して
音声翻訳処理が行なわれるシステムにおいて、音声と映
像との同期をとることができる音声・映像同期方法およ
び音声・映像処理プログラムを記録したコンピュータ読
み取り可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】この発明による第１の音
声・映像同期方法は、同時に入力された所定期間の映像
信号と音声信号のうち、音声信号に対して音声翻訳処理
が行なわれるシステムにおける音声・映像同期方法であ
って、同時に入力された所定期間の映像信号と音声信号
のうち、映像信号を一時的に記憶手段に記憶させるとと
もに、音声信号に対して音声翻訳処理を行ない、音声翻
訳処理によって上記音声信号に対する翻訳処理された音
声合成波形が生成されたときに、記憶手段に記憶された
上記映像信号の時間長が上記音声合成波形の時間長に応
じた長さになるように上記映像信号に対して時間軸圧縮
伸長処理を行い、当該時間軸圧縮伸長処理が終了したと
きに、時間軸圧縮伸長処理後の映像信号と、音声翻訳処
理によって生成された上記音声合成波形とを同時に出力
させるようにしたことを特徴とする。
声・映像同期方法は、同時に入力された所定期間の映像
信号と音声信号のうち、音声信号に対して音声翻訳処理
が行なわれるシステムにおける音声・映像同期方法であ
って、同時に入力された所定期間の映像信号と音声信号
のうち、映像信号を一時的に記憶手段に記憶させるとと
もに、音声信号に対して音声翻訳処理を行ない、音声翻
訳処理によって上記音声信号に対する翻訳処理された音
声合成波形が生成されたときに、記憶手段に記憶された
上記映像信号の時間長が上記音声合成波形の時間長に応
じた長さになるように上記映像信号に対して時間軸圧縮
伸長処理を行い、当該時間軸圧縮伸長処理が終了したと
きに、時間軸圧縮伸長処理後の映像信号と、音声翻訳処
理によって生成された上記音声合成波形とを同時に出力
させるようにしたことを特徴とする。
【０００６】この発明による第２の音声・映像同期方法
は、同時に入力された所定期間の映像信号と音声信号の
うち、音声信号に対して音声翻訳処理が行なわれるシス
テムにおける音声・映像同期方法であって、同時に入力
された所定期間の映像信号と音声信号のうち、映像信号
を一時的に記憶手段に記憶させるとともに、音声信号に
対して音声翻訳処理を行ない、音声翻訳処理によって上
記音声信号に対する翻訳処理された音声合成波形が生成
されたときに、生成された音声合成波形の時間長が記憶
手段に記憶された上記映像信号の時間長に応じた長さに
なるように上記音声合成波形に対して時間軸圧縮伸長処
理を行い、当該時間軸圧縮伸長処理が終了したときに、
時間軸圧縮伸長処理後の音声合成波形と、上記映像信号
とを同時に出力させるようにしたことを特徴とする。
は、同時に入力された所定期間の映像信号と音声信号の
うち、音声信号に対して音声翻訳処理が行なわれるシス
テムにおける音声・映像同期方法であって、同時に入力
された所定期間の映像信号と音声信号のうち、映像信号
を一時的に記憶手段に記憶させるとともに、音声信号に
対して音声翻訳処理を行ない、音声翻訳処理によって上
記音声信号に対する翻訳処理された音声合成波形が生成
されたときに、生成された音声合成波形の時間長が記憶
手段に記憶された上記映像信号の時間長に応じた長さに
なるように上記音声合成波形に対して時間軸圧縮伸長処
理を行い、当該時間軸圧縮伸長処理が終了したときに、
時間軸圧縮伸長処理後の音声合成波形と、上記映像信号
とを同時に出力させるようにしたことを特徴とする。
【０００７】音声信号と同時に入力された映像信号に音
声識別子、入力開始時間および入力終了時間とを付加す
ることにより、同時に入力された音声信号と映像信号と
を関連付けることが好ましい。
声識別子、入力開始時間および入力終了時間とを付加す
ることにより、同時に入力された音声信号と映像信号と
を関連付けることが好ましい。
【０００８】この発明による第１の音声・映像処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
は、同時に入力された所定期間の映像信号と音声信号の
うち、音声信号に対して音声翻訳処理が行われるシステ
ムに用いられる音声・映像処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、同時に入
力された所定期間の映像信号と音声信号のうち、映像信
号を一時的に記憶手段に記憶させるとともに、音声信号
に対して音声翻訳処理を行うステップ、音声翻訳処理に
よって上記音声信号に対する翻訳処理された音声合成波
形が生成されたときに、記憶手段に記憶された上記映像
信号の時間長が上記音声合成波形の時間長に応じた長さ
になるように上記映像信号に対して時間軸圧縮伸長処理
を行うステップ、ならびに当該時間軸圧縮伸長処理が終
了したときに、時間軸圧縮伸長処理後の映像信号と、音
声翻訳処理によって生成された上記音声合成波形とを同
時に出力させるステップをコンピュータに実行させるた
めの音声・映像処理プログラムを記録していることを特
徴とする。この発明による第２の音声・映像処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、同時に入力された所定期間の映像信号と音声信号の
うち、音声信号に対して音声翻訳処理が行われるシステ
ムに用いられる音声・映像処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、同時に入
力された所定期間の映像信号と音声信号のうち、映像信
号を一時的に記憶手段に記憶させるとともに、音声信号
に対して音声翻訳処理を行なうステップ、音声翻訳処理
によって上記音声信号に対する翻訳処理された音声合成
波形が生成されたときに、生成された音声合成波形の時
間長が記憶手段に記憶された上記映像信号の時間長に応
じた長さになるように上記音声合成波形に対して時間軸
圧縮伸長処理を行うステップ、ならびに当該時間軸圧縮
伸長処理が終了したときに、時間軸圧縮伸長処理後の音
声合成波形と、上記映像信号とを同時に出力させるステ
ップをコンピュータに実行させるための音声・映像処理
プログラムを記録していることを特徴とする。
グラムを記録したコンピュータ読み取り可能な記録媒体
は、同時に入力された所定期間の映像信号と音声信号の
うち、音声信号に対して音声翻訳処理が行われるシステ
ムに用いられる音声・映像処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、同時に入
力された所定期間の映像信号と音声信号のうち、映像信
号を一時的に記憶手段に記憶させるとともに、音声信号
に対して音声翻訳処理を行うステップ、音声翻訳処理に
よって上記音声信号に対する翻訳処理された音声合成波
形が生成されたときに、記憶手段に記憶された上記映像
信号の時間長が上記音声合成波形の時間長に応じた長さ
になるように上記映像信号に対して時間軸圧縮伸長処理
を行うステップ、ならびに当該時間軸圧縮伸長処理が終
了したときに、時間軸圧縮伸長処理後の映像信号と、音
声翻訳処理によって生成された上記音声合成波形とを同
時に出力させるステップをコンピュータに実行させるた
めの音声・映像処理プログラムを記録していることを特
徴とする。この発明による第２の音声・映像処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、同時に入力された所定期間の映像信号と音声信号の
うち、音声信号に対して音声翻訳処理が行われるシステ
ムに用いられる音声・映像処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、同時に入
力された所定期間の映像信号と音声信号のうち、映像信
号を一時的に記憶手段に記憶させるとともに、音声信号
に対して音声翻訳処理を行なうステップ、音声翻訳処理
によって上記音声信号に対する翻訳処理された音声合成
波形が生成されたときに、生成された音声合成波形の時
間長が記憶手段に記憶された上記映像信号の時間長に応
じた長さになるように上記音声合成波形に対して時間軸
圧縮伸長処理を行うステップ、ならびに当該時間軸圧縮
伸長処理が終了したときに、時間軸圧縮伸長処理後の音
声合成波形と、上記映像信号とを同時に出力させるステ
ップをコンピュータに実行させるための音声・映像処理
プログラムを記録していることを特徴とする。
【０００９】音声・映像処理プログラムは、音声信号と
同時に入力された映像信号に音声識別子、入力開始時間
および入力終了時間とを付加するステップ、および映像
信号に付加された音声識別子、入力開始時間および入力
終了時間に基づいて同時に入力された音声信号と映像信
号とを関連付けるステップをコンピュータに実行させる
ためのプログラムを含んでいることが好ましい。
同時に入力された映像信号に音声識別子、入力開始時間
および入力終了時間とを付加するステップ、および映像
信号に付加された音声識別子、入力開始時間および入力
終了時間に基づいて同時に入力された音声信号と映像信
号とを関連付けるステップをコンピュータに実行させる
ためのプログラムを含んでいることが好ましい。
【００１０】
【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。
の実施の形態について説明する。
【００１１】〔１〕第１の実施の形態の説明 図１は、第１の実施の形態である音声・映像同期システ
ムの構成を示している。
ムの構成を示している。
【００１２】音声・映像同期システムは、ＴＶカメラ等
の映像入力装置１、映像入力装置１からの入力映像に対
して映像処理を行なう映像処理装置２、映像処理装置２
によって得られた映像を出力するためのＴＶモニタ等の
映像出力装置３、マイク等の音声入力装置４、音声入力
装置４からの入力音声に対して音声翻訳処理を行なう音
声翻訳装置５、音声翻訳装置５によって得られた音声を
出力するためのスピーカ等の音声出力装置６および音声
と映像との同期制御を行なうための制御部７を備えてい
る。映像処理装置２、音声翻訳装置５および制御部７
は、コンピュータと音声・映像処理プログラムとによっ
て実現される。音声・映像処理プログラムは、たとえ
ば、ＣＤ等の記憶媒体に格納されて提供される。
の映像入力装置１、映像入力装置１からの入力映像に対
して映像処理を行なう映像処理装置２、映像処理装置２
によって得られた映像を出力するためのＴＶモニタ等の
映像出力装置３、マイク等の音声入力装置４、音声入力
装置４からの入力音声に対して音声翻訳処理を行なう音
声翻訳装置５、音声翻訳装置５によって得られた音声を
出力するためのスピーカ等の音声出力装置６および音声
と映像との同期制御を行なうための制御部７を備えてい
る。映像処理装置２、音声翻訳装置５および制御部７
は、コンピュータと音声・映像処理プログラムとによっ
て実現される。音声・映像処理プログラムは、たとえ
ば、ＣＤ等の記憶媒体に格納されて提供される。
【００１３】映像処理装置２は、映像保存バッファ１１
および映像データに対する時間軸圧縮伸長処理部１２を
備えている。
および映像データに対する時間軸圧縮伸長処理部１２を
備えている。
【００１４】音声翻訳装置５としては、この例では、日
英音声翻訳ATR-MATRIXが用いられている。ATR-MATRIXの
詳細については、T.Takezawa, T.Morimoto, Y.Sagisak
a, N.Campbell, H.Iida, F.Sugaya, A.Yokoo, and S.Ya
mamoto. A Japanese-to-English speech translation s
ystem: ATR-MATRIX. In Proc. ICSLP, pages 957-960,1
998) を参照のこと。音声翻訳装置５は、音声検出部２
１、音声認識部２２、言語翻訳部２３、波形合成部２４
および波形出力部２５を備えている。
英音声翻訳ATR-MATRIXが用いられている。ATR-MATRIXの
詳細については、T.Takezawa, T.Morimoto, Y.Sagisak
a, N.Campbell, H.Iida, F.Sugaya, A.Yokoo, and S.Ya
mamoto. A Japanese-to-English speech translation s
ystem: ATR-MATRIX. In Proc. ICSLP, pages 957-960,1
998) を参照のこと。音声翻訳装置５は、音声検出部２
１、音声認識部２２、言語翻訳部２３、波形合成部２４
および波形出力部２５を備えている。
【００１５】以下、図１の音声・映像同期システムの動
作について説明する。
作について説明する。
【００１６】音声検出部２１によって音声入力が開始さ
れたことが検出されると、音声検出部２１は、その音声
に対する音声識別子を決定し、決定した音声識別子を音
声入力開始時間とともに、制御部７に送る。
れたことが検出されると、音声検出部２１は、その音声
に対する音声識別子を決定し、決定した音声識別子を音
声入力開始時間とともに、制御部７に送る。
【００１７】制御部７は、音声識別子および音声入力開
始時間を受信すると、映像入力装置１からの入力映像に
上記識別子と音声入力開始時間を付加した後、入力映像
の映像保存バッファ１１への記録を開始させる。
始時間を受信すると、映像入力装置１からの入力映像に
上記識別子と音声入力開始時間を付加した後、入力映像
の映像保存バッファ１１への記録を開始させる。
【００１８】一方、音声検出部２１に入力した音声信号
は、音声認識部２２に送られ、音声認識処理が開始され
る。
は、音声認識部２２に送られ、音声認識処理が開始され
る。
【００１９】この後、音声検出部２１によって、音声入
力が終了したことが検出されると、音声検出部２１は、
音声入力終了時間を制御部７に送る。制御部７は、音声
入力終了時間を受信すると、入力映像に音声入力終了時
間を付加した後、入力映像の映像保存バッファ１１への
記録を停止させる。
力が終了したことが検出されると、音声検出部２１は、
音声入力終了時間を制御部７に送る。制御部７は、音声
入力終了時間を受信すると、入力映像に音声入力終了時
間を付加した後、入力映像の映像保存バッファ１１への
記録を停止させる。
【００２０】音声認識部２２による上記入力音声に対す
る音声認識処理が終了すると、言語翻訳部２３による上
記入力音声に対する言語翻訳処理が行なわれる。また、
言語翻訳部２３による言語翻訳処理が終了すると、波形
合成部２４による上記入力音声に対する波形合成処理が
行なわれる。波形合成部２４は、上記入力音声に対する
波形合成処理が終了した場合には、合成波形長に対応す
る時間情報（波形長時間）を制御部７に送る。
る音声認識処理が終了すると、言語翻訳部２３による上
記入力音声に対する言語翻訳処理が行なわれる。また、
言語翻訳部２３による言語翻訳処理が終了すると、波形
合成部２４による上記入力音声に対する波形合成処理が
行なわれる。波形合成部２４は、上記入力音声に対する
波形合成処理が終了した場合には、合成波形長に対応す
る時間情報（波形長時間）を制御部７に送る。
【００２１】制御部７は、波形合成部２４からの波形長
時間を受信すると、上記入力音声に対する識別子が付加
されている映像信号を映像保存バッファ１１から読み出
して時間軸圧縮伸長処理部１２に送るとともに、映像伸
縮開始信号を時間軸圧縮伸長処理部１２に送る。また、
制御部７は、入力音声に対する識別子が付加されている
映像信号に付加されている音声入力開始時間から音声入
力終了時間までの時間と、受信した波形長時間とに基づ
いて、上記映像信号から当該波形長時間に応じた長さの
映像信号を生成するための時間軸圧縮率（伸長率）を決
定し、決定した時間軸圧縮率を、時間軸圧縮伸長処理部
１２に送る。
時間を受信すると、上記入力音声に対する識別子が付加
されている映像信号を映像保存バッファ１１から読み出
して時間軸圧縮伸長処理部１２に送るとともに、映像伸
縮開始信号を時間軸圧縮伸長処理部１２に送る。また、
制御部７は、入力音声に対する識別子が付加されている
映像信号に付加されている音声入力開始時間から音声入
力終了時間までの時間と、受信した波形長時間とに基づ
いて、上記映像信号から当該波形長時間に応じた長さの
映像信号を生成するための時間軸圧縮率（伸長率）を決
定し、決定した時間軸圧縮率を、時間軸圧縮伸長処理部
１２に送る。
【００２２】時間軸圧縮伸長処理部１２は、映像伸縮開
始信号および時間軸圧縮率を受信すると、映像保存バッ
ファ１１から送られてきた映像信号に対して、受信した
時間軸圧縮率に応じた時間軸圧縮または伸長処理を行な
う。時間軸圧縮伸長処理部１２は、時間軸伸縮処理が終
了すると、映像伸縮終了信号を、制御部７に送るととも
に、時間軸圧縮または伸長処理後の映像信号の出力を開
始する。
始信号および時間軸圧縮率を受信すると、映像保存バッ
ファ１１から送られてきた映像信号に対して、受信した
時間軸圧縮率に応じた時間軸圧縮または伸長処理を行な
う。時間軸圧縮伸長処理部１２は、時間軸伸縮処理が終
了すると、映像伸縮終了信号を、制御部７に送るととも
に、時間軸圧縮または伸長処理後の映像信号の出力を開
始する。
【００２３】制御部７は、映像伸縮終了信号を受信する
と、波形出力部２５に音声出力開始信号を送る。波形出
力部２５は、音声出力開始信号を受信すると、波形合成
部２４によって得られた合成波形を出力する。
と、波形出力部２５に音声出力開始信号を送る。波形出
力部２５は、音声出力開始信号を受信すると、波形合成
部２４によって得られた合成波形を出力する。
【００２４】これにより、入力音声の音声翻訳処理後の
音声と、この入力音声と同時に入力された映像であって
入力音声の音声翻訳処理後の音声の時間長に合致するよ
うに時間軸圧縮伸長処理された映像とが、同時に出力さ
れるようになる。
音声と、この入力音声と同時に入力された映像であって
入力音声の音声翻訳処理後の音声の時間長に合致するよ
うに時間軸圧縮伸長処理された映像とが、同時に出力さ
れるようになる。
【００２５】〔２〕第２の実施の形態の説明
【００２６】図２は、第２の実施の形態である音声・映
像同期システムの構成を示している。
像同期システムの構成を示している。
【００２７】音声・映像同期システムは、ＴＶカメラ等
の映像入力装置１、映像入力装置１からの入力映像に対
して映像処理を行なう映像処理装置２、映像処理装置２
によって得られた映像を出力するためのＴＶモニタ等の
映像出力装置３、マイク等の音声入力装置４、音声入力
装置４からの入力音声に対して音声翻訳処理を行なう音
声翻訳装置５、音声翻訳装置５によって得られた音声を
出力するためのスピーカ等の音声出力装置６および音声
と映像との同期制御を行なうための制御部７を備えてい
る。
の映像入力装置１、映像入力装置１からの入力映像に対
して映像処理を行なう映像処理装置２、映像処理装置２
によって得られた映像を出力するためのＴＶモニタ等の
映像出力装置３、マイク等の音声入力装置４、音声入力
装置４からの入力音声に対して音声翻訳処理を行なう音
声翻訳装置５、音声翻訳装置５によって得られた音声を
出力するためのスピーカ等の音声出力装置６および音声
と映像との同期制御を行なうための制御部７を備えてい
る。
【００２８】映像処理装置２は、映像保存バッファ１１
と映像出力部１３とを備えている。音声翻訳装置５は、
音声検出部２１、音声認識部２２、言語翻訳部２３、波
形合成部２４、時間軸圧縮伸長部２６および波形出力部
２５を備えている。
と映像出力部１３とを備えている。音声翻訳装置５は、
音声検出部２１、音声認識部２２、言語翻訳部２３、波
形合成部２４、時間軸圧縮伸長部２６および波形出力部
２５を備えている。
【００２９】図２の音声・映像同期システムの動作につ
いて説明する。
いて説明する。
【００３０】音声検出部２１によって音声入力が開始さ
れたことが検出されると、音声検出部２１は、その音声
に対する音声識別子を決定し、決定した音声識別子を音
声入力開始時間とともに、制御部７に送る。
れたことが検出されると、音声検出部２１は、その音声
に対する音声識別子を決定し、決定した音声識別子を音
声入力開始時間とともに、制御部７に送る。
【００３１】制御部７は、音声識別子および音声入力開
始時間を受信すると、映像入力装置１からの入力映像に
上記識別子と音声入力開始時間を付加した後、入力映像
の映像保存バッファ１１への記録を開始させる。
始時間を受信すると、映像入力装置１からの入力映像に
上記識別子と音声入力開始時間を付加した後、入力映像
の映像保存バッファ１１への記録を開始させる。
【００３２】一方、音声検出部２１に入力した音声信号
は、音声認識部２２に送られ、音声認識処理が開始され
る。
は、音声認識部２２に送られ、音声認識処理が開始され
る。
【００３３】この後、音声検出部２１によって、音声入
力が終了したことが検出されると、音声検出部２１は、
音声入力終了時間を制御部７に送る。制御部７は、音声
入力終了時間を受信すると、入力映像に音声入力終了時
間を付加した後、入力映像の映像保存バッファ１１への
記録を停止させる。
力が終了したことが検出されると、音声検出部２１は、
音声入力終了時間を制御部７に送る。制御部７は、音声
入力終了時間を受信すると、入力映像に音声入力終了時
間を付加した後、入力映像の映像保存バッファ１１への
記録を停止させる。
【００３４】音声認識部２２による上記入力音声に対す
る音声認識処理が終了すると、言語翻訳部２３による上
記入力音声に対する言語翻訳処理が行なわれる。また、
言語翻訳部２３による言語翻訳処理が終了すると、波形
合成部２４による上記入力音声に対する波形合成処理が
行なわれる。波形合成部２４は、上記入力音声に対する
波形合成処理が終了した場合には、合成波形長に対応す
る時間情報（波形長時間）を制御部７に送る。
る音声認識処理が終了すると、言語翻訳部２３による上
記入力音声に対する言語翻訳処理が行なわれる。また、
言語翻訳部２３による言語翻訳処理が終了すると、波形
合成部２４による上記入力音声に対する波形合成処理が
行なわれる。波形合成部２４は、上記入力音声に対する
波形合成処理が終了した場合には、合成波形長に対応す
る時間情報（波形長時間）を制御部７に送る。
【００３５】制御部７は、波形合成部２４からの波形長
時間を受信すると、上記入力音声に対する識別子が付加
されている映像信号を映像保存バッファ１１から読み出
して映像出力部１３に送るとともに、合成波形伸縮開始
信号を時間軸圧縮伸長処理部２６に送る。
時間を受信すると、上記入力音声に対する識別子が付加
されている映像信号を映像保存バッファ１１から読み出
して映像出力部１３に送るとともに、合成波形伸縮開始
信号を時間軸圧縮伸長処理部２６に送る。
【００３６】また、制御部７は、入力音声に対する識別
子が付加されている映像信号に付加されている音声入力
開始時間から音声入力終了時間までの時間と、受信した
波形長時間とに基づいて、波形合成部２４によって生成
された合成波形から、音声入力開始時間から音声入力終
了時間までの時間に応じた長さの合成波形を生成するた
めの時間軸圧縮率（伸長率）を決定し、決定した時間軸
圧縮率を、時間軸圧縮伸長処理部２６に送る。映像出力
部１３は、映像保存バッファ１１から送られてきた映像
信号を記憶する。
子が付加されている映像信号に付加されている音声入力
開始時間から音声入力終了時間までの時間と、受信した
波形長時間とに基づいて、波形合成部２４によって生成
された合成波形から、音声入力開始時間から音声入力終
了時間までの時間に応じた長さの合成波形を生成するた
めの時間軸圧縮率（伸長率）を決定し、決定した時間軸
圧縮率を、時間軸圧縮伸長処理部２６に送る。映像出力
部１３は、映像保存バッファ１１から送られてきた映像
信号を記憶する。
【００３７】時間軸圧縮伸長処理部２６は、合成波形伸
縮開始信号および時間軸圧縮率を受信すると、波形合成
部２４によって生成された合成波形に対して、受信した
時間軸圧縮率に応じた時間軸圧縮または伸長処理を行な
う。時間軸圧縮伸長処理部２６は、時間軸伸縮処理が終
了すると、合成波形伸縮終了信号を、制御部７に送ると
ともに、時間軸圧縮または伸長処理後の合成波形を波形
出力部２５に送る。
縮開始信号および時間軸圧縮率を受信すると、波形合成
部２４によって生成された合成波形に対して、受信した
時間軸圧縮率に応じた時間軸圧縮または伸長処理を行な
う。時間軸圧縮伸長処理部２６は、時間軸伸縮処理が終
了すると、合成波形伸縮終了信号を、制御部７に送ると
ともに、時間軸圧縮または伸長処理後の合成波形を波形
出力部２５に送る。
【００３８】制御部７は、合成波形伸縮終了信号を受信
すると、映像出力部１３に映像出力開始信号を送るとと
もに波形出力部２５に音声出力開始信号を送る。映像出
力部１３は、映像出力開始信号を受信すると保持してい
る映像信号を出力する。また、波形出力部２５は、音声
出力開始信号を受信すると、時間軸圧縮伸長処理部２６
から送られてきた合成波形を出力する。
すると、映像出力部１３に映像出力開始信号を送るとと
もに波形出力部２５に音声出力開始信号を送る。映像出
力部１３は、映像出力開始信号を受信すると保持してい
る映像信号を出力する。また、波形出力部２５は、音声
出力開始信号を受信すると、時間軸圧縮伸長処理部２６
から送られてきた合成波形を出力する。
【００３９】これにより、入力映像と、この入力映像と
同時に入力されかつ音声翻訳処理後の音声であって、入
力映像の時間長に合致するように時間軸圧縮伸長処理さ
れた音声とが、同時に出力されるようになる。
同時に入力されかつ音声翻訳処理後の音声であって、入
力映像の時間長に合致するように時間軸圧縮伸長処理さ
れた音声とが、同時に出力されるようになる。
【００４０】なお、映像処理装置２に第１の実施の形態
のように映像に対する時間軸圧縮伸長処理部１２を設け
るとともに、音声翻訳装置２に第２の実施の形態のよう
に音声合成波形に対する時間軸圧縮伸長処理部２６を設
けておき、映像信号および音声合成波形のうち、効率の
よい一方に対して時間軸圧縮伸長処理を行なうようにし
てもよい。また、映像信号および音声合成波形の両方に
対して時間軸圧縮伸長処理を行なうようにしてもよい。
のように映像に対する時間軸圧縮伸長処理部１２を設け
るとともに、音声翻訳装置２に第２の実施の形態のよう
に音声合成波形に対する時間軸圧縮伸長処理部２６を設
けておき、映像信号および音声合成波形のうち、効率の
よい一方に対して時間軸圧縮伸長処理を行なうようにし
てもよい。また、映像信号および音声合成波形の両方に
対して時間軸圧縮伸長処理を行なうようにしてもよい。
【００４１】
【発明の効果】この発明によれば、同時に入力された映
像信号と音声信号のうち、音声信号に対して音声翻訳処
理が行なわれるシステムにおいて、音声と映像との同期
をとることができるようになる。
像信号と音声信号のうち、音声信号に対して音声翻訳処
理が行なわれるシステムにおいて、音声と映像との同期
をとることができるようになる。
【図１】この発明の第１の実施の形態である音声・映像
同期システムの構成を示すブロック図である。
同期システムの構成を示すブロック図である。
【図２】この発明の第２の実施の形態である音声・映像
同期システムの構成を示すブロック図である。
同期システムの構成を示すブロック図である。
１ 映像入力装置 ２ 映像処理装置 ３ 映像出力装置 ４ 音声入力装置 ５ 音声翻訳装置 ６ 音声出力装置 ７ 制御部 １１ 映像保存バッファ １２ 時間軸圧縮伸長処理部 １３ 映像出力部 ２１ 音声検出部 ２２ 音声認識部 ２３ 言語翻訳部 ２４ 波形合成部 ２５ 波形出力部 ２６ 時間軸圧縮伸長処理部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 塚田 元 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 (72)発明者 中村 篤 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール音声翻 訳通信研究所内 Ｆターム(参考） 5C064 AA02 AC04 AC06 AC08 AC16 AD13 5D045 AB03 AB26
Claims (8)
- 【請求項１】 同時に入力された所定期間の映像信号と
音声信号のうち、音声信号に対して音声翻訳処理が行な
われるシステムにおける音声・映像同期方法であって、 同時に入力された所定期間の映像信号と音声信号のう
ち、映像信号を一時的に記憶手段に記憶させるととも
に、音声信号に対して音声翻訳処理を行ない、音声翻訳
処理によって上記音声信号に対する翻訳処理された音声
合成波形が生成されたときに、記憶手段に記憶された上
記映像信号の時間長が上記音声合成波形の時間長に応じ
た長さになるように上記映像信号に対して時間軸圧縮伸
長処理を行い、当該時間軸圧縮伸長処理が終了したとき
に、時間軸圧縮伸長処理後の映像信号と、音声翻訳処理
によって生成された上記音声合成波形とを同時に出力さ
せるようにしたことを特徴とする音声・映像同期方法。 - 【請求項２】 音声信号と同時に入力された映像信号に
音声識別子、入力開始時間および入力終了時間とを付加
することにより、同時に入力された音声信号と映像信号
とを関連付けることを特徴とする請求項１に記載の音声
・映像同期方法。 - 【請求項３】 同時に入力された所定期間の映像信号と
音声信号のうち、音声信号に対して音声翻訳処理が行な
われるシステムにおける音声・映像同期方法であって、 同時に入力された所定期間の映像信号と音声信号のう
ち、映像信号を一時的に記憶手段に記憶させるととも
に、音声信号に対して音声翻訳処理を行ない、音声翻訳
処理によって上記音声信号に対する翻訳処理された音声
合成波形が生成されたときに、生成された音声合成波形
の時間長が記憶手段に記憶された上記映像信号の時間長
に応じた長さになるように上記音声合成波形に対して時
間軸圧縮伸長処理を行い、当該時間軸圧縮伸長処理が終
了したときに、時間軸圧縮伸長処理後の音声合成波形
と、上記映像信号とを同時に出力させるようにしたこと
を特徴とする音声・映像同期方法。 - 【請求項４】 音声信号と同時に入力された映像信号に
音声識別子、入力開始時間および入力終了時間とを付加
することにより、同時に入力された音声信号と映像信号
とを関連付けることを特徴とする請求項１に記載の音声
・映像同期方法。 - 【請求項５】 同時に入力された所定期間の映像信号と
音声信号のうち、音声信号に対して音声翻訳処理が行わ
れるシステムに用いられる音声・映像処理プログラムを
記録したコンピュータ読み取り可能な記録媒体であっ
て、 同時に入力された所定期間の映像信号と音声信号のう
ち、映像信号を一時的に記憶手段に記憶させるととも
に、音声信号に対して音声翻訳処理を行うステップ、 音声翻訳処理によって上記音声信号に対する翻訳処理さ
れた音声合成波形が生成されたときに、記憶手段に記憶
された上記映像信号の時間長が上記音声合成波形の時間
長に応じた長さになるように上記映像信号に対して時間
軸圧縮伸長処理を行うステップ、ならびに当該時間軸圧
縮伸長処理が終了したときに、時間軸圧縮伸長処理後の
映像信号と、音声翻訳処理によって生成された上記音声
合成波形とを同時に出力させるステップ、 をコンピュータに実行させるための音声・映像処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項６】 音声・映像処理プログラムが、音声信号
と同時に入力された映像信号に音声識別子、入力開始時
間および入力終了時間とを付加するステップ、および映
像信号に付加された音声識別子、入力開始時間および入
力終了時間に基づいて同時に入力された音声信号と映像
信号とを関連付けるステップをコンピュータに実行させ
るためのプログラム含んでいる請求項５に記載の音声・
映像処理プログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項７】 同時に入力された所定期間の映像信号と
音声信号のうち、音声信号に対して音声翻訳処理が行わ
れるシステムに用いられる音声・映像処理プログラムを
記録したコンピュータ読み取り可能な記録媒体であっ
て、 同時に入力された所定期間の映像信号と音声信号のう
ち、映像信号を一時的に記憶手段に記憶させるととも
に、音声信号に対して音声翻訳処理を行なうステップ、 音声翻訳処理によって上記音声信号に対する翻訳処理さ
れた音声合成波形が生成されたときに、生成された音声
合成波形の時間長が記憶手段に記憶された上記映像信号
の時間長に応じた長さになるように上記音声合成波形に
対して時間軸圧縮伸長処理を行うステップ、ならびに当
該時間軸圧縮伸長処理が終了したときに、時間軸圧縮伸
長処理後の音声合成波形と、上記映像信号とを同時に出
力させるステップ、 をコンピュータに実行させるための音声・映像処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項８】 音声・映像処理プログラムが、音声信号
と同時に入力された映像信号に音声識別子、入力開始時
間および入力終了時間とを付加するステップ、および映
像信号に付加された音声識別子、入力開始時間および入
力終了時間に基づいて同時に入力された音声信号と映像
信号とを関連付けるステップをコンピュータに実行させ
るためのプログラム含んでいる請求項７に記載の音声・
映像処理プログラムを記録したコンピュータ読み取り可
能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000030809A JP2001224002A (ja) | 2000-02-08 | 2000-02-08 | 音声・映像同期方法および音声・映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000030809A JP2001224002A (ja) | 2000-02-08 | 2000-02-08 | 音声・映像同期方法および音声・映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001224002A true JP2001224002A (ja) | 2001-08-17 |
Family
ID=18555777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000030809A Pending JP2001224002A (ja) | 2000-02-08 | 2000-02-08 | 音声・映像同期方法および音声・映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001224002A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123282A (ja) * | 2000-10-17 | 2002-04-26 | Brother Ind Ltd | 翻訳装置および記録媒体 |
| JP2008039845A (ja) * | 2006-08-01 | 2008-02-21 | Nippon Hoso Kyokai <Nhk> | 解説付加音声生成装置及び解説付加音声生成プログラム |
| US8078449B2 (en) | 2006-09-27 | 2011-12-13 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for translating speech, and terminal that outputs translated speech |
| WO2017072915A1 (ja) * | 2015-10-29 | 2017-05-04 | 株式会社日立製作所 | 視覚情報と聴覚情報の同期方法および情報処理装置 |
| WO2018121001A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳市九洲电器有限公司 | 数字电视节目同声翻译输出方法、系统及智能终端 |
| US10423700B2 (en) | 2016-03-16 | 2019-09-24 | Kabushiki Kaisha Toshiba | Display assist apparatus, method, and program |
| JP2021048609A (ja) * | 2020-11-26 | 2021-03-25 | マクセル株式会社 | 出力装置および情報表示方法 |
| CN112562719A (zh) * | 2020-11-30 | 2021-03-26 | 清华珠三角研究院 | 合成语音与原始视频匹配方法、系统、装置及存储介质 |
| JPWO2021255831A1 (ja) * | 2020-06-16 | 2021-12-23 | ||
| US11955118B2 (en) * | 2019-09-17 | 2024-04-09 | Samsung Electronics Co., Ltd. | Method and apparatus with real-time translation |
-
2000
- 2000-02-08 JP JP2000030809A patent/JP2001224002A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123282A (ja) * | 2000-10-17 | 2002-04-26 | Brother Ind Ltd | 翻訳装置および記録媒体 |
| JP2008039845A (ja) * | 2006-08-01 | 2008-02-21 | Nippon Hoso Kyokai <Nhk> | 解説付加音声生成装置及び解説付加音声生成プログラム |
| JP4594908B2 (ja) * | 2006-08-01 | 2010-12-08 | 日本放送協会 | 解説付加音声生成装置及び解説付加音声生成プログラム |
| US8078449B2 (en) | 2006-09-27 | 2011-12-13 | Kabushiki Kaisha Toshiba | Apparatus, method and computer program product for translating speech, and terminal that outputs translated speech |
| US10691898B2 (en) | 2015-10-29 | 2020-06-23 | Hitachi, Ltd. | Synchronization method for visual information and auditory information and information processing device |
| JPWO2017072915A1 (ja) * | 2015-10-29 | 2018-07-12 | 株式会社日立製作所 | 視覚情報と聴覚情報の同期方法および情報処理装置 |
| WO2017072915A1 (ja) * | 2015-10-29 | 2017-05-04 | 株式会社日立製作所 | 視覚情報と聴覚情報の同期方法および情報処理装置 |
| US10423700B2 (en) | 2016-03-16 | 2019-09-24 | Kabushiki Kaisha Toshiba | Display assist apparatus, method, and program |
| WO2018121001A1 (zh) * | 2016-12-30 | 2018-07-05 | 深圳市九洲电器有限公司 | 数字电视节目同声翻译输出方法、系统及智能终端 |
| US11955118B2 (en) * | 2019-09-17 | 2024-04-09 | Samsung Electronics Co., Ltd. | Method and apparatus with real-time translation |
| JPWO2021255831A1 (ja) * | 2020-06-16 | 2021-12-23 | ||
| WO2021255831A1 (ja) * | 2020-06-16 | 2021-12-23 | 日本電信電話株式会社 | 送信装置、コミュニケーション方法、及びプログラム |
| JP7279861B2 (ja) | 2020-06-16 | 2023-05-23 | 日本電信電話株式会社 | 送信装置、コミュニケーション方法、及びプログラム |
| JP2021048609A (ja) * | 2020-11-26 | 2021-03-25 | マクセル株式会社 | 出力装置および情報表示方法 |
| JP7051987B2 (ja) | 2020-11-26 | 2022-04-11 | マクセル株式会社 | 出力装置および情報表示方法 |
| CN112562719A (zh) * | 2020-11-30 | 2021-03-26 | 清华珠三角研究院 | 合成语音与原始视频匹配方法、系统、装置及存储介质 |
| CN112562719B (zh) * | 2020-11-30 | 2024-03-19 | 清华珠三角研究院 | 合成语音与原始视频匹配方法、系统、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2366057C (en) | Database annotation and retrieval | |
| JP4127668B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JPH07168851A (ja) | 画像表示方法及び装置 | |
| JP2001224002A (ja) | 音声・映像同期方法および音声・映像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN101753915A (zh) | 数据处理设备、数据处理方法及程序 | |
| WO2019240035A1 (ja) | 会話補助装置、会話補助方法及びプログラム | |
| CN109949792B (zh) | 多音频的合成方法及装置 | |
| KR101618777B1 (ko) | 파일 업로드 후 텍스트를 추출하여 영상 또는 음성간 동기화시키는 서버 및 그 방법 | |
| US8553855B2 (en) | Conference support apparatus and conference support method | |
| JPH10229545A (ja) | 画像音声記録再生装置 | |
| JP4513165B2 (ja) | 番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法 | |
| JP2000078531A (ja) | オ―ディオデ―タ編集方法、編集システム | |
| JP2011086123A (ja) | 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム | |
| JPH11313273A (ja) | 表示装置 | |
| KR101039668B1 (ko) | 텍스트데이터 기반의 얼굴 애니메이션 출력방법 및 그 시스템 | |
| JPH0898109A (ja) | 音声信号処理回路と画像・音声デコーダ | |
| JP2002127062A (ja) | ロボットシステム、ロボット制御信号生成装置、ロボット制御信号生成方法、記録媒体、プログラムおよびロボット | |
| JP2007199574A (ja) | 楽曲再生装置、楽曲テロップ検索サーバ | |
| JP2012105234A (ja) | 字幕生成配信システム、字幕生成配信方法およびプログラム | |
| US20050096915A1 (en) | Contents reproducing system and contents reproducing program | |
| WO2019234952A1 (ja) | 音声処理装置および翻訳装置 | |
| JP2000358202A (ja) | 映像音声記録再生装置および同装置の副音声データ生成記録方法 | |
| JP7048141B1 (ja) | プログラム、ファイル生成方法、情報処理装置、及び情報処理システム | |
| WO2017183127A1 (ja) | 表示装置、出力装置、および情報表示方法 | |
| JP2000231558A (ja) | 通信装置、通信方法及び通信制御プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040608 |