JP2000092460A - 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法 - Google Patents

字幕・音声データ翻訳装置および字幕・音声データ翻訳方法

Info

Publication number
JP2000092460A
JP2000092460A JP10254101A JP25410198A JP2000092460A JP 2000092460 A JP2000092460 A JP 2000092460A JP 10254101 A JP10254101 A JP 10254101A JP 25410198 A JP25410198 A JP 25410198A JP 2000092460 A JP2000092460 A JP 2000092460A
Authority
JP
Japan
Prior art keywords
data
subtitle
audio
video
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10254101A
Other languages
English (en)
Inventor
Kazuto Takai
和人 高井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP10254101A priority Critical patent/JP2000092460A/ja
Publication of JP2000092460A publication Critical patent/JP2000092460A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】 【課題】 効率的に字幕の言語を自国語に翻訳し、且つ
音声を吹き替える字幕・音声データ翻訳装置および方法
を得る。 【解決手段】 受信した番組のデータを、データ分離部
１２で映像・音声・字幕の各データ用のパケットに分離
し、圧縮された映像データを映像データ伸長部１３で伸
長し元の映像に復元する。さらに、圧縮された音声デー
タを音声データ伸長部１４で伸長し元の音声に復元す
る。データ分離部１２で分離された字幕データを日本語
に翻訳し、翻訳したデータに基づき字幕データ処理部１
５で音声合成する。また、翻訳した文字データをオーバ
ーレイ処理部１６で復元された映像に重ね合わせて表示
させ、音声合成された音声を出力させる。字幕データに
話者の性別と話す速度を表わすパラメータを付けること
により、受信機で字幕データを翻訳し且つ音声も自国の
言語に変換しての再生を可能とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、パラメータを付加
し画像に対応する自動翻訳を可能とした字幕・音声デー
タ翻訳装置および字幕・音声データ翻訳方法に関する。
【０００２】
【従来の技術】従来の字幕・音声データ翻訳装置および
字幕・音声データ翻訳方法の一構成例を図８に示す。図
８において、字幕データ５０は、字幕の文字コード２０
０と座標・文字色・背景色２０１とにより構成される。
【０００３】特開平１０−１３８０９号公報の「ＶＯＤ
システム及びＶＯＤ端末装置」によれば、任意の言語の
キャプション情報の表示を効率的に行えることを目的と
している。この目的において、動画像プログラムの音声
情報を、ある特定言語のテキスト形態に変換しキャプシ
ョン情報として蓄積する。このキャプション情報を任意
の言語に翻訳し、動画像プログラムのビデオストリーム
に多重化して表示する装置を開示している。
【０００４】特開平７−２５０２８２号公報の「字幕表
示装置」によれば、英語に精通していなくても、英語の
字幕の内容を理解できるようにすることを目的としてい
る。この目的において、字幕信号を含む画像信号から、
字幕信号を復号し、その字幕信号に対応する字幕の言語
を他の言語に翻訳し、そして、翻訳した字幕を画像信号
に重畳する装置が開示されている。
【０００５】
【発明が解決しようとする課題】しかしながら、上記従
来例に示されるように、字幕が自国語の言語になってい
ないため、その字幕の言語についての知識がないと理解
できないことと、字幕を自国語に翻訳したとしても、音
声の発声に対するパラメータがないため、音声は自国語
に変換して再生できないといった問題がある。
【０００６】本発明は、効率的に字幕の言語を自国語に
翻訳し、かつ音声を吹き替える字幕・音声データ翻訳装
置および字幕・音声データ翻訳方法を提供することを目
的とする。
【０００７】
【課題を解決するための手段】前記課題を解決するため
に、請求項１記載の発明は、パラメータを付加し、画像
に対応する翻訳を行う字幕・音声データ翻訳装置におい
て、受信した番組のデータを、映像データと音声データ
と字幕データとに分離するデータ分離手段と、圧縮され
た映像データを伸長し、元の映像データに復元する映像
データ伸長手段と、圧縮された音声データを伸長し、元
の音声データに復元する音声データ伸長手段と、データ
分離手段において分離された字幕データの翻訳処理を行
い、翻訳処理された字幕データに基づき音声合成する字
幕データ処理手段と、字幕データ処理手段において処理
された字幕データを、映像データ伸長手段において復元
された元の映像データに重ね合わせるオーバーレイ処理
手段と、オーバーレイ処理手段において重ね合わされた
映像データを映像表示する映像表示処理手段と、音声デ
ータ伸長手段において復元された元の音声データと、字
幕データ処理手段において音声合成された字幕データと
を音声出力させる音声出力手段とを有することを特徴と
する。
【０００８】請求項２記載の発明は、請求項１記載の発
明において、字幕データ処理手段は、字幕データを座
標、文字色、背景色データと字幕文字データと話者のタ
イプデータと話者の話す速度データとに分離する字幕デ
ータ分離部を有し、字幕文字データと話者のタイプデー
タと話者の話す速度データとに基づいて音声合成を行う
ことを特徴とする。
【０００９】請求項３記載の発明は、請求項２記載の発
明において、字幕データ処理手段は、字幕音声データを
格納する字幕音声データ格納部と、話者のタイプデータ
に基づいて字幕音声データ部から字幕音声データを検索
する音声データ検索部とを有し、話者のタイプデータ別
に検索された字幕音声データを基に音声合成を行うこと
を特徴とする。
【００１０】請求項４記載の発明は、請求項１から３の
いずれか１項に記載の発明において、音声データ伸長手
段において復元された元の音声データと、字幕データ処
理手段において音声合成された字幕データとの音声出力
手段における音声出力を切り替える音声切り替え処理手
段を有することを特徴とする。
【００１１】請求項５記載の発明は、請求項４記載の発
明において、音声切り替え手段は、データ分離手段にお
いて分離された番組のデータのなかに字幕データがある
ときは、字幕データ処理手段において音声合成された字
幕データの音声出力に切り替え、データ分離手段におい
て分離された番組のデータのなかに字幕データがないと
きは、音声データ伸長手段において復元された元の音声
データの音声出力に切り替えることを特徴とする。
【００１２】請求項６記載の発明は、請求項１から５の
いずれか１項に記載の発明において、番組のデータは、
ＭＰＥＧ２システム規格のトランスポートストリームで
あり、ＭＰＥＧ２システム規格に基づき映像データおよ
び音声データは圧縮されていることを特徴とする。
【００１３】請求項７記載の発明は、請求項１から６の
いずれか１項に記載の発明において、番組データは、少
なくとも映像データ、音声データ、字幕データが多重化
処理されたデータであることを特徴とする。
【００１４】請求項８記載の発明は、パラメータを付加
し、画像に対応する翻訳を行う字幕・音声データ翻訳方
法において、受信した番組のデータを、映像データと音
声データと字幕データとに分離するデータ分離工程と、
圧縮された映像データを伸長し、元の映像データに復元
する映像データ伸長工程と、圧縮された音声データを伸
長し、元の音声データに復元する音声データ伸長工程
と、データ分離工程において分離された字幕データの翻
訳処理を行い、翻訳処理された字幕データに基づき音声
合成する字幕データ処理工程と、字幕データ処理工程に
おいて処理された字幕データを、映像データ伸長工程に
おいて復元された元の映像データに重ね合わせるオーバ
ーレイ処理工程と、オーバーレイ処理工程において重ね
合わされた映像データを映像表示する映像表示処理工程
と、音声データ伸長工程において復元された元の音声デ
ータと、字幕データ処理工程において音声合成された字
幕データとを音声出力させる音声出力工程とを有するこ
とを特徴とする。
【００１５】請求項９記載の発明は、請求項８記載の発
明において、字幕データ処理工程は、字幕データを座
標、文字色、背景色データと字幕文字データと話者のタ
イプデータと話者の話す速度データとに分離し、字幕文
字データと話者のタイプデータと話者の話す速度データ
とに基づいて音声合成を行うことを特徴とする。
【００１６】請求項１０記載の発明は、請求項９記載の
発明において、字幕データ処理工程は、話者のタイプデ
ータに基づいて、字幕音声データを格納する字幕音声デ
ータ格納部から話者のタイプデータに対応する字幕音声
データを検索し、話者のタイプデータ別に検索された字
幕音声データを基に音声合成を行うことを特徴とする。
【００１７】請求項１１記載の発明は、請求項８から１
０のいずれか１項に記載の発明において、音声データ伸
長工程において復元された元の音声データと字幕データ
処理工程において音声合成された字幕データとの音声出
力工程における音声出力を切り替える音声切り替え処理
工程を有することを特徴とする。
【００１８】請求項１２記載の発明は、請求項１１記載
の発明において、音声切り替え工程は、データ分離工程
において分離された番組のデータのなかに字幕データが
あるときは、字幕データ処理工程において音声合成され
た字幕データの音声出力に切り替え、データ分離工程に
おいて分離された番組のデータのなかに字幕データがな
いときは、音声データ伸長工程において復元された元の
音声データの音声出力に切り替えることを特徴とする。
【００１９】請求項１３記載の発明は、請求項８から１
２のいずれか１項に記載の発明において、番組のデータ
は、ＭＰＥＧ２システム規格のトランスポートストリー
ムであり、ＭＰＥＧ２システム規格に基づき映像データ
および音声データが圧縮されていることを特徴とする。
【００２０】請求項１４記載の発明は、請求項８から１
３のいずれか１項に記載の発明において、番組データ
は、少なくとも映像データ、音声データ、字幕データが
多重化処理されたデータであることを特徴とする。
【００２１】
【発明の実施の形態】次に、本発明による字幕・音声デ
ータ翻訳装置および字幕・音声データ翻訳方法の実施形
態を添付図面に基づいて詳細に説明する。図１から図７
を参照すると本発明の字幕・音声データ翻訳装置および
字幕・音声データ翻訳方法の実施形態が示されている。
【００２２】図１は、本発明による字幕・音声データ翻
訳装置および字幕・音声データ翻訳方法の第１の実施形
態の構成を示すシステムブロック図である。また、図２
は、本発明の実施形態における字幕データの構成例を示
す図である。図１と図２とに基づいて説明すると、ま
ず、図２において、字幕データ５は、字幕の文字コード
１００と座標・文字色・背景色１０１と話者の性別１０
２と話者の話す速度１０３とにより構成される。
【００２３】図１において、上記に構成される字幕デー
タ５は、ＭＰＥＧ２(Moving Picture Experts Group)ビ
デオの規格(ISO/IEC13818-2)で圧縮された映像データ３
と、ＭＰＥＧ２オーディオの規格(ISO/IEC13818-3)で圧
縮された音声データ４とともに、海外の番組データ６と
して、デジタル衛星放送の放送局において準備される。
【００２４】放送局は、一つまたは複数の番組データ６
を、ＭＰＥＧ２システム規格(ISO/IEC13818-1)のトラン
スポートストリーム多重化部２で多重化して送出装置１
に送り、ＱＰＳＫ（ Quadrature Phase Shift Keying／
四相位相) 変調ならびに誤り訂正用の符号を付加して送
出アンテナ７で静止衛星８に電波を送出する。
【００２５】衛星放送受信部は、静止衛星８からの電波
を受信アンテナ９で受信し、デジタル衛星チューナ１０
を受信したい番組６の電波にチューニングし、復調部１
１でＱＰＳＫ復調ならびに誤り訂正をして、ＭＰＥＧ２
システム規格のトランスポートストリームを復元し、デ
ータ分離部１２でトランスポートストリームを映像デー
タ用のパケット、音声データ用のパケット、字幕データ
用のパケットに分離する。
【００２６】映像データ伸長部１３は、ＭＰＥＧ２ビデ
オ規格で圧縮された映像データを伸長し、元の映像に復
元する。音声データ伸長部１４は、ＭＰＥＧ２オーディ
オ規格で圧縮された音声データを伸長し、元の音声に復
元する。字幕データ処理部１５では、字幕データを日本
語に翻訳し、翻訳した文字データをオーバーレイ処理部
１６に送る。映像データ伸長部１３で復元された映像に
重ね合わせた後、映像表示処理部１８で映像表示装置２
０に適する信号に変換して、映像表示装置２０に表示さ
せる。
【００２７】字幕データ処理部１５で翻訳され音声合成
されたデータを音声切り替え処理部１７に送り、字幕の
有る海外の番組の時は字幕データ処理部１５で合成され
た音声を音声出力部１９に送り、それ以外の字幕の無い
番組の時は、音声データ伸長部１４で復元された音声を
音声出力部１９に送る。音声出力部１９は、音声再生装
置２１に適する信号に変換して音声再生装置２１で音声
を再生させる。
【００２８】図３は、本発明の実施形態における字幕デ
ータ処理部１５の構成例を示すブロック図である。図３
において、字幕データ分離部２２は、データ分離部１２
から分離された字幕データを座標・文字色・背景色１０
１と、字幕の文字コード１００と、話者の性別１０２
と、話者の話す速度１０３とのデータに分離する。座標
・文字色・背景色１０１は、そのままオーバーレイ処理
部１６へ送る。
【００２９】字幕の文字コード１００は、翻訳処理部２
３で日本語に翻訳され、オーバーレイ処理部１６と音声
合成部２７へ送る。話者の性別１０２は、性別データ切
り替え部２６で男性の声データ２４と女性の声データ２
５とを切り替える信号に使用される。切り替えた音声デ
ータは、音声合成部２７へ送る。話者の話す速度１０３
は、音声合成部２７へ送る。音声合成部２７は、日本語
の文字コードと声のデータと話者の話す速度のデータと
により音声データを作成し、音声切り替え処理部１７へ
送る。
【００３０】図４は、本発明の実施形態におけるオーバ
ーレイ処理部１６の構成例を示す図である。図４におい
て、映像データ伸長部１３で復元された映像３０は、文
字データ重畳処理部２８で、字幕データ処理部１５で分
離された座標・文字色・背景色１０１のデータと、字幕
データ処理部１５で翻訳処理された日本語の文字コード
から文字コード→ビットマップデータ変換部２９で変換
された文字のビットマップデータとにより、文字データ
を映像データに重畳したデータ３１を作成し、映像表示
処理部１８へ送る。
【００３１】以上詳細に第１の実施形態の構成を述べた
が、図１の送出装置１、チューナ１０、復調部１１は、
当業者にとってよく知られており、また本発明とは直接
関係しないので、その詳細な構成の説明は省略する。
【００３２】なお、上記第１の実施形態では、送出装置
と受信部との間のデータの伝送手段として、ケーブル、
または蓄積媒体を用いてもよい。
【００３３】次に、図５と図６とは、本発明の実施形態
における第１の動作例を示す図である。図５と図６とに
基づいて本発明の実施形態における第１の動作例を説明
すると、図５において、番組１の映像データ１、音声デ
ータ１、字幕データ１は、ＭＰＥＧ２のシステム規格の
トランスポートストリームに合うように多重化部２によ
って、各データの伝送レートによって、パケットのレー
トを最適化して、送出装置１に送られ、伝送路のノイズ
対策として誤り訂正用の符号を追加し、ＱＰＳＫ変調し
て、静止衛星８に対して所望の周波数に変換して、送出
アンテナ７で電波を送出する。
【００３４】受信側は、静止衛星８からの電波を受信９
で受信して、チューナ１０で同調し、受信したい周波数
のデータを抽出し、復調部１１に送る。復調部１１で
は、ＱＰＳＫ復調と誤り訂正をして、ＭＰＥＧ２システ
ム規格のトランスポートを生成する。このトランスポー
トストリームは、図６に示すように、自分の受信したい
番組１の映像データ、音声データ、字幕データのみを抽
出する。抽出した映像データは映像データ伸長部１３へ
送り、音声データは音声データ伸長部１４へ送り、字幕
データは字幕データ処理部１５へ送る。映像データ伸長
部１３へ送られたデータは、ＭＰＥＧ２ビデオの規格で
圧縮されているので元の映像に伸長し、オーバーレイ処
理部１６へ送る。音声データ伸長部１４へ送られたデー
タは、ＭＰＥＧ２オーディオの規格で圧縮されているの
で元の音声に伸長し、音声切り替え処理部１７へ送る。
【００３５】字幕データ処理部１５へ送られた字幕デー
タは、図３に示すように字幕データ分離部２２で字幕デ
ータを座標・文字色・背景色１０１と、字幕の文字コー
ド１００と、話者の性別１０２と、話者の話す速度１０
３とに分離する。座標・文字色・背景色１０１のデータ
は、オーバーレイ処理部１６へ送る。字幕の文字コード
１００は、翻訳処理部２３で日本語に翻訳し、オーバー
レイ処理部１６と音声合成部２７へ送る。話者の性別１
０２のデータは、性別データ切り替え部２６で、男性の
声データ２４と女性の声データ２５とを切り替える信号
に使用される。切り替えた音声データは、音声合成部２
７へ送る。話者の話す速度１０３のデータは、音声合成
部２７へ送る。音声合成部２７は、日本語の文字コード
と男性または女性の声のデータと話者の話す速度のデー
タとにより、映像に見合った音声データを作成し、音声
切り替え処理部１７へ送る。
【００３６】オーバーレイ処理部１６では、図４に示す
ように、映像データ伸長部１３で復元された映像３０が
文字データ重畳処理部２８で、字幕データ分離部２２で
分離された座標・文字色・背景色１０１のデータと、字
幕データ処理部１５で翻訳処理された日本語の文字コー
ドとから、文字コード→ビットマップデータ変換部２９
で変換する。文字コード→ビットマップデータ変換部２
９で生成された文字のビットマップデータにより、文字
データを映像データに重畳したデータ３１を作成し、映
像表示処理部１８へ送る。文字データを重畳したデータ
３１は、映像表示処理部１８で映像表示装置２０に見合
うように信号を制御し、映像表示装置２０で映像を表示
する。
【００３７】音声切り替え処理部１７では、字幕が無い
場合は、音声データ伸長部１４で復元された音声データ
を選択し、字幕が有る場合は、字幕データ処理部１５で
合成された音声データを選択し、音声出力部１９へ送
る。音声出力部１９では、音声再生装置２１に見合うよ
うに信号を制御し、音声再生装置２１で音声を再生す
る。
【００３８】図７は、本発明による字幕・音声データ翻
訳装置および字幕・音声データ翻訳方法の第２の実施形
態の構成例を示す図である。本発明の第２の実施形態と
しては、その基本的構成は上記の通りであるが、字幕デ
ータ５の構成の中の話者の性別１０２についてさらに工
夫している。図７において、図２の話者の性別１０２の
代わりに話者のタイプ１０４に置き換えて、字幕データ
処理部１５の音声選択を、音声選択部３２で、正義の味
方の男性の声３３、悪役の男性の声（１）３４、悪役の
男性の声（２）３５、ヒロインの女性の声３６、悪役の
女性の声（１）３７、悪役の女性の声（２）３８、子供
の男の子の声３９、子供の女の子の声４０、老爺の声４
１、老婆の声４２の中から選択し、音声合成部２７へ送
り、翻訳された文字コードと話者の話す速度のデータと
により音声を合成する。
【００３９】第２の実施形態では、字幕の言語を自国語
に翻訳し、且つ音声を吹き替えるために、字幕データに
音声を発声するためのパラメータを追加した字幕データ
を提案している。つまり、海外の字幕データ付きの映画
等のビデオにおいて、字幕を自国語に翻訳して画面に表
示し、且つ音声も自動で吹き替えて自国の言葉に変換し
て再生可能としている。このように、第２の実施形態で
は、色々なタイプの人の声を用意して話者のタイプを選
択できるようにしている。このため、より映像の場面に
応じた音声に吹き替えられ、言語を翻訳しても違和感の
少ない音声に吹き替えられる。これらの構成の要点をま
とめると以下となる。
【００４０】図１において、字幕データ５は、図２に示
すように字幕の文字コード１００と、座標・文字色・背
景色１０１と、話者の性別１０２と、話者の話す速度１
０３とで構成され、デジタルで圧縮された映像データ
３、デジタルで圧縮された音声データ４と共に海外の番
組データ６としてデジタル衛星放送の放送局において準
備される。
【００４１】放送局は、一つまたは複数の番組データ６
を多重化部２で多重化して送出装置１に送り、変調なら
びに誤り訂正用の符号を付加して、送出アンテナ７で人
工衛星８に電波を送出する。受信部は、人工衛星８から
の電波を受信アンテナ９で受信し、チューナ１０で受信
したい番組６の電波にチューニングし、復調部１１で復
調並びに誤り訂正をして、データ分離部１２で映像デー
タ、音声データ、字幕データに分離する。
【００４２】映像データ伸長部１３は、圧縮された映像
データを伸長し元の映像に復元する。音声データ伸長部
１４は、圧縮された音声データを伸長し元の音声に復元
する。字幕データ処理部１５では、字幕データを自国語
に翻訳し、翻訳した文字データをオーバーレイ処理部１
６に送る。映像データ伸長部１３では、復元された映像
に重ね合わせた後、映像表示処理部１８で映像表示装置
２０に適する信号に変換して、映像表示装置２０に表示
させる。
【００４３】字幕データ処理部１５で翻訳され音声合成
されたデータを、音声切り替え処理部１７に送り、字幕
の有る海外の番組の時は字幕データ処理部１５で合成さ
れた音声を音声出力部１９に送り、それ以外の字幕の無
い番組の時は音声データ伸長部１４で復元された音声を
音声出力部１９に送る。音声出力部１９は、音声再生装
置２１に適する信号に変換して音声再生装置２１で音声
を再生させる。
【００４４】このようにして、本実施形態では、海外か
らの番組の字幕データに話者の性別、話者の話す速度を
表わすパラメータを付けているので、受信側で字幕デー
タを翻訳して、字幕を自国の言語に変換し且つ自国の音
声に変換できる。なお、本構成において、各種音声は映
像に応じて任意の声に置き換えて構成してもよい。
【００４５】尚、上述の実施形態は本発明の好適な実施
の一例である。但し、これに限定されるものではなく、
本発明の要旨を逸脱しない範囲内において種々変形実施
が可能である。
【００４６】
【発明の効果】以上の説明より明らかなように、本発明
の字幕・音声データ翻訳装置および字幕・音声データ翻
訳方法は、受信した番組のデータを映像データ用、音声
データ用、字幕データ用の各パケットに分離し、圧縮さ
れた映像データを伸長し、元の映像に復元し、圧縮され
た音声データを伸長し、元の音声に復元する。分離およ
び復元された字幕データを日本語に翻訳し、翻訳したデ
ータに基づき音声合成する。翻訳した文字データを復元
された映像に重ね合わせ、重ね合わされた映像信号を所
定の映像表示装置に表示させ、音声合成された音声を所
定の音声再生装置で音声出力させる。
【００４７】上記によれば、字幕データに話者の性別と
話者の話す速度を表わすパラメータを付けているので、
受信機で字幕データを翻訳し且つ音声も自国の言語に変
換して再生することができる。また、字幕データを翻訳
して音声合成させて音声を出力させているので、声優を
使って吹き替えを行わなくても自国の言語で自動的に再
生できる。
【図面の簡単な説明】
【図１】本発明による字幕・音声データ翻訳装置および
字幕・音声データ翻訳方法の第１の実施形態の構成例を
示すシステムブロック図である。
【図２】本発明の実施形態における字幕データの構成例
を示す図である。
【図３】本発明の実施形態における字幕データ処理部の
構成例を示すブロック図である。
【図４】本発明の実施形態におけるオーバーレイ処理部
の構成例を示す図である。
【図５】本発明の実施形態における第１の動作例を示す
図である。
【図６】本発明の実施形態における第１の動作例を示す
図である。
【図７】本発明による字幕・音声データ翻訳装置および
字幕・音声データ翻訳方法の第２の実施形態の構成例を
示す図である。
【図８】従来の字幕・音声データ翻訳装置および字幕・
音声データ翻訳方法の一構成例を示す図である。
【符号の説明】
１ 送出装置 ２ トランスポートストリーム多重化部 ３ 映像データ ４ 音声データ ５ 字幕データ ６ 番組データ ７ 送出アンテナ ８ 静止衛星 ９ 受信アンテナ １０ デジタル衛星チューナ １１ 復調部 １２ データ分離部 １３ 映像データ伸長部 １４ 音声データ伸長部 １５ 字幕データ処理部 １６ オーバーレイ処理部 １７ 音声切り替え処理部 １８ 映像表示処理部 １９ 音声出力部 ２０ 映像表示装置 ２１ 音声再生装置 ２２ 字幕データ分離部 ２３ 翻訳処理部 ２４ 男性の声データ ２５ 女性の声データ ２６ 性別データ切り替え部 ２７ 音声合成部 ２８ 文字データ重畳処理部 ２９ 文字コード→ビットマップデータ変換部 ３０ 復元された映像 ３１ 映像データに重畳したデータ ３２ 音声選択部 ３３ 正義の味方の男性の声 ３４ 悪役の男性の声（１） ３５ 悪役の男性の声（２） ３６ ヒロインの女性の声 ３７ 悪役の女性の声（１） ３８ 悪役の女性の声（２） ３９ 子供の男の子の声 ４０ 子供の女の子の声 ４１ 老爺の声 ４２ 老婆の声 １００ 字幕の文字コード １０１ 座標・文字色・背景色 １０２ 話者の性別 １０３ 話者の話す速度 １０４ 話者のタイプ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/24

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 パラメータを付加し、画像に対応する翻
    訳を行う字幕・音声データ翻訳装置において、 受信した番組のデータを、映像データと音声データと字
    幕データとに分離するデータ分離手段と、 圧縮された前記映像データを伸長し、元の映像データに
    復元する映像データ伸長手段と、 圧縮された前記音声データを伸長し、元の音声データに
    復元する音声データ伸長手段と、 前記データ分離手段において分離された前記字幕データ
    の翻訳処理を行い、翻訳処理された前記字幕データに基
    づき音声合成する字幕データ処理手段と、 該字幕データ処理手段において処理された前記字幕デー
    タを、前記映像データ伸長手段において復元された前記
    元の映像データに重ね合わせるオーバーレイ処理手段
    と、 該オーバーレイ処理手段において重ね合わされた映像デ
    ータを映像表示する映像表示処理手段と、 前記音声データ伸長手段において復元された前記元の音
    声データと、前記字幕データ処理手段において音声合成
    された前記字幕データとを音声出力させる音声出力手段
    とを有することを特徴とする字幕・音声データ翻訳装
    置。
  2. 【請求項２】 前記字幕データ処理手段は、 前記字幕データを座標、文字色、背景色データと字幕文
    字データと話者のタイプデータと話者の話す速度データ
    とに分離する字幕データ分離部を有し、 前記字幕文字データと前記話者のタイプデータと前記話
    者の話す速度データとに基づいて音声合成を行うことを
    特徴とする請求項１記載の字幕・音声データ翻訳装置。
  3. 【請求項３】 前記字幕データ処理手段は、字幕音声デ
    ータを格納する字幕音声データ格納部と、 前記話者のタイプデータに基づいて前記字幕音声データ
    部から前記字幕音声データを検索する音声データ検索部
    とを有し、 前記話者のタイプデータ別に検索された前記字幕音声デ
    ータを基に音声合成を行うことを特徴とする請求項２記
    載の字幕・音声データ翻訳装置。
  4. 【請求項４】 前記音声データ伸長手段において復元さ
    れた前記元の音声データと、前記字幕データ処理手段に
    おいて音声合成された前記字幕データとの前記音声出力
    手段における音声出力を切り替える音声切り替え処理手
    段を有することを特徴とする請求項１から３のいずれか
    １項に記載の字幕・音声データ翻訳装置。
  5. 【請求項５】 前記音声切り替え手段は、 前記データ分離手段において分離された前記番組のデー
    タのなかに前記字幕データがあるときは、前記字幕デー
    タ処理手段において音声合成された前記字幕データの音
    声出力に切り替え、前記データ分離手段において分離さ
    れた前記番組のデータのなかに前記字幕データがないと
    きは、前記音声データ伸長手段において復元された前記
    元の音声データの音声出力に切り替えることを特徴とす
    る請求項４記載の字幕・音声データ翻訳装置。
  6. 【請求項６】 前記番組のデータは、ＭＰＥＧ２システ
    ム規格のトランスポートストリームであり、前記ＭＰＥ
    Ｇ２システム規格に基づき前記映像データおよび前記音
    声データは圧縮されていることを特徴とする請求項１か
    ら５のいずれか１項に記載の字幕・音声データ翻訳装
    置。
  7. 【請求項７】 前記番組データは、少なくとも映像デー
    タ、音声データ、字幕データが多重化処理されたデータ
    であることを特徴とする請求項１から６のいずれか１項
    に記載の字幕・音声データ翻訳装置。
  8. 【請求項８】 パラメータを付加し、画像に対応する翻
    訳を行う字幕・音声データ翻訳方法において、 受信した番組のデータを、映像データと音声データと字
    幕データとに分離するデータ分離工程と、 圧縮された前記映像データを伸長し、元の映像データに
    復元する映像データ伸長工程と、 圧縮された前記音声データを伸長し、元の音声データに
    復元する音声データ伸長工程と、 前記データ分離工程において分離された前記字幕データ
    の翻訳処理を行い、翻訳処理された前記字幕データに基
    づき音声合成する字幕データ処理工程と、 該字幕データ処理工程において処理された前記字幕デー
    タを、前記映像データ伸長工程において復元された前記
    元の映像データに重ね合わせるオーバーレイ処理工程
    と、 該オーバーレイ処理工程において重ね合わされた映像デ
    ータを映像表示する映像表示処理工程と、 前記音声データ伸長工程において復元された前記元の音
    声データと、前記字幕データ処理工程において音声合成
    された前記字幕データとを音声出力させる音声出力工程
    とを有することを特徴とする字幕・音声データ翻訳方
    法。
  9. 【請求項９】 前記字幕データ処理工程は、 前記字幕データを座標、文字色、背景色データと字幕文
    字データと話者のタイプデータと話者の話す速度データ
    とに分離し、 前記字幕文字データと前記話者のタイプデータと前記話
    者の話す速度データとに基づいて音声合成を行うことを
    特徴とする請求項８記載の字幕・音声データ翻訳方法。
  10. 【請求項１０】 前記字幕データ処理工程は、前記話者
    のタイプデータに基づいて、字幕音声データを格納する
    字幕音声データ格納部から前記話者のタイプデータに対
    応する字幕音声データを検索し、前記話者のタイプデー
    タ別に検索された前記字幕音声データを基に音声合成を
    行うことを特徴とする請求項９記載の字幕・音声データ
    翻訳方法。
  11. 【請求項１１】 前記音声データ伸長工程において復元
    された前記元の音声データと前記字幕データ処理工程に
    おいて音声合成された前記字幕データとの前記音声出力
    工程における音声出力を切り替える音声切り替え処理工
    程を有することを特徴とする請求項８から１０のいずれ
    か１項に記載の字幕・音声データ翻訳方法。
  12. 【請求項１２】 前記音声切り替え工程は、 前記データ分離工程において分離された前記番組のデー
    タのなかに前記字幕データがあるときは、前記字幕デー
    タ処理工程において音声合成された前記字幕データの音
    声出力に切り替え、前記データ分離工程において分離さ
    れた前記番組のデータのなかに前記字幕データがないと
    きは、前記音声データ伸長工程において復元された前記
    元の音声データの音声出力に切り替えることを特徴とす
    る請求項１１記載の字幕・音声データ翻訳方法。
  13. 【請求項１３】 前記番組のデータは、ＭＰＥＧ２シス
    テム規格のトランスポートストリームであり、前記ＭＰ
    ＥＧ２システム規格に基づき前記映像データおよび前記
    音声データが圧縮されていることを特徴とする請求項８
    から１２のいずれか１項に記載の字幕・音声データ翻訳
    方法。
  14. 【請求項１４】 前記番組データは、少なくとも映像デ
    ータ、音声データ、字幕データが多重化処理されたデー
    タであることを特徴とする請求項８から１３のいずれか
    １項に記載の字幕・音声データ翻訳方法。
JP10254101A 1998-09-08 1998-09-08 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法 Pending JP2000092460A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10254101A JP2000092460A (ja) 1998-09-08 1998-09-08 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10254101A JP2000092460A (ja) 1998-09-08 1998-09-08 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法

Publications (1)

Publication Number Publication Date
JP2000092460A true JP2000092460A (ja) 2000-03-31

Family

ID=17260245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10254101A Pending JP2000092460A (ja) 1998-09-08 1998-09-08 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法

Country Status (1)

Country Link
JP (1) JP2000092460A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123282A (ja) * 2000-10-17 2002-04-26 Brother Ind Ltd 翻訳装置および記録媒体
WO2003030018A1 (en) * 2001-09-28 2003-04-10 Koninklijke Philips Electronics N.V. Multi-lingual transcription system
WO2005111861A1 (en) * 2004-05-14 2005-11-24 Creative Technology Ltd A subtitle translation engine
US7054804B2 (en) 2002-05-20 2006-05-30 International Buisness Machines Corporation Method and apparatus for performing real-time subtitles translation
WO2006129247A1 (en) * 2005-05-31 2006-12-07 Koninklijke Philips Electronics N. V. A method and a device for performing an automatic dubbing on a multimedia signal
JP2007202065A (ja) * 2006-01-30 2007-08-09 Daikin Ind Ltd 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
WO2008032184A3 (en) * 2006-09-13 2008-06-12 Nortel Networks Ltd Closed captioning language translation
JP2011139241A (ja) * 2009-12-28 2011-07-14 Clarion Co Ltd テレビ受信装置、テレビ受信装置の制御方法及び制御プログラム
JP2012512424A (ja) * 2008-12-15 2012-05-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声合成のための方法および装置
CN110119515A (zh) * 2019-04-18 2019-08-13 珠海格力电器股份有限公司 一种翻译方法、装置、终端及可读存储介质
CN112672213A (zh) * 2020-12-18 2021-04-16 努比亚技术有限公司 一种视频信息处理方法、设备及计算机可读存储介质
WO2024063313A1 (ko) * 2022-09-21 2024-03-28 삼성전자주식회사 전자 장치 및 그 오디오 트랙 획득 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002123282A (ja) * 2000-10-17 2002-04-26 Brother Ind Ltd 翻訳装置および記録媒体
WO2003030018A1 (en) * 2001-09-28 2003-04-10 Koninklijke Philips Electronics N.V. Multi-lingual transcription system
US7054804B2 (en) 2002-05-20 2006-05-30 International Buisness Machines Corporation Method and apparatus for performing real-time subtitles translation
WO2005111861A1 (en) * 2004-05-14 2005-11-24 Creative Technology Ltd A subtitle translation engine
WO2006129247A1 (en) * 2005-05-31 2006-12-07 Koninklijke Philips Electronics N. V. A method and a device for performing an automatic dubbing on a multimedia signal
JP4544166B2 (ja) * 2006-01-30 2010-09-15 ダイキン工業株式会社 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
JP2007202065A (ja) * 2006-01-30 2007-08-09 Daikin Ind Ltd 放送画像生成方法、放送画像生成プログラム及び放送画像生成装置
WO2008032184A3 (en) * 2006-09-13 2008-06-12 Nortel Networks Ltd Closed captioning language translation
US8045054B2 (en) 2006-09-13 2011-10-25 Nortel Networks Limited Closed captioning language translation
JP2012512424A (ja) * 2008-12-15 2012-05-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声合成のための方法および装置
JP2011139241A (ja) * 2009-12-28 2011-07-14 Clarion Co Ltd テレビ受信装置、テレビ受信装置の制御方法及び制御プログラム
CN110119515A (zh) * 2019-04-18 2019-08-13 珠海格力电器股份有限公司 一种翻译方法、装置、终端及可读存储介质
CN112672213A (zh) * 2020-12-18 2021-04-16 努比亚技术有限公司 一种视频信息处理方法、设备及计算机可读存储介质
WO2024063313A1 (ko) * 2022-09-21 2024-03-28 삼성전자주식회사 전자 장치 및 그 오디오 트랙 획득 방법

Similar Documents

Publication Publication Date Title
KR19990072387A (ko) 디지탈방송수신장치및수신방법
JPH09162821A (ja) 多重放送システムとこのシステムで使用される放送送信装置および放送受信装置
JP2000092460A (ja) 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法
JP4068667B2 (ja) 楽曲配信装置、楽曲受信装置、楽曲配信方法、楽曲受信方法および楽曲配信システム
JP2004080476A (ja) ディジタル映像再生装置
EP1097578A1 (en) Method and arrangement for transmitting and receiving encoded images
JP2000138877A (ja) デジタル放送送信装置および受信装置
JP2002262246A (ja) 出力情報制御装置及び出力情報制御方法
JP2002501340A (ja) ビデオ・リップシンク遅延を与える装置およびその方法
JP2001285812A (ja) 放送受信装置
KR20080086640A (ko) 디지털 복합 수신기를 통한 수화·자막 수신장치 및 방법
JP4269840B2 (ja) デジタル放送対応受信端末装置
JP3162452B2 (ja) 番組追随情報によりチャンネル制御されるテレビジョン受信機および画像記録装置
JP2004172864A (ja) 字幕表示制御装置
KR100277937B1 (ko) 엠피 3 수신 가능한 디지털 티브이 송/수신 시스템
KR20000074244A (ko) 와이드 디지털 티브이의 자막 데이터 디스플레이 장치 및 방법
JPH09289616A (ja) テレビジョン信号受信装置
KR100289705B1 (ko) 디지탈 텔레비젼의 음량 조절 방법
JP4210997B2 (ja) デジタル放送受信装置
JP3281860B2 (ja) ディジタル放送受信機
JP2963893B1 (ja) 遅延時間測定装置
KR100246456B1 (ko) 비디오신호 오버레이장치
JPH0955921A (ja) Ｉｓｄｂ用送信装置およびその受信装置
KR100285588B1 (ko) 위성방송시스템의다중앵글서비스방법
JPH09284238A (ja) ディジタル放送の送信及び受信システム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020122