JP2002374494A - ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 - Google Patents
ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。Info
- Publication number
- JP2002374494A JP2002374494A JP2001179783A JP2001179783A JP2002374494A JP 2002374494 A JP2002374494 A JP 2002374494A JP 2001179783 A JP2001179783 A JP 2001179783A JP 2001179783 A JP2001179783 A JP 2001179783A JP 2002374494 A JP2002374494 A JP 2002374494A
- Authority
- JP
- Japan
- Prior art keywords
- file
- subtitle text
- video
- text file
- video content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】難聴者、高齢者、他言語利用者等のエンドユー
ザにとって、使い勝手の良いビデオコンテンツを生成す
るシステムを提供する。 【解決手段】ビデオ映像ファイルを生成するビデオ映像
ファイル生成手段７と、字幕テキストファイルを生成す
る音声認識手段２と、字幕テキストファイルを修正・編
集する第１字幕テキストファイル修正・編集手段３と、
ビデオ映像ファイルと字幕テキストファイルとの再生制
御情報を生成し、これらビデオ映像ファイル、字幕テキ
ストファイルおよび再生制御情報を含む字幕付きビデオ
コンテンツファイルを生成するビデオコンテンツ生成手
段８と、を備えるシステムとした。
ザにとって、使い勝手の良いビデオコンテンツを生成す
るシステムを提供する。 【解決手段】ビデオ映像ファイルを生成するビデオ映像
ファイル生成手段７と、字幕テキストファイルを生成す
る音声認識手段２と、字幕テキストファイルを修正・編
集する第１字幕テキストファイル修正・編集手段３と、
ビデオ映像ファイルと字幕テキストファイルとの再生制
御情報を生成し、これらビデオ映像ファイル、字幕テキ
ストファイルおよび再生制御情報を含む字幕付きビデオ
コンテンツファイルを生成するビデオコンテンツ生成手
段８と、を備えるシステムとした。
Description
【０００１】
【発明の属する技術分野】本発明は、ブラウザで表示す
るビデオコンテンツファイルを編集・生成するためのビ
デオコンテンツファイル生成システムおよびそのような
ビデオコンテンツファイルを検索するためのビデオコン
テンツファイル検索方法に関する。
るビデオコンテンツファイルを編集・生成するためのビ
デオコンテンツファイル生成システムおよびそのような
ビデオコンテンツファイルを検索するためのビデオコン
テンツファイル検索方法に関する。
【０００２】
【従来の技術】ビデオ映像とともに字幕が表示されるこ
とは、音声の聴き取りが困難な聴覚障害者や高齢者、外
国語の習得を目指す者、外国語を母国語とする者にとっ
て内容を理解するために有益である。このような観点か
らコンピュータ上のブラウザでビデオ映像を表示する場
合、字幕付きのビデオ映像を表示できるようになされて
いる。
とは、音声の聴き取りが困難な聴覚障害者や高齢者、外
国語の習得を目指す者、外国語を母国語とする者にとっ
て内容を理解するために有益である。このような観点か
らコンピュータ上のブラウザでビデオ映像を表示する場
合、字幕付きのビデオ映像を表示できるようになされて
いる。
【０００３】従来、ブラウザで表示するビデオ映像の字
幕は、ビデオ映像の編集時にオペレータがビデオ映像の
再生時に出力される音声を聴き取って作成した文章をビ
デオ映像化し、元のビデオ映像と合成して新たに字幕付
きのビデオ映像を生成することにより作成されていた。
幕は、ビデオ映像の編集時にオペレータがビデオ映像の
再生時に出力される音声を聴き取って作成した文章をビ
デオ映像化し、元のビデオ映像と合成して新たに字幕付
きのビデオ映像を生成することにより作成されていた。
【０００４】また、外国語の字幕付きのビデオ映像を生
成する場合には、上記作業に加えて翻訳家がビデオ映像
の再生時に出力される音声を翻訳して文章を作成すると
いう作業が必要であった。さらにまた、ビデオ映像とと
もに外国語の音声を再生できるようにするには、従来で
も外国映画のテレビ放映時に用いられているような声優
による音声の吹き替え作業を行う必要があった。
成する場合には、上記作業に加えて翻訳家がビデオ映像
の再生時に出力される音声を翻訳して文章を作成すると
いう作業が必要であった。さらにまた、ビデオ映像とと
もに外国語の音声を再生できるようにするには、従来で
も外国映画のテレビ放映時に用いられているような声優
による音声の吹き替え作業を行う必要があった。
【０００５】しかしながら、従来技術における字幕化で
は、オペレータや翻訳家がビデオ映像の音声を聴き取っ
て文書化し、さらにこの文書に基づいて文書をビデオ映
像化し、字幕を付加するという作業が必要となり、字幕
を作成する作業に時間やコストがかかるという問題があ
った。
は、オペレータや翻訳家がビデオ映像の音声を聴き取っ
て文書化し、さらにこの文書に基づいて文書をビデオ映
像化し、字幕を付加するという作業が必要となり、字幕
を作成する作業に時間やコストがかかるという問題があ
った。
【０００６】また従来技術の字幕はビデオ映像内に映像
の一部として一体に合成されているため、ブラウザを用
いて再生される映像を見ているユーザが映像上の字の大
きさや字体を調整することができなかった。また、伝送
品質が悪いネットワークを利用してビデオ映像を受け取
る場合に、ビデオ映像の品質とともに字幕の品質も劣化
し、字幕が読みにくくなるという現象が起こるおそれが
あった。
の一部として一体に合成されているため、ブラウザを用
いて再生される映像を見ているユーザが映像上の字の大
きさや字体を調整することができなかった。また、伝送
品質が悪いネットワークを利用してビデオ映像を受け取
る場合に、ビデオ映像の品質とともに字幕の品質も劣化
し、字幕が読みにくくなるという現象が起こるおそれが
あった。
【０００７】また、ビデオ映像のビデオコンテンツファ
イルを検索する場合は、テキストデータとして登録され
ているビデオコンテンツファイルのタイトルのみを用い
てしか検索をすることができなかった。したがって、ビ
デオコンテンツファイルの内容等に関連する検索キーワ
ードを用いて多数のビデオコンテンツファイルの中から
所望のビデオコンテンツファイルを検索・抽出するとい
うような高度な検索には対応できなかった。従来技術は
これらのような問題点を有しており、改善が求められて
いた。
イルを検索する場合は、テキストデータとして登録され
ているビデオコンテンツファイルのタイトルのみを用い
てしか検索をすることができなかった。したがって、ビ
デオコンテンツファイルの内容等に関連する検索キーワ
ードを用いて多数のビデオコンテンツファイルの中から
所望のビデオコンテンツファイルを検索・抽出するとい
うような高度な検索には対応できなかった。従来技術は
これらのような問題点を有しており、改善が求められて
いた。
【０００８】また、映像上に字幕を生成する従来技術と
して、例えば、特開平１１−１７５０９２号公報に記載
において、オーディオデータから派生したテキストデー
タをイメージデータと関連付けて表示する方法・システ
ムが開示されている。この方法・システムでは、ディジ
タルカメラ等から取得した静止画像のイメージデータに
関連づけられて記憶・保存されているオーディオデータ
をテキストデータに変換し、このイメージデータ上にイ
ンポートして出力表示するという方法・システムであ
る。
して、例えば、特開平１１−１７５０９２号公報に記載
において、オーディオデータから派生したテキストデー
タをイメージデータと関連付けて表示する方法・システ
ムが開示されている。この方法・システムでは、ディジ
タルカメラ等から取得した静止画像のイメージデータに
関連づけられて記憶・保存されているオーディオデータ
をテキストデータに変換し、このイメージデータ上にイ
ンポートして出力表示するという方法・システムであ
る。
【０００９】しかしながら、特開平１１−１７５０９２
号公報に記載の方法・システムは、静止画像を対象とす
るものであり、ブラウザ上で動画像を再生するために開
発されたというものではなかった。このため、ブラウザ
上で動画像を再生するためには新たな技術思想の基に開
発された方法・システムとする必要がある。
号公報に記載の方法・システムは、静止画像を対象とす
るものであり、ブラウザ上で動画像を再生するために開
発されたというものではなかった。このため、ブラウザ
上で動画像を再生するためには新たな技術思想の基に開
発された方法・システムとする必要がある。
【００１０】
【発明が解決しようとする課題】本発明は上記のような
問題点を解決するためになされたものであり、その目的
は、コンピュータの専門家でない難聴者、高齢者、他言
語利用者であるエンドユーザが、（１）他国語での字幕
作成と音声とを容易に吹き替えること、（２）伝送品質
が悪いネットワークでの字幕の品質劣化を少なくしてビ
デオ映像の字幕を認識しやすくすること、（３）ビデオ
コンテンツファイルの検索を容易にすること、をともに
実現できるようなビデオコンテンツを生成するシステム
を提供することにある。
問題点を解決するためになされたものであり、その目的
は、コンピュータの専門家でない難聴者、高齢者、他言
語利用者であるエンドユーザが、（１）他国語での字幕
作成と音声とを容易に吹き替えること、（２）伝送品質
が悪いネットワークでの字幕の品質劣化を少なくしてビ
デオ映像の字幕を認識しやすくすること、（３）ビデオ
コンテンツファイルの検索を容易にすること、をともに
実現できるようなビデオコンテンツを生成するシステム
を提供することにある。
【００１１】
【課題を解決するための手段】上記課題を解決するた
め、請求項１の発明に係るビデオコンテンツファイル生
成システムは、動画像であるビデオ映像信号及び音声信
号を含む映像音声信号を加工してブラウザで表示するた
めの字幕付きビデオコンテンツファイルを生成するビデ
オコンテンツファイル生成システムであって、ビデオ映
像信号を用いてビデオ映像ファイルを生成するビデオ映
像ファイル生成手段と、音声信号を用いて字幕テキスト
ファイルを生成する音声認識手段と、前記音声認識手段
により生成された字幕テキストファイルを修正・編集し
て編集済みの字幕テキストファイルを生成する第１字幕
テキストファイル修正・編集手段と、前記ビデオ映像フ
ァイル生成手段から出力されたビデオ映像ファイルと前
記第１字幕テキストファイル修正・編集手段から出力さ
れた字幕テキストファイルとをリンクして再生する再生
制御情報を作成し、これらビデオ映像ファイル、字幕テ
キストファイルおよび再生制御情報を含む字幕付きビデ
オコンテンツファイルを生成するビデオコンテンツ生成
手段と、を備えることを特徴とする。
め、請求項１の発明に係るビデオコンテンツファイル生
成システムは、動画像であるビデオ映像信号及び音声信
号を含む映像音声信号を加工してブラウザで表示するた
めの字幕付きビデオコンテンツファイルを生成するビデ
オコンテンツファイル生成システムであって、ビデオ映
像信号を用いてビデオ映像ファイルを生成するビデオ映
像ファイル生成手段と、音声信号を用いて字幕テキスト
ファイルを生成する音声認識手段と、前記音声認識手段
により生成された字幕テキストファイルを修正・編集し
て編集済みの字幕テキストファイルを生成する第１字幕
テキストファイル修正・編集手段と、前記ビデオ映像フ
ァイル生成手段から出力されたビデオ映像ファイルと前
記第１字幕テキストファイル修正・編集手段から出力さ
れた字幕テキストファイルとをリンクして再生する再生
制御情報を作成し、これらビデオ映像ファイル、字幕テ
キストファイルおよび再生制御情報を含む字幕付きビデ
オコンテンツファイルを生成するビデオコンテンツ生成
手段と、を備えることを特徴とする。
【００１２】また、請求項２の発明に係るビデオコンテ
ンツファイル生成システムは、請求項１に記載のビデオ
コンテンツファイル生成システムにおいて、前記第１字
幕テキストファイル修正・編集手段から出力された編集
済みの字幕テキストファイルを所望の他言語へ翻訳して
翻訳済みの字幕テキストファイルを生成する字幕テキス
トファイル翻訳手段と、前記字幕テキストファイル翻訳
手段により生成された翻訳済みの字幕テキストファイル
を修正・編集して翻訳編集済みの字幕テキストファイル
を生成する第２字幕テキストファイル修正・編集手段
と、を備え、前記ビデオコンテンツ生成手段は、第２字
幕テキストファイル修正・編集手段から出力された翻訳
編集済みの字幕テキストファイルを用いて字幕付きビデ
オコンテンツファイルを生成することを特徴とする。
ンツファイル生成システムは、請求項１に記載のビデオ
コンテンツファイル生成システムにおいて、前記第１字
幕テキストファイル修正・編集手段から出力された編集
済みの字幕テキストファイルを所望の他言語へ翻訳して
翻訳済みの字幕テキストファイルを生成する字幕テキス
トファイル翻訳手段と、前記字幕テキストファイル翻訳
手段により生成された翻訳済みの字幕テキストファイル
を修正・編集して翻訳編集済みの字幕テキストファイル
を生成する第２字幕テキストファイル修正・編集手段
と、を備え、前記ビデオコンテンツ生成手段は、第２字
幕テキストファイル修正・編集手段から出力された翻訳
編集済みの字幕テキストファイルを用いて字幕付きビデ
オコンテンツファイルを生成することを特徴とする。
【００１３】また、請求項３の発明に係るビデオコンテ
ンツファイル生成システムは、請求項２に記載のビデオ
コンテンツファイル生成システムにおいて、前記第２字
幕テキストファイル修正・編集手段から出力された翻訳
編集済みの字幕テキストファイルを音声ファイル化して
他言語音声ファイルを生成する音声ファイル生成手段を
備え、前記ビデオコンテンツ生成手段は、ビデオ映像フ
ァイル、翻訳編集済みの字幕テキストファイルおよび再
生制御情報にこの他言語音声ファイルを付加した字幕付
きビデオコンテンツファイルを生成することを特徴とす
る。
ンツファイル生成システムは、請求項２に記載のビデオ
コンテンツファイル生成システムにおいて、前記第２字
幕テキストファイル修正・編集手段から出力された翻訳
編集済みの字幕テキストファイルを音声ファイル化して
他言語音声ファイルを生成する音声ファイル生成手段を
備え、前記ビデオコンテンツ生成手段は、ビデオ映像フ
ァイル、翻訳編集済みの字幕テキストファイルおよび再
生制御情報にこの他言語音声ファイルを付加した字幕付
きビデオコンテンツファイルを生成することを特徴とす
る。
【００１４】また、請求項４の発明に係るビデオコンテ
ンツファイル検索方法は、請求項１〜請求項３の何れか
１項に記載のビデオコンテンツファイル生成システムが
生成したビデオコンテンツファイルを検索する方法であ
って、所望の検索キーワードを入力し、前記検索キーワ
ードが字幕テキストファイルの中に含まれているような
ビデオコンテンツファイルを検索エンジンを用いて検索
し、検索キーワードを含む全てのビデオコンテンツファ
イルを検索結果として出力することを特徴とする。
ンツファイル検索方法は、請求項１〜請求項３の何れか
１項に記載のビデオコンテンツファイル生成システムが
生成したビデオコンテンツファイルを検索する方法であ
って、所望の検索キーワードを入力し、前記検索キーワ
ードが字幕テキストファイルの中に含まれているような
ビデオコンテンツファイルを検索エンジンを用いて検索
し、検索キーワードを含む全てのビデオコンテンツファ
イルを検索結果として出力することを特徴とする。
【００１５】
【発明の実施の形態】以下、図に沿って本発明の請求項
１〜４に係る発明となるビデオコンテンツファイル生成
システムおよびビデオコンテンツファイルの検索方法の
実施形態について説明する。図１は本実施形態のビデオ
コンテンツファイル生成システム１０００の構成図であ
る。ビデオコンテンツファイル生成システム１０００
は、記録再生手段１、音声認識手段２、第１字幕テキス
トファイル修正・編集手段３、字幕テキストファイル翻
訳手段４、第２字幕テキストファイル修正・編集手段
５、音声ファイル生成手段６、ビデオ映像ファイル生成
手段７、ビデオコンテンツ生成手段８を備えている。
１〜４に係る発明となるビデオコンテンツファイル生成
システムおよびビデオコンテンツファイルの検索方法の
実施形態について説明する。図１は本実施形態のビデオ
コンテンツファイル生成システム１０００の構成図であ
る。ビデオコンテンツファイル生成システム１０００
は、記録再生手段１、音声認識手段２、第１字幕テキス
トファイル修正・編集手段３、字幕テキストファイル翻
訳手段４、第２字幕テキストファイル修正・編集手段
５、音声ファイル生成手段６、ビデオ映像ファイル生成
手段７、ビデオコンテンツ生成手段８を備えている。
【００１６】このビデオコンテンツファイル生成システ
ム１０００には、ビデオ映像信号及び音声信号が組み合
わされた映像音声信号が入力される。この映像音声信号
は、まず、記録再生手段１へ入力される。記録再生手段
１は、入力された映像音声信号を記録媒体に記録し、こ
の映像音声信号を必要時に再生できる手段である。例え
ば、記録媒体としてビデオカセットテープを用いるＶＴ
Ｒ（Video Tape Recorder）装置や記録媒体としてハ
ードディスクを用いるハードディスクドライブ装置など
を記録再生手段１とすることができる。
ム１０００には、ビデオ映像信号及び音声信号が組み合
わされた映像音声信号が入力される。この映像音声信号
は、まず、記録再生手段１へ入力される。記録再生手段
１は、入力された映像音声信号を記録媒体に記録し、こ
の映像音声信号を必要時に再生できる手段である。例え
ば、記録媒体としてビデオカセットテープを用いるＶＴ
Ｒ（Video Tape Recorder）装置や記録媒体としてハ
ードディスクを用いるハードディスクドライブ装置など
を記録再生手段１とすることができる。
【００１７】この記録再生手段１では映像音声信号を再
生してビデオ映像信号と音声信号とを別系統で出力す
る。音声信号は音声認識手段２へ出力され、また、ビデ
オ映像信号はビデオ映像ファイル生成手段７へ出力され
る。後述するが、これら音声認識手段２は字幕テキスト
ファイルを生成し、およびビデオ映像ファイル生成手段
７はビデオ映像ファイルを生成することとなる。
生してビデオ映像信号と音声信号とを別系統で出力す
る。音声信号は音声認識手段２へ出力され、また、ビデ
オ映像信号はビデオ映像ファイル生成手段７へ出力され
る。後述するが、これら音声認識手段２は字幕テキスト
ファイルを生成し、およびビデオ映像ファイル生成手段
７はビデオ映像ファイルを生成することとなる。
【００１８】なお、記録再生手段１へ映像音声信号が入
力される場合であって、記録再生手段１により記録媒体
へ記録されることなく、入力された映像音声信号が記録
再生手段１で分離されて直ちに音声信号が音声認識手段
２へ出力され、また、ビデオ映像信号がビデオ映像ファ
イル生成手段７へ出力されるような場合もある。また、
図示しないが、記録再生手段１を介さないでビデオ映像
信号と音声信号とがそれぞれ別系統で入力され、音声信
号が音声認識手段２へ出力され、また、ビデオ映像信号
がビデオ映像ファイル生成手段７へ出力されるような場
合もありうる。これらのような場合とは、例えばＴＶカ
メラにより現在撮影されているライブ映像のビデオ映像
信号および音声信号などを入力する場合が挙げられる。
本実施形態ではこれらのような入力形態も対応できるも
のとする。
力される場合であって、記録再生手段１により記録媒体
へ記録されることなく、入力された映像音声信号が記録
再生手段１で分離されて直ちに音声信号が音声認識手段
２へ出力され、また、ビデオ映像信号がビデオ映像ファ
イル生成手段７へ出力されるような場合もある。また、
図示しないが、記録再生手段１を介さないでビデオ映像
信号と音声信号とがそれぞれ別系統で入力され、音声信
号が音声認識手段２へ出力され、また、ビデオ映像信号
がビデオ映像ファイル生成手段７へ出力されるような場
合もありうる。これらのような場合とは、例えばＴＶカ
メラにより現在撮影されているライブ映像のビデオ映像
信号および音声信号などを入力する場合が挙げられる。
本実施形態ではこれらのような入力形態も対応できるも
のとする。
【００１９】続いて音声信号の処理について説明する。
音声認識手段２は、音声信号から字幕テキストデータを
順次生成していき、最終的にこれら字幕テキストデータ
の集合である字幕テキストファイルを生成する。音声認
識手段２は、具体的には音声認識プログラムなどであ
る。
音声認識手段２は、音声信号から字幕テキストデータを
順次生成していき、最終的にこれら字幕テキストデータ
の集合である字幕テキストファイルを生成する。音声認
識手段２は、具体的には音声認識プログラムなどであ
る。
【００２０】第１字幕テキストファイル修正・編集手段
３は、音声認識手段２から出力される字幕テキストファ
イルの字幕テキストデータに誤りがあるとオペレータが
認めたような場合にはオペレータが操作して字幕テキス
トファイルの字幕テキストデータを修正するために設け
られている。また、字幕テキストファイルを分割したり
するための編集機能も併せて有している。第１字幕テキ
ストファイル修正・編集手段３は、具体的には編集用の
エディタプログラムなどである。この第１字幕テキスト
ファイル修正・編集手段３は、字幕テキストファイルの
編集・修正作業終了後に編集済みの字幕テキストファイ
ルを生成して、ビデオコンテンツ生成手段８へ出力す
る。
３は、音声認識手段２から出力される字幕テキストファ
イルの字幕テキストデータに誤りがあるとオペレータが
認めたような場合にはオペレータが操作して字幕テキス
トファイルの字幕テキストデータを修正するために設け
られている。また、字幕テキストファイルを分割したり
するための編集機能も併せて有している。第１字幕テキ
ストファイル修正・編集手段３は、具体的には編集用の
エディタプログラムなどである。この第１字幕テキスト
ファイル修正・編集手段３は、字幕テキストファイルの
編集・修正作業終了後に編集済みの字幕テキストファイ
ルを生成して、ビデオコンテンツ生成手段８へ出力す
る。
【００２１】さらに、他言語の字幕が所望の場合は、字
幕テキストファイル翻訳手段４により翻訳作業を行う。
字幕テキストファイル翻訳手段４は、第１字幕テキスト
ファイル修正・編集手段３により生成された編集済みの
字幕テキストファイルの字幕テキストデータから所望の
他言語へ翻訳して翻訳済みの字幕テキストデータを生成
していき、最終的に翻訳済みの字幕テキストファイルを
生成する。字幕テキストファイル翻訳手段４は、具体的
には翻訳プログラムなどである。
幕テキストファイル翻訳手段４により翻訳作業を行う。
字幕テキストファイル翻訳手段４は、第１字幕テキスト
ファイル修正・編集手段３により生成された編集済みの
字幕テキストファイルの字幕テキストデータから所望の
他言語へ翻訳して翻訳済みの字幕テキストデータを生成
していき、最終的に翻訳済みの字幕テキストファイルを
生成する。字幕テキストファイル翻訳手段４は、具体的
には翻訳プログラムなどである。
【００２２】第２字幕テキストファイル修正・編集手段
５は、字幕テキストファイル翻訳手段４から出力される
字幕テキストファイルの字幕テキストデータに誤りがあ
るとオペレータが認めたような場合にはオペレータが操
作して字幕テキストファイルの字幕テキストデータを修
正するために設けられている。また、翻訳済みの字幕テ
キストファイルを分割したりするための編集機能も併せ
て有している。第２字幕テキストファイル修正・編集手
段５は、具体的には編集用のエディタプログラムなどで
ある。この第２字幕テキストファイル修正・編集手段５
は、字幕テキストファイルの編集・修正作業終了後に翻
訳編集済みの字幕テキストファイルを生成し、音声ファ
イル生成手段６およびビデオコンテンツ生成手段８へ出
力する。
５は、字幕テキストファイル翻訳手段４から出力される
字幕テキストファイルの字幕テキストデータに誤りがあ
るとオペレータが認めたような場合にはオペレータが操
作して字幕テキストファイルの字幕テキストデータを修
正するために設けられている。また、翻訳済みの字幕テ
キストファイルを分割したりするための編集機能も併せ
て有している。第２字幕テキストファイル修正・編集手
段５は、具体的には編集用のエディタプログラムなどで
ある。この第２字幕テキストファイル修正・編集手段５
は、字幕テキストファイルの編集・修正作業終了後に翻
訳編集済みの字幕テキストファイルを生成し、音声ファ
イル生成手段６およびビデオコンテンツ生成手段８へ出
力する。
【００２３】音声ファイル生成手段６は、第２字幕テキ
ストファイル修正・編集手段５から出力された翻訳編集
済みの字幕テキストファイルの字幕テキストデータを順
次他言語音声データに変換していき、これら他言語音声
データを集めた他言語音声ファイルを生成する。そし
て、この他言語音声ファイルをビデオコンテンツ生成手
段８へ出力する。以上説明したように、ビデオコンテン
ツファイル生成システム１０００では、音声信号から、
音声信号と同じ言語の字幕テキストファイル、更に音声
信号と異なる他言語の字幕テキストファイル、および、
他言語の音声ファイルが生成される。
ストファイル修正・編集手段５から出力された翻訳編集
済みの字幕テキストファイルの字幕テキストデータを順
次他言語音声データに変換していき、これら他言語音声
データを集めた他言語音声ファイルを生成する。そし
て、この他言語音声ファイルをビデオコンテンツ生成手
段８へ出力する。以上説明したように、ビデオコンテン
ツファイル生成システム１０００では、音声信号から、
音声信号と同じ言語の字幕テキストファイル、更に音声
信号と異なる他言語の字幕テキストファイル、および、
他言語の音声ファイルが生成される。
【００２４】続いて、ビデオ映像信号の処理について説
明する。ビデオ映像ファイル生成手段７は、記録再生手
段１が再生したビデオ映像信号を用いて映像ブロックデ
ータを順次生成していき、これら映像ブロックデータの
集合であるビデオ映像ファイルを生成する。このビデオ
映像ファイルはビデオコンテンツ生成手段８へ出力され
る。
明する。ビデオ映像ファイル生成手段７は、記録再生手
段１が再生したビデオ映像信号を用いて映像ブロックデ
ータを順次生成していき、これら映像ブロックデータの
集合であるビデオ映像ファイルを生成する。このビデオ
映像ファイルはビデオコンテンツ生成手段８へ出力され
る。
【００２５】続いて、これらビデオ映像ファイル、字幕
テキストファイル、および、他言語音声ファイルが入力
されるビデオコンテンツ生成手段８の機能について概略
説明する。ビデオコンテンツ生成手段８では、入力され
るビデオ映像ファイルおよび字幕テキストファイルを用
いて、ビデオ映像ファイルの映像ブロックデータの再生
中における字幕テキストファイルの字幕テキストデータ
の出力タイミングを制御するための再生制御情報を作成
し、これらビデオ映像ファイル、字幕テキストファイル
および再生制御情報を含む字幕付きビデオコンテンツフ
ァイルを生成する。このビデオコンテンツファイルはパ
ーソナルコンピュータなどで処理できるデジタルデータ
のファイルである。ビデオコンテンツ生成手段８は、具
体的には映像の編集ができるような業務用ミキシングコ
ンソールなどである。
テキストファイル、および、他言語音声ファイルが入力
されるビデオコンテンツ生成手段８の機能について概略
説明する。ビデオコンテンツ生成手段８では、入力され
るビデオ映像ファイルおよび字幕テキストファイルを用
いて、ビデオ映像ファイルの映像ブロックデータの再生
中における字幕テキストファイルの字幕テキストデータ
の出力タイミングを制御するための再生制御情報を作成
し、これらビデオ映像ファイル、字幕テキストファイル
および再生制御情報を含む字幕付きビデオコンテンツフ
ァイルを生成する。このビデオコンテンツファイルはパ
ーソナルコンピュータなどで処理できるデジタルデータ
のファイルである。ビデオコンテンツ生成手段８は、具
体的には映像の編集ができるような業務用ミキシングコ
ンソールなどである。
【００２６】なお、字幕テキストファイルについて、例
えば、第１字幕テキストファイル修正・編集手段３から
出力された編集済みの字幕テキストファイルであった
り、また、第２字幕テキストファイル修正・編集手段５
から出力された翻訳編集された字幕テキストファイルで
あったりする。これら２種の字幕テキストファイルのう
ち何れを用いるかは適宜選択される。
えば、第１字幕テキストファイル修正・編集手段３から
出力された編集済みの字幕テキストファイルであった
り、また、第２字幕テキストファイル修正・編集手段５
から出力された翻訳編集された字幕テキストファイルで
あったりする。これら２種の字幕テキストファイルのう
ち何れを用いるかは適宜選択される。
【００２７】なお、音声ファイル生成手段６から他言語
音声ファイルが出力されているような場合では、ビデオ
コンテンツ生成手段８は、これらビデオ映像ファイル、
字幕テキストファイルおよび再生制御情報に加えて他言
語音声ファイルを含む字幕付きのビデオコンテンツファ
イルを生成する。この場合、再生制御情報としては、他
言語音声ファイルの再生制御情報も含まれることとな
る。
音声ファイルが出力されているような場合では、ビデオ
コンテンツ生成手段８は、これらビデオ映像ファイル、
字幕テキストファイルおよび再生制御情報に加えて他言
語音声ファイルを含む字幕付きのビデオコンテンツファ
イルを生成する。この場合、再生制御情報としては、他
言語音声ファイルの再生制御情報も含まれることとな
る。
【００２８】続いてこのようなビデオコンテンツファイ
ルの構造について概略説明する。図２は、字幕付きビデ
オコンテンツファイルの構成を説明するための説明図、
図３は、ビデオコンテンツファイルのリンク構造を説明
する説明図である。字幕付きビデオコンテンツファイル
は複数ファイルを合成したものであって、その構成は、
図２で示すように、ビデオ映像ファイル部１０、字幕テ
キストファイル部２０、再生制御情報部３０、および、
音声ファイル部４０とからなっている。
ルの構造について概略説明する。図２は、字幕付きビデ
オコンテンツファイルの構成を説明するための説明図、
図３は、ビデオコンテンツファイルのリンク構造を説明
する説明図である。字幕付きビデオコンテンツファイル
は複数ファイルを合成したものであって、その構成は、
図２で示すように、ビデオ映像ファイル部１０、字幕テ
キストファイル部２０、再生制御情報部３０、および、
音声ファイル部４０とからなっている。
【００２９】続いてこれらビデオ映像ファイル部１０、
字幕テキストファイル部２０、再生制御情報部３０、お
よび、音声ファイル部４０の詳細について説明する。ビ
デオ映像ファイル部１０は、図３で示すように、時刻ｔ
１，ｔ２，ｔ３，ｔ ４で分割される複数の映像ブロック
データからなるものである。これら時刻ｔ１〜ｔ４とは
字幕の表示を切り換える時刻であり、例えば、ｔ１〜ｔ
２ の間は字幕テキストファイル部２０で示される字幕
テキストデータ１を表示する時間帯を指し示している。
字幕テキストファイル部２０、再生制御情報部３０、お
よび、音声ファイル部４０の詳細について説明する。ビ
デオ映像ファイル部１０は、図３で示すように、時刻ｔ
１，ｔ２，ｔ３，ｔ ４で分割される複数の映像ブロック
データからなるものである。これら時刻ｔ１〜ｔ４とは
字幕の表示を切り換える時刻であり、例えば、ｔ１〜ｔ
２ の間は字幕テキストファイル部２０で示される字幕
テキストデータ１を表示する時間帯を指し示している。
【００３０】なお、時刻が４個しかないのは、説明を具
体化するための例示であり、４個に限定されないことは
言うまでもない。なお、時刻ｔ４では映像ブロックデー
タが存在しないため、存在しない字幕テキストデータ
０、他言語音声データ０を再生する。つまり字幕、音声
とも表示しないことを示している。
体化するための例示であり、４個に限定されないことは
言うまでもない。なお、時刻ｔ４では映像ブロックデー
タが存在しないため、存在しない字幕テキストデータ
０、他言語音声データ０を再生する。つまり字幕、音声
とも表示しないことを示している。
【００３１】字幕テキストファイル部２０は、一回の表
示で用いられる字幕テキストデータを複数備えたもので
ある。再生制御情報部３０は、例えば先に説明した字幕
切換時刻であるｔ１〜ｔ４に対応しており、例えば、図
３で示すように、時刻ｔ１では、ビデオ映像ファイル部
１０の映像ブロックデータ１が再生開始されることとな
るが、それと同時に字幕テキストファイル部２０の字幕
テキストデータ１、音声ファイル部４０の他言語音声デ
ータ１およびｆｉｌｅ ｘ１を表示することとなる。こ
こにｆｉｌｅｘ１とは字幕テキストデータおよび他言語
音声データ以外の表示用データであり、必要に応じて適
宜追加することができるデータである。
示で用いられる字幕テキストデータを複数備えたもので
ある。再生制御情報部３０は、例えば先に説明した字幕
切換時刻であるｔ１〜ｔ４に対応しており、例えば、図
３で示すように、時刻ｔ１では、ビデオ映像ファイル部
１０の映像ブロックデータ１が再生開始されることとな
るが、それと同時に字幕テキストファイル部２０の字幕
テキストデータ１、音声ファイル部４０の他言語音声デ
ータ１およびｆｉｌｅ ｘ１を表示することとなる。こ
こにｆｉｌｅｘ１とは字幕テキストデータおよび他言語
音声データ以外の表示用データであり、必要に応じて適
宜追加することができるデータである。
【００３２】また、再生制御情報部３０は、同時に映
像、字幕、他ファイル（例えば、ｆｉｌｅ ｘ１ な
ど）を画面上に配置するための画面レイアウト情報も有
している。このように再生制御情報部３０は、リンク情
報と画面レイアウト情報を有している。このように再生
制御情報は、映像ブロックデータ、字幕テキストデータ
および他言語音声データ等とリンクするためのリンク情
報としての役割を果たすこととなる。
像、字幕、他ファイル（例えば、ｆｉｌｅ ｘ１ な
ど）を画面上に配置するための画面レイアウト情報も有
している。このように再生制御情報部３０は、リンク情
報と画面レイアウト情報を有している。このように再生
制御情報は、映像ブロックデータ、字幕テキストデータ
および他言語音声データ等とリンクするためのリンク情
報としての役割を果たすこととなる。
【００３３】音声ファイル部４０は、字幕テキストデー
タの区切りと連動して音声として再生される他言語音声
データを複数有するものである。なお、音声ファイル部
４０は、他言語を音声で再生するというオプションが選
択された場合にのみ付加されるファイルであり、他言語
を使用せずに字幕のみ出力するならば、音声ファイル部
４０を付加する必要はなくなる。これらはエンドユーザ
の所望に応じて適宜選択されることとなる。先に説明し
たビデオコンテンツ生成手段８は、これらビデオ映像フ
ァイル部１０、字幕テキストファイル部２０、音声ファ
イル部４０をエンドユーザの操作でリンク付けし、ま
た、画面レイアウトの設定を行うことができるようにな
されている。
タの区切りと連動して音声として再生される他言語音声
データを複数有するものである。なお、音声ファイル部
４０は、他言語を音声で再生するというオプションが選
択された場合にのみ付加されるファイルであり、他言語
を使用せずに字幕のみ出力するならば、音声ファイル部
４０を付加する必要はなくなる。これらはエンドユーザ
の所望に応じて適宜選択されることとなる。先に説明し
たビデオコンテンツ生成手段８は、これらビデオ映像フ
ァイル部１０、字幕テキストファイル部２０、音声ファ
イル部４０をエンドユーザの操作でリンク付けし、ま
た、画面レイアウトの設定を行うことができるようにな
されている。
【００３４】このような再生制御情報部３０による画面
レイアウトの一例を説明する。図４は、ブラウザ上の画
面の構成例を示す説明図である。図４で示すブラウザ上
の画面ではビデオ映像表示部１００と字幕表示部２００
とに二分割されている。ここに、ビデオ映像部表示部１
００ではビデオ映像ファイル１０から再生されたビデオ
映像が表示され、字幕表示部２００では字幕テキストフ
ァイル部２０から再生された字幕が表示される。
レイアウトの一例を説明する。図４は、ブラウザ上の画
面の構成例を示す説明図である。図４で示すブラウザ上
の画面ではビデオ映像表示部１００と字幕表示部２００
とに二分割されている。ここに、ビデオ映像部表示部１
００ではビデオ映像ファイル１０から再生されたビデオ
映像が表示され、字幕表示部２００では字幕テキストフ
ァイル部２０から再生された字幕が表示される。
【００３５】先に説明したが、図１で示すビデオコンテ
ンツ生成手段８が生成する再生制御情報部３０（図３参
照）の中には、ビデオ映像表示部１００と字幕表示部２
００とが図４で示すようなレイアウトにする画面レイア
ウト情報も含んでいる。この画面レイアウト情報も、先
に説明したビデオコンテンツ生成手段８により自由に設
定できるようになされている。更に他の任意ファイル
（ｆｉｌｅ ｘ１）も任意の場所に任意の大きさで表示
できる。
ンツ生成手段８が生成する再生制御情報部３０（図３参
照）の中には、ビデオ映像表示部１００と字幕表示部２
００とが図４で示すようなレイアウトにする画面レイア
ウト情報も含んでいる。この画面レイアウト情報も、先
に説明したビデオコンテンツ生成手段８により自由に設
定できるようになされている。更に他の任意ファイル
（ｆｉｌｅ ｘ１）も任意の場所に任意の大きさで表示
できる。
【００３６】続いて、このようなビデオコンテンツファ
イル生成システムを用いる字幕テキストファイルの一連
の生成処理について説明する。図５は、字幕テキストフ
ァイルの生成フローを示すフローチャートである。ステ
ップＳ１は、図１で示した記録再生手段１によりビデオ
映像信号および音声信号を再生するステップである。ス
テップＳ２は、図１で示した音声認識手段２により音声
信号を字幕テキストデータに順次変換していき、字幕テ
キストファイルを生成するステップである。
イル生成システムを用いる字幕テキストファイルの一連
の生成処理について説明する。図５は、字幕テキストフ
ァイルの生成フローを示すフローチャートである。ステ
ップＳ１は、図１で示した記録再生手段１によりビデオ
映像信号および音声信号を再生するステップである。ス
テップＳ２は、図１で示した音声認識手段２により音声
信号を字幕テキストデータに順次変換していき、字幕テ
キストファイルを生成するステップである。
【００３７】ステップＳ３は、図１で示した第１字幕テ
キストファイル修正・編集手段３により字幕テキストフ
ァイルの認識の誤りなどを修正するステップである。ス
テップＳ４では、字幕テキストファイルの字幕テキスト
データを、所定期間表示される映像とともに表示する字
幕の単位に分割するステップである。ステップＳ５で
は、他言語へ翻訳するか否かが選択されるステップであ
り、他言語へ翻訳しない場合はステップＳ６へ進み、他
言語へ翻訳する場合はステップＳ８の先頭へジャンプす
る。
キストファイル修正・編集手段３により字幕テキストフ
ァイルの認識の誤りなどを修正するステップである。ス
テップＳ４では、字幕テキストファイルの字幕テキスト
データを、所定期間表示される映像とともに表示する字
幕の単位に分割するステップである。ステップＳ５で
は、他言語へ翻訳するか否かが選択されるステップであ
り、他言語へ翻訳しない場合はステップＳ６へ進み、他
言語へ翻訳する場合はステップＳ８の先頭へジャンプす
る。
【００３８】他言語に翻訳しない場合は以下のような処
理がなされる。ステップＳ６では、図１で示したビデオ
映像ファイル生成手段７によりビデオ映像信号をビデオ
映像ファイルに変換するステップである。ステップＳ７
では、ビデオ映像ファイルと字幕テキストファイルとを
リンクする再生制御情報を作成し、さらにビデオ映像フ
ァイル、字幕テキストファイルおよび再生制御情報を含
むビデオコンテンツファイルを生成するステップであ
る。これによりビデオコンテンツファイルの生成が終了
したこととなり、フローから抜けて終了することとな
る。他言語に翻訳しない場合はこのようになる。
理がなされる。ステップＳ６では、図１で示したビデオ
映像ファイル生成手段７によりビデオ映像信号をビデオ
映像ファイルに変換するステップである。ステップＳ７
では、ビデオ映像ファイルと字幕テキストファイルとを
リンクする再生制御情報を作成し、さらにビデオ映像フ
ァイル、字幕テキストファイルおよび再生制御情報を含
むビデオコンテンツファイルを生成するステップであ
る。これによりビデオコンテンツファイルの生成が終了
したこととなり、フローから抜けて終了することとな
る。他言語に翻訳しない場合はこのようになる。
【００３９】一方、他言語に翻訳する場合は以下のよう
な処理がなされる。ステップＳ８では、図１で示す字幕
テキストファイル翻訳手段４を用いて字幕テキストファ
イルを他言語に翻訳するステップである。ステップＳ９
では、図１で示す第２テキストファイル修正・編集手段
５にて翻訳済みの字幕テキストファイルの認識の誤りな
どを修正するステップである。
な処理がなされる。ステップＳ８では、図１で示す字幕
テキストファイル翻訳手段４を用いて字幕テキストファ
イルを他言語に翻訳するステップである。ステップＳ９
では、図１で示す第２テキストファイル修正・編集手段
５にて翻訳済みの字幕テキストファイルの認識の誤りな
どを修正するステップである。
【００４０】ステップＳ１０では、他言語で音声化する
かしないかを判断するステップであり、他言語で音声化
しない場合はステップＳ６の先頭にジャンプし、他言語
音声にする場合はステップＳ１１へ進む。ステップＳ１
１では、図１で示す音声ファイル生成手段６により音声
の吹き替えを行い、音声ファイルを生成する。その後に
ステップＳ６の先頭へジャンプする。
かしないかを判断するステップであり、他言語で音声化
しない場合はステップＳ６の先頭にジャンプし、他言語
音声にする場合はステップＳ１１へ進む。ステップＳ１
１では、図１で示す音声ファイル生成手段６により音声
の吹き替えを行い、音声ファイルを生成する。その後に
ステップＳ６の先頭へジャンプする。
【００４１】ステップＳ６では、図１で示したビデオ映
像ファイル生成手段７によりビデオ映像信号をビデオ映
像ファイルに変換するステップである。ステップＳ７で
は、ビデオ映像ファイルと字幕テキストファイルとをリ
ンクする再生制御情報を作成し、さらにビデオ映像ファ
イル、字幕テキストファイルおよび再生制御情報を含む
ビデオコンテンツファイルを生成するステップである。
なお、他言語音声を再生するための音声ファイルが含ま
れている場合には、図１で示したビデオコンテンツ生成
手段８により、音声ファイルもリンクする情報が加えら
れた再生制御情報部が作成され、図４で示す再生制御情
報部３０に追加される。これによりビデオコンテンツフ
ァイルの生成が終了したこととなり、フローから抜けて
終了することとなる。
像ファイル生成手段７によりビデオ映像信号をビデオ映
像ファイルに変換するステップである。ステップＳ７で
は、ビデオ映像ファイルと字幕テキストファイルとをリ
ンクする再生制御情報を作成し、さらにビデオ映像ファ
イル、字幕テキストファイルおよび再生制御情報を含む
ビデオコンテンツファイルを生成するステップである。
なお、他言語音声を再生するための音声ファイルが含ま
れている場合には、図１で示したビデオコンテンツ生成
手段８により、音声ファイルもリンクする情報が加えら
れた再生制御情報部が作成され、図４で示す再生制御情
報部３０に追加される。これによりビデオコンテンツフ
ァイルの生成が終了したこととなり、フローから抜けて
終了することとなる。
【００４２】さて、以上説明したビデオコンテンツファ
イル生成システム１０００により作成されたビデオコン
テンツファイルは、複数の字幕テキストデータを含む字
幕テキストファイル部２０を含むため、多数のビデオコ
ンテンツファイルから所望のビデオコンテンツファイル
を検索・抽出する場合に著しい利点がある。以下、この
検索方法について説明する。
イル生成システム１０００により作成されたビデオコン
テンツファイルは、複数の字幕テキストデータを含む字
幕テキストファイル部２０を含むため、多数のビデオコ
ンテンツファイルから所望のビデオコンテンツファイル
を検索・抽出する場合に著しい利点がある。以下、この
検索方法について説明する。
【００４３】この検索方法では、コンピュータにインス
トールされている検索エンジンを用いることとする。ま
ず、所望の検索キーワードを決定し、この検索エンジン
に検索キーワードを入力する。この検索エンジンはビデ
オコンテンツファイルの字幕テキストファイル中の字幕
テキストデータに、この検索キーワードが含まれている
か参照し、検索キーワードを含む全てのビデオコンテン
ツファイルを検索結果として出力するというものであ
る。
トールされている検索エンジンを用いることとする。ま
ず、所望の検索キーワードを決定し、この検索エンジン
に検索キーワードを入力する。この検索エンジンはビデ
オコンテンツファイルの字幕テキストファイル中の字幕
テキストデータに、この検索キーワードが含まれている
か参照し、検索キーワードを含む全てのビデオコンテン
ツファイルを検索結果として出力するというものであ
る。
【００４４】このような検索方法を用いることができる
ため、例えば、映画の題名が思い出せないためビデオコ
ンテンツファイルが検索できないような場合でも、有名
な台詞・俳優の役名・時代背景など関連する検索キーワ
ードを入力すれば所望のビデオコンテンツファイルが検
索・抽出されることとなり、検索性能を著しく高めてい
る。
ため、例えば、映画の題名が思い出せないためビデオコ
ンテンツファイルが検索できないような場合でも、有名
な台詞・俳優の役名・時代背景など関連する検索キーワ
ードを入力すれば所望のビデオコンテンツファイルが検
索・抽出されることとなり、検索性能を著しく高めてい
る。
【００４５】このようなビデオコンテンツファイル検索
方法を用い、本発明のビデオコンテンツファイル生成シ
ステムから生成されるビデオコンテンツファイルを検索
すれば、従来よりも検索が容易であり、また、所望のビ
デオコンテンツファイルの検索を有効に行うことができ
る。
方法を用い、本発明のビデオコンテンツファイル生成シ
ステムから生成されるビデオコンテンツファイルを検索
すれば、従来よりも検索が容易であり、また、所望のビ
デオコンテンツファイルの検索を有効に行うことができ
る。
【００４６】以上、本発明のビデオコンテンツファイル
生成システムについて説明した。このビデオコンテンツ
ファイル生成システムは、例えば、遠隔地で行われる講
師の講義を字幕生成してブラウザ上で表示する、訓練用
のビデオ教材の字幕生成を行って教育効果を高める、デ
ィジタルアーカイブの検索において適切な検索ができる
アーカイブを生成する、というような効果を奏しうる。
生成システムについて説明した。このビデオコンテンツ
ファイル生成システムは、例えば、遠隔地で行われる講
師の講義を字幕生成してブラウザ上で表示する、訓練用
のビデオ教材の字幕生成を行って教育効果を高める、デ
ィジタルアーカイブの検索において適切な検索ができる
アーカイブを生成する、というような効果を奏しうる。
【００４７】
【発明の効果】以上のように本発明によれば、音声認識
手段、字幕テキストファイル翻訳手段、音声ファイル生
成手段を用い、自国の言語により字幕生成を行ったり、
他国の言語で字幕生成や音声の吹き替えを行うことがで
きるようになる。また、従来のようにビデオ映像内に字
幕を生成するのではなく、字幕をテキストデータで生成
するため、伝送品質が悪いようなネットワークでも字幕
の品質劣化を少なくすることができ、また、情報量も少
なくすることができる。
手段、字幕テキストファイル翻訳手段、音声ファイル生
成手段を用い、自国の言語により字幕生成を行ったり、
他国の言語で字幕生成や音声の吹き替えを行うことがで
きるようになる。また、従来のようにビデオ映像内に字
幕を生成するのではなく、字幕をテキストデータで生成
するため、伝送品質が悪いようなネットワークでも字幕
の品質劣化を少なくすることができ、また、情報量も少
なくすることができる。
【００４８】さらにまた、ビデオ映像ファイル部と字幕
テキストファイル部とを別のファイルとして分けて、再
生制御情報によりビデオ映像ファイル部の映像ブロック
データと字幕テキストファイル部の字幕テキストデータ
をリンクして再生できるようにしているため、ビデオフ
ァイルコンテンツを検索する場合にテキストデータであ
る字幕テキストデータを用いることができ、検索を高速
かつ容易に行うことができる。さらにまた、字幕テキス
トデータを用いて字幕の字体や字の大きさの変更が容易
に行え、高齢者など視力に難点がある人でも、見やすい
ようなビデオコンテンツファイルとすることができる。
テキストファイル部とを別のファイルとして分けて、再
生制御情報によりビデオ映像ファイル部の映像ブロック
データと字幕テキストファイル部の字幕テキストデータ
をリンクして再生できるようにしているため、ビデオフ
ァイルコンテンツを検索する場合にテキストデータであ
る字幕テキストデータを用いることができ、検索を高速
かつ容易に行うことができる。さらにまた、字幕テキス
トデータを用いて字幕の字体や字の大きさの変更が容易
に行え、高齢者など視力に難点がある人でも、見やすい
ようなビデオコンテンツファイルとすることができる。
【００４９】総じて、本発明はコンピュータの専門家で
ない難聴者、高齢者、他言語利用者であるエンドユーザ
が、（１）他国語での字幕作成と音声とを容易に吹き替
えること、（２）伝送品質が悪いネットワークでの字幕
の品質劣化を少なくしてビデオ映像の字幕を認識しやす
くすること、（３）ビデオコンテンツファイルの検索を
容易にすること、をともに実現できるようなビデオコン
テンツを生成するシステムを提供することができる。
ない難聴者、高齢者、他言語利用者であるエンドユーザ
が、（１）他国語での字幕作成と音声とを容易に吹き替
えること、（２）伝送品質が悪いネットワークでの字幕
の品質劣化を少なくしてビデオ映像の字幕を認識しやす
くすること、（３）ビデオコンテンツファイルの検索を
容易にすること、をともに実現できるようなビデオコン
テンツを生成するシステムを提供することができる。
【図１】本発明の実施形態のビデオコンテンツファイル
生成システムの構成図である。
生成システムの構成図である。
【図２】字幕付きビデオコンテンツファイルの構成を説
明するための説明図である。
明するための説明図である。
【図３】ビデオコンテンツファイルのリンク構造を説明
する説明図である。
する説明図である。
【図４】ブラウザ上の画面の構成例を示す説明図であ
る。
る。
【図５】字幕テキストファイルの生成フローを示すフロ
ーチャートである。
ーチャートである。
１０００ ビデオコンテンツファイル生成
システム １ 記録再生手段 ２ 音声認識手段 ３ 第１字幕テキストファイル修正
・編集手段 ４ 字幕テキストファイル翻訳手段 ５ 第２字幕テキストファイル修正
・編集手段 ６ 音声ファイル手段 ７ ビデオ映像ファイル生成手段 ８ ビデオコンテンツ生成手段 １０ ビデオ映像ファイル部 ２０ 字幕テキストファイル部 ３０ 再生制御情報部 ４０ 音声ファイル部 １００ ビデオ映像表示部 ２００ 字幕表示部
システム １ 記録再生手段 ２ 音声認識手段 ３ 第１字幕テキストファイル修正
・編集手段 ４ 字幕テキストファイル翻訳手段 ５ 第２字幕テキストファイル修正
・編集手段 ６ 音声ファイル手段 ７ ビデオ映像ファイル生成手段 ８ ビデオコンテンツ生成手段 １０ ビデオ映像ファイル部 ２０ 字幕テキストファイル部 ３０ 再生制御情報部 ４０ 音声ファイル部 １００ ビデオ映像表示部 ２００ 字幕表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/91 Ｎ
Claims (4)
- 【請求項１】動画像であるビデオ映像信号及び音声信号
を含む映像音声信号を加工してブラウザで表示するため
の字幕付きビデオコンテンツファイルを生成するビデオ
コンテンツファイル生成システムであって、 ビデオ映像信号を用いてビデオ映像ファイルを生成する
ビデオ映像ファイル生成手段と、 音声信号を用いて字幕テキストファイルを生成する音声
認識手段と、 前記音声認識手段により生成された字幕テキストファイ
ルを修正・編集して編集済みの字幕テキストファイルを
生成する第１字幕テキストファイル修正・編集手段と、 前記ビデオ映像ファイル生成手段から出力されたビデオ
映像ファイルと前記第１字幕テキストファイル修正・編
集手段から出力された字幕テキストファイルとをリンク
して再生する再生制御情報を作成し、これらビデオ映像
ファイル、字幕テキストファイルおよび再生制御情報を
含む字幕付きビデオコンテンツファイルを生成するビデ
オコンテンツ生成手段と、 を備えることを特徴とするビデオコンテンツファイル生
成システム。 - 【請求項２】請求項１に記載のビデオコンテンツファイ
ル生成システムにおいて、 前記第１字幕テキストファイル修正・編集手段から出力
された編集済みの字幕テキストファイルを所望の他言語
へ翻訳して翻訳済みの字幕テキストファイルを生成する
字幕テキストファイル翻訳手段と、 前記字幕テキストファイル翻訳手段により生成された翻
訳済みの字幕テキストファイルを修正・編集して翻訳編
集済みの字幕テキストファイルを生成する第２字幕テキ
ストファイル修正・編集手段と、 を備え、 前記ビデオコンテンツ生成手段は、第２字幕テキストフ
ァイル修正・編集手段から出力された翻訳編集済みの字
幕テキストファイルを用いて字幕付きビデオコンテンツ
ファイルを生成することを特徴とするビデオコンテンツ
ファイル生成システム。 - 【請求項３】請求項２に記載のビデオコンテンツファイ
ル生成システムにおいて、 前記第２字幕テキストファイル修正・編集手段から出力
された翻訳編集済みの字幕テキストファイルを音声ファ
イル化して他言語音声ファイルを生成する音声ファイル
生成手段を備え、 前記ビデオコンテンツ生成手段は、ビデオ映像ファイ
ル、翻訳編集済みの字幕テキストファイルおよび再生制
御情報にこの他言語音声ファイルを付加した字幕付きビ
デオコンテンツファイルを生成することを特徴とするビ
デオコンテンツファイル生成システム。 - 【請求項４】請求項１〜請求項３の何れか１項に記載の
ビデオコンテンツファイル生成システムが生成したビデ
オコンテンツファイルを検索する方法であって、 所望の検索キーワードを入力し、 前記検索キーワードが字幕テキストファイルの中に含ま
れているようなビデオコンテンツファイルを検索エンジ
ンを用いて検索し、 検索キーワードを含む全てのビデオコンテンツファイル
を検索結果として出力することを特徴とするビデオコン
テンツファイル検索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001179783A JP2002374494A (ja) | 2001-06-14 | 2001-06-14 | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001179783A JP2002374494A (ja) | 2001-06-14 | 2001-06-14 | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002374494A true JP2002374494A (ja) | 2002-12-26 |
Family
ID=19020302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001179783A Pending JP2002374494A (ja) | 2001-06-14 | 2001-06-14 | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002374494A (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004002144A1 (ja) * | 2002-06-24 | 2003-12-31 | Matsushita Electric Industrial Co., Ltd. | メタデータ作成装置、その作成方法および検索装置 |
| JP2004333737A (ja) * | 2003-05-06 | 2004-11-25 | Nec Corp | メディア検索装置およびメディア検索プログラム |
| WO2005124779A1 (ja) * | 2004-06-18 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | 再生装置、プログラム、再生方法 |
| JP2007511858A (ja) * | 2003-10-31 | 2007-05-10 | サムスン エレクトロニクス カンパニー リミテッド | 拡張検索機能を提供するメタ情報及びサブタイトル情報が記録された記録媒体及びその再生装置 |
| JP2007520844A (ja) * | 2004-02-03 | 2007-07-26 | エルジー エレクトロニクス インコーポレーテッド | テキスト・サブタイトルをデコードするテキスト・サブタイトル・デコーダ及び方法 |
| US7366405B2 (en) | 2003-07-11 | 2008-04-29 | Matsushita Electric Industrial Co., Ltd. | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| US7415192B2 (en) | 2003-07-11 | 2008-08-19 | Matsushita Electric Industrial Co., Ltd. | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| JP2009187117A (ja) * | 2008-02-04 | 2009-08-20 | Sony Corp | 情報処理装置および情報処理方法 |
| KR20100002090A (ko) * | 2008-06-24 | 2010-01-06 | 소니 가부시끼 가이샤 | 전자 기기, 영상 콘텐츠 편집 방법 및 프로그램 |
| US7787753B2 (en) | 2003-04-09 | 2010-08-31 | Lg Electronics Inc. | Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing |
| US7809244B2 (en) | 2004-03-26 | 2010-10-05 | Lg Electronics Inc. | Recording medium and method and apparatus for reproducing and recording text subtitle streams with style information |
| US8233779B2 (en) | 2004-07-09 | 2012-07-31 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| JP2017184056A (ja) * | 2016-03-30 | 2017-10-05 | ミハル通信株式会社 | 放送装置および放送方法 |
| WO2019230225A1 (ja) * | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP2021093618A (ja) * | 2019-12-10 | 2021-06-17 | 株式会社リチカ | 情報処理装置及びプログラム |
| KR20210097393A (ko) * | 2020-01-30 | 2021-08-09 | (주)아큐플라이에이아이 | 강의 통역 장치 |
| KR20210097392A (ko) * | 2020-01-30 | 2021-08-09 | (주)아큐플라이에이아이 | 회의 통역 장치 |
| CN115086753A (zh) * | 2021-03-16 | 2022-09-20 | 北京有竹居网络技术有限公司 | 直播视频流的处理方法、装置、电子设备和存储介质 |
| KR20220161783A (ko) * | 2021-05-31 | 2022-12-07 | 주식회사 한글과컴퓨터 | 영상에서 등장하는 전문 용어에 대한 뜻풀이를 제공하는 전자 장치 및 그 동작 방법 |
| CN115484477A (zh) * | 2021-05-31 | 2022-12-16 | 上海哔哩哔哩科技有限公司 | 字幕生成方法及装置 |
| CN115484473A (zh) * | 2021-05-31 | 2022-12-16 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
-
2001
- 2001-06-14 JP JP2001179783A patent/JP2002374494A/ja active Pending
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004002144A1 (ja) * | 2002-06-24 | 2003-12-31 | Matsushita Electric Industrial Co., Ltd. | メタデータ作成装置、その作成方法および検索装置 |
| US7787753B2 (en) | 2003-04-09 | 2010-08-31 | Lg Electronics Inc. | Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing |
| US8135259B2 (en) | 2003-04-09 | 2012-03-13 | Lg Electronics Inc. | Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing |
| JP2004333737A (ja) * | 2003-05-06 | 2004-11-25 | Nec Corp | メディア検索装置およびメディア検索プログラム |
| JP4631251B2 (ja) * | 2003-05-06 | 2011-02-16 | 日本電気株式会社 | メディア検索装置およびメディア検索プログラム |
| US8121463B2 (en) | 2003-07-11 | 2012-02-21 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| US8126316B2 (en) | 2003-07-11 | 2012-02-28 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer readable program |
| US7366405B2 (en) | 2003-07-11 | 2008-04-29 | Matsushita Electric Industrial Co., Ltd. | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| US7415192B2 (en) | 2003-07-11 | 2008-08-19 | Matsushita Electric Industrial Co., Ltd. | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| US8126317B2 (en) | 2003-07-11 | 2012-02-28 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer readable program |
| US8139915B2 (en) | 2003-07-11 | 2012-03-20 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| JP2007511858A (ja) * | 2003-10-31 | 2007-05-10 | サムスン エレクトロニクス カンパニー リミテッド | 拡張検索機能を提供するメタ情報及びサブタイトル情報が記録された記録媒体及びその再生装置 |
| JP2007520844A (ja) * | 2004-02-03 | 2007-07-26 | エルジー エレクトロニクス インコーポレーテッド | テキスト・サブタイトルをデコードするテキスト・サブタイトル・デコーダ及び方法 |
| JP2008079346A (ja) * | 2004-02-03 | 2008-04-03 | Lg Electron Inc | テキスト・サブタイトルをデコードするテキスト・サブタイトル・デコーダ及び方法 |
| US7982802B2 (en) | 2004-02-03 | 2011-07-19 | Lg Electronics Inc. | Text subtitle decoder and method for decoding text subtitle streams |
| US8498515B2 (en) | 2004-02-03 | 2013-07-30 | Lg Electronics Inc. | Recording medium and recording and reproducing method and apparatuses |
| US8081860B2 (en) | 2004-02-03 | 2011-12-20 | Lg Electronics Inc. | Recording medium and recording and reproducing methods and apparatuses |
| US8326118B2 (en) | 2004-03-26 | 2012-12-04 | Lg Electronics, Inc. | Recording medium storing a text subtitle stream including a style segment and a plurality of presentation segments, method and apparatus for reproducing a text subtitle stream including a style segment and a plurality of presentation segments |
| US7809244B2 (en) | 2004-03-26 | 2010-10-05 | Lg Electronics Inc. | Recording medium and method and apparatus for reproducing and recording text subtitle streams with style information |
| US8554053B2 (en) | 2004-03-26 | 2013-10-08 | Lg Electronics, Inc. | Recording medium storing a text subtitle stream including a style segment and a plurality of presentation segments, method and apparatus for reproducing a text subtitle stream including a style segment and a plurality of presentation segments |
| US7609948B2 (en) | 2004-06-18 | 2009-10-27 | Panasonic Corporation | Reproduction device, reproduction method and program |
| US7583888B2 (en) | 2004-06-18 | 2009-09-01 | Panasonic Corporation | Reproduction device, program, and reproduction method |
| US8027566B2 (en) | 2004-06-18 | 2011-09-27 | Panasonic Corporation | Recording medium, reproduction device, recording method, and reproduction method |
| US7877002B2 (en) | 2004-06-18 | 2011-01-25 | Panasonic Corporation | Reproduction device, program, and reproduction method |
| US7856169B2 (en) | 2004-06-18 | 2010-12-21 | Panasonic Corporation | Reproduction device, program, and reproduction method |
| US7853125B2 (en) | 2004-06-18 | 2010-12-14 | Panasonic Corporation | Reproduction device, program, and reproduction method |
| WO2005124779A1 (ja) * | 2004-06-18 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | 再生装置、プログラム、再生方法 |
| US7949225B2 (en) | 2004-06-18 | 2011-05-24 | Panasonic Corporation | Reproduction device, program, and reproduction method |
| WO2005124780A1 (ja) * | 2004-06-18 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | 再生装置、プログラム、再生方法 |
| CN101414473B (zh) * | 2004-06-18 | 2013-01-23 | 松下电器产业株式会社 | 再现装置、程序、再现方法 |
| US7519278B2 (en) | 2004-06-18 | 2009-04-14 | Panasonic Corporation | Playback apparatus, program, playback method |
| US8233779B2 (en) | 2004-07-09 | 2012-07-31 | Panasonic Corporation | Recording medium, recording method, reproduction apparatus and method, and computer-readable program |
| JP2009187117A (ja) * | 2008-02-04 | 2009-08-20 | Sony Corp | 情報処理装置および情報処理方法 |
| KR20100002090A (ko) * | 2008-06-24 | 2010-01-06 | 소니 가부시끼 가이샤 | 전자 기기, 영상 콘텐츠 편집 방법 및 프로그램 |
| KR101590186B1 (ko) | 2008-06-24 | 2016-01-29 | 소니 주식회사 | 전자 기기, 영상 콘텐츠 편집 방법 및 프로그램이 기록된 기록매체 |
| JP2017184056A (ja) * | 2016-03-30 | 2017-10-05 | ミハル通信株式会社 | 放送装置および放送方法 |
| WO2019230225A1 (ja) * | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JPWO2019230225A1 (ja) * | 2018-05-29 | 2021-07-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP7272356B2 (ja) | 2018-05-29 | 2023-05-12 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
| US11450352B2 (en) | 2018-05-29 | 2022-09-20 | Sony Corporation | Image processing apparatus and image processing method |
| JP2021093618A (ja) * | 2019-12-10 | 2021-06-17 | 株式会社リチカ | 情報処理装置及びプログラム |
| KR102359962B1 (ko) * | 2020-01-30 | 2022-02-09 | (주)아큐플라이에이아이 | 강의 통역 장치 |
| KR102346668B1 (ko) * | 2020-01-30 | 2022-01-03 | (주)아큐플라이에이아이 | 회의 통역 장치 |
| KR20210097392A (ko) * | 2020-01-30 | 2021-08-09 | (주)아큐플라이에이아이 | 회의 통역 장치 |
| KR20210097393A (ko) * | 2020-01-30 | 2021-08-09 | (주)아큐플라이에이아이 | 강의 통역 장치 |
| CN115086753A (zh) * | 2021-03-16 | 2022-09-20 | 北京有竹居网络技术有限公司 | 直播视频流的处理方法、装置、电子设备和存储介质 |
| KR20220161783A (ko) * | 2021-05-31 | 2022-12-07 | 주식회사 한글과컴퓨터 | 영상에서 등장하는 전문 용어에 대한 뜻풀이를 제공하는 전자 장치 및 그 동작 방법 |
| CN115484477A (zh) * | 2021-05-31 | 2022-12-16 | 上海哔哩哔哩科技有限公司 | 字幕生成方法及装置 |
| CN115484473A (zh) * | 2021-05-31 | 2022-12-16 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
| KR102523817B1 (ko) | 2021-05-31 | 2023-05-15 | 주식회사 한글과컴퓨터 | 영상에서 등장하는 전문 용어에 대한 뜻풀이를 제공하는 전자 장치 및 그 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002374494A (ja) | ビデオコンテンツファイル生成システムおよびビデオコンテンツファイル検索方法。 | |
| JP4630869B2 (ja) | 映像要約方法 | |
| US5999695A (en) | Multilingual recording medium and reproduction apparatus | |
| US5652824A (en) | Multilingual recording medium and reproducing apparatus with automatic selection of substitutes and languages based on frequency of selections | |
| CN111538851B (zh) | 自动生成演示视频的方法、系统、设备及存储介质 | |
| KR20060049697A (ko) | 오디오 비디오 데이터 스트림의 자막을 네비게이팅하는방법 및 장치 | |
| JP2003519455A (ja) | Ｄｖｄの字幕処理方法 | |
| JP4017290B2 (ja) | 自動番組制作装置および自動番組制作プログラムを記録した記録媒体 | |
| US20050053359A1 (en) | Information storage medium storing scenario, apparatus and method of recording the scenario on the information storage medium, apparatus for reproducing data from the information storage medium, and method of searching for the scenario | |
| JP3325239B2 (ja) | 字幕素材作成システム、字幕素材作成方法及び字幕素材作成プログラムを記憶した記録媒体 | |
| JP2006337490A (ja) | コンテンツ配信システム | |
| JP3998187B2 (ja) | コンテンツ解説データ生成装置、その方法及びそのプログラム、並びに、コンテンツ解説データ提示装置、その方法及びそのプログラム | |
| JP5033653B2 (ja) | 映像記録再生装置及び映像再生装置 | |
| JP3688214B2 (ja) | 視聴者映像記録再生装置 | |
| JP2008020767A (ja) | 記録再生装置および方法、プログラム、並びに記録媒体 | |
| JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
| JP3816901B2 (ja) | ストリームデータの編集方法と編集システム及びプログラム | |
| JP2006074514A (ja) | 映像編集装置、映像再生装置、ファイルデータベース、ファイル配信サーバ、映像編集方法、映像編集プログラム、映像再生方法、映像再生プログラム、およびコンピュータ読み取り可能な記録媒体 | |
| KR102523814B1 (ko) | 음성 인식을 기반으로 영상이 재생되는 화면에 자막을 출력하는 전자 장치 및 그 동작 방법 | |
| KR100907216B1 (ko) | 자막정보를 이용한 영상 제어 장치 및 방법 | |
| JP2002229440A (ja) | Ｄｖｄビデオを使用した外国語学習用システム | |
| JP2008092403A (ja) | 再生支援装置、再生装置、および、再生方法 | |
| JP2007134859A (ja) | 映像音声再生装置 | |
| JP2002247506A (ja) | デジタル音声映像情報の記録装置 | |
| JP2002197488A (ja) | リップシンクデータ生成装置並びに方法、情報記憶媒体、及び情報記憶媒体の製造方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080903 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090113 |