JP2006114955A - 字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体 - Google Patents
字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体 Download PDFInfo
- Publication number
- JP2006114955A JP2006114955A JP2004297201A JP2004297201A JP2006114955A JP 2006114955 A JP2006114955 A JP 2006114955A JP 2004297201 A JP2004297201 A JP 2004297201A JP 2004297201 A JP2004297201 A JP 2004297201A JP 2006114955 A JP2006114955 A JP 2006114955A
- Authority
- JP
- Japan
- Prior art keywords
- recognized
- caption
- subtitle
- synthesized
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Character Discrimination (AREA)
- Studio Circuits (AREA)
Abstract
【課題】 映像に合成された字幕を用いて、障害者を支援するとともに、健常者にとって
も放送された内容を理解するという目的以外の用途に利用することができる、字幕抽出装
置を提供する。
【解決手段】 入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づ
いて特定し、前記特定した位置に合成されている前記字幕を表示部に表示し、前記特定し
た位置に合成されている前記字幕の各文字を認識し、前記認識した認識文字を、順次、前
記表示部に表示する。
【選択図】 図１
も放送された内容を理解するという目的以外の用途に利用することができる、字幕抽出装
置を提供する。
【解決手段】 入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づ
いて特定し、前記特定した位置に合成されている前記字幕を表示部に表示し、前記特定し
た位置に合成されている前記字幕の各文字を認識し、前記認識した認識文字を、順次、前
記表示部に表示する。
【選択図】 図１
Description
本発明は、映像に合成された字幕を抽出する字幕抽出装置および字幕抽出方法並びにそ
のプログラムと記録媒体に関する。
のプログラムと記録媒体に関する。
テレビ局は、放送する映画やその他の番組において字幕を表示させる処理を行なってい
るが、この処理は、例えば、映像に字幕を合成して放送を行なう場合や、映像と字幕デー
タとを別々に送信することにより放送を行なう場合とがある。ここで字幕は健常者にとっ
て有益な情報となるばかりでなく、聾唖者や視覚障害者などにとっても有益である。例え
ば、視覚障害者のために字幕から文字認識を行なって、その認識した文字を音声として出
力したり、手元の携帯用の表示装置に字幕のみを表示させたりする装置が公開されている
（例えば、特許文献１参照）。
特開２００３−３３３４４５号公報
るが、この処理は、例えば、映像に字幕を合成して放送を行なう場合や、映像と字幕デー
タとを別々に送信することにより放送を行なう場合とがある。ここで字幕は健常者にとっ
て有益な情報となるばかりでなく、聾唖者や視覚障害者などにとっても有益である。例え
ば、視覚障害者のために字幕から文字認識を行なって、その認識した文字を音声として出
力したり、手元の携帯用の表示装置に字幕のみを表示させたりする装置が公開されている
（例えば、特許文献１参照）。
ここで、放送される映像に合成された字幕は障害者を支援する為に、色々な用途で利用
できる可能性があり、この点に着目した製品を開発することが課題となっている。
できる可能性があり、この点に着目した製品を開発することが課題となっている。
そこでこの発明は、映像に合成された字幕を用いて、障害者を支援するとともに、健常
者にとっても放送された内容を理解するという目的以外の用途に利用することができる、
字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体を提供することを目的
としている。
者にとっても放送された内容を理解するという目的以外の用途に利用することができる、
字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体を提供することを目的
としている。
本発明は、上述の課題を解決すべくなされたもので、入力を受付けた映像に合成されて
いる字幕の抽出位置を、位置情報に基づいて特定する字幕位置特定手段と、前記特定した
位置に合成されている前記字幕を表示部に表示する字幕表示手段と、前記特定した位置に
合成されている前記字幕の各文字を認識する文字認識手段と、前記認識した認識文字を、
順次、前記表示部に表示する認識文字表示手段と、を備えることを特徴とする字幕抽出装
置である。これにより、位置情報で特定される映像の位置に合成の字幕と、その字幕に含
まれる文字を表示部に表示することができる。これにより、字幕とその字幕から認識され
た文字を一度に出力できるので、文字認識の間違いを検出できる。
いる字幕の抽出位置を、位置情報に基づいて特定する字幕位置特定手段と、前記特定した
位置に合成されている前記字幕を表示部に表示する字幕表示手段と、前記特定した位置に
合成されている前記字幕の各文字を認識する文字認識手段と、前記認識した認識文字を、
順次、前記表示部に表示する認識文字表示手段と、を備えることを特徴とする字幕抽出装
置である。これにより、位置情報で特定される映像の位置に合成の字幕と、その字幕に含
まれる文字を表示部に表示することができる。これにより、字幕とその字幕から認識され
た文字を一度に出力できるので、文字認識の間違いを検出できる。
また本発明は、上述の字幕抽出装置が、前記字幕の表示と前記認識文字の表示のどちら
を行なうか切替情報に基づいて決定する表示切替手段を備えることを特徴とする。これに
より、ユーザの利用目的に応じた字幕の表示が可能となる。
を行なうか切替情報に基づいて決定する表示切替手段を備えることを特徴とする。これに
より、ユーザの利用目的に応じた字幕の表示が可能となる。
また本発明は、上述の字幕抽出装置において、前記認識文字表示手段は、前記字幕の前
記映像における切り替わりごとに、その字幕から認識した前記認識文字を前記表示部の分
割領域に表示し、前記字幕の次の切り替わり時には、前記分割領域とは異なる他の分割領
域に表示するか、または前記分割領域において書き換えて表示するかのいずれかを行なう
ことを特徴とする。これにより、映像に合成された字幕の切り替わりの単位ごとに認識文
字を把握することができる。
記映像における切り替わりごとに、その字幕から認識した前記認識文字を前記表示部の分
割領域に表示し、前記字幕の次の切り替わり時には、前記分割領域とは異なる他の分割領
域に表示するか、または前記分割領域において書き換えて表示するかのいずれかを行なう
ことを特徴とする。これにより、映像に合成された字幕の切り替わりの単位ごとに認識文
字を把握することができる。
また本発明は、上述の字幕抽出装置において、前記認識文字表示手段は、前記字幕の前
記映像における切り替わりごとに、その字幕から認識した前記認識文字を改行して前記分
割領域に表示することを特徴とする。これにより、映像に合成された字幕の切り替わりの
単位を把握することができる。
記映像における切り替わりごとに、その字幕から認識した前記認識文字を改行して前記分
割領域に表示することを特徴とする。これにより、映像に合成された字幕の切り替わりの
単位を把握することができる。
また本発明は、上述の字幕抽出装置において、前記認識文字表示手段は、前記分割領域
の表示範囲に表示できる数の前記認識文字を表示した後は、それら認識文字の行に直交す
る方向であって次に認識文字を表示する方向とは逆の方向に、前記行をずらして、前記次
の認識文字を最下行に表示することを特徴とする。これにより字幕の切り替わりごとにス
クロールして認識文字を確認することができる。
の表示範囲に表示できる数の前記認識文字を表示した後は、それら認識文字の行に直交す
る方向であって次に認識文字を表示する方向とは逆の方向に、前記行をずらして、前記次
の認識文字を最下行に表示することを特徴とする。これにより字幕の切り替わりごとにス
クロールして認識文字を確認することができる。
また本発明は、上述の字幕抽出装置が、前記字幕の切り替わりを検出する字幕切り替わ
り検出手段と、前記認識文字の出力間隔時間を記憶する出力間隔記憶手段と、前記切り替
わりからの経過時間と前記出力間隔時間とに基づいて、前記表示した字幕の次に表示する
字幕の各認識文字のデータの出力タイミングを決定する認識文字データ出力タイミング決
定手段と、を備えることを特徴とする。これにより、例えば字幕抽出装置が点字ディスプ
レイに接続されている場合に、字幕の切り替わりが早いことによって視覚障害者が点字を
読みきれない場合などに対応することができる。
り検出手段と、前記認識文字の出力間隔時間を記憶する出力間隔記憶手段と、前記切り替
わりからの経過時間と前記出力間隔時間とに基づいて、前記表示した字幕の次に表示する
字幕の各認識文字のデータの出力タイミングを決定する認識文字データ出力タイミング決
定手段と、を備えることを特徴とする。これにより、例えば字幕抽出装置が点字ディスプ
レイに接続されている場合に、字幕の切り替わりが早いことによって視覚障害者が点字を
読みきれない場合などに対応することができる。
また本発明は、上述の字幕抽出装置が、前記特定した位置に合成されている前記字幕を
記憶部に記録する字幕記録手段を備えることを特徴とする。これにより、字幕の情報を後
から確認することができる。
記憶部に記録する字幕記録手段を備えることを特徴とする。これにより、字幕の情報を後
から確認することができる。
また本発明は、コンピュータが、入力を受付けた映像に合成されている字幕の抽出位置
を、位置情報に基づいて特定するステップと、前記特定した位置に合成されている前記字
幕を表示部に表示するステップと、前記特定した位置に合成されている前記字幕の各文字
を認識するステップと、前記認識した認識文字を、順次、前記表示部に表示するステップ
と、を有することを特徴とする字幕抽出方法である。
を、位置情報に基づいて特定するステップと、前記特定した位置に合成されている前記字
幕を表示部に表示するステップと、前記特定した位置に合成されている前記字幕の各文字
を認識するステップと、前記認識した認識文字を、順次、前記表示部に表示するステップ
と、を有することを特徴とする字幕抽出方法である。
また本発明は、字幕抽出装置の字幕位置特定手段が、入力を受付けた映像に合成されて
いる字幕の抽出位置を、位置情報に基づいて特定するステップと、前記字幕抽出装置の字
幕表示手段が、前記特定した位置に合成されている前記字幕を表示部に表示するステップ
と、前記字幕抽出装置の文字認識手段が、前記特定した位置に合成されている前記字幕の
各文字を認識するステップと、前記字幕抽出装置の認識文字表示手段が、前記認識した認
識文字を、順次、前記表示部に表示するステップと、を有することを特徴とする字幕抽出
方法である。
いる字幕の抽出位置を、位置情報に基づいて特定するステップと、前記字幕抽出装置の字
幕表示手段が、前記特定した位置に合成されている前記字幕を表示部に表示するステップ
と、前記字幕抽出装置の文字認識手段が、前記特定した位置に合成されている前記字幕の
各文字を認識するステップと、前記字幕抽出装置の認識文字表示手段が、前記認識した認
識文字を、順次、前記表示部に表示するステップと、を有することを特徴とする字幕抽出
方法である。
また本発明は、入力を受付けた前記映像に合成されている前記字幕の位置を、位置情報
に基づいて特定するステップと、前記特定した位置に合成されている前記字幕を表示部に
表示するステップと、前記特定した位置に合成されている前記字幕の各文字を認識するス
テップと、前記認識した認識文字を、順次、前記表示部に表示するステップと、を有する
ことを特徴とする字幕抽出方法である。
に基づいて特定するステップと、前記特定した位置に合成されている前記字幕を表示部に
表示するステップと、前記特定した位置に合成されている前記字幕の各文字を認識するス
テップと、前記認識した認識文字を、順次、前記表示部に表示するステップと、を有する
ことを特徴とする字幕抽出方法である。
また本発明は、字幕抽出装置のコンピュータに、入力を受付けた映像に合成されている
字幕の抽出位置を、位置情報に基づいて特定するステップと、前記特定した位置に合成さ
れている前記字幕を表示部に表示するステップと、前記特定した位置に合成されている前
記字幕の各文字を認識するステップと、前記認識した認識文字を、順次、前記表示部に表
示するステップと、を実行させるプログラムである。
字幕の抽出位置を、位置情報に基づいて特定するステップと、前記特定した位置に合成さ
れている前記字幕を表示部に表示するステップと、前記特定した位置に合成されている前
記字幕の各文字を認識するステップと、前記認識した認識文字を、順次、前記表示部に表
示するステップと、を実行させるプログラムである。
また本発明は、字幕抽出装置のコンピュータに、入力を受付けた映像に合成されている
字幕の抽出位置を、位置情報に基づいて特定するステップと、前記特定した位置に合成さ
れている前記字幕を表示部に表示するステップと、前記特定した位置に合成されている前
記字幕の各文字を認識するステップと、前記認識した認識文字を、順次、前記表示部に表
示するステップとを実行させるプログラムを記録する記録媒体である。
字幕の抽出位置を、位置情報に基づいて特定するステップと、前記特定した位置に合成さ
れている前記字幕を表示部に表示するステップと、前記特定した位置に合成されている前
記字幕の各文字を認識するステップと、前記認識した認識文字を、順次、前記表示部に表
示するステップとを実行させるプログラムを記録する記録媒体である。
以下、本発明の一実施形態による字幕抽出装置を図面を参照して説明する。図１は同実
施形態による字幕抽出装置の構成を示すブロック図である。この図において、符号１は字
幕抽出装置である。そして字幕抽出装置１において、符号１１は字幕抽出装置の各処理を
実行するＣＰＵ（字幕位置特定手段、字幕表示手段、文字認識手段、認識文字表示手段、
表示切替手段、字幕切り替わり検出手段、認識文字データ出力タイミング決定手段、字幕
記録手段）、また１２は各種情報の外部との入出力を行なうＩ／Ｆ、また１３はＲＯＭ（
Read Only Memory）／ＲＡＭ（Randam Access Memory）、また１４はＨＤＤ（Hard Disk
Drive）である。
施形態による字幕抽出装置の構成を示すブロック図である。この図において、符号１は字
幕抽出装置である。そして字幕抽出装置１において、符号１１は字幕抽出装置の各処理を
実行するＣＰＵ（字幕位置特定手段、字幕表示手段、文字認識手段、認識文字表示手段、
表示切替手段、字幕切り替わり検出手段、認識文字データ出力タイミング決定手段、字幕
記録手段）、また１２は各種情報の外部との入出力を行なうＩ／Ｆ、また１３はＲＯＭ（
Read Only Memory）／ＲＡＭ（Randam Access Memory）、また１４はＨＤＤ（Hard Disk
Drive）である。
そして、字幕抽出装置１は、字幕が合成された映像の入力を受付けて、その字幕の映像
における位置を特定し、また、字幕に含まれる各文字を認識する。そして映像に合成され
ている字幕と、字幕において認識した文字とを別々にモニタに表示する。ここで、字幕と
認識した文字の表示を切り替える処理も行なうことができる。また字幕抽出装置１は、認
識した文字をモニタに表示するにあたり、テキストエディタなどに字幕ごとに改行して表
示したり、字幕の切り替わりごとにテキストエディタなどの認識文字を表示する為の画面
を表示して、それぞれのテキストエディタの画面に切り替わりごとの字幕中の前記認識し
た文字を表示する処理を行なう。また、その他、点字ディスプレイに認識文字を表示する
に当たり、所定の出力間隔で出力する処理や、字幕のデータをＲＯＭ／ＲＡＭ１３に記録
する処理を行なう。
における位置を特定し、また、字幕に含まれる各文字を認識する。そして映像に合成され
ている字幕と、字幕において認識した文字とを別々にモニタに表示する。ここで、字幕と
認識した文字の表示を切り替える処理も行なうことができる。また字幕抽出装置１は、認
識した文字をモニタに表示するにあたり、テキストエディタなどに字幕ごとに改行して表
示したり、字幕の切り替わりごとにテキストエディタなどの認識文字を表示する為の画面
を表示して、それぞれのテキストエディタの画面に切り替わりごとの字幕中の前記認識し
た文字を表示する処理を行なう。また、その他、点字ディスプレイに認識文字を表示する
に当たり、所定の出力間隔で出力する処理や、字幕のデータをＲＯＭ／ＲＡＭ１３に記録
する処理を行なう。
図２は字幕抽出装置が字幕と認識文字とを表示する際の処理フローを示す図である。
まず、字幕抽出装置１のＲＯＭ／ＲＡＭ１３は予め映像の字幕位置を示す位置情報（例
えば映像における表示範囲内の座標）を記憶している。そして字幕抽出装置１のＩ／Ｆ１
２が映像の入力を受付けると、ＣＰＵ１１は位置情報をＲＯＭ／ＲＡＭ１３から読み取っ
て、字幕を抽出する位置を特定する（ステップＳ１）。そして、ＣＰＵ１１は特定した位
置の範囲を映像から切り取ってその字幕を抽出する（ステップＳ２）。そしてＣＰＵ１１
は抽出した字幕をＨＤＤ１４などに蓄積しておく（ステップＳ３）。これにより，例えば
字幕位置が緊急通報の字幕（地震などの際に表示される字幕）を表示する位置である場合
には、緊急通報の字幕を記憶しておくことができる。なお、上記した位置情報はＲＯＭ／
ＲＡＭ１３が予め記録しているとしたが、位置情報についてはＩ／Ｆ１２から受付けても
良い。つまりＣＰＵ１１の制御によりＩ／Ｆ１２を介して座標の情報を受付けて、ＣＰＵ
１１はその座標を示す位置情報によって字幕の位置を特定するようにしてもよい。
まず、字幕抽出装置１のＲＯＭ／ＲＡＭ１３は予め映像の字幕位置を示す位置情報（例
えば映像における表示範囲内の座標）を記憶している。そして字幕抽出装置１のＩ／Ｆ１
２が映像の入力を受付けると、ＣＰＵ１１は位置情報をＲＯＭ／ＲＡＭ１３から読み取っ
て、字幕を抽出する位置を特定する（ステップＳ１）。そして、ＣＰＵ１１は特定した位
置の範囲を映像から切り取ってその字幕を抽出する（ステップＳ２）。そしてＣＰＵ１１
は抽出した字幕をＨＤＤ１４などに蓄積しておく（ステップＳ３）。これにより，例えば
字幕位置が緊急通報の字幕（地震などの際に表示される字幕）を表示する位置である場合
には、緊急通報の字幕を記憶しておくことができる。なお、上記した位置情報はＲＯＭ／
ＲＡＭ１３が予め記録しているとしたが、位置情報についてはＩ／Ｆ１２から受付けても
良い。つまりＣＰＵ１１の制御によりＩ／Ｆ１２を介して座標の情報を受付けて、ＣＰＵ
１１はその座標を示す位置情報によって字幕の位置を特定するようにしてもよい。
次に、ＣＰＵ１１は抽出した字幕に含まれる文字を認識する（ステップＳ４）。この文
字の認識は、例えば字幕の合成された映像において、ＣＰＵ１１が、その映像を白を「０
」、黒を「２５６」とした際のグレイスケールの映像に変換し、輝度に基づいて文字を認
識する処理である（例えば輝度値が所定値以上の部分を文字とみなして、予め記憶してい
る文字パターンとパターン比較することにより検出する等）。なお、文字認識の処理はこ
の方式に限らず、文字を認識するような技術であればよい。
字の認識は、例えば字幕の合成された映像において、ＣＰＵ１１が、その映像を白を「０
」、黒を「２５６」とした際のグレイスケールの映像に変換し、輝度に基づいて文字を認
識する処理である（例えば輝度値が所定値以上の部分を文字とみなして、予め記憶してい
る文字パターンとパターン比較することにより検出する等）。なお、文字認識の処理はこ
の方式に限らず、文字を認識するような技術であればよい。
そして、ＣＰＵ１１は切替情報が示す符号により前記字幕と前記認識した文字のどちら
を表示するか、または前記字幕と前記認識した文字の両方を表示するかを決定する（ステ
ップＳ５）。例えば、切替情報が「０１」の符号を示す場合には、字幕のみをモニタに表
示し、切替情報が「１０」の符号を示す場合には、認識した文字のみをモニタに表示し、
切替情報が「１１」の符号を示す場合には、字幕と認識した文字の両方をモニタに出力す
る。この切替情報は予めＲＯＭ／ＲＡＭ１３に記録されていても良いし、またＩ／Ｆ１３
から受付けるようにしても良い。
を表示するか、または前記字幕と前記認識した文字の両方を表示するかを決定する（ステ
ップＳ５）。例えば、切替情報が「０１」の符号を示す場合には、字幕のみをモニタに表
示し、切替情報が「１０」の符号を示す場合には、認識した文字のみをモニタに表示し、
切替情報が「１１」の符号を示す場合には、字幕と認識した文字の両方をモニタに出力す
る。この切替情報は予めＲＯＭ／ＲＡＭ１３に記録されていても良いし、またＩ／Ｆ１３
から受付けるようにしても良い。
以上の処理により、例えば、字幕とその認識文字が別々にモニタに表示されれば、ユー
ザは字幕と、認識文字とを見比べることにより、文字認識が間違えている箇所を判断する
ことができる。これは文字認識の精度が低い場合などに、文字認識の間違いを検出するこ
とによって例えば字幕抽出装置１が点字ディスプレイなどに認識文字を出力するさいの間
違いを把握する場合などに有効である。
ザは字幕と、認識文字とを見比べることにより、文字認識が間違えている箇所を判断する
ことができる。これは文字認識の精度が低い場合などに、文字認識の間違いを検出するこ
とによって例えば字幕抽出装置１が点字ディスプレイなどに認識文字を出力するさいの間
違いを把握する場合などに有効である。
次に、ＣＰＵ１１は字幕から認識した文字についてモニタに表示する場合には、予めＨ
ＤＤ１４記録されているテキストエディタのアプリケーションプログラムを実行して、モ
ニタにテキストエディタの画面を表示させる。そして、認識した文字を順次テキストエデ
ィタのアプリケーションプログラムに読み込ませてモニタのテキストエディタ画面上に表
示させる（ステップＳ６）。この時、例えばＣＰＵ１１は、字幕の切り替わりを検出し、
その切り替わりごとに、テキストエディタのアプリケーションプログラムに対して改行を
指示する。これにより字幕の切り替わりごとにテキストエディタの画面上で字幕が改行さ
れるので、ユーザは字幕の切り替わり箇所を容易に把握することができる。なおテキスト
エディタでなく、モニタ上において、専用の表示ウィンドウ領域に表示させるようにして
も良い。
ＤＤ１４記録されているテキストエディタのアプリケーションプログラムを実行して、モ
ニタにテキストエディタの画面を表示させる。そして、認識した文字を順次テキストエデ
ィタのアプリケーションプログラムに読み込ませてモニタのテキストエディタ画面上に表
示させる（ステップＳ６）。この時、例えばＣＰＵ１１は、字幕の切り替わりを検出し、
その切り替わりごとに、テキストエディタのアプリケーションプログラムに対して改行を
指示する。これにより字幕の切り替わりごとにテキストエディタの画面上で字幕が改行さ
れるので、ユーザは字幕の切り替わり箇所を容易に把握することができる。なおテキスト
エディタでなく、モニタ上において、専用の表示ウィンドウ領域に表示させるようにして
も良い。
またその他の処理方法としては、ＣＰＵ１１が、字幕の切り替わりを検出すると、その
字幕の切り替わりを検出するたびにテキストエディタのアプリケーションプログラムにテ
キストエディタ画面（または専用表示ウィンドウ領域）の表示を指示し、それぞれの画面
に各字幕中の認識文字を表示させる。つまり、モニタ上の別々の分割領域に前記切り替わ
りの字幕ごとの認識文字を表示させる。これにより字幕の切り替わりごとに別々のテキス
トエディタの画面に各字幕を表示することができる。または、ＣＰＵ１１は字幕の切り替
わりの度に、認識文字を書き換えて表示（つまり、切り替わり前の字幕の認識文字を消し
て、切り替わり後の字幕の認識文字を表示）してもよい。また、ＣＰＵ１１は、テキスト
エディタ画面や専用表示ウィンドウ領域の表示範囲に表示できる数の認識文字を表示した
後は、それら認識文字の行に直交する方向であって次に認識文字を表示する方向とは逆の
方向に、行をずらして、次の認識文字を最下行に表示するようにしてもよい（つまりスク
ロールして表示するようにしてもよい）。
なお、字幕の認識文字を表示する画面はテキストエディタに限らず、他のモニタに文字
を表示させるアプリケーションプログラムであればよい。
以上の処理により、字幕抽出装置のモニタに表示されたテキストエディタにおいて、字
幕などを加工することによって、例えば映画の台詞をテキストファイルとして保存してお
くことなどができる。
字幕の切り替わりを検出するたびにテキストエディタのアプリケーションプログラムにテ
キストエディタ画面（または専用表示ウィンドウ領域）の表示を指示し、それぞれの画面
に各字幕中の認識文字を表示させる。つまり、モニタ上の別々の分割領域に前記切り替わ
りの字幕ごとの認識文字を表示させる。これにより字幕の切り替わりごとに別々のテキス
トエディタの画面に各字幕を表示することができる。または、ＣＰＵ１１は字幕の切り替
わりの度に、認識文字を書き換えて表示（つまり、切り替わり前の字幕の認識文字を消し
て、切り替わり後の字幕の認識文字を表示）してもよい。また、ＣＰＵ１１は、テキスト
エディタ画面や専用表示ウィンドウ領域の表示範囲に表示できる数の認識文字を表示した
後は、それら認識文字の行に直交する方向であって次に認識文字を表示する方向とは逆の
方向に、行をずらして、次の認識文字を最下行に表示するようにしてもよい（つまりスク
ロールして表示するようにしてもよい）。
なお、字幕の認識文字を表示する画面はテキストエディタに限らず、他のモニタに文字
を表示させるアプリケーションプログラムであればよい。
以上の処理により、字幕抽出装置のモニタに表示されたテキストエディタにおいて、字
幕などを加工することによって、例えば映画の台詞をテキストファイルとして保存してお
くことなどができる。
図３は点字ディスプレイに認識文字のデータを出力する際の処理フローを示す図である
。次に、図３を用いて字幕抽出装置が点字ディスプレイに認識文字のデータを出力する処
理について説明する。
ここで点字ディスプレイとは、入力を受けた文字データに基づいて点字の突起をビニー
ル膜上などに順次形成する視覚障害者向けの装置である。そして、まず、字幕抽出装置１
のＣＰＵ１１は、字幕の切り替わりを検出する（ステップＳ１１）。そしてＣＰＵ１１は
、字幕の切り替わりを検出してから経過時間を計測する（ステップＳ１２）。またＣＰＵ
１１はその経過時間と出力間隔時間とを比較する（ステップＳ１３）。そして、次に字幕
の切り替わりを検出するまでの経過時間が出力間隔時間より長い場合には、出力するタイ
ミングであると判断し、当該次の字幕の切り替わり時に、その字幕の各認識文字を点字デ
ィスプレイに出力する（ステップＳ１４）。また次の字幕の切り替わりを検出するまでの
経過時間が出力間隔時間より短い場合には、出力するタイミングでないと判断し、当該次
の字幕の各認識文字をＲＯＭ／ＲＡＭ１３に一時記憶する（ステップＳ１５）。そして経
過時間が出力間隔時間に達したことを検出すると、ＲＯＭ／ＲＡＭ１３に一時記憶した字
幕の各認識文字を点字ディスプレイに出力する（ステップＳ１６）。
これにより、出力間隔時間より短い間隔で点字ディスプレイに認識文字が出力されるこ
とがなくなるので、その出力間隔時間が点字により読めるだけの時間確保されていれば、
映像に合成された字幕の切り替わりが早い場合でも、視覚障害者は点字ディスプレイに表
示された点字を無理なく読めることができるようになる。
。次に、図３を用いて字幕抽出装置が点字ディスプレイに認識文字のデータを出力する処
理について説明する。
ここで点字ディスプレイとは、入力を受けた文字データに基づいて点字の突起をビニー
ル膜上などに順次形成する視覚障害者向けの装置である。そして、まず、字幕抽出装置１
のＣＰＵ１１は、字幕の切り替わりを検出する（ステップＳ１１）。そしてＣＰＵ１１は
、字幕の切り替わりを検出してから経過時間を計測する（ステップＳ１２）。またＣＰＵ
１１はその経過時間と出力間隔時間とを比較する（ステップＳ１３）。そして、次に字幕
の切り替わりを検出するまでの経過時間が出力間隔時間より長い場合には、出力するタイ
ミングであると判断し、当該次の字幕の切り替わり時に、その字幕の各認識文字を点字デ
ィスプレイに出力する（ステップＳ１４）。また次の字幕の切り替わりを検出するまでの
経過時間が出力間隔時間より短い場合には、出力するタイミングでないと判断し、当該次
の字幕の各認識文字をＲＯＭ／ＲＡＭ１３に一時記憶する（ステップＳ１５）。そして経
過時間が出力間隔時間に達したことを検出すると、ＲＯＭ／ＲＡＭ１３に一時記憶した字
幕の各認識文字を点字ディスプレイに出力する（ステップＳ１６）。
これにより、出力間隔時間より短い間隔で点字ディスプレイに認識文字が出力されるこ
とがなくなるので、その出力間隔時間が点字により読めるだけの時間確保されていれば、
映像に合成された字幕の切り替わりが早い場合でも、視覚障害者は点字ディスプレイに表
示された点字を無理なく読めることができるようになる。
なお、上述の字幕抽出装置は内部に、コンピュータシステムを有している。そして、上
述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶さ
れており、このプログラムをコンピュータが読み出して実行することによって、上記処理
が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュー
タプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータ
が当該プログラムを実行するようにしても良い。
述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶さ
れており、このプログラムをコンピュータが読み出して実行することによって、上記処理
が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュー
タプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータ
が当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組
み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組
み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
１・・・字幕抽出装置、１１・・・ＣＰＵ、１２・・・Ｉ／Ｆ、１３・・・ＲＯＭ／Ｒ
ＡＭ、１４・・・ＨＤＤ
ＡＭ、１４・・・ＨＤＤ
Claims (12)
- 入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
字幕位置特定手段と、
前記特定した位置に合成されている前記字幕を表示部に表示する字幕表示手段と、
前記特定した位置に合成されている前記字幕の各文字を認識する文字認識手段と、
前記認識した認識文字を、順次、前記表示部に表示する認識文字表示手段と、
を備えることを特徴とする字幕抽出装置。 - 前記字幕の表示と前記認識文字の表示のどちらを行なうか切替情報に基づいて決定する
表示切替手段と、
を備えることを特徴とする請求項１に記載の字幕抽出装置。 - 前記認識文字表示手段は、
前記字幕の前記映像における切り替わりごとに、その字幕から認識した前記認識文字を
前記表示部の分割領域に表示し、
前記字幕の次の切り替わり時には、前記分割領域とは異なる他の分割領域に表示するか
、または前記分割領域において書き換えて表示するかのいずれかを行なう
ことを特徴とする請求項１または請求項２に記載の字幕抽出装置。 - 前記認識文字表示手段は、
前記字幕の前記映像における切り替わりごとに、その字幕から認識した前記認識文字を
改行して前記分割領域に表示する
ことを特徴とする請求項１または請求項２に記載の字幕抽出装置。 - 前記認識文字表示手段は、
前記分割領域の表示範囲に表示できる数の前記認識文字を表示した後は、それら認識文
字の行に直交する方向であって次に認識文字を表示する方向とは逆の方向に、前記行をず
らして、前記次の認識文字を最下行に表示する
ことを特徴とする請求項４に記載の字幕抽出装置。 - 前記字幕の切り替わりを検出する字幕切り替わり検出手段と、
前記切り替わりからの経過時間と出力間隔時間とに基づいて、前記表示した字幕の次に
表示する字幕の各認識文字のデータの出力タイミングを決定する認識文字データ出力タイ
ミング決定手段と、
を備えることを特徴とする請求項１から請求項４のいずれかに記載の字幕抽出装置。 - 前記特定した位置に合成されている前記字幕を記憶部に記録する字幕記録手段と、
を備えることを特徴とする請求項１から請求項５のいずれかに記載の字幕抽出装置。 - コンピュータが、
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
ステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップと、
を有することを特徴とする字幕抽出方法。 - 字幕抽出装置の字幕位置特定手段が、入力を受付けた映像に合成されている字幕の抽出
位置を、位置情報に基づいて特定するステップと、
前記字幕抽出装置の字幕表示手段が、前記特定した位置に合成されている前記字幕を表
示部に表示するステップと、
前記字幕抽出装置の文字認識手段が、前記特定した位置に合成されている前記字幕の各
文字を認識するステップと、
前記字幕抽出装置の認識文字表示手段が、前記認識した認識文字を、順次、前記表示部
に表示するステップと、
を有することを特徴とする字幕抽出方法。 - 入力を受付けた前記映像に合成されている前記字幕の位置を、位置情報に基づいて特定
するステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップと、
を有することを特徴とする字幕抽出方法。 - 字幕抽出装置のコンピュータに、
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
ステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップと、
を実行させるプログラム。 - 字幕抽出装置のコンピュータに、
入力を受付けた映像に合成されている字幕の抽出位置を、位置情報に基づいて特定する
ステップと、
前記特定した位置に合成されている前記字幕を表示部に表示するステップと、
前記特定した位置に合成されている前記字幕の各文字を認識するステップと、
前記認識した認識文字を、順次、前記表示部に表示するステップとを実行させるプログ
ラム
を記録する記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004297201A JP2006114955A (ja) | 2004-10-12 | 2004-10-12 | 字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004297201A JP2006114955A (ja) | 2004-10-12 | 2004-10-12 | 字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006114955A true JP2006114955A (ja) | 2006-04-27 |
Family
ID=36383142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004297201A Withdrawn JP2006114955A (ja) | 2004-10-12 | 2004-10-12 | 字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006114955A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101849036B1 (ko) * | 2017-01-03 | 2018-04-13 | 한국건설 주식회사 | 영상 자막의 스캔을 통한 하이브리드 언어 표현방식 변환장치 |
| CN111709342A (zh) * | 2020-06-09 | 2020-09-25 | 北京字节跳动网络技术有限公司 | 字幕分割方法、装置、设备及存储介质 |
-
2004
- 2004-10-12 JP JP2004297201A patent/JP2006114955A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101849036B1 (ko) * | 2017-01-03 | 2018-04-13 | 한국건설 주식회사 | 영상 자막의 스캔을 통한 하이브리드 언어 표현방식 변환장치 |
| CN111709342A (zh) * | 2020-06-09 | 2020-09-25 | 北京字节跳动网络技术有限公司 | 字幕分割方法、装置、设备及存储介质 |
| CN111709342B (zh) * | 2020-06-09 | 2023-05-16 | 北京字节跳动网络技术有限公司 | 字幕分割方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5057918B2 (ja) | 電子機器およびシーン種類表示方法 | |
| US9904666B2 (en) | Interactive environment for performing arts scripts | |
| JP2009038680A (ja) | 電子機器および顔画像表示方法 | |
| JP2009089065A (ja) | 電子機器および顔画像表示装置 | |
| JP2009177411A (ja) | 電子機器および画像表示方法 | |
| JP4427600B1 (ja) | 映像解析装置およびプログラム | |
| WO2012050029A1 (ja) | 電子機器及びその表示言語判定方法 | |
| JP2009182876A (ja) | 電子機器および表示処理方法 | |
| JP2003271283A (ja) | 情報表示装置 | |
| JP5774460B2 (ja) | テレビジョン装置、情報処理方法、およびプログラム | |
| JP2006114955A (ja) | 字幕抽出装置および字幕抽出方法並びにそのプログラムと記録媒体 | |
| JP4625862B2 (ja) | オーサリング装置およびオーサリング方法 | |
| JP2007133305A (ja) | 情報表示制御装置および情報表示制御方法 | |
| KR102653640B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 저장 매체 | |
| US20090089677A1 (en) | Systems and methods for enhanced textual presentation in video content presentation on portable devices | |
| JP5034111B2 (ja) | データ蓄積システム、データ蓄積再生方法及びプログラム | |
| JP2018061071A (ja) | コンテンツ作成装置、コンテンツ再生装置、及びプログラム、並びにコンテンツ作成及び再生システム | |
| JP2009200827A (ja) | 電子機器および画像表示方法 | |
| JP2007310151A (ja) | 画像表示装置および画像表示方法 | |
| JP2009088904A (ja) | 情報処理装置および顔画像表示方法 | |
| JP5136074B2 (ja) | 緊急地震速報補助装置 | |
| JP2009089031A (ja) | 電子機器および画像表示方法 | |
| JP2000253392A (ja) | 監視記録装置における画像および情報の表示方法 | |
| JP2004233435A (ja) | 画像表示装置 | |
| KR100816942B1 (ko) | 입력신호 선택방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |