JP2004343352A - 電子機器装置及びテロップ情報処理方法 - Google Patents
電子機器装置及びテロップ情報処理方法 Download PDFInfo
- Publication number
- JP2004343352A JP2004343352A JP2003136375A JP2003136375A JP2004343352A JP 2004343352 A JP2004343352 A JP 2004343352A JP 2003136375 A JP2003136375 A JP 2003136375A JP 2003136375 A JP2003136375 A JP 2003136375A JP 2004343352 A JP2004343352 A JP 2004343352A
- Authority
- JP
- Japan
- Prior art keywords
- telop
- information
- frames
- telop information
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Character Input (AREA)
Abstract
【課題】映像中から高い精度で即時にテロップ情報を抽出することができる電子機器装置及びテロップ情報処理方法を提供すること。
【解決手段】映像を構成するために順次出力されるフレームから、連続する複数のフレーム３０１ａ、３０１ｂ、３０１ｃ、３０１ｄを抽出し、抽出した複数のフレームに基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断し、テロップ情報の領域が存在すると判断された場合に、抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出することとした。これにより、高い精度で即時にテロップ情報を抽出することができる。
【選択図】 図３
【解決手段】映像を構成するために順次出力されるフレームから、連続する複数のフレーム３０１ａ、３０１ｂ、３０１ｃ、３０１ｄを抽出し、抽出した複数のフレームに基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断し、テロップ情報の領域が存在すると判断された場合に、抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出することとした。これにより、高い精度で即時にテロップ情報を抽出することができる。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、例えばテレビセット、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、デジタルビデオカメラ、携帯電話等の電子機器装置及びそのテロップ情報処理方法に関する。
【０００２】
【従来の技術】
従来、テレビセット等に出力される映像からテロップ情報を認識して抽出する場合には、例えば、映像からある一定の時間間隔でフレームを抽出していき、抽出したフレームがある一定数に達した場合に、それらのフレームの比較により背景画像を除去する等してテロップ情報を認識していた（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−２８５７１６公報。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記技術では、最初に抽出したフレーム中にテロップ情報が含まれていても、テロップ情報を認識するために必要な一定数のフレームを抽出したときには既に映像中のテロップ及びシーンが変わってしまう場合がある。このような場合には、これら一定数のフレームを比較しても背景を除去することができないため、テロップ情報を認識することはできなかった。すなわち、フレームを一定数抽出するまでに時間が掛かってしまい、テロップ情報の抽出精度が下がってしまうという課題があった。
【０００５】
本発明は、このような課題を解決するためになされるものであり、映像中から高い精度で即時にテロップ情報を抽出することができる電子機器装置及びテロップ情報処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の主たる観点に係る電子機器装置は、映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出するフレーム抽出手段と、前記抽出した複数のフレーム基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断するテロップ領域判断手段と、前記テロップ領域判断手段により前記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、前記抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出するテロップ情報抽出手段とを具備することを特徴としている。
【０００７】
ここで、映像とは、例えばテレビセットの画面に映し出される像をいい、フレームとは、連続して表示されて上記映像を構成している個々の画像をいう。
【０００８】
また、テロップ情報とは、テレビ番組等において、説明を補助したり、外国語の発言を翻訳したり、出演者の発言を表示したりする等の目的で、映像上にカメラを通さずに直に表示される文字列（１文字のものも含む。）をいう。
【０００９】
本発明において、電子機器装置としては、例えばテレビセットやデジタルビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）等が挙げられる。
【００１０】
この発明によれば、連続する複数のフレームを抽出するため、フレームを抽出している間にテロップ情報やシーンが変化することも少なく、当該抽出した複数のフレーム全てに同じテロップ情報が含まれている確率が高くなるため、それら複数のフレームを比較して共通箇所を得ることにより、高い精度で即時にテロップ情報を抽出することができる。
【００１１】
本発明の一の形態によれば、前記フレーム抽出手段によるフレーム抽出動作と前記テロップ領域判断手段による判断動作及び前記テロップ情報抽出手段によるテロップ情報抽出動作とは、互いに独立かつ並列に動作することが可能にされていることを特徴としている。
【００１２】
ここで、「独立かつ並列に動作」とは、例えば上記フレーム抽出動作と上記テロップ情報抽出動作とがそれぞれ別個に動作しており、上記フレーム抽出動作によりフレームが抽出されている最中にも、上記テロップ情報抽出動作によりテロップ情報の抽出が行われることをいう。
【００１３】
これにより、ある時点までに抽出したフレームにテロップ情報が存在するか否かを判断し、存在すると判断した場合にテロップ情報を抽出する動作と並行して、次のフレームを抽出しているため、あるフレームからのテロップの抽出が終了するまで次のフレームを抽出しない場合に比べて、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００１４】
本発明の一の形態によれば、前記テロップ領域判断手段によりテロップ情報の領域が存在しないと判断された場合に、前記フレーム抽出手段に対して新たに連続する複数のフレームの抽出を開始させる手段を更に具備することを特徴としている。
【００１５】
これにより、あるフレームにテロップ情報の領域が存在しないと判断された場合にはそれ以上そのフレームからテロップ情報を抽出する処理を行わず、また新たにフレームを抽出するため、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００１６】
本発明の一の形態によれば、前記テロップ情報抽出手段により抽出したテロップ情報に基づいて、前記出力される映像に関連する情報を検索する関連情報検索手段と、前記出力される映像及び検索した前記関連情報を一の表示画面に表示領域毎に表示する表示手段とを更に具備することを特徴としている。
【００１７】
これにより、出力される映像に関連する情報を、テロップ情報に基づいて検索し、当該情報を出力される映像と共に表示できるため、ユーザにより多くの情報を同時に提供することができる。
【００１８】
本発明の他の観点に係るテロップ情報処理方法は、（ａ）映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出する工程と、（ｂ）前記抽出した複数のフレーム基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断する工程と、（ｃ）前記テロップ領域判断手段により前記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、前記抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出する工程とを具備することを特徴としている。
【００１９】
この発明によれば、連続する複数のフレームを抽出する工程等を具備することとしたため、フレームを抽出している間にテロップ情報やシーンが変化することも少なく、当該抽出した複数のフレーム全てに同じテロップ情報が含まれている確率が高くなり、それら複数のフレームを比較して共通箇所を得ることにより、高い精度で即時にテロップ情報を抽出することができる。本発明は、電子機器装置スタンドアローンの場合だけでなく、例えば本発明に係るテロップ情報処理方法をＷｅｂ上で実現してこの結果に関連する情報を各ユーザに配信するようにしても構わない。その他、様々なシステム上で本発明に係る方法を実現することが可能である。
【００２０】
本発明の一の形態によれば、前記工程（ａ）と前記工程（ｂ）及び前記工程（ｃ）とは、互いに独立かつ並列に動作することが可能にされていることを特徴としている。
【００２１】
これにより、ある時点までに抽出したフレームにテロップ情報が存在するか否かを判断し、存在すると判断した場合にテロップ情報を抽出する動作と並行して、次のフレームを抽出することとしたため、あるフレームからのテロップの抽出が終了するまで次のフレームを抽出しない場合に比べて、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００２２】
本発明の一の形態によれば、（ｄ）前記工程（ｂ）により、テロップ情報の領域が存在しないと判断された場合に、前記工程（ａ）に新たに連続する複数のフレームの抽出を開始させる工程を更に具備することを特徴としている。
【００２３】
これにより、あるフレームにテロップ情報の領域が存在しないと判断された場合にはそれ以上そのフレームのからテロップ情報を抽出する処理を行わず、また新たにフレームを抽出させる工程を具備することとしたため、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００２４】
本発明の一の形態によれば、（ｅ）前記工程（ｃ）により抽出したテロップ情報に基づいて、前記出力される映像に関連する情報を検索する工程と、（ｆ）前記出力される映像及び前記検索した関連情報を一の表示画面に表示領域毎に表示する工程とを更に具備することを特徴としている。
【００２５】
これにより、出力される映像に関連する情報を、テロップ情報に基づいて検索する工程と、当該情報を出力される映像と共に表示する工程とを具備することとしたため、ユーザにより多くの情報を同時に提供することができる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づき説明する。なお、以下に実施形態を説明するにあたっては電子機器装置の例としてテレビセットを中心に説明するが、本発明はこれに限られるものではない。
【００２７】
図１は本発明の一実施形態に係るテレビセットのシステムを示す概略図、図２は図１の制御部のブロック図である。
【００２８】
図１に示すように、テレビセット１００は、外部情報源との接続手段であるインターフェース部１０１と、当該インターフェース部１０１より入力された映像情報と音響情報とを分離するＡ／Ｖ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）ＳＷ１０２と、映像情報を処理する映像部１０３と、音響情報を処理する音響部１０４と、ユーザからの操作命令を入力する操作入力部１０５と、各部の制御と共に各種の演算処理を実行する制御部１０６とを有する。
【００２９】
インターフェース部１０１には、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）１０７との接続手段であるネットワークインターフェース部１０８、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ Ｓａｔｅｌｌｉｔｅ）放送を選局するＢＳチューナ１０９、地上波放送を選局する地上波チューナ１１０、例えば外部映像情報を入力するビデオ入力端子１１１、音響情報を入力するオーディオ入力端子１１２、メモリーカードの読み書きを行うメモリーカードスロット１１３、デジタルビデオカメラ等からの情報を取り込むためのｉ．ＬＩＮＫ（ＤＶ端子）１１４等が設けられている。なお、ビデオ入力端子１１１からは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ゲーム機などのデジタルデータを扱う電子機器１１５からの映像情報を取り込むことができる。
【００３０】
映像部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイ１１６と、Ａ／Ｖ ＳＷ１０２によって選択された映像情報からディスプレイに表示可能な映像信号を生成するＹ／Ｃシングシグナルプロセッサ１１７とからなる。
【００３１】
音響部１０４は、Ａ／Ｖ ＳＷ１０２によって選択された音響情報を処理するサウンドプロセッサ１１８と、サウンドプロセッサ１１８により出力されたオーディオ信号を増幅するオーディオアンプ１１９と、増幅後のオーディオ信号を聴覚的に出力するスピーカ１２０とで構成される。
【００３２】
操作入力部１０５は、テレビセット１００本体に設けられたキー／スイッチ部１２１と、リモートコントローラ１２２との間でＩｒ（Ｉｎｆｒａｒｅｄ）無線通信を行う赤外線通信部１２３とからなる。
【００３３】
また、制御部１０６には、図２に示すように、演算と制御とをするＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、必要に応じて一時的に映像情報、音響情報、データ及びソフト等を記録し、電子機器装置であるテレビセット１００の制御をより円滑に行うＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、データ格納部２０４及び各種のソフトウェアが格納されたソフトウェア格納部２０５などが備えられている。
【００３４】
ソフトウェア格納部２０５には、フレーム抽出機構２０８、テロップ領域判断機構２０９、テロップ情報抽出機構２１０、フレーム再抽出機構２１１、関連情報検索機構２１２、関連情報表示機構２１３等のソフトウェアが格納されている。
【００３５】
ここで、フレーム抽出機構２０８は、テレビセット１００の映像を構成するために順次出力されるフレームから、連続する複数のフレームを、ＣＰＵ２０１の制御下、抽出する。連続する複数のフレームの抽出枚数としては、４枚程度が好ましい形態である。これは、抽出するフレームが３枚以下の場合には、テロップ情報の抽出の精度が低くなってしまい、５枚以上の場合には抽出の精度は高まるが、抽出に時間を要してしまい、テロップ情報をリアルタイムに抽出できる可能性が低くなってしまうという理由による。
【００３６】
テロップ領域判断機構２０９は、ＣＰＵ２０１の制御下、フレーム抽出機構２０８が抽出した複数のフレームに、テロップ情報の領域が存在するか否かを、当該抽出した複数のフレームに基づいて判断する。
【００３７】
具体的には、抽出したフレーム間を比較して、例えば複数のフレームに共通して高輝度の画素から構成される部分が検出された場合や、抽出した複数のフレームに共通して、フレーム中のある部分に高いエッジが検出された場合には、当該部分にテロップ情報の領域が存在すると判断する。
【００３８】
なお、上記ＲＡＭ２０２には、複数のバッファの領域を用意しておき、フレーム抽出機構２０８により映像中から抽出されたフレーム及びフレームからテロップ情報を抽出する処理の中途段階の各画像が、当該バッファにそれぞれ一時的に格納される。これらのフレーム及び画像にはそれぞれフラグ及びＩＤが付され、他のフレームと区別されている。テロップ領域判断機構２０９は、格納された各フレームを、当該フラグ及びＩＤによって呼び出しており、当該フラグ及びＩＤは、上記ソフトウェアによる一連の処理が終了した段階で消去される。
【００３９】
テロップ情報抽出機構２１０は、ＣＰＵ２０１の制御下、上記テロップ領域判断機構により、上記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、上記複数のフレームに基づいて、当該領域に存在するテロップ情報を抽出する。
【００４０】
具体的には、テロップ領域判断機構２０９によりテロップ情報の領域であると判断された上記複数のフレームについて、例えば複数のフレームの輝度平均を求めて輝度分散画像を作成し、そこから輝度分散を求めて輝度分散画像を作成する。一方で、複数のフレームからそれぞれエッジを検出し、得られた値をエッジの強度に基づき、一定の値を基準に２値化してフレーム毎に２値化画像を作成し、複数のフレームの２値化画像を比較してその論理積を求め、不動エッジ画像を作成する。そして、上記輝度分散画像と不動エッジ画像の論理積を求めることにより、テロップ情報候補画像を作成する。ここで、エッジとは、画像の濃度値、色、模様等の特徴が似ている部分を１つの領域とした場合の、当該領域と他の領域との境界をいい、エッジでは上記特徴が急激に変化している。また、不動エッジ画像とは、検出したエッジの強度を基に各フレームについて作成した複数の２値化画像を比較した場合に、当該複数のフレーム全てに共通して現れる部分を抜き出した画像をいう。
【００４１】
次に、上記処理によって得られたテロップ情報候補画像から大まかなテロップ情報領域を背景から切り出し、当該切り出した画像から更に輝度分散及びエッジを求め、複数のフレームから文字部分を切り出す。そして、それぞれの文字部分にＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）処理を施し、複数の画像のＯＣＲ処理結果を比較してその論理積を得ることにより、一のテロップ情報を抽出する。
【００４２】
なお、テロップ情報抽出機構２１０は、フレーム中の複数箇所にテロップ情報が存在する場合には、それぞれ抽出することも勿論可能である。
【００４３】
フレーム再抽出機構２１１は、ＣＰＵ２０１の制御下、上記テロップ領域判断機構により上記複数のフレームにテロップ情報の領域が存在しないと判断された場合に、それ以降のテロップ情報抽出機構２１０による処理を行わずに、フレーム抽出機構２０８に、新たに連続する複数のフレームを抽出させることができる。
【００４４】
関連情報検索機構２１２は、ＣＰＵ２０１の制御下、上記抽出したテロップ情報を基にキーワードを生成し、当該キーワードを基に、テレビセット１００に出力される映像に関連する情報を、例えば上記ネットワークインターフェース部１０８を介して、インターネット上で検索することができる。
【００４５】
関連情報表示機構２１３は、ＣＰＵ２０１の制御下、上記関連情報検索機構２１２が検索した情報を、テレビセット１００に出力されるテレビ放送等の映像と共にテレビセット１００の表示画面に表示することができる。
【００４６】
具体的には、関連情報表示機構２１３は、関連情報検索機構２１２が検索した例えばテレビセット１００に出力される映像に関連する情報が記載されたインターネット上のＷｅｂページ等を、当該出力される映像と共に表示する。
【００４７】
なお、それらが表示される表示画面は、予めそれぞれの表示領域毎に分割されており、関連情報表示機構２１３は、当該Ｗｅｂページ及び出力される映像をそれぞれの表示領域毎に表示するような態様にしてもよい。
【００４８】
また、データ格納部２０４には、複数の表示プログラムファイル２０６ａ、２０６ｂ、２０６ｃ・・、及び単語辞書２０７が、制御部１０６の制御下格納されている。この表示プログラムファイルは、上記関連情報表示機構２１３が表示画面に上記Ｗｅｂページ及び出力される映像を表示する際、表示画面中の表示領域及びその位置等のレイアウトを行うためのものである。なお、当該表示プログラムの記述言語には、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）等のＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）をベースとした言語を用いることにより、静止画や動画、音声等のマルチメディアデータを統合してＷｅｂページとの同期を実現することが可能となる。そして、上記テロップ情報表示機構２１２は、当該表示プログラムに基づいて表示画面をレイアウトして表示することができ、当該表示プログラムを変更することにより、表示画面のレイアウトも変更することができる。
【００４９】
また、単語辞書２０７は、テロップ情報抽出機構２１０が抽出したテロップ情報を基に、関連情報検索機構２１２がインターネット上で関連情報を検索するためのキーワードを生成する際に用いられるものである。
【００５０】
次に、以上のように構成された電子機器装置の例であるテレビセット１００の動作を、テロップ情報の処理を中心に説明する。
【００５１】
図３に、本実施形態において、映像中からフレームを抽出し、当該フレームからテロップ情報を抽出する動作の概略を示す。
【００５２】
同図に示すように、映像中から、フレーム抽出機構２０８により複数の連続するフレームが抽出されると、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０は、フレーム抽出機構２０８が次のフレームを抽出するのと並列に、抽出したフレーム及びそれ以前に抽出したフレームに基づいて、テロップ情報を処理していく。すなわち、本実施形態においては、フレーム抽出機構２０８による処理（フレーム抽出処理プロセス）と、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０による処理（テロップ情報処理プロセス）とが独立かつ並列に動作することが可能とされている。
【００５３】
具体的には、フレーム抽出機構２０８により、少なくとも２枚のフレーム（例えばフレーム３０１ａ及びフレーム３０１ｂ）が抽出されると、テロップ領域判断機構２０９は、当該２枚以上のフレームに基づいて、フレーム中にテロップ情報の領域が存在するか否かを判断し、続いて、領域が存在するという判断を受けたテロップ情報抽出機構２１０が、当該フレーム中からテロップ情報を抽出する。一方でフレーム抽出機構２０８は、他の２つの機構によるテロップ情報の処理と並行して、次のフレームを抽出する。次のフレームが抽出されると、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０は、当該抽出したフレーム及び先に抽出した複数のフレームに基づいて、再び上記処理を行う。
【００５４】
なお、フレーム抽出機構２０８により抽出されるフレームの枚数は予め設定されており、抽出されたフレームの枚数が当該設定枚数に達すると、フレーム抽出機構２０８はフレームの抽出を中止する。本実施例においては、抽出するフレームの枚数は４枚に設定してある。したがって、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０は、まずフレーム抽出機構２０８が最初に抽出した２枚のフレーム（例えばフレーム３０１ａ及び３０１ｂ）に基づいてテロップ情報を抽出し、次に、当該２枚のフレームに、フレーム抽出機構２０８が次に抽出した１枚のフレーム（例えばフレーム３０１ｃ）を加えた３枚のフレームに基づいてテロップ情報を抽出し、最後に、当該３枚のフレームに、フレーム抽出機構２０８が最後に抽出した１枚のフレーム（例えばフレーム３０１ｄ）を加えた４枚のフレームに基づいてテロップ情報を抽出する。そして、テロップ情報抽出機構２１０は、上記処理で抽出した３つのテロップ情報についてそれぞれＯＣＲ処理を施す等してそれぞれの文字情報を認識し、当該認識した３つの文字情報の論理積をとって、最も適切であると判断した文字情報を、最終的に一つのテロップ情報として抽出する。
【００５５】
当該抽出処理が終了すると、映像中に新たに出現したテロップ情報（例えばテロップ「Ｂ」）を抽出するために、上述した処理が繰り返される。
【００５６】
なお、映像を構成するフレームは、一般に毎秒約３０枚出力されるため、テロップ情報が表示される時間が例えば１秒間だけだったとしても、その間の約３０枚のフレームのうち連続する４枚のフレームを抽出することにより、確実に当該テロップ情報を抽出することができる。
【００５７】
また、連続する４枚のフレームを抽出することにより、図３に示すように、映像中に表示されるテロップ情報が例えば「Ａ」から「Ｂ」に変わったような場合や、「Ａ」というテロップ情報が映像から消えてしまったような場合にも、そのためにテロップを抽出できないということはほとんど無くなる。
【００５８】
更に、テロップ領域判断機構２０９により、フレーム中にテロップ情報の領域が存在しないと判断された場合には、当該判断結果を受けたフレーム再抽出機構２１１は、テロップ情報抽出機構２１０によるテロップ情報の抽出処理を行わせずに、フレーム抽出機構２０８に対して、新たに連続する複数のフレームの抽出を開始するよう指令する。当該指令を受けたフレーム抽出機構２０８は、新たに連続する複数のフレームを抽出し、その後は上述したのと同じ処理が繰り返される。
【００５９】
この結果、連続する複数のフレームを抽出してから次の連続する複数のフレームを抽出するまでの間隔は可変長となる。これにより、テロップ領域が存在するか否かに関わらず一律にテロップ抽出処理を行うのに比べて、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００６０】
次に、上記２つのプロセスの動作を、フロー図を用いてより具体的に説明する。
【００６１】
図４は、本発明における上記フレーム抽出処理プロセスの動作の流れを示したフロー図であり、図５は、本発明における上記テロップ情報処理プロセスの動作の流れを示したフロー図である。
【００６２】
フレーム抽出処理プロセスにおいては、図４に示すように、まず、フレーム抽出機構２０８は、出力される映像中の最初の受信フレームから連続したｎフレーム先までのフレームを抽出フレームと設定する（ＳＴ４０１）。本実施例においては、ｎ＝４に設定してある。フレームを受信すると（ＳＴ４０２）、当該フレームが設定した抽出フレームか否かを確認する。設定した抽出フレームである場合には、当該フレームを抽出する（ＳＴ４０４）。設定した抽出フレームでない場合には抽出は行わず（ＳＴ４０３のＮｏ）、次に受信したフレームについて抽出フレームか否かを確認する。フレームを抽出すると、当該抽出により、抽出したフレームが設定枚数に達したか否かを確認し（ＳＴ４０５）、達している場合には処理を終了する。
【００６３】
一方、テロップ情報処理プロセスにおいては、図５に示すように、まず、テロップ領域判断機構２０９は、フレーム抽出処理プロセスにより抽出されたフレームが存在するか否かを確認する（ＳＴ５０１）。具体的には、ＲＡＭ２０２中のバッファに、抽出されたフレームが格納されているか否かを、抽出したフレームに付されたフラグが存在するか否かによって確認する。フレームが存在しない場合には、テロップ領域判断機構２０９は、フレーム抽出手段２０７に対して新たに連続した複数のフレームを抽出するよう指示する（ＳＴ５０２）。抽出したフレームが存在する場合には、テロップ領域判断機構２０９は、当該フレームにテロップ情報の領域が存在するか否かを、少なくとも２枚のフレームに基づいて判断する（ＳＴ５０３）。テロップ情報の領域が存在すると判断した場合には、当該フレームをテロップ情報抽出機構２１０に受け渡し、テロップ情報抽出機構２１０は、当該フレームからテロップ情報を抽出する（ＳＴ５０６）。テロップ領域判断機構２０９が、テロップ情報の領域が存在しないと判断した場合には、テロップ情報抽出機構２１０にフレームを受け渡すことはせず、フレーム再抽出機構２１１が、フレーム抽出機構２０８に対して、新たに複数の連続するフレームを抽出するよう指示する。すなわち、フレーム再抽出機構２１１は、フレーム抽出機構２０８に対して、当該判断時点の次の受信フレームから４枚先のフレームを抽出する設定を行わせる。
【００６４】
本実施形態では、フレーム抽出処理機構２０７により２枚のフレームが抽出された段階で、当該２枚のフレームに基づいてテロップ情報処理プロセスが開始される。フレーム抽出機構２０８によるフレームの抽出は、当該テロップ情報処理プロセスと並行して、設定枚数である４枚を抽出するまで行われ、テロップ情報処理プロセスはフレームが抽出される毎に、その時点までに抽出したフレームに基づいてテロップ情報の抽出処理を行う。この処理の繰り返しにより３つのテロップ情報が抽出され、更にテロップ情報抽出機構２１０はそれら３つのテロップ情報それぞれにＯＣＲ処理を施し、それぞれの文字認識結果を得る。そしてそれら３つの文字認識結果の論理積を得ることにより、最終的に１つのテロップ情報を抽出する。
【００６５】
勿論、フレーム抽出機構２０８が設定する枚数は４枚に限るものではないが、テロップ情報の抽出に要する時間と、抽出の精度を勘案すると、４枚が好ましい。
【００６６】
このように、フレーム抽出処理プロセスとテロップ情報抽出処理プロセスとを互いに独立かつ並列に動作させることによって、１枚のフレーム抽出処理とそのテロップ情報抽出処理が終了した段階で次のフレームの抽出及びテロップ情報の抽出を行う場合に比べて、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００６７】
また、テロップ情報処理プロセスにおいて、テロップ領域判断機構２０９によってテロップ情報の領域が存在しないと判断された場合にはそれ以後のテロップ情報の抽出処理は行わずに、フレーム再抽出機構２１１が、フレーム抽出機構２０８に、新たに設定枚数のフレームを抽出させることにより、テロップ情報が存在しないフレームについてテロップ情報の抽出処理を行うために要する無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００６８】
次に、以上のように抽出したテロップ情報に基づいて検索した関連情報を、出力される映像と共にテレビセット１００の表示画面に表示する動作について説明する。
【００６９】
図６は、本実施形態における表示画面の例を示した図である。
【００７０】
同図に示すように、テレビセット１００の表示画面には、例えばテレビ放送等の出力される映像６０１、テロップ情報抽出機構２１０によって抽出されたテロップ情報を基に、関連情報検索機構２１２がインターネット上で関連情報を検索した結果のＷｅｂページ６０２、当該Ｗｅｂページのリンク先のＷｅｂページ６０３が、関連情報表示機構２１３により、分割された表示領域毎に同時に表示される。同図は、テレビセット１００にニュースの映像が出力されている最中にテロップが表示された場合に、当該テロップを基に関連情報を検索して表示している例である。
【００７１】
具体的には、関連情報検索機構２１２は、まず、テロップ情報抽出機構２１０が抽出したテロップ情報を、形態素解析等の解析法によって単語単位及び品詞ごとに区分する。すなわち、予め単語を当該単語の品詞に関するデータと対応させて記憶してある単語辞書２０６を用いることにより、文章を単語単位に区分し、当該区分された単語を品詞ごとに区分する。更に、区分された単語から固有名詞を抽出することで、当該抽出された単語がキーワードとして生成される。
【００７２】
次に、関連情報検索機構２１２は、当該生成されたキーワードを基に、ネットワークインターフェース部２０８を介して、インターネット上で、テレビセット１００に出力される映像に関連する情報を検索する。そして、関連情報表示機構２１３は、当該検索した結果のＷｅｂページ及び当該Ｗｅｂページのリンク先のＷｅｂページを、表示プログラムファイル２０６に基づいて表示領域毎にレイアウトし、テレビセット１００の表示画面に表示する。
【００７３】
図７は、テロップを抽出してから関連情報及び出力される映像を表示画面に表示するまでの流れを示したフロー図である。
【００７４】
同図に示すように、まず、テロップ情報抽出機構２１０によりテロップ情報が抽出されると（ＳＴ７０１）、関連情報検索機構２１２は、当該テロップ情報からキーワードを生成する（ＳＴ７０２）。なお、テロップ情報が意味の無い文字列である場合等にはキーワードを生成できないため、エラー処理し（ＳＴ７０３）、再びテロップ情報が抽出されるのを待つ。キーワードが生成できた場合には、検索結果を表示するための表示プログラムファイルをデータ格納部２０４から呼び出して取得し（ＳＴ７０４）、当該プログラムを読込む（ＳＴ７０６）。当該表示プログラムを取得できない場合にはエラー処理する（ＳＴ７０５）。そして、関連情報検索機構２１２が、上記生成したキーワードを基にインターネット上で関連情報を検索し（ＳＴ７０７）、関連情報表示機構２１３が、検索した結果のＷｅｂページ、当該Ｗｅｂページのリンク先のＷｅｂページ及びテレビセット１００に出力される映像を表示プログラムに基づいて表示領域ごとにレイアウトし、表示画面に表示する（ＳＴ７０８）ことにより終了する。
【００７５】
なお、表示画面のレイアウトは、データ格納部に格納された複数の表示プログラムファイル２０６を変更することにより、変更することができる。その際は、レイアウト変更用のメニュー画面（図示せず）を用意して、当該メニュー画面における選択肢と表示プログラムファイルを対応させておき、当該選択肢をユーザに選択させるような態様にしてもよい。
【００７６】
以上説明したように、この実施形態によれば、フレーム抽出機構２０８は、映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出し、テロップ領域判断機構２０９は、抽出した複数のフレームに基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断し、テロップ情報抽出機構２１０は、テロップ情報の領域が存在すると判断された場合に、抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出することとしたため、フレームを抽出している間にテロップ情報やシーンが変化することも少なく、当該抽出した複数のフレーム全てに同じテロップ情報が含まれている確率が高くなり、それら複数のフレームを比較して共通箇所を得ることにより、高い精度で即時にテロップ情報を抽出することができる。また、ある時点までに抽出したフレームにテロップ情報が存在するか否かを判断し、存在すると判断した場合にテロップ情報を抽出する動作と並列に、次のフレームを抽出することとしたため、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００７７】
更に、フレーム再抽出機構２１１は、あるフレームにテロップ情報の領域が存在しないと判断された場合にはそれ以上そのフレームのからテロップ情報を抽出する処理を行わず、また新たにフレームを抽出することとしたため、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００７８】
また更に、関連情報検索機構２１２は、出力される映像に関連する情報を、テロップ情報に基づいて検索し、関連情報表示機構２１３は、当該情報を出力される映像と共に表示することとしたため、ユーザにより多くの情報を同時に提供することができる。
【００７９】
なお、本発明は以上説明した実施形態に限定されるものではなく、本発明の技術思想の範囲内で適宜変更して実施することができる。
【００８０】
例えば、上記実施形態においては本発明をテレビセットに適用した例について説明したが、本発明は、他にもデジタルビデオカメラやＰＤＡ、携帯電話等、インターネットに接続する機能を有する電子機器装置ならばどんなものでも適用が可能である。
【００８１】
また、上述した実施形態においては、抽出したテロップ情報を基に検索した情報を、テレビセットの分割された表示画面にテレビ放送等の映像と共に表示する形態をとっているが、例えば、抽出したテロップ情報をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に送信し、テレビセットの表示画面上ではテレビ放送の映像を表示しながら、ＰＣは当該抽出したテロップ情報を基にテレビ放送の関連情報を検索し、ＰＣの表示画面上に当該検索した関連情報を表示するというような形態も可能である。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、映像中から高い精度で即時にテロップ情報を抽出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るテレビセットのシステムを示す概略図である。
【図２】図１の制御部のブロック図である。
【図３】本実施形態において、映像中からフレームを抽出し、当該フレームからテロップ情報を抽出する動作の概略を示す図である。
【図４】本実施形態における上記フレーム抽出処理プロセスの動作の流れを示したフロー図である。
【図５】本実施形態における上記テロップ情報処理プロセスの動作の流れを示したフロー図である。
【図６】本実施形態における表示画面の例を示した図である。
【図７】本実施形態において、テロップを抽出してから関連情報及び出力される映像を表示画面に表示するまでの流れを示したフロー図である。
【符号の説明】
１００ テレビジョンセット
１０１ インターフェース部
１０２ Ａ／Ｖ（Ａｕｄｉｏ ／ Ｖｉｓｕａｌ） ＳＷ
１０３ 映像部
１０４ 音響部
１０５ 操作入力部
１０６ 制御部
１０７ インターネット
１０８ ネットワークインターフェース部
１０９ ＢＳチューナ
１１０ 地上波チューナ
１１１ ビデオ入力端子
１１２ オーディオ入力端子
１１３ メモリカードスロット
１１４ ｉ．ＬＩＮＫ
１１５ 電子機器
１１６ ディスプレイ
１１７ Ｙ／Ｃシンク シグナル プロセッサ
１１８ サウンドプロセッサ
１１９ オーディオアンプ
１２０ スピーカ
１２１ スイッチ部
１２２ リモートコントローラ
１２３ 赤外線通信部
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ データ格納部
２０５ ソフトウェア格納部
２０６ 表示プログラムファイル
２０７ 単語辞書
２０８ フレーム抽出機構
２０９ テロップ領域判断機構
２１０ テロップ情報抽出機構
２１１ フレーム再抽出機構
２１２ 関連情報検索機構
２１３ 関連情報表示機構
【発明の属する技術分野】
本発明は、例えばテレビセット、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、デジタルビデオカメラ、携帯電話等の電子機器装置及びそのテロップ情報処理方法に関する。
【０００２】
【従来の技術】
従来、テレビセット等に出力される映像からテロップ情報を認識して抽出する場合には、例えば、映像からある一定の時間間隔でフレームを抽出していき、抽出したフレームがある一定数に達した場合に、それらのフレームの比較により背景画像を除去する等してテロップ情報を認識していた（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２００１−２８５７１６公報。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記技術では、最初に抽出したフレーム中にテロップ情報が含まれていても、テロップ情報を認識するために必要な一定数のフレームを抽出したときには既に映像中のテロップ及びシーンが変わってしまう場合がある。このような場合には、これら一定数のフレームを比較しても背景を除去することができないため、テロップ情報を認識することはできなかった。すなわち、フレームを一定数抽出するまでに時間が掛かってしまい、テロップ情報の抽出精度が下がってしまうという課題があった。
【０００５】
本発明は、このような課題を解決するためになされるものであり、映像中から高い精度で即時にテロップ情報を抽出することができる電子機器装置及びテロップ情報処理方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の主たる観点に係る電子機器装置は、映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出するフレーム抽出手段と、前記抽出した複数のフレーム基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断するテロップ領域判断手段と、前記テロップ領域判断手段により前記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、前記抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出するテロップ情報抽出手段とを具備することを特徴としている。
【０００７】
ここで、映像とは、例えばテレビセットの画面に映し出される像をいい、フレームとは、連続して表示されて上記映像を構成している個々の画像をいう。
【０００８】
また、テロップ情報とは、テレビ番組等において、説明を補助したり、外国語の発言を翻訳したり、出演者の発言を表示したりする等の目的で、映像上にカメラを通さずに直に表示される文字列（１文字のものも含む。）をいう。
【０００９】
本発明において、電子機器装置としては、例えばテレビセットやデジタルビデオカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）等が挙げられる。
【００１０】
この発明によれば、連続する複数のフレームを抽出するため、フレームを抽出している間にテロップ情報やシーンが変化することも少なく、当該抽出した複数のフレーム全てに同じテロップ情報が含まれている確率が高くなるため、それら複数のフレームを比較して共通箇所を得ることにより、高い精度で即時にテロップ情報を抽出することができる。
【００１１】
本発明の一の形態によれば、前記フレーム抽出手段によるフレーム抽出動作と前記テロップ領域判断手段による判断動作及び前記テロップ情報抽出手段によるテロップ情報抽出動作とは、互いに独立かつ並列に動作することが可能にされていることを特徴としている。
【００１２】
ここで、「独立かつ並列に動作」とは、例えば上記フレーム抽出動作と上記テロップ情報抽出動作とがそれぞれ別個に動作しており、上記フレーム抽出動作によりフレームが抽出されている最中にも、上記テロップ情報抽出動作によりテロップ情報の抽出が行われることをいう。
【００１３】
これにより、ある時点までに抽出したフレームにテロップ情報が存在するか否かを判断し、存在すると判断した場合にテロップ情報を抽出する動作と並行して、次のフレームを抽出しているため、あるフレームからのテロップの抽出が終了するまで次のフレームを抽出しない場合に比べて、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００１４】
本発明の一の形態によれば、前記テロップ領域判断手段によりテロップ情報の領域が存在しないと判断された場合に、前記フレーム抽出手段に対して新たに連続する複数のフレームの抽出を開始させる手段を更に具備することを特徴としている。
【００１５】
これにより、あるフレームにテロップ情報の領域が存在しないと判断された場合にはそれ以上そのフレームからテロップ情報を抽出する処理を行わず、また新たにフレームを抽出するため、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００１６】
本発明の一の形態によれば、前記テロップ情報抽出手段により抽出したテロップ情報に基づいて、前記出力される映像に関連する情報を検索する関連情報検索手段と、前記出力される映像及び検索した前記関連情報を一の表示画面に表示領域毎に表示する表示手段とを更に具備することを特徴としている。
【００１７】
これにより、出力される映像に関連する情報を、テロップ情報に基づいて検索し、当該情報を出力される映像と共に表示できるため、ユーザにより多くの情報を同時に提供することができる。
【００１８】
本発明の他の観点に係るテロップ情報処理方法は、（ａ）映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出する工程と、（ｂ）前記抽出した複数のフレーム基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断する工程と、（ｃ）前記テロップ領域判断手段により前記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、前記抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出する工程とを具備することを特徴としている。
【００１９】
この発明によれば、連続する複数のフレームを抽出する工程等を具備することとしたため、フレームを抽出している間にテロップ情報やシーンが変化することも少なく、当該抽出した複数のフレーム全てに同じテロップ情報が含まれている確率が高くなり、それら複数のフレームを比較して共通箇所を得ることにより、高い精度で即時にテロップ情報を抽出することができる。本発明は、電子機器装置スタンドアローンの場合だけでなく、例えば本発明に係るテロップ情報処理方法をＷｅｂ上で実現してこの結果に関連する情報を各ユーザに配信するようにしても構わない。その他、様々なシステム上で本発明に係る方法を実現することが可能である。
【００２０】
本発明の一の形態によれば、前記工程（ａ）と前記工程（ｂ）及び前記工程（ｃ）とは、互いに独立かつ並列に動作することが可能にされていることを特徴としている。
【００２１】
これにより、ある時点までに抽出したフレームにテロップ情報が存在するか否かを判断し、存在すると判断した場合にテロップ情報を抽出する動作と並行して、次のフレームを抽出することとしたため、あるフレームからのテロップの抽出が終了するまで次のフレームを抽出しない場合に比べて、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００２２】
本発明の一の形態によれば、（ｄ）前記工程（ｂ）により、テロップ情報の領域が存在しないと判断された場合に、前記工程（ａ）に新たに連続する複数のフレームの抽出を開始させる工程を更に具備することを特徴としている。
【００２３】
これにより、あるフレームにテロップ情報の領域が存在しないと判断された場合にはそれ以上そのフレームのからテロップ情報を抽出する処理を行わず、また新たにフレームを抽出させる工程を具備することとしたため、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００２４】
本発明の一の形態によれば、（ｅ）前記工程（ｃ）により抽出したテロップ情報に基づいて、前記出力される映像に関連する情報を検索する工程と、（ｆ）前記出力される映像及び前記検索した関連情報を一の表示画面に表示領域毎に表示する工程とを更に具備することを特徴としている。
【００２５】
これにより、出力される映像に関連する情報を、テロップ情報に基づいて検索する工程と、当該情報を出力される映像と共に表示する工程とを具備することとしたため、ユーザにより多くの情報を同時に提供することができる。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づき説明する。なお、以下に実施形態を説明するにあたっては電子機器装置の例としてテレビセットを中心に説明するが、本発明はこれに限られるものではない。
【００２７】
図１は本発明の一実施形態に係るテレビセットのシステムを示す概略図、図２は図１の制御部のブロック図である。
【００２８】
図１に示すように、テレビセット１００は、外部情報源との接続手段であるインターフェース部１０１と、当該インターフェース部１０１より入力された映像情報と音響情報とを分離するＡ／Ｖ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）ＳＷ１０２と、映像情報を処理する映像部１０３と、音響情報を処理する音響部１０４と、ユーザからの操作命令を入力する操作入力部１０５と、各部の制御と共に各種の演算処理を実行する制御部１０６とを有する。
【００２９】
インターフェース部１０１には、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）１０７との接続手段であるネットワークインターフェース部１０８、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ Ｓａｔｅｌｌｉｔｅ）放送を選局するＢＳチューナ１０９、地上波放送を選局する地上波チューナ１１０、例えば外部映像情報を入力するビデオ入力端子１１１、音響情報を入力するオーディオ入力端子１１２、メモリーカードの読み書きを行うメモリーカードスロット１１３、デジタルビデオカメラ等からの情報を取り込むためのｉ．ＬＩＮＫ（ＤＶ端子）１１４等が設けられている。なお、ビデオ入力端子１１１からは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ゲーム機などのデジタルデータを扱う電子機器１１５からの映像情報を取り込むことができる。
【００３０】
映像部１０３は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などのディスプレイ１１６と、Ａ／Ｖ ＳＷ１０２によって選択された映像情報からディスプレイに表示可能な映像信号を生成するＹ／Ｃシングシグナルプロセッサ１１７とからなる。
【００３１】
音響部１０４は、Ａ／Ｖ ＳＷ１０２によって選択された音響情報を処理するサウンドプロセッサ１１８と、サウンドプロセッサ１１８により出力されたオーディオ信号を増幅するオーディオアンプ１１９と、増幅後のオーディオ信号を聴覚的に出力するスピーカ１２０とで構成される。
【００３２】
操作入力部１０５は、テレビセット１００本体に設けられたキー／スイッチ部１２１と、リモートコントローラ１２２との間でＩｒ（Ｉｎｆｒａｒｅｄ）無線通信を行う赤外線通信部１２３とからなる。
【００３３】
また、制御部１０６には、図２に示すように、演算と制御とをするＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、必要に応じて一時的に映像情報、音響情報、データ及びソフト等を記録し、電子機器装置であるテレビセット１００の制御をより円滑に行うＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３、データ格納部２０４及び各種のソフトウェアが格納されたソフトウェア格納部２０５などが備えられている。
【００３４】
ソフトウェア格納部２０５には、フレーム抽出機構２０８、テロップ領域判断機構２０９、テロップ情報抽出機構２１０、フレーム再抽出機構２１１、関連情報検索機構２１２、関連情報表示機構２１３等のソフトウェアが格納されている。
【００３５】
ここで、フレーム抽出機構２０８は、テレビセット１００の映像を構成するために順次出力されるフレームから、連続する複数のフレームを、ＣＰＵ２０１の制御下、抽出する。連続する複数のフレームの抽出枚数としては、４枚程度が好ましい形態である。これは、抽出するフレームが３枚以下の場合には、テロップ情報の抽出の精度が低くなってしまい、５枚以上の場合には抽出の精度は高まるが、抽出に時間を要してしまい、テロップ情報をリアルタイムに抽出できる可能性が低くなってしまうという理由による。
【００３６】
テロップ領域判断機構２０９は、ＣＰＵ２０１の制御下、フレーム抽出機構２０８が抽出した複数のフレームに、テロップ情報の領域が存在するか否かを、当該抽出した複数のフレームに基づいて判断する。
【００３７】
具体的には、抽出したフレーム間を比較して、例えば複数のフレームに共通して高輝度の画素から構成される部分が検出された場合や、抽出した複数のフレームに共通して、フレーム中のある部分に高いエッジが検出された場合には、当該部分にテロップ情報の領域が存在すると判断する。
【００３８】
なお、上記ＲＡＭ２０２には、複数のバッファの領域を用意しておき、フレーム抽出機構２０８により映像中から抽出されたフレーム及びフレームからテロップ情報を抽出する処理の中途段階の各画像が、当該バッファにそれぞれ一時的に格納される。これらのフレーム及び画像にはそれぞれフラグ及びＩＤが付され、他のフレームと区別されている。テロップ領域判断機構２０９は、格納された各フレームを、当該フラグ及びＩＤによって呼び出しており、当該フラグ及びＩＤは、上記ソフトウェアによる一連の処理が終了した段階で消去される。
【００３９】
テロップ情報抽出機構２１０は、ＣＰＵ２０１の制御下、上記テロップ領域判断機構により、上記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、上記複数のフレームに基づいて、当該領域に存在するテロップ情報を抽出する。
【００４０】
具体的には、テロップ領域判断機構２０９によりテロップ情報の領域であると判断された上記複数のフレームについて、例えば複数のフレームの輝度平均を求めて輝度分散画像を作成し、そこから輝度分散を求めて輝度分散画像を作成する。一方で、複数のフレームからそれぞれエッジを検出し、得られた値をエッジの強度に基づき、一定の値を基準に２値化してフレーム毎に２値化画像を作成し、複数のフレームの２値化画像を比較してその論理積を求め、不動エッジ画像を作成する。そして、上記輝度分散画像と不動エッジ画像の論理積を求めることにより、テロップ情報候補画像を作成する。ここで、エッジとは、画像の濃度値、色、模様等の特徴が似ている部分を１つの領域とした場合の、当該領域と他の領域との境界をいい、エッジでは上記特徴が急激に変化している。また、不動エッジ画像とは、検出したエッジの強度を基に各フレームについて作成した複数の２値化画像を比較した場合に、当該複数のフレーム全てに共通して現れる部分を抜き出した画像をいう。
【００４１】
次に、上記処理によって得られたテロップ情報候補画像から大まかなテロップ情報領域を背景から切り出し、当該切り出した画像から更に輝度分散及びエッジを求め、複数のフレームから文字部分を切り出す。そして、それぞれの文字部分にＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）処理を施し、複数の画像のＯＣＲ処理結果を比較してその論理積を得ることにより、一のテロップ情報を抽出する。
【００４２】
なお、テロップ情報抽出機構２１０は、フレーム中の複数箇所にテロップ情報が存在する場合には、それぞれ抽出することも勿論可能である。
【００４３】
フレーム再抽出機構２１１は、ＣＰＵ２０１の制御下、上記テロップ領域判断機構により上記複数のフレームにテロップ情報の領域が存在しないと判断された場合に、それ以降のテロップ情報抽出機構２１０による処理を行わずに、フレーム抽出機構２０８に、新たに連続する複数のフレームを抽出させることができる。
【００４４】
関連情報検索機構２１２は、ＣＰＵ２０１の制御下、上記抽出したテロップ情報を基にキーワードを生成し、当該キーワードを基に、テレビセット１００に出力される映像に関連する情報を、例えば上記ネットワークインターフェース部１０８を介して、インターネット上で検索することができる。
【００４５】
関連情報表示機構２１３は、ＣＰＵ２０１の制御下、上記関連情報検索機構２１２が検索した情報を、テレビセット１００に出力されるテレビ放送等の映像と共にテレビセット１００の表示画面に表示することができる。
【００４６】
具体的には、関連情報表示機構２１３は、関連情報検索機構２１２が検索した例えばテレビセット１００に出力される映像に関連する情報が記載されたインターネット上のＷｅｂページ等を、当該出力される映像と共に表示する。
【００４７】
なお、それらが表示される表示画面は、予めそれぞれの表示領域毎に分割されており、関連情報表示機構２１３は、当該Ｗｅｂページ及び出力される映像をそれぞれの表示領域毎に表示するような態様にしてもよい。
【００４８】
また、データ格納部２０４には、複数の表示プログラムファイル２０６ａ、２０６ｂ、２０６ｃ・・、及び単語辞書２０７が、制御部１０６の制御下格納されている。この表示プログラムファイルは、上記関連情報表示機構２１３が表示画面に上記Ｗｅｂページ及び出力される映像を表示する際、表示画面中の表示領域及びその位置等のレイアウトを行うためのものである。なお、当該表示プログラムの記述言語には、例えばＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）等のＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）をベースとした言語を用いることにより、静止画や動画、音声等のマルチメディアデータを統合してＷｅｂページとの同期を実現することが可能となる。そして、上記テロップ情報表示機構２１２は、当該表示プログラムに基づいて表示画面をレイアウトして表示することができ、当該表示プログラムを変更することにより、表示画面のレイアウトも変更することができる。
【００４９】
また、単語辞書２０７は、テロップ情報抽出機構２１０が抽出したテロップ情報を基に、関連情報検索機構２１２がインターネット上で関連情報を検索するためのキーワードを生成する際に用いられるものである。
【００５０】
次に、以上のように構成された電子機器装置の例であるテレビセット１００の動作を、テロップ情報の処理を中心に説明する。
【００５１】
図３に、本実施形態において、映像中からフレームを抽出し、当該フレームからテロップ情報を抽出する動作の概略を示す。
【００５２】
同図に示すように、映像中から、フレーム抽出機構２０８により複数の連続するフレームが抽出されると、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０は、フレーム抽出機構２０８が次のフレームを抽出するのと並列に、抽出したフレーム及びそれ以前に抽出したフレームに基づいて、テロップ情報を処理していく。すなわち、本実施形態においては、フレーム抽出機構２０８による処理（フレーム抽出処理プロセス）と、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０による処理（テロップ情報処理プロセス）とが独立かつ並列に動作することが可能とされている。
【００５３】
具体的には、フレーム抽出機構２０８により、少なくとも２枚のフレーム（例えばフレーム３０１ａ及びフレーム３０１ｂ）が抽出されると、テロップ領域判断機構２０９は、当該２枚以上のフレームに基づいて、フレーム中にテロップ情報の領域が存在するか否かを判断し、続いて、領域が存在するという判断を受けたテロップ情報抽出機構２１０が、当該フレーム中からテロップ情報を抽出する。一方でフレーム抽出機構２０８は、他の２つの機構によるテロップ情報の処理と並行して、次のフレームを抽出する。次のフレームが抽出されると、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０は、当該抽出したフレーム及び先に抽出した複数のフレームに基づいて、再び上記処理を行う。
【００５４】
なお、フレーム抽出機構２０８により抽出されるフレームの枚数は予め設定されており、抽出されたフレームの枚数が当該設定枚数に達すると、フレーム抽出機構２０８はフレームの抽出を中止する。本実施例においては、抽出するフレームの枚数は４枚に設定してある。したがって、テロップ領域判断機構２０９及びテロップ情報抽出機構２１０は、まずフレーム抽出機構２０８が最初に抽出した２枚のフレーム（例えばフレーム３０１ａ及び３０１ｂ）に基づいてテロップ情報を抽出し、次に、当該２枚のフレームに、フレーム抽出機構２０８が次に抽出した１枚のフレーム（例えばフレーム３０１ｃ）を加えた３枚のフレームに基づいてテロップ情報を抽出し、最後に、当該３枚のフレームに、フレーム抽出機構２０８が最後に抽出した１枚のフレーム（例えばフレーム３０１ｄ）を加えた４枚のフレームに基づいてテロップ情報を抽出する。そして、テロップ情報抽出機構２１０は、上記処理で抽出した３つのテロップ情報についてそれぞれＯＣＲ処理を施す等してそれぞれの文字情報を認識し、当該認識した３つの文字情報の論理積をとって、最も適切であると判断した文字情報を、最終的に一つのテロップ情報として抽出する。
【００５５】
当該抽出処理が終了すると、映像中に新たに出現したテロップ情報（例えばテロップ「Ｂ」）を抽出するために、上述した処理が繰り返される。
【００５６】
なお、映像を構成するフレームは、一般に毎秒約３０枚出力されるため、テロップ情報が表示される時間が例えば１秒間だけだったとしても、その間の約３０枚のフレームのうち連続する４枚のフレームを抽出することにより、確実に当該テロップ情報を抽出することができる。
【００５７】
また、連続する４枚のフレームを抽出することにより、図３に示すように、映像中に表示されるテロップ情報が例えば「Ａ」から「Ｂ」に変わったような場合や、「Ａ」というテロップ情報が映像から消えてしまったような場合にも、そのためにテロップを抽出できないということはほとんど無くなる。
【００５８】
更に、テロップ領域判断機構２０９により、フレーム中にテロップ情報の領域が存在しないと判断された場合には、当該判断結果を受けたフレーム再抽出機構２１１は、テロップ情報抽出機構２１０によるテロップ情報の抽出処理を行わせずに、フレーム抽出機構２０８に対して、新たに連続する複数のフレームの抽出を開始するよう指令する。当該指令を受けたフレーム抽出機構２０８は、新たに連続する複数のフレームを抽出し、その後は上述したのと同じ処理が繰り返される。
【００５９】
この結果、連続する複数のフレームを抽出してから次の連続する複数のフレームを抽出するまでの間隔は可変長となる。これにより、テロップ領域が存在するか否かに関わらず一律にテロップ抽出処理を行うのに比べて、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００６０】
次に、上記２つのプロセスの動作を、フロー図を用いてより具体的に説明する。
【００６１】
図４は、本発明における上記フレーム抽出処理プロセスの動作の流れを示したフロー図であり、図５は、本発明における上記テロップ情報処理プロセスの動作の流れを示したフロー図である。
【００６２】
フレーム抽出処理プロセスにおいては、図４に示すように、まず、フレーム抽出機構２０８は、出力される映像中の最初の受信フレームから連続したｎフレーム先までのフレームを抽出フレームと設定する（ＳＴ４０１）。本実施例においては、ｎ＝４に設定してある。フレームを受信すると（ＳＴ４０２）、当該フレームが設定した抽出フレームか否かを確認する。設定した抽出フレームである場合には、当該フレームを抽出する（ＳＴ４０４）。設定した抽出フレームでない場合には抽出は行わず（ＳＴ４０３のＮｏ）、次に受信したフレームについて抽出フレームか否かを確認する。フレームを抽出すると、当該抽出により、抽出したフレームが設定枚数に達したか否かを確認し（ＳＴ４０５）、達している場合には処理を終了する。
【００６３】
一方、テロップ情報処理プロセスにおいては、図５に示すように、まず、テロップ領域判断機構２０９は、フレーム抽出処理プロセスにより抽出されたフレームが存在するか否かを確認する（ＳＴ５０１）。具体的には、ＲＡＭ２０２中のバッファに、抽出されたフレームが格納されているか否かを、抽出したフレームに付されたフラグが存在するか否かによって確認する。フレームが存在しない場合には、テロップ領域判断機構２０９は、フレーム抽出手段２０７に対して新たに連続した複数のフレームを抽出するよう指示する（ＳＴ５０２）。抽出したフレームが存在する場合には、テロップ領域判断機構２０９は、当該フレームにテロップ情報の領域が存在するか否かを、少なくとも２枚のフレームに基づいて判断する（ＳＴ５０３）。テロップ情報の領域が存在すると判断した場合には、当該フレームをテロップ情報抽出機構２１０に受け渡し、テロップ情報抽出機構２１０は、当該フレームからテロップ情報を抽出する（ＳＴ５０６）。テロップ領域判断機構２０９が、テロップ情報の領域が存在しないと判断した場合には、テロップ情報抽出機構２１０にフレームを受け渡すことはせず、フレーム再抽出機構２１１が、フレーム抽出機構２０８に対して、新たに複数の連続するフレームを抽出するよう指示する。すなわち、フレーム再抽出機構２１１は、フレーム抽出機構２０８に対して、当該判断時点の次の受信フレームから４枚先のフレームを抽出する設定を行わせる。
【００６４】
本実施形態では、フレーム抽出処理機構２０７により２枚のフレームが抽出された段階で、当該２枚のフレームに基づいてテロップ情報処理プロセスが開始される。フレーム抽出機構２０８によるフレームの抽出は、当該テロップ情報処理プロセスと並行して、設定枚数である４枚を抽出するまで行われ、テロップ情報処理プロセスはフレームが抽出される毎に、その時点までに抽出したフレームに基づいてテロップ情報の抽出処理を行う。この処理の繰り返しにより３つのテロップ情報が抽出され、更にテロップ情報抽出機構２１０はそれら３つのテロップ情報それぞれにＯＣＲ処理を施し、それぞれの文字認識結果を得る。そしてそれら３つの文字認識結果の論理積を得ることにより、最終的に１つのテロップ情報を抽出する。
【００６５】
勿論、フレーム抽出機構２０８が設定する枚数は４枚に限るものではないが、テロップ情報の抽出に要する時間と、抽出の精度を勘案すると、４枚が好ましい。
【００６６】
このように、フレーム抽出処理プロセスとテロップ情報抽出処理プロセスとを互いに独立かつ並列に動作させることによって、１枚のフレーム抽出処理とそのテロップ情報抽出処理が終了した段階で次のフレームの抽出及びテロップ情報の抽出を行う場合に比べて、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００６７】
また、テロップ情報処理プロセスにおいて、テロップ領域判断機構２０９によってテロップ情報の領域が存在しないと判断された場合にはそれ以後のテロップ情報の抽出処理は行わずに、フレーム再抽出機構２１１が、フレーム抽出機構２０８に、新たに設定枚数のフレームを抽出させることにより、テロップ情報が存在しないフレームについてテロップ情報の抽出処理を行うために要する無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００６８】
次に、以上のように抽出したテロップ情報に基づいて検索した関連情報を、出力される映像と共にテレビセット１００の表示画面に表示する動作について説明する。
【００６９】
図６は、本実施形態における表示画面の例を示した図である。
【００７０】
同図に示すように、テレビセット１００の表示画面には、例えばテレビ放送等の出力される映像６０１、テロップ情報抽出機構２１０によって抽出されたテロップ情報を基に、関連情報検索機構２１２がインターネット上で関連情報を検索した結果のＷｅｂページ６０２、当該Ｗｅｂページのリンク先のＷｅｂページ６０３が、関連情報表示機構２１３により、分割された表示領域毎に同時に表示される。同図は、テレビセット１００にニュースの映像が出力されている最中にテロップが表示された場合に、当該テロップを基に関連情報を検索して表示している例である。
【００７１】
具体的には、関連情報検索機構２１２は、まず、テロップ情報抽出機構２１０が抽出したテロップ情報を、形態素解析等の解析法によって単語単位及び品詞ごとに区分する。すなわち、予め単語を当該単語の品詞に関するデータと対応させて記憶してある単語辞書２０６を用いることにより、文章を単語単位に区分し、当該区分された単語を品詞ごとに区分する。更に、区分された単語から固有名詞を抽出することで、当該抽出された単語がキーワードとして生成される。
【００７２】
次に、関連情報検索機構２１２は、当該生成されたキーワードを基に、ネットワークインターフェース部２０８を介して、インターネット上で、テレビセット１００に出力される映像に関連する情報を検索する。そして、関連情報表示機構２１３は、当該検索した結果のＷｅｂページ及び当該Ｗｅｂページのリンク先のＷｅｂページを、表示プログラムファイル２０６に基づいて表示領域毎にレイアウトし、テレビセット１００の表示画面に表示する。
【００７３】
図７は、テロップを抽出してから関連情報及び出力される映像を表示画面に表示するまでの流れを示したフロー図である。
【００７４】
同図に示すように、まず、テロップ情報抽出機構２１０によりテロップ情報が抽出されると（ＳＴ７０１）、関連情報検索機構２１２は、当該テロップ情報からキーワードを生成する（ＳＴ７０２）。なお、テロップ情報が意味の無い文字列である場合等にはキーワードを生成できないため、エラー処理し（ＳＴ７０３）、再びテロップ情報が抽出されるのを待つ。キーワードが生成できた場合には、検索結果を表示するための表示プログラムファイルをデータ格納部２０４から呼び出して取得し（ＳＴ７０４）、当該プログラムを読込む（ＳＴ７０６）。当該表示プログラムを取得できない場合にはエラー処理する（ＳＴ７０５）。そして、関連情報検索機構２１２が、上記生成したキーワードを基にインターネット上で関連情報を検索し（ＳＴ７０７）、関連情報表示機構２１３が、検索した結果のＷｅｂページ、当該Ｗｅｂページのリンク先のＷｅｂページ及びテレビセット１００に出力される映像を表示プログラムに基づいて表示領域ごとにレイアウトし、表示画面に表示する（ＳＴ７０８）ことにより終了する。
【００７５】
なお、表示画面のレイアウトは、データ格納部に格納された複数の表示プログラムファイル２０６を変更することにより、変更することができる。その際は、レイアウト変更用のメニュー画面（図示せず）を用意して、当該メニュー画面における選択肢と表示プログラムファイルを対応させておき、当該選択肢をユーザに選択させるような態様にしてもよい。
【００７６】
以上説明したように、この実施形態によれば、フレーム抽出機構２０８は、映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出し、テロップ領域判断機構２０９は、抽出した複数のフレームに基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断し、テロップ情報抽出機構２１０は、テロップ情報の領域が存在すると判断された場合に、抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出することとしたため、フレームを抽出している間にテロップ情報やシーンが変化することも少なく、当該抽出した複数のフレーム全てに同じテロップ情報が含まれている確率が高くなり、それら複数のフレームを比較して共通箇所を得ることにより、高い精度で即時にテロップ情報を抽出することができる。また、ある時点までに抽出したフレームにテロップ情報が存在するか否かを判断し、存在すると判断した場合にテロップ情報を抽出する動作と並列に、次のフレームを抽出することとしたため、より多くのフレームを処理することができ、その結果、より多くのテロップ情報を抽出することができる。
【００７７】
更に、フレーム再抽出機構２１１は、あるフレームにテロップ情報の領域が存在しないと判断された場合にはそれ以上そのフレームのからテロップ情報を抽出する処理を行わず、また新たにフレームを抽出することとしたため、無駄な処理時間を省略でき、効率よくテロップ情報を抽出することができる。
【００７８】
また更に、関連情報検索機構２１２は、出力される映像に関連する情報を、テロップ情報に基づいて検索し、関連情報表示機構２１３は、当該情報を出力される映像と共に表示することとしたため、ユーザにより多くの情報を同時に提供することができる。
【００７９】
なお、本発明は以上説明した実施形態に限定されるものではなく、本発明の技術思想の範囲内で適宜変更して実施することができる。
【００８０】
例えば、上記実施形態においては本発明をテレビセットに適用した例について説明したが、本発明は、他にもデジタルビデオカメラやＰＤＡ、携帯電話等、インターネットに接続する機能を有する電子機器装置ならばどんなものでも適用が可能である。
【００８１】
また、上述した実施形態においては、抽出したテロップ情報を基に検索した情報を、テレビセットの分割された表示画面にテレビ放送等の映像と共に表示する形態をとっているが、例えば、抽出したテロップ情報をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に送信し、テレビセットの表示画面上ではテレビ放送の映像を表示しながら、ＰＣは当該抽出したテロップ情報を基にテレビ放送の関連情報を検索し、ＰＣの表示画面上に当該検索した関連情報を表示するというような形態も可能である。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、映像中から高い精度で即時にテロップ情報を抽出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るテレビセットのシステムを示す概略図である。
【図２】図１の制御部のブロック図である。
【図３】本実施形態において、映像中からフレームを抽出し、当該フレームからテロップ情報を抽出する動作の概略を示す図である。
【図４】本実施形態における上記フレーム抽出処理プロセスの動作の流れを示したフロー図である。
【図５】本実施形態における上記テロップ情報処理プロセスの動作の流れを示したフロー図である。
【図６】本実施形態における表示画面の例を示した図である。
【図７】本実施形態において、テロップを抽出してから関連情報及び出力される映像を表示画面に表示するまでの流れを示したフロー図である。
【符号の説明】
１００ テレビジョンセット
１０１ インターフェース部
１０２ Ａ／Ｖ（Ａｕｄｉｏ ／ Ｖｉｓｕａｌ） ＳＷ
１０３ 映像部
１０４ 音響部
１０５ 操作入力部
１０６ 制御部
１０７ インターネット
１０８ ネットワークインターフェース部
１０９ ＢＳチューナ
１１０ 地上波チューナ
１１１ ビデオ入力端子
１１２ オーディオ入力端子
１１３ メモリカードスロット
１１４ ｉ．ＬＩＮＫ
１１５ 電子機器
１１６ ディスプレイ
１１７ Ｙ／Ｃシンク シグナル プロセッサ
１１８ サウンドプロセッサ
１１９ オーディオアンプ
１２０ スピーカ
１２１ スイッチ部
１２２ リモートコントローラ
１２３ 赤外線通信部
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ データ格納部
２０５ ソフトウェア格納部
２０６ 表示プログラムファイル
２０７ 単語辞書
２０８ フレーム抽出機構
２０９ テロップ領域判断機構
２１０ テロップ情報抽出機構
２１１ フレーム再抽出機構
２１２ 関連情報検索機構
２１３ 関連情報表示機構
Claims (8)
- 映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出するフレーム抽出手段と、
前記抽出した複数のフレーム基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断するテロップ領域判断手段と、
前記テロップ領域判断手段により前記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、前記抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出するテロップ情報抽出手段と
を具備することを特徴とする電子機器装置。 - 請求項１に記載の電子機器装置において、
前記フレーム抽出手段によるフレーム抽出動作と前記テロップ領域判断手段による判断動作及び前記テロップ情報抽出手段によるテロップ情報抽出動作とは、互いに独立かつ並列に動作することが可能にされていることを特徴とする電子機器装置。 - 請求項１に記載の電子機器装置において、
前記テロップ領域判断手段によりテロップ情報の領域が存在しないと判断された場合に、前記フレーム抽出手段に対して新たに連続する複数のフレームの抽出を開始させる手段を更に具備する
ことを特徴とする電子機器装置。 - 請求項１に記載の電子機器装置において、
前記テロップ情報抽出手段により抽出されたテロップ情報に基づいて、前記出力される映像に関連する情報を検索する関連情報検索手段と、
前記出力される映像及び検索した前記関連情報を一の表示画面に表示領域毎に表示する表示手段と
を更に具備することを特徴とする電子機器装置。 - （ａ）映像を構成するために順次出力されるフレームから、連続する複数のフレームを抽出する工程と、
（ｂ）前記抽出した複数のフレーム基づき、当該複数のフレームにテロップ情報の領域が存在するか否かを判断する工程と、
（ｃ）前記テロップ領域判断手段により前記複数のフレームにそれぞれテロップ情報の領域が存在すると判断された場合に、前記抽出した複数のフレームに基づき、当該領域に存在するテロップ情報を抽出する工程と
を具備することを特徴とするテロップ情報処理方法。 - 請求項５に記載のテロップ情報処理方法において、
前記工程（ａ）と前記工程（ｂ）及び前記工程（ｃ）とは、互いに独立かつ並列に動作することが可能にされていることを特徴とするテロップ情報処理方法。 - 請求項５に記載のテロップ情報処理方法において、
（ｄ）前記工程（ｂ）により、テロップ情報の領域が存在しないと判断された場合に、前記工程（ａ）において新たに連続する複数のフレームの抽出を開始させる工程を更に具備することを特徴とするテロップ情報処理方法。 - 請求項５に記載のテロップ情報処理方法において、
（ｅ）前記工程（ｃ）により抽出したテロップ情報に基づいて、前記出力される映像に関連する情報を検索する工程と、
（ｆ）前記出力される映像及び前記検索した関連情報を一の表示画面に表示領域毎に表示する工程と
を更に具備することを特徴とするテロップ情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136375A JP2004343352A (ja) | 2003-05-14 | 2003-05-14 | 電子機器装置及びテロップ情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003136375A JP2004343352A (ja) | 2003-05-14 | 2003-05-14 | 電子機器装置及びテロップ情報処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004343352A true JP2004343352A (ja) | 2004-12-02 |
Family
ID=33526362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003136375A Pending JP2004343352A (ja) | 2003-05-14 | 2003-05-14 | 電子機器装置及びテロップ情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004343352A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007006454A (ja) * | 2005-05-26 | 2007-01-11 | Sony Corp | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム |
| JP2007074091A (ja) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | テロップ検出装置及び方法並びにレコーダ |
| JP2009157460A (ja) * | 2007-12-25 | 2009-07-16 | Hitachi Ltd | 情報提示装置及び方法 |
| JP2009271773A (ja) * | 2008-05-08 | 2009-11-19 | Toyota Motor Corp | 画像処理装置 |
| WO2010079559A1 (ja) * | 2009-01-06 | 2010-07-15 | 日本電気株式会社 | クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| JP2013059038A (ja) * | 2012-10-09 | 2013-03-28 | Toshiba Corp | 情報処理装置および情報表示方法 |
| US10219011B2 (en) | 2014-11-05 | 2019-02-26 | Samsung Electronics Co., Ltd. | Terminal device and information providing method thereof |
-
2003
- 2003-05-14 JP JP2003136375A patent/JP2004343352A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007006454A (ja) * | 2005-05-26 | 2007-01-11 | Sony Corp | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム |
| JP4613867B2 (ja) * | 2005-05-26 | 2011-01-19 | ソニー株式会社 | コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム |
| JP2007074091A (ja) * | 2005-09-05 | 2007-03-22 | Pioneer Electronic Corp | テロップ検出装置及び方法並びにレコーダ |
| JP4634894B2 (ja) * | 2005-09-05 | 2011-02-16 | パイオニア株式会社 | テロップ検出装置及び方法並びにレコーダ |
| JP2009157460A (ja) * | 2007-12-25 | 2009-07-16 | Hitachi Ltd | 情報提示装置及び方法 |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| JP2009271773A (ja) * | 2008-05-08 | 2009-11-19 | Toyota Motor Corp | 画像処理装置 |
| JP4544342B2 (ja) * | 2008-05-08 | 2010-09-15 | トヨタ自動車株式会社 | 画像処理装置 |
| WO2010079559A1 (ja) * | 2009-01-06 | 2010-07-15 | 日本電気株式会社 | クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム |
| JP5445467B2 (ja) * | 2009-01-06 | 2014-03-19 | 日本電気株式会社 | クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラム |
| JP2013059038A (ja) * | 2012-10-09 | 2013-03-28 | Toshiba Corp | 情報処理装置および情報表示方法 |
| US10219011B2 (en) | 2014-11-05 | 2019-02-26 | Samsung Electronics Co., Ltd. | Terminal device and information providing method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10725734B2 (en) | Voice input apparatus | |
| US9654845B2 (en) | Electronic apparatus of generating summary content and method thereof | |
| EP1980960A2 (en) | Methods and apparatuses for converting electronic content descriptions | |
| JP4920395B2 (ja) | 動画要約自動作成装置、方法、及びコンピュータ・プログラム | |
| EP2530675A2 (en) | Information processing apparatus, information processing method, and program | |
| KR102246305B1 (ko) | 증강 미디어 서비스 제공 방법, 장치 및 시스템 | |
| JP2010166608A (ja) | ショートフィルム生成装置、ショートフィルム生成方法、プログラムおよび記録媒体 | |
| JP4519531B2 (ja) | 画像表示装置、画像表示方法およびプログラム | |
| CN111898388B (zh) | 视频字幕翻译编辑方法、装置、电子设备及存储介质 | |
| JP6601944B2 (ja) | コンテンツ生成装置およびプログラム | |
| JP6202815B2 (ja) | 文字認識装置および文字認識方法並びに文字認識プログラム | |
| CN102106145A (zh) | 用于显示再现图像的放大的目标区域的装置和方法 | |
| CN113052169A (zh) | 视频字幕识别方法、装置、介质及电子设备 | |
| KR20070020208A (ko) | 콘텐트를 프로그램에서 위치지정하는 방법 및 장치 | |
| JP2007148976A (ja) | 関連情報検索装置 | |
| JP2009157460A (ja) | 情報提示装置及び方法 | |
| JP2004343352A (ja) | 電子機器装置及びテロップ情報処理方法 | |
| JP2008118232A (ja) | 映像再生装置 | |
| JP4496358B2 (ja) | オープンキャプションに対する字幕表示制御方法 | |
| JP2010109852A (ja) | 映像インデクシング方法、映像録画再生装置、及び映像再生装置 | |
| JP2017102939A (ja) | オーサリング装置、オーサリング方法、およびプログラム | |
| JP6641732B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2008225676A (ja) | 辞書検索装置及びその制御プログラム | |
| JP2006195900A (ja) | マルチメディアコンテンツ生成装置及び方法 | |
| JP6080058B2 (ja) | オーサリング装置、オーサリング方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060411 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090310 |