JP2001285716A

JP2001285716A - テロップ情報処理装置及びテロップ情報表示装置

Info

Publication number: JP2001285716A
Application number: JP2000216407A
Authority: JP
Inventors: Takeshi Mita; 雄志三田; Osamu Hori; 修堀
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-01-24
Filing date: 2000-07-17
Publication date: 2001-10-12
Anticipated expiration: 2020-07-17
Also published as: JP3692018B2

Abstract

(57)【要約】【課題】映像中のテロップを高精度に検出・認識可能
なテロップ情報処理装置を提供すること。【解決手段】テロップ候補画像作成部１、テロップ文
字列領域候補抽出部２、テロップ文字画素抽出部３、テ
ロップ文字認識部４により、映像からテロップが表示さ
れている領域を検出し、テロップ文字を構成する画素の
みを抽出して、ＯＣＲ処理で認識を行うとともに、テロ
ップ情報作成部５では、これら一連の処理の信頼性評価
結果に基づいて、１つのテロップに対して存在する複数
の認識結果から１つを選択する。その際、テロップ情報
作成部５では、テロップ文字画素抽出部３におけるテロ
ップ文字抽出処理の信頼度評価値もしくはテロップ文字
認識部４におけるＯＣＲ処理の認識信頼度またはその両
方を用いて最終的なテロップ情報を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像中からテロッ
プの検出・認識を行うテロップ情報処理装置及びテロッ
プ情報の中からユーザに提示するための文字情報を選び
出して表示を行うテロップ情報表示装置に関する。

【０００２】

【従来の技術】従来、映像からテロップを検出する方法
では、テロップ文字周辺では急峻なエッジが現れること
を利用し、エッジ画素を縦横に投影してテロップ領域を
求める方法（例えば、特開平１０−３０４２４７「映像
テロップ検出方法および装置」）や、エッジの勾配方向
からエッジペアと呼ぶものを求めテロップ表示フレーム
を検出する方法（例えば、特開平１０−３２０５５７
「テロップ文字表示フレーム検出方法及び装置」）があ
る。

【０００３】また、検出したテロップ領域からテロップ
文字を切り出し認識する方法としては、判別分析法によ
り閾値を決定し２値化する方法（例えば、画像の認識・
理解シンポジウム講演論文集Ｉ，ｐｐ．１０５−１１
０，１９９８）がある。

【０００４】テロップの出現・消滅を検出する方法で
は、部分的な矩形領域において輝度ヒストグラムの変化
が大きい場合にエッジ位置の変化を調べる方法（例え
ば、信学技法ＰＲＭＵ９８−１８８，ｐｐ．９１−９
８）や、テロップの存在する画素を１とし他を０とした
テロップ候補画像を作成し、時間的に離れた２枚のテロ
ップ候補画像の差分をとることによってテロップの切り
替わりを調べる方法（例えば、特開平１０−３２２５９
５「映像テロップ検出方法および装置」）がある。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来手法それぞれには前提としているテロップの性質が存
在する。１つのテロップが表示されている間にも、テロ
ップ文字と背景のコントラストが変化することなどがあ
り、映像中にはそれぞれの手法にとって、同じテロップ
でも処理しやすい区間とそうでない区間が存在する。し
たがって、上記従来手法を単純に組み合わせても、処理
の各段階において出力される情報の信頼性を考慮してい
なければ、精度の高い認識結果を得ることは難しい。

【０００６】また受信している映像をリアルタイム処理
しテロップ情報を取り出す際には、テロップが出現して
から消滅するまでに複数の認識結果を得ておき、テロッ
プ消滅後に１つを選択しなければならない場合が考えら
れる。上記従来手法を組み合わせただけでは、どの認識
結果を用いれば高精度な結果が得られるのかについて判
断することができない。

【０００７】本発明は、上記事情を考慮してなされたも
ので、高精度なテロップの検出・認識を行うことを可能
としたテロップ情報処理装置を提供することを目的とす
る。

【０００８】また、本発明は、映像中に含まれるテロッ
プの時間的場所的な存在箇所に関する情報および該テロ
ップを構成する文字列に関する情報を含むテロップ情報
の中から、ユーザにとってより望ましいテロップ情報を
検索して表示するテロップ情報表示装置を提供すること
を目的とする。

【０００９】

【課題を解決するための手段】本発明は、一連のフレー
ムからなる映像データ中からテロップを検出し、テロッ
プの存在箇所に関する情報および該テロップを構成する
文字列に関する情報を含むテロップ情報を作成するテロ
ップ情報処理装置であって、前記映像データの処理対象
のフレーム中からテロップであると判断される画素領域
を求め、該画素領域に基づいて文字認識処理を施すべき
文字切り出し画像を作成するとともに、該文字切り出し
画像に対する信頼度評価値を求める第１の処理手段と、
この手段により求められた前記文字切り出し画像にＯＣ
Ｒ処理を施して、文字認識結果を求める第２の処理手段
と、前記第１及び第２の処理手段による一連の処理によ
って同一テロップについて得られた複数の文字認識結果
のうちから前記第１の処理手段により求められた前記信
頼度評価値に基づいて最も信頼性が高いと判断される文
字認識結果を選択し、選択した該文字認識結果に基づい
て前記テロップ情報を作成するテロップ情報作成手段と
を備えたことを特徴とする。好ましくは、前記第２の処
理手段により文字認識結果が得られたテロップの当該フ
レームにおける存在箇所を示すテロップ領域情報を求め
る第３の処理手段を更に備え、前記テロップ情報作成手
段は、前記第１、第２及び第３の処理手段による一連の
処理によって同一テロップについて得られた複数の文字
認識結果及びテロップ領域情報のうちから前記第１の処
理手段により求められた前記信頼度評価値に基づいて最
も信頼性が高いと判断される文字認識結果及びテロップ
領域情報を選択し、選択した該文字認識結果及び該テロ
ップ領域情報に基づいて前記テロップ情報を作成するよ
うにしてもよい。また、本発明は、一連のフレームから
なる映像データ中からテロップを検出し、テロップの存
在箇所に関する情報および該テロップを構成する文字列
に関する情報を含むテロップ情報を作成するテロップ情
報処理装置であって、前記映像データの処理対象のフレ
ーム中からテロップであると判断される画素領域を求
め、該画素領域に基づいて文字認識処理を施すべき文字
切り出し画像を作成するとともに、該文字切り出し画像
に対する信頼度評価値を求める第１の処理手段と、この
手段により求められた前記文字切り出し画像にＯＣＲ処
理を施して、文字認識結果を求める第２の処理手段と、
この手段により文字認識結果が得られたテロップの当該
フレームにおける存在箇所を示すテロップ領域情報を求
める第３の処理手段と、前記第１、第２及び第３の処理
手段による一連の処理によって同一テロップについて得
られた複数の文字認識結果又はテロップ領域情報の少な
くとも一方から前記第１の処理手段により求められた前
記信頼度評価値に基づいて最も信頼性が高いと判断され
るものを選択し、これに基づいてテロップ情報を作成す
る前記テロップ情報作成手段とを備えたことを特徴とす
る。

【００１０】本発明は、一連のフレームからなる映像デ
ータ中からテロップを検出し、テロップの存在箇所に関
する情報および該テロップを構成する文字列に関する情
報を含むテロップ情報を作成するテロップ情報処理装置
であって、前記映像データの処理対象のフレーム中から
テロップであると判断される画素領域を求め、該画素領
域に基づいて文字認識処理を施すべき文字切り出し画像
を作成する第１の処理手段と、この手段により求められ
た前記文字切り出し画像にＯＣＲ処理を施して、文字認
識結果を求めるとともに、該文字認識結果に対する認識
信頼度を求める第２の処理手段と、前記第１及び第２の
処理手段による一連の処理によって同一テロップについ
て得られた複数の文字認識結果のうちから前記第２の処
理手段により求められた前記認識信頼度に基づいて最も
信頼性が高いと判断される文字認識結果を選択し、選択
した該文字認識結果に基づいて前記テロップ情報を作成
するテロップ情報作成手段とを備えたことを特徴とす
る。好ましくは、前記第２の処理手段により文字認識結
果が得られたテロップの当該フレームにおける存在箇所
を示すテロップ領域情報を求める第３の処理手段を更に
備え、前記テロップ情報作成手段は、前記第１、第２及
び第３の処理手段による一連の処理によって同一テロッ
プについて得られた複数の文字認識結果及びテロップ領
域情報のうちから前記第２の処理手段により求められた
前記認識信頼度に基づいて最も信頼性が高いと判断され
る文字認識結果及びテロップ領域情報を選択し、選択し
た該文字認識結果及び該テロップ領域情報に基づいて前
記テロップ情報を作成するテロップ情報作成手段とを備
えるようにしてもよい。また、本発明は、一連のフレー
ムからなる映像データ中からテロップを検出し、テロッ
プの存在箇所に関する情報および該テロップを構成する
文字列に関する情報を含むテロップ情報を作成するテロ
ップ情報処理装置であって、前記映像データの処理対象
のフレーム中からテロップであると判断される画素領域
を求め、該画素領域に基づいて文字認識処理を施すべき
文字切り出し画像を作成する第１の処理手段と、この手
段により求められた前記文字切り出し画像にＯＣＲ処理
を施して、文字認識結果を求めるとともに、該文字認識
結果に対する認識信頼度を求める第２の処理手段と、こ
の手段により文字認識結果が得られたテロップの当該フ
レームにおける存在箇所を示すテロップ領域情報を求め
る第３の処理手段と、前記第１、第２及び第３の処理手
段による一連の処理によって同一テロップについて得ら
れた複数の文字認識結果又はテロップ領域情報の少なく
とも一方から前記第２の処理手段により求められた前記
認識信頼度に基づいて最も信頼性が高いと判断されるも
のを選択し、これに基づいてテロップ情報を作成する前
記テロップ情報作成手段とを備えたことを特徴とする。

【００１１】好ましくは、前記テロップ情報作成手段
は、前記第１、第２及び第３の処理手段による一連の処
理によって得られた複数の文字認識結果及びテロップ領
域情報のうちから、相前後する処理対象フレームにおけ
る文字認識結果又はテロップ領域情報を順次比較してい
くことによって、同一テロップに対するものを特定する
第４の処理手段と、前記同一テロップが最初に検出され
た処理対象フレーム及び最後に検出された処理対象フレ
ームを特定する情報を作成して、前記テロップ情報に付
加する第５の処理手段とを含むようにしてもよい。

【００１２】好ましくは、前記テロップ情報作成手段
は、前記第１及び第２及の処理手段による一連の処理に
よって得られた複数の文字認識結果のうちから、相前後
する処理対象フレームにおける文字認識結果を順次比較
していくことによって、同一のテロップに対するものを
特定する第４の処理手段と、前記第４の処理手段による
処理によって同一のテロップに対するものと特定されま
とめられた複数の文字認識結果のうちから、相前後する
処理対象フレームにおける文字認識結果を順次比較して
いくことによって、同一の文字に対するものをグループ
にする手段と、同一の文字に対するグループごとに、該
グループに属する文字認識結果のうちから、少なくとも
前記第１の処理手段により求められた前記信頼度評価値
又は前記第２の処理手段により求められた前記認識信頼
度に基づいて、信頼性が高いと判断されるグループを採
用し、信頼性が低いと判断されるグループを不採用にす
ることを決定する手段と、各々の前記グループにおいて
選択された前記文字認識結果を前記文字領域情報に基づ
いて並び替えることによって再構成したテロップ文字列
の文字認識結果に基づいて前記テロップ情報を作成する
手段とを含むようにしてもよい。

【００１３】好ましくは、前記テロップ情報作成手段
は、前記第１、第２及び第３の処理手段による一連の処
理によって得られた複数の文字認識結果及びテロップ領
域情報のうちから、相前後する処理対象フレームにおけ
る文字認識結果及び文字領域情報を順次比較していくこ
とによって、同一のテロップに対するものを特定する第
４の処理手段と、前記第４の処理手段による処理によっ
て同一のテロップに対するものと特定されまとめられた
複数の文字認識結果及びテロップ領域情報のうちから、
相前後する処理対象フレームにおける文字認識結果及び
テロップ領域情報を順次比較していくことによって、同
一の文字に対するものをグループにする手段と、同一の
文字に対するグループごとに、該グループに属する文字
認識結果及びテロップ領域情報のうちから、少なくとも
前記第１の処理手段により求められた前記信頼度評価値
又は前記第２の処理手段により求められた前記認識信頼
度に基づいて、信頼性が高いと判断されるグループを採
用し、信頼性が低いと判断されるグループを不採用にす
ることを決定する手段と、各々の前記グループにおいて
選択された前記文字認識結果を前記文字領域情報に基づ
いて並び替えることによって再構成したテロップ文字列
の文字認識結果及びテロップ領域情報に基づいて前記テ
ロップ情報を作成する手段とを含むようにしてもよい。
好ましくは、前記テロップ情報作成手段は、前記第１、
第２及び第３の処理手段による一連の処理によって得ら
れた複数の文字認識結果及びテロップ領域情報のうちか
ら、相前後する処理対象フレームにおける文字認識結果
及び文字領域情報を順次比較していくことによって、同
一のテロップに対するものを特定する第４の処理手段
と、前記第４の処理手段による処理によって同一のテロ
ップに対するものと特定されまとめられた複数の文字認
識結果及びテロップ領域情報のうちから、相前後する処
理対象フレームにおける文字認識結果及びテロップ領域
情報を順次比較していくことによって、同一の文字に対
するものをグループにする手段と、同一の文字に対する
グループごとに、該グループに属する文字認識結果及び
テロップ領域情報のうちから、少なくとも前記第１の処
理手段により求められた前記信頼度評価値又は前記第２
の処理手段により求められた前記認識信頼度に基づい
て、信頼性が高いと判断されるグループを採用し、信頼
性が低いと判断されるグループを不採用にすることを決
定する手段と、各々の前記グループにおいて選択された
前記文字認識結果を前記文字領域情報に基づいて並び替
えることによって再構成したテロップ文字列の文字認識
結果とテロップ領域情報の少なくとも一方に基づいて前
記テロップ情報を作成する手段とを含むようにしてもよ
い。

【００１４】前記第１の処理手段は、前記映像データの
処理対象のフレーム中からテロップであると判断される
画素を求め、テロップであると判断されるか否かで画素
を２値化した画像を作成する第１の画像作成手段と、こ
の手段で求められた前記画像における孤立画素を連結し
て、文字列の候補となる領域を抽出する領域抽出手段
と、この手段で抽出された前記文字列の候補となる領域
に基づいて、前記ＯＣＲ処理を施すべき前記文字切り出
し画像を作成する第２の画像作成手段とを含むようにし
てもよい。

【００１５】本発明は、映像中に含まれるテロップの存
在箇所に関する情報および該テロップを構成する文字列
に関する情報を含むテロップ情報の中から、ユーザの所
望するテロップ情報を検索するための選択条件に基づい
てテロップ情報を検索して表示するテロップ情報表示装
置であって、テロップの存在箇所に関する条件、テロッ
プを構成する文字列に関係する条件、またはテロップの
背景に関係する条件のうちの少なくとも一つを含む選択
条件を入力するための入力手段と、前記入力手段によっ
て入力された前記条件に基づいてテロップ情報を検索す
る検索手段と、前記検索手段によって検索されたテロッ
プ情報を所定の形態で表示する表示手段とを備えたこと
を特徴とする。

【００１６】なお、装置に係る本発明は方法に係る発明
としても成立し、方法に係る本発明は装置に係る発明と
しても成立する。また、装置または方法に係る本発明
は、コンピュータに当該発明に相当する手順を実行させ
るための（あるいはコンピュータを当該発明に相当する
手段として機能させるための、あるいはコンピュータに
当該発明に相当する機能を実現させるための）プログラ
ムを記録したコンピュータ読取り可能な記録媒体として
も成立する。

【００１７】本発明では、映像からテロップが表示され
ている領域を検出し、テロップ文字を構成する画素のみ
を抽出して、ＯＣＲ処理で認識を行うとともに、これら
一連の処理の信頼性評価結果に基づいて、１つのテロッ
プに対して存在する複数の認識結果から１つを選択する
などして、信頼性の高いテロップ情報を作成する。

【００１８】本発明によれば、同一のテロップに対して
存在する複数の認識結果から高精度に認識できたものを
選択して結果を出力することが可能となる。また、本発
明によれば、同一のテロップに対して存在する複数の認
識結果から高精度に認識できた文字を選択し、その文字
から文字列を構成してテロップ情報として出力すること
が可能となる。また、文字列の認識信頼度を表す数値も
同時に得ることが可能となる。さらに、ユーザに提示す
るためのテロップを選択する枠組みを提供することが可
能となる。

【００１９】また、本発明によれば、テロップの時間的
な存在箇所に関する条件、テロップの場所的な存在箇所
に関する条件、テロップを構成する文字列に関係する条
件、またはテロップの背景に関係する条件のうちの少な
くとも一つを含む選択条件に基づいてテロップ情報を選
択することによって、より効果的にテロップ情報を提示
することができる。

【００２０】

【発明の実施の形態】以下、図面を参照しながら発明の
実施の形態を説明する。

【００２１】本実施形態では、映像中からテロップを検
出し、テロップを構成する文字を認識する。図３に例示
するように、テロップは、通常、映像１００の内容部分
（コンテンツ）１０１の上に直に表示される文字列１０
２，１０３である（図３では横書き文字列が２つある場
合を例示している）か、または、より見やすくするため
に、コンテンツの上にはまず特別の画像領域（例えば、
コンテンツ部分とは別に作成された例えば輝度の小さい
画素からなる矩形状の領域、あるいはコンテンツの特定
の領域内のみ輝度を低下させるなどの処理を施したその
特定の領域）を設け、その中にテロップ文字列が書かれ
ることもある（なお、文字列は、１文字の場合も含むも
のとする）。

【００２２】なお、以下では、映像中のあるテロップに
対してそのテロップ文字以外の部分を背景と表現するも
のとする。

【００２３】本実施形態では、処理の対象とするテロッ
プは、映像中における（画素的な）位置が一定時間以上
静止しており、かつ、（テロップ文字の近傍における）
背景に比べて高輝度の画素から構成される、という性質
を持つものとする。また、テロップは、その出現から消
滅までの間、色や輝度の変化がない（あるいは、変化が
少ない）ものとする。

【００２４】図１に、本実施形態に係るテロップ情報処
理システムの構成例を示す。また、図２に、本テロップ
情報処理システムにおける映像テロップ検出・認識処理
の手順の一例を概略的に示す。

【００２５】図１に示されるように、このテロップ情報
処理システムは、テロップ候補画像作成部１と、テロッ
プ文字列領域候補抽出部２と、テロップ文字画素抽出部
３と、テロップ文字認識部４と、テロップ情報作成部５
とを有する。

【００２６】まず、映像データがテロップ候補画像作成
部１に入力され、映像に含まれるテロップを構成する画
素の候補が検出され、テロップ候補画像が作成される
（ステップＳ１）。なお、全フレームを対象とする方法
と、一定の規則でサンプリングしたフレームのみを対象
とする方法がある。

【００２７】テロップ候補画像はテロップ文字列領域候
補抽出部２に入力され、孤立画素を連結して、文字列領
域候補が抽出される（ステップＳ２）。なお、テロップ
候補画像によって、文字列領域候補は、１つ抽出される
ことも、２つ以上抽出されることも、抽出されないこと
もある（抽出されなかった場合には、当該テロップ候補
画像についてはここで処理が中止される）。

【００２８】テロップ文字画素抽出部３では、ステップ
Ｓ２で得られた各々の文字列領域候補について、テロッ
プ文字を構成する画素を詳細に切り出し、ノイズ除去を
行って、文字切り出し画像を作成するとともに、文字画
素抽出処理の信頼性評価を行い、評価値を求める（ステ
ップＳ３）。

【００２９】テロップ文字認識部４は、各々の文字列領
域候補について、ステップＳ３で得られた文字切り出し
画像に文字認識処理を施して、テロップ領域（この場
合、文字切り出し画像において文字として処理された画
素集合に対する外接矩形）と各文字の文字認識結果（こ
の場合、文字コード）と各文字の文字認識結果に対する
認識信頼度を得る（ステップＳ４）。文字認識処理に
は、良く知られたＯＣＲ処理（ＯＣＲ（Ｏｐｔｉｃａｌ
ＣｈａｒａｃｔｅｒＲｅａｄｅｒ）装置の内部で行
われる文字認識処理に用いられる処理）を利用するもの
とする。なお、テロップではないために文字が認識でき
ないなどによって、当該文字列領域候補（文字切り出し
画像）についてここで処理が中止されることもある。

【００３０】テロップ情報作成部５は、ステップＳ４で
得られたテロップ領域／文字コード列をもとにして、同
一テロップの出現、継続、消滅を判定するとともに、そ
のテロップが表示されている間（出現から消滅までの
間）にそのテロップについて複数の結果（テロップ領域
／文字コード列）が得られた場合には、それらのうちか
らより高精度な結果を選択する（ステップＳ５）。

【００３１】以下、本実施形態についてより詳しく説明
する。

【００３２】まず、テロップ候補画像作成部１における
処理について説明する。

【００３３】図４に、テロップ候補画像作成部１におい
てテロップ候補画像を作成する手順の一例を示す。

【００３４】まず、ステップＳ２１において、例えばＭ
ＰＥＧ等により圧縮された映像を入力して、この映像の
中から例えば１フレーム分の画像を取り出す。取り出さ
れた画像は、過去一定時間の画像を格納するバッファに
保存される。

【００３５】ところで、テロップは人間が読むのに十分
な大きさと十分な時間の長さで表示される。したがっ
て、極端に小さな文字や大きな文字が含まれることはほ
とんどなく、テロップが表示されている時間も通常は２
秒以上の長さを有する。一般に、ＭＰＥＧ−２はＧＯＰ
（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）と呼ばれる単
位で区切られており、ＧＯＰの先頭にＩフレームという
イントラフレームのみで圧縮したフレームを含んでい
る。ＧＯＰは１５フレーム（０．５秒）に設定すること
が多く、Ｉフレームは０．５秒おきに出現するのが一般
的である。したがって、このような場合には、Ｉフレー
ムのみを復号して処理の対象とするだけでもテロップを
検出・認識するためには十分であることが通常である。
そこで、本実施形態では、ＭＰＥＧ−２のＩフレーム画
像のみを処理の対象とする場合を例にとって説明する。
もちろん、ＭＰＥＧ−２ではなく他の形式のデジタル画
像から設定した時間間隔でサンプリングを行い、画像を
入力してもよい。また、すべてのフレーム画像を処理の
対象とすることも可能である。また、アナログ映像をデ
ジタル化しながら画像を取得してもかまわない。

【００３６】なお、図４の手順例では、あるフレーム画
像を処理の対象とするときに、当該フレーム画像のみを
使って処理を行うのではなく、過去のフレーム画像
（群）をも使うものとしている。

【００３７】そこで、本実施形態では、一例として、Ｍ
ＰＥＧ−２のＩフレーム画像のみを処理の対象とし、４
枚分のＩフレーム画像を保存するバッファを用意してお
き、Ｉフレーム画像を１枚ずつデコードしながら処理を
進めていくものとする。

【００３８】なお、ここでは、バッファには処理（例え
ば平均もしくは論理積）に用いる枚数の画像を保存する
ものとするが、その必要な枚数より多い枚数の画像がバ
ッファに保存されても構わない。

【００３９】さて、ステップＳ２２では、バッファに蓄
積された複数枚の画像（本例では、当該Ｉフレーム画像
を含む、過去連続する４枚のＩフレーム画像）につい
て、同一の位置にある画素の輝度平均を求め、輝度平均
画像を作成する。

【００４０】輝度を平均化することにより、背景など動
きのある部分の画素はボケるため、静止しているテロッ
プ文字と区別しやすくなるという特性を持つ。

【００４１】なお、ここでは、次の輝度分散画像の計算
のために輝度平均画像を作成しているが、この輝度平均
画像は後述するようにテロップ文字画素抽出を行う際に
も用いられる。したがって、得られた輝度平均画像は、
当該Ｉフレーム画像の輝度平均画像を必要とするテロッ
プ文字画素抽出が済むまで保存しておく。

【００４２】ステップＳ２３では、ステップＳ２２と同
一の画像群について、同一の位置にある画素の輝度分散
を求め、輝度分散画像を作成する。なお、ここでは、一
定の閾値より低い分散値を持つ画素を１、それ以外の画
素を０に、２値化する。

【００４３】輝度分散は輝度の変化が激しいほどその値
が大きくなるので、背景など動きのある部分の画素では
輝度分散値が大きくなり、テロップ文字を区別しやすく
なる。

【００４４】図５（ａ）に、「テ」「ロ」「ッ」「プ」
という文字列からなるテロップを含む画像から得られた
輝度分散画像（ただし、文字の近傍のみ抜き出した部
分）の一例を示す。図５（ａ）では、文字「テ」「ロ」
「ッ」「プ」に対応する画素群の他に、ノイズとなる画
素群が示されている。

【００４５】一方、ステップＳ２４では、サンプリング
画像（当該Ｉフレーム画像）からエッジ検出を行う。エ
ッジ検出には、微分オペレータなどを用いる。

【００４６】ステップＳ２５では、ステップＳ２４で検
出されたエッジの強度が閾値より高ければ１、低ければ
０として、２値化する。これによって得られる画像をエ
ッジ検出２値化画像と呼ぶものとする。このエッジ検出
２値化画像についても、サンプリング画像とは別のバッ
ファに、（今得られた画像を含めて４枚分）保存してお
く。

【００４７】ステップＳ２６では、バッファに蓄積され
た複数枚のエッジ検出２値化画像（本例では、ステップ
Ｓ２５で得られた当該Ｉフレーム画像に対するエッジ検
出２値化画像を含む、過去連続する４枚のＩフレーム画
像に対するエッジ検出２値化画像）の画素毎の論理積を
求め、不動エッジ画像を得る。

【００４８】これにより、エッジの位置が変化しない強
度の高いエッジを構成する画素を抽出することができ
る。テロップ文字は背景（特に、テロップ文字の近傍に
おける背景）とコントラストが強いため、このような強
いエッジを持つ。また、静止しているという性質から位
置の変化しないエッジがテロップ文字を構成する可能性
が高い。

【００４９】図５（ｂ）に、図５（ａ）と同一の画像か
ら得られた不動エッジ画像（ただし、文字の近傍のみ抜
き出した部分）の一例を示す。図５（ｂ）においても、
文字「テ」「ロ」「ッ」「プ」から得られた（エッジの
位置が変化しない強度の高い）エッジに対応する画素群
の他に、ノイズとなる画素群が示されている。

【００５０】さて、当該サンプリングにおいて輝度分散
画像と不動エッジ画像が得られたならば、ステップＳ２
７では、輝度分散画像と不動エッジ画像の画素毎の論理
積を求める。

【００５１】これにより、輝度の変化がなく、強いエッ
ジが一定時間以上存在する画素を、抽出することが可能
となる。これによって得られる画像をテロップ候補画像
と呼ぶものとする。

【００５２】図５（ｃ）に、「テ」「ロ」「ッ」「プ」
という文字列からなるテロップを含む画像から得られた
テロップ候補画像（ただし、文字の近傍のみ抜き出した
部分）の一例を示す。すなわち、図５（ａ）の輝度分散
画像と図５（ｂ）の不動エッジ画像の画素毎の論理積を
求めたものである。図５（ｃ）では、図５（ａ）や図５
（ｂ）にあったノイズが除去されていることが示されて
いる。

【００５３】次に、テロップ文字列領域候補抽出部２に
おける処理について説明する。

【００５４】図６に、テロップ文字列領域候補抽出部２
において文字列領域候補を抽出する手順の一例を示す。

【００５５】ステップＳ３１では、テロップ候補画像作
成部１で得られたテロップ候補画像（テロップ文字であ
る蓋然性の高い画素＝１、背景である蓋然性の高い画素
＝０、となっている）をラベリング処理することによ
り、孤立図形を得る。

【００５６】ステップＳ３２では、孤立図形から文字候
補を選択する。この際に、文字を囲む矩形領域の縦横比
により、文字とそうでない図形を大まかに区別する。数
字の「１」や漢数字の「一」を見落とさないように、例
えば、縦：横＝１０：１、縦：横＝１：１０などのよう
に設定すればよい。

【００５７】ステップＳ３３では、文字候補図形を連結
して、連結領域を作成する。

【００５８】文字候補図形の連結処理では、例えば、文
字候補図形をなす辺同士の距離が近いものを連結する。
また、テロップのほとんどは横書きもしくは縦書きであ
り、文字が一直線に並んでいることが多く、１つの文字
列内にある文字の大きさも一定である。そこで、例え
ば、横書きテロップの場合には、文字図形の高さが近い
図形を集め、さらに図形の重心位置が縦方向にばらつか
ないものを連結し、縦書きテロップの場合には、文字図
形の幅が近い図形を集め、さらに図形の重心位置が横方
向にばらつかないものを連結する。

【００５９】また、連結した全文字候補図形を構成する
全画素に対する外接矩形を求め、これを連結領域とす
る。得られる連結領域は、０のときも、１のときも、２
以上のときもある。ここでは、連結領域は、その矩形の
４頂点の座標（画素位置）で表すものとする（もちろ
ん、他の表し方でも構わない）。

【００６０】ところで、映像の内容によっては、テロッ
プ文字列ではない連結領域が得られることもある。

【００６１】そこで、ステップＳ３４では、連結領域か
ら、テロップ文字列である可能性がないと判断される連
結領域を除外し、それ以外を文字列領域候補として選択
して出力する。例えば、領域内の全画素数に占める、画
素値＝１の画素の総数の割合を用いることによって、テ
ロップ文字列と、そうでないものを区別する（この場
合、基準以上の割合で、画素値＝１の画素が含まれるも
のを、文字列領域候補として選択する）。この例の場合
には、文字列領域候補は、その矩形の４頂点の画素位置
で表されることになる。

【００６２】図７は、映像のフレーム全体１２０におけ
る下方の位置に「テ」「ロ」「ッ」「プ」という文字列
からなるテロップが含まれる場合に得られた文字列領域
候補１２２の例を示している。

【００６３】なお、文字列領域候補は、上記のように文
字候補画素に対する外接図形としてもよいし、その外接
図形をさらに所定画素分（例えば５画素分）だけ膨張さ
せた図形としてもよい。本実施形態では、後者であるも
のとする。

【００６４】次に、テロップ文字画素抽出部３における
処理について説明する。

【００６５】図８に、テロップ文字画素抽出部３におい
てテロップを構成する画素のみを背景から抽出する手順
の一例を示す。

【００６６】ここでは、テロップ文字列領域候補抽出部
２により抽出された各々の文字列領域候補ごとに処理が
行われる。

【００６７】また、テロップ文字画素抽出部３では、あ
る文字列領域候補を処理対象とする場合、（その文字列
領域候補に対応する）図４のステップＳ２２においてテ
ロップ候補画像作成部１によって作成された輝度平均画
像から、その文字列領域候補の矩形領域に対応する部分
を切り出したもの（すなわち、テロップ文字の近傍の輝
度平均画像）が、処理対象とされる。

【００６８】まず、ステップＳ４０〜Ｓ４６によって、
テロップ文字の近傍の画素から輝度分布を取得し、２つ
の閾値を設定してテロップ文字を背景から切り出す。な
お、ここでは、ステップＳ４０〜Ｓ４６の処理として
「ＣＶＩＭ１１４−１７，ｐｐ．１２９−１３６，１
９９９」に示される「テロップ認識のための映像からの
文字部抽出法」を用いるものとする。

【００６９】まず、ステップＳ４０において、エッジ検
出を行い、その強度の高いものを２値化し抽出する。こ
れにより、テロップ文字の候補を求める。

【００７０】次に、ステップＳ４１において、ステップ
Ｓ４０で抽出されたエッジ画素を膨張させる。

【００７１】ステップＳ４２では、その膨張領域の輝度
から輝度ヒストグラム（横軸を輝度、縦軸をその輝度に
該当する画素数とするもの）を作成する。輝度ヒストグ
ラムは、テロップ、テロップの縁、背景を含み、三つの
峰を持つものと仮定し、最も輝度が高い部分の山をなす
分布の推定を行う。

【００７２】ステップＳ４３では、正規分布を当ては
め、平均ｍおよび分散σの値を求める。これらの値に基
づいて、テロップ文字を切り出すための２値化しきい値
を設定する。まず、比較的安定している輝度の高い画素
を文字領域の一部と仮定し、その領域を種に文字領域を
拡張させて文字を切り出す。しきい値は２つ設定し、高
い方をｍ＋ｔσ、低い方をｍ＋Ｔσとしている。

【００７３】この方法としては、例えば、「ＣＶＩＭ１
１４−１７，ｐｐ．１２９−１３６，１９９９」に示さ
れるロバスト推定を用いる方法がある。また、別の方法
として、例えば、「ＰｒｏｃｅｅｄｉｎｇｏｆＩＥ
ＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎ
ｃｅｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ’９５
（１９９５），ＰＰ．２４２６−２４３１」に記述され
ているＥＭアルゴリズムを利用してもよい。テロップ文
字がなす分布に外乱が混じっていることを考慮し、２つ
の正規分布をＥＭアルゴリズムで当てはめる。白い文字
のテロップでは、図９（ａ）に示すように輝度値２５５
にピークを持つ分布が得られることが多い。ロバスト推
定を用いる方法で正規分布を当てはめると、図９（ｂ）
に示すように、分布の平均とピークがずれて、厳密には
正しい推定結果が得られない場合があるが、ＥＭアルゴ
リズムを利用する方法では、図９（ｃ）に示すように、
より正確な推定結果が得られる。テロップ文字がなす分
布と外乱がなす分布の２つを求め、ピークが大きくなる
方をテロップ文字とする。なお、当てはめる正規分布の
数を１つ、２つ、３つ…、と変化させて分布の推定を行
い、例えば赤池の「情報量基準（情報量基準による統計
解析入門，ｐｐ．８０−８１，１９９５）」などを用い
て、当てはめ精度を比較し、分布の個数を決定してもよ
い。この場合も、ピークが最も高くなる分布をテロップ
文字の分布とする。

【００７４】ステップＳ４４において、高い方のしきい
値ｍ＋ｔσより大きな輝度を持つ画素を取り出す。

【００７５】次に、これらの画素の近傍で、低い方のし
きい値ｍ＋Ｔσより大きな値を持つ画素を検出する（ス
テップＳ４５）。新たに検出された画素の周りについて
も探索し、画素が検出されるかぎり、ステップＳ４５と
ステップＳ４６を繰り返す。新たに検出された画素の周
りについて探索しても、画素の検出が行われなくなった
ならば、２値化処理を終了する（ステップＳ４６）。

【００７６】以上の手順によって得られた（テロップ文
字である蓋然性の高い画素＝１、背景である蓋然性の高
い画素＝０、となっている）２値画像には、まだノイズ
が含まれている可能性がある。例えば、テロップ文字で
はないが、文字と隣接しているｍ＋Ｔσ以上の輝度を持
つ画素も抽出されてしまう。しかし、これらの画素は輝
度は近くてもテロップと異なる色を持つことがある。

【００７７】そこで、まず、ステップＳ４６の終了時点
において得られた画素値＝１の画素について彩度を計算
し、彩度ヒストグラム（横軸を彩度、縦軸をその彩度に
該当する画素数とするもの）を作成する（ステップＳ４
７）。ここで、テロップ文字以外の著しく異なった彩度
を持つ画素は、彩度ヒストグラム上で主な分布とかけは
なれた位置に存在する。

【００７８】したがって、そのような画素を検出し、こ
れをノイズとして除去する（ステップＳ４８）。そのた
めには、ステップＳ４３と同様にテロップ文字の彩度分
布を推定し、重みが０と判断された彩度を持つ画素を除
去すればよい。なお、彩度ヒストグラムについても、複
数枚の画像から求めるようにしてもよい。

【００７９】ステップＳ４８において得られた画像が、
文字切り出し画像として出力される。

【００８０】次に、ステップＳ４９では、ステップＳ４
８までで行われた２値化処理の信頼性を評価する。

【００８１】ここで、本実施形態で処理の対象としてい
るテロップは、前述したように、・一定時間以上静止している、・（テロップ文字の近傍における）背景に比べて輝度が
高い、という２つの性質を持つ。すなわち、（テロップ
文字の近傍における）背景の輝度変動が大きく、（テロ
ップ文字の近傍における）背景に高い輝度を持つ画素が
存在しないとき、高精度に文字画素の切り出しを行うこ
とができる。したがって、文字画素抽出の信頼性評価値
として、例えば、背景画素（例えば、テロップ文字画素群に対する外接
矩形（あるいは外接矩形を所定画素分膨張させたもの）
に含まれる全画素から当該テロップ文字画素群を除外し
たもの）のうちで輝度分散が閾値より高い画素の割合、背景画素のうちで輝度がｍ＋Ｔσより低い画素の割
合、背景画素のうちで輝度分散が閾値より高く、かつ輝度
がｍ＋Ｔσより低い画素の割合、を用いることができる。

【００８２】上記の３種類の評価値は、それらのすべて
を求めて出力するようにしてもよいし、それらの一部を
求めて出力するようにしてもよい。

【００８３】次に、テロップ文字認識部４における処理
について説明する。

【００８４】テロップ文字認識部４は、各々の文字列領
域候補について、テロップ文字画素抽出部３によって得
られた文字切り出し画像に対して文字認識処理を施し
て、テロップ領域（この場合、文字切り出し画像におい
て文字として処理された画素集合に対する外接矩形）と
各文字の文字認識結果（この場合、文字コード）と各文
字の文字認識結果に対する認識信頼度を得る。文字認識
処理には、良く知られたＯＣＲ処理（ＯＣＲ装置の内部
で行われる文字認識処理に用いられる処理）を利用する
ものとする。ここで、認識信頼度は、通常ＯＣＲ（処
理）が保有する辞書に登録されている文字と入力された
文字との類似度から得られる。

【００８５】図１０に、テロップ文字認識部４において
ＯＣＲ処理を行う手順の一例を示す。

【００８６】すなわち、テロップ文字画素抽出３におい
て得られた文字切り出し画像に対して、ＯＣＲ処理を施
す（ステップＳ５１）。

【００８７】これによって、該当する文字コードの列
と、各文字に対する認識処理の信頼度と、当該認識処理
で文字画素として使用された文字切り出し画像における
画素群に対する外接矩形（例えば、４頂点の画素位置）
とが得られる。また、この文字切り出し画像における外
接矩形の４頂点の画素位置は、もとの全フレーム領域に
おける当該文字切り出し画像の４頂点の画素位置をもと
にして、もとの全フレーム領域における４頂点の画素位
置に変換される。これによって得られる矩形領域（の４
頂点の画素位置）が、サンプリング画像におけるテロッ
プ領域（を示す４頂点の画素位置）となる。

【００８８】もちろん、矩形領域の特定に他の表し方を
用いる場合も同様である。

【００８９】また、ステップＳ５１において得られた認
識信頼度が閾値以下の場合には、当該認識結果を棄却す
る（ステップＳ５２）。

【００９０】なお、複数の文字に対する認識結果が得ら
れた場合に、１つでも認識信頼度が閾値以下の文字があ
るときには、例えば、当該文字列領域候補（文字切り出
し画像）を破棄してしまう方法や、全ての文字の認識信
頼度が閾値以下のときにのみ、当該文字列領域候補（文
字切り出し画像）を破棄する方法がある。

【００９１】なお、ここでは、テロップ文字認識部４に
よりテロップ領域を求めるものとしたが、他の方法によ
ってテロップ領域を求めるようにしてもよい。また、対
応する文字列領域候補でテロップ領域を代用するような
ことも可能である。

【００９２】次に、テロップ情報作成部５における処理
について説明する。

【００９３】前述したように、テロップ情報作成部５
は、テロップ文字認識部４によって得られたテロップ領
域／文字コード列をもとにして、同一テロップの出現、
継続、消滅を判定するとともに、そのテロップが表示さ
れている間（出現から消滅までの間）にそのテロップに
ついて複数の結果（テロップ領域／文字コード列）が得
られた場合には、それらのうちからより高精度な結果を
選択するものである。

【００９４】図１１に、テロップ情報作成部５における
処理の手順の一例を示す。

【００９５】テロップ情報作成部５には、テロップに関
する情報、すなわちテロップ文字認識部４によって得ら
れたテロップ領域と文字コード列とそのときのサンプリ
ング画像を特定する情報（例えば、先頭フレームを起点
とするフレーム番号あるいは先頭フレームからの時間、
もしくは幾つ目のＧＯＰかなど）が順次入力されてくる
ものとする。

【００９６】なお、例えば、図１３においては、テロッ
プａは、３０２から３０７の６つのサンプリング・フレ
ームに存在し、本例では４連続サンプリング・フレーム
にわたって存在してはじめてテロップが検出されるの
で、３０５〜３０７の３つのサンプリング・フレームで
検出される。そして、例えば、出現フレーム＝３０２の
Ｉフレーム、消滅フレーム＝３０７のＩフレーム、とい
うように記録される。

【００９７】まず、ステップＳ６１において、テロップ
の出現、継続、消滅の検出を行う。この詳細な手順の例
は後述する（図１２、図１４）。

【００９８】次に、ステップＳ６２において、同一テロ
ップについて複数のテロップ領域（例えば４頂点の画素
位置）が得られた場合に、それらのうちから１つのテロ
ップ領域を選択する。

【００９９】また、ステップＳ６３において、同一テロ
ップについて複数のテロップ文字列の認識結果（文字コ
ードの配列）が得られた場合に、それらのうちから１つ
のテロップ文字列の認識結果を選択する。

【０１００】最終的には、例えば、テロップの検出順に
テロップ識別子を付与するものとして、当該テロップの
テロップＩＤ、当該テロップのテロップ領域を示す情
報、当該テロップを構成する文字コード列、当該テロッ
プの出現したフレームを示す情報、当該テロップの消滅
したフレーム（すなわち、当該テロップが最後に検出さ
れたフレーム）を示す情報の組を少なくとも含むフレー
ム情報が作成され、出力される。

【０１０１】なお、当該テロップのテロップ領域を示す
情報（例えば、矩形領域の４頂点の座標）により示され
る図形を、他の図形に変換して、その変換後の図形を示
す情報を出力するようにしてもよい。例えば、テロップ
領域が矩形である場合に、その矩形に内接もしくは外接
する楕円を特定する情報（例えば、２つの焦点と楕円上
の１点）を出力するようにしてもよい。

【０１０２】さて、以下では、ステップＳ６１の処理に
ついてより詳しく説明する。

【０１０３】図１２に、テロップ情報作成部５におい
て、テロップ領域の情報を用いてテロップの出現、継
続、消滅の検出を行う詳細な手順の一例を示す。

【０１０４】例えば、図１３に例示するように、サンプ
リング・フレーム３０５において、３０２〜３０５で示
される４つのＩフレームからテロップが検出された場合
（図中の３２１参照）、このテロップのテロップ領域／
文字コード列がテロップ情報作成部５に与えられる。

【０１０５】新しくテロップ領域の情報が得られて入力
されたとき、ステップＳ７１で前のサンプリング・フレ
ーム（本例の場合、Ｉフレーム）でテロップが検出され
たかどうかを調べる。前のサンプリング・フレームでテ
ロップが検出されていない場合、新たに「出現」したテ
ロップとする（ステップＳ７６）。図１３のテロップ３
２１の場合は、「出現」となる。

【０１０６】前のサンプリング・フレームでテロップが
検出されている場合、ステップＳ７２において、前のサ
ンプリング・フレームにおける１つのテロップ領域と、
入力された現在のサンプリング・フレームのテロップ領
域との重なり部分を判定する。それらテロップ領域での
共通部分がそれぞれのテロップ領域に占める割合がとも
に閾値以上であれば、「継続」表示中のテロップと判断
する（ステップＳ７７）。図１３の３０３〜３０６で示
される４つのＩフレームから検出されたテロップ３２２
の場合は、「継続」となる。

【０１０７】そうでなければ、前のサンプリング・フレ
ームで検出された他のテロップがあれば（ステップＳ７
３）、同様に、そのテロップ領域との重なりを調べ、上
記条件を満たせば、「継続」表示中のテロップと判断す
る（ステップＳ７７）。この処理を繰り返し、前のサン
プリング・フレームで検出された全てのテロップのテロ
ップ領域と比較した結果、「継続」と判定されなかった
場合には、現在のサンプリング・フレームのテロップ
は、新たに「出現」したテロップと判定される（ステッ
プＳ７４）。

【０１０８】以上の手順は、このサンプリング・フレー
ムで複数のテロップが検出された場合には、その検出さ
れた全てのテロップについて行われる。

【０１０９】なお、前のサンプリング・フレームで検出
されたテロップであって、上記の処理において「継続」
と判定されなかったものは、前のサンプリング・フレー
ムにおいて「消滅」したものと（変更）する（ステップ
Ｓ７５）。図１３の（３０４〜３０７で示される４つの
Ｉフレームから検出されたテロップ３２３の場合は、
「消滅」となる。

【０１１０】ところで、従来のように単に矩形領域を比
較しただけでは、切り替わって表示されたテロップ領域
が偶然同じ大きさである場合に対応できないが、本実施
形態では、テロップ候補画像作成部１において不動エッ
ジ画像を作成してテロップ領域を求めているため、この
ような切り替わりも検出することが可能となっている。
例えば、サンプリング・フレーム３０８においては、３
０７で示される前のＩフレームのテロップａから、テロ
ップｂへと切り替わっているが、それらのテロップ領域
が偶然同じ大きさであったとしても、本実施形態では、
サンプリング・フレーム３０８においてテロップは検出
されないことになる（テロップｂはさらに３つ後のサン
プリングで検出される）。

【０１１１】なお、本例の場合において、４つの連続す
るＩフレームにのみ含まれるような時間だけ表示される
テロップがあり得る場合には、１つのサンプリング・フ
レームでのみ検出されるテロップがある得る。このよう
な場合には、ステップＳ７５において、例えば、前のサ
ンプリング・フレームで検出され、「継続」とされたテ
ロップであって、上記の処理において「継続」と判定さ
れなかったものは、前のサンプリング・フレームにおい
て「消滅」したものと変更し、なお前のサンプリング・
フレームで検出され、「出現」とされたテロップであっ
て、上記の処理において「継続」と判定されなかったも
のは、前のサンプリング・フレームにおいて「出現かつ
消滅」と変更するようにしてもよい。

【０１１２】次に、図１４に、テロップ情報作成部５に
おいて、テロップ文字コードの情報を用いてテロップの
出現、継続、消滅の検出を行う詳細な手順の一例を示
す。基本的には、図１２の処理と同様である。

【０１１３】新しくテロップの文字コード列が得られて
入力されたとき、ステップＳ８１で前のサンプリング・
フレーム画像でテロップが検出されたかどうかをチェッ
クする。前のサンプリング・フレームでテロップが検出
されていない場合、新たに「出現」したテロップとする
（ステップＳ８６）。

【０１１４】前のサンプリング・フレームでテロップが
検出されている場合、ステップＳ８２において前のサン
プリング・フレームのテロップの文字コード列と、入力
された現在のサンプリング・フレームのテロップの文字
コード列とを比較し、いずれの文字列にも共通な文字の
数もしくは文字数の割合が閾値以上であれば、「継続」
表示中のテロップと判断する（ステップＳ８７）。

【０１１５】そうでなければ、前のサンプリング・フレ
ームで検出された他のテロップの文字コード列との比較
を行う。全てのテロップの文字コード列と比較した結果
（ステップＳ８３）、「継続」と判定されなかったテロ
ップは新たに「出現」したテロップと判定される（ステ
ップＳ８４）。

【０１１６】また、前のサンプリング・フレームで検出
されたテロップで「継続」と判定されなかったものは現
在のサンプリング・フレームにおいて「消滅」したもの
とする（ステップＳ８５）。

【０１１７】次に、テロップ矩形領域の決定方法につい
て説明する。

【０１１８】テロップ領域はＯＣＲ処理によって出力さ
れる例えば文字画素群に対する外接矩形の領域であり、
テロップが一定の時間表示される場合には、テロップ
は、各サンプリング・フレームごと（本例の場合、各Ｉ
フレームごと）に得られるため、同一のテロップに対し
て複数のテロップ領域データが存在する。例えば、図１
３において、テロップａについては、３つのテロップ領
域データが存在する。

【０１１９】ここで、それらテロップ領域のサイズは、
必ずしも一致しない。例えば、テロップ文字の切り出し
処理を行う際に、背景部分のノイズが混入した場合など
は、実際の文字列を囲む領域より大きくなってしまうこ
とがあり、逆に文字の一部が欠落してしまった場合など
は、実際の文字列矩形より小さくなってしまう、という
ようなことが考えられる。そこで、それら複数のテロッ
プ領域データから最も良いものを選択するのが好まし
い。

【０１２０】選択する際には、例えば、前述した文字画
素抽出の信頼性評価値として以下の３つのうちの全部ま
たは一部を用いる。背景画素のうちで輝度分散がしきい値よりも高い画素
の割合（背景の変動が激しいため、静止しているテロッ
プ文字以外を除去しやすい）、背景画素のうちで輝度が前述のしきい値ｍ＋Ｔσより
低い画素の割合（背景にテロップ文字と同程度の輝度を
持つ領域が少ないほうがよい）、上記のとの両方を満たす画素の割合これらの評価
値は、テロップ領域データと同時に得られる。新しいテ
ロップ領域データがテロップ情報作成部５に入力される
と、評価値を参照して、より値が高いテロップ領域デー
タを採用する。例えば、図１３においては、テロップａ
について、３つのテロップ領域データのうちから最良の
ものが選択され、これが最終的にテロップ情報に含まれ
るテロップ領域データとなる。

【０１２１】図１５に、この場合の手順の一例を示す。

【０１２２】ステップＳ９１において、入力されたテロ
ップ領域データが新しく出現したテロップのものである
と判定されれば、そのテロップ領域データを保存する
（ステップＳ９２）。そうでなければ、評価値（例え
ば、信頼性評価値）を比較し（ステップＳ９３）、より
高い評価値のテロップ領域データを保存する（ステップ
Ｓ９４）。全てのテロップ領域データを比較したならば
（ステップＳ９５）、処理を終了する。

【０１２３】これにより、安定にテロップ文字を抽出で
きたときのテロップ領域のデータを得ることができる。

【０１２４】なお、評価値としては、ＯＣＲ処理を行う
際に得られる認識信頼度を用いてもよい。通常、ＯＣＲ
処理では各文字に対してＯＣＲ辞書に登録してある文字
とのマッチングを行うが、このマッチングの際に得られ
る確信度を用いてもよい。また、評価値としては、文字
画素抽出の信頼性評価値と認識信頼度との両方を用いて
もよい。

【０１２５】また、上記では、複数のテロップ領域のう
ちから１つを選択したが、全てのテロップ領域のＯＲあ
るいはＡＮＤをとるなどによって、テロップ領域データ
を得るようにしてもよい。

【０１２６】次に、テロップを構成する文字列の認識結
果（文字コード列）の選択方法について説明する。基本
的には、図１５の処理と同様である。

【０１２７】テロップ文字列の認識結果はＯＣＲ処理に
よって出力される文字コードの配列であり、テロップが
一定の時間表示される場合には、テロップは、各サンプ
リング・フレームごと（本例の場合、各Ｉフレームご
と）に得られるため、テロップ領域と同様に、同一のテ
ロップに対して複数の文字列認識結果（文字コード列）
が存在する。

【０１２８】ここで、それら認識結果においては、文字
画素抽出処理の精度によって、互いに異なった結果とな
る場合があり得る（文字コード列のうち少なくとも対応
する１つの文字コードが異なる場合があり得る）。

【０１２９】選択する際には、例えば、前述した〜
の文字画素抽出の信頼性評価値を用いる。新しい認識結
果がテロップ情報作成部５に入力されると、評価値を参
照して、より値が高い認識結果を採用する。

【０１３０】図１６に、この場合の手順の一例を示す。

【０１３１】ステップＳ１０１において、入力された文
字コード列が新しく出現したテロップのものであると判
定されれば、その文字コード列を保存する（ステップＳ
１０２）。そうでなければ、評価値（例えば、信頼性評
価値）を比較し（ステップＳ１０３）、より高い評価値
の文字コード列を保存する（ステップＳ１０４）。全て
のテロップの文字コード列をチェックしたら（ステップ
１０５）、処理を終了する。

【０１３２】これにより、高精度にテロップ文字列を認
識することができる。

【０１３３】なお、評価値としては、ＯＣＲ処理を行う
際に得られる認識信頼度を用いてもよい。また、評価値
としては、文字画素抽出の信頼性評価値と認識信頼度と
の両方を用いてもよい。

【０１３４】以上のようにして、テロップ情報作成部５
では、各々のテロップに対して出力結果（テロップ情
報）を取得することができる。ここで得られる結果は、
背景からテロップ文字を切り出す処理がどの程度の精度
で行えたかを判定して求めることができるため、高精度
なものが得られるという特徴がある。

【０１３５】次に、テロップ情報作成部５における処理
の他の例について説明する。

【０１３６】さて、従来、キーワード検索やニュース記
事の分類などを目的として、テロップを抽出・認識する
方法が提案されている。例えば、ＰＲＵ９５−２４０，
ｐｐ．３３−４０，１９９６−０３，「ニュース映像中
の文字認識に基づく記事の索引付け」がある。しかし、
例えば、映像内容を表す文字情報をユーザに提示し、そ
の映像が興味のあるものかどうか、あるいは映像中のど
の部分から視聴したいかを決定するというような目的
で、テロップ情報を用いるには、より高精度な文字認識
性能が望まれる。キーワード検索やニュース記事の分類
などを行う際には、誤りを含んだ認識結果が存在して
も、正しい認識結果が１つ含まれていればよいし、ま
た、重要なキーワードを認識できていれば、そのキーワ
ードを含む文字列中で他の文字に認識誤りがあってもよ
いが、ユーザに提示するための文字情報とする目的で
は、誤りを含んだ文字列は不適切である。すなわち、ユ
ーザに提示するために、誤りを含まない文字列情報を取
得するためには、キーワード検索やニュース記事の分類
などを目的として提案されている従来の方法では不十分
である。

【０１３７】そこで、上記では認識結果の候補から文字
列の単位で高精度に認識できたものを選択する処理の例
を示したが、以下では、文字の単位で高精度に認識でき
たものを選択して文字列を再構成する処理の例について
説明する。

【０１３８】以下で説明する例は、複数の文字列候補に
含まれる文字の中から、文字単位で評価値（例えば、文
字画素抽出の信頼性評価値と認識信頼度との一方または
両方に基づく値）の高い文字を選択し、選択した文字を
並べて文字列を取得し、これを最終的なテロップ情報と
するものである。

【０１３９】この場合、まず、テロップ情報作成部５で
は、それぞれのテロップが出現してから消失するまでに
得られた認識結果をすべて保存しておく。図１７に、保
持しておく情報とその記述方法の一例を示す。テロップ
情報として１６０１〜１６０７の情報を保持する（な
お、１６０６および１６０７のうちの全部または一部
を、１６０１〜１６０３が得られた後に破棄してしまう
構成も可能である）。なお、テロップの検出順にテロッ
プ識別子が付与されてもよい。

【０１４０】１６０１は、（ここでの処理によって文字
の単位で選択されて求められた）当該テロップの文字列
を構成する文字コードの配列である。

【０１４１】１６０２は、当該テロップの外接矩形であ
る。例えば、文字コード配列１０６１の各文字の画像内
における矩形の頂点座標値（１６１３）の集合に対する
外接矩形の頂点座標値である（なお、外接矩形をさらに
所定画素分だけ膨張させた図形としてもよい）。

【０１４２】１６０３は、当該テロップの認識結果の信
頼度である。ここで、信頼度とは、ここでの処理によっ
て文字の単位で選択されて求められた当該テロップ全体
の認識度である。信頼度には、例えば、文字コード配列
１０６の各文字の認識信頼度の平均値あるいは最高値を
用いる。なお、この信頼度１６０３をテロップ情報から
省いた構成も可能である。

【０１４３】１６０４はテロップ出現フレームであり、
１６０５はテロップ消失フレームである。テロップ出現
フレーム１６０４とテロップ消失フレーム１６０５の情
報により、テロップの存在区間を表現する。

【０１４４】１６０６は上記の存在区間で得られたテロ
ップ文字列候補の数（Ｎ）であり、１６０７は得られた
各テロップ文字列候補の情報（１〜Ｎ）である。

【０１４５】各文字列候補情報１６０７は、その文字列
の外接矩形１６０８、その文字列の認識信頼度１６０
９、その文字画素抽出の信頼性評価値１６１０、その文
字列を構成する文字の数１６１１、その文字列を構成す
る各文字についての文字情報１６１２を持つ。なお、外
接矩形１６０８は、例えば、当該文字列を構成する各文
字の画像内における矩形の頂点座標値（１６１３）の集
合に対する外接矩形（あるいは、外接矩形をさらに所定
画素分だけ膨張させた図形）の頂点座標値である。ま
た、認識信頼度１６０９は、例えば、当該文字列を構成
する各文字の認識信頼度の平均値あるいは最高値であ
る。また、信頼性評価値１６１０は、例えば、当該文字
列を構成する各文字の信頼性評価値１６１５の平均値あ
るいは最高値である。

【０１４６】各文字情報１６１２は、その文字の外接矩
形１６１３、その文字の認識信頼度１６１４、その文字
を切り出す処理の信頼性評価値１６１５、その文字の文
字コード１６１６を持つ。なお、当該文字の外接矩形１
６１３、文字の認識信頼度１６１４、文字コード１６１
６は、ＯＣＲ処理を行う際に取得されたものを用いるこ
とができる。また、文字画素抽出の信頼性評価値１６１
５としては、一例として、テロップ候補画像作成部１に
おいて得られた輝度平均画像と輝度分散画像を用いて、
以下の２つを求めておく。その文字の外接矩形内で輝度分布がしきい値よりも高
い画素の割合：Ｅ１その文字の外接矩形内で輝度がしきい値よりも低い画
素の割合：Ｅ２図１８に、これらの情報を保持している様子を具体例で
示す。ここでは、「あいうえお」というテロップに対し
て、５つの文字列候補が得られている場合を一例として
説明する。

【０１４７】図１８の例において、各文字列候補は、そ
の文字列を構成する文字情報の配列であり、１７０１が
文字の外接矩形情報、１７０２が文字コード、１７０３
が文字の認識信頼度を示している。この例では、認識信
頼度は、ＯＣＲ処理を行う際に認識精度が高い文字ほど
１００に近い数値が得られ、精度が低いと０に近くなる
ものとしている。各文字は、さらに、２つの評価値Ｅ
１，Ｅ２を保持する。文字列候補１は、「あいうえお」
と認識できた例である。文字列候補２は、ノイズが混入
し、かつ、読み取れなかった文字が欠落している例であ
る。文字列候補３は、認識誤りが発生し、かつ、読み取
れなかった文字が欠落している例である。認識誤りが発
生した文字の認識信頼度は、低い数値となっていること
がわかる。文字列候補４は、認識誤りが発生した例であ
る。文字列候補５は、「あいうえお」と認識できた例で
ある。

【０１４８】さて、このテロップ情報作成部５では、各
文字の認識信頼度と２種類の評価値に基づいて、認識精
度の高い文字を選び出し、文字列を再構成し出力結果を
得る。

【０１４９】図１８の例では、文字「あ」に対する認識
結果として「あ」と「お」が得られ、文字「い」に対す
る認識結果として「い」と「に」が得られたことが分か
る。文字単位で認識信頼度と評価値が高い順に第１候補
（あるいは、第１候補〜第ｍ候補）を選択する。第１候
補によって再構成された文字列に関する情報が、図１７
の文字コード配列１６０１、外接矩形１６０２、信頼度
１６０３として保存される。また、情報１６０１〜１６
０５以外の情報を最終的に破棄する構成の場合であって
も、少なくとも、上記の第１候補（あるいは、第１候補
〜第ｍ候補）の各文字についての文字情報（１６１２）
を保持するようにしてもよい。

【０１５０】また、漢字の「工」とカタカナの「エ」の
ように似た文字では、第２候補以降の候補に正解が含ま
れることがあるため、第２候補まで、あるいは第２候補
から所定番目の候補までをも、（文字コード配列１６０
１へ）保存しておいてもよい。なお、外接矩形１６０２
や信頼度１６０３について、第２候補の文字を使用した
ものについても保存しておくようにしてもよい。

【０１５１】図１９に、複数の文字列候補からの文字の
単位での選択手順の一例を示す。

【０１５２】まず、ステップＳ１８０１において、ある
テロップについて対象となる全ての文字列候補の文字の
認識結果に対してグルーピングを行う。例えば、処理対
象フレームにおける表示位置が互いに近いもの同士を、
同一の文字に対する認識結果とみなし、文字の外接矩形
領域に基づいてグルーピングを行う方法がある。この場
合、誤った文字コードが得られている認識結果もグルー
プ内に存在し得る。

【０１５３】次に、ステップＳ１８０２において、文字
認識結果のグループごとに、信頼性評価を行う。グルー
プに属する文字認識結果の認識信頼度の平均値を参照し
たり、グループ内で同一の文字コードを持つ文字認識結
果の割合を調べる方法がある。文字の切り出しを行う際
に発生したノイズを認識した結果が混入している場合も
あるため、信頼性が低いグループは棄却する。

【０１５４】次に、ステップＳ１８０３において、各グ
ループ内で文字コードおよび外接矩形を決定する。この
場合、グループ内で認識信頼度の高い認識結果を選択す
る。

【０１５５】最後に、ステップＳ１８０４において、
（棄却されなかった）各グループからそれぞれ選択され
た文字を、その外接矩形に基づいて並び替え、テロップ
文字列を再構成する。

【０１５６】図２０に、より詳細な文字選択処理のフロ
ーチャートの一例を示す。

【０１５７】まず、ステップＳ１９０１において、文字
の外接矩形領域に基づいて、全ての文字候補をグルーピ
ングする。同時に、グルーピングされた文字の認識信頼
度の平均値と最高値および平均的な矩形領域を求めてお
く。表示中のテロップは静止しており、表示内容が変化
しないことを仮定しているので、処理対象フレームにお
ける表示位置が同一のものを同じ文字として扱う。グル
ーピングしたものの中には、正しく読み取れなかったた
めに異なった文字コードを持つ候補も存在する可能性が
ある。

【０１５８】例えば、図１８の場合、文字列候補２
の「，」が１つのグループ（以下、グループ０と呼ぶ）
になり、文字列候補１の「あ」と文字列候補２の「あ」
と文字列候補４の「お」と文字列候補５の「あ」が、１
つのグループ（以下、グループ１と呼ぶ）になり、文字
列候補１の「い」と文字列候補２の「い」と文字列候補
３の「に」と文字列候補４の「い」と文字列候補５の
「い」が、１つのグループ（以下、グループ２と呼ぶ）
になり、文字列候補１〜５の「う」が、１つのグループ
（以下、グループ３と呼ぶ）になり、文字列候補１〜５
の「え」が、１つのグループ（以下、グループ４と呼
ぶ）になり、文字列候補１，３，４，５の「お」が、１
つのグループ（以下、グループ５と呼ぶ）になる。

【０１５９】次に、ステップＳ１９０２〜Ｓ１９０６に
おいて、どのグループを採用するかあるいはどのグルー
プを除外するかを決定する。

【０１６０】まず、認識信頼度の平均値や最高値が低い
グループは、認識誤りが多く含まれていたり、混入した
ノイズを認識した結果が含まれている可能性が高いた
め、ここで除外する。なお、そのグループに属する文字
候補の数が他の多くのグループに比べてかなり少ない
（例えば１つのグループに属する文字候補の数の平均値
の半分以下である）などの他の基準をも用いて妥当でな
いグループを除去するようにしてもよい。

【０１６１】例えば、図１８の場合、この時点で、グル
ープ０が除去されることになる。

【０１６２】以下のステップでは、１つの処理を行うた
びに、各文字グループの採用・不採用を決定し、次の処
理では、採用・不採用がまだ決定されていない文字グル
ープを対象として処理を行う。

【０１６３】ステップＳ１９０２において、複数の文字
候補を持つグループのうち、文字コードが全て等しいグ
ループを採用する。複数の文字候補が得られている場合
に、全ての文字コードが等しいとき、認識精度が高いと
判断し、この文字グループをまず採用している。

【０１６４】例えば、図１８の場合、この時点で、グル
ープ３，４，５が採用されていることになる。

【０１６５】次に、ステップＳ１９０３において、まだ
採用・不採用が決定されていないグループのうち、Ｓ１
９０２で採用された文字グループとの重なり領域の面積
がしきい値以上であるグループを不採用とする。ステッ
プＳ１９０４では、まだ採用・不採用が決定されていな
いグループのうち、他のグループとの重なり領域の面積
がしきい値以下であるグループを採用する。ステップＳ
１９０５では、重なり領域の面積がしきい値以上のグル
ープ同士で、認識信頼度が高いグループを採用する。ま
た、認識度ではなく、候補文字数の多いグループを採用
してもよい。

【０１６６】例えば、図１８の場合、この時点で、グル
ープ１，２が採用されていることになる。

【０１６７】そして、ステップＳ１９０６で、まだ採用
・不採用が決定されておらず、認識信頼度がしきい値以
上のグループを採用する。

【０１６８】以上のようにして、まず信頼性の高い文字
グループから採用し、次にそれらと領域の重なりが少な
い文字グループを順次採用して、文字候補を絞る。

【０１６９】ステップＳ１９０２で採用されたグループ
（例えば、グループ３，４，５）では、文字コードが全
て等しいが、それ以外のステップで採用されたグループ
（例えば、グループ１，２）では、候補文字の文字コー
ドは異なっている。

【０１７０】次に、グループ内で文字コードを決定す
る。

【０１７１】なお、１種類の文字コードのみを持つグル
ープは、以下の文字コード決定手順は省いて構わない。

【０１７２】まず、ステップＳ１９０７において、グル
ープ内で最も認識信頼度の高い文字を探す。認識信頼度
の最高値を取る文字候補が１種類だけなら、その文字コ
ードを採用する（ステップＳ１９０８）。

【０１７３】そうでない場合は、ステップＳ１９０９に
おいて、文字画素抽出の信頼性評価値Ｅ１，Ｅ２の線形
和を求め、その値が最も高い文字を選択する。例えば、
評価値Ｅ１，Ｅ２の重みをそれぞれｔ１，ｔ２として、
Ｅ＝ｔ１・Ｅ１＋ｔ２・Ｅ２という評価値を求める（重
みｔ１，ｔ２は、自由に設定できる）。この評価値の最
高値を取る文字候補が１種類だけなら、その文字コード
を採用する（ステップＳ１９１０）。そうでない場合
は、候補文字数が多い文字のコードを採用する（ステッ
プＳ１９１１）。なお、評価値と同一文字コードの候補
文字数を全体的に考量して選択するようにしてもよい
（例えば、最高の評価値を持つ文字コードが、同一文字
コードの候補文字数についは少なく、一方、評価値が僅
差で２番目である文字コードが、同一文字コードの候補
文字数が多い場合に、後者の文字コードを採用する、な
ど）。また、ステップＳ１９０８からＳ１９１０を省略
し、同じ文字コードの候補文字数に基づく多数決処理だ
けにしてもよい。

【０１７４】なお、テロップの外接矩形１６０２やテロ
ップの認識結果の信頼度１６０３を求めるためのもとと
なるデータとして、選択された文字の文字情報（１６１
２）を用いる構成を採用する場合には、当該グループに
おいて選択した文字コードを与えた文字候補についての
文字情報を用いればよい。また、当該グループにおいて
選択した文字コードを与える文字候補のうち認識信頼度
の最高値を取るものが複数ある場合には、予め定めてお
いた基準に従って（例えば、ランダムに、あるいはより
先行するフレームから得られた文字列候補から優先し
て）、文字情報を用いるべき１つの文字候補を選択すれ
ばよい。

【０１７５】なお、前述したように、ただ１つの候補に
絞るのではなく、図１８に示すように、１つ１つの文字
に対して複数の候補が得られている場合、全ての候補を
その認識信頼度とともに保存しておいてもよい。このよ
うにすれば、例えば、後で、文字列検索を行う際に、全
ての候補文字の組み合わせを求め、求められた組み合わ
せ文字列に対して検索を行うことにより、１文字の認識
誤りによって生じる検索漏れを回避できる可能性があ
る。

【０１７６】本実施形態によれば、同一のテロップに対
して存在する複数の認識結果から高精度に認識できた文
字を選択し、その文字から文字列を構成してテロップ情
報として出力することが可能となる。したがって、高精
度なテロップ認識を行うことができる。また、文字列の
認識信頼度を表す数値も同時に得ることが可能となる。
さらに、ユーザに提示するためのテロップを選択する枠
組みを提供することが可能となる。

【０１７７】さて、これまでは、テロップ情報を作成す
る側について説明してきたが、以下では、このようなテ
ロップ情報データを利用する側について説明する。

【０１７８】テロップ情報の実際の用途としては、例え
ば、映像内容（映像コンテンツ全体についての内容の場
合と、シーンごと、チャプターごと、曲ごと、話題ご
と、あるいは１０分ごと、などの所定の部分単位につい
ての内容の場合とがある）を、それを伝える文字情報と
して表示することが挙げられる。文字情報が付記される
ことは、映像のおおまかな内容を把握したいユーザにと
って有益な情報となり得る。その際、対象とする映像に
ついて、得られたテロップ情報が多い場合には、全てを
表示するのは効率的ではないため、映像内容の見出しと
なる（１または複数の）文字情報を選択するのが望まし
い。

【０１７９】そこで、映像中に含まれるテロップの時間
的場所的な存在箇所に関する情報および該テロップを構
成する文字列に関する情報を含むテロップ情報の中か
ら、ユーザがその映像内容を把握するための文字情報を
選択して表示するテロップ情報表示システムの実施形態
について説明する。なお、ここでは、テロップ情報は、
これまで説明したような方法等によって映像をもとに作
成されたものであってもよいし、人が手入力したもので
あってもよい。

【０１８０】図２１に、本実施形態に係るテロップ情報
表示システムの構成例を示す。図２１に示されるよう
に、本テロップ情報表示システムは、テロップ選択条件
入力部２１０１、テロップ検索部２１０２、検索結果表
示部２１０３を備えている。なお、本テロップ情報表示
システムは、コンピュータでソフトウェアを実行する形
によっても実現可能である。

【０１８１】テロップ選択条件入力部２１０１は、ユー
ザがマウス等のポインティングデバイスもしくはキーボ
ードなどを用いて、テロップ情報を選択するための条件
を入力する（ユーザからの入力を受け付ける）ためのも
のである。もちろん、テロップ選択条件入力部２１０１
に、グラフィカル・ユーザ・インタフェース（ＧＵＩ）
を用いてもよい。

【０１８２】なお、選択条件の入力方法には、種々のバ
リエーションがある。例えば、検索の都度、選択条件を
入力する方法や、予め設定画面などで選択条件を設定し
ておく方法などがある。また、例えば、ユーザが所望の
選択条件を入力可能とする方法や、予め定められた複数
の選択条件のうちからユーザが所望のものを選択する方
法などが考えられる。また、選択条件として複数の項目
を指定可能とする場合に、複数の項目間の関係を論理積
または論理和として扱う方法や、複数の項目間の関係を
ユーザが任意に設定可能とする方法などが考えられる。
その他、条件検索に関する種々のバリエーションもここ
での検索に妥当する。

【０１８３】テロップ検索部２１０２は、入力された条
件に適合するテロップ情報を検索するためのものであ
る。テロップ検索部２１０２は、１つのテロップ情報の
みを検索結果とする構成と、複数のテロップ情報を検索
結果とし得る構成とがある。なお、検索方法にも同様に
種々のバリエーションがある。

【０１８４】検索結果表示部２１０３は、検索されたテ
ロップ情報を表示するためのものである。テロップ検索
部２１０２は複数のテロップ情報を検索結果とし得る構
成を採用する場合に、検索結果表示部２１０３は、初期
的に、複数のテロップ情報をすべて表示する方法と、複
数のテロップ情報の一部（１または複数）を表示する方
法とがある。なお、検索結果表示方法にも同様に種々の
バリエーションがある。

【０１８５】本テロップ情報表示システムの動作の概略
は、次のようになる。まず、テロップ選択条件入力部２
１０１において、所望の選択条件を入力する。例えば、
見出しとなり得るテロップは、文字サイズが大きい場合
が多い。また、番組によってそのようなテロップを表示
する画面内での場所が決まっていることが多い。そこ
で、見出しとなるテロップを検索するためには、例え
ば、文字のサイズ、表示位置などが、選択条件として使
用できる。次に、テロップ検索部２１０２において、入
力された選択条件に合致するテロップ情報を検索する。
例えば、文字サイズや表示位置が近いテロップを求め
る。最後に、検索結果表示部２１０３において、検索さ
れたテロップ情報をユーザに提示する。

【０１８６】以下では、選択条件の項目を１つとした場
合のいくつかの具体例を示す。

【０１８７】まず、選択条件を文字のサイズとする場合
の実施の形態について説明する。

【０１８８】文字サイズには、例えば、１２ポイント、
１４ポイントといったフォントサイズを用いることがで
きる。

【０１８９】図２２に、選択条件とされた文字サイズと
テロップ情報に含まれる文字サイズとを比較し、該当す
るテロップを検索するための手順の一例を示す。

【０１９０】まず、ステップＳ２２０１において、全て
のテロップ情報について調べたかどうかをチェックす
る。ステップＳ２２０２で、テロップ文字列領域の縦方
向の画素数と選択条件として入力された文字サイズとを
比較する。文字サイズの差（の絶対値）がしきい値より
小さい場合（ステップＳ２２０３）、ほぼ同じサイズの
文字であると判断し、ステップＳ２２０４において、そ
のテロップを表示用と判定する。

【０１９１】次に、選択条件を文字数とする場合の実施
の形態について説明する。

【０１９２】見出しとなり得るテロップは、キーとなる
単語を複数含むことが多く、ある一定以上の文字数を有
することが多い。そこで、選択条件として文字数を設定
し、しきい値以上の文字数を有するテロップを表示用と
して選択すると有効である。

【０１９３】図２３に、文字数を条件として表示用テロ
ップを選択するための手順の一例を示す。まず、ステッ
プＳ２３０１において、全てのテロップ情報について調
べたかどうかをチェックする。ステップＳ２２０２で、
テロップ文字数と選択条件とされた文字数とを比較す
る。文字数が等しい場合（ステップＳ２３０３）、ステ
ップＳ２３０４において、そのテロップを表示用と判定
する。なお、ステップＳ２３０３での条件を、テロップ
文字数と選択条件とされた文字数との差（の絶対値）が
しきい値より小さい場合としてもよい。

【０１９４】次に、選択条件をテロップの表示位置とす
る場合の実施の形態について説明する。

【０１９５】見出しとなり得るテロップは、画面におい
て一定の場所に表示されることが多い。そこで、選択条
件として表示位置（表示領域）を設定し、その領域とほ
ぼ同じ領域を示すテロップを表示用として選択するよう
にしてもよい。

【０１９６】図２４に、表示位置を条件として表示用テ
ロップを選択するための手順の一例を示す。まず、ステ
ップＳ２４０１において、全てのテロップ情報について
調べたかどうかをチェックする。ステップＳ２４０２
で、テロップ文字列表示領域と選択条件として入力され
た表示領域とを比較する。領域同士の重なりを求め、重
なり面積がしきい値以上であれば（ステップＳ２４０
３）、ステップＳ２４０４において、そのテロップを表
示用と判定する。

【０１９７】次に、選択条件を認識信頼度の高さとする
場合の実施の形態について説明する。

【０１９８】テロップ情報の各文字が認識信頼度を持つ
ものである場合、例えば当該テロップ情報の全ての文字
の認識信頼度の平均値をそのテロップの認識信頼度と
し、その値がしきい値以上のものを選択すれば、認識誤
りのない文字列が得られる可能性が高い。

【０１９９】図２５に、認識信頼度を選択条件として表
示用テロップを選択するための手順の一例を示す。ま
ず、ステップＳ２５０１において、全てのテロップ情報
について調べたかどうかをチェックする。ステップＳ２
５０２で、テロップ文字列の認識信頼度としきい値を比
較する。もし、認識信頼度がしきい値以上であれば（ス
テップＳ２５０３）、ステップＳ２５０４において、そ
のテロップを表示用と判定する。

【０２００】次に、テロップ情報に重要な単語が含まれ
ているかどうかを選択条件とする場合の実施の形態につ
いて説明する。

【０２０１】例えば、ニュース映像のテロップで、「×
×事件」や「○○株価指数」のように、記事内容を代表
するような単語が含まれているものがある。このような
単語を含むテロップを選び出して表示すると、ユーザが
興味のある記事を選択する際に有効な手がかりとなる。

【０２０２】なお、この場合には、図２６に示すよう
に、テロップ検索部２１０２が参照可能な、重要単語を
登録した重要単語データベース２１０４が存在するもの
とする。

【０２０３】図２７に、重要単語データベースを参照し
て、そのような単語を含んだテロップを表示用として選
択するための手順の一例を示す。まず、ステップＳ２７
０１において、全てのテロップ情報について調べたかど
うかをチェックする。ステップＳ２７０２で、重要単語
データベース２１０４を参照し、そのテロップに重要な
単語が登録されているかどうかをチェックする。このと
き、当該テロップ情報の文字の候補が複数存在する場合
には、それらの全ての組み合わせを調べて文字列を生成
し、重要単語データベースと比較してもよい。もし、重
要単語が含まれている場合（ステップＳ２７０３）、ス
テップＳ２７０４において、そのテロップを表示用と判
定する。

【０２０４】なお、重要単語データベースを例えばジャ
ンルごとに用意し、ユーザが参照すべきデータベースを
指定するようにしてもよい。あるいは、映像の属性情報
（例えば、題名、ジャンル）に基づいて自動的に参照す
べきデータベースを選択するようにしてもよい。

【０２０５】また、重要単語データベースを適当なタイ
ミングで更新するようにしてもよい。その際、インター
ネットあるいは無線網などのネットワークを介して所定
のサイトから更新すべき重要単語データベースのデータ
をダウンロードするようにしてもよい。

【０２０６】なお、以上の各選択方法において、表示用
と判定されたテロップ情報についてさらにシステム内で
定めた他の条件によって規定数（１または複数）内に収
まるように絞りをかけるようにしてもよい。また、以上
の各選択方法において、全てのテロップ情報について調
べる代わりに、表示用と判定されたテロップ情報の数が
規定数（１または複数）に達した場合には、処理をうち
切るようにしてもよい。あるいは、表示用と判定され且
つ上記の他の条件を満足するテロップ情報の数が規定数
（１または複数）に達した場合には、処理をうち切るよ
うにしてもよい。

【０２０７】以上、いくつかの選択方法の例を説明した
が、もちろん、これら以外にも様々な選択方法がある。
また、以上では、選択方法を個別に説明したが、もちろ
ん、複数の選択方法を任意に組み合わせて表示用のテロ
ップ情報の選択を行うことも可能である。例えば、「表
示画面の下方で文字サイズが大きいテロップ」などの選
択条件指定を行うことができる。

【０２０８】また、以上の処理は、映像の全体（または
映像のうち特定の範囲）について１回行う場合について
説明したものであるが、複数の映像コンテンツを対象と
して、処理を繰り返し行って、各映像コンテンツごとに
テロップ情報を検索することも可能である。この場合に
は、ユーザが、どの映像コンテンツを対象としてテロッ
プ情報を検索・表示するかを指定可能としてもよい。ま
た、映像の全体または映像のうち特定の範囲について、
所定の部分単位ごとに処理を繰り返し行うことも可能で
ある。この場合には、ユーザが、どのような部分単位ご
とにテロップ情報を検索・表示するかを指定可能として
もよい。

【０２０９】次に、対象映像がニュース映像である場合
に、ニュースキャスターが登場するシーンを検出し、そ
のシーン内において表示されたテロップを選択する場合
の実施の形態について説明する。

【０２１０】ニュースキャスターがニュース記事を読み
上げるシーンでは、その記事内容を端的に表現するテロ
ップが表示されることが多い。

【０２１１】図２８に、ニュースキャスターが登場する
シーンを検出する手段を有するテロップ情報表示システ
ムの構成例を示す。この構成例は、図２１のテロップ情
報表示システムにおいて、テロップ選択条件入力部２１
０１の代わりに、ニュースキャスターシーン検出部２８
０１を備えたものである。

【０２１２】この構成例では、ニュースキャスターシー
ン検出部２８０１においてニュースキャスターシーンが
検出されると、テロップ検索部２１０２において、その
シーン中に表示されたテロップを探し、検索結果表示部
２１０３で表示する。

【０２１３】ニュースキャスターが登場するシーンを検
出する方法としては、「電子情報通信学会論文誌Ｖｏ
ｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．２４２１−２
４２７，１９９７」に開示された技術などを用いればよ
い（例えば、周期的に登場する同一または類似する一連
の画像パターン群を、１つのニュースキャスター・シー
ンとみなす）。また、手入力でキャスターシーンを指定
する方法もある。

【０２１４】図２９に、キャスターシーン中に含まれる
テロップを検索するための手順の一例を示す。まず、ス
テップＳ２９０１において、全てのテロップ情報につい
て調べたかどうかをチェックする。ステップＳ２９０２
で、キャスターシーンの存在時間とテロップ表示時間と
に重なりがあるかどうかを調べる。もし、キャスターシ
ーンの存在時間とテロップ表示時間とに重なりがある場
合（ステップＳ２９０３）、ステップＳ２９０４におい
て、そのテロップを表示用と判定する。

【０２１５】次に、対象映像がニュース映像である場合
に、ニュース記事ごとの映像区間を抽出し記事（映像区
間）ごとにテロップを分類表示する場合の実施の形態に
ついて説明する。

【０２１６】ユーザが興味のあるニュース記事だけを選
ぶ手助けとして、ニュース記事ごとの映像区間を抽出
し、それぞれの記事ごとにテロップ情報を分類表示する
と有効である。

【０２１７】図３０に、ニュース記事を抽出する手段を
有するテロップ情報表示システムの構成例を示す。この
構成例は、図２１のテロップ情報表示システムにおい
て、テロップ選択条件入力部２１０１の代わりに、ニュ
ース記事抽出部３００１を備えたものである。

【０２１８】この構成例では、ニュース記事抽出部３０
０１においてニュース記事が抽出されると、テロップ検
索部２１０２において、それぞれの記事ごとに含まれる
テロップを検索し、検索結果表示部２１０４で表示す
る。

【０２１９】ニュース記事の抽出には、「電子情報通信
学会論文誌Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．９，ｐ
ｐ．２４２１−２４２７，１９９７」に開示された技術
などを用いればよい（例えば、周期的に登場する同一ま
たは類似する一連の画像パターン群を、１つのニュース
記事とみなす）。なお、手入力で記事を切り分ける方法
もある。

【０２２０】図３１に、各記事ごとにテロップを分類す
るための手順の一例を示す。まず、ステップＳ３１０１
において、全てのテロップ情報について調べたかどうか
をチェックする。ステップＳ３１０２で、それぞれのニ
ュース記事の映像時間とテロップ表示時間を調べ、その
テロップがどの記事中で表示されたかを調べる。ステッ
プＳ３１０４において、例えば記事に割り振られた通し
番号を出力し、分類を行う。そして、分類したニュース
記事ごとに、例えば図２９と同じ方法で、テロップ情報
の検索を行う。

【０２２１】なお、図２８／図２９や図３０／図３１に
おいて、前述のように、表示用と判定されたテロップ情
報についてさらにシステム内で定めた他の条件によって
規定数（１または複数）内に収まるように絞りをかける
ようにしてもよい。また、以上の各選択方法において、
全てのテロップ情報について調べる代わりに、表示用と
判定されたテロップ情報の数が規定数（１または複数）
に達した場合には、処理をうち切るようにしてもよい。
あるいは、表示用と判定され且つ上記の他の条件を満足
するテロップ情報の数が規定数（１または複数）に達し
た場合には、処理をうち切るようにしてもよい。

【０２２２】なお、図２１のテロップ情報表示システム
に、さらに、ニュースキャスターシーン検出部２８０１
およびまたはニュース記事抽出部３００１を備え、図２
８／図２９およびまたは図３０／図３１の方法と、例え
ば図２２〜図２７で説明したような１または複数の方法
とを組み合わせて検索可能とすることもできる。この場
合には、例えば、「ニュースキャスターシーンに表示さ
れる文字サイズが大きいテロップ」などの選択条件指定
を行うことができる。

【０２２３】なお、以上では、ユーザが選択条件を入力
する例について説明したが、システム側で、ユーザ属性
情報あるいはユーザが入力した他の情報などに基づい
て、自動的に選択条件を設定するようにしてもよい。

【０２２４】次に、選択されたテロップの表示方法につ
いて説明する。

【０２２５】選択されたテロップについては、例えば、
そのテロップの文字列と、そのテロップを選択するもと
となった映像に関する情報（例えば、映像コンテンツを
特定する情報、映像コンテンツの部分を示す情報など）
とを対応付けて、表示する。

【０２２６】なお、映像または映像中の特定フレームを
表示する機能を備える場合に、例えば、選択されたテロ
ップの文字列を表示する際に、そのテロップを選択する
もととなった映像における代表画面（静止画）を対応付
けて表示するようにしてもよい。また、ユーザがその代
表画面をマウスでクリックするなどの所定の操作をする
ことによって、対応する動画像を再生するようにしても
よい。また、代表画面を表示する代わりに、一定範囲の
動画像を繰り返し表示するようにしてもよい。もちろ
ん、音声を持つ映像を表示する際には、音声を併せて再
生するようにしてもよい。

【０２２７】なお、検索処理において複数のテロップが
選択された場合には、例えば、初期状態として、検索処
理において最初に得られた１個（または数個）、あるい
は検索処理において得られた全テロップのうち所定の評
価関数によって最も妥当であると判断された１個（また
は数個）を表示しておき、残りはユーザがスクロール等
の所定の操作をすることによって表示可能とするように
してもよい。あるいは、一度に表示可能な数を上限とし
て、検索処理においてテロップを得るようにし、テロッ
プを一括して表示するようにしてもよい。

【０２２８】図３２に、ニュース記事ごとにそれぞれの
代表画面と選択されたテロップ文字情報を表示した例を
示す。この例では、１つのテロップ情報を表示している
が、複数表示してもよい。

【０２２９】また、図３３に、保存されている番組（映
像）ごとにそれぞれの代表画面と文字情報を表示した例
を示す。

【０２３０】もちろん、その他にも、種々のバリエーシ
ョンが可能である。

【０２３１】なお、以上の各機能は、ソフトウェアとし
ても実現可能である。

【０２３２】また、本実施形態は、コンピュータに所定
の手段を実行させるための（あるいはコンピュータを所
定の手段として機能させるための、あるいはコンピュー
タに所定の機能を実現させるための）プログラムを記録
したコンピュータ読取り可能な記録媒体としても実施す
ることもできる。

【０２３３】なお、本実施形態で示した構成は一例であ
って、それ以外の構成を排除する趣旨のものではなく、
例示した構成の一部を他のもので置き換えたり、例示し
た構成の一部を省いたり、例示した構成に別の機能を付
加したり、それらを組み合わせたりすることなどによっ
て得られる別の構成も可能である。また、例示した構成
と論理的に等価な別の構成、例示した構成と論理的に等
価な部分を含む別の構成、例示した構成の要部と論理的
に等価な別の構成なども可能である。また、例示した構
成と同一もしくは類似の目的を達成する別の構成、例示
した構成と同一もしくは類似の効果を奏する別の構成な
ども可能である。また、各種構成部分についての各種バ
リエーションは、適宜組み合わせて実施することが可能
である。また、本実施形態は、システム（装置）として
の発明、システム（装置）内部の構成部分についての発
明、またはそれらに対応する方法の発明等、種々の観
点、段階、概念またはカテゴリに係る発明を包含・内在
するものである。従って、この発明の実施の形態に開示
した内容からは、例示した構成に限定されることなく発
明を抽出することができるものである。

【０２３４】本発明は、上述した実施の形態に限定され
るものではなく、その技術的範囲において種々変形して
実施することができる。

【０２３５】

【発明の効果】本発明によれば、映像中のテロップを背
景から高精度に切り出し認識を行うことができ、信頼性
の高いテロップ情報を得ることができる。また、本発明
によれば、より効果的にテロップ情報を提示することが
できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るテロップ情報処理シ
ステムの構成例を示す図

【図２】本発明のテロップ検出および認識方法の処理ス
テップを示すフローチャート

【図３】テロップの一例を示す図

【図４】テロップ候補画像を作成するための処理ステッ
プを示すフローチャート

【図５】輝度分散画像と不動エッジ画像とテロップ候補
画像との関係について説明するための図

【図６】文字列領域候補を抽出するための処理ステップ
を示すフローチャート

【図７】文字列領域候補について説明するための図

【図８】テロップ文字画素を抽出するための処理ステッ
プを示すフローチャート

【図９】文字切り出し手法について説明するための図

【図１０】テロップ文字を認識する処理を示すフローチ
ャート

【図１１】テロップ情報を作成する手順を示すフローチ
ャート

【図１２】テロップ矩形領域を用いて、テロップの出現
・継続・消滅を判定する手順を示すフローチャート

【図１３】テロップ情報の作成について説明するための
図

【図１４】テロップを用いて、テロップの出現・継続・
消滅を判定する手順を示すフローチャート

【図１５】テロップ矩形領域情報を選択する手順を示す
フローチャート

【図１６】テロップ文字コードを選択する手順を示すフ
ローチャート

【図１７】テロップ情報のデータ構造例を示す図

【図１８】文字単位での選択について説明するための図

【図１９】文字の選択と文字列の再構成の手順を示すフ
ローチャート

【図２０】文字の選択と文字列の再構成のより詳細な手
順を示すフローチャート

【図２１】本発明の実施の形態に係るテロップ情報表示
システムの構成例を示す図

【図２２】文字サイズによって選択する手順を示すフロ
ーチャート

【図２３】文字数によって選択する手順を示すフローチ
ャート

【図２４】表示位置によって選択する手順を示すフロー
チャート

【図２５】認識信頼度によって選択する手順を示すフロ
ーチャート

【図２６】テロップ情報表示システムの他の構成例を示
す図

【図２７】重要単語によって選択する手順を示すフロー
チャート

【図２８】テロップ情報表示システムのさらに他の構成
例を示す図

【図２９】ニュースキャスター登場シーンに基づいて選
択する手順を示すフローチャート

【図３０】テロップ情報表示システムのさらに他の構成
例を示す図

【図３１】ニュース記事ごとにテロップを分類表示する
ための手順を示すフローチャート

【図３２】表示形態の一例を示す図

【図３３】表示形態の一例を示す図

【符号の説明】

１…テロップ候補画像作成部２…テロップ文字列領域候補抽出部３…テロップ文字画素抽出部４…テロップ文字認識部５…テロップ情報作成部２１０１…テロップ選択条件入力部２１０２…テロップ検索部２１０３…検索結果表示部２１０４…重要単語データベース２８０１…ニュースキャスターシーン検出部３００１…ニュース記事抽出部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B029 CC21 CC28 CC29 DD08 EE08 EE11 EE13 EE17 5B064 AA10 AB02 CA08 CA09 DA03 EA21 EA29 5C023 AA06 AA18 BA02 CA02 CA05

Claims

【特許請求の範囲】

【請求項１】一連のフレームからなる映像データ中から
テロップを検出し、テロップの存在箇所に関する情報お
よび該テロップを構成する文字列に関する情報を含むテ
ロップ情報を作成するテロップ情報処理装置であって、前記映像データの処理対象のフレーム中からテロップで
あると判断される画素領域を求め、該画素領域に基づい
て文字認識処理を施すべき文字切り出し画像を作成する
とともに、該文字切り出し画像に対する信頼度評価値を
求める第１の処理手段と、この手段により求められた前記文字切り出し画像にＯＣ
Ｒ処理を施して、文字認識結果を求める第２の処理手段
と、前記第１及び第２の処理手段による一連の処理によって
同一テロップについて得られた複数の文字認識結果のう
ちから前記第１の処理手段により求められた前記信頼度
評価値に基づいて最も信頼性が高いと判断される文字認
識結果を選択し、選択した該文字認識結果に基づいて前
記テロップ情報を作成するテロップ情報作成手段とを備
えたことを特徴とするテロップ情報処理装置。
【請求項２】前記第２の処理手段により文字認識結果が
得られたテロップの当該フレームにおける存在箇所を示
すテロップ領域情報を求める第３の処理手段を更に備
え、前記テロップ情報作成手段は、前記第１、第２及び第３
の処理手段による一連の処理によって同一テロップにつ
いて得られた複数の文字認識結果及びテロップ領域情報
のうちから前記第１の処理手段により求められた前記信
頼度評価値に基づいて最も信頼性が高いと判断される文
字認識結果及びテロップ領域情報を選択し、選択した該
文字認識結果及び該テロップ領域情報に基づいて前記テ
ロップ情報を作成することを特徴とする請求項１に記載
のテロップ情報処理装置。
【請求項３】一連のフレームからなる映像データ中から
テロップを検出し、テロップの存在箇所に関する情報お
よび該テロップを構成する文字列に関する情報を含むテ
ロップ情報を作成するテロップ情報処理装置であって、前記映像データの処理対象のフレーム中からテロップで
あると判断される画素領域を求め、該画素領域に基づい
て文字認識処理を施すべき文字切り出し画像を作成する
とともに、該文字切り出し画像に対する信頼度評価値を
求める第１の処理手段と、この手段により求められた前記文字切り出し画像にＯＣ
Ｒ処理を施して、文字認識結果を求める第２の処理手段
と、この手段により文字認識結果が得られたテロップの当該
フレームにおける存在箇所を示すテロップ領域情報を求
める第３の処理手段と、前記第１、第２及び第３の処理手段による一連の処理に
よって同一テロップについて得られた複数の文字認識結
果又はテロップ領域情報の少なくとも一方から前記第１
の処理手段により求められた前記信頼度評価値に基づい
て最も信頼性が高いと判断されるものを選択し、これに
基づいてテロップ情報を作成する前記テロップ情報作成
手段とを備えたことを特徴とするテロップ情報処理装
置。
【請求項４】一連のフレームからなる映像データ中から
テロップを検出し、テロップの存在箇所に関する情報お
よび該テロップを構成する文字列に関する情報を含むテ
ロップ情報を作成するテロップ情報処理装置であって、前記映像データの処理対象のフレーム中からテロップで
あると判断される画素領域を求め、該画素領域に基づい
て文字認識処理を施すべき文字切り出し画像を作成する
第１の処理手段と、この手段により求められた前記文字切り出し画像にＯＣ
Ｒ処理を施して、文字認識結果を求めるとともに、該文
字認識結果に対する認識信頼度を求める第２の処理手段
と、前記第１及び第２の処理手段による一連の処理によって
同一テロップについて得られた複数の文字認識結果のう
ちから前記第２の処理手段により求められた前記認識信
頼度に基づいて最も信頼性が高いと判断される文字認識
結果を選択し、選択した該文字認識結果に基づいて前記
テロップ情報を作成するテロップ情報作成手段とを備え
たことを特徴とするテロップ情報処理装置。
【請求項５】前記第２の処理手段により文字認識結果が
得られたテロップの当該フレームにおける存在箇所を示
すテロップ領域情報を求める第３の処理手段を更に備
え、前記テロップ情報作成手段は、前記第１、第２及び第３
の処理手段による一連の処理によって同一テロップにつ
いて得られた複数の文字認識結果及びテロップ領域情報
のうちから前記第２の処理手段により求められた前記認
識信頼度に基づいて最も信頼性が高いと判断される文字
認識結果及びテロップ領域情報を選択し、選択した該文
字認識結果及び該テロップ領域情報に基づいて前記テロ
ップ情報を作成するテロップ情報作成手段とを備えたこ
とを特徴とする請求項４に記載のテロップ情報処理装
置。
【請求項６】一連のフレームからなる映像データ中から
テロップを検出し、テロップの存在箇所に関する情報お
よび該テロップを構成する文字列に関する情報を含むテ
ロップ情報を作成するテロップ情報処理装置であって、前記映像データの処理対象のフレーム中からテロップで
あると判断される画素領域を求め、該画素領域に基づい
て文字認識処理を施すべき文字切り出し画像を作成する
第１の処理手段と、この手段により求められた前記文字切り出し画像にＯＣ
Ｒ処理を施して、文字認識結果を求めるとともに、該文
字認識結果に対する認識信頼度を求める第２の処理手段
と、この手段により文字認識結果が得られたテロップの当該
フレームにおける存在箇所を示すテロップ領域情報を求
める第３の処理手段と、前記第１、第２及び第３の処理手段による一連の処理に
よって同一テロップについて得られた複数の文字認識結
果又はテロップ領域情報の少なくとも一方から前記第２
の処理手段により求められた前記認識信頼度に基づいて
最も信頼性が高いと判断されるものを選択し、これに基
づいてテロップ情報を作成する前記テロップ情報作成手
段とを備えたことを特徴とするテロップ情報処理装置。
【請求項７】前記テロップ情報作成手段は、前記第１、第２及び第３の処理手段による一連の処理に
よって得られた複数の文字認識結果及びテロップ領域情
報のうちから、相前後する処理対象フレームにおける文
字認識結果又はテロップ領域情報を順次比較していくこ
とによって、同一テロップに対するものを特定する第４
の処理手段と、前記同一テロップが最初に検出された処理対象フレーム
及び最後に検出された処理対象フレームを特定する情報
を作成して、前記テロップ情報に付加する第５の処理手
段とを含むことを特徴とする請求項１ないし６のいずれ
か１項に記載のテロップ情報処理装置。
【請求項８】前記テロップ情報作成手段は、前記第１及び第２及の処理手段による一連の処理によっ
て得られた複数の文字認識結果のうちから、相前後する
処理対象フレームにおける文字認識結果を順次比較して
いくことによって、同一のテロップに対するものを特定
する第４の処理手段と、前記第４の処理手段による処理によって同一のテロップ
に対するものと特定されまとめられた複数の文字認識結
果のうちから、相前後する処理対象フレームにおける文
字認識結果を順次比較していくことによって、同一の文
字に対するものをグループにする手段と、同一の文字に対するグループごとに、該グループに属す
る文字認識結果のうちから、少なくとも前記第１の処理
手段により求められた前記信頼度評価値又は前記第２の
処理手段により求められた前記認識信頼度に基づいて、
信頼性が高いと判断されるグループを採用し、信頼性が
低いと判断されるグループを不採用にすることを決定す
る手段と、各々の前記グループにおいて選択された前記文字認識結
果を前記文字領域情報に基づいて並び替えることによっ
て再構成したテロップ文字列の文字認識結果に基づいて
前記テロップ情報を作成する手段とを含むことを特徴と
する請求項１または４に記載のテロップ情報処理装置。
【請求項９】前記テロップ情報作成手段は、前記第１、第２及び第３の処理手段による一連の処理に
よって得られた複数の文字認識結果及びテロップ領域情
報のうちから、相前後する処理対象フレームにおける文
字認識結果及び文字領域情報を順次比較していくことに
よって、同一のテロップに対するものを特定する第４の
処理手段と、前記第４の処理手段による処理によって同一のテロップ
に対するものと特定されまとめられた複数の文字認識結
果及びテロップ領域情報のうちから、相前後する処理対
象フレームにおける文字認識結果及びテロップ領域情報
を順次比較していくことによって、同一の文字に対する
ものをグループにする手段と、同一の文字に対するグループごとに、該グループに属す
る文字認識結果及びテロップ領域情報のうちから、少な
くとも前記第１の処理手段により求められた前記信頼度
評価値又は前記第２の処理手段により求められた前記認
識信頼度に基づいて、信頼性が高いと判断されるグルー
プを採用し、信頼性が低いと判断されるグループを不採
用にすることを決定する手段と、各々の前記グループにおいて選択された前記文字認識結
果を前記文字領域情報に基づいて並び替えることによっ
て再構成したテロップ文字列の文字認識結果及びテロッ
プ領域情報に基づいて前記テロップ情報を作成する手段
とを含むことを特徴とする請求項２または５に記載のテ
ロップ情報処理装置。
【請求項１０】前記テロップ情報作成手段は、前記第１、第２及び第３の処理手段による一連の処理に
よって得られた複数の文字認識結果及びテロップ領域情
報のうちから、相前後する処理対象フレームにおける文
字認識結果及び文字領域情報を順次比較していくことに
よって、同一のテロップに対するものを特定する第４の
処理手段と、前記第４の処理手段による処理によって同一のテロップ
に対するものと特定されまとめられた複数の文字認識結
果及びテロップ領域情報のうちから、相前後する処理対
象フレームにおける文字認識結果及びテロップ領域情報
を順次比較していくことによって、同一の文字に対する
ものをグループにする手段と、同一の文字に対するグループごとに、該グループに属す
る文字認識結果及びテロップ領域情報のうちから、少な
くとも前記第１の処理手段により求められた前記信頼度
評価値又は前記第２の処理手段により求められた前記認
識信頼度に基づいて、信頼性が高いと判断されるグルー
プを採用し、信頼性が低いと判断されるグループを不採
用にすることを決定する手段と、各々の前記グループにおいて選択された前記文字認識結
果を前記文字領域情報に基づいて並び替えることによっ
て再構成したテロップ文字列の文字認識結果とテロップ
領域情報の少なくとも一方に基づいて前記テロップ情報
を作成する手段とを含むことを特徴とする請求項３また
は６に記載のテロップ情報処理装置。
【請求項１１】前記第１の処理手段は、前記映像データの処理対象のフレーム中からテロップで
あると判断される画素を求め、テロップであると判断さ
れるか否かで画素を２値化した画像を作成する第１の画
像作成手段と、この手段で求められた前記画像における孤立画素を連結
して、文字列の候補となる領域を抽出する領域抽出手段
と、この手段で抽出された前記文字列の候補となる領域に基
づいて、前記ＯＣＲ処理を施すべき前記文字切り出し画
像を作成する第２の画像作成手段とを含むことを特徴と
する請求項１ないし１０のいずれか１項に記載のテロッ
プ情報処理装置。
【請求項１２】前記第１の画像作成手段は、前記処理対象のフレームから予め定められた数だけ過去
に遡ったフレームまでの間のすべてのフレームの画像に
わたる各画素の輝度分散を求め、予め定められた閾値よ
り低い輝度分散値を持つ画素を求める手段と、前記処理対象のフレームから予め定められた数だけ過去
に遡ったフレームまでの間のすべてのフレームの画像に
わたって位置が変化しないエッジ画素を求める手段と、前記予め定められた閾値より低い輝度分散値を持つ画素
であって、かつ、前記位置が変化しないエッジ画素であ
るものか否かで画素を２値化した画像を作成する手段と
を含むことを特徴とする請求項１１に記載のテロップ情
報処理装置。
【請求項１３】前記第１の画像作成手段は、予め定めら
れた規則にしたがって元の映像データから処理対象とな
るフレーム画像をサンプリングする手段を更に含むこと
を特徴とする請求項１２に記載のテロップ情報処理装
置。
【請求項１４】前記第２の画像作成手段は、前記処理対象のフレームから予め定められた数だけ過去
に遡ったフレームまでの間のすべてのフレームの画像に
わたる各画素の輝度平均を示す輝度平均画像から、前記
文字列の候補となる領域に対応する部分を処理対象範囲
として取り出す手段と、前記輝度平均画像の処理対象範囲からエッジを検出し、
検出されたエッジのうちで予め定められた閾値より高い
強度を持つものを抽出してエッジ画素を２値化し、２値
化したエッジ画素を膨張する手段と、このエッジ画素を膨張した膨張領域から輝度分布を推定
し、輝度分布の平均と分散を求める手段と、前記輝度平均画像の処理対象範囲の画素のうち、前記平
均及び前記分散から決定される第１の閾値よりも高い輝
度値を有する画素を文字画素として検出する手段と、前記輝度平均画像の処理対象範囲において、既に検出さ
れた検出画素の近傍の画素のうち、前記第１の閾値より
も小さな値に設定された第２の閾値より高い輝度値を有
する画素を検出して、該検出画素に追加することを、新
しく検出される画素がなくなるまで繰り返し行う手段
と、この手段により得られた検出画素について彩度分布を推
定する手段と、この手段により推定された彩度分布により外乱として検
出された画素をノイズとして前記検出画素から除去し
て、これを前記文字切り出し画像とする手段と、前記文字切り出し画像に対する信頼性を評価する手段と
を含むことを特徴とする請求項１１に記載のテロップ情
報処理装置。
【請求項１５】前記信頼性評価値として、前記文字画素
と判断された画素の近傍にあって文字画素と判断されな
かった背景画素における、前記閾値より高い輝度分散値
を持つ画素の割合を用いることを特徴とする請求項１４
に記載のテロップ情報処理装置。
【請求項１６】前記信頼性評価値として、前記文字画素
と判断された画素の近傍にあって文字画素と判断されな
かった背景画素における、前記第２の閾値より低い輝度
値を持つ画素の割合を用いることを特徴とする請求項１
４に記載のテロップ情報処理装置。
【請求項１７】前記信頼性評価値として、前記文字画素
と判断された画素の近傍にあって文字画素と判断されな
かった背景画素における、前記閾値より高い輝度分散値
を持ち且つ前記第２の閾値より低い輝度値を持つ画素の
割合を用いることを特徴とする請求項１４に記載のテロ
ップ情報処理装置。
【請求項１８】映像中に含まれるテロップの存在箇所に
関する情報および該テロップを構成する文字列に関する
情報を含むテロップ情報の中から、ユーザの所望するテ
ロップ情報を検索するための選択条件に基づいてテロッ
プ情報を検索して表示するテロップ情報表示装置であっ
て、テロップの存在箇所に関する条件、テロップを構成する
文字列に関係する条件、またはテロップの背景に関係す
る条件のうちの少なくとも一つを含む選択条件を入力す
るための入力手段と、前記入力手段によって入力された前記条件に基づいてテ
ロップ情報を検索する検索手段と、前記検索手段によって検索されたテロップ情報を所定の
形態で表示する表示手段とを備えたことを特徴とするテ
ロップ情報表示装置。
【請求項１９】重要単語が登録されたデータベースを更
に備え、前記検索手段は、前記データベースに登録されている単
語を含むテロップ情報を検索することを特徴とする請求
項１８に記載のテロップ情報表示装置。
【請求項２０】ニュース映像からニュースキャスターが
登場するニュースキャスター・シーンを検出するニュー
スキャスター・シーン検出手段を更に備え、前記検索手段は、対象となる映像がニュース映像である
場合に、前記ニュースキャスター・シーン検出手段によ
り検出されたニュースキャスター・シーンの存在箇所に
基づいてテロップ情報を検索することを特徴とする請求
項１８に記載のテロップ情報表示装置。
【請求項２１】ニュース映像からニュース記事を抽出す
るニュース記事抽出手段を更に備え、前記検索手段は、対象となる映像がニュース映像である
場合に、前記ニュース記事抽出手段により抽出されたニ
ュース記事ごとにテロップ情報の検索を行うことを特徴
とする請求項１８に記載のテロップ情報表示装置。
【請求項２２】前記表示手段は、前記検索手段によって
検索された前記テロップ情報を表示する際に、併せて前
記映像のうち該テロップ情報に関係する部分を静止画と
してまたは動画として表示することを特徴とする請求項
１８に記載のテロップ情報表示装置。