JP2012003480A - テロップ文字領域検出装置、及びプログラム - Google Patents

Abstract

【課題】カラー画像からテロップ文字領域を迅速且つ高精度に検出すること。
【解決手段】隣接画素との輝度勾配又は色彩勾配が大きい画素であるエッジ点を連ねたエッジ線に直交する直線上に存在する、複数の画素が有する色成分を抽出する色成分抽出手段と、色成分抽出手段により抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出するテロップ文字色成分候補抽出手段と、を備え、テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補を用いてテロップ文字領域を検出することを特徴とするテロップ文字領域検出装置。
【選択図】図１

Description

本発明は、撮像画像等に重畳したテロップ文字の占める領域を検出するテロップ文字領域検出装置、及びコンピュータを当該テロップ文字領域検出装置として機能させるためのコンピュータ読み取り可能なプログラムに関し、特に、カラー画像からテロップ文字の占める領域を検出するためのテロップ文字領域検出装置、及びプログラムに関する。

従来、テレビジョン放送に係る画像等において、放送プログラムの場面を説明するためのテロップ文字を、撮影画像等に重畳させて提供することが行われている。このような文字表示は、スーパーインポーズ、スーパー等とも称される。

テロップ文字は放送プログラムの場面（シーン）を端的に表現したものであることが多く、画像を解析してテロップ文字を認識し、テキストデータとして扱うことができれば、放送プログラムを編集・記憶する際の見出しとして用いる等、種々の用途に供することができる。

以下、このようなテロップ文字の認識について記載した特許文献について説明する。

特許文献１に記載のテロップ情報処理装置では、過去の連続する数フレーム分の画像について、同一の位置にある画素の輝度平均を求め、静止画像として表現されるテロップ文字を検出し易くしている。この装置では、同一の位置にある画素の輝度分散値により輝度分散画像を、隣接画素との輝度勾配を導出する微分オペレータ等により不動エッジ画像を、それぞれ求め、これらの画像の画素毎の論理積を求めることによりテロップ文字の輪郭を認識している。

また、特許文献２に記載のテロップ検出装置では、静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたときに、静止エッジ画像データが示すエッジの密集度に応じてテロップ文字の占める領域を判定している。

また、特許文献３に記載のテロップ文字抽出装置では、エッジ領域画像をマスク画像としてグレースケール画像のマスク画像に属する画素の輝度ヒストグラムを生成し、輝度クラス毎に分類して、面積が最大となる輝度クラスの２値画像をテロップ文字候補画像として選択している。そして、テロップ文字候補画像における最大頻度色に対応する文字画素を抽出してノイズ画素を除去することにより、テロップ文字画像を生成している。

特開２００１−２８５７１６号公報 特開２００７−７４０９１号公報 特開２００８−１９１９０６号公報

しかしながら、上記特許文献１、２に記載の装置では、カラー画像からテロップ文字を正確に認識できない場合が生じる。カラー画像におけるテロップ文字は、必ずしも白色等の一定の色であるとは限らず、テロップ文字が占める領域の輝度がどの程度であるか、予め判明していないからである。

この点、特許文献３に記載の装置では、テロップ文字の占める領域の輝度が変動値であることを考慮しているが、テロップ文字を除いた背景の輝度がほぼ一定であるような場合、テロップ文字が最大面積となる輝度クラスとして出現するとは限らないため、認識精度が低下する場合がある。

本発明はこのような課題を解決するためのものであり、カラー画像からテロップ文字の占める領域を迅速且つ高精度に検出することが可能なテロップ文字領域検出装置、及び当該装置に係るプログラムを提供することを、主たる目的とする。

上記目的を達成するための本発明の第１の態様は、
輝度成分及び色成分を有する画素が集合して形成された画像におけるテロップ文字の占めるテロップ文字領域を検出するテロップ文字領域検出装置であって、
隣接画素との輝度勾配又は色彩勾配が大きい画素であるエッジ点を連ねたエッジ線に直交する直線上に存在する、複数の画素が有する色成分を抽出する色成分抽出手段と、
前記色成分抽出手段により抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出するテロップ文字色成分候補抽出手段と、を備え、
前記テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補を用いて前記テロップ文字が占めるテロップ文字領域を検出することを特徴とする、
テロップ文字領域検出装置である。

この本発明の第１の態様によれば、エッジ線に直交する直線上に存在する複数の画素が有する色成分を抽出し、抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出し、抽出されたテロップ文字の色成分候補を用いてテロップ文字領域を検出するため、カラー画像からテロップ文字の占める領域を迅速且つ高精度に検出することができる。

本発明の第１の態様において、
前記テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補に該当する画素が形成する領域について文字認識処理を行い、該文字認識処理において最も信頼性が高いと判定された領域をテロップ文字領域として検出するものとしてもよい。

また、本発明の第１の態様において、
前記エッジ点を抽出すると共に、エッジ点について隣接画素との輝度勾配又は色彩勾配の大きさが最も大きい方向であるエッジ方向を算出するエッジ点抽出手段を備え、
前記色成分抽出手段は、前記算出されたエッジ方向を、前記エッジ線に直交する直線の方向として処理を行うことを特徴とするものとしてもよい。

こうすれば、迅速且つ高精度に処理を行うことができる。

また、本発明の第１の態様において、
前記テロップ文字色成分候補抽出手段は、例えば、前記色成分抽出手段により抽出された複数の画素が有する色成分に関するヒストグラムを生成し、該ヒストグラムにおける度数が閾値以上の色成分を、前記テロップ文字領域の色成分候補として抽出する手段である。

また、動画像を処理対象とする本発明の第１の態様において、
対象画像と、該対象画像から前後に一定時間ずつ離れた画像との間に集合演算処理を行う時間的フィルタ手段を備え、
前記色成分抽出手段は、前記時間的フィルタ手段が行った処理後の画像に対して、前記色成分の抽出処理を行うことを特徴とするものとしてもよい。

こうすれば、エッジ画像に含まれるノイズを効率的に除去することができる。

また、本発明の第１の態様において、
対象画像について、領域広げ処理及び孤立点除去処理を行う形状フィルタ手段を備え、
前記色成分抽出手段は、前記形状フィルタ手段が行った処理後の画像に対して、前記色成分の抽出処理を行うことを特徴とするものとしてもよい。

こうすれば、エッジ画像に含まれるノイズを効率的に除去することができる。

本発明の第２の態様は、
コンピュータを、輝度成分及び色成分を有する画素が集合して形成された画像においてテロップ文字の占めるテロップ文字領域を検出するテロップ文字領域検出装置として機能させるためのコンピュータ読み取り可能なプログラムであって、
該テロップ文字領域検出装置を、
隣接画素との輝度勾配又は色彩勾配が大きい画素であるエッジ点を連ねたエッジ線に直交する直線上に存在する、複数の画素が有する色成分を抽出する色成分抽出手段と、
前記色成分抽出手段により抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出するテロップ文字色成分候補抽出手段と、
前記テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補を用いて前記テロップ文字が占めるテロップ文字領域を検出する検出手段と、
を備える装置として機能させるためのプログラムである。

この本発明の第２の態様によれば、エッジ線に直交する直線上に存在する複数の画素が有する色成分を抽出し、抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出し、抽出されたテロップ文字の色成分候補を用いてテロップ文字領域を検出するため、カラー画像からテロップ文字の占める領域を迅速且つ高精度に検出可能な装置として、テロップ文字領域検出装置を機能させることができる。

本発明によれば、カラー画像からテロップ文字領域を迅速且つ高精度に検出することが可能なテロップ文字領域検出装置、及び当該装置に係るプログラムを提供することができる。

本発明の一実施例に係るテロップ文字領域検出装置１の機能構成例である。 時間方向フィルタ処理部２２の処理によってテロップ文字によるエッジ点が抽出される様子を示す図である。 直交直線上色成分抽出部２６により色成分が抽出される様子を示す図である。 テロップ文字色成分候補抽出部２８が生成するヒストグラムと、抽出された色成分候補Ａ１、Ａ２、Ａ３を示す図である。 領域成長処理を概念的に示す図である。 赤色のテロップが黄色と灰色の背景に重畳された元画像から、黄色、赤色、灰色の三色が色成分候補として抽出され、次いでそれぞれの色成分候補に属する部分がテロップ文字領域候補として抽出され、最後に文字認識処理によって赤色の部分がテロップ文字領域として検出される流れを模式的に示す図である。

以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、図面を参照し、本発明の一実施例に係るテロップ文字領域検出装置、及びコンピュータを当該装置として機能させるためのプログラムについて説明する。本発明のテロップ文字領域検出装置は、撮像画像等に重畳したテロップ文字の占めるテロップ文字領域を検出するためのものであり、特に、カラー動画像からテロップ文字領域を迅速且つ高精度に検出可能なものである。

ここで、テロップ文字とは、撮像されたビデオ画像等に重畳表示される静止文字をいい、スーパーインポーズ、スーパー等とも称される。本発明が認識対象とするテロップ文字は、狭義の「文字」の他、「○」、「×」、「△」等の図形、ロゴマーク等を含んでもよい。

図１は、本発明の一実施例に係るテロップ文字領域検出装置１の機能構成例である。テロップ文字領域検出装置１は、例えばＣＰＵ（Central Processing Unit）１０、プログラムメモリ１２、ワーキングメモリ１４、その他通信ポート等を備えるマイクロコンピュータである。

プログラムメモリ１２は、例えばＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）であり、ワーキングメモリ１４は、例えばＲＡＭ（Random Access Memory）である。テロップ文字領域検出装置１は、ワーキングメモリ１４として用途に応じた複数のメモリを備えてもよい。例えば、入力された動画データを格納するためにだけ用いられるフレームメモリと、他の用途に用いられるメモリが別体として存在してもよい。

テロップ文字領域検出装置１には、例えば通信ポートを介して動画データが入力される。動画データの形式に特段の制限はなく、如何なるものであってもよいが、例えば１秒間に６０枚のフレーム画像データから構成されるものであってよい。動画データは、時系列のフレーム画像データとしてワーキングメモリ１４に格納される。各フレーム画像データは、一画面分の静止画像データであり、輝度成分と色成分（Ｒ、Ｇ、Ｂ）を有する複数の画素からなるデジタルデータである。

また、テロップ文字領域検出装置１は、プログラムメモリ１２に記憶されたプログラムをＣＰＵ１０が実行することにより機能する機能ブロックとして、エッジ領域抽出部２０と、時間方向フィルタ処理部２２と、形状フィルタ処理部２４と、直交直線上色成分抽出部２６と、テロップ文字色成分候補抽出部２８と、領域成長処理部３０と、最適領域選択処理部３２と、を備える。

エッジ領域抽出部２０は、ワーキングメモリ１４に格納されたある時刻ｔのフレーム画像データＪ（ｔ）から隣接画素との輝度勾配が大きいエッジ点を抽出し、これを連ねたエッジ領域を抽出する。エッジ点の抽出手法には種々の手法が存在するが、本発明の適用上特段の制約はなく、如何なる手法を用いてもよい。

例えば、エッジ領域抽出部２０は、以下のようなＳＯＢＥＬフィルタを用いた手法によりエッジ点を抽出する。まず、水平方向と垂直方向の輝度勾配Ｉｘ（ｘ，ｙ）、Ｉｙ（ｘ，ｙ）を、次式（１）、（２）により求める。式中、Ｌは、画素（ｘ，ｙ）、及び当該画素（ｘ，ｙ）の上下左右斜めに位置する八個の画素を含めた九個の画素を意味する。

そして、次式（３）により画素（ｘ，ｙ）における輝度勾配｜▽Ｌ｜を算出し、輝度勾配｜▽Ｌ｜が所定値以上であれば画素（ｘ，ｙ）をエッジ点とする。

また、エッジ領域抽出部２０は、後述する「エッジ線に直交する直線」の方向として用いるため、各エッジ点について、エッジ方向を算出しておく。エッジ方向とは、エッジ点において輝度勾配の大きさが最も大きい方向を意味する。エッジ点（ｘ，ｙ）におけるエッジ方向θ（ｘ，ｙ）は、次式（４）により求められる。

θ（ｘ，ｙ）＝ａｔａｎ｛Ｉｙ（ｘ，ｙ）／Ｉｘ（ｘ，ｙ）｝ …（４）。

エッジ領域抽出部２０により抽出されたエッジ点、及び各エッジ点におけるエッジ方向は、ワーキングメモリ１４に格納される。以下、エッジ点が形成する画像データをエッジ画像データＩ（ｔ）と称する。

時間方向フィルタ処理部２２は、エッジ画像データＩ（ｔ）について、時間方向に一定間隔Ｔ（例えば１５フレーム分）離れた前後の画像データを選択し、前後いずれかのエッジ画像データと共通するエッジ点以外を除去する処理を行う。テロップ文字は、通常、静止画像として表示されるため、係る処理によって、テロップ文字以外によって生じたエッジ点を除去することができる。なお、１５フレームという数値は、ほとんどのテロップ文字が０．５［sec］以上表示されているため、これに適合させた数値である。

ここで、時間方向フィルタ処理部２２が１５フレームずつ離れたエッジ画像データに対して処理を行うことに鑑み、エッジ領域抽出部２０によるエッジ画像データの生成も、１５フレームずつ離れたフレーム画像データに対して行うものとしてよい。こうすれば、処理時間の短縮を図ることができる。

図２は、時間方向フィルタ処理部２２の処理によってテロップ文字によるエッジ点が抽出される様子を示す図である。時間方向フィルタ処理部２２の処理は、次式（５）の集合演算によって表現される。式中、ＦＩ（ｔ）は、時間方向フィルタ処理後のエッジ画像データを示している。

形状フィルタ処理部２４は、時間方向フィルタ処理後のエッジ画像データＦＩ（ｔ）に対して、領域広げ処理やサイズの小さい孤立点除去処理を行って、エッジ画像データＦＩ（ｔ）からノイズを除去する。

領域広げ処理は、例えばモルフォロジー演算におけるDilate処理やClose処理を用いて行うことができる。そして、孤立点除去処理では、領域広げ処理で加工されたエッジ領域について、複数の連結した領域を求め、連結領域の面積が所定値以下であれば孤立点と見なして除去する。これによって。テロップ文字以外のノイズによって生じたエッジ領域を除去することができる。以下、形状フィルタ処理後のエッジ画像データを、Ｆ²Ｉ（ｔ）と称する。

なお、便宜上、エッジ画像データＩ（ｔ）はフレーム画像データＪ（ｔ）とは別のデータであるものとして説明したが、フレーム画像データＪ（ｔ）の各画素に付加された、エッジ点であるか否かの識別情報を指すものであってよい。この場合、エッジ画像データＩ（ｔ）は、フレーム画像データＪ（ｔ）に付随した、エッジ点に関する識別情報という意味合いとなる。フィルタ処理後のエッジ画像データであるＦＩ（ｔ）、Ｆ²Ｉ（ｔ）についても同様であり、この場合、フレーム画像データＪ（ｔ）の各画素に付随したエッジ点であるか否かの識別情報が、フィルタ処理を経る度に絞り込まれることになる。

直交直線上色成分抽出部２６は、フレーム画像データＪ（ｔ）とエッジ画像データＦ²Ｉ（ｔ）を重ね合わせ（上記のようにエッジ画像データＦ²Ｉ（ｔ）がフレーム画像データＪ（ｔ）に含まれる場合は不要である）、エッジ点を連ねたエッジ線について、このエッジ線に直交する直線上に存在する複数の画素が有する色成分（Ｒ、Ｇ、Ｂ）を抽出する処理を行う。ここで、エッジ線の性質上、エッジ線に直交する直線の方向は、エッジ線を形成する各エッジ点のエッジ方向θ（ｘ，ｙ）に等しくなるため、前述のようにエッジ領域抽出部２０により算出されたエッジ方向θ（ｘ，ｙ）を、エッジ線に直交する直線の方向として扱う。

図３は、直交直線上色成分抽出部２６により色成分が抽出される様子を示す図である。直交直線上色成分抽出部２６は、各エッジ点について、当該エッジ点を通りエッジ方向θ（ｘ，ｙ）を方向とする直線を生成し、当該直線上でエッジ点から例えば距離Ｌ、２Ｌずつ両方向に離れた画素の色成分（Ｒ、Ｇ、Ｂ）を抽出し、抽出した全ての色成分（Ｒ、Ｇ、Ｂ）をワーキングメモリ１４に格納する。なお、当該位置に画素が存在しない場合は、エッジ点の周囲の所望の画素で代用してよい。

テロップ文字色成分候補抽出部２８は、ワーキングメモリ１４に格納された複数の色成分（Ｒ，Ｇ，Ｂ）に基づいて、Ｒ，Ｇ，Ｂを三軸とする三次元色成分ヒストグラムを生成する。そして、ヒストグラムにおける度数が閾値以上の色成分を、テロップ文字領域の色成分候補として抽出する。

図４は、テロップ文字色成分候補抽出部２８が生成するヒストグラムと、抽出された色成分候補Ａ１、Ａ２、Ａ３を示す図である。各色成分候補は、単一のデータとして抽出されてもよいが、連続するひとかたまりの領域として抽出されてもよい。例えば、色成分候補Ａ１＝｛（２２，３０，２５）又は（２３，３０，２５）又は（２２，３１，２５）｝のように定義することができる。この場合、領域内の度数の総和が所定値未満の色成分候補については、孤立要素であるとみなして除去してもよい。

テロップ文字色成分候補抽出部２８による処理は、換言すると、単一の色成分、又はひとかたまりの領域を形成する色成分に対して、色成分候補としての番号を付与する処理（ラベリング処理）である。

係る処理によって、例えば、テロップ文字が赤色で、背景が黄色と灰色を多く含む場合、ヒストグラムにおいて赤色、黄色、灰色の頻度分布が局在化し、色成分候補として赤色、黄色、灰色が抽出されることになる。

従って、テロップ文字の色成分である可能性が高い色成分に絞り込むことができる。また、色成分の抽出は、エッジ線に直交する直線上におけるエッジ点近傍の画素、すなわちテロップ文字が占める領域内である可能性が高い画素について行われるため、より高精度に色成分を絞り込むことができる。この結果、テロップ文字が占める領域内である可能性が高い画素に限定して色成分を抽出するため、処理データ数が削減され、画像データ全体について色成分を抽出するようなものに比して、迅速且つ高精度に処理が行われることになる。

領域成長処理部３０は、テロップ文字色成分候補抽出部２８によって抽出された各色成分候補について、エッジ線まで領域を成長させる処理を行う。図５は、領域成長処理を概念的に示す図である。図示するように、色成分候補に該当する画素が必ずしもエッジ領域を完全に満たすとは限らないため、エッジ領域内に色成分候補を満たす画素が存在すれば、エッジ領域内は当該色成分で満たされているものと推定し、以降の処理を実行するのである。

領域成長処理は、例えばWatershedアルゴリズムを用いて行う。具体的には、以下の処理を全ての色成分候補について行う。

まず、（１）領域内の全画素について、色成分候補に該当するか否かを判定し、該当すれば値１、該当しなければ値０の値をとる二値画像（バイナリ画像）を生成する。次に、（２）値１をとる画素の占める領域からエッジ線上の画素を除外し、続いてモルフォロジー演算におけるErosion処理を行って領域を収縮させてノイズ除去を行い、テロップ文字候補領域の種画像を生成する。次に、（３）除外したエッジ線上の画素に十分大きい値を割り当ててWatershedアルゴリズムにおける分水嶺とし、（４）種画像と分水嶺を元にWatershedアルゴリズムを適用して領域をエッジ線まで成長させる。ここで、エッジ線に不連続点があれば、何らかの手法により補完する処理を行ってもよい。

なお、これに限らず、色成分候補に該当する領域からエッジ線まで単に領域成長させる手法を用いてもよい。

最適領域選択処理部３２は、領域成長処理部３０によって各色成分候補の占める領域（以下、テロップ文字領域候補と称する）が生成されると、各テロップ文字領域候補について、OCR（Optical Character Recognition）処理等の文字認識処理を行う。テロップ文字領域候補は、値１と値２の二値画像であり、OCR処理は、係る二値画像に対して行われる。

そして、文字認識処理において、あらかじめ定められたしきい値以上の信頼度があり、且つ最も信頼性が高いと判定されたテロップ文字領域候補を、テロップ文字領域として検出する。そして、検出されたテロップ文字領域に対する文字認識結果を、テロップ文字と認識する。文字認識処理における信頼性の判定に関しては、既に（特開２００１−２８５７１６）等で周知となっているため、詳細な説明を省略する。認識されたテロップ文字は、テキストデータとして出力され、画像コンテンツの編集等に用いることが可能となる。

図６は、赤色のテロップが黄色と灰色の背景に重畳された元画像から、黄色、赤色、灰色の三色が色成分候補として抽出され、次いでそれぞれの色成分候補に属する部分がテロップ文字領域候補として抽出され、最後に文字認識処理によって赤色の部分がテロップ文字領域として検出される流れを模式的に示す図である。

以上説明した本実施例のテロップ文字領域検出装置１、並びに当該装置に係るプログラムによれば、直交直線上色成分抽出部２６により抽出された色成分のうち出現頻度の高い色成分を色成分候補として抽出するため、テロップ文字の色成分である可能性が高い色成分に絞り込むことができる。

また、直交直線上色成分抽出部２６による色成分の抽出は、エッジ線に直交する直線上におけるエッジ点近傍の画素、すなわちテロップ文字が占める領域内である可能性が高い画素についてのみ行われるため、より高精度に色成分を絞り込むことができる。この結果、テロップ文字が占める領域内である可能性が高い画素に限定して色成分を抽出するため、処理データ数が削減され、画像データ全体について色成分を抽出するようなものに比して、迅速且つ高精度に処理が行われる。

これらにより、カラー画像からテロップ文字領域を迅速且つ高精度に検出することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、エッジ点やエッジ線を抽出する際に、輝度勾配に基づいて抽出処理を行うものとしたが、色成分の勾配に基づいてエッジ点やエッジ線を抽出しても構わない。また、輝度勾配と色成分の勾配の双方を加味してエッジ点やエッジ線を抽出しても構わない。

また、直交直線上色成分抽出部２６は、エッジ領域抽出部２０により算出されたエッジ方向をエッジ線に直交する直線の方向として扱うものとしたが、エッジ線の方向を何らかの手法によって導出し、二次行列等を用いてエッジ線に直交する方向を算出する処理を行ってもよい。

本発明は、放送産業、テレビジョン受像機や録画・再生装置等の製造産業、コンピュータソフトウエア産業等に利用することができる。

１ テロップ文字領域検出装置
１０ ＣＰＵ
１２ プログラムメモリ
１４ ワーキングメモリ
２０ エッジ領域抽出部
２２ 時間方向フィルタ処理部
２４ 形状フィルタ処理部
２６ 直交直線上色成分抽出部
２８ テロップ文字色成分候補抽出部
３０ 領域成長処理部
３２ 最適領域選択処理部

Claims (7)

1. 輝度成分及び色成分を有する画素が集合して形成された画像におけるテロップ文字の占めるテロップ文字領域を検出するテロップ文字領域検出装置であって、
   隣接画素との輝度勾配又は色彩勾配が大きい画素であるエッジ点を連ねたエッジ線に直交する直線上に存在する、複数の画素が有する色成分を抽出する色成分抽出手段と、
   前記色成分抽出手段により抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出するテロップ文字色成分候補抽出手段と、を備え、
   前記テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補を用いて前記テロップ文字が占めるテロップ文字領域を検出することを特徴とする、
   テロップ文字領域検出装置。
2. 前記テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補に該当する画素が形成する領域について文字認識処理を行い、該文字認識処理において最も信頼性が高いと判定された領域をテロップ文字領域として検出することを特徴とする、
   請求項１に記載のテロップ文字領域検出装置。
3. 前記エッジ点を抽出すると共に、エッジ点について隣接画素との輝度勾配又は色彩勾配の大きさが最も大きい方向であるエッジ方向を算出するエッジ点抽出手段を備え、
   前記色成分抽出手段は、前記算出されたエッジ方向を、前記エッジ線に直交する直線の方向として処理を行うことを特徴とする、
   請求項１又は２に記載のテロップ文字領域検出装置。
4. 前記テロップ文字色成分候補抽出手段は、前記色成分抽出手段により抽出された複数の画素が有する色成分に関するヒストグラムを生成し、該ヒストグラムにおける度数が閾値以上の色成分を、前記テロップ文字領域の色成分候補として抽出する手段である、
   請求項１ないし３のいずれか１項に記載のテロップ文字領域検出装置。
5. 動画像を処理対象とする、請求項１ないし４のいずれか１項に記載のテロップ文字領域検出装置であって、
   対象画像と、該対象画像から前後に一定時間ずつ離れた画像との間に集合演算処理を行う時間的フィルタ手段を備え、
   前記色成分抽出手段は、前記時間的フィルタ手段が行った処理後の画像に対して、前記色成分の抽出処理を行うことを特徴とする、
   テロップ文字領域検出装置。
6. 対象画像について、領域広げ処理及び孤立点除去処理を行う形状フィルタ手段を備え、
   前記色成分抽出手段は、前記形状フィルタ手段が行った処理後の画像に対して、前記色成分の抽出処理を行うことを特徴とする、
   請求項１ないし５のいずれか１項に記載のテロップ文字領域検出装置。
7. コンピュータを、輝度成分及び色成分を有する画素が集合して形成された画像においてテロップ文字の占めるテロップ文字領域を検出するテロップ文字領域検出装置として機能させるためのコンピュータ読み取り可能なプログラムであって、
   該テロップ文字領域検出装置を、
   隣接画素との輝度勾配又は色彩勾配が大きい画素であるエッジ点を連ねたエッジ線に直交する直線上に存在する、複数の画素が有する色成分を抽出する色成分抽出手段と、
   前記色成分抽出手段により抽出された色成分のうち出現頻度が高い色成分をテロップ文字の色成分候補として抽出するテロップ文字色成分候補抽出手段と、
   前記テロップ文字色成分候補抽出手段により抽出されたテロップ文字の色成分候補を用いて前記テロップ文字が占めるテロップ文字領域を検出する検出手段と、
   を備える装置として機能させるためのプログラム。

Images