JP2008287353A - 検出装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できるようにする。
【解決手段】領域抽出部２０１は、画像において、テロップを検出すべき領域を抽出し、さらにその領域を、テロップの検出に適したサブブロックに分割する。サブブロックエッジ検出部２０２は、サブブロックエッジ検出部２０２は、供給されたサブブロックの水平方向の平均値と垂直方向の平均値とを算出し、水平方向の複数の平均値のうちの最大値と最小値、および垂直方向の複数の平均値のうちの最大値と最小値に基づいてサブブロックの、水平方向および垂直方向のエッジ強度をそれぞれ検出する。テロップ領域検出部２０３は、水平方向および垂直方向のエッジ強度のそれぞれが検出された複数のサブブロックからなるデータに基づいて、その複数の各サブブロックがテロップを含むサブブロックであるか否かを判定する。
【選択図】図５

Description

本発明は、検出装置および方法、プログラム、並びに記録媒体に関し、特に、入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できるようにする検出装置および方法、プログラム、並びに記録媒体に関する。

近年、放送される画像信号の高精細化、高解像度（HD（high definition））化が進みつつあるが、依然として標準精細（ＳＤ(Standard Definition)）の画像を、HDに変換(アップコンバート)した画像信号の放送も行われている。

さらに、HDの画像として収録された素材に対してHDのテロップとSDのテロップが混在する例も見受けられる。

また、近年、HDD（Hard Disk Drive）レコーダなどの普及に伴って、画像信号を解析して、特定の場面などを簡単に検索できるようにするニーズが高まっており、特に、テロップが含まれる画像を検出するニーズが高まっている。

解像度の向上したＳＤ信号からＨＤ信号へのアップコンバートできるようにする技術も提案されている（例えば、特許文献１参照）。

特許第３３２６８７９号公報

従来、テロップの検出は、画像の中のエッジを検出し、検出されたエッジ数などに基づいてテロップが存在するか否かを判定することにより行われていた。

しかしながら、ＳＤのテロップと、ＨＤのテロップとが混在する画像においては、輪郭部が強調されたシャープネスの高い画像であるHDの素材の中から、輪郭が比較的曖昧なSDのテロップを検出することになり、従来の方式では、適切にテロップを検出することができない。

本発明はこのような状況に鑑みてなされたものであり、入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できるようにするものである。

本発明の一側面は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部とを備える検出装置である。

注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第１の指標を抽出して、前記第１の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる水平フィルタにより処理して得られる水平処理データと、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第２の指標を抽出して、前記第２の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる垂直フィルタにより処理して得られる垂直処理データとに基づいて、前記注目するサブブロックに、テロップが含まれているか否かを判定し、その判定結果を表す情報を、前記テロップが含まれる領域を特定するための第３の指標として出力するテロップ情報出力手段をさらに備えるようにすることができる。

前記テロップ情報出力手段は、前記水平処理データと、前記垂直処理データとに基づいて、斜処理データをさらに生成し、前記水平処理データの値が第１の閾値を超え、前記垂直処理データの値が第２の閾値を超え、かつ前記斜処理データの値が第３の閾値を超えた場合、前記注目するサブブロックに、テロップが含まれていると判定するようにすることができる。

前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、水平方向のストライプ模様の画像が含まれる場合、高い値の前記水平処理データが得られるように、前記数値が設定され、前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、垂直方向のストライプ模様の画像が含まれる場合、高い値の前記垂直処理データが得られるように、前記数値が設定されるようにすることができる。

本発明の一側面は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置の検出方法であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割し、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出し、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出し、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出し、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出するステップを含む検出方法である。

本発明の一側面は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出処理をコンピュータに行わせるプログラムであって、コンピュータを、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部として機能させるプログラムである。

本発明の一側面においては、画像データが、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割され、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値が算出され、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値が算出され、前記M個の水平方向の平均値の中の最大値と最小値の差が、前記テロップが含まれる領域を特定するための第１の指標として算出され、前記N個の垂直方向の平均値の中の最大値と最小値の差が、前記テロップが含まれる領域を特定するための第２の指標として算出される。

本発明によれば、入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の検出装置は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段（例えば、図５の領域抽出部２０１）と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段（例えば、図６の演算器２２１）と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段（例えば、図６の演算器２２２）と、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標（例えば、水平方向エッジ強度）として算出する水平指標算出部（例えば、図６演算器２４１）と、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標（例えば、垂直方向エッジ強度）として算出する垂直指標算出部（例えば、図６演算器２４２）とを備える。

この検出装置は、注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第１の指標を抽出して、前記第１の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータ（例えば、図７のデータh0）を、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる水平フィルタ（例えば、図７の水平フィルタ２６２）により処理して得られる水平処理データ（例えば、図７のデータh1）と、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第２の指標を抽出して、前記第２の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータ（例えば、図７のデータv0）を、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる垂直フィルタ（例えば、図７の垂直フィルタ２６１）により処理して得られる垂直処理データ（例えば、図７のデータv1）とに基づいて、前記注目するサブブロックに、テロップが含まれているか否かを判定し、その判定結果を表す情報を、前記テロップが含まれる領域を特定するための第３の指標として出力するテロップ情報出力手段（例えば、図５のテロップ領域検出部２０３）をさらに備えるようにすることができる。

本発明の一側面の検出方法は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置の検出方法であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割し（例えば、図１０のステップＳ１０１の処理）、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出し（例えば、図１１のステップＳ１２１の処理）、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出し（例えば、図１１のステップＳ１２３の処理）、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標（例えば、水平方向エッジ強度）として算出し、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標（例えば、垂直方向エッジ強度）として算出する（例えば、図１１のステップＳ１２５とＳ１２６の処理）ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

最初に従来のテロップの検出の処理について説明する。

画像の中に含まれるテロップを検出する場合、従来より、画像の中の所定の領域のエッジを検出し、検出されたエッジの強度などを表す情報に基づいてその領域にテロップが含まれているか否かを判定する方式が用いられている。通常、文字であるテロップは、ストロークの組み合わせにより構成されており、例えば、ストライプ模様の画像のように、エッジが繰り返し出現することが多いからである。

図１は、従来、テロップを検出するために行われていたエッジ検出の例を説明する図である。同図においては、Sobelフィルタが用いられている。

図１において、テロップを検出すべき画像は、水平方向および垂直方向に複数の画素で構成されるサブブロックと呼ばれる領域に分割されてSobelフィルタに入力される。この例では、矩形の領域に配置された所定の数の画素で構成されたサブブロックがSobelフィルタに入力されている。

Sobelフィルタは、水平フィルタ２１と垂直フィルタ２２を有する構成とされ、入力されたサブブロックの中の注目画素と、注目画素に隣接する複数の画素の画素値に、それぞれ各フィルタに記載された数値が、乗算器３１と乗算器３２によってそれぞれ乗じられるようになされている。この例では、水平フィルタ２１と垂直フィルタ２２は、それぞれ中央の画素が注目画素とされ、注目画素に隣接する８つの画素に対応する構成とされている。このような、水平フィルタ２１と垂直フィルタ２２、および乗算器３１と乗算器３２による処理が、サブブロックの画素のそれぞれに対して行われる。

そして、水平フィルタ２１と垂直フィルタ２２、および乗算器３１と乗算器３２による処理を経たサブロックの画素のそれぞれに対して閾値判定部４１および閾値判定部４２による閾値判定の処理が行われる。これにより、サブブロックの各画素について水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素が検出されることになる。

さらに、集計器５１および集計器５２によって、水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素のそれぞれの合計値が検出され、その合計値が水平方向のエッジ強度および垂直方向のエッジ強度として出力される。

このようにして得られた、水平方向のエッジ強度および垂直方向のエッジ強度に基づいて、そのサブブロックにテロップが含まれているか否かの判定が行われる。

しかしながら、図１を参照して上述した方式では、テロップが含まれているか否かを正確に検出できないことがある。

図２は、テロップが含まれた画像の例を示す図である。同図に示される画像１００においては、領域１０１と領域１０２にそれぞれテロップが表示されているが、領域１０１に表示されるテロップは、高解像度（HD（high definition））の画像として表示されるテロップであり、領域１０２に表示されるテロップは、HD画像より低い標準解像度（ＳＤ(Standard Definition)）の画像として表示されるテロップである。

すなわち、画像１００は、HDの画像とＳＤの画像が混在する画像とされ、このような画像は、例えば、HDの画像として収録された素材に対してテロップの編集が行われた画像、またはＳＤの画像をHDに変換(アップコンバート)した画像などにおいて近年多く見受けられる。

ＳＤのテロップと、ＨＤのテロップとが混在する画像においては、輪郭部が強調されたシャープネスの高い画像であるHD画像の素材の中から、輪郭が比較的曖昧なSD画像のテロップを検出することになり、従来の方式では、適切にテロップを検出することができない。

すなわち、シャープネスの高い画像であるHD画像において、サブブロックの各画素について水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素を検出する場合、図１の閾値判定部４１および閾値判定部４２にある程度高い閾値を設定しなければ、エッジとは関係ない画素までエッジを構成する画素として検出されてしまう。また、シャープネスの低い画像であるSD画像において、サブブロックの各画素について水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素を検出する場合、図１の閾値判定部４１および閾値判定部４２にある程度低い閾値を設定しなければ、エッジ構成する画素であるにも係らず検出されない画素が増えてしまう。

図３と図４は、図１を参照して上述した従来の方式により、HDの画像とＳＤの画像が混在する画像のエッジ検出を行う場合の問題点を説明する図である。

図３は、従来の方式により、例えば、領域１０１の一部のHD画像のサブブロック１４１と、領域１０２の一部のＳＤ画像のサブブロック１４２について、垂直方向のエッジ強度を検出する例を示しており、閾値判定部４２にＨＤ画像に適した閾値を設定した場合の例を示す図である。

サブブロック１４１には、例えば、文字の一部が図中左から数えて第１０列目乃至第１８列目の各画素で表示されており、第１列目乃至第９列目の各画素はその文字の背景を表示している。サブブロック１４１は、HD画像であり、文字の一部は、黒色で明確に表示され、背景は白色で明確に表示されている。

一方、サブブロック１４２は、ＳD画像であり、文字の一部と、背景との境界（エッジ）が曖昧に表示される。この例では、図中左から第７列目乃至第１２列目の各画素が黒色でもなく、白色でもない色（図中のハッチング）として表示されている。

サブブロック１４１およびサブブロック１４２に対して、上述した垂直フィルタ２２、および乗算器３２による処理を施し、ＨＤ画像に適した閾値を設定した閾値判定部４２による閾値判定の処理が行われた場合、図３の垂直フィルタ２２の右側において、図中黒い四角形で表示された画素が、垂直方向にエッジを構成すると考えられる画素として検出されることになる。

図３の場合、閾値判定部４２にＨＤ画像に適した閾値が設定されているので、サブブロック１４１においては、文字の一部と背景との境界に当たる画素であって、第９列目と第１０列目の画素が全てエッジを構成する画素として検出されている。これにより、サブブロック１４１の垂直方向のエッジ強度は、第９列目と第１０列目の画素数の合計値である「８」となる。

しかしながら、ＳＤ画像のサブブロック１４２においては、第７列目乃至第１２列目の各画素が白色から黒色に序々に変化していくため、ＨＤ画像に適した閾値が設定された閾値判定部４２の閾値判定では、エッジを構成する画素として検出される画素がない。これにより、サブブロック１４２の垂直方向のエッジ強度は、「０」となってしまう。

図４は、従来の方式により、例えば、領域１０１の一部のHD画像のサブブロック１４１と、領域１０２の一部のＳＤ画像のサブブロック１４２について、垂直方向のエッジ強度を検出する例を示しており、閾値判定部４２にＳＤ画像に適した閾値を設定した場合の例を示す図である。

図３の場合と同様に、サブブロック１４１およびサブブロック１４２に対して、上述した垂直フィルタ２２、および乗算器３２による処理を施し、ＳＤ画像に適した閾値を設定した閾値判定部４２による閾値判定の処理が行われた場合、図４の垂直フィルタ２２の右側において、図中黒い四角形で表示された画素が、垂直方向にエッジを構成すると考えられる画素として検出されることになる。

図４の場合、閾値判定部４２にＳＤ画像に適した閾値が設定されているので、サブブロック１４２においては、文字の一部と背景との境界に当たる画素であって、第７列目乃至第１２列目の画素が全てエッジを構成する画素として検出されている。これにより、サブブロック１４２の垂直方向のエッジ強度は、第７列目乃至第１２列目の画素数の合計値である「２４」となる。

しかしながら、ＨＤ画像のサブブロック１４１においては、第９列目と第１０列目の間のみ画素の色が変化しているため、閾値判定部４２の閾値判定では、エッジを構成する画素として検出される画素は、第９列目と第１０列目の画素のみがエッジを構成する画素として検出される。これにより、サブブロック１４１の垂直方向のエッジ強度は、「８」となってしまう。

このように、従来の方式では、閾値判定部４２の閾値をHD画像に適したものとすると、ＳＤ画像では全くエッジが検出されなくなり、閾値をSD画像に適したものとすると、ＨＤ画像の場合よりＳＤ画像の場合の方が、より大きなエッジ強度となってしまう。

なお、図３と図４では、説明を簡単にするために垂直方向のエッジ強度についてのみ説明したが、水平方向のエッジ強度も同様に、やはり従来の方式では正確に検出することが困難である。

さらに、ＨＤの画像においては、画像のシャープネスが高いため、例えば、石や砂などのように、色の濃い画素が粒状に表示されている画像において、これらの画素がエッジを構成する画素として誤って検出されてしまうことがある。

例えば、図２の領域１０３は、石造りの壁の一部が表示された画像であり、細かい粒状の模様が表示されている。このような画像も誤ってエッジとして検出されることがある。

そこで、本発明においては、ＳＤ画像とHD画像が混在する画像においても適切にテロップを検出できるようにし、さらに、細かい粒状の模様などが表示された画像が誤ってエッジとして検出されないようにする。

図５は、本発明の一実施の形態に係るテロップ検出装置の構成例を示すブロック図である。この例では、テロップ検出装置２００が、領域抽出部２０１、サブブロックエッジ検出部２０２、テロップ領域検出部２０３、および制御部２０４により構成されており、例えば、バスなどにより、領域抽出部２０１乃至制御部２０４が相互に接続された構成とされている。

同図において、領域抽出部２０１は、例えば、制御部２０４を介して入力が受け付けられた画像データの画像において、テロップを検出すべき領域を抽出し、さらにその領域を、テロップの検出に適したサブブロックに分割する。

サブブロックエッジ検出部２０２は、例えば、制御部２０４を介して、領域抽出部２０１により分割されたサブブロックの画像データの供給を受けて、サブブロックの、水平方向および垂直方向のエッジ強度をそれぞれ検出する。

テロップ領域検出部２０３は、サブブロックエッジ検出部２０２により水平方向および垂直方向のエッジ強度のそれぞれが検出された複数のサブブロックからなるデータを、例えば、制御部２０４を介して取得し、その複数の各サブブロックがテロップを含むサブブロックであるか否かを判定し、テロップを含むサブブロックであると判定されたサブブロックからなる領域に関する情報を出力するようになされている。

制御部２０４は、例えば、CPU（Central Processing Unit）、RAM（Random Access Memory）、ROM（Read Only Memory）などを含む構成とされ、例えば、図示せぬ操作部などを介して入力が受け付けられたユーザの指令、予めROMなどに記憶されているプログラムなどのソフトウェアなどに基づいて、テロップ検出装置２００の各部を制御するようになされている。

図６は、図５のサブブロックエッジ検出部２０２の詳細な構成例を示す図である。ここでは、サブブロックとして、水平方向に８画素、垂直方向に４画素の３２画素で構成される画像データがサブブロック２２０として供給された場合を例として、サブブロックエッジ検出部２０２の詳細な構成について説明する。

同図に示されるように、サブブロックエッジ検出部２０２は、供給されたサブブロック２２０の水平方向の図中上から第１行目乃至第４行目の、それぞれ８個の画素の画素値の平均値を演算器２２１により、それぞれ演算する。すなわち、演算器２２１により、サブブロック２２０の第１行目の８つの画素の画素値の平均値、第２行目の８つの画素の画素値の平均値、第３行目の８つの画素の画素値の平均値、および第４行目の８つの画素の画素値の平均値がそれぞれ演算される。ここで演算された値を、水平方向の４つの平均値と称することとする。

また、サブブロックエッジ検出部２０２は、供給されたサブブロック２２０の垂直方向の図中左から第１列目乃至第８列目の、それぞれ４個の画素の画素値の平均値を演算器２２２により、それぞれ演算する。すなわち、演算器２２２により、サブブロック２２０の第１列目の４つの画素の画素値の平均値、第２列目の４つの画素の画素値の平均値、第３列目の４つの画素の画素値の平均値、・・・および第８列目の４つの画素の画素値の平均値がそれぞれ演算される。ここで演算された値を、垂直方向の８つの平均値と称することとする。

サブブロックエッジ検出部２０２は、水平方向の４つの平均値のうちの最小値を、最小値抽出部２３１により抽出し、水平方向の４つの平均値のうちの最大値を、最大値抽出部２３２により抽出する。また、サブブロックエッジ検出部２０２は、垂直方向の８つの平均値のうちの最小値を、最小値抽出部２３３により抽出し、垂直方向の８つの平均値のうちの最大値を、最大値抽出部２３４により抽出する。

そして、サブブロックエッジ検出部２０２は、最小値抽出部２３１により抽出された最小値と、最大値抽出部２３２により抽出された最大値の差を演算器２４１により演算し、その結果得られた値を水平方向のエッジ強度として出力する。同様に、サブブロックエッジ検出部２０２は、最小値抽出部２３３により抽出された最小値と、最大値抽出部２３４により抽出された最大値の差を演算器２４２により演算し、その結果得られた値を垂直方向のエッジ強度として出力する。

このように、サブブロックを構成する各画素の水平方向および垂直方向の複数個の平均値を算出し、それらの最大値と最小値の差を、それぞれ水平方向および垂直方向のエッジ強度とすることで、例えば、図３と図４のサブブロック１４２の場合のように、白色から黒色に序々に変化していく曖昧な画像であっても、適切なエッジ強度を算出することができるし、勿論、サブブロック１４１の場合のように、白色から黒色に急峻に変化する（シャープネスの高い）画像であっても、適切なエッジ強度を算出することができる。従って、サブブロックエッジ検出部２０２によれば、ＳＤ画像であっても、HD画像であってもエッジ部分のサブブロックでは、ほぼ同じエッジ強度を検出することが可能となる。

さらに、サブブロックを構成する各画素の水平方向および垂直方向の複数個の平均値を算出し、それらの最大値と最小値の差を、それぞれ水平方向および垂直方向のエッジ強度とすることで、例えば、図２の領域１０３に示されるような、細かい粒状の模様が表示された画像などが誤ってエッジとして検出されることが抑止されるようにすることも可能となる。例えば、白色の背景に黒色の点が規則的に散りばめられた画像のサブブロックにおいて、各画素の水平方向（または垂直方向）の１行分の全画素（または１列分の全画素）の画素値の平均値を算出すると、どの行（または列）においても、灰色の画素の画素値と同様の値となり、それらの複数の平均値の最大値と最小値の差はほぼ「０」となるからである。

また、このようにすることで、演算量を抑制することも可能となる。例えば、図１を参照して上述したsobelフィルタにおいては、水平フィルタ２１と垂直フィルタ２２を通すことで、水平フィルタ２１と垂直フィルタ２２の中の値が０でない位置における演算が行われて、１個の画素について合計１２（＝６＋６）回の乗算処理が必要となるが、各画素の水平方向および垂直方向の複数個の平均値を算出し、それらの最大値と最小値の差を、それぞれ水平方向および垂直方向のエッジ強度とすることで、個々の画素に対して行われる演算量を少なくすることも可能となる。

ここでは、サブブロックとして、水平方向に８画素、垂直方向に４画素の３２画素で構成される画像データが供給される例について説明したが、テロップを検出するために、エッジの検出を行う場合、サブブロックの水平方向および垂直方向の画素数は、それぞれ検出すべきテロップの文字のストロークの太さに対応する画素数とすることが望ましい。

また、サブブロックの一部がそれぞれ重複（オーバーラップ）するようになされてもよい。例えば、第ｎ番目のサブブロックを構成する複数の画素の一部が、第ｎ＋１番目のサブブロックの画素として用いられるようにサブブロックの分割が行われるようにしてもよい。

図７は、図５のテロップ領域検出部２０３の詳細な構成例を示す図である。

上述したように、テロップ領域検出部２０３は、サブブロックエッジ検出部２０２により水平方向および垂直方向のエッジ強度のそれぞれが検出された複数のサブブロックからなるデータを、例えば、制御部２０４を介して取得する。この例では、水平方向に３個、垂直方向に３個の９個のサブブロックで構成されたデータｖ０とデータh0が取得されている。

データv0は、例えば、それぞれのサブブロックの位置に、それぞれのサブブロックの垂直方向のエッジ強度の値のみが埋め込まれた３行３列の行列のデータとして取得され、データh0は、例えば、それぞれのサブブロックの位置に、それぞれのサブブロックの水平方向のエッジ強度の値のみが埋め込まれた、３行３列の行列のデータとして取得される。

テロップ領域検出部２０３は、垂直フィルタ２６１と水平フィルタ２６２を有する構成とされ、入力されたデータv0とデータh0の各値に、それぞれ垂直フィルタ２６１と水平フィルタ２６２に記載された数値が、乗算器２７１と乗算器２７２によってそれぞれ乗じられるようになされている。

例えば、データv0の図中左から第１列目の３つの値には、それぞれ垂直フィルタ２６１の図中左から第１列目の値である「１、１、１」がそれぞれ乗じられ、データv0の第２列目の３つの値には、それぞれ垂直フィルタ２６１の第２列目の値である「２、２、２」がそれぞれ乗じられ、データv0の第３列目の３つの値には、それぞれ垂直フィルタ２６１の第３列目の値である「１、１、１」がそれぞれ乗じられる。さらに、それぞれの数値が乗じられた９つの値の合計値が、垂直方向エッジ指数として乗算器２７１により算出される。

なお、この垂直方向エッジ指数は、データv0の中央の位置であって、第２行第２列目のサブブロックに対応する垂直方向エッジ指数として算出される。

また、データｈ0の図中上から第１行目の３つの値には、それぞれ水平フィルタ２６２の図中上から第１行目の値である「１、１、１」がそれぞれ乗じられ、データh0の第２列目の３つの値には、それぞれ水平フィルタ２６２の第２行目の値である「２、２、２」がそれぞれ乗じられ、データh0の第３行目の３つの値には、それぞれ水平フィルタ２６２の第３行目の値である「１、１、１」がそれぞれ乗じられる。さらに、それぞれの数値が乗じられた９つの値の合計値が、水平方向エッジ指数として乗算器２７２により算出される。

なお、この水平方向エッジ指数は、やはりデータh0の中央の位置であって、第２行第２列目のサブブロックに対応する水平方向エッジ指数として算出される。

テロップ領域検出部２０３において、垂直方向エッジ指数は、データv１として閾値判定部２８１に供給される。閾値判定部２８１は、データv1の値が予め設定された縦閾値より大きいか否かを判定し、例えば、データv1の値が予め設定された縦閾値より大きいと判定された場合、値「１」を出力し、データv1の値が縦閾値より大きくないと判定された場合、値「０」を出力するようになされている。

また、テロップ領域検出部２０３において、垂直方向エッジ指数は、データh1として閾値判定部２８３に供給される。閾値判定部２８３は、データh1の値が予め設定された横閾値より大きいか否かを判定し、例えば、データh1の値が予め設定された横閾値より大きいと判定された場合、値「１」を出力し、データh1の値が予め設定された横閾値より大きくないと判定された場合、値「０」を出力するようになされている。

さらに、テロップ領域検出部２０３において、データv1とデータh1は、加算器２７３により加算され、データd１として閾値判定部２８２に供給される。データd1は、いわば斜方向エッジ指数を表すことになる。閾値判定部２８２は、データd1の値が予め設定された斜閾値より大きいか否かを判定し、例えば、データd1の値が予め設定された斜閾値より大きいと判定された場合、値「１」を出力し、データd1の値が予め設定された斜閾値より大きくないと判定された場合、値「０」を出力するようになされている。

そして、論理積演算器２９１が、閾値判定部２８１乃至閾値判定部２８３の出力値の論理積を演算して出力する。例えば、論理積演算器２９１の演算結果が値「１」の場合、注目するサブブロック（データv0（h0）の第２行第２列目のサブブロック）は、テロップのサブブロックであるものとして、テロップ領域検出部２０３の検出結果が出力される。論理積演算器２９１の演算結果が値「０」の場合、注目するサブブロック（データv0（h0）の第２行第２列目のサブブロック）は、テロップのサブブロックではないものと判定される。

なお、垂直フィルタ２６１と水平フィルタ２６２は、それぞれ垂直方向のストライプ模様と、水平方向のストライプ模様を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値となるように設定されており、例えば、垂直方向の一本線と、水平方向の一本線を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値とならないように設定されている。テロップは、ストライプ模様の画像を構成することが多いからである。

例えば、図８（a）に示されるように「川」という文字が表示されたテロップについて考える。同図に示される「川」の文字は、黒線の囲み文字（白抜き文字）として表示されており、図中中央付近を矢印３１１で示されるように、画素の輝度の変化を調べると、図８（b）に示されるグラフのようになる。

すなわち、文字の白抜き部分では輝度が極めて高くなり、文字の黒線の部分では輝度が極めて低くなる。また、文字の背景の部分では、白抜き部分と黒線の部分の中間程度の輝度となる。このように、文字「川」の周辺においては、画素の輝度値が１２回変化し、あたかもストライプ模様の画像と同様の輝度の変化の特性が見られることになる。

これに対して、テロップではない物体などの画像では、上述したような特性は見られない。図９(a)は、図中右側略半分に暗い色の物体が表示された画像の例を示している。このような画像において、図８(a)の場合と同様に、図中中央付近を矢印３１２で示されるように、画素の輝度の変化を調べると、図９（b）に示されるグラフのようになる。

すなわち、物体の背景が表示された部分では輝度が高くなり、物体が表示された部分では輝度が低くなる。このように、テロップではなく、単に輝度の異なる物体などが表示された画像の周辺においては、画素の輝度値が１回変化し、あたかも一本線の画像と同様の輝度の変化の特性が見られることになる。

垂直フィルタ２６１は、自分（注目するサブブロック）とその周辺のサブブロックにおいて、例えば、図８(b)に示されるような輝度の変化の特性を有するサブブロックの垂直方向エッジ指数が高い値となるように設定されており、例えば、自分とその周辺のサブブロックにおいて、例えば、図9(b)に示されるような輝度の特性を有するサブブロックの垂直方向エッジ指数が高い値とならないように設定されている。

そして、閾値判定部２８１も、サブブロックの垂直方向エッジ指数が高い値の場合のみ、値「１」を出力するようになされている。

ここでは、例として垂直方向のストライプ模様について説明したが、画像の中で文字が表示された領域においては、水平方向にも、やはりあたかもストライプ模様の画像と同様の特性が見られる。従って、水平フィルタ２６２も、あたかもストライプ模様の画像と同様の輝度の変化の特性を有するサブブロックの水平方向エッジ指数が高い値となるように設定されており、あたかも一本線の画像と同様の輝度の変化の特性を有するサブブロックの水平方向エッジ指数が高い値とならないように設定されており、閾値判定部２８３も、サブブロックの水平方向エッジ指数が高い値の場合のみ、値「１」を出力するようになされている。

さらに、閾値判定部２８２も同様に、サブブロックの垂直方向のエッジ指数（データv1）と水平方向エッジ指数（データh1）の加算値（データd1）が高い値の場合のみ、値「１」を出力するようになされている。

なお、垂直フィルタ２６１と水平フィルタ２６２の設定は、それぞれ垂直方向のストライプ模様、または水平方向のストライプ模様を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値となり、垂直方向の一本線、または水平方向の一本線を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値とならないようにするものであれば、図７に示されたものとは異なる設定とされるようにしてもよい。

次に、図１０のフローチャートを参照して、テロップ検出装置２００によるテロップ検出処理について説明する。

ステップＳ１０１において、領域抽出部２０１は、画像をサブブロックに分割する。このとき、領域抽出部２０１は、例えば、制御部２０４を介して入力が受け付けられた画像データの画像において、テロップを検出すべき領域を抽出し、さらにその領域を、テロップの検出に適したサブブロックに分割する。

ステップＳ１０２において、サブブロックエッジ検出部２０２は、ステップＳ２０１の処理で分割された各サブブロックについて、図１１を参照して後述するサブブロックエッジ検出処理を実行する。これにより、各サブブロックの水平方向エッジ強度と、垂直方向エッジ強度とが算出される。

ここで、図１１のフローチャートを参照して、図１０のステップＳ１０２のサブブロックエッジ検出処理の詳細の例について説明する。

ステップＳ１２１において、サブブロックエッジ検出部２０２は、供給されたサブブロックの水平方向の各行の画素値の平均値を演算器２２１により、それぞれ演算する。

ステップＳ１２２において、サブブロックエッジ検出部２０２は、ステップＳ１２１の処理で演算された水平方向の各行の画素値の平均値のそれぞれについて最大値と最小値を求める。

このとき、例えば、図６を参照して上述したように、供給されたサブブロック２２０の水平方向の第１行目乃至第４行目の、それぞれ８個の画素の画素値の平均値を演算器２２１により、それぞれ演算され、水平方向の４つの平均値のうちの最小値が、最小値抽出部２３１により抽出され、水平方向の４つの平均値のうちの最大値が、最大値抽出部２３２により抽出される。

ステップＳ１２３において、サブブロックエッジ検出部２０２は、供給されたサブブロックの垂直方向の各列の画素値の平均値を演算器２２２により、それぞれ演算する。

ステップＳ１２４において、サブブロックエッジ検出部２０２は、ステップＳ１２３の処理で演算された垂直方向の各列の画素値の平均値のそれぞれについて最大値と最小値を求める。

このとき、例えば、図６を参照して上述したように、供給されたサブブロック２２０の垂直方向の第１列目乃至第８列目の、それぞれ４個の画素の画素値の平均値が演算器２２２により、それぞれ演算され、垂直方向の８つの平均値のうちの最小値が、最小値抽出部２３３により抽出され、垂直方向の８つの平均値のうちの最大値が、最大値抽出部２３４により抽出される。

ステップＳ１２５において、サブブロックエッジ検出部２０２は、ステップＳ１２２の処理と、ステップＳ１２４の処理で求められたそれぞれの最大値と最小値の差を、それぞれ求める。

このとき、例えば、図６を参照して上述したように、最小値抽出部２３１により抽出された最小値と、最大値抽出部２３２により抽出された最大値の差が演算器２４１により演算され、最小値抽出部２３３により抽出された最小値と、最大値抽出部２３４により抽出された最大値の差が演算器２４２により演算される。

ステップＳ１２６において、サブブロックエッジ検出部２０２は、ステップＳ１２５の処理により得られた値を、当該サブブロックの水平方向のエッジ強度、または垂直方向のエッジ強度として出力する。

このとき、例えば、図６を参照して上述したように、演算器２４１の演算結果の値が水平方向のエッジ強度とされ、演算器２４２の演算結果の値が垂直方向のエッジ強度とされて、サブブロック２２０の位置を表す情報などと対応付けられて出力される。

なお、上述したステップＳ１２１乃至Ｓ１２６は、サブブロックエッジ検出部２０２に供給される複数のサブブロックのそれぞれに対して実行され、複数のサブブロックのそれぞれの、水平方向のエッジ強度、または垂直方向のエッジ強度が出力されることになる。

このようにして、サブブロックのエッジ強度が検出（算出）される。

図１０に戻って、ステップＳ１０２の処理の後、ステップＳ１０３において、テロップ領域検出部２０３は、ステップＳ１０２の処理結果に基づいて、図１２を参照して後述するテロップ領域検出処理を実行する。これにより、テロップのサブブロックに関する情報が出力される。

ここで、図１２のフローチャートを参照して、図１０のステップＳ１０３のテロップ領域検出処理の詳細の例について説明する。

ステップＳ１５１において、テロップ領域検出部２０３は、複数のサブブロックの水平方向のエッジ強度を抽出し、ステップＳ１５２において、複数のサブブロックの垂直方向のエッジ強度を抽出する。

これにより、例えば、図７を参照して上述したように、それぞれのサブブロックの位置に、それぞれのサブブロックの垂直方向のエッジ強度の値のみが埋め込まれた行列のデータとしてデータv0が取得され、それぞれのサブブロックの位置に、それぞれのサブブロックの水平方向のエッジ強度の値のみが埋め込まれた行列のデータとしてデータh0が取得される。

ステップＳ１５３において、テロップ領域検出部２０３は、フィルタ処理をする。

このとき、例えば、図７を参照して上述したように、入力されたデータv0とデータh0の各値に、それぞれ垂直フィルタ２６１と水平フィルタ２６２に記載された数値が、乗算器２７１と乗算器２７２によってそれぞれ乗じられ、さらに、それぞれの数値が乗じられた９つの値の合計値が、垂直方向エッジ指数と水平方向エッジ指数として乗算器２７１と乗算器２７２により算出される。

なお、この水平方向エッジ指数と垂直方向エッジ指数は、データv0またはデータh0の中央の位置のサブブロックに対応する垂直方向エッジ指数（データv1）と水平方向エッジ指数（データh1）として算出される。

ステップＳ１５４において、テロップ領域検出部２０３は、縦、横、斜方向のストライプを検出する。

このとき、例えば、図７を参照して上述したように、閾値判定部２８１により、データv1の値が予め設定された縦閾値より大きいか否かが判定され、例えば、データv1の値が予め設定された縦閾値より大きいと判定された場合、値「１」が出力され、データv1の値が縦閾値より大きくないと判定された場合、値「０」が出力される。同様に、閾値判定部２８３により、データh1の値が予め設定された横閾値と比較され、値「１」または値「０」が出力される。さらに、閾値判定部２８２により、データd1の値が予め設定された斜閾値と比較され、値「１」または値「０」が出力される。

ステップＳ１５５において、テロップ領域検出部２０３は、縦、横、斜の各方向にそれぞれストライプが検出されたか否かを判定する。例えば、図７の論理積演算器２９１が、閾値判定部２８１乃至閾値判定部２８３の出力値の論理積を演算し、その演算結果が値「１」である場合、縦、横、斜の各方向にそれぞれストライプが検出されたと判定し、処理はステップＳ１５６に進む。

ステップＳ１５６において、テロップ領域検出部２０３は、当該サブブロックを、テロップのサブブロックであるものとして検出する。

一方、ステップＳ１５５において、図７の論理積演算器２９１の演算結果が値「０」である場合、縦、横、斜の各方向にそれぞれストライプが検出されなかったと判定され、ステップＳ１５６の処理はスキップされて処理が終了する。

このようにして、テロップのサブブロックが検出される。

図１３と図１４を参照して、本発明のテロップ検出装置２００によるテロップの検出結果について説明する。

図１３は、画像の中に表示されているテロップの画像の特徴量の分布を説明するグラフである。同図は、図中横軸方向（ｘ軸方向）が、図７を参照して上述したデータv1の値を表しており、図中縦軸方向（y軸方向）が図７を参照して上述したデータh1の値を表しており、それぞれのデータv1とデータh1の値のサブブロックにおいて、テロップが存在する確率の高さを、紙面と垂直となる軸方向（ｚ軸方向）に表しており、同図に示される「２００００」、「４００００」などの数値は、テロップが存在する確率の高さを等高線として表すためのものである。

同図において、紙面の高さは、テロップが存在する確率の高さが約５０％の位置に対応し、紙面から上に向かうほど、テロップが存在する確率は高くなり、紙面より下に向かうほど、テロップが存在する確率は低くなるものとする。従って、同図の紙面の高さでは、等高線の数値は「０」となる。

同図において、図中左下側は、等高線の数値が「−２００００」、「−４００００」などと表示されているように、テロップが存在する確率は極めて低い。すなわち、データv1と、データh1とがともに低い値となるサブブロックにおいて、テロップが存在している確率は極めて低い。この領域では、データv1、データh1ともに低い値であり、この領域のサブブロックの画像においては、例えば、ストライプ模様のようなエッジは検出されなかったことになる。

また、同図の図中右下側も等高線の数値が「０」程度となり、やはりテロップが存在する確率は極めて低い。図中の領域３５１では、等高線の記載はないが、実際には「−２００００」乃至「０」程度となる。領域３５１では、データh1の値は低いものの、データv1の値はかなり高いので、かなりのエッジ強度が検出されたはずである。しかしながら、領域３５１は、例えば、ブラインドの画像などが表示されたサブブロックである確率が高く、結果としてテロップが存在する確率は極めて低いものとなる。

このように、テロップが存在する確率が極めて低い領域が除去されるように、図７の縦閾値、横閾値、斜閾値を設定する必要がある。本発明においては、例えば、図１３の線３７１、線３７２、および線３７３で示されるように、それぞれ縦閾値、横閾値、斜閾値が設定される。このようにすることで、テロップが存在する確率が極めて低いサブブロックが、テロップが含まれるサブブロックとして検出されてしまうことが抑止される。特に、線３７１と線３７２に加えて、線３７３（斜閾値）を設定したことにより、図中左下側のテロップが存在する確率は極めて低い領域が、テロップが含まれるサブブロックとしての検出対象サブブロックから、適切に除去されるようになされている。

図１４は、従来の方式により、テロップが含まれるサブブロックを検出した場合と、本発明のテロップ検出装置２００によりテロップが含まれるサブブロックを検出した場合とを比較したグラフである。

同図においては、図中横軸が再現率とされ、図中縦軸が適合率とされており、従来の方式により、テロップが含まれるサブブロックを検出した場合と、本発明のテロップ検出装置２００によりテロップが含まれるサブブロックを検出した場合の再現率と適合率の変化が、それぞれ線４０１と線４０２で示されている。

ここで、再現率と適合率について説明する。

例えば、テロップ検出装置２００によりテロップが含まれるサブブロックとして検出されたサブブロックであって、実際にテロップが含まれていたサブブロックの集合をｔｐ（true-positive）とし、テロップ検出装置２００によりテロップが含まれるサブブロックとして検出されたサブブロックであって、実際にはテロップが含まれていなかったサブブロックの集合をｆｐ（false-positive）とする。

また、実際にはテロップが含まれていたにも係らずテロップ検出装置２００によりテロップが含まれるサブブロックとして検出されなかったサブブロックの集合をｆｎ（false-negative）とし、実際にテロップが含まれておらずテロップ検出装置２００によりテロップが含まれるサブブロックとして検出されなかったサブブロックの集合をｔｎ（true-negative）とする。

例えば、１枚の画像を構成するサブブロック全体の集合の中でのｔｐ、ｆｐ、ｆｎ、およびｔｎの関係は、図１５に示されるようになる。すなわち、ｆｎとｔｐの和が実際にテロップが含まれていたサブブロック（正解）であり、ｔｐとｆｐの和がテロップ検出装置２００によりテロップが含まれるサブブロックとして検出されたサブブロック（検出結果）である。

再現率は、正解のうち、実際に検出された割合を表すものであって、次式により求められる。

再現率＝ｔｐ／（ｔｐ＋ｆｎ）

適合率は、検出結果の中での正解の割合を表すものであって、次式により求められる。

適合率＝ｔｐ／（ｔｐ＋ｆｐ）

テロップ検出装置の検出性能の観点からのみいえば、再現率および適合率ともに１００％を実現することが望ましいが、実際には、このような検出結果を得ることは難しい。

例えば、図２に示した画像において、図１６に示されるような楕円で囲まれた領域のサブブロックがテロップ検出装置２００によりテロップが含まれるサブブロックとして検出された場合、再現率１００％となる。ただし、図１６の楕円で囲まれた領域には、テロップではない画像も含まれている。

すなわち、極論すればテロップが含まれるか否かにかかわらず、全てのサブブロックを検出した場合、tn = fn = 0 となるため再現率は100%となるが、適合率は低くなる。

また、例えば、図２に示した画像において、図１７に示されるような楕円で囲まれた領域のサブブロックがテロップ検出装置２００によりテロップが含まれるサブブロックとして検出された場合、適合率１００％となる。ただし、図１７の楕円で囲まれた領域には、テロップの画像のごく一部が含まれているにすぎず、他にも検出されるべき領域が残っている。

すなわち、極論すれば、画面全体の中から1個のサブブロックのみを検出し、それが正解であれば適合率は100% となるが、再現率は低くなる。

ここでは、テロップの文字列の中に存在する空白の領域なども正解（テロップが含まれている）として考え、文字の間隔等から文字列の中に存在する文字と空白の領域の比率を５０％と想定し、再現率５０％の検出結果が得られたときの適合率について従来の方式と本発明との違いを説明する。

図１４に戻って、例えば、再現率５０％の検出結果が得られた場合、線４０１で示される従来の方式では、適合率が６８％（０．６８）であったのに対して、線４０２で示される本発明によれば、適合率は９２％（０．９２）となっている。また、再現率５０％の検出結果が得られた場合、線４０１で示される従来の方式では、誤認識率が３２％（＝１−０．６８）であったのに対して、線４０２で示される本発明によれば、誤認識率は８％（＝１−０．９２）となっている。

すなわち、本発明により、従来の方式と比較して適合率は２４％程度向上し、誤認識率は、１／４程度に低下したと言える。

また、線４０２は、再現率が０に近づくに従って適合率が１．０（１００％）に近づいていくが、線４０１は、再現率が０に近づくに従って適合率が０．２（１００％）程度に近づいている。

すなわち、従来の方式では、例えば、閾値を厳格に設定するなどして、再現率を犠牲にしてでも高い適合率を得ることが難しかったのに対して、本発明では、ある程度再現率を犠牲にすれば、それだけ高い適合率を得ることが可能である。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。

図１８において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。

入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

従来、テロップを検出するために行われていたエッジ検出の例を説明する図である。 テロップが含まれた画像の例を示す図である。 従来の方式により、HDの画像とＳＤの画像が混在する画像のエッジ検出を行う場合の問題点を説明する図である。 従来の方式により、HDの画像とＳＤの画像が混在する画像のエッジ検出を行う場合の問題点を説明する図である。 本発明の一実施の形態に係るテロップ検出装置の構成例を示すブロック図である。 図５のサブブロックエッジ検出部の詳細な構成例を示す図である。 図５のテロップ領域検出部の詳細な構成例を示す図である。 テロップの文字の画像の輝度の変化の特性を説明する図である。 テロップではない画像の輝度の変化の特性を説明する図である。 テロップ検出処理の例を説明するフローチャートである。 サブブロックエッジ検出処理を説明するフローチャートである。 テロップ領域検出処理を説明するフローチャートである。 画像の中に表示されているテロップの画像の特徴量の分布を説明するグラフである。 従来の方式により、テロップが含まれるサブブロックを検出した場合と、本発明によりテロップが含まれるサブブロックを検出した場合とを比較したグラフである。 適合率と再現率を説明する図である。 適合率と再現率を説明する図である。 適合率と再現率を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

２００ テロップ検出装置， ２０１ 領域抽出部， ２０２ サブブロックエッジ検出部， ２０３ テロップ領域検出部， ２２１ 演算器， ２２２ 演算器， ２３１ 最小値抽出部， ２３２ 最大値抽出部， ２３３ 最小値抽出部， ２３４ 最大値抽出部， ２４１ 演算器， ２４２ 演算器， ２６１ 垂直フィルタ， ２６２ 水平フィルタ， ２７１ 乗算器， ２７２ 乗算器， ２７３ 加算器， ２８１ 閾値判定部， ２８２ 閾値判定部， ２８３ 閾値判定部， ２９１ 論理積演算器

Claims (7)

1. 入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置であって、
   前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、
   前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、
   前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、
   前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、
   前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部と
   を備える検出装置。
2. 注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第１の指標を抽出して、前記第１の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる水平フィルタにより処理して得られる水平処理データと、
   前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第２の指標を抽出して、前記第２の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる垂直フィルタにより処理して得られる垂直処理データとに基づいて、
   前記注目するサブブロックに、テロップが含まれているか否かを判定し、その判定結果を表す情報を、前記テロップが含まれる領域を特定するための第３の指標として出力するテロップ情報出力手段をさらに備える
   請求項１に記載の検出装置。
3. 前記テロップ情報出力手段は、
   前記水平処理データと、前記垂直処理データとに基づいて、斜処理データをさらに生成し、
   前記水平処理データの値が第１の閾値を超え、前記垂直処理データの値が第２の閾値を超え、かつ前記斜処理データの値が第３の閾値を超えた場合、前記注目するサブブロックに、テロップが含まれていると判定する
   請求項２に記載の検出装置。
4. 前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、水平方向のストライプ模様の画像が含まれる場合、高い値の前記水平処理データが得られるように、前記数値が設定され、
   前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、垂直方向のストライプ模様の画像が含まれる場合、高い値の前記垂直処理データが得られるように、前記数値が設定される
   請求項２に記載の検出装置。
5. 入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置の検出方法であって、
   前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割し、
   前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出し、
   前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出し、
   前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出し、
   前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出するステップ
   を含む検出方法。
6. 入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出処理をコンピュータに行わせるプログラムであって、
   コンピュータを、
   前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、
   前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、
   前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、
   前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、
   前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部として機能させる
   プログラム。
7. 請求項５に記載のプログラムが記録されている記録媒体。

Images