JP2007329832A - 画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】簡単な構成で確実にテロップを含んだ画像を検出することができるようにする。
【解決手段】特徴検出処理系１２２においては、ブロック抽出処理系２０１、エッジ検出系２０２、および移動処理系２０７により、画像の中の所定の位置に設定されたブロックの中にエッジがどれだけ含まれているかが検出され、ノイズ処理系２０３、波形補正処理系２０４、および周期性検出処理系２０５により、各ブロックの位置に対応して検出されたエッジ数の変化の周期性が検証され、判定処理系２０６により、テロップが含まれている可能性が高いか否かが判定される。本発明は、ハードディスクレコーダに適用することができる。
【選択図】図２

Description

本発明は、画像信号処理装置および方法、検出装置および方法、プログラム、並びに記録媒体に関し、特に、簡単な構成で確実にテロップを含んだ画像を検出することができるようにする画像処理装置および方法、検出装置および方法、プログラム、並びに記録媒体に関する。

近年、放送番組などをＭＰＥＧ（Moving Picture Coding Experts Group）などの圧縮信号処理により所定の信号処理を行ってハードディス（ＨＤＤ）など所定の情報信号記録媒体に記録する記録装置（ハードディススクレコーダ、ＨＤＤレコーダ）が広く普及している。

今後、記録媒体の大容量、低価格化、デジタル放送による画像音声コンテンツの多様化、ホームサーバのさらなる普及その他の要因により、画像音声コンテンツの記録蓄積量はますます増大すると予想される。

そこで、蓄積された大量のコンテンツを効率よく視聴する技術が期待されている。例えば、画像音声情報信号から所定の特徴抽出処理を行い、情報信号の構造を解析し、所定のセグメントなどの区間に分け、その区間毎に所定の評価値処理を行い、その評価値に応じて、再生制御を行なうことにより、長時間のコンテンツを短時間で再生する処理が考えられる。

また、このように情報信号の構造を解析することにより、所定の区間に特徴点または特徴位置情報信号（チャプタ点情報）を設定し、その設定位置情報により、検索、編集処理などを行うことも考えられる。コンテンツの画像音声信号の構造を解析する場合、例えば、画像信号を分析して所定の再生区間に対応する代表画像を検出することが行われる。

例えば、ニュース番組では、報道するニュースの内容に対応してテロップが表示されることが多い。すなわち、例えば、連続する画像の中において、テロップなどが出現する画像を検出することで、その画像を代表画像とした再生区間の表示などを行うことが可能と考えられる。

テロップ検出に関する技術については、例えば、特許文献１のような技術が提案されている。
特開２００４−８０１５６号公報

しかしながら、従来の技術により行われるテロップ検出では誤検出が行われる場合がある。

本発明はこのような状況に鑑みてなされたものであり、簡単な構成で確実にテロップを含んだ画像を検出することができるようにするものである。

本発明の第１の側面は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する画像処理装置である。

前記ブロック移動手段は、前記画像データに対応する画像の予め設定された位置において、水平方向または垂直方向に、予め設定された回数だけ前記ブロックの位置を移動させるようにすることができる。

前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれる画像データを、テロップが含まれる画像の画像データとして出力し、前記信号生成手段により生成された信号の波形のピーク値に基づいて、前記テロップの文字の大きさを表す情報を生成し、前記ブロックが、前記ブロック移動手段により水平方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号と、前記ブロックが、前記ブロック移動手段により垂直方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号とに基づいて前記テロップの位置を特定する情報を生成するようにすることができる。

前記エッジ検出手段は、微分法、Sobel法、またはRoberts法により、前記ブロックの画像に含まれるエッジを検出するようにすることができる。

前記周波数成分検出手段は、前記信号生成手段により生成された信号にFFT（Fast Fourier transform）処理を施すことで前記信号の周波数のパワーを算出し、前記判定手段は、所定の周波数のパワーが予め設定された閾値を超える場合、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定するようにすることができる。

前記エッジ検出手段により検出されたエッジからノイズによるエッジを除去するノイズ除去手段をさらに備えるようにすることができる。

本発明の第１の側面は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、前記抽出されるブロックの位置を、所定の距離だけ移動させ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、前記生成された信号の波形の周波数成分を検出し、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力するステップを含む画像処理方法である。

本発明の第１の側面は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックの抽出を制御し、前記抽出されるブロックの位置を、所定の距離だけ移動させるように制御し、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジの検出を制御し、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号の生成を制御し、前記生成された信号の波形の周波数成分の検出を制御し、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かの判定を制御し、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力するように制御するステップを含むコンピュータが読み取り可能なプログラムである。

本発明の第１の側面においては、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックが抽出され、前記抽出されるブロックの位置が、所定の距離だけ移動させられ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジが検出され、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号が生成され、前記生成された信号の波形の周波数成分が検出され、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かが判定され、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データが、代表画像の画像データとして出力される。

本発明の第２の側面は、テロップが表示された画像を検出する検出装置であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する検出装置である。

本発明の第２の側面は、テロップが表示された画像を検出する検出装置の検出方法であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、前記抽出されるブロックの位置を、所定の距離だけ移動させ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、前記生成された信号の波形の周波数成分を検出し、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出するステップを含む検出方法である。

本発明の第２の側面においては、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックが抽出され、前記抽出されるブロックの位置が、所定の距離だけ移動させられ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジが検出され、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号が生成され、前記生成された信号の波形の周波数成分が検出され、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かが判定され、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データが、テロップが含まれる画像として検出される。

本発明によれば、簡単な構成で確実にテロップを含んだ画像を検出することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理装置は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段（例えば、図２のブロック抽出処理系２０１）と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段（例えば、図２の移動処理系２０７）と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段（例えば、図２のエッジ検出系２０２）と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段（例えば、図２の波形補正処理系２０４）と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段（例えば、図２の周期性検出処理系２０５）と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段（例えば、図２の判定処理系２０６）とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する。

この画像処理装置は、前記エッジ検出手段により検出されたエッジからノイズによるエッジを除去するノイズ除去手段（例えば、図２のノイズ処理系２０３）をさらに備えるようにすることができる。

本発明の第１の側面の画像処理方法は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し（例えば、図１２のステップS１０１およびS１０２の処理）、前記抽出されるブロックの位置を、所定の距離だけ移動させ（例えば、図１２のステップS１０５の処理）、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し（例えば、図１２のステップS１０４の処理）、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し（例えば、図１２のステップS１０７の処理）、前記生成された信号の波形の周波数成分を検出し（例えば、図１２のステップS１０８の処理）、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し（例えば、図１２のステップS１０９の処理）、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する（例えば、図１２のステップS１１０の処理）ステップを含む。

本発明の第２の側面の検出装置は、テロップが表示された画像を検出する検出装置であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段（例えば、図２のブロック抽出処理系２０１）と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段（例えば、図２の移動処理系２０７）と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段（例えば、図２のエッジ検出系２０２）と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段（例えば、図２の波形補正処理系２０４）と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段（例えば、図２の周期性検出処理系２０５）と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段（例えば、図２の判定処理系２０６）とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する。

本発明の第２の側面の検出方法は、テロップが表示された画像を検出する検出装置の検出方法であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し（例えば、図１２のステップS１０１およびS１０２の処理）、前記抽出されるブロックの位置を、所定の距離だけ移動させ（例えば、図１２のステップS１０５の処理）、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し（例えば、図１２のステップS１０４の処理）、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し（例えば、図１２のステップS１０７の処理）、前記生成された信号の波形の周波数成分を検出し（例えば、図１２のステップS１０８の処理）、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し（例えば、図１２のステップS１０９の処理）、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出するステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は本発明を適用した記録再生装置１００の一実施の形態に係る構成例を示すブロック図である。記録再生装置１００は、例えば、DVD（Digital Versatile Disk）レコーダ、またはHDD（Hard Disk Drive）レコーダとして構成され、記録された大量のコンテンツを効率よく視聴するために、また、コンテンツの編集や特定のシーンの検索を容易にするために、画像音声情報信号から所定の特徴抽出処理を行い、コンテンツの再生制御を行なうことにより、長時間のコンテンツを短時間で再生する処理が可能となるようになされている。

同図において、記録再生装置１００には、映像信号、および音声信号などからなるコンテンツの信号が入力信号として入力され、記録再生処理系１２１より、デジタルデータに変換されてDVD、HDDなどで構成される所定の記録媒体に記録される。

記録再生処理係１２１により記録されるコンテンツのデータは、必要に応じて特徴検出処理系１２２に供給される。詳細については後述するが、特徴検出処理系１２２は、コンテンツの画像データを解析し、予め定められた特徴を有する画像を検出することで、代表画像の候補となる画像データを検出する。

代表画像は、例えば、ユーザが記録したコンテンツを再生するとき、再生開始位置や再生区間などを指定するときに参照する画像であって、コンテンツの映像の中で画面にテロップが表示された画像とされる。

出力処理系１２３は、例えば、特徴検出処理系１２２により検出された画像の中から所定の基準に基づいて選択された画像を、例えば、LCD（Liquid Crystal Display）やスピーカなどを有する出力装置に表示させる出力信号を生成して出力するとともに、上述した代表画像を参照したユーザの操作に基づいて、記録再生処理系１２１により記録されたコンテンツの所定の区間のデータを再生させて、その映像と音声を、出力装置から出力させる出力信号を生成して出力するように構成されている。

図２は、図１の特徴検出処理系１２２の詳細な構成例を示すブロック図である。この特徴検出処理系１２２は、テロップが含まれている画像の特徴を検出する処理を行うものであって、画像の中の所定の位置のエッジ数の変化の周期性に基づいてテロップの存在を検出するようになされている。

通常テロップは、例えば、画面の下側などに所定の大きさのフォントによる文字列として表示される。本発明では、テロップの文字同士の間隔がほぼ等しいことに着目し、画像の中の所定の位置のエッジ数の変化に周期性がある場合、その画像は、テロップが含まれている可能性が高い画像として検出する。

同図において、ブロック抽出処理系２０１は、特徴を解析すべき画像データにおいてエッジ検出系２０２によるエッジ検出を行う単位量であって、例えば、予め設定された個数の画素により構成されるブロックを抽出する。

エッジ検出系２０２は、後述する方式によりブロック抽出処理系２０１により抽出されたブロックに含まれるエッジを検出し、そのブロックにおいて検出されたエッジ数をノイズ処理系２０３に供給する。

移動処理系２０７は、ブロック抽出処理系２０１により抽出されるブロックの位置を、所定の量（距離）だけ移動させるようにブロック抽出処理系２０１を制御する。なお、ブロック抽出処理系２０１により抽出されるブロックを複数とし、所定の数のブロックにより構成されるウィンドウが移動させられるようにしてもよい。なお、この移動は、通常複数回行われる。

移動処理系２０７が、上述したブロックまたはウィンドウを所定の量だけ移動させる都度、エッジ検出系２０２は、そのときの個々のブロックに含まれるエッジの検出を行う。そして、移動処理系２０７により、ブロックまたはウィンドウが最初に抽出された位置から予め設定された距離だけ移動されるか、または、予め設定された回数だけ移動が行われるまでエッジ検出系２０２によるエッジの検出が繰り返し行われる。

ノイズ処理系２０３は、エッジ検出系２０２から供給されるエッジ数をチェックし、後述するように、ノイズを除去する。ここで、ノイズは、誤検出されたエッジ、特徴検出処理系１２２による代表画像（いまの場合、テロップを含んだ画像）の検出において必要のないエッジなどとされる。

波形補正処理系２０４は、エッジ検出系２０２により検出され、ノイズ処理系２０３の処理を経たデータに基づいて、ブロックまたはウィンドウの位置の変化に対応するエッジ数の変化を、波形として認識可能となるような信号を生成するとともに、この後、周期性検出処理系２０５による処理に適した状態となるように、生成される信号の波形を補正する。

例えば、波形補正処理系２０４は、ブロックまたはウィンドウの位置の変化に対応するエッジ数の変化を表す信号に対して自己相関演算処理を実行することで、波形におけるピークを強調するなどの補正を行う。

なお、ノイズ処理系２０３が波形補正処理系２０４に含まれて構成されるようにしてもよい。

周期性検出処理系２０５は、波形補正処理系２０４から供給される信号の波形に周期性があるか否かを判定するために必要となる処理を実行する。例えば、周期性検出処理系２０５は、波形補正処理系２０４から供給される信号に対してFFT（Fast Fourier Transform：高速フーリエ変換）などの処理を施すことで周波数解析を行い、解析結果から特定の周波数におけるパワー（フーリエ変換した際のフーリエ級数組（実部の係数と虚部の係数の組）のそれぞれの２乗の和）が予め設定された閾値を超えているか否かを判定し、閾値を超えていると判定された周波数、およびパワーの値を判定処理系２０６に出力する。

あるいはまた、周期性検出処理系２０５は、波形補正処理系２０４から供給される信号に対していわゆるゼロクロス検出処理を施して信号をパルス化し、個々のパルスの間隔の分散値を演算するようにしてもよいし、また、信号の波形のピークの間隔を測定し、個々の間隔の分散値を演算して分散値を閾値と比較することにより、周期性があるか否かが検出されるようにしてもよい。

判定処理系２０６は、周期性検出処理系２０５から供給されるデータに基づいて、波形補正処理系２０４から供給される信号の波形において、テロップが含まれている可能性の根拠となる周期性があるか否かを判定する。そして、波形補正処理系２０４から供給される信号の波形において、テロップが含まれている可能性の根拠となる周期性があると判定された場合、その判定結果を表すフラグなどとともに、検出された画像（フレームなど）を特定する情報、画面の中でテロップが検出された位置、テロップの文字の大きさ、文字の間隔などを表す情報を検出データとして出力する。

すなわち、特徴検出処理系１２２においては、ブロック抽出処理系２０１、エッジ検出系２０２、および移動処理系２０７により、画像の中の所定の位置にエッジがどれだけ含まれているかを検出し、ノイズ処理系２０３、波形補正処理系２０４、および周期性検出処理系２０５により、検出されたエッジ数の変化の周期性を検証し、判定処理系２０６により、テロップが含まれている可能性が高いか否かが判定されることになる。

図３乃至図１１を参照してさらに詳細に説明する。

図３は、テロップの特徴を説明する図である。同図においては、例えば、画面の下側などに横書きのテロップとして「原理説明図」の文字列が表示されている場合の例について説明する。

図３の上側に示されている文字列において、隣接する文字と文字との間隔が距離t1乃至ｔ4として示されている。すなわち、文字「原」と文字「理」との間の間隔は距離t1であり、文字「理」と文字「説」との間の間隔は距離t2であり、・・・、文字「明」と文字「図」との間の間隔は距離t4である。

画面に表示されるテロップは、コンテンツを視聴するユーザにとって見易い状態で表示され、通常、テロップの文字列の中の隣り合う文字同士の間隔はほぼ均等に配置される。すなわち、いまの場合、距離t1乃至t4について次式で示される関係が成り立つ。

t1≒t2≒t3≒t4

一方、テロップは、コンテンツを視聴するユーザにとって見易い状態で表示されるものなので、画像の中のテロップの文字は、通常、背景とは極端に明るさが異なる色で表示される。従って、画像の中でテロップの文字が表示されている部分の画素値を解析すれば、多数のエッジが検出されることになる。

例えば、図３の上側に示されるテロップについて、テロップの１文字にほぼ等しい程度の領域に含まれる画素の画素値を解析すれば、図３の下側に示されるようなエッジ数の変化が検出されることになる。図３の下側のグラフは、縦軸をエッジ数とし、横軸を画像の中の位置とし、各位置において検出されたエッジ数の変化を波形３０１として表している。ここで示されるように、文字が存在する位置では、エッジ数が多くなり、文字と文字との間では、エッジ数が少なくなる（ほぼ０になる）。

上述したように、テロップの文字列の中の隣り合う文字同士の間隔はほぼ均等に配置されるので、画像の中でテロップが表示されている部分において画素値を解析した場合、検出されるエッジ数が、位置に対応して周期的に変化する波形として観察されるはずである。

ここでエッジの検出方式について説明する。エッジは信号が変化をする部分なので、信号の変化分を取り出す微分(Gradient)を用いて検出する方式が一般的である。２次元の画像について微分によるエッジ検出を行う場合、例えば、次式により水平方向（X方向）の微分量ｆｘと垂直方向（Ｙ方向）の微分量ｆｙを算出する。

fx = s(i+1,j) - s(i,j)
fy = s(i,j+1) - s(i,j)

ここで、s(i,j）は、X方向の座標位置がｉであり、Ｙ方向の座標位置jである画素の値を表すものとする。

そして、算出された微分量に基づいて、座標位置(i,j）におけるエッジの強さｅ(i,j)を次式により算出する。

e(i,j) = fx×fx + fy×fy

または、次式のように算出してもよい。

e(i,j) = |fx| + |fy|

このように算出されたエッジの強さが、例えば予め設定された閾値を超える場合、１個のエッジとしてカウントされるようにし、画像の中の所定の領域におけるエッジ数が検出されるようにすればよい。なお、ここでは、注目画素の画素値s(i,j)と、注目画素に隣接する画素の画素値ｓ(i+1,j)、s(i,j+1)との差分による微分の例について説明したが、注目画素に隣接する画素の画素値ｓ(i-1,j)、s(i,j-1)との差分などによる微分が行われるようにすることも可能である。

実際に画像のエッジを検出する場合、例えば、処理点と近傍領域によるオペレータ（演算子）を使用してフィルタ処理を行い、種々の方式でエッジの検出が行われる。フィルタは、例えば、図４に示されるように設定される。図４Ａと図４Ｂは、９（=３×３）個の画素に対応する画素位置に設定されるX方向の微分量ｆxとＹ方向の微分量ｆｙを算出するためのフィルタの例を示している。

同図においては、９個の枠のうちの中央の枠（上から２番目であって、左から２番目の枠）を注目画素としてフィルタ処理が行われ、それぞれの画素位置に対応する枠内に記述された値を、係数としてその画素値に乗じることによりエッジの算出が行われるようになされている。図４Ａと図４Ｂのそれぞれ９個の枠の内中央の枠を、座標(i,j）で表した場合、図４Ａと図４Ｂのフィルタにより、次式のように微分量が演算されることになる。

fx = s(i,j) - s(i-1,j)
fy = s(i,j) - s(i,j-1)

図４Ａと図４Ｂの場合、結果として上述した微分量の演算と同様の演算が行われることになり、このようなフィルタの設定を行う方式は、微分法と呼ばれている。

この他、図５Ａと図５Ｂに示されるような、Sobel法と呼ばれる方式でフィルタが設定されるようにしてもよいし、図６Ａと図６Ｂに示されるような、Roberts法と呼ばれる方式でフィルタが設定されるようにしてもよい。図５Ａおよび図５Ｂ、または図６Ａおよび図６Ｂの場合も、図４Ａおよび図４Ｂの場合と同様に、９個の枠のうちの中央の枠（上から２番目であって、左から２番目の枠）を注目画素としてフィルタ処理が行われ、それぞれの画素位置に対応する枠内に記述された値を、係数としてその画素値に乗じることによりエッジの算出が行われるようになされている。

このようにエッジ数を画像の中の複数の位置において検出し、各位置において検出されたエッジ数の変化を波形として表したものが、図３下側のグラフであるが、波形が周期的に変化するか否かを確実に調べるために、例えば、自己相関演算処理などが施されて、図７に示されるようなグラフを得るようにしてもよい。図７は、図３下側のグラフの波形に対して自己相関演算処理を行った処理結果（自己相関演算値）を表すグラフであり、横軸が位置、縦軸が自己相関演算値とされ、各位置に対応する自己相関演算値の変化が波形３１１として示されている。同図に示されるように、波形３１１は、図３下側のグラフの波形３０１の場合と比較して、より波形のピーク値が高くなり、波形の形状が強調されている。

上述したように、特徴検出処理系１２２においては、ブロック抽出処理系２０１により、例えば所定の数のブロックにより構成されるウィンドウが抽出され、そのウィンドウ内のエッジがエッジ検出系２０２により検出されるとともに、移動処理系２０７によりウィンドウの位置が移動されていく。

例えば、図８に示されるように、画像の中でテロップの文字列の一部である「原理」が表示されている部分に、ウィンドウ４０１が設定され、そのウィンドウに含まれる画素について、例えば、図４乃至図６を参照して上述した方式によりエッジの検出が行われ、検出されたエッジ数が記録されていく。いまの場合、ウィンドウ４０１は、図中垂直方向に並べられたブロックA乃至Cの３つのブロックにより構成されており、エッジの検出も、ブロックA乃至Cのそれぞれのブロックに含まれる画素について行われる。

ウィンドウ４０１の３つのブロックのそれぞれに含まれる画素についてのエッジの検出が終了すると、ウィンドウ４０１の設定は、解除され、ブロックA乃至Cの図中水平方向の位置が図中右側に移動され、点線で示されるウィンドウ４０２が設定される。なお、実際には、ウィンドウ４０２は、図中垂直方向の位置がウィンドウ４０１と同じになるように設定される。

ウィンドウ４０２が設定されると、やはり、そのウィンドウ（３つのブロック）に含まれる画素について、エッジの検出が行われ、検出されたエッジ数が記録されていく。そして、ウィンドウの位置が序々に図中右方向に移動されていく。ウィンドウ４０３は、ウィンドウ４０２が設定された後、さらに何度か移動が行われたときの図中水平方向の位置を示しており、実際には、ウィンドウ４０３の図中垂直方向の位置もウィンドウ４０１と同じになるように設定される。

このように、ウィンドウの図中水平方向の位置を、ウィンドウ４０１の位置、ウィンドウ４０２の位置、・・・ウィンドウ４０３の位置、・・・と移動させ、そのウィンドウに含まれるエッジ数を検出していくと、図８下側に示されるグラフのようになる。このグラフは、横軸が位置（いまの場合、図中水平方向の位置）とされ、縦軸がエッジ数とされ、各位置におけるエッジ数の変化が波形４３１として示されている。なお、グラフの縦軸が、自己相関演算値とされるようにしてもよい。

このように、テロップの文字が表示されている位置においては、エッジ数が多く検出され、文字と文字との間では、エッジ数が検出されないという画像の特徴が波形４３１として表れることになる。

図９は、図８の場合と比較してテロップの文字が小さい場合の例を示す図である。同図において、ブロックA乃至Cの大きさは図８の場合と変わらず、文字列（の一部）「原理」の文字サイズが図８の場合よりも小さくなっているものとする。

そして、図８の場合と同様に、ウィンドウと、ウィンドウ４１１乃至４１３で示されるように移動させ、それらのウィンドウに含まれる画素についてエッジ検出を行い、検出されたエッジ数をグラフで表すと、図９下側のグラフのようになる。

このグラフは、やはり横軸が位置（いまの場合、図中水平方向の位置）とされ、縦軸がエッジ数とされ、各位置におけるエッジ数の変化が波形４３２として示されている。なお、グラフの縦軸が、自己相関演算値とされるようにしてもよい。

波形４３２においても、テロップの文字が表示されている位置においては、エッジ数が多く検出され、文字と文字との間では、エッジ数が検出されないという画像の特徴があらわれているが、波形４３１の場合と異なり、波形のピーク値がより低い値となっている。

すなわち、図８の場合、サイズの大きい文字が表示されており、文字が表示されている位置では、ブロックA乃至Cの３つのブロックのそれぞれからエッジが検出されることになるが、図９の場合、サイズの小さい文字が表示されており、文字が表示されている位置であっても、エッジが検出されるのは、主にブロックＢからとなり、ブロックAとブロックCからはエッジが殆ど検出されない。したがって、図９の場合、図８の場合と比較して、検出されるエッジ数はより少ないものとなり、波形４３２のピーク値もより低い値となっている。

このように、検出されたエッジ数の変化を表す波形においてピーク値を調べることで、テロップの文字の大きさを、ほぼ特定することができる。

図３、図８、および図９においては、図中水平方向に文字が並べられた文字列のテロップを例として説明したが、実際に表示される画像においてテロップは、水平方向一列にならべられているとは限られない。このため、特徴検出処理系１２２は、例えば、図１０に示されるように画面の水平方向と垂直方向に、それぞれウィンドウを移動させてエッジの検出を行う。

図１０の例では、画面（画像）４５１に文字が水平方向に並べられた文字列「原理説明図」が２列表示されている。画面４５１において、ウィンドウを水平方向に移動させてエッジ検出を行うことにより、図中下側のグラフの波形４６１が検出されることになり、ウィンドウを垂直方向に移動させてエッジ検出を行うことにより、図中右側のグラフの波形４６２が検出されることになる。なお、図１０の図中下側のグラフは、横軸が画面４５１の水平方向の位置とされ、縦軸が検出されたエッジ数に対する自己相関演算値とされており、図中右側のグラフは、縦軸が画面４５１の垂直方向の位置とされ、横軸が検出されたエッジ数に対する自己相関演算値とされている。

波形４６１は、周期的な波形となっており、波形４６１により画面４５１に水平方向の文字列が表示されていることが分かる。また、波形４６２は、ピークが２つあるだけの波形であり、周期的とは言えないが、少なくともピークが形成されている位置（垂直方向の位置）においてエッジが多く検出されていることがわかる。

このように、波形４６１と４６２から、画面４５１においては、文字が水平方向に並べられた文字列が、（垂直方向に）２列表示されていることが分かる。

図１１の例では、画面（画像）４５２に文字が垂直方向に並べられた文字列「原理説明図」が１列表示されている。画面４５１において、ウィンドウを水平方向に移動させてエッジ検出を行うことにより、図中下側のグラフの波形４６３が検出されることになり、ウィンドウを垂直方向に移動させてエッジ検出を行うことにより、図中右側のグラフの波形４６４が検出されることになる。なお、図１１の図中下側のグラフは、横軸が画面４５２の水平方向の位置とされ、縦軸が検出されたエッジ数に対する自己相関演算値とされており、図中右側のグラフは、縦軸が画面４５１の垂直方向の位置とされ、横軸が検出されたエッジ数に対する自己相関演算値とされている。

図１１の場合、波形４６４は、周期的な波形となっており、波形４６１により画面４５１に垂直方向の文字列が表示されていることが分かる。また、波形４６３は、ピークが１つあるだけの波形であり、周期的とは言えないが、少なくともピークが形成されている位置（水平方向の位置）においてエッジが多く検出されていることがわかる。

このように、波形４６３と４６４から、画面４５２においては、文字が垂直方向に並べられた文字列が、１列表示されていることが分かる。

次に、図１２のフローチャートを参照して記録再生装置１００によるテロップ検出処理について説明する。

ステップS１０１において、ブロック分割処理系２０１は、ブロックとウィンドウを生成する。このとき、例えば、図８または図９を参照して上述したように、ブロックとウィンドウが生成される。

ステップS１０２において、移動処理系２０７は、ウィンドウの位置を設定する。このとき、例えば、ウィンドウの移動方向を水平方向にするか垂直方向にするかが特定され、画像の中でウィンドウの最初の位置が設定される。

ステップS１０３において、移動処理系２０７は、ウィンドウが所定の量だけ移動させられたか否かを判定し、まだ所定の量だけ移動させられていないと判定された場合、処理は、ステップS１０４に進む。

ステップS１０４において、エッジ検出系２０２は、現在設定されているウィンドウの各ブロックに含まれる画素に基づいてエッジの検出を行う。このとき、例えば、図４乃至図６を参照して上述したようなフィルタによりエッジの検出が行われ、現在のウィンドウの位置に対応付けられて検出されたエッジ数が記憶される。

ステップS１０５において、移動処理系２０７は、ウィンドウの位置を移動させる。このとき、移動される量は、予め設定されるようにしてもよいし、例えば、ユーザが都度指定するなどして決められるようにしてもよい。なお、ウィンドウの移動量は、例えば、ブロックの１辺の長さを超えない距離に設定されるなど、充分短い距離に設定されることが望ましい。１回あたりのウィンドウの移動量を、充分に短く設定することで、テロップの文字の間隔が狭い場合でも、確実にテロップを検出することが可能となる。

ステップS１０５の処理の後、処理は、ステップS１０３に戻り、ウィンドウが所定の移動量だけ移動されたと判定されるまで、以降の処理が繰り返し実行される。なお、ウィンドウの移動は、例えば、図１０または図１１を参照して上述したように、画像の中で水平方向に所定の距離だけ移動させた後、垂直方向にも所定の距離だけ移動させられるようになされている。

ウィンドウが、水平方向と垂直方向にそれぞれ所定の距離だけ移動された場合、ステップS１０３では、所定の移動量だけ移動させられたと判定され、処理は、ステップS１０６に進む。

ステップS１０６においてノイズ処理系２０３は、画面の中の位置と、その位置で検出されたエッジ数の関係を表す波形を生成し、その波形からノイズを除去する。このとき、ステップS１０４の処理で検出されたエッジのうち、ノイズと考えられるものが除去される。ここでノイズは、テロップの文字によるエッジではなく、例えば、偶然画像の中の物体などの輪郭などがエッジとして検出されたものとし、このようなノイズが含まれる波形に基づいて周期性の検出を行うと、誤った結果が得られる恐れがある。

ノイズと考えられるエッジは、例えば、次のようにして除去される。いま、図１３に示されるような、９個のブロックと、それぞれのブロックにおいて検出されたエッジについて考える。図１３に示されるブロックａ１乃至ａ９のうち、中心のブロックａ５において検出されたエッジがノイズ（テロップの文字ではないエッジ）である場合、ブロックａ５に隣接するブロックa１乃至ａ４、およびブロックａ６乃至ａ９において、多くのエッジが検出される可能性は低いものと考えられる。換言すれば、ブロックａ５の位置にテロップの文字（または文字の一部）が存在する場合、ブロックａ５に隣接するブロックa１乃至ａ４、およびブロックａ６乃至ａ９にも、それぞれ文字（または文字の一部）が存在する可能性が高い。

ブロックａ５の位置を、位置ｐで表し、ブロックａ５に隣接するブロックa１乃至ａ４、およびブロックａ６乃至ａ９において検出されたエッジ数の総和をＮ(ｐ)とすると、ノイズの除去が行われた後の位置ｐにおけるエッジ数Ｄ(p)は、例えば、次式により算出することができる。

D(p) = k× N(p) ( if Th <= N(p) )
D(p) = 0 ( if Th > N(p) )

ここで、Thは、予め設定された閾値とする。

すなわち、あるブロックに隣接するブロックにおいて検出されたエッジ数の総和が充分少ない場合（閾値を下回る場合）、そのブロックで検出されたエッジは、ノイズであったものと判定され、検出されたエッジ数が０とされる。このようにして、ノイズの除去が行われる。

ステップS１０７において、波形補正処理系２０４は、ノイズ処理系２０３から出力される波形を、周期性検出処理系２０５において処理し易くするように補正する。ノイズが除去された後、画面の中の位置と、その位置で検出されたエッジ数の関係を表す波形に、例えば、自己相関演算処理などが施されることにより、波形補正処理系２０４による波形の補正の処理が行われ、補正された波形（信号）が周期性検出処理系２０５に供給される。なお、この波形（信号）は、図１０または図１１を参照して上述したように、画面の水平方向と垂直方向のそれぞれに対応する波形として供給される。

ステップS１０７の処理の後、処理は、ステップS１０８に進み、周期性検出処理系２０５は、ステップS１０７の処理により補正された波形の周期性を検出する。このとき、例えば、上述したように、波形に対してFFTなどの処理を施すことで周波数解析を行い、解析結果から特定の周波数におけるパワーが予め設定された閾値を超えているか否かを判定し、閾値を超えていると判定された周波数、およびパワーの値を取得する処理が行われる。

あるいはまた、波形に対していわゆるゼロクロス検出処理を施して信号をパルス化し、個々のパルスの間隔の分散値を演算するようにしてもよいし、また、信号の波形のピークの間隔を測定し、個々の間隔の分散値を演算して分散値を閾値と比較することにより、周期性があるか否かが検出されるようにしてもよい。個々のパルスの間隔、または信号の波形のピークの間隔のそれぞれを、xiで表すと、分散値σは、次式により算出することができる。

ステップS１０９において、判定処理系２０６は、ステップS１０８の処理結果のデータに基づいて、画像にテロップが含まれている可能性が高いか否かを判定する。

このとき、例えば、波形のピーク値、周期性が検出された波形に対して直交する方向の波形に基づいて、テロップの文字の大きさ、テロップの文字の並ぶ方向、またはテロップの表示列数などが認識され、予め設定された条件を満たす場合、画像にテロップが含まれていると判定される。

このようにすることで、例えば、画像の所定の位置に表示される文字列は、テロップとは関係なく表示されるものとして、無視するようにすることもできるし、余りに大きい文字列や余りに小さい文字列などもテロップとは関係ないものとして無視することができる。あるいはまた、あまりに字数が多い文字列なども、やはりテロップとは関係ないものとして無視することができる。その結果、例えば、番組の放映中に画面の一端に表示される交通情報や天候などの情報を、誤ってテロップとして検出してしまったり、画面に含まれる書類や看板などの映像を、誤ってテロップとして検出してしまうことが抑止される。

あるいはまた、テロップが含まれる画像の検出は、例えば、従来の技術を用いた他の方式により行われ、テロップの文字の大きさ、テロップの文字の並ぶ方向、またはテロップの表示列数などが上述した本発明の方式により検出されるようにすることも可能である。

ステップS１０９において、テロップが検出されたと判定された場合、処理は、ステップS１１０に進み、判定処理系２０６は、波形補正処理系２０４から供給される信号の波形において、その判定結果を表すフラグなどとともに、検出された画像（フレームなど）を特定する情報を検出データとしてする。

ステップS１１１において、判定処理系１１１は、さらに、画面の中でテロップが検出された位置、テロップの文字の大きさ、表示列数などを表す情報を検出データとして出力する。

このようにして、テロップ検出処理が行われる。テロップ検出処理により出力された検出データにより代表画像の画像データ（例えば、フレームの番号）が特定され、ユーザが記録したコンテンツを再生するとき、例えば、出力処理系１２３により、出力装置のディスプレイなどに代表画像が表示され、その代表画像を参照して再生開始位置や再生区間などをユーザが指定することで、所望の再生区間を簡単に再生することが可能となる。

例えば、画像の信号に対してハイパスフィルターなどの処理を施して高周波成分を検出することで、テロップを検出したり、あるいはまた、画像の特徴量を、予め記憶されたテロップの画像の特徴量と比較するなどしてテロップを検出する場合、画像の中に、特徴的な模様の物体や、高速で移動する物体などが写っていると、その画像をテロップとして誤検出してしまうおそれがある。

これに対して、本発明では、テロップの文字同士の間隔がほぼ等しいことに着目し、画像の中の所定の位置のエッジ数の変化に周期性がある場合、その画像が、テロップが含まれている可能性が高い画像として検出されるので、誤検出を少なくすることができる。さらに、本発明では、上述したように、画面の中でテロップが検出された位置、テロップの文字の大きさ、表示列数なども特定することができるので、例えば、ニュース番組の中で事件のタイトルが表示されたテロップ、ドラマのタイトルが表示されたテロップなど、ユーザが所望のテロップのみを検出することが可能となり、その結果、コンテンツの再生、編集などを行うにあたり、適切な代表画像を提示することが可能となる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１４に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１４において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１４に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した記録再生装置の一実施形態に係る構成例を示すブロック図である。 図１の特徴検出処理系の構成例を示すブロック図である。 文字列と、検出されるエッジ数の関係を説明する図である。 エッジ検出に用いられるフィルタの例を示す図である。 エッジ検出に用いられるフィルタの例を示す図である。 エッジ検出に用いられるフィルタの例を示す図である。 自己相関演算処理が施された波形の例を示す図である。 ウィンドウの移動を説明する図である。 文字の大きさによるエッジ数の変化を説明する図である。 水平方向に２列表示される文字列の検出の例を説明する図である。 垂直方向に１列表示される文字列の検出の例を説明する図である。 テロップ検出処理を説明するフローチャートである。 ノイズの検出を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ 記録再生装置， １２１ 記録再生処理系， １２２ 特徴検出処理系， １２３ 出力処理系， ２０１ ブロック分割処理系， ２０２ エッジ検出処理系， ２０３ ノイズ処理系， ２０４ 波形補正処理系， ２０５ 周期性検出処理系， ２０５ 判定処理系

Claims (11)

1. 画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、
   前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、
   前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、
   前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、
   前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、
   前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、
   前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する
   画像処理装置。
2. 前記ブロック移動手段は、前記画像データに対応する画像の予め設定された位置において、水平方向または垂直方向に、予め設定された回数だけ前記ブロックの位置を移動させる
   請求項１に記載の画像処理装置。
3. 前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれる画像データを、テロップが含まれる画像の画像データとして出力し、
   前記信号生成手段により生成された信号の波形のピーク値に基づいて、前記テロップの文字の大きさを表す情報を生成し、
   前記ブロックが、前記ブロック移動手段により水平方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号と、前記ブロックが、前記ブロック移動手段により垂直方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号とに基づいて前記テロップの位置を特定する情報を生成する
   請求項２に記載の画像処理装置。
4. 前記エッジ検出手段は、微分法、Sobel法、またはRoberts法により、前記ブロックの画像に含まれるエッジを検出する
   請求項１に記載の画像処理装置。
5. 前記周波数成分検出手段は、前記信号生成手段により生成された信号にFFT（Fast Fourier transform）処理を施すことで前記信号の周波数のパワーを算出し、
   前記判定手段は、所定の周波数のパワーが予め設定された閾値を超える場合、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定する
   請求項１に記載の画像処理装置。
6. 前記エッジ検出手段により検出されたエッジからノイズによるエッジを除去するノイズ除去手段をさらに備える
   請求項１に記載の画像処理装置。
7. 画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、
   前記抽出されるブロックの位置を、所定の距離だけ移動させ、
   前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、
   前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、
   前記生成された信号の波形の周波数成分を検出し、
   前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、
   前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する
   ステップを含む画像処理方法。
8. 画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックの抽出を制御し、
   前記抽出されるブロックの位置を、所定の距離だけ移動させるように制御し、
   前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジの検出を制御し、
   前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号の生成を制御し、
   前記生成された信号の波形の周波数成分の検出を制御し、
   前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かの判定を制御し、
   前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力するように制御する
   ステップを含むコンピュータが読み取り可能なプログラム。
9. 請求項８に記載のプログラムが記録されている記録媒体。
10. テロップが表示された画像を検出する検出装置であって、
    画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、
    前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、
    前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、
    前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、
    前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、
    前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、
    前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する
    検出装置。
11. テロップが表示された画像を検出する検出装置の検出方法であって、
    画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、
    前記抽出されるブロックの位置を、所定の距離だけ移動させ、
    前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、
    前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、
    前記生成された信号の波形の周波数成分を検出し、
    前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、
    前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する
    ステップを含む検出方法。

Images