JP2007329832A - 画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 - Google Patents
画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP2007329832A JP2007329832A JP2006161083A JP2006161083A JP2007329832A JP 2007329832 A JP2007329832 A JP 2007329832A JP 2006161083 A JP2006161083 A JP 2006161083A JP 2006161083 A JP2006161083 A JP 2006161083A JP 2007329832 A JP2007329832 A JP 2007329832A
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- edges
- image data
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Circuits (AREA)
Abstract
【課題】簡単な構成で確実にテロップを含んだ画像を検出することができるようにする。
【解決手段】特徴検出処理系122においては、ブロック抽出処理系201、エッジ検出系202、および移動処理系207により、画像の中の所定の位置に設定されたブロックの中にエッジがどれだけ含まれているかが検出され、ノイズ処理系203、波形補正処理系204、および周期性検出処理系205により、各ブロックの位置に対応して検出されたエッジ数の変化の周期性が検証され、判定処理系206により、テロップが含まれている可能性が高いか否かが判定される。本発明は、ハードディスクレコーダに適用することができる。
【選択図】図2
【解決手段】特徴検出処理系122においては、ブロック抽出処理系201、エッジ検出系202、および移動処理系207により、画像の中の所定の位置に設定されたブロックの中にエッジがどれだけ含まれているかが検出され、ノイズ処理系203、波形補正処理系204、および周期性検出処理系205により、各ブロックの位置に対応して検出されたエッジ数の変化の周期性が検証され、判定処理系206により、テロップが含まれている可能性が高いか否かが判定される。本発明は、ハードディスクレコーダに適用することができる。
【選択図】図2
Description
本発明は、画像信号処理装置および方法、検出装置および方法、プログラム、並びに記録媒体に関し、特に、簡単な構成で確実にテロップを含んだ画像を検出することができるようにする画像処理装置および方法、検出装置および方法、プログラム、並びに記録媒体に関する。
近年、放送番組などをMPEG(Moving Picture Coding Experts Group)などの圧縮信号処理により所定の信号処理を行ってハードディス(HDD)など所定の情報信号記録媒体に記録する記録装置(ハードディススクレコーダ、HDDレコーダ)が広く普及している。
今後、記録媒体の大容量、低価格化、デジタル放送による画像音声コンテンツの多様化、ホームサーバのさらなる普及その他の要因により、画像音声コンテンツの記録蓄積量はますます増大すると予想される。
そこで、蓄積された大量のコンテンツを効率よく視聴する技術が期待されている。例えば、画像音声情報信号から所定の特徴抽出処理を行い、情報信号の構造を解析し、所定のセグメントなどの区間に分け、その区間毎に所定の評価値処理を行い、その評価値に応じて、再生制御を行なうことにより、長時間のコンテンツを短時間で再生する処理が考えられる。
また、このように情報信号の構造を解析することにより、所定の区間に特徴点または特徴位置情報信号(チャプタ点情報)を設定し、その設定位置情報により、検索、編集処理などを行うことも考えられる。コンテンツの画像音声信号の構造を解析する場合、例えば、画像信号を分析して所定の再生区間に対応する代表画像を検出することが行われる。
例えば、ニュース番組では、報道するニュースの内容に対応してテロップが表示されることが多い。すなわち、例えば、連続する画像の中において、テロップなどが出現する画像を検出することで、その画像を代表画像とした再生区間の表示などを行うことが可能と考えられる。
テロップ検出に関する技術については、例えば、特許文献1のような技術が提案されている。
特開2004−80156号公報
しかしながら、従来の技術により行われるテロップ検出では誤検出が行われる場合がある。
本発明はこのような状況に鑑みてなされたものであり、簡単な構成で確実にテロップを含んだ画像を検出することができるようにするものである。
本発明の第1の側面は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する画像処理装置である。
前記ブロック移動手段は、前記画像データに対応する画像の予め設定された位置において、水平方向または垂直方向に、予め設定された回数だけ前記ブロックの位置を移動させるようにすることができる。
前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれる画像データを、テロップが含まれる画像の画像データとして出力し、前記信号生成手段により生成された信号の波形のピーク値に基づいて、前記テロップの文字の大きさを表す情報を生成し、前記ブロックが、前記ブロック移動手段により水平方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号と、前記ブロックが、前記ブロック移動手段により垂直方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号とに基づいて前記テロップの位置を特定する情報を生成するようにすることができる。
前記エッジ検出手段は、微分法、Sobel法、またはRoberts法により、前記ブロックの画像に含まれるエッジを検出するようにすることができる。
前記周波数成分検出手段は、前記信号生成手段により生成された信号にFFT(Fast Fourier transform)処理を施すことで前記信号の周波数のパワーを算出し、前記判定手段は、所定の周波数のパワーが予め設定された閾値を超える場合、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定するようにすることができる。
前記エッジ検出手段により検出されたエッジからノイズによるエッジを除去するノイズ除去手段をさらに備えるようにすることができる。
本発明の第1の側面は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、前記抽出されるブロックの位置を、所定の距離だけ移動させ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、前記生成された信号の波形の周波数成分を検出し、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力するステップを含む画像処理方法である。
本発明の第1の側面は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックの抽出を制御し、前記抽出されるブロックの位置を、所定の距離だけ移動させるように制御し、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジの検出を制御し、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号の生成を制御し、前記生成された信号の波形の周波数成分の検出を制御し、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かの判定を制御し、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力するように制御するステップを含むコンピュータが読み取り可能なプログラムである。
本発明の第1の側面においては、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックが抽出され、前記抽出されるブロックの位置が、所定の距離だけ移動させられ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジが検出され、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号が生成され、前記生成された信号の波形の周波数成分が検出され、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かが判定され、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データが、代表画像の画像データとして出力される。
本発明の第2の側面は、テロップが表示された画像を検出する検出装置であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する検出装置である。
本発明の第2の側面は、テロップが表示された画像を検出する検出装置の検出方法であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、前記抽出されるブロックの位置を、所定の距離だけ移動させ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、前記生成された信号の波形の周波数成分を検出し、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出するステップを含む検出方法である。
本発明の第2の側面においては、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックが抽出され、前記抽出されるブロックの位置が、所定の距離だけ移動させられ、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジが検出され、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号が生成され、前記生成された信号の波形の周波数成分が検出され、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かが判定され、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データが、テロップが含まれる画像として検出される。
本発明によれば、簡単な構成で確実にテロップを含んだ画像を検出することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の第1の側面の画像処理装置は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段(例えば、図2のブロック抽出処理系201)と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段(例えば、図2の移動処理系207)と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段(例えば、図2のエッジ検出系202)と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段(例えば、図2の波形補正処理系204)と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段(例えば、図2の周期性検出処理系205)と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段(例えば、図2の判定処理系206)とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する。
この画像処理装置は、前記エッジ検出手段により検出されたエッジからノイズによるエッジを除去するノイズ除去手段(例えば、図2のノイズ処理系203)をさらに備えるようにすることができる。
本発明の第1の側面の画像処理方法は、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し(例えば、図12のステップS101およびS102の処理)、前記抽出されるブロックの位置を、所定の距離だけ移動させ(例えば、図12のステップS105の処理)、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し(例えば、図12のステップS104の処理)、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し(例えば、図12のステップS107の処理)、前記生成された信号の波形の周波数成分を検出し(例えば、図12のステップS108の処理)、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し(例えば、図12のステップS109の処理)、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する(例えば、図12のステップS110の処理)ステップを含む。
本発明の第2の側面の検出装置は、テロップが表示された画像を検出する検出装置であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段(例えば、図2のブロック抽出処理系201)と、前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段(例えば、図2の移動処理系207)と、前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段(例えば、図2のエッジ検出系202)と、前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段(例えば、図2の波形補正処理系204)と、前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段(例えば、図2の周期性検出処理系205)と、前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段(例えば、図2の判定処理系206)とを備え、前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する。
本発明の第2の側面の検出方法は、テロップが表示された画像を検出する検出装置の検出方法であって、画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し(例えば、図12のステップS101およびS102の処理)、前記抽出されるブロックの位置を、所定の距離だけ移動させ(例えば、図12のステップS105の処理)、前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し(例えば、図12のステップS104の処理)、前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し(例えば、図12のステップS107の処理)、前記生成された信号の波形の周波数成分を検出し(例えば、図12のステップS108の処理)、前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し(例えば、図12のステップS109の処理)、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出するステップを含む。
以下、図面を参照して、本発明の実施の形態について説明する。
図1は本発明を適用した記録再生装置100の一実施の形態に係る構成例を示すブロック図である。記録再生装置100は、例えば、DVD(Digital Versatile Disk)レコーダ、またはHDD(Hard Disk Drive)レコーダとして構成され、記録された大量のコンテンツを効率よく視聴するために、また、コンテンツの編集や特定のシーンの検索を容易にするために、画像音声情報信号から所定の特徴抽出処理を行い、コンテンツの再生制御を行なうことにより、長時間のコンテンツを短時間で再生する処理が可能となるようになされている。
同図において、記録再生装置100には、映像信号、および音声信号などからなるコンテンツの信号が入力信号として入力され、記録再生処理系121より、デジタルデータに変換されてDVD、HDDなどで構成される所定の記録媒体に記録される。
記録再生処理係121により記録されるコンテンツのデータは、必要に応じて特徴検出処理系122に供給される。詳細については後述するが、特徴検出処理系122は、コンテンツの画像データを解析し、予め定められた特徴を有する画像を検出することで、代表画像の候補となる画像データを検出する。
代表画像は、例えば、ユーザが記録したコンテンツを再生するとき、再生開始位置や再生区間などを指定するときに参照する画像であって、コンテンツの映像の中で画面にテロップが表示された画像とされる。
出力処理系123は、例えば、特徴検出処理系122により検出された画像の中から所定の基準に基づいて選択された画像を、例えば、LCD(Liquid Crystal Display)やスピーカなどを有する出力装置に表示させる出力信号を生成して出力するとともに、上述した代表画像を参照したユーザの操作に基づいて、記録再生処理系121により記録されたコンテンツの所定の区間のデータを再生させて、その映像と音声を、出力装置から出力させる出力信号を生成して出力するように構成されている。
図2は、図1の特徴検出処理系122の詳細な構成例を示すブロック図である。この特徴検出処理系122は、テロップが含まれている画像の特徴を検出する処理を行うものであって、画像の中の所定の位置のエッジ数の変化の周期性に基づいてテロップの存在を検出するようになされている。
通常テロップは、例えば、画面の下側などに所定の大きさのフォントによる文字列として表示される。本発明では、テロップの文字同士の間隔がほぼ等しいことに着目し、画像の中の所定の位置のエッジ数の変化に周期性がある場合、その画像は、テロップが含まれている可能性が高い画像として検出する。
同図において、ブロック抽出処理系201は、特徴を解析すべき画像データにおいてエッジ検出系202によるエッジ検出を行う単位量であって、例えば、予め設定された個数の画素により構成されるブロックを抽出する。
エッジ検出系202は、後述する方式によりブロック抽出処理系201により抽出されたブロックに含まれるエッジを検出し、そのブロックにおいて検出されたエッジ数をノイズ処理系203に供給する。
移動処理系207は、ブロック抽出処理系201により抽出されるブロックの位置を、所定の量(距離)だけ移動させるようにブロック抽出処理系201を制御する。なお、ブロック抽出処理系201により抽出されるブロックを複数とし、所定の数のブロックにより構成されるウィンドウが移動させられるようにしてもよい。なお、この移動は、通常複数回行われる。
移動処理系207が、上述したブロックまたはウィンドウを所定の量だけ移動させる都度、エッジ検出系202は、そのときの個々のブロックに含まれるエッジの検出を行う。そして、移動処理系207により、ブロックまたはウィンドウが最初に抽出された位置から予め設定された距離だけ移動されるか、または、予め設定された回数だけ移動が行われるまでエッジ検出系202によるエッジの検出が繰り返し行われる。
ノイズ処理系203は、エッジ検出系202から供給されるエッジ数をチェックし、後述するように、ノイズを除去する。ここで、ノイズは、誤検出されたエッジ、特徴検出処理系122による代表画像(いまの場合、テロップを含んだ画像)の検出において必要のないエッジなどとされる。
波形補正処理系204は、エッジ検出系202により検出され、ノイズ処理系203の処理を経たデータに基づいて、ブロックまたはウィンドウの位置の変化に対応するエッジ数の変化を、波形として認識可能となるような信号を生成するとともに、この後、周期性検出処理系205による処理に適した状態となるように、生成される信号の波形を補正する。
例えば、波形補正処理系204は、ブロックまたはウィンドウの位置の変化に対応するエッジ数の変化を表す信号に対して自己相関演算処理を実行することで、波形におけるピークを強調するなどの補正を行う。
なお、ノイズ処理系203が波形補正処理系204に含まれて構成されるようにしてもよい。
周期性検出処理系205は、波形補正処理系204から供給される信号の波形に周期性があるか否かを判定するために必要となる処理を実行する。例えば、周期性検出処理系205は、波形補正処理系204から供給される信号に対してFFT(Fast Fourier Transform:高速フーリエ変換)などの処理を施すことで周波数解析を行い、解析結果から特定の周波数におけるパワー(フーリエ変換した際のフーリエ級数組(実部の係数と虚部の係数の組)のそれぞれの2乗の和)が予め設定された閾値を超えているか否かを判定し、閾値を超えていると判定された周波数、およびパワーの値を判定処理系206に出力する。
あるいはまた、周期性検出処理系205は、波形補正処理系204から供給される信号に対していわゆるゼロクロス検出処理を施して信号をパルス化し、個々のパルスの間隔の分散値を演算するようにしてもよいし、また、信号の波形のピークの間隔を測定し、個々の間隔の分散値を演算して分散値を閾値と比較することにより、周期性があるか否かが検出されるようにしてもよい。
判定処理系206は、周期性検出処理系205から供給されるデータに基づいて、波形補正処理系204から供給される信号の波形において、テロップが含まれている可能性の根拠となる周期性があるか否かを判定する。そして、波形補正処理系204から供給される信号の波形において、テロップが含まれている可能性の根拠となる周期性があると判定された場合、その判定結果を表すフラグなどとともに、検出された画像(フレームなど)を特定する情報、画面の中でテロップが検出された位置、テロップの文字の大きさ、文字の間隔などを表す情報を検出データとして出力する。
すなわち、特徴検出処理系122においては、ブロック抽出処理系201、エッジ検出系202、および移動処理系207により、画像の中の所定の位置にエッジがどれだけ含まれているかを検出し、ノイズ処理系203、波形補正処理系204、および周期性検出処理系205により、検出されたエッジ数の変化の周期性を検証し、判定処理系206により、テロップが含まれている可能性が高いか否かが判定されることになる。
図3乃至図11を参照してさらに詳細に説明する。
図3は、テロップの特徴を説明する図である。同図においては、例えば、画面の下側などに横書きのテロップとして「原理説明図」の文字列が表示されている場合の例について説明する。
図3の上側に示されている文字列において、隣接する文字と文字との間隔が距離t1乃至t4として示されている。すなわち、文字「原」と文字「理」との間の間隔は距離t1であり、文字「理」と文字「説」との間の間隔は距離t2であり、・・・、文字「明」と文字「図」との間の間隔は距離t4である。
画面に表示されるテロップは、コンテンツを視聴するユーザにとって見易い状態で表示され、通常、テロップの文字列の中の隣り合う文字同士の間隔はほぼ均等に配置される。すなわち、いまの場合、距離t1乃至t4について次式で示される関係が成り立つ。
t1≒t2≒t3≒t4
一方、テロップは、コンテンツを視聴するユーザにとって見易い状態で表示されるものなので、画像の中のテロップの文字は、通常、背景とは極端に明るさが異なる色で表示される。従って、画像の中でテロップの文字が表示されている部分の画素値を解析すれば、多数のエッジが検出されることになる。
例えば、図3の上側に示されるテロップについて、テロップの1文字にほぼ等しい程度の領域に含まれる画素の画素値を解析すれば、図3の下側に示されるようなエッジ数の変化が検出されることになる。図3の下側のグラフは、縦軸をエッジ数とし、横軸を画像の中の位置とし、各位置において検出されたエッジ数の変化を波形301として表している。ここで示されるように、文字が存在する位置では、エッジ数が多くなり、文字と文字との間では、エッジ数が少なくなる(ほぼ0になる)。
上述したように、テロップの文字列の中の隣り合う文字同士の間隔はほぼ均等に配置されるので、画像の中でテロップが表示されている部分において画素値を解析した場合、検出されるエッジ数が、位置に対応して周期的に変化する波形として観察されるはずである。
ここでエッジの検出方式について説明する。エッジは信号が変化をする部分なので、信号の変化分を取り出す微分(Gradient)を用いて検出する方式が一般的である。2次元の画像について微分によるエッジ検出を行う場合、例えば、次式により水平方向(X方向)の微分量fxと垂直方向(Y方向)の微分量fyを算出する。
fx = s(i+1,j) - s(i,j)
fy = s(i,j+1) - s(i,j)
fy = s(i,j+1) - s(i,j)
ここで、s(i,j)は、X方向の座標位置がiであり、Y方向の座標位置jである画素の値を表すものとする。
そして、算出された微分量に基づいて、座標位置(i,j)におけるエッジの強さe(i,j)を次式により算出する。
e(i,j) = fx×fx + fy×fy
または、次式のように算出してもよい。
e(i,j) = |fx| + |fy|
このように算出されたエッジの強さが、例えば予め設定された閾値を超える場合、1個のエッジとしてカウントされるようにし、画像の中の所定の領域におけるエッジ数が検出されるようにすればよい。なお、ここでは、注目画素の画素値s(i,j)と、注目画素に隣接する画素の画素値s(i+1,j)、s(i,j+1)との差分による微分の例について説明したが、注目画素に隣接する画素の画素値s(i-1,j)、s(i,j-1)との差分などによる微分が行われるようにすることも可能である。
実際に画像のエッジを検出する場合、例えば、処理点と近傍領域によるオペレータ(演算子)を使用してフィルタ処理を行い、種々の方式でエッジの検出が行われる。フィルタは、例えば、図4に示されるように設定される。図4Aと図4Bは、9(=3×3)個の画素に対応する画素位置に設定されるX方向の微分量fxとY方向の微分量fyを算出するためのフィルタの例を示している。
同図においては、9個の枠のうちの中央の枠(上から2番目であって、左から2番目の枠)を注目画素としてフィルタ処理が行われ、それぞれの画素位置に対応する枠内に記述された値を、係数としてその画素値に乗じることによりエッジの算出が行われるようになされている。図4Aと図4Bのそれぞれ9個の枠の内中央の枠を、座標(i,j)で表した場合、図4Aと図4Bのフィルタにより、次式のように微分量が演算されることになる。
fx = s(i,j) - s(i-1,j)
fy = s(i,j) - s(i,j-1)
fy = s(i,j) - s(i,j-1)
図4Aと図4Bの場合、結果として上述した微分量の演算と同様の演算が行われることになり、このようなフィルタの設定を行う方式は、微分法と呼ばれている。
この他、図5Aと図5Bに示されるような、Sobel法と呼ばれる方式でフィルタが設定されるようにしてもよいし、図6Aと図6Bに示されるような、Roberts法と呼ばれる方式でフィルタが設定されるようにしてもよい。図5Aおよび図5B、または図6Aおよび図6Bの場合も、図4Aおよび図4Bの場合と同様に、9個の枠のうちの中央の枠(上から2番目であって、左から2番目の枠)を注目画素としてフィルタ処理が行われ、それぞれの画素位置に対応する枠内に記述された値を、係数としてその画素値に乗じることによりエッジの算出が行われるようになされている。
このようにエッジ数を画像の中の複数の位置において検出し、各位置において検出されたエッジ数の変化を波形として表したものが、図3下側のグラフであるが、波形が周期的に変化するか否かを確実に調べるために、例えば、自己相関演算処理などが施されて、図7に示されるようなグラフを得るようにしてもよい。図7は、図3下側のグラフの波形に対して自己相関演算処理を行った処理結果(自己相関演算値)を表すグラフであり、横軸が位置、縦軸が自己相関演算値とされ、各位置に対応する自己相関演算値の変化が波形311として示されている。同図に示されるように、波形311は、図3下側のグラフの波形301の場合と比較して、より波形のピーク値が高くなり、波形の形状が強調されている。
上述したように、特徴検出処理系122においては、ブロック抽出処理系201により、例えば所定の数のブロックにより構成されるウィンドウが抽出され、そのウィンドウ内のエッジがエッジ検出系202により検出されるとともに、移動処理系207によりウィンドウの位置が移動されていく。
例えば、図8に示されるように、画像の中でテロップの文字列の一部である「原理」が表示されている部分に、ウィンドウ401が設定され、そのウィンドウに含まれる画素について、例えば、図4乃至図6を参照して上述した方式によりエッジの検出が行われ、検出されたエッジ数が記録されていく。いまの場合、ウィンドウ401は、図中垂直方向に並べられたブロックA乃至Cの3つのブロックにより構成されており、エッジの検出も、ブロックA乃至Cのそれぞれのブロックに含まれる画素について行われる。
ウィンドウ401の3つのブロックのそれぞれに含まれる画素についてのエッジの検出が終了すると、ウィンドウ401の設定は、解除され、ブロックA乃至Cの図中水平方向の位置が図中右側に移動され、点線で示されるウィンドウ402が設定される。なお、実際には、ウィンドウ402は、図中垂直方向の位置がウィンドウ401と同じになるように設定される。
ウィンドウ402が設定されると、やはり、そのウィンドウ(3つのブロック)に含まれる画素について、エッジの検出が行われ、検出されたエッジ数が記録されていく。そして、ウィンドウの位置が序々に図中右方向に移動されていく。ウィンドウ403は、ウィンドウ402が設定された後、さらに何度か移動が行われたときの図中水平方向の位置を示しており、実際には、ウィンドウ403の図中垂直方向の位置もウィンドウ401と同じになるように設定される。
このように、ウィンドウの図中水平方向の位置を、ウィンドウ401の位置、ウィンドウ402の位置、・・・ウィンドウ403の位置、・・・と移動させ、そのウィンドウに含まれるエッジ数を検出していくと、図8下側に示されるグラフのようになる。このグラフは、横軸が位置(いまの場合、図中水平方向の位置)とされ、縦軸がエッジ数とされ、各位置におけるエッジ数の変化が波形431として示されている。なお、グラフの縦軸が、自己相関演算値とされるようにしてもよい。
このように、テロップの文字が表示されている位置においては、エッジ数が多く検出され、文字と文字との間では、エッジ数が検出されないという画像の特徴が波形431として表れることになる。
図9は、図8の場合と比較してテロップの文字が小さい場合の例を示す図である。同図において、ブロックA乃至Cの大きさは図8の場合と変わらず、文字列(の一部)「原理」の文字サイズが図8の場合よりも小さくなっているものとする。
そして、図8の場合と同様に、ウィンドウと、ウィンドウ411乃至413で示されるように移動させ、それらのウィンドウに含まれる画素についてエッジ検出を行い、検出されたエッジ数をグラフで表すと、図9下側のグラフのようになる。
このグラフは、やはり横軸が位置(いまの場合、図中水平方向の位置)とされ、縦軸がエッジ数とされ、各位置におけるエッジ数の変化が波形432として示されている。なお、グラフの縦軸が、自己相関演算値とされるようにしてもよい。
波形432においても、テロップの文字が表示されている位置においては、エッジ数が多く検出され、文字と文字との間では、エッジ数が検出されないという画像の特徴があらわれているが、波形431の場合と異なり、波形のピーク値がより低い値となっている。
すなわち、図8の場合、サイズの大きい文字が表示されており、文字が表示されている位置では、ブロックA乃至Cの3つのブロックのそれぞれからエッジが検出されることになるが、図9の場合、サイズの小さい文字が表示されており、文字が表示されている位置であっても、エッジが検出されるのは、主にブロックBからとなり、ブロックAとブロックCからはエッジが殆ど検出されない。したがって、図9の場合、図8の場合と比較して、検出されるエッジ数はより少ないものとなり、波形432のピーク値もより低い値となっている。
このように、検出されたエッジ数の変化を表す波形においてピーク値を調べることで、テロップの文字の大きさを、ほぼ特定することができる。
図3、図8、および図9においては、図中水平方向に文字が並べられた文字列のテロップを例として説明したが、実際に表示される画像においてテロップは、水平方向一列にならべられているとは限られない。このため、特徴検出処理系122は、例えば、図10に示されるように画面の水平方向と垂直方向に、それぞれウィンドウを移動させてエッジの検出を行う。
図10の例では、画面(画像)451に文字が水平方向に並べられた文字列「原理説明図」が2列表示されている。画面451において、ウィンドウを水平方向に移動させてエッジ検出を行うことにより、図中下側のグラフの波形461が検出されることになり、ウィンドウを垂直方向に移動させてエッジ検出を行うことにより、図中右側のグラフの波形462が検出されることになる。なお、図10の図中下側のグラフは、横軸が画面451の水平方向の位置とされ、縦軸が検出されたエッジ数に対する自己相関演算値とされており、図中右側のグラフは、縦軸が画面451の垂直方向の位置とされ、横軸が検出されたエッジ数に対する自己相関演算値とされている。
波形461は、周期的な波形となっており、波形461により画面451に水平方向の文字列が表示されていることが分かる。また、波形462は、ピークが2つあるだけの波形であり、周期的とは言えないが、少なくともピークが形成されている位置(垂直方向の位置)においてエッジが多く検出されていることがわかる。
このように、波形461と462から、画面451においては、文字が水平方向に並べられた文字列が、(垂直方向に)2列表示されていることが分かる。
図11の例では、画面(画像)452に文字が垂直方向に並べられた文字列「原理説明図」が1列表示されている。画面451において、ウィンドウを水平方向に移動させてエッジ検出を行うことにより、図中下側のグラフの波形463が検出されることになり、ウィンドウを垂直方向に移動させてエッジ検出を行うことにより、図中右側のグラフの波形464が検出されることになる。なお、図11の図中下側のグラフは、横軸が画面452の水平方向の位置とされ、縦軸が検出されたエッジ数に対する自己相関演算値とされており、図中右側のグラフは、縦軸が画面451の垂直方向の位置とされ、横軸が検出されたエッジ数に対する自己相関演算値とされている。
図11の場合、波形464は、周期的な波形となっており、波形461により画面451に垂直方向の文字列が表示されていることが分かる。また、波形463は、ピークが1つあるだけの波形であり、周期的とは言えないが、少なくともピークが形成されている位置(水平方向の位置)においてエッジが多く検出されていることがわかる。
このように、波形463と464から、画面452においては、文字が垂直方向に並べられた文字列が、1列表示されていることが分かる。
次に、図12のフローチャートを参照して記録再生装置100によるテロップ検出処理について説明する。
ステップS101において、ブロック分割処理系201は、ブロックとウィンドウを生成する。このとき、例えば、図8または図9を参照して上述したように、ブロックとウィンドウが生成される。
ステップS102において、移動処理系207は、ウィンドウの位置を設定する。このとき、例えば、ウィンドウの移動方向を水平方向にするか垂直方向にするかが特定され、画像の中でウィンドウの最初の位置が設定される。
ステップS103において、移動処理系207は、ウィンドウが所定の量だけ移動させられたか否かを判定し、まだ所定の量だけ移動させられていないと判定された場合、処理は、ステップS104に進む。
ステップS104において、エッジ検出系202は、現在設定されているウィンドウの各ブロックに含まれる画素に基づいてエッジの検出を行う。このとき、例えば、図4乃至図6を参照して上述したようなフィルタによりエッジの検出が行われ、現在のウィンドウの位置に対応付けられて検出されたエッジ数が記憶される。
ステップS105において、移動処理系207は、ウィンドウの位置を移動させる。このとき、移動される量は、予め設定されるようにしてもよいし、例えば、ユーザが都度指定するなどして決められるようにしてもよい。なお、ウィンドウの移動量は、例えば、ブロックの1辺の長さを超えない距離に設定されるなど、充分短い距離に設定されることが望ましい。1回あたりのウィンドウの移動量を、充分に短く設定することで、テロップの文字の間隔が狭い場合でも、確実にテロップを検出することが可能となる。
ステップS105の処理の後、処理は、ステップS103に戻り、ウィンドウが所定の移動量だけ移動されたと判定されるまで、以降の処理が繰り返し実行される。なお、ウィンドウの移動は、例えば、図10または図11を参照して上述したように、画像の中で水平方向に所定の距離だけ移動させた後、垂直方向にも所定の距離だけ移動させられるようになされている。
ウィンドウが、水平方向と垂直方向にそれぞれ所定の距離だけ移動された場合、ステップS103では、所定の移動量だけ移動させられたと判定され、処理は、ステップS106に進む。
ステップS106においてノイズ処理系203は、画面の中の位置と、その位置で検出されたエッジ数の関係を表す波形を生成し、その波形からノイズを除去する。このとき、ステップS104の処理で検出されたエッジのうち、ノイズと考えられるものが除去される。ここでノイズは、テロップの文字によるエッジではなく、例えば、偶然画像の中の物体などの輪郭などがエッジとして検出されたものとし、このようなノイズが含まれる波形に基づいて周期性の検出を行うと、誤った結果が得られる恐れがある。
ノイズと考えられるエッジは、例えば、次のようにして除去される。いま、図13に示されるような、9個のブロックと、それぞれのブロックにおいて検出されたエッジについて考える。図13に示されるブロックa1乃至a9のうち、中心のブロックa5において検出されたエッジがノイズ(テロップの文字ではないエッジ)である場合、ブロックa5に隣接するブロックa1乃至a4、およびブロックa6乃至a9において、多くのエッジが検出される可能性は低いものと考えられる。換言すれば、ブロックa5の位置にテロップの文字(または文字の一部)が存在する場合、ブロックa5に隣接するブロックa1乃至a4、およびブロックa6乃至a9にも、それぞれ文字(または文字の一部)が存在する可能性が高い。
ブロックa5の位置を、位置pで表し、ブロックa5に隣接するブロックa1乃至a4、およびブロックa6乃至a9において検出されたエッジ数の総和をN(p)とすると、ノイズの除去が行われた後の位置pにおけるエッジ数D(p)は、例えば、次式により算出することができる。
D(p) = k× N(p) ( if Th <= N(p) )
D(p) = 0 ( if Th > N(p) )
D(p) = 0 ( if Th > N(p) )
ここで、Thは、予め設定された閾値とする。
すなわち、あるブロックに隣接するブロックにおいて検出されたエッジ数の総和が充分少ない場合(閾値を下回る場合)、そのブロックで検出されたエッジは、ノイズであったものと判定され、検出されたエッジ数が0とされる。このようにして、ノイズの除去が行われる。
ステップS107において、波形補正処理系204は、ノイズ処理系203から出力される波形を、周期性検出処理系205において処理し易くするように補正する。ノイズが除去された後、画面の中の位置と、その位置で検出されたエッジ数の関係を表す波形に、例えば、自己相関演算処理などが施されることにより、波形補正処理系204による波形の補正の処理が行われ、補正された波形(信号)が周期性検出処理系205に供給される。なお、この波形(信号)は、図10または図11を参照して上述したように、画面の水平方向と垂直方向のそれぞれに対応する波形として供給される。
ステップS107の処理の後、処理は、ステップS108に進み、周期性検出処理系205は、ステップS107の処理により補正された波形の周期性を検出する。このとき、例えば、上述したように、波形に対してFFTなどの処理を施すことで周波数解析を行い、解析結果から特定の周波数におけるパワーが予め設定された閾値を超えているか否かを判定し、閾値を超えていると判定された周波数、およびパワーの値を取得する処理が行われる。
あるいはまた、波形に対していわゆるゼロクロス検出処理を施して信号をパルス化し、個々のパルスの間隔の分散値を演算するようにしてもよいし、また、信号の波形のピークの間隔を測定し、個々の間隔の分散値を演算して分散値を閾値と比較することにより、周期性があるか否かが検出されるようにしてもよい。個々のパルスの間隔、または信号の波形のピークの間隔のそれぞれを、xiで表すと、分散値σは、次式により算出することができる。
ステップS109において、判定処理系206は、ステップS108の処理結果のデータに基づいて、画像にテロップが含まれている可能性が高いか否かを判定する。
このとき、例えば、波形のピーク値、周期性が検出された波形に対して直交する方向の波形に基づいて、テロップの文字の大きさ、テロップの文字の並ぶ方向、またはテロップの表示列数などが認識され、予め設定された条件を満たす場合、画像にテロップが含まれていると判定される。
このようにすることで、例えば、画像の所定の位置に表示される文字列は、テロップとは関係なく表示されるものとして、無視するようにすることもできるし、余りに大きい文字列や余りに小さい文字列などもテロップとは関係ないものとして無視することができる。あるいはまた、あまりに字数が多い文字列なども、やはりテロップとは関係ないものとして無視することができる。その結果、例えば、番組の放映中に画面の一端に表示される交通情報や天候などの情報を、誤ってテロップとして検出してしまったり、画面に含まれる書類や看板などの映像を、誤ってテロップとして検出してしまうことが抑止される。
あるいはまた、テロップが含まれる画像の検出は、例えば、従来の技術を用いた他の方式により行われ、テロップの文字の大きさ、テロップの文字の並ぶ方向、またはテロップの表示列数などが上述した本発明の方式により検出されるようにすることも可能である。
ステップS109において、テロップが検出されたと判定された場合、処理は、ステップS110に進み、判定処理系206は、波形補正処理系204から供給される信号の波形において、その判定結果を表すフラグなどとともに、検出された画像(フレームなど)を特定する情報を検出データとしてする。
ステップS111において、判定処理系111は、さらに、画面の中でテロップが検出された位置、テロップの文字の大きさ、表示列数などを表す情報を検出データとして出力する。
このようにして、テロップ検出処理が行われる。テロップ検出処理により出力された検出データにより代表画像の画像データ(例えば、フレームの番号)が特定され、ユーザが記録したコンテンツを再生するとき、例えば、出力処理系123により、出力装置のディスプレイなどに代表画像が表示され、その代表画像を参照して再生開始位置や再生区間などをユーザが指定することで、所望の再生区間を簡単に再生することが可能となる。
例えば、画像の信号に対してハイパスフィルターなどの処理を施して高周波成分を検出することで、テロップを検出したり、あるいはまた、画像の特徴量を、予め記憶されたテロップの画像の特徴量と比較するなどしてテロップを検出する場合、画像の中に、特徴的な模様の物体や、高速で移動する物体などが写っていると、その画像をテロップとして誤検出してしまうおそれがある。
これに対して、本発明では、テロップの文字同士の間隔がほぼ等しいことに着目し、画像の中の所定の位置のエッジ数の変化に周期性がある場合、その画像が、テロップが含まれている可能性が高い画像として検出されるので、誤検出を少なくすることができる。さらに、本発明では、上述したように、画面の中でテロップが検出された位置、テロップの文字の大きさ、表示列数なども特定することができるので、例えば、ニュース番組の中で事件のタイトルが表示されたテロップ、ドラマのタイトルが表示されたテロップなど、ユーザが所望のテロップのみを検出することが可能となり、その結果、コンテンツの再生、編集などを行うにあたり、適切な代表画像を提示することが可能となる。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図14に示されるような汎用のパーソナルコンピュータ700などに、ネットワークや記録媒体からインストールされる。
図14において、CPU(Central Processing Unit)701は、ROM(Read Only Memory)702に記憶されているプログラム、または記憶部708からRAM(Random Access Memory)703にロードされたプログラムに従って各種の処理を実行する。RAM703にはまた、CPU701が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU701、ROM702、およびRAM703は、バス704を介して相互に接続されている。このバス704にはまた、入出力インタフェース705も接続されている。
入出力インタフェース705には、キーボード、マウスなどよりなる入力部706、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部707、ハードディスクなどより構成される記憶部708、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部709が接続されている。通信部709は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース705にはまた、必要に応じてドライブ710が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア711が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部708にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア711などからなる記録媒体からインストールされる。
なお、この記録媒体は、図14に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア711により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM702や、記憶部708に含まれるハードディスクなどで構成されるものも含む。
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
100 記録再生装置, 121 記録再生処理系, 122 特徴検出処理系, 123 出力処理系, 201 ブロック分割処理系, 202 エッジ検出処理系, 203 ノイズ処理系, 204 波形補正処理系, 205 周期性検出処理系, 205 判定処理系
Claims (11)
- 画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、
前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、
前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、
前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、
前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、
前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する
画像処理装置。 - 前記ブロック移動手段は、前記画像データに対応する画像の予め設定された位置において、水平方向または垂直方向に、予め設定された回数だけ前記ブロックの位置を移動させる
請求項1に記載の画像処理装置。 - 前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれる画像データを、テロップが含まれる画像の画像データとして出力し、
前記信号生成手段により生成された信号の波形のピーク値に基づいて、前記テロップの文字の大きさを表す情報を生成し、
前記ブロックが、前記ブロック移動手段により水平方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号と、前記ブロックが、前記ブロック移動手段により垂直方向に移動された場合に検出される前記エッジの数に基づいて生成される前記信号とに基づいて前記テロップの位置を特定する情報を生成する
請求項2に記載の画像処理装置。 - 前記エッジ検出手段は、微分法、Sobel法、またはRoberts法により、前記ブロックの画像に含まれるエッジを検出する
請求項1に記載の画像処理装置。 - 前記周波数成分検出手段は、前記信号生成手段により生成された信号にFFT(Fast Fourier transform)処理を施すことで前記信号の周波数のパワーを算出し、
前記判定手段は、所定の周波数のパワーが予め設定された閾値を超える場合、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定する
請求項1に記載の画像処理装置。 - 前記エッジ検出手段により検出されたエッジからノイズによるエッジを除去するノイズ除去手段をさらに備える
請求項1に記載の画像処理装置。 - 画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、
前記抽出されるブロックの位置を、所定の距離だけ移動させ、
前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、
前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、
前記生成された信号の波形の周波数成分を検出し、
前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、
前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力する
ステップを含む画像処理方法。 - 画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックの抽出を制御し、
前記抽出されるブロックの位置を、所定の距離だけ移動させるように制御し、
前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジの検出を制御し、
前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号の生成を制御し、
前記生成された信号の波形の周波数成分の検出を制御し、
前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かの判定を制御し、
前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像データを、代表画像の画像データとして出力するように制御する
ステップを含むコンピュータが読み取り可能なプログラム。 - 請求項8に記載のプログラムが記録されている記録媒体。
- テロップが表示された画像を検出する検出装置であって、
画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段により抽出されるブロックの位置を、所定の距離だけ移動させるブロック移動手段と、
前記ブロック抽出手段により抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出するエッジ検出手段と、
前記エッジ検出手段により検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成する信号生成手段と、
前記信号生成手段により生成された信号の波形の周波数成分を検出する周波数成分検出手段と、
前記周波数成分検出手段により検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定する判定手段とを備え、
前記判定手段により、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する
検出装置。 - テロップが表示された画像を検出する検出装置の検出方法であって、
画像データの中から、予め設定された面積の画像に対応する画素で構成されるブロックを抽出し、
前記抽出されるブロックの位置を、所定の距離だけ移動させ、
前記抽出されたブロックの画素に基づいて、前記ブロックの画像に含まれるエッジを検出し、
前記検出された前記ブロックの画像に含まれるエッジの数に基づいて、前記ブロックの位置に対応する前記エッジの数の変化を表す信号を生成し、
前記生成された信号の波形の周波数成分を検出し、
前記検出された周波数成分に基づいて、前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれるか否かを判定し、
前記画像データの画像の一部に、エッジの数が周期的に変化する部位が含まれると判定された場合、前記画像を、テロップが含まれる画像として検出する
ステップを含む検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006161083A JP2007329832A (ja) | 2006-06-09 | 2006-06-09 | 画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006161083A JP2007329832A (ja) | 2006-06-09 | 2006-06-09 | 画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007329832A true JP2007329832A (ja) | 2007-12-20 |
Family
ID=38929985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006161083A Withdrawn JP2007329832A (ja) | 2006-06-09 | 2006-06-09 | 画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007329832A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009130972A1 (ja) * | 2008-04-22 | 2009-10-29 | 日本電気株式会社 | テロップ移動ベクトル算出方法、装置及びプログラムを格納する記録媒体 |
US20200269918A1 (en) * | 2019-02-27 | 2020-08-27 | Honda Motor Co., Ltd. | Vehicle control system |
-
2006
- 2006-06-09 JP JP2006161083A patent/JP2007329832A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009130972A1 (ja) * | 2008-04-22 | 2009-10-29 | 日本電気株式会社 | テロップ移動ベクトル算出方法、装置及びプログラムを格納する記録媒体 |
US20200269918A1 (en) * | 2019-02-27 | 2020-08-27 | Honda Motor Co., Ltd. | Vehicle control system |
US11639194B2 (en) * | 2019-02-27 | 2023-05-02 | Honda Motor Co., Ltd. | Vehicle control system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101237229B1 (ko) | 콘텐츠 처리 장치 및 콘텐츠 처리 방법 | |
KR20010110416A (ko) | 비디오 스트림 분류가능 심볼 고립 방법 및 시스템 | |
JP2008048279A (ja) | 映像再生装置、方法およびプログラム | |
JP2007274154A (ja) | 映像分割装置、テロップ抽出装置、方法およびプログラム | |
CN110827249A (zh) | 电子设备背板外观瑕疵检测方法及设备 | |
EP3915271B1 (en) | Methods and systems for scoreboard text region detection | |
US11728914B2 (en) | Detection device, detection method, and program | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
EP3915272A1 (en) | Methods and systems for sport data extraction | |
KR20120138642A (ko) | 화상 처리 방법 및 화상 처리 장치 | |
JP2007329832A (ja) | 画像理装置および方法、検出装置および方法、プログラム、並びに記録媒体 | |
US20080266319A1 (en) | Video processing apparatus and method | |
CN107027067B (zh) | 获取mv视频资源中字幕信息的方法及系统 | |
JP2014022756A (ja) | 画像処理プログラム、画像処理装置及び画像処理方法 | |
KR101869905B1 (ko) | 영상 재생 방법 및 장치 | |
CN108629786B (zh) | 图像边缘检测方法及装置 | |
JP4839076B2 (ja) | 映像中文字認識装置、映像中文字認識方法、プログラム、及び記録媒体 | |
KR101602878B1 (ko) | 영상 처리 방법 및 그 장치 | |
KR20070056885A (ko) | 동영상에서 카메라의 움직임에 따른 특징점 검출 방법 및그 방법으로 이루어진 프로그램을 기록한 컴퓨터로 읽을 수있는 매체 | |
CN109903214B (zh) | 一种智能确定可见水印嵌入位置的方法及系统 | |
US6587156B1 (en) | Method for detecting mosaic fades in digitized video | |
JP2008022442A (ja) | 画像処理装置および方法、並びにプログラム | |
JP4904316B2 (ja) | 特定シーン抽出装置及び特定シーン抽出プログラム | |
JP2006050483A (ja) | 映像解析装置、映像解析方法およびコンテンツ作成装置、並びに、プログラムおよび記録媒体 | |
JP4930364B2 (ja) | 映像文字検出方法、装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090901 |