JP2004080156A - 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム Download PDFInfo
- Publication number
- JP2004080156A JP2004080156A JP2002235022A JP2002235022A JP2004080156A JP 2004080156 A JP2004080156 A JP 2004080156A JP 2002235022 A JP2002235022 A JP 2002235022A JP 2002235022 A JP2002235022 A JP 2002235022A JP 2004080156 A JP2004080156 A JP 2004080156A
- Authority
- JP
- Japan
- Prior art keywords
- telop
- image
- person
- similarity
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
【課題】ＴＶ映像の中から重要なテロップを抽出し、テロップを内容毎に分類してテロップリストを生成する。
【解決手段】像処理システム１は、入力画像からテロップリストを作成する画像処理装置１０と、入力画像を表示する表示装置２０と、テロップリストを表示する表示装置３０とから構成されている。画像処理装置１０は、人物毎の保存画像及びテロップリストが保存されたメモリ１１と、メモリ１１に保存されている保存画像と入力画像との類似度を判定する類似度判定部１２と、類似度低い入力画像から人物を検出する人物検出部１３と、類似度が高い入力画像及び人物検出部１３にて人物が検出された画像において、テロップがあるか否かを検出するテロップ出現検出部１４と、テロップが検出された場合、メモリ１１に記憶されている同一人物のテロップリストを更新するリスト更新部１５とを有する。
【選択図】 図５
【解決手段】像処理システム１は、入力画像からテロップリストを作成する画像処理装置１０と、入力画像を表示する表示装置２０と、テロップリストを表示する表示装置３０とから構成されている。画像処理装置１０は、人物毎の保存画像及びテロップリストが保存されたメモリ１１と、メモリ１１に保存されている保存画像と入力画像との類似度を判定する類似度判定部１２と、類似度低い入力画像から人物を検出する人物検出部１３と、類似度が高い入力画像及び人物検出部１３にて人物が検出された画像において、テロップがあるか否かを検出するテロップ出現検出部１４と、テロップが検出された場合、メモリ１１に記憶されている同一人物のテロップリストを更新するリスト更新部１５とを有する。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放映された映像等からテロップを抽出してリストを生成する画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システムに関する。
【０００２】
【従来の技術】
一般的にＴＶ映像中のテロップには有意な情報を含んでいることが多い。そこで、映像の内容を反映した目次を生成して表示する映像目次生成表示方法及び装置が特開平１０−１１２８３７号公報に開示されている。
【０００３】
上記公報に記載の映像目次生成表示方法では、映像からテロップを検出し、検出したテロップを分類し、分類したテロップの時間的存在範囲に基づいて目次を生成して表示するものである。これにより、映像の内容を反映した目次を生成することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に記載の技術において、テロップを分類する際、空間的配置情報、即ち、テロップ出現領域の４隅の１点（ｘ，ｙ）、幅ｗ及び高さｈに基づき、テロップが例えばタイトルを示すもの、人名を示すもの等に分類するが、映像に出現する全てのテロップを抽出して分類するため、あまり有意でないテロップも混ざるような場合がある。
【０００５】
ところで、テロップは時間がある程度経過すると消えてしまい、有意なテロップを見逃してしまうことがある。そこで、テロップを抽出し、リスト形式で保持して別画面に表示しておくということが考えられるが、単にテロップを抽出してリスト表示すると、異なった内容のテロップ、例えば、ニュースキャスターのニュースのトピックを示すテロップと、会見している人のセリフを示すテロップとが混ざってしまってわかりにくい。また、上述の公報に記載の技術と同様に、あまり有意でないテロップも混ざってしまうという問題点もある。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＴＶ映像の中から重要なテロップを抽出し、テロップを内容毎に分類してテロップリストを生成する画像処理装置、画像処理方法、プログラム、及び記録媒体、並びに画像処理システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有することを特徴とする。
【０００８】
本発明に係る画像処理装置は、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有することを特徴とする。
【０００９】
本発明に係る画像処理装置は、人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段とを有することを特徴とする。
【００１０】
本発明においては、入力画像と所定のグループに分類するための保存画像との類似度を判定することにより、入力画像を各グループ毎に分類し、各グループ毎の入力画像に含まれるテロップからテロップリストを生成するため、例えば重要と思われる人物毎にグループ分けすれば、その人物毎にグループ分けしたテロップリストを作成することができ、このテロップリストを表示すれば、使用者は各グループに対応したテロップを見ることができ、極めて見やすく理解しやすいものとなる。
【００１１】
本発明に係る画像処理方法は、入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出工程と、上記テロップ検出工程にてテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類工程と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程とを有することを特徴とする。
【００１２】
本発明に係る画像処理方法は、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出工程と、上記テロップ付き入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類工程と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程とを有することを特徴とする。
【００１３】
本発明に係る画像処理方法は、入力画像から人物を検出する人物検出工程と、人物が検出された入力画像からテロップを検出するテロップ検出工程と、テロップが検出されたテロップ付き画像と、人物と共に表示されるテロップを該人物毎にグループ分けするために記憶手段に記憶された人物画像との類似度を判定する類似度判定工程と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記人物画像の人物毎に分類する分類工程と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成工程とを有することを特徴とする。
【００１４】
本発明に係る画像処理システムは、１以上の表示装置と、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする。
【００１５】
本発明に係る画像処理システムは、１以上の表示装置と、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする。
【００１６】
本発明に係る画像処理システムは、１以上の表示装置と、人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする。
【００１７】
本発明においては、入力画像を各グループ毎に分類し、各グループ毎の入力画像に含まれるテロップからテロップリストを生成するため、例えば重要と思われる人物毎にグループ分けし、各人物毎にグループ分けされたテロップリストを作成することができ、このテロップリストを表示装置に表示すれば、使用者は各グループに対応したテロップを見ることができ、極めて見やすく理解しやすいものとなる。
【００１８】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、ＴＶ映像から人物が撮影されている人物画像と共に表示される文字情報（以下、テロップという。）を抽出し、このテロップを人物毎に分類してリストを生成するものであり、複数台のテレビジョン受像機等の表示装置を用いて、一方の表示装置の表示画面２０ａにて表示される図１（ａ）に示すテレビジョン放送された映像とは別に、図１（ｂ）に示すように、他方の表示装置の表示画面３０ａにおいて、映像から重要な人物が表示されていると推定されるときに同時に表示されるテロップを切り出し、これを複数、例えば６つのテロップを切り出し合成したテロップリストとして表示する画像処理システムに適用したものである。
【００１９】
一般的に、カメラを静止させて撮影された人物は重要であると考えられる。カメラを静止させて撮影された人物の例としては、図２（ａ）に示すように、人物の上半身のバストショット（アンカーショット）、又は図２（ｂ）に示すように、人物の顔がクローズアップされたクローズアップショット等がある。このような場合、人物は画面の中央付近領域にある程度の面積をもって大きく表示される。
【００２０】
例えば、バストショットとしては、記者会見している人物、又はインタビューを受けている人物等が考えられる。このような場合においては、図３に示すように、画面４０に重要な人物４１が写っているときに、画面下部中央に出現するテロップ４２は、その人物の名前、又はセリフ（の要約）等であり、有意な情報を含んでいると考えられる。そこでこのような重要であると考えられる人物４１が出現しているときに、画面中央下部に出現したテロップ４２だけを抽出することにより、有意な情報のみを高効率に抽出することができる。
【００２１】
更に、異なる人物には異なる内容のテロップが付加されるという傾向がある。例えば、ニュースキャスターには、ニュースのトピックを示すテロップが付加され、インタビューを受けている人にはその人のセリフの内容を示すテロップが付加される。また、インタビューを受けている人のテロップも人によって内容が異なる。即ち、政治家の会見時に付加されるテロップと、スポーツ選手のインタビュー時に付加されるテロップとはその内容は異なる。図４は、映像の流れとテロップの出現の関係を示す模式図である。図４に示すように、人物Ａ及びテロップ１、人物Ａ及びテロップ２、人物Ｂ及びテロップ３、人物Ｂ及びテロップ４、人物Ａ及びテロップ５が時間順に表示された場合、人物毎、即ち、人物Ａについてはテロップ１、テロップ２及びテロップ５、人物Ｂについてはテロップ３及びテロップ４というように、人物毎にテロップを分類することにより、各テロップの内容が混ざらないように分類することができる。本実施の形態は、このように、人物毎にグループ分けされたテロップリストを生成し表示する画像処理システムである。
【００２２】
以下、本発明の第１の実施の形態に係る画像処理システムについて説明する。図５は、本発明の第１の実施の形態に係る画像処理システムを示すブロック図である。本実施の形態の画像処理システム１は、入力画像から、人物毎のテロップリストを作成する画像処理装置１０と、入力画像を表示する例えばテレビジョン受像機等の表示装置２０と、画像処理装置１０により作成された人物毎のテロップリストを表示する表示装置３０とから構成されている。
【００２３】
表示装置２０は、ＴＶ映像等の入力画像をそのまま通常表示する。また、表示装置３０は、画像処理装置１０により、ＴＶ映像から作成された人物毎にテロップリストを表示するものであり、表示装置２０にＴＶ映像にテロップリストを作成した人物が写っているときに、その人物についてのテロップリストを表示するよう制御される。以下、画像処理装置１０の構成について説明する。
【００２４】
画像処理装置１０は、人物毎の保存画像及びテロップリストが保存されたメモリ１１と、メモリ１１に保存されている保存画像と入力画像との類似度を判定する類似度判定部１２と、類似度判定部１２により、入力画像がいずれの保存画像にも類似していないと判定された場合に、該入力画像から人物を検出する人物検出部１３と、類似度判定部１２により類似していると判定され入力画像及び人物検出部１３にて人物が検出された画像において、テロップがあるか否かを検出するテロップ出現検出部１４と、テロップが検出された場合、メモリ１１に記憶されている同一人物のテロップリストを更新するリスト更新部１５とを有する。
【００２５】
メモリ１１は、人物が写っている保存画像（以下、人物画像という。）とその人物に関するテロップをリスト状に表示する画像（以下、テロップリスト画像という。）の組を一定の数だけ保存することができる。人物画像とテロップリスト画像とは一対一に対応している。
【００２６】
類似判定部１２は、メモリ１１に保存されている全ての人物画像と入力画像との類似性を判定し、最も類似度が高い人物画像に対応したテロップリスト画像を出力メモリに書き込み、出力して表示装置３０に表示する。メモリ１１にデータがない場合、及び類似度が高い人物画像が存在しない場合は、人物検出部１３に入力画像を出力する。類似度の判定には、入力画像と人物画像との２つの画像間の輝度値の差分が大きい画素の数を使用し、例えば輝度値の差分値が大きい画素数が所定の閾値以上であるとき、類似していない等とすることができる。また、色ヒストグラムの相関係数等を使用してその類似性を判定することもできる。更に、人物毎の区別は、一般的に、図６に示すように、人物Ａと人物Ｂとでは、夫々背景部分５１及び背景部分５２が異なること、即ち背景部分が各人物により異なることを利用する等して区別することが可能である。
【００２７】
人物検出部１３は、画面内に、上述の図２（ａ）及び（ｂ）に示すように、バストショット又は接写して写っている人物がいるかどうかを検出する。検出する方法は様々あるが、後述する方法、又は例えば、一定面積以上の肌色領域が所定の領域内に存在し、画像変動領域が画像中の中央付近に存在し、連続する２フレーム間の差分がある程度以下の状態がある程度のフレーム数以上続いている状態を検出することにより、画面上に人物が表示されているか否かを判定することができる。
【００２８】
テロップ出現検出部１４は、類似度判定部１２により、入力画像から所定の領域、例えば画面中央の下部におけるテロップの出現を検出する。テロップの出現を検出する方法は、様々あるが、例えば所定領域内において１フレーム前との輝度値の差分が大きい画素の数が一定個数以上存在し、かつ、所定領域内においてエッジと見なされる画素が一定個数以上ある状態を検出する方法等がある。また、テロップ出現検出部の具体例については後述する。
【００２９】
リスト更新部１５は、類似度判定部１２により所定の閾値以上の類似度であると判定され、且つテロップの出現が検出された場合、その人物に対応するテロップリスト画像の更新を行う。また、人物検出部１４において人物検出され、且つテロップ出現が検出された場合には、メモリ１１内の人物画像とテロップリスト画像の更新を行う。そして、更新したテロップリスト画像を出力メモリに書き込み、表示手段３０に表示する。
【００３０】
次に、本実施の形態の画像処理装置１０の動作について説明する。図７は、画像処理装置１０におけるテロップリスト作成方法を示すフローチャートである。図７に示すように、先ず、入力画像を読み込む（ステップＳ１）。次に、メモリ１１内に、保存されている人物画像が１つ以上存在するか否かを判定し（ステップＳ２）、全ての人物画像と入力画像との類似度を計算し（ステップＳ３）、最大の類似度を求める（ステップＳ４）。最大の類似度が一定値以上であれば、その類似度が最大となる人物画像に対応したテロップリスト画像を出力メモリに書き込む（ステップＳ６）。そして、このデータをテロップ出現検出部１４に供給し、ステップＳ９に進む。
【００３１】
メモリ１１内に人物画像が一つも存在しない場合、又は存在しても類似度が一定値以上となる画像がない場合は、そのデータを人物検出部１３に供給し、その入力画像から人物検出を行う（ステップＳ７）。そして、人物が検出されたか否かの判定を行い（ステップＳ８）、人物が検出された場合は、このデータをテロップ出現検出部１４に供給し、所定領域においてテロップが出現したかを検出する（ステップＳ９）。そして、テロップが検出されたか否かの判定を行い（ステップＳ１０）、テロップが検出された場合は、メモリ１１内のテロップリストの更新を行い（ステップＳ１１）、更新したテロップリスト画像を出力メモリに書き込む（ステップＳ１２）。このとき、ステップＳ６において、テロップリスト画像が出力されている場合、ステップＳ１２において出力される新しいテロップリスト画像に表示を切り替える。ここで、ステップＳ８において人物が検出されなかった場合、及びステップＳ１０にてテロップの出現が検出されなかった場合には処理を終了する。
【００３２】
次に、人物検出部１２における人物検出方法について説明する。図８は、人物検出方法を示すフローチャートである。また、図９は、画面上に設定される人物の上半身領域及び上半身領域内に設定される顔領域を示す模式図である。図８に示すように、人物検出部１２は、入力画像のうち、類似度判定部１２において、類似の人物画像がないと判定されたもののフレーム画像及びその１フレーム前の画像を読み込み（ステップＳ２１）、現フレーム画像と１フレーム前の画像との全画面におけるフレーム差分を計算する（ステップＳ２２）。ここで、差分値が閾値以上の画素を変動画素とする。このフレーム差分は、所定のフレーム数分求めるものとする。次に、図９に示す画面６０に設定された上半身領域６１におけるフレーム差分を計算する（ステップＳ２３）。本実施の形態においては、画面６０において、図９（ａ）に示す中央位置、図９（ｂ）に示す画面左位置、及び図９（ｃ）に示す画面右位置に、所定の大きさの上半身領域６１を設定するものとし、これら３つの場合についてフレーム差分を計算して変動画素をカウントする。そして、各上半身顔領域６１内の上部中央の所定位置に設定した所定の大きさの顔領域６２における肌色画素の数をカウントする（ステップＳ２４）。肌色画素においても、上半身領域６１におけるフレーム差分と同様に、図９（ａ）乃至（ｃ）に示す３通りを計算する。
【００３３】
そして、全画面領域におけるフレーム差分の変動画素数が閾値以下である状態が、一定フレーム数継続したか否かを判定し（ステップＳ２５）、継続していない場合は、人物画像と判定せずに終了する（ステップＳ２９）。ステップＳ２５において、全画面領域のフレーム差分の変動画素数が閾値以下である状態が一定フレーム数継続している場合は、次に顔領域における肌色画素の数を判定する（ステップＳ２６）。顔領域における肌色画素の数Ｎ（ｓｋｉｎ）がＭｉｎ（ｓｋｉｎ）≦Ｎ（ｓｋｉｎ）≦Ｍａｘ（ｓｋｉｎ）を満たさない場合は、人物画像と判定せずに終了する（ステップＳ２９）。満たす場合は、ステップＳ２７に進み、上述した図９に示す３通りの上半身領域における変動画素の数を調べる。そして、入力画像の以前又は以降の数フレームの間に上半身領域における変動画素の数Ｎ（ｕｐｐｅｒ）がＭｉｎ（ｕｐｐｅｒ）≦Ｎ（ｕｐｐｅｒ）≦Ｍａｘ（ｕｐｐｅｒ）を満たしていれば人物画像と判定する（ステップＳ２８）。満たさない場合は人物画像と判定しない（ステップＳ２９）。以上により人物を検出することができる。
【００３４】
次に、リスト更新部１５におけるリスト更新方法について説明する。図１０は、リスト更新方法を示すフローチャートである。図１０に示すように、前段階の類似判定部１２における結果から入力画像との類似度が一定値以上高い人物画像がメモリ１１に存在するか否かを判定し（ステップＳ３１）、存在した場合、即ち類似度が高く、入力画像と同一の人物の人物画像が保存されていると推定された場合は、その人物画像に対応するテロップリスト画像をメモリ１１から読み込む（ステップ３４）。このテロップリスト画像は、一旦、表示装置３０にて表示する。一方、ステップＳ３１で類似度が高い人物画像が存在しない場合、メモリ１１に保存されているテロップリスト画像のうち、テロップ領域が１つも書き込まれていないような空のテロップリスト画像があるか否かを調べる（ステップＳ３２）。上述したように、本実施の形態においては、メモリ１１内に所定数の人物画像に対応する所定数のテロップリスト画像を保持するものし、１つのテロップリスト画像は所定数のテロップ領域を書き込み可能な保存領域を有する。人物画像が保存されていても、その人物画像に対するテロップが出現していない場合は、その人物画像に対応するテロップリスト画像におけるテロップ領域の全ての保存領域は何も書き込まれていない状態である。このような何も書き込まれていないような空のテロップリスト画像が存在する場合も、ステップＳ３４に進み、それを読み込み、一旦表示装置３０にて表示する。即ち、この場合は、表示装置３０には、何も表示されない。
【００３５】
一方、ステップＳ３２において、空のテロップリスト画像が存在しない場合は、例えばテロップの出現回数が最も少ない人物、又は出現時間が最も短い人物等、所定の人物についてのテロップリスト画像のデータを削除する（ステップＳ３３）。
【００３６】
次に、テロップリスト画像に空のテロップ領域が存在するか否かを判定する（ステップＳ３５）。これは、ステップＳ３１において類似度が一定値以上であって、ステップＳ３４でテロップリスト画像を読み込んだ場合には、テロップリスト画像にテロップ保存領域（空のテロップ領域）があるか否かが不明なためである。そして、テロップ領域を書き込むために設けられた保存領域のうち、未使用である空の領域が存在する場合はステップＳ３７に進む。また、ステップＳ３１にて類似度が一定値未満であった人物画像には、これに対応するテロップリスト画像は空であるため、ステップＳ３７に進む。ステップＳ３７では、その空のテロップ領域に検出したテロップ領域を書き込み、テロップリスト画像を更新する。
【００３７】
一方、ステップＳ３５にて空のテロップ領域が存在しないと判定された場合、即ち、図１１（ｂ）に示すように、例えば、表示画面３０ａにて表示できるテロップ数が６、即ち保存できるテロップ領域の個数が６つであって、新しいものが順に上から表示されており、空のテロップ保存領域が存在しない場合には、最も古いテロップ領域７１のデータを削除して空にし（ステップＳ３６）、この部分に、図１１（ａ）に示す新たに検出したテロップ領域７２を書き込み、テロップリスト画像を更新する（ステップＳ３７）。ここで、テロップ領域の書き込みは、テロップを抽出してテロップ部分のみを書き込んでもよい。最後に、更新したテロップリスト画像は出力メモリに書き込み（ステップＳ３８）、入力画像を人物画像に上書きして人物画像を更新する（ステップＳ３９）。
【００３８】
図１２は、図１に示す表示装置２０，３０に表示される夫々画面２０ａ及び２０ｂを示す模式図である。図１２に示すように、通常のテレビジョン放映された映像を表示する表示装置２０の画面２０ａにおいて、人物Ａが表示された場合は、画像処理装置１０により、そのメモリ１１から人物Ａのテロップリスト８１が読み出され、テロップリスト画像を表示する表示装置３０の画面３０ａにその人物Ａのテロップリスト８１を表示する。そして、表示装置２０の画面２０ａに人物Ｂが表示されると、表示装置３０の画面３０ａに表示されているテロップリスト８１が人物Ｂに対応したテロップリスト８２に切り替えられる。再び、表示装置２０の画面２０ａに人物Ａが表示されると、人物Ｂのテロップリスト８２から人物Ａのテロップリスト８１に切り替わり、更に、人物Ａが映っている画面２０ａの画像にテロップ８４が出現すると、テロップ出現検出部１４によりその出現が検出され、リスト更新部１５により、人物Ａに対応するテロップリスト８１が書き換えられて、更新されたテロップリスト８３が表示される。
【００３９】
本実施の形態においては、人物毎にテロップ領域を切り出しテロップリストを作成して表示するため、ＴＶ番組から有意なテロップだけを抽出し、更に、内容別にまとまった分類をすることが可能になる。
【００４０】
次に、本発明の第２の実施の形態について説明する。図１３は、本発明の第２の実施の形態に係る画像処理システムを示すブロック図である。第１の実施の形態とは、画像処理装置１１０が異なり、本第２の実施の形態に係る画像処理システム１０１の画像処理装置１１０は、人物毎に、保存画像及びテロップリストが保存されたメモリ１１１と、入力画像から人物を検出する人物検出部１１２と、人物検出部１１２において人物が検出された画像にテロップがあるか否かを検出するテロップ出現検出部１１３と、テロップが検出された画像とメモリ１１１に保存されている保存画像との類似度を判定する類似度判定部１１４と、メモリ１１１に記憶されている同一人物のテロップリストを更新するリスト更新部１１５とを有する。
【００４１】
本実施の形態においても、画像処理装置１１０において作成されたテロップリスト画像を表示する表示装置１３０と、入力画像を表示する表示装置１２０とを有する。
【００４２】
上述の第１の実施の形態では、全ての入力画像とメモリに保存されている保存画像との類似度を判定するものであったが、本実施の形態においては、先ず入力画像から人物を検出し、人物が検出された入力画像からテロップを検出し、テロップが検出された入力画像と保存画像との類似度を判定するものである。
【００４３】
以下、本実施の形態における画像処理装置１１０のテロップリスト作成方法について説明する。図１４は、テロップリスト作成方法を示すフローチャートである。図１４に示すように、先ず、人物検出部１１２にて入力画像を読み込み（ステップＳ４１）、上述の第１の実施の形態と同様の方法にて人物検出（アンカーショット検出）を行う（ステップＳ４２）。そして、人物が検出されたか否かを判定し（ステップＳ４３）、人物が検出されなかった場合は、処理を終了する。一方、人物が検出された場合は、後述する具体例、又は例えば所定領域内において１フレーム前との輝度値の差分が大きい画素の数が一定個数以上存在し、かつ、所定領域内においてエッジと見なされる画素が一定個数以上ある状態を検出することによりテロップの出現を検出する（ステップＳ４４）。
【００４４】
そして、テロップ出現が検出されたか否かを判定し（ステップＳ４５）、テロップの出現が検出されなかった場合は、メモリ１１１に記憶されている人物画像と入力画像との類似度を判定する（ステップＳ４６）。ステップＳ４６にて、過去に検出され保存されている人物画像であると判定された場合は、その人物に対応するテロップリスト画像を読み出し、出力メモリに書き込み、表示装置１３０に表示する（ステップＳ４８）。一方、過去に検出され保存されている人物画像との類似度が低かった場合、即ち、いずれの人物画像とも一致しないと判定された場合は、処理を終了する。
【００４５】
一方、ステップＳ４５において、テロップの出現が検出された場合、ステップＳ４７に進み、同様に、過去に検出されメモリ１１１に保存されている人物画像との類似度を判定し、過去に保存されている人物との類似度が高い場合は、その人物に対応するテロップリスト画像を読み出し、テロップリストを更新する（ステップＳ４８）。また、類似度が低く、いずれの人物画像にも該当しない場合は、新たに新規人物としてこの入力画像及びこの入力画像から切り出したテロップを保存し、新しく保存したテロップリスト画像を出力メモリに書き込む（ステップＳ４８）。
【００４６】
ここで、ステップＳ４６及びステップＳ４７において、過去に検出された人物であるか否かの判定はメモリ１１１内のすべての人物画像と人物が検出された入力画像との類似度を計算し、最大の類似度を求め、最大の類似度が一定値以上であるかどうかにより判定することができる。上述したように、本実施の形態における人物検出方法、テロップ出現検出方法、及びテロップ更新方法は、上述の第１の実施の形態と同様とすることができる。また、テロップの出現の検出方法の一例については後述する。
【００４７】
また、本実施の形態においては、人物検出部１１２において入力画像から人物が検出された場合、テロップ出現検出部１１３にてテロップ出現検出が行われ、テロップの出現に拘わらず、類似度判定部１１４にて類似度判定するものとしたが、人物検出部１１２において、検出した人物と、メモリ１１１に保存されている人物画像との類似度を判定してもよい。この場合は、後段の類似度判定部１１４は不要である。人物検出部１１３にて人物の類似度を判定する場合は、人物毎に識別番号を付す等して人物を識別すればよい。
【００４８】
本実施の形態においても、第１の実施の形態と同様の効果を奏し、人物毎にテロップを切り出し、テロップリストを作成して表示するため、ＴＶ番組から有意なテロップだけを抽出し、更に、内容別にまとまった分類をすることが可能になる。
【００４９】
次に、本発明の第３の実施の形態について説明する。図１５は、本発明の第３の実施の形態に係る映像処理システムを示すブロック図である。本実施の形態においては、図５に示す第１の実施の形態と同様の映像処理装置１０に、出力選択部１６を介して複数の出力メモリ９０１〜９０ｎ及びテロップリスト用表示装置１００１〜１００ｎが接続されたものである。このように、本実施の形態では、テレビジョン受像機等の表示装置が３台以上ある場合に、ＴＶ映像から人物毎のテロップリスト画像を作成し、１つのテロップリスト画像と１つの表示装置を対応づけて表示する装置である。なお、図１５に示す本実施の形態の画像処理システムにおいて、図５に示す第１の実施の形態における画像処理システムと同一の構成要素には同一の符号を付してその詳細な説明は省略する。
【００５０】
図１５に示すように、本実施の形態における画像処理システム２の出力選択部１６は、類似判定部１２又はリスト更新部１５から送られる各テロップリスト画像を、この各テロップリスト画像に対応するように予め設定された表示装置１００１〜１００ｎに表示するため、所定の出力メモリ９０１〜９０ｎに出力する。対応のつけかたとしては、例えば、最も出現数が多いテロップリスト画像は表示装置１００１、次に多いものは表示装置１００２・・・というように、テロップ出現数が多い順に表示装置１００１〜１００ｎに表示したり、最も過去に検出した人物のテロップリスト画像は表示装置１００１、次に古い人物のテロップリスト画像は表示装置１００２・・・というように、人物画像の出現時間順に表示装置１００１〜１００ｎに表示したりすることができる。
【００５１】
図１６は、表示装置２０と、５つのテロップリスト表示用表示装置１００１〜１００５の表示例を示す模式図である。表示装置２０の画面２０ａには、通常のテレビジョン放映された映像が表示され、表示装置１００１〜１００５の画面１００１ａ〜１００５ａには、夫々人物Ａ、Ｂ、Ｃ、Ｄ及びＥに対応するテロップリスト画像が表示されている。そして、通常の放送を表示する表示装置２０の画面２０ａに例えば人物Ｂがテロップと共に表示された場合は、このテロップが切り出され、表示装置１００２の画面１００２ａに表示されている人物Ｂに対応するテロップリストが更新され表示される。
【００５２】
図１７は、テロップリスト用表示装置１００１〜１００ｎのテロップリストの他の表示例を示す模式図である。図１７に示すように、テロップリスト画像１５０に、テロップリスト１５１の他に、人物画像の縮小画像１５２を合成して表示するようにする。これにより、テロップリストがいずれの人物に対応したものかが更にわかりやすくなる。また、テロップリスト画像を保存し、使用者が後から読み出す場合等に便利である。
【００５３】
本実施の形態においては、画像処理装置１０は、図５に示す第１の実施の形態における画像処理装置と同様のものとしたが、図１３に示す第２の実施の形態における画像処理装置１１０を用いても同様な画像処理システムを構成することができる。
【００５４】
次に、上述の第１乃至第３の実施の形態におけるテロップ出現検出部の具体例について詳細に説明する。図１８は、本具体例におけるテロップ出現検出部におけるデータの流れを説明する説明図である。図１８に示すように、テロップ出現検出部は、入力画像データが供給されるフレーム画像判定部２１０と、フレーム画像判定部２１０からのデータが供給され、画面上に予め設定されたテロップ出現領域において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現判定部２２０と、フレーム画像判定部２１０又はテロップ出現判定部２２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部２３０と、エッジ密度検出部２３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部２４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部２５０と、推定部２５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部２６０と、テロップ類似度検出部２６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部２７０とから構成されている。
【００５５】
テロップ出現判定部２２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２２とを有する。
【００５６】
また、推定部２５０は、エッジ密度検出部２３０から供給されるデータと記憶部２４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部２５１と、既検出テロップ候補が記憶部２４０に保持される期間を検出する継続カウンタ２５２と、継続カウンタ２５２及び類似度検出部２５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部２５３から構成されている。
【００５７】
以下、このテロップ検出部ついて更に詳細に説明する。テロップ検出部には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現判定部２２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部２３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（ｓｔａｔｅｆｌｇ）に１が設定される。このフラグ（ｓｔａｔｅｆｌｇ）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部２３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部２６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部２７０からテロップと確定されて出力された時点で０が設定されるものである。
【００５８】
フレーム画像判定部２１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（ｓｔａｔｅｆｌｇ）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現判定部２２０における処理は不要であるため、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、フレーム画像をエッジ密度検出部２３０に供給する。
【００５９】
テロップ出現判定部２２０は、フラグ（ｓｔａｔｅｆｌｇ）が０である間、判定部２１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００６０】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部２２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２２に供給する。
【００６１】
そして、局所変化検出部２２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（ｓｔａｔｅｆｌｇ）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部２３０に供給する。
【００６２】
次に、候補フレーム画像検出部２２１及び局所変化検出部２２２について具体的に説明する。候補フレーム画像検出部２２１は、例えば図１９のように構成された輝度ヒストグラム生成部２８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部２８０は、フレーム画像判定部２１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部２８１及び遅延回路２８３、遅延回路２８３により所定時間遅延されたフレームデータが供給されるブロック分割部２８４、並びに、ブロック分割部２８１及び２８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部２８２及び２８５から構成されている。
【００６３】
このように構成された輝度ヒストグラム生成部２８０に対して、候補フレーム画像検出部２２１が、フレーム画像判定部２１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部２８０は、ブロック分割部２８１により、供給されたｉフレームの画像データ（情報列）を空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部２８２に送る。
【００６４】
また、このｉフレームの画像データは、同時に遅延回路２８３にも供給され、遅延回路２８３により、例えば２フレーム分遅延された画像データがブロック分割部２２４に供給される。
【００６５】
ブロック分割部２８４は、ブロック分割部２８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部２８５に送る。
【００６６】
ヒストグラム計算部２８２，２８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２２１に送る。
【００６７】
そして、候補フレーム画像検出部２２１は、ヒストグラム計算部２８２，２８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Ｔｈ＿ｃｏｅｆ１）と比較し、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００６８】
【数１】
【００６９】
そして、この変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００７０】
また、局所変化検出部２２２も、候補フレーム画像検出部２２１と同様に、候補フレーム画像検出部２２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下である変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であった場合は、上述した如くフラグ（ｓｔａｔｅｆｌｇ）に１を立てると共にこのデータをエッジ密度検出部２３０に供給する。一方、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００７１】
このように、テロップ出現判定部２２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００７２】
なお、本具体例においては、輝度ヒストグラム生成部２８０を用意し、候補フレーム画像検出部２２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２２１及び局所変化検出部２２２において、図１９に示すようなブロック分割部２８１，２８４及びヒストグラム計算部２８２，２８５等を個別に有するものとしてもよい。また、遅延回路２８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００７３】
図１８に戻って、エッジ密度検出部２３０は、フラグ（ｓｔａｔｅｆｌｇ）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部２３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００７４】
エッジ密度検出部２３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）未満であるときは、フラグ（ｓｔａｔｅｆｌｇ）を０とする。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）に１が設定されるまでの間、テロップ出現判定部２２０に供給されるようになる。
【００７５】
記憶部２４０には、エッジ密度検出部２３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部２５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合、エッジ密度検出部２３０は、記憶部２４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ２５２のカウント値をリセットし、フラグ（ｓｔａｔｅｆｌｇ）を０とし、次のフレームの処理へ移る。
【００７６】
推定部２５０は、記憶部２４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００７７】
継続カウンタ２５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部２３０及び後述する類似度検出部２５１等において、記憶部２４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ２５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ２５２により、記憶部２４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部２５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００７８】
類似度検出部２５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部２３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２２１及び局所変化検出部２２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部２４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部２４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００７９】
ここで、記憶部２４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ２５２のカウント値をリセットする。一方、記憶部２４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ２５２のカウント値をインクリメントする。
【００８０】
また、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部２４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ２５２のカウント値をリセットする。
【００８１】
このように、類似度検出部２５１は、テロップ候補と、記憶部２４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部２４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００８２】
安定度判定部２５３は、既検出テロップ候補が記憶部２４０に保持される期間を検出する期間検出手段として、継続カウンタ２５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部２４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部２６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部２６０に送られたものと判定し、記憶部２４０の既検出テロップ候補及び継続カウンタ２５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部２６０に送られる。
【００８３】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部２６０に送出した後は、記憶部２４０に記憶されている既検出テロップ候補、及び継続カウンタ２５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部２６０には送出されず、同一のテロップを出力することを防止することができる。
【００８４】
テロップ類似度検出部２６０は、安定度判定部２５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部２７０に保持されているテロップ等の既検出テロップと、安定度判定部２５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部２７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部２６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００８５】
提示画像生成部２７０は、類似度判定部２６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部２７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【００８６】
このように、テロップ出現検出部は、先ず、テロップ出現判定部２２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部２３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部２５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部２６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【００８７】
以下、本具体例におけるテロップ出現検出方法について詳細に説明する。図２０は、図１８に示すフレーム画像判定部２１０及びテロップ出現判定部２２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、予めテロップ出現領域を画面上に設定する。以下の説明においては、テロップ出現領域を画面下部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【００８８】
図２０に示すように、図１８のフレーム画像判定部２１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（ｓｔａｔｅｆｌｇ）が１であるか０であるかが検出される（ステップＳ５１）。ここで、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、後述するステップＳ５９に進む。一方、フラグ（ｓｔａｔｅｆｌｇ）が０である間は、ステップＳ５２及びＳ５３に進む。
【００８９】
ステップＳ５２では、ヒストグラム生成部２８０のヒストグラム計算部２８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部２８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２２６に供給される（ステップＳ３）。本具体例においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【００９０】
次に、ステップＳ５４では、局所変化検出部２２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Ｔｈ＿ｃｏｅｆ１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Ｔｈ＿ｃｏｅｆ１）以下であれば、変化ブロックと判定する。
【００９１】
そして、ステップＳ５４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるか否かを判定し（ステップＳ５）、閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Ｔｈ＿ｄｉｆｆ１）以下である場合は、ステップＳ５６に進む。
【００９２】
ステップＳ５６では、局所変化検出部２２２において、ヒストグラム計算部２８２，２８５からのデータにより、フレーム内のテロップ出現領域、即ち、本具体例の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ５７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上である場合は、ステップＳ５８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（ｓｔａｔｅｆｌｇ）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部２５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、ステップＳ５２乃至ステップＳ５８の処理を行わず、ステップＳ５１からステップＳ５９に進む処理がなされることになる。
【００９３】
次に、ヒストグラム生成部２８０において、輝度ヒストグラムを計算する方法について更に詳細に説明する。図２１は、ヒストグラム生成部２８０によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【００９４】
図２１に示すように、先ず、ブロック分割部２８１にｉフレームの画像データが入力され、このフレーム画像データを規定サイズ、例えば、３２×３２ピクセルのサイズのブロックに分割する（ステップＳ７１）。ブロック分割されたデータはヒストグラム計算部２８２に送られ、ここで、ｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する（ステップＳ７２）。次に、ヒストグラム計算部２８５から、（ｉ−２）フレームのｊ番目のブロックの輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む（ステップＳ７３）。
【００９５】
次に、ステップＳ７２で得られた輝度ヒストグラムＨ（ｉ，ｊ）と、ステップＳ７３で得られた輝度ヒストグラムＨ（ｉ−２，ｊ）とから、上記式（１）により、ヒストグラムの相関係数ｅ１（ｊ）を計算し（ステップＳ７４）、閾値（Ｔｈ＿ｃｏｅｆ１）により変化を判定する（ステップＳ７５）。この変化の判定には、例えばフラグＥ（ｉ，ｊ）を使用し、ｉフレームのｊ番目のブロックは変化がある（変化ブロック）と判定された場合は、フラグＥ（ｉ，ｊ）＝１とし、変化ブロックではないと判定された場合は、フラグＥ（ｉ，ｊ）＝０とする。そして、（ｉ＋２）フレームのフレーム変化を検出する際に使用するため、Ｈ（ｉ，ｊ）を保持すると共に、候補フレーム画像検出部２１内のブロックＮｏ．をカウントするカウンタ値ｊをインクリメントする（ステップＳ７６）。そして、全ブロックについて、ステップＳ７５の閾値判定が終了しているか否かを判定し（ステップＳ７６）、終了していない場合は、ステップＳ７２に戻り、次のブロック（ｊ＋１番目のブロック）について、同様の処理を繰り返す。
【００９６】
一方、全てのブロックにおいて処理が終了した場合は、上述したように、変化ブロックの割合が所定の閾値より大きければ、現フレーム（ｉフレーム）の処理を終了し、次のフレームの処理へ進み、変化ブロックの割合が所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。具体的には、全ブロックのフラグＥ（ｉ，ｊ）の値を加算し、これが所定の閾値より大きい場合は処理を終了し、所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。局所変化検出部２２２においても、基本的には、ステップＳ７２乃至７７と同様の処理が繰り返される。即ち、テロップ出現領域内のブロック単位の輝度ヒストグラムＨ（ｉ，ｊ）及びＨ（ｉ−２，ｊ）が順次読み込まれ、テロップ出現領域内の変化ブロックを検出する処理を行う。
【００９７】
次に、推定部２５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図２２は、推定部の推定方法を示すフローチャートである。先ず、フラグ（ｓｔａｔｅｆｌｇ）＝１の間、画像データがエッジ密度検出部２３０に送られる。ここでは、エッジ密度検出部２３０に送られる画像データをｉフレームとする。先ず、図２２に示すように、エッジ密度検出部２３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ５９）。このエッジ密度ｄ（ｉ）が所定の閾値（Ｔｈ＿ｄｅｎ）以上であるか否かが検出され（ステップＳ６０）、エッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）未満である場合は、ステップＳ６１に進み、記憶部２４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ２５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（ｓｔａｔｅｆｌｇ）を０にする（ステップＳ６１）。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）が１になるまで、ステップＳ５２乃至ステップＳ５８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）以上である場合は、データを類似度検出部２５１へ送り、ステップＳ６２に進む。
【００９８】
ステップＳ６２では、類似度検出部２５１において、記憶部２４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であるか否かを判定する（ステップＳ６３）。ステップＳ６３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ６４に進み、記憶部２４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ６４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ６５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合は、ステップＳ６７に進む。
【００９９】
一方、ステップＳ６３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ６５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ６６に進む。ステップＳ６６では、記憶部２４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ２５２のカウント値をリセット（ｔｌｐｌｅｎ＝０）し、ステップＳ６７に進む。
【０１００】
ステップＳ６７においては、継続カウンタ２５２のカウント値をインクリメント（ｔｌｐｌｅｎ＝＋＋）し、ステップＳ６８において、継続カウンタ２５２のカウント値（ｔｌｐｌｅｎ）が所定値（Ｔｈ＿ｔｌｐｌｅｎ）であるか否かが判定される。
【０１０１】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ２５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ６８において、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【０１０２】
一方、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部２６０へ送られてステップＳ６９に進む。この際、記憶部２４０に保持されている既検出テロップ候補及び継続カウンタ２５２のカウント値はそのまま保持する。
【０１０３】
ステップＳ６９では、例えば提示画像生成部２７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ７０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ７０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部２７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【０１０４】
ここで、ステップＳ６８及びステップＳ６９において、安定度判定部２５３及びテロップ類似度検出部２６０の夫々判定結果及び検出結果に拘わらず、記憶部２４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ２５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ２５２のカウンタ値がインクリメントされ、所定値（Ｔｈ＿ｔｌｐｌｅｎ）を超えるため、再びテロップ類似度検出部２６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）に達するまで処理が繰り返される。
【０１０５】
以上、図２２に示す工程において、記憶部２４０には、既検出テロップ候補が記憶されているものとして説明したが、図２０に示すステップＳ５５、ステップＳ５８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部２４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部２４０には、既検出テロップ候補が記憶されていない状態で、推定部２５０にテロップ候補を有するフレーム画像が供給された場合、図２２に示すステップＳ６２乃至ステップＳ６５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ６０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ６６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ６７において、継続カウンタｔｌｐｌｅｎ＝１として、次のフレームの処理に進む。
【０１０６】
このように構成された本具体例に係るテロップ出現検出部１４，１１３においては、テロップ出現判定部２２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部２３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部２５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ２５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部２６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。
【０１０７】
また、第１及び第３の実施の形態においては、類似判定部１２及び人物検出１３の後段にテロップ出現検出部１４を設けている。また、第２の実施の形態においても、人物検出部１１２の後段にテロップ出現検出部１１３を設けているが、これら第１乃至第３の実施の形態において、本具体例のようなテロップ出現検出部を入力画像が供給されるような位置に設け、先ずテロップ出現を検出し、その後、類似判定又は人物検出をするようにしてもよい。
【０１０８】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理装置は、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有するか、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有するか、又は人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段とを有するので、入力画像と所定のグループに分類するための保存画像との類似度を判定することにより、入力画像を各グループ毎に分類し、各グループ毎の入力画像に含まれるテロップからテロップリストを生成することができ、例えば重要と思われる人物毎にグループ分けすれば、その人物毎にグループ分けされたテロップリストを作成し、このテロップリストを表示すれば、使用者は各グループに対応したテロップを見ることができて極めて見やすく理解しやすいものとなる。
【図面の簡単な説明】
【図１】人物毎に分類され表示される表示例を示す模式図である。
【図２】（ａ）及び（ｂ）は、画面に表示される人物の夫々バストショット及びクローズアップを示す模式図である。
【図３】重要だと推定される人物及びテロップの表示例を示す模式図である。
【図４】映像の流れとテロップの出現の関係を示す模式図である。
【図５】本発明の第１の実施の形態に係る画像処理システムを示すブロック図である。
【図６】人物と背景との関係を示す模式図である。
【図７】本発明の第１の実施の形態の画像処理装置１０におけるテロップリスト作成方法を示すフローチャートである。
【図８】本発明の第１の実施の形態の人物検出部における人物検出方法を示すフローチャートである。
【図９】画面上に設定される人物の上半身領域及び上半身領域内に設定される顔領域を示す模式図である。
【図１０】本発明の第１の実施の形態のリスト更新部におけるリスト更新方法を示すフローチャートである。
【図１１】本発明の第１の実施の形態におけるテロップ更新部において更新されるテロップリストを示す模式図である。
【図１２】本発明の第１の実施の形態の表示装置２０，３０に表示される夫々画面２０ａ及び２０ｂを示す模式図である。
【図１３】本発明の第２の実施の形態に係る画像処理システムを示すブロック図である。
【図１４】本発明の第２の実施の形態の画像処理装置のテロップリスト作成方法を示すフローチャートである。
【図１５】本発明の第３の実施の形態に係る映像処理システムを示すブロック図である。
【図１６】本発明の第３の実施の形態における画像処理システムの表示装置２０と、５つのテロップリスト表示用表示装置１００１〜１００５の表示例を示す模式図である。
【図１７】本発明の第３の実施の形態における画像処理システムのテロップリスト用表示装置１００１〜１００ｎのテロップリストの他の表示例を示す模式図である。
【図１８】画像処理システムのテロップ検出部の具体例を示す図であって、テロップ検出部におけるデータの流れを説明する説明図である。
【図１９】本発明の具体例におけるヒストグラム生成部におけるデータの流れを説明する説明図である。
【図２０】本発明の具体例におけるフレーム画像判定部及びテロップ出現検出部の処理方法を示すフローチャートである。
【図２１】ヒストグラム生成部によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【図２２】本発明の具体例における推定部の推定方法を示すフローチャートである。
【符号の説明】
１，２，１０１ 像処理システム、１０，１１０ 画像処理装置、２０，３０表示装置、１１，１１１ メモリ、１２ 類似度判定部、１３，１１３ 人物検出部、１４，１１３ テロップ出現検出部、１５，１１５ リスト更新部、２１０ 判定部、２２０ テロップ出現判定部、２２１ 候補フレーム画像検出部、２２２ 局所変化検出部、２３０ エッジ密度検出部、２４０ 記憶部、２５０ 推定部、２５１ 類似度検出部、２５２ 継続カウンタ、２５３ 安定度判定部、２６０ テロップ類似度検出部、２７０ 提示画像生成部、２８０ ヒストグラム生成部、２８１，２８４ ブロック分割部、２８２，２８５ ヒストグラム計算部
【発明の属する技術分野】
本発明は、テレビジョン放映された映像等からテロップを抽出してリストを生成する画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システムに関する。
【０００２】
【従来の技術】
一般的にＴＶ映像中のテロップには有意な情報を含んでいることが多い。そこで、映像の内容を反映した目次を生成して表示する映像目次生成表示方法及び装置が特開平１０−１１２８３７号公報に開示されている。
【０００３】
上記公報に記載の映像目次生成表示方法では、映像からテロップを検出し、検出したテロップを分類し、分類したテロップの時間的存在範囲に基づいて目次を生成して表示するものである。これにより、映像の内容を反映した目次を生成することができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に記載の技術において、テロップを分類する際、空間的配置情報、即ち、テロップ出現領域の４隅の１点（ｘ，ｙ）、幅ｗ及び高さｈに基づき、テロップが例えばタイトルを示すもの、人名を示すもの等に分類するが、映像に出現する全てのテロップを抽出して分類するため、あまり有意でないテロップも混ざるような場合がある。
【０００５】
ところで、テロップは時間がある程度経過すると消えてしまい、有意なテロップを見逃してしまうことがある。そこで、テロップを抽出し、リスト形式で保持して別画面に表示しておくということが考えられるが、単にテロップを抽出してリスト表示すると、異なった内容のテロップ、例えば、ニュースキャスターのニュースのトピックを示すテロップと、会見している人のセリフを示すテロップとが混ざってしまってわかりにくい。また、上述の公報に記載の技術と同様に、あまり有意でないテロップも混ざってしまうという問題点もある。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＴＶ映像の中から重要なテロップを抽出し、テロップを内容毎に分類してテロップリストを生成する画像処理装置、画像処理方法、プログラム、及び記録媒体、並びに画像処理システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有することを特徴とする。
【０００８】
本発明に係る画像処理装置は、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有することを特徴とする。
【０００９】
本発明に係る画像処理装置は、人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段とを有することを特徴とする。
【００１０】
本発明においては、入力画像と所定のグループに分類するための保存画像との類似度を判定することにより、入力画像を各グループ毎に分類し、各グループ毎の入力画像に含まれるテロップからテロップリストを生成するため、例えば重要と思われる人物毎にグループ分けすれば、その人物毎にグループ分けしたテロップリストを作成することができ、このテロップリストを表示すれば、使用者は各グループに対応したテロップを見ることができ、極めて見やすく理解しやすいものとなる。
【００１１】
本発明に係る画像処理方法は、入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出工程と、上記テロップ検出工程にてテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類工程と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程とを有することを特徴とする。
【００１２】
本発明に係る画像処理方法は、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出工程と、上記テロップ付き入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類工程と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程とを有することを特徴とする。
【００１３】
本発明に係る画像処理方法は、入力画像から人物を検出する人物検出工程と、人物が検出された入力画像からテロップを検出するテロップ検出工程と、テロップが検出されたテロップ付き画像と、人物と共に表示されるテロップを該人物毎にグループ分けするために記憶手段に記憶された人物画像との類似度を判定する類似度判定工程と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記人物画像の人物毎に分類する分類工程と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成工程とを有することを特徴とする。
【００１４】
本発明に係る画像処理システムは、１以上の表示装置と、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする。
【００１５】
本発明に係る画像処理システムは、１以上の表示装置と、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする。
【００１６】
本発明に係る画像処理システムは、１以上の表示装置と、人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする。
【００１７】
本発明においては、入力画像を各グループ毎に分類し、各グループ毎の入力画像に含まれるテロップからテロップリストを生成するため、例えば重要と思われる人物毎にグループ分けし、各人物毎にグループ分けされたテロップリストを作成することができ、このテロップリストを表示装置に表示すれば、使用者は各グループに対応したテロップを見ることができ、極めて見やすく理解しやすいものとなる。
【００１８】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。本実施の形態は、ＴＶ映像から人物が撮影されている人物画像と共に表示される文字情報（以下、テロップという。）を抽出し、このテロップを人物毎に分類してリストを生成するものであり、複数台のテレビジョン受像機等の表示装置を用いて、一方の表示装置の表示画面２０ａにて表示される図１（ａ）に示すテレビジョン放送された映像とは別に、図１（ｂ）に示すように、他方の表示装置の表示画面３０ａにおいて、映像から重要な人物が表示されていると推定されるときに同時に表示されるテロップを切り出し、これを複数、例えば６つのテロップを切り出し合成したテロップリストとして表示する画像処理システムに適用したものである。
【００１９】
一般的に、カメラを静止させて撮影された人物は重要であると考えられる。カメラを静止させて撮影された人物の例としては、図２（ａ）に示すように、人物の上半身のバストショット（アンカーショット）、又は図２（ｂ）に示すように、人物の顔がクローズアップされたクローズアップショット等がある。このような場合、人物は画面の中央付近領域にある程度の面積をもって大きく表示される。
【００２０】
例えば、バストショットとしては、記者会見している人物、又はインタビューを受けている人物等が考えられる。このような場合においては、図３に示すように、画面４０に重要な人物４１が写っているときに、画面下部中央に出現するテロップ４２は、その人物の名前、又はセリフ（の要約）等であり、有意な情報を含んでいると考えられる。そこでこのような重要であると考えられる人物４１が出現しているときに、画面中央下部に出現したテロップ４２だけを抽出することにより、有意な情報のみを高効率に抽出することができる。
【００２１】
更に、異なる人物には異なる内容のテロップが付加されるという傾向がある。例えば、ニュースキャスターには、ニュースのトピックを示すテロップが付加され、インタビューを受けている人にはその人のセリフの内容を示すテロップが付加される。また、インタビューを受けている人のテロップも人によって内容が異なる。即ち、政治家の会見時に付加されるテロップと、スポーツ選手のインタビュー時に付加されるテロップとはその内容は異なる。図４は、映像の流れとテロップの出現の関係を示す模式図である。図４に示すように、人物Ａ及びテロップ１、人物Ａ及びテロップ２、人物Ｂ及びテロップ３、人物Ｂ及びテロップ４、人物Ａ及びテロップ５が時間順に表示された場合、人物毎、即ち、人物Ａについてはテロップ１、テロップ２及びテロップ５、人物Ｂについてはテロップ３及びテロップ４というように、人物毎にテロップを分類することにより、各テロップの内容が混ざらないように分類することができる。本実施の形態は、このように、人物毎にグループ分けされたテロップリストを生成し表示する画像処理システムである。
【００２２】
以下、本発明の第１の実施の形態に係る画像処理システムについて説明する。図５は、本発明の第１の実施の形態に係る画像処理システムを示すブロック図である。本実施の形態の画像処理システム１は、入力画像から、人物毎のテロップリストを作成する画像処理装置１０と、入力画像を表示する例えばテレビジョン受像機等の表示装置２０と、画像処理装置１０により作成された人物毎のテロップリストを表示する表示装置３０とから構成されている。
【００２３】
表示装置２０は、ＴＶ映像等の入力画像をそのまま通常表示する。また、表示装置３０は、画像処理装置１０により、ＴＶ映像から作成された人物毎にテロップリストを表示するものであり、表示装置２０にＴＶ映像にテロップリストを作成した人物が写っているときに、その人物についてのテロップリストを表示するよう制御される。以下、画像処理装置１０の構成について説明する。
【００２４】
画像処理装置１０は、人物毎の保存画像及びテロップリストが保存されたメモリ１１と、メモリ１１に保存されている保存画像と入力画像との類似度を判定する類似度判定部１２と、類似度判定部１２により、入力画像がいずれの保存画像にも類似していないと判定された場合に、該入力画像から人物を検出する人物検出部１３と、類似度判定部１２により類似していると判定され入力画像及び人物検出部１３にて人物が検出された画像において、テロップがあるか否かを検出するテロップ出現検出部１４と、テロップが検出された場合、メモリ１１に記憶されている同一人物のテロップリストを更新するリスト更新部１５とを有する。
【００２５】
メモリ１１は、人物が写っている保存画像（以下、人物画像という。）とその人物に関するテロップをリスト状に表示する画像（以下、テロップリスト画像という。）の組を一定の数だけ保存することができる。人物画像とテロップリスト画像とは一対一に対応している。
【００２６】
類似判定部１２は、メモリ１１に保存されている全ての人物画像と入力画像との類似性を判定し、最も類似度が高い人物画像に対応したテロップリスト画像を出力メモリに書き込み、出力して表示装置３０に表示する。メモリ１１にデータがない場合、及び類似度が高い人物画像が存在しない場合は、人物検出部１３に入力画像を出力する。類似度の判定には、入力画像と人物画像との２つの画像間の輝度値の差分が大きい画素の数を使用し、例えば輝度値の差分値が大きい画素数が所定の閾値以上であるとき、類似していない等とすることができる。また、色ヒストグラムの相関係数等を使用してその類似性を判定することもできる。更に、人物毎の区別は、一般的に、図６に示すように、人物Ａと人物Ｂとでは、夫々背景部分５１及び背景部分５２が異なること、即ち背景部分が各人物により異なることを利用する等して区別することが可能である。
【００２７】
人物検出部１３は、画面内に、上述の図２（ａ）及び（ｂ）に示すように、バストショット又は接写して写っている人物がいるかどうかを検出する。検出する方法は様々あるが、後述する方法、又は例えば、一定面積以上の肌色領域が所定の領域内に存在し、画像変動領域が画像中の中央付近に存在し、連続する２フレーム間の差分がある程度以下の状態がある程度のフレーム数以上続いている状態を検出することにより、画面上に人物が表示されているか否かを判定することができる。
【００２８】
テロップ出現検出部１４は、類似度判定部１２により、入力画像から所定の領域、例えば画面中央の下部におけるテロップの出現を検出する。テロップの出現を検出する方法は、様々あるが、例えば所定領域内において１フレーム前との輝度値の差分が大きい画素の数が一定個数以上存在し、かつ、所定領域内においてエッジと見なされる画素が一定個数以上ある状態を検出する方法等がある。また、テロップ出現検出部の具体例については後述する。
【００２９】
リスト更新部１５は、類似度判定部１２により所定の閾値以上の類似度であると判定され、且つテロップの出現が検出された場合、その人物に対応するテロップリスト画像の更新を行う。また、人物検出部１４において人物検出され、且つテロップ出現が検出された場合には、メモリ１１内の人物画像とテロップリスト画像の更新を行う。そして、更新したテロップリスト画像を出力メモリに書き込み、表示手段３０に表示する。
【００３０】
次に、本実施の形態の画像処理装置１０の動作について説明する。図７は、画像処理装置１０におけるテロップリスト作成方法を示すフローチャートである。図７に示すように、先ず、入力画像を読み込む（ステップＳ１）。次に、メモリ１１内に、保存されている人物画像が１つ以上存在するか否かを判定し（ステップＳ２）、全ての人物画像と入力画像との類似度を計算し（ステップＳ３）、最大の類似度を求める（ステップＳ４）。最大の類似度が一定値以上であれば、その類似度が最大となる人物画像に対応したテロップリスト画像を出力メモリに書き込む（ステップＳ６）。そして、このデータをテロップ出現検出部１４に供給し、ステップＳ９に進む。
【００３１】
メモリ１１内に人物画像が一つも存在しない場合、又は存在しても類似度が一定値以上となる画像がない場合は、そのデータを人物検出部１３に供給し、その入力画像から人物検出を行う（ステップＳ７）。そして、人物が検出されたか否かの判定を行い（ステップＳ８）、人物が検出された場合は、このデータをテロップ出現検出部１４に供給し、所定領域においてテロップが出現したかを検出する（ステップＳ９）。そして、テロップが検出されたか否かの判定を行い（ステップＳ１０）、テロップが検出された場合は、メモリ１１内のテロップリストの更新を行い（ステップＳ１１）、更新したテロップリスト画像を出力メモリに書き込む（ステップＳ１２）。このとき、ステップＳ６において、テロップリスト画像が出力されている場合、ステップＳ１２において出力される新しいテロップリスト画像に表示を切り替える。ここで、ステップＳ８において人物が検出されなかった場合、及びステップＳ１０にてテロップの出現が検出されなかった場合には処理を終了する。
【００３２】
次に、人物検出部１２における人物検出方法について説明する。図８は、人物検出方法を示すフローチャートである。また、図９は、画面上に設定される人物の上半身領域及び上半身領域内に設定される顔領域を示す模式図である。図８に示すように、人物検出部１２は、入力画像のうち、類似度判定部１２において、類似の人物画像がないと判定されたもののフレーム画像及びその１フレーム前の画像を読み込み（ステップＳ２１）、現フレーム画像と１フレーム前の画像との全画面におけるフレーム差分を計算する（ステップＳ２２）。ここで、差分値が閾値以上の画素を変動画素とする。このフレーム差分は、所定のフレーム数分求めるものとする。次に、図９に示す画面６０に設定された上半身領域６１におけるフレーム差分を計算する（ステップＳ２３）。本実施の形態においては、画面６０において、図９（ａ）に示す中央位置、図９（ｂ）に示す画面左位置、及び図９（ｃ）に示す画面右位置に、所定の大きさの上半身領域６１を設定するものとし、これら３つの場合についてフレーム差分を計算して変動画素をカウントする。そして、各上半身顔領域６１内の上部中央の所定位置に設定した所定の大きさの顔領域６２における肌色画素の数をカウントする（ステップＳ２４）。肌色画素においても、上半身領域６１におけるフレーム差分と同様に、図９（ａ）乃至（ｃ）に示す３通りを計算する。
【００３３】
そして、全画面領域におけるフレーム差分の変動画素数が閾値以下である状態が、一定フレーム数継続したか否かを判定し（ステップＳ２５）、継続していない場合は、人物画像と判定せずに終了する（ステップＳ２９）。ステップＳ２５において、全画面領域のフレーム差分の変動画素数が閾値以下である状態が一定フレーム数継続している場合は、次に顔領域における肌色画素の数を判定する（ステップＳ２６）。顔領域における肌色画素の数Ｎ（ｓｋｉｎ）がＭｉｎ（ｓｋｉｎ）≦Ｎ（ｓｋｉｎ）≦Ｍａｘ（ｓｋｉｎ）を満たさない場合は、人物画像と判定せずに終了する（ステップＳ２９）。満たす場合は、ステップＳ２７に進み、上述した図９に示す３通りの上半身領域における変動画素の数を調べる。そして、入力画像の以前又は以降の数フレームの間に上半身領域における変動画素の数Ｎ（ｕｐｐｅｒ）がＭｉｎ（ｕｐｐｅｒ）≦Ｎ（ｕｐｐｅｒ）≦Ｍａｘ（ｕｐｐｅｒ）を満たしていれば人物画像と判定する（ステップＳ２８）。満たさない場合は人物画像と判定しない（ステップＳ２９）。以上により人物を検出することができる。
【００３４】
次に、リスト更新部１５におけるリスト更新方法について説明する。図１０は、リスト更新方法を示すフローチャートである。図１０に示すように、前段階の類似判定部１２における結果から入力画像との類似度が一定値以上高い人物画像がメモリ１１に存在するか否かを判定し（ステップＳ３１）、存在した場合、即ち類似度が高く、入力画像と同一の人物の人物画像が保存されていると推定された場合は、その人物画像に対応するテロップリスト画像をメモリ１１から読み込む（ステップ３４）。このテロップリスト画像は、一旦、表示装置３０にて表示する。一方、ステップＳ３１で類似度が高い人物画像が存在しない場合、メモリ１１に保存されているテロップリスト画像のうち、テロップ領域が１つも書き込まれていないような空のテロップリスト画像があるか否かを調べる（ステップＳ３２）。上述したように、本実施の形態においては、メモリ１１内に所定数の人物画像に対応する所定数のテロップリスト画像を保持するものし、１つのテロップリスト画像は所定数のテロップ領域を書き込み可能な保存領域を有する。人物画像が保存されていても、その人物画像に対するテロップが出現していない場合は、その人物画像に対応するテロップリスト画像におけるテロップ領域の全ての保存領域は何も書き込まれていない状態である。このような何も書き込まれていないような空のテロップリスト画像が存在する場合も、ステップＳ３４に進み、それを読み込み、一旦表示装置３０にて表示する。即ち、この場合は、表示装置３０には、何も表示されない。
【００３５】
一方、ステップＳ３２において、空のテロップリスト画像が存在しない場合は、例えばテロップの出現回数が最も少ない人物、又は出現時間が最も短い人物等、所定の人物についてのテロップリスト画像のデータを削除する（ステップＳ３３）。
【００３６】
次に、テロップリスト画像に空のテロップ領域が存在するか否かを判定する（ステップＳ３５）。これは、ステップＳ３１において類似度が一定値以上であって、ステップＳ３４でテロップリスト画像を読み込んだ場合には、テロップリスト画像にテロップ保存領域（空のテロップ領域）があるか否かが不明なためである。そして、テロップ領域を書き込むために設けられた保存領域のうち、未使用である空の領域が存在する場合はステップＳ３７に進む。また、ステップＳ３１にて類似度が一定値未満であった人物画像には、これに対応するテロップリスト画像は空であるため、ステップＳ３７に進む。ステップＳ３７では、その空のテロップ領域に検出したテロップ領域を書き込み、テロップリスト画像を更新する。
【００３７】
一方、ステップＳ３５にて空のテロップ領域が存在しないと判定された場合、即ち、図１１（ｂ）に示すように、例えば、表示画面３０ａにて表示できるテロップ数が６、即ち保存できるテロップ領域の個数が６つであって、新しいものが順に上から表示されており、空のテロップ保存領域が存在しない場合には、最も古いテロップ領域７１のデータを削除して空にし（ステップＳ３６）、この部分に、図１１（ａ）に示す新たに検出したテロップ領域７２を書き込み、テロップリスト画像を更新する（ステップＳ３７）。ここで、テロップ領域の書き込みは、テロップを抽出してテロップ部分のみを書き込んでもよい。最後に、更新したテロップリスト画像は出力メモリに書き込み（ステップＳ３８）、入力画像を人物画像に上書きして人物画像を更新する（ステップＳ３９）。
【００３８】
図１２は、図１に示す表示装置２０，３０に表示される夫々画面２０ａ及び２０ｂを示す模式図である。図１２に示すように、通常のテレビジョン放映された映像を表示する表示装置２０の画面２０ａにおいて、人物Ａが表示された場合は、画像処理装置１０により、そのメモリ１１から人物Ａのテロップリスト８１が読み出され、テロップリスト画像を表示する表示装置３０の画面３０ａにその人物Ａのテロップリスト８１を表示する。そして、表示装置２０の画面２０ａに人物Ｂが表示されると、表示装置３０の画面３０ａに表示されているテロップリスト８１が人物Ｂに対応したテロップリスト８２に切り替えられる。再び、表示装置２０の画面２０ａに人物Ａが表示されると、人物Ｂのテロップリスト８２から人物Ａのテロップリスト８１に切り替わり、更に、人物Ａが映っている画面２０ａの画像にテロップ８４が出現すると、テロップ出現検出部１４によりその出現が検出され、リスト更新部１５により、人物Ａに対応するテロップリスト８１が書き換えられて、更新されたテロップリスト８３が表示される。
【００３９】
本実施の形態においては、人物毎にテロップ領域を切り出しテロップリストを作成して表示するため、ＴＶ番組から有意なテロップだけを抽出し、更に、内容別にまとまった分類をすることが可能になる。
【００４０】
次に、本発明の第２の実施の形態について説明する。図１３は、本発明の第２の実施の形態に係る画像処理システムを示すブロック図である。第１の実施の形態とは、画像処理装置１１０が異なり、本第２の実施の形態に係る画像処理システム１０１の画像処理装置１１０は、人物毎に、保存画像及びテロップリストが保存されたメモリ１１１と、入力画像から人物を検出する人物検出部１１２と、人物検出部１１２において人物が検出された画像にテロップがあるか否かを検出するテロップ出現検出部１１３と、テロップが検出された画像とメモリ１１１に保存されている保存画像との類似度を判定する類似度判定部１１４と、メモリ１１１に記憶されている同一人物のテロップリストを更新するリスト更新部１１５とを有する。
【００４１】
本実施の形態においても、画像処理装置１１０において作成されたテロップリスト画像を表示する表示装置１３０と、入力画像を表示する表示装置１２０とを有する。
【００４２】
上述の第１の実施の形態では、全ての入力画像とメモリに保存されている保存画像との類似度を判定するものであったが、本実施の形態においては、先ず入力画像から人物を検出し、人物が検出された入力画像からテロップを検出し、テロップが検出された入力画像と保存画像との類似度を判定するものである。
【００４３】
以下、本実施の形態における画像処理装置１１０のテロップリスト作成方法について説明する。図１４は、テロップリスト作成方法を示すフローチャートである。図１４に示すように、先ず、人物検出部１１２にて入力画像を読み込み（ステップＳ４１）、上述の第１の実施の形態と同様の方法にて人物検出（アンカーショット検出）を行う（ステップＳ４２）。そして、人物が検出されたか否かを判定し（ステップＳ４３）、人物が検出されなかった場合は、処理を終了する。一方、人物が検出された場合は、後述する具体例、又は例えば所定領域内において１フレーム前との輝度値の差分が大きい画素の数が一定個数以上存在し、かつ、所定領域内においてエッジと見なされる画素が一定個数以上ある状態を検出することによりテロップの出現を検出する（ステップＳ４４）。
【００４４】
そして、テロップ出現が検出されたか否かを判定し（ステップＳ４５）、テロップの出現が検出されなかった場合は、メモリ１１１に記憶されている人物画像と入力画像との類似度を判定する（ステップＳ４６）。ステップＳ４６にて、過去に検出され保存されている人物画像であると判定された場合は、その人物に対応するテロップリスト画像を読み出し、出力メモリに書き込み、表示装置１３０に表示する（ステップＳ４８）。一方、過去に検出され保存されている人物画像との類似度が低かった場合、即ち、いずれの人物画像とも一致しないと判定された場合は、処理を終了する。
【００４５】
一方、ステップＳ４５において、テロップの出現が検出された場合、ステップＳ４７に進み、同様に、過去に検出されメモリ１１１に保存されている人物画像との類似度を判定し、過去に保存されている人物との類似度が高い場合は、その人物に対応するテロップリスト画像を読み出し、テロップリストを更新する（ステップＳ４８）。また、類似度が低く、いずれの人物画像にも該当しない場合は、新たに新規人物としてこの入力画像及びこの入力画像から切り出したテロップを保存し、新しく保存したテロップリスト画像を出力メモリに書き込む（ステップＳ４８）。
【００４６】
ここで、ステップＳ４６及びステップＳ４７において、過去に検出された人物であるか否かの判定はメモリ１１１内のすべての人物画像と人物が検出された入力画像との類似度を計算し、最大の類似度を求め、最大の類似度が一定値以上であるかどうかにより判定することができる。上述したように、本実施の形態における人物検出方法、テロップ出現検出方法、及びテロップ更新方法は、上述の第１の実施の形態と同様とすることができる。また、テロップの出現の検出方法の一例については後述する。
【００４７】
また、本実施の形態においては、人物検出部１１２において入力画像から人物が検出された場合、テロップ出現検出部１１３にてテロップ出現検出が行われ、テロップの出現に拘わらず、類似度判定部１１４にて類似度判定するものとしたが、人物検出部１１２において、検出した人物と、メモリ１１１に保存されている人物画像との類似度を判定してもよい。この場合は、後段の類似度判定部１１４は不要である。人物検出部１１３にて人物の類似度を判定する場合は、人物毎に識別番号を付す等して人物を識別すればよい。
【００４８】
本実施の形態においても、第１の実施の形態と同様の効果を奏し、人物毎にテロップを切り出し、テロップリストを作成して表示するため、ＴＶ番組から有意なテロップだけを抽出し、更に、内容別にまとまった分類をすることが可能になる。
【００４９】
次に、本発明の第３の実施の形態について説明する。図１５は、本発明の第３の実施の形態に係る映像処理システムを示すブロック図である。本実施の形態においては、図５に示す第１の実施の形態と同様の映像処理装置１０に、出力選択部１６を介して複数の出力メモリ９０１〜９０ｎ及びテロップリスト用表示装置１００１〜１００ｎが接続されたものである。このように、本実施の形態では、テレビジョン受像機等の表示装置が３台以上ある場合に、ＴＶ映像から人物毎のテロップリスト画像を作成し、１つのテロップリスト画像と１つの表示装置を対応づけて表示する装置である。なお、図１５に示す本実施の形態の画像処理システムにおいて、図５に示す第１の実施の形態における画像処理システムと同一の構成要素には同一の符号を付してその詳細な説明は省略する。
【００５０】
図１５に示すように、本実施の形態における画像処理システム２の出力選択部１６は、類似判定部１２又はリスト更新部１５から送られる各テロップリスト画像を、この各テロップリスト画像に対応するように予め設定された表示装置１００１〜１００ｎに表示するため、所定の出力メモリ９０１〜９０ｎに出力する。対応のつけかたとしては、例えば、最も出現数が多いテロップリスト画像は表示装置１００１、次に多いものは表示装置１００２・・・というように、テロップ出現数が多い順に表示装置１００１〜１００ｎに表示したり、最も過去に検出した人物のテロップリスト画像は表示装置１００１、次に古い人物のテロップリスト画像は表示装置１００２・・・というように、人物画像の出現時間順に表示装置１００１〜１００ｎに表示したりすることができる。
【００５１】
図１６は、表示装置２０と、５つのテロップリスト表示用表示装置１００１〜１００５の表示例を示す模式図である。表示装置２０の画面２０ａには、通常のテレビジョン放映された映像が表示され、表示装置１００１〜１００５の画面１００１ａ〜１００５ａには、夫々人物Ａ、Ｂ、Ｃ、Ｄ及びＥに対応するテロップリスト画像が表示されている。そして、通常の放送を表示する表示装置２０の画面２０ａに例えば人物Ｂがテロップと共に表示された場合は、このテロップが切り出され、表示装置１００２の画面１００２ａに表示されている人物Ｂに対応するテロップリストが更新され表示される。
【００５２】
図１７は、テロップリスト用表示装置１００１〜１００ｎのテロップリストの他の表示例を示す模式図である。図１７に示すように、テロップリスト画像１５０に、テロップリスト１５１の他に、人物画像の縮小画像１５２を合成して表示するようにする。これにより、テロップリストがいずれの人物に対応したものかが更にわかりやすくなる。また、テロップリスト画像を保存し、使用者が後から読み出す場合等に便利である。
【００５３】
本実施の形態においては、画像処理装置１０は、図５に示す第１の実施の形態における画像処理装置と同様のものとしたが、図１３に示す第２の実施の形態における画像処理装置１１０を用いても同様な画像処理システムを構成することができる。
【００５４】
次に、上述の第１乃至第３の実施の形態におけるテロップ出現検出部の具体例について詳細に説明する。図１８は、本具体例におけるテロップ出現検出部におけるデータの流れを説明する説明図である。図１８に示すように、テロップ出現検出部は、入力画像データが供給されるフレーム画像判定部２１０と、フレーム画像判定部２１０からのデータが供給され、画面上に予め設定されたテロップ出現領域において、このテロップ出現領域にテロップが出現するか否かを検出するテロップ出現判定部２２０と、フレーム画像判定部２１０又はテロップ出現判定部２２０からフレーム画像が供給され、そのテロップ出現領域のエッジ密度が所定の閾値以上であるとき、このテロップ出現領域をテロップ候補として検出するエッジ密度検出部２３０と、エッジ密度検出部２３０により検出されたテロップ候補を既検出テロップ候補として記憶する記憶部２４０と、既検出テロップ候補がこの既検出テロップ候補を有するフレーム画像に時間的に連続する複数のフレーム画像におけるテロップ候補との輝度変化の割合が所定の閾値以下である静止期間を検出しこの静止期間が所定値に達したとき当該既検出テロップ候補をテロップと推定する推定部２５０と、推定部２５０により推定されたテロップ候補と、実際に提示済みのテロップとの類似度を比較し、類似していないテロップ候補のみをテロップとして出力するテロップ類似度検出部２６０と、テロップ類似度検出部２６０から出力されるテロップを保持し、複数のテロップを合成してリスト状にして提示画像を生成する提示画像生成部２７０とから構成されている。
【００５５】
テロップ出現判定部２２０は、フレーム全体の輝度変化を検出する候補フレーム画像検出部２２１とテロップ出現領域の輝度変化を検出する局所変化検出部２２２とを有する。
【００５６】
また、推定部２５０は、エッジ密度検出部２３０から供給されるデータと記憶部２４０に記憶されている既検出テロップ候補との類似度を比較する類似度検出部２５１と、既検出テロップ候補が記憶部２４０に保持される期間を検出する継続カウンタ２５２と、継続カウンタ２５２及び類似度検出部２５１からのデータに基づき既検出テロップ候補の安定度を判定する安定度判定部２５３から構成されている。
【００５７】
以下、このテロップ検出部ついて更に詳細に説明する。テロップ検出部には、時系列のフレーム単位の画像データが入力される。ここで、後述するテロップ出現判定部２２０においてテロップ出現領域にテロップの出現が検出された時点及びエッジ密度検出部２３０でテロップ出現領域のエッジ密度が所定の閾値以上のもの（テロップ候補（候補ベクトル））が検出された時点で、これを示すフラグ（ｓｔａｔｅｆｌｇ）に１が設定される。このフラグ（ｓｔａｔｅｆｌｇ）は、その後のフレーム画像のテロップ出現領域がテロップ候補ではないと判定された時点、具体的には、後述するが、エッジ密度検出部２３０においてテロップ出現領域のエッジ密度が所定の閾値未満であることが検出された時点、テロップ類似度検出部２６０で同様の既に提示済みのテロップが検出された時点、及び提示画像生成部２７０からテロップと確定されて出力された時点で０が設定されるものである。
【００５８】
フレーム画像判定部２１０は、入力フレーム（ｉフレーム）が入力された時点で、このフラグ（ｓｔａｔｅｆｌｇ）が０であるか、又は１であるかにより、既に文字情報候補が検出されているか否かを判定するものである。上述した如く、テロップは出現した後、一定時間の安定状態を有することから、ｉフレームが入力された時点で、既に過去のフレームにおいてテロップの出現又はテロップ候補が検出されていれば、ｉフレームではテロップ出現中とみなすことができる。従って、テロップ出現判定部２２０における処理は不要であるため、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、フレーム画像をエッジ密度検出部２３０に供給する。
【００５９】
テロップ出現判定部２２０は、フラグ（ｓｔａｔｅｆｌｇ）が０である間、判定部２１０からフレーム画像が供給される。そして、時間的に近接するフレーム画像間の輝度変化からテロップ出現領域におけるテロップの出現を検出するものである。入力フレーム（ｉフレーム）テロップ出現領域の輝度と、時間的に近接する例えば（ｉ−２）フレームのテロップ出現領域との輝度とを比較すれば、ｉフレームテロップ出現領域にテロップが出現する場合、その輝度が変化するため、この輝度変化を検出することにより、ｉフレームテロップ出現領域にテロップが出現するか否かが判定できる。
【００６０】
ここで、テロップ出現領域のみの輝度変化を検出すると、例えばシーンチェンジ等のようにフレーム全体の輝度が変化している場合にもテロップ出現領域の輝度変化が検出されてしまう。これを防止するため、候補フレーム画像検出部２２１により、近接フレーム画像間のフレーム全体の輝度変化を調べ、この輝度変化が所定の閾値以下であるものを局所変化検出部２２２に供給する。
【００６１】
そして、局所変化検出部２２２は、近接フレームのテロップ出現領域間で輝度の局所変化を検出し、この輝度変化が所定の閾値以上であれば、テロップが出現するものと判断し、フラグ（ｓｔａｔｅｆｌｇ）に１を立てると共に、このフレーム画像（文字情報出現フレーム画像）をエッジ密度検出部２３０に供給する。
【００６２】
次に、候補フレーム画像検出部２２１及び局所変化検出部２２２について具体的に説明する。候補フレーム画像検出部２２１は、例えば図１９のように構成された輝度ヒストグラム生成部２８０に対して入力フレーム画像を送り、フレーム全体の輝度ヒストグラムを利用して候補フレーム画像を検出することができる。輝度ヒストグラム生成部２８０は、フレーム画像判定部２１０からのフレーム画像のデータ（以下、フレームデータという。）が供給されるブロック分割部２８１及び遅延回路２８３、遅延回路２８３により所定時間遅延されたフレームデータが供給されるブロック分割部２８４、並びに、ブロック分割部２８１及び２８４により所定のサイズのブロックに分割されたフレームデータが供給されブロック毎の輝度ヒストグラムを計算する夫々ヒストグラム計算部２８２及び２８５から構成されている。
【００６３】
このように構成された輝度ヒストグラム生成部２８０に対して、候補フレーム画像検出部２２１が、フレーム画像判定部２１０から供給されるｉフレームの画像データを供給する。輝度ヒストグラム生成部２８０は、ブロック分割部２８１により、供給されたｉフレームの画像データ（情報列）を空間が規定サイズとなるブロックに分割し、このブロック単位のデータをヒストグラム計算部２８２に送る。
【００６４】
また、このｉフレームの画像データは、同時に遅延回路２８３にも供給され、遅延回路２８３により、例えば２フレーム分遅延された画像データがブロック分割部２２４に供給される。
【００６５】
ブロック分割部２８４は、ブロック分割部２８１と同様に、（ｉ−２）フレームの画像データ（情報列）を空間の規定サイズブロックに分割し、このブロック単位のデータをヒストグラム計算部２８５に送る。
【００６６】
ヒストグラム計算部２８２，２８５は、全画面において、ブロック単位で輝度ヒストグラムを計算し、この結果を候補フレーム画像検出部２２１に送る。
【００６７】
そして、候補フレーム画像検出部２２１は、ヒストグラム計算部２８２，２８５からのデータ、即ち、ｉフレームのブロック単位の輝度ヒストグラムと、（ｉ−２）フレームのブロック単位の輝度ヒストグラムとが供給されると、ｉフレームと（ｉ−２）フレームとの間において、空間的に対応するブロック毎に輝度ヒストグラムの相関係数を求め、予め決められた閾値（Ｔｈ＿ｃｏｅｆ１）と比較し、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下であるブロックを変化ブロックと判定する。下記式（１）に相関係数を求める際の式を示す。
【００６８】
【数１】
そして、この変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるｉフレームを候補フレーム画像として検出する。ここで、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。
【００７０】
また、局所変化検出部２２２も、候補フレーム画像検出部２２１と同様に、候補フレーム画像検出部２２１により検出されたｉフレーム及び（ｉ−２）フレームのデータが供給され、両者の上記文字情報出現領域において、候補フレーム画像検出部２２１と同様に、空間的に対応するブロック毎に輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ１）以下である変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるｉフレームを検出する。ここで変化ブロックの割合が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であった場合は、上述した如くフラグ（ｓｔａｔｅｆｌｇ）に１を立てると共にこのデータをエッジ密度検出部２３０に供給する。一方、変化ブロックの割合が閾値（Ｔｈ＿ｄｉｆｆ２）より小さい場合は、現フレーム（ｉフレーム）の処理を終了し、次のフレーム（（ｉ＋１）フレーム）の処理へ進む。これは近接するフレームの文字情報出現領域間の変化が小さい場合は、ｉフレームのテロップ出現領域においてテロップの出現は検出されなかったと判断し、このフレームについての後段の処理を省略するためである。
【００７１】
このように、テロップ出現判定部２２０によって、全ブロック中の変化ブロックの割合とテロップ出現領域における変化ブロックの割合とを計算し、全ブロック中の変化ブロックの割合が予め決めた閾値以下であり、且つ、テロップ出現領域における変化ブロックの割合が予め決めた閾値以上である場合は、局所変化が存在する、即ち、テロップの出現と判定することができる。
【００７２】
なお、本具体例においては、輝度ヒストグラム生成部２８０を用意し、候補フレーム画像検出部２２１の要求に応じて輝度ヒストグラムを生成するものとしたが、候補フレーム画像検出部２２１及び局所変化検出部２２２において、図１９に示すようなブロック分割部２８１，２８４及びヒストグラム計算部２８２，２８５等を個別に有するものとしてもよい。また、遅延回路２８３による遅延時間は、２フレーム分としたが、例えば１フレーム又は３フレーム等、フレーム間の変化の割合を検出することができる範囲で任意に設定可能である。
【００７３】
図１８に戻って、エッジ密度検出部２３０は、フラグ（ｓｔａｔｅｆｌｇ）が１である間、フレーム画像か供給され、このテロップ出現領域のエッジ密度を計算する。なお、ここで、エッジ密度検出部２３０に供給される画像データは、フレーム全体のデータであっても、テロップ出現領域のみのデータであってもよい。
【００７４】
エッジ密度検出部２３０は、このフレーム画像のテロップ出現領域のエッジ密度が所定の閾値以上であるとき、当該テロップ出現領域をテロップ候補として検出する文字情報候補検出手段である。即ち、フレーム画像のテロップ出現領域におけるエッジ密度を算出し、上述したように、テロップであれば、エッジ密度が高いという特徴から、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）以上のものをテロップ候補として検出する。ここで、テロップ出現領域のエッジ密度が所定の閾値（Ｔｈ＿ｄｅｎ）未満であるときは、フラグ（ｓｔａｔｅｆｌｇ）を０とする。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）に１が設定されるまでの間、テロップ出現判定部２２０に供給されるようになる。
【００７５】
記憶部２４０には、エッジ密度検出部２３０において検出されたテロップ候補が既検出テロップ候補として記憶される。即ち、現フレーム（ｉフレーム）より過去のフレームにおいてテロップ候補として検出されたテロップ出現領域のデータが既検出テロップ候補として記憶されており、後述する推定部２５０において、この既検出テロップ候補と、この既検出テロップ候補と時間的に連続する所定数のフレームにおいて検出されたテロップ候補とが比較されることにより、既検出テロップ候補がテロップであるか否かが推定される。即ち、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合は、その時点で既検出テロップ候補は不要となる。従って、既検出テロップ候補を有するフレームに時間的に連続するフレームにおいてエッジ密度検出部２３０によりテロップ候補が検出されなかった場合、エッジ密度検出部２３０は、記憶部２４０に記憶されている既検出テロップ候補を初期化（破棄）し、後述する継続カウンタ２５２のカウント値をリセットし、フラグ（ｓｔａｔｅｆｌｇ）を０とし、次のフレームの処理へ移る。
【００７６】
推定部２５０は、記憶部２４０に保持されている既検出テロップ候補と、この既検出テロップ候補を有するフレーム画像に連続する所定数のフレーム画像におけるテロップ候補とのエッジ密度の変化の割合が所定の閾値以下であるとき、当該既検出テロップ候補をテロップと推定する検出手段である。
【００７７】
継続カウンタ２５２は、テロップが安定して出現したフレーム数（静止期間）をカウントするものである。例えば、エッジ密度検出部２３０及び後述する類似度検出部２５１等において、記憶部２４０に記憶されている既検出テロップ候補は、これに続くフレームのテロップ候補と比較されることにより、既検出テロップ候補がテロップとしての特徴から外れる場合は、テロップ候補と置き換えられ、このとき、継続カウンタ２５２のカウント値がリセットされる。上述したように、テロップであれば、数フレームは安定して出現することから、継続カウンタ２５２により、記憶部２４０に記憶されている既検出テロップ候補が置き換えられることなく保持される連続フレーム数をカウントする。推定部２５０は、このカウント値から既検出テロップ候補がテロップであるか否かを最終的に推定するものである。
【００７８】
類似度検出部２５１は、既検出テロップ候補と、これより後（未来）のフレームにおいて検出されたテロップ候補との類似度を検出する類似度検出手段である。即ち、エッジ密度検出部２３０により検出されたエッジ密度が所定の閾値以上であるテロップ出現領域（テロップ候補）が供給され、このテロップ候補と、上記既検出テロップ候補との相関を比較する。具体的には、上述の候補フレーム画像検出部２２１及び局所変化検出部２２２と同様に、空間的に対応するブロック間の輝度ヒストグラムの相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上である場合、テロップ候補のテロップと、既検出テロップ候補のテロップとは、同一のものであると判断する。この場合は、更に、テロップ候補のエッジ密度と、既検出テロップ候補のエッジ密度とを比較し、両者のうち、エッジ密度が高い方のデータを既検出テロップ候補とする。即ち、既検出テロップ候補のエッジ密度の方が高ければ、記憶部２４０に記憶されているデータはそのまま保持されるが、テロップ候補の方がエッジ密度が高い場合は、記憶部２４０のデータ（既検出テロップ候補）をテロップ候補のデータと置き換える。このように、エッジ密度が高いものを選択することにより、より鮮明なものを抽出することができる。
【００７９】
ここで、記憶部２４０に記憶されている既検出テロップ候補が置き換えられた（書き換えられた）場合は、継続カウンタ２５２のカウント値をリセットする。一方、記憶部２４０に記憶されている既検出テロップ候補をそのまま保持した場合は、継続カウンタ２５２のカウント値をインクリメントする。
【００８０】
また、相関係数が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、ｉフレームテロップ出現領域に出現している可能性のあるテロップは、既検出テロップ候補に出現している可能性のあるテロップとは異なるものと判定され、ｉフレームテロップ出現領域のデータを記憶部２４０に供給し、記憶されている既検出テロップ候補をｉフレームテロップ出現領域のデータに置き換えると共に、継続カウンタ２５２のカウント値をリセットする。
【００８１】
このように、類似度検出部２５１は、テロップ候補と、記憶部２４０に記憶された既検出テロップ候補との類似度が所定の閾値以上であって、既検出テロップ候補のエッジ密度よりテロップ候補のエッジ密度の方が高いとき、また、上記類似度が所定の閾値未満であるとき、記憶部２４０の既検出テロップ候補をｉフレームのテロップ候補に入れ替える入替手段としても機能する。
【００８２】
安定度判定部２５３は、既検出テロップ候補が記憶部２４０に保持される期間を検出する期間検出手段として、継続カウンタ２５２のカウント値を検出する。上述したように、テロップであれば、数フレーム間は安定に出現することから、カウント値が予め設定された所定値である場合に、記憶部２４０に記憶されている既検出テロップ候補がテロップであると推定し、これをテロップ類似度判定部２６０に送る。一方、カウント値が所定値以外、例えば所定値未満である場合は、この既検出テロップ候補がテロップとしての安定度が低いと判定し、また所定値より大きい場合は、既にテロップ類似度判定部２６０に送られたものと判定し、記憶部２４０の既検出テロップ候補及び継続カウンタ２５２のカウント値を保持しつつ、次のフレームの処理へ進む。ここで、カウント値が所定値未満であった場合、以降のフレーム処理により、カウント値がインクリメントされ所定値に達した場合は、この既検出テロップ候補がテロップと推定されて類似度検出部２６０に送られる。
【００８３】
また、既検出テロップ候補をテロップと推定してテロップ類似度検出部２６０に送出した後は、記憶部２４０に記憶されている既検出テロップ候補、及び継続カウンタ２５２のカウント値はそのまま保持することにより、以降のフレームにおいて、この既検出テロップ候補と同一のテロップ候補が検出され、カウンタ値がインクリメントされれば、カウンタ値が所定値より大きくなるため、テロップ類似度検出部２６０には送出されず、同一のテロップを出力することを防止することができる。
【００８４】
テロップ類似度検出部２６０は、安定度判定部２５３により、既検出テロップ候補がテロップと推定された既検出テロップ候補と、既に提示されているテロップとを比較しその類似度が所定の閾値以下であるとき、当該既検出テロップ候補をテロップとして検出する文字情報検出手段である。即ち、既にテロップと判定され、例えば既に提示されたテロップ、又は、後述する提示画像生成部２７０に保持されているテロップ等の既検出テロップと、安定度判定部２５３によりテロップであると判定された既検出テロップ候補とを比較し、既検出テロップと類似していない既検出テロップ候補のみ検出し、これをテロップとして提示画像生成部２７０に送る。これにより、既検出テロップ候補が既にテロップとして判定され出力されているものと同じ場合には出力しないようにすることができる。このテロップ類似度判定部２６０により、既検出テロップ候補が既にテロップとして出力されていると判定された場合は、この既検出テロップ候補のデータを初期化し、次のフレームの処理に進む。
【００８５】
提示画像生成部２７０は、類似度判定部２６０により検出された１以上の既検出テロップを合成し提示画像を生成して他の画面に表示する提示手段である。提示画像生成部２７０は、所定数のテロップを保持して表示し続けるため、テロップの出現領域が例えば水平方向の帯状の領域に設定されている場合、この帯状の領域を切出し、例えは垂直方向に並べることでリスト表示を行っている。新しいテロップが検出される度に既存テロップをスクロールし、画像を更新して出力する。
【００８６】
このように、テロップ出現検出部は、先ず、テロップ出現判定部２２０により、入力画像データの輝度変化からテロップの出現を検出し、エッジ密度検出部２３０により、出現を検出した文字情報出現領域のエッジ密度からテロップ゜候補を検出し、推定部２５０により、テロップ候補の出現している期間を検出することによりテロップ候補が確実にテロップであるか否かを推定し、必要に応じて類似度類似度判定部２６０を設け、これによりテロップが何度も検出されないようにして、提示画像を生成するものである。
【００８７】
以下、本具体例におけるテロップ出現検出方法について詳細に説明する。図２０は、図１８に示すフレーム画像判定部２１０及びテロップ出現判定部２２０の処理方法を示すフローチャートである。上述したように、文字情報を検出する際には、予めテロップ出現領域を画面上に設定する。以下の説明においては、テロップ出現領域を画面下部に設定した場合について説明する。なお、複数のテロップ出現領域を設定する場合は、各テロップ出現領域について同様の処理を行うものとする。
【００８８】
図２０に示すように、図１８のフレーム画像判定部２１０にｉフレームの画素値Ｆ（ｉ，ｐｘｌ）が入力されると、上述したフラグ（ｓｔａｔｅｆｌｇ）が１であるか０であるかが検出される（ステップＳ５１）。ここで、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、後述するステップＳ５９に進む。一方、フラグ（ｓｔａｔｅｆｌｇ）が０である間は、ステップＳ５２及びＳ５３に進む。
【００８９】
ステップＳ５２では、ヒストグラム生成部２８０のヒストグラム計算部２８５から（ｉ−２）フレームの全画面においてブロック単位で計算された輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む。ここで、ｊは、フレーム内のｊ番目のブロック（ブロックＮｏ．）を示し、輝度ヒストグラムＨ（ｉ−２，ｊ）は、（ｉ−２）フレームにおけるｊ番目のブロックの輝度ヒストグラムを示す。このとき、同時に、ヒストグラム計算部２８２で、ｉフレームの全画面において、ブロック毎の輝度ヒストグラムが計算され、このｉフレームにおける輝度ヒストグラムＨ（ｉ，ｊ）がフレーム変化検出部２２６に供給される（ステップＳ３）。本具体例においては、フレーム画像を例えば７２０×４８０ピクセル等とすることができ、ブロックサイズを例えば３２×３２ピクセル等とすることができる。
【００９０】
次に、ステップＳ５４では、局所変化検出部２２６が、輝度ヒストグラムＨ（ｉ−２，ｊ）と輝度ヒストグラムＨ（ｉ，ｊ）とから対応ブロック毎に相関係数ｅ１（ｊ）を計算し、この相関係数ｅ１（ｊ）と所定の閾値（Ｔｈ＿ｃｏｅｆ１）とを比較し、相関係数ｅ１（ｊ）が、閾値（Ｔｈ＿ｃｏｅｆ１）以下であれば、変化ブロックと判定する。
【００９１】
そして、ステップＳ５４で判定した全ブロックに対する変化ブロックの割合ｅ１（ｊ）が、所定の閾値（Ｔｈ＿ｄｉｆｆ１）以下であるか否かを判定し（ステップＳ５）、閾値（Ｔｈ＿ｄｉｆｆ１）より大きい場合は、現フレームの処理を終了し、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ１（ｊ）が閾値（Ｔｈ＿ｄｉｆｆ１）以下である場合は、ステップＳ５６に進む。
【００９２】
ステップＳ５６では、局所変化検出部２２２において、ヒストグラム計算部２８２，２８５からのデータにより、フレーム内のテロップ出現領域、即ち、本具体例の場合は、例えば６４×５７６ピクセルのサイズを有する画面中央下部領域内の全ブロックに対する変化ブロックの割合ｅ２（ｊ）を計算し、ステップＳ５７において、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上であるか否かを判定する。変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）未満である場合は、現フレームの処理を終了して、次のフレームの処理へ進む。一方、変化ブロックの割合ｅ２（ｊ）が所定の閾値（Ｔｈ＿ｄｉｆｆ２）以上である場合は、ステップＳ５８に進み、ｉフレームのテロップ出現領域はテロップ候補であるとみなし、テロップ候補が検出されたことを示すフラグ（ｓｔａｔｅｆｌｇ）に１をたて、ｉフレームの画素値Ｆ（ｉ，ｐｘｌ）を推定部２５０へ送る。これにより、以降のフレーム画像の処理は、フラグ（ｓｔａｔｅｆｌｇ）が１である間は、ステップＳ５２乃至ステップＳ５８の処理を行わず、ステップＳ５１からステップＳ５９に進む処理がなされることになる。
【００９３】
次に、ヒストグラム生成部２８０において、輝度ヒストグラムを計算する方法について更に詳細に説明する。図２１は、ヒストグラム生成部２８０によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【００９４】
図２１に示すように、先ず、ブロック分割部２８１にｉフレームの画像データが入力され、このフレーム画像データを規定サイズ、例えば、３２×３２ピクセルのサイズのブロックに分割する（ステップＳ７１）。ブロック分割されたデータはヒストグラム計算部２８２に送られ、ここで、ｊ番目のブロックの輝度ヒストグラムＨ（ｉ，ｊ）を計算する（ステップＳ７２）。次に、ヒストグラム計算部２８５から、（ｉ−２）フレームのｊ番目のブロックの輝度ヒストグラムＨ（ｉ−２，ｊ）を読み込む（ステップＳ７３）。
【００９５】
次に、ステップＳ７２で得られた輝度ヒストグラムＨ（ｉ，ｊ）と、ステップＳ７３で得られた輝度ヒストグラムＨ（ｉ−２，ｊ）とから、上記式（１）により、ヒストグラムの相関係数ｅ１（ｊ）を計算し（ステップＳ７４）、閾値（Ｔｈ＿ｃｏｅｆ１）により変化を判定する（ステップＳ７５）。この変化の判定には、例えばフラグＥ（ｉ，ｊ）を使用し、ｉフレームのｊ番目のブロックは変化がある（変化ブロック）と判定された場合は、フラグＥ（ｉ，ｊ）＝１とし、変化ブロックではないと判定された場合は、フラグＥ（ｉ，ｊ）＝０とする。そして、（ｉ＋２）フレームのフレーム変化を検出する際に使用するため、Ｈ（ｉ，ｊ）を保持すると共に、候補フレーム画像検出部２１内のブロックＮｏ．をカウントするカウンタ値ｊをインクリメントする（ステップＳ７６）。そして、全ブロックについて、ステップＳ７５の閾値判定が終了しているか否かを判定し（ステップＳ７６）、終了していない場合は、ステップＳ７２に戻り、次のブロック（ｊ＋１番目のブロック）について、同様の処理を繰り返す。
【００９６】
一方、全てのブロックにおいて処理が終了した場合は、上述したように、変化ブロックの割合が所定の閾値より大きければ、現フレーム（ｉフレーム）の処理を終了し、次のフレームの処理へ進み、変化ブロックの割合が所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。具体的には、全ブロックのフラグＥ（ｉ，ｊ）の値を加算し、これが所定の閾値より大きい場合は処理を終了し、所定の閾値以下である場合は、局所変化検出部２２２へデータを供給する。局所変化検出部２２２においても、基本的には、ステップＳ７２乃至７７と同様の処理が繰り返される。即ち、テロップ出現領域内のブロック単位の輝度ヒストグラムＨ（ｉ，ｊ）及びＨ（ｉ−２，ｊ）が順次読み込まれ、テロップ出現領域内の変化ブロックを検出する処理を行う。
【００９７】
次に、推定部２５０における既検出テロップ候補がテロップか否かを推定する方法について説明する。図２２は、推定部の推定方法を示すフローチャートである。先ず、フラグ（ｓｔａｔｅｆｌｇ）＝１の間、画像データがエッジ密度検出部２３０に送られる。ここでは、エッジ密度検出部２３０に送られる画像データをｉフレームとする。先ず、図２２に示すように、エッジ密度検出部２３０において、ｉフレームにおけるテロップ出現領域におけるエッジ画像の密度ｄ（ｉ）が計算される（ステップＳ５９）。このエッジ密度ｄ（ｉ）が所定の閾値（Ｔｈ＿ｄｅｎ）以上であるか否かが検出され（ステップＳ６０）、エッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）未満である場合は、ステップＳ６１に進み、記憶部２４０に記憶されている既検出テロップ候補を初期化、即ち、データを破棄し、継続カウンタ２５２のカウント値をリセットし、更にテロップ候補が検出されていることを示すフラグ（ｓｔａｔｅｆｌｇ）を０にする（ステップＳ６１）。これにより、以降のフレーム画像は、フラグ（ｓｔａｔｅｆｌｇ）が１になるまで、ステップＳ５２乃至ステップＳ５８を繰り替えすことになる。一方、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）が閾値（Ｔｈ＿ｄｅｎ）以上である場合は、データを類似度検出部２５１へ送り、ステップＳ６２に進む。
【００９８】
ステップＳ６２では、類似度検出部２５１において、記憶部２４０に記憶されている既検出テロップ候補と、ｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）を計算する。そして、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であるか否かを判定する（ステップＳ６３）。ステップＳ６３で、相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）以上であると判定された場合、即ち、既検出テロップ候補とｉフレームのテロップ出現領域とは同一のテロップを有するものと判定された場合はステップＳ６４に進み、記憶部２４０に記憶されている既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）と、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）とが比較される（ステップＳ６４）。そして、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上であるか否かが判定され（ステップＳ６５）、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）以上である場合、即ち、既検出テロップ候補の方がｉフレームのテロップ出現領域に出現する可能性のあるテロップよりも鮮明であると判定された場合は、ステップＳ６７に進む。
【００９９】
一方、ステップＳ６３において、既検出テロップ候補とｉフレームのテロップ出現領域との相関係数ｅ（ｔｌｐ）が所定の閾値（Ｔｈ＿ｃｏｅｆ２）未満である場合、即ち、ｉフレームのテロップ出現領域と既検出テロップ候補とでテロップが変化しているものと判断した場合と、ステップＳ６５において、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）がｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）より小さい場合、即ち、既検出テロップ候補よりもｉフレームのテロップ出現領域に出現する可能性があるテロップの方が、エッジ密度が高く鮮明であると判断した場合は、ステップＳ６６に進む。ステップＳ６６では、記憶部２４０に記憶されている既検出テロップ候補が、現フレーム、即ち、ｉフレームのテロップ出現領域のデータに入れ替えられる。具体的には、既検出テロップ候補のエッジ密度ｄ（ｔｌｐ）を、ｉフレームのテロップ出現領域のエッジ密度ｄ（ｉ）に入れ替え、更に継続カウンタ２５２のカウント値をリセット（ｔｌｐｌｅｎ＝０）し、ステップＳ６７に進む。
【０１００】
ステップＳ６７においては、継続カウンタ２５２のカウント値をインクリメント（ｔｌｐｌｅｎ＝＋＋）し、ステップＳ６８において、継続カウンタ２５２のカウント値（ｔｌｐｌｅｎ）が所定値（Ｔｈ＿ｔｌｐｌｅｎ）であるか否かが判定される。
【０１０１】
上述したように、テロップであれば、一定フレームの間、安定して出現する。継続カウンタ２５２のカウント値は、テロップが安定して出現したフレーム数を示すものである。従って、ステップＳ６８において、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）以外であると判定された場合は、カウント値及び既検出テロップ候補のデータを保持して次のフレームの処理へ進む。
【０１０２】
一方、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）である場合、即ち、既検出テロップ候補が所定のフレーム数、出現し続けていると判定された場合は、このデータがテロップ類似度判定部２６０へ送られてステップＳ６９に進む。この際、記憶部２４０に保持されている既検出テロップ候補及び継続カウンタ２５２のカウント値はそのまま保持する。
【０１０３】
ステップＳ６９では、例えば提示画像生成部２７０等に保持されている既にテロップと判定されものと、既検出テロップ候補との相関係数を計算し、ステップＳ７０にて、相関係数が所定の閾値以下であるか否かが判定される。ステップＳ７０にて相関係数が所定の閾値以下である場合、既検出テロップ候補は、まだテロップとして検出されていない新しいテロップであると判断され、このデータを提示画像生成部２７０へ送る。一方、相関係数が所定の閾値より大きい場合は、既検出テロップ候補に出現するテロップは既にテロップとして出力されていると判断され、次のフレームの処理に進む。
【０１０４】
ここで、ステップＳ６８及びステップＳ６９において、安定度判定部２５３及びテロップ類似度検出部２６０の夫々判定結果及び検出結果に拘わらず、記憶部２４０の既検出テロップ候補のデータはそのまま保持され、且つ継続カウンタ２５２のカウンタ値もそのまま保持されているため、例えば、次に入力されるフレーム画像において同じテロップ候補が検出され、このテロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より小さい場合は、継続カウンタ２５２のカウンタ値がインクリメントされ、所定値（Ｔｈ＿ｔｌｐｌｅｎ）を超えるため、再びテロップ類似度検出部２６０に送られることはない。また、テロップ候補のエッジ密度が既検出テロップ候補のエッジ密度より大きい場合は、既検出テロップ候補が置き換えられ、継続カウンタのカウント値が１となり、カウント値が所定値（Ｔｈ＿ｔｌｐｌｅｎ）に達するまで処理が繰り返される。
【０１０５】
以上、図２２に示す工程において、記憶部２４０には、既検出テロップ候補が記憶されているものとして説明したが、図２０に示すステップＳ５５、ステップＳ５８において、ｉフレームにおいてテロップ候補が検出されなかった場合、記憶部２４０に記憶されている既検出テロップ候補は初期化（破棄）される。このように、記憶部２４０には、既検出テロップ候補が記憶されていない状態で、推定部２５０にテロップ候補を有するフレーム画像が供給された場合、図２２に示すステップＳ６２乃至ステップＳ６５における処理は不要となる。従って、既検出テロップ候補が初期化された状態でステップＳ６０においてエッジ密度が所定の閾値以上であると判定された場合は、ステップＳ６６に進み、フレーム画像のテロップ出現領域のデータが既検出テロップ候補として記憶される。そして、同様に、ステップＳ６７において、継続カウンタｔｌｐｌｅｎ＝１として、次のフレームの処理に進む。
【０１０６】
このように構成された本具体例に係るテロップ出現検出部１４，１１３においては、テロップ出現判定部２２０において異なるフレーム間におけるブロック単位の輝度ヒストグラムの相関を用いてテロップ出現領域における輝度変化（局所変化）を求めることで画像上の小さな変化等による誤検出を軽減することが可能となると共に、シーンチェンジ及び背景の大きな動き等による誤検出を軽減することが可能となる。また、エッジ密度検出部２３０によるエッジ密度を判定条件に用いることで、文字情報（テロップ）を更に精度よく検出することが可能となる。更に、類似度判定部２５１により、既検出テロップ候補とこれに連続するフレームのテロップ出現領域における類似度を判定すると共に、継続カウンタ２５２により継続して出現するフレーム数をカウントし、更に、テロップ類似度検出部２６０により既検出テロップとの類似度を判定することで、細かいテロップの変化等の場合にも、同内容のテロップを誤検出することを軽減することができる。
【０１０７】
また、第１及び第３の実施の形態においては、類似判定部１２及び人物検出１３の後段にテロップ出現検出部１４を設けている。また、第２の実施の形態においても、人物検出部１１２の後段にテロップ出現検出部１１３を設けているが、これら第１乃至第３の実施の形態において、本具体例のようなテロップ出現検出部を入力画像が供給されるような位置に設け、先ずテロップ出現を検出し、その後、類似判定又は人物検出をするようにしてもよい。
【０１０８】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理装置は、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有するか、テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段とを有するか、又は人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段とを有するので、入力画像と所定のグループに分類するための保存画像との類似度を判定することにより、入力画像を各グループ毎に分類し、各グループ毎の入力画像に含まれるテロップからテロップリストを生成することができ、例えば重要と思われる人物毎にグループ分けすれば、その人物毎にグループ分けされたテロップリストを作成し、このテロップリストを表示すれば、使用者は各グループに対応したテロップを見ることができて極めて見やすく理解しやすいものとなる。
【図面の簡単な説明】
【図１】人物毎に分類され表示される表示例を示す模式図である。
【図２】（ａ）及び（ｂ）は、画面に表示される人物の夫々バストショット及びクローズアップを示す模式図である。
【図３】重要だと推定される人物及びテロップの表示例を示す模式図である。
【図４】映像の流れとテロップの出現の関係を示す模式図である。
【図５】本発明の第１の実施の形態に係る画像処理システムを示すブロック図である。
【図６】人物と背景との関係を示す模式図である。
【図７】本発明の第１の実施の形態の画像処理装置１０におけるテロップリスト作成方法を示すフローチャートである。
【図８】本発明の第１の実施の形態の人物検出部における人物検出方法を示すフローチャートである。
【図９】画面上に設定される人物の上半身領域及び上半身領域内に設定される顔領域を示す模式図である。
【図１０】本発明の第１の実施の形態のリスト更新部におけるリスト更新方法を示すフローチャートである。
【図１１】本発明の第１の実施の形態におけるテロップ更新部において更新されるテロップリストを示す模式図である。
【図１２】本発明の第１の実施の形態の表示装置２０，３０に表示される夫々画面２０ａ及び２０ｂを示す模式図である。
【図１３】本発明の第２の実施の形態に係る画像処理システムを示すブロック図である。
【図１４】本発明の第２の実施の形態の画像処理装置のテロップリスト作成方法を示すフローチャートである。
【図１５】本発明の第３の実施の形態に係る映像処理システムを示すブロック図である。
【図１６】本発明の第３の実施の形態における画像処理システムの表示装置２０と、５つのテロップリスト表示用表示装置１００１〜１００５の表示例を示す模式図である。
【図１７】本発明の第３の実施の形態における画像処理システムのテロップリスト用表示装置１００１〜１００ｎのテロップリストの他の表示例を示す模式図である。
【図１８】画像処理システムのテロップ検出部の具体例を示す図であって、テロップ検出部におけるデータの流れを説明する説明図である。
【図１９】本発明の具体例におけるヒストグラム生成部におけるデータの流れを説明する説明図である。
【図２０】本発明の具体例におけるフレーム画像判定部及びテロップ出現検出部の処理方法を示すフローチャートである。
【図２１】ヒストグラム生成部によりブロック単位で計算された輝度ヒストグラムから候補フレーム画像を検出する方法を示すブローチャートである。
【図２２】本発明の具体例における推定部の推定方法を示すフローチャートである。
【符号の説明】
１，２，１０１ 像処理システム、１０，１１０ 画像処理装置、２０，３０表示装置、１１，１１１ メモリ、１２ 類似度判定部、１３，１１３ 人物検出部、１４，１１３ テロップ出現検出部、１５，１１５ リスト更新部、２１０ 判定部、２２０ テロップ出現判定部、２２１ 候補フレーム画像検出部、２２２ 局所変化検出部、２３０ エッジ密度検出部、２４０ 記憶部、２５０ 推定部、２５１ 類似度検出部、２５２ 継続カウンタ、２５３ 安定度判定部、２６０ テロップ類似度検出部、２７０ 提示画像生成部、２８０ ヒストグラム生成部、２８１，２８４ ブロック分割部、２８２，２８５ ヒストグラム計算部
Claims (31)
- テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、
入力画像と上記保存画像との類似度を判定する類似度判定手段と、
上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出手段と、
上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と
を有することを特徴とする画像処理装置。 - テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、
入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、
上記テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、
上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と
を有することを特徴とする画像処理装置。 - 人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、
入力画像から人物を検出する人物検出手段と、
人物が検出された入力画像からテロップを検出するテロップ検出手段と、
テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、
上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、
同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段と
を有することを特徴とする画像処理装置。 - 上記記憶手段は、上記グループ毎に、上記保存画像と上記テロップリスト生成手段により生成されたテロップリストとを記憶する
ことを特徴とする請求項１記載の画像処理装置。 - 上記保存画像は、人物が含まれる人物画像である
ことを特徴とする請求項４記載の画像処理装置。 - 上記入力画像と上記保存画像との類似度が上記所定の閾値未満であるとき、該入力画像に含まれる人物を検出する人物検出手段を有する
ことを特徴とする請求項５記載の画像処理装置。 - 上記記憶手段に記憶された上記保存画像を、上記人物検出手段により人物が検出された場合に、該検出された人物が含まれる画像により更新する更新手段を有する
ことを特徴とする請求項６記載の画像処理装置。 - 上記記憶手段に記憶された上記テロップリストを、上記分類手段により新たに分類されたテロップにより更新する更新手段を有する
ことを特徴とする請求項４記載の画像処理装置。 - 表示手段に接続され、上記テロップ生成手段により生成されたテロップリストを上記表示手段に表示する表示制御手段を有する
ことを特徴とする請求項１記載の画像処理装置。 - 少なくとも２つの表示手段に接続され、一方の表示手段に表示されている映像に人物が表示された場合、該人物に対応するテロップリストを上記記憶手段から読み出し他方の表示手段に表示する表示制御手段を有する
ことを特徴とする請求項５記載の画像処理装置。 - 上記テロップリストと、該テロップリストに対応する保存画像とを合成して合成画像を生成する合成画像生成手段と、
表示手段に接続され、上記合成画像生成手段により生成された合成画像を上記表示手段に表示する表示制御手段と
を有することを特徴とする請求項１記載の画像処理装置。 - 入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、
上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出工程と、
上記テロップ検出工程にてテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類工程と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とする画像処理方法。 - 入力画像からテロップを有するテロップ付き画像を抽出する画像抽出工程と、
上記テロップ付き入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、
上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類工程と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とする画像処理方法。 - 入力画像から人物を検出する人物検出工程と、
人物が検出された入力画像からテロップを検出するテロップ検出工程と、
テロップが検出されたテロップ付き画像と、人物と共に表示されるテロップを該人物毎にグループ分けするために記憶手段に記憶された人物画像との類似度を判定する類似度判定工程と、
上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記人物画像の人物毎に分類する分類工程と、
同一の人物毎に分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とする画像処理方法。 - 上記グループ毎に、上記保存画像と上記テロップリスト生成工程にて生成されたテロップリストとを上記記憶手段に記憶する記憶工程を有する
ことを特徴とする請求項１２記載の画像処理方法。 - 上記保存画像は、人物が含まれる人物画像である
ことを特徴とする請求項１５記載の画像処理方法。 - 上記入力画像と上記保存画像との類似度が上記所定の閾値未満であるとき、該入力画像に含まれる人物を検出する人物検出工程を有する
ことを特徴とする請求項１６記載の画像処理方法。 - 上記記憶手段に記憶された上記保存画像を、上記人物検出手段により人物が検出された場合に、該検出された人物が含まれる画像により更新する更新工程を有する
ことを特徴とする請求項１７記載の画像処理方法。 - 上記記憶手段に記憶された上記テロップリストを、上記分類工程にて新たに分類されたテロップにより更新する更新工程を有する
ことを特徴とする請求項１５記載の画像処理方法。 - 上記テロップ生成工程にて生成されたテロップリストを表示手段に表示する表示制御工程を有する
ことを特徴とする請求項１２記載の画像処理方法。 - 少なくとも２つの表示手段の一方に表示されている映像に人物が表示された場合、該人物に対応するテロップリストを上記記憶手段から読み出し他方の表示手段に表示する表示制御工程を有する
ことを特徴とする請求項１６記載の画像処理方法。 - 上記テロップリストと、該テロップリストに対応する保存画像とを合成して合成画像を生成する合成画像生成工程と、
上記合成画像生成工程にて生成された合成画像を表示手段に表示する表示制御工程と
を有することを特徴とする請求項１２記載の画像処理方法。 - 所定の動作をコンピュータに実行させるプログラムであって、
入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、
上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出工程と、
上記テロップ検出工程にてテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類工程と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とするプログラム。 - 所定の動作をコンピュータに実行させるプログラムであって、
入力画像からテロップを有するテロップ付き画像を抽出する画像抽出工程と、
上記テロップ付き入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、
上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類工程と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とするプログラム。 - 所定の動作をコンピュータに実行させるプログラムであって、
入力画像から人物を検出する人物検出工程と、
人物が検出された入力画像からテロップを検出するテロップ検出工程と、
テロップが検出されたテロップ付き画像と、人物と共に表示されるテロップを該人物毎にグループ分けするために記憶手段に記憶された人物画像との類似度を判定する類似度判定工程と、
上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記人物画像の人物毎に分類する分類工程と、
同一の人物毎に分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とするプログラム。 - 所定の動作をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、
上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出工程と、
上記テロップ検出工程にてテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類工程と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とするプログラムを記録した記録媒体。 - 所定の動作をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
入力画像からテロップを有するテロップ付き画像を抽出する画像抽出工程と、
上記テロップ付き入力画像とテロップを所定のグループに分類するために記憶手段に記憶された保存画像との類似度を判定する類似度判定工程と、
上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類工程と、
上記同一のグループに分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とするプログラムを記録した記録媒体。 - 所定の動作をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
入力画像から人物を検出する人物検出工程と、
人物が検出された入力画像からテロップを検出するテロップ検出工程と、
テロップが検出されたテロップ付き画像と、人物と共に表示されるテロップを該人物毎にグループ分けするために記憶手段に記憶された人物画像との類似度を判定する類似度判定工程と、
上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記人物画像の人物毎に分類する分類工程と、
同一の人物毎に分類されたテロップをリストにするテロップリスト生成工程と
を有することを特徴とするプログラムを記録した記録媒体。 - １以上の表示装置と、
テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、上記入力画像からテロップを検出するテロップ検出手段と、上記テロップ検出手段によりテロップが検出されたとき、上記入力画像からテロップを切り出し、該テロップを上記保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置と
を有することを特徴とする画像処理システム。 - １以上の表示装置と、
テロップを所定のグループに分類するための保存画像が記憶された記憶手段と、入力画像からテロップを有するテロップ付き画像を抽出する画像抽出手段と、上記テロップ付き入力画像と上記保存画像との類似度を判定する類似度判定手段と、上記類似度が所定の閾値以上であるとき、該テロップ付き画像からテロップを切り出し、該テロップを当該保存画像と同一のグループに分類する分類手段と、上記同一のグループに分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする画像処理システム。 - １以上の表示装置と、
人物と共に表示されるテロップを該人物毎にグループ分けするための人物画像が保存画像として記憶された記憶手段と、入力画像から人物を検出する人物検出手段と、人物が検出された入力画像からテロップを検出するテロップ検出手段と、
テロップが検出されたテロップ付き画像と上記保存画像との類似度を判定する類似度判定手段と、上記テロップ付き画像からテロップを切り出し、上記類似度に基づき、該テロップを上記保存画像の人物毎に分類する分類手段と、同一の人物毎に分類されたテロップをリストにするテロップリスト生成手段と、上記１以上の表示装置に接続され、上記テロップ生成手段により生成されたテロップリストを該表示装置に表示させる表示制御手段とを具備する画像処理装置とを有することを特徴とする画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002235022A JP2004080156A (ja) | 2002-08-12 | 2002-08-12 | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002235022A JP2004080156A (ja) | 2002-08-12 | 2002-08-12 | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004080156A true JP2004080156A (ja) | 2004-03-11 |
| JP2004080156A5 JP2004080156A5 (ja) | 2005-10-27 |
Family
ID=32019660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002235022A Pending JP2004080156A (ja) | 2002-08-12 | 2002-08-12 | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004080156A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171574A (ja) * | 2004-12-17 | 2006-06-29 | Olympus Corp | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
| JP2008046832A (ja) * | 2006-08-15 | 2008-02-28 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
| JP2008141392A (ja) * | 2006-11-30 | 2008-06-19 | Toshiba Corp | 字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置 |
| JP2008166988A (ja) * | 2006-12-27 | 2008-07-17 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2010021991A (ja) * | 2008-06-09 | 2010-01-28 | Sony Corp | 情報提示装置および情報提示方法 |
| US8077977B2 (en) | 2006-08-15 | 2011-12-13 | Fuji Xerox Co., Ltd. | Image processing system, image processing method, computer readable medium and computer data signal |
| JP2012209671A (ja) * | 2011-03-29 | 2012-10-25 | Kyocera Corp | 電子機器 |
| JPWO2012093425A1 (ja) * | 2011-01-07 | 2014-06-09 | 株式会社スピードワープロ研究所 | デジタル字幕放送用レコーダ |
| JP2015163978A (ja) * | 2015-04-22 | 2015-09-10 | カシオ計算機株式会社 | 画像出力装置及びプログラム |
-
2002
- 2002-08-12 JP JP2002235022A patent/JP2004080156A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4515899B2 (ja) * | 2004-12-17 | 2010-08-04 | オリンパス株式会社 | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
| JP2006171574A (ja) * | 2004-12-17 | 2006-06-29 | Olympus Corp | 顕微鏡画像処理方法、顕微鏡画像処理プログラムおよび顕微鏡システム |
| JP2008046832A (ja) * | 2006-08-15 | 2008-02-28 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
| US8077977B2 (en) | 2006-08-15 | 2011-12-13 | Fuji Xerox Co., Ltd. | Image processing system, image processing method, computer readable medium and computer data signal |
| JP2008141392A (ja) * | 2006-11-30 | 2008-06-19 | Toshiba Corp | 字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置 |
| US8363160B2 (en) | 2006-11-30 | 2013-01-29 | Kabushiki Kaisha Toshiba | Caption detection device, caption detection method, and pull-down signal detection apparatus |
| US8213764B2 (en) | 2006-12-27 | 2012-07-03 | Sony Corporation | Information processing apparatus, method and program |
| JP2008166988A (ja) * | 2006-12-27 | 2008-07-17 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP4618384B2 (ja) * | 2008-06-09 | 2011-01-26 | ソニー株式会社 | 情報提示装置および情報提示方法 |
| JP2010021991A (ja) * | 2008-06-09 | 2010-01-28 | Sony Corp | 情報提示装置および情報提示方法 |
| US8436941B2 (en) | 2008-06-09 | 2013-05-07 | Sony Corporation | Information presenting device and information presenting method |
| JPWO2012093425A1 (ja) * | 2011-01-07 | 2014-06-09 | 株式会社スピードワープロ研究所 | デジタル字幕放送用レコーダ |
| JP2012209671A (ja) * | 2011-03-29 | 2012-10-25 | Kyocera Corp | 電子機器 |
| JP2015163978A (ja) * | 2015-04-22 | 2015-09-10 | カシオ計算機株式会社 | 画像出力装置及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633241B (zh) | 一种全景视频自动标注和追踪物体的方法和装置 | |
| US8014566B2 (en) | Image processing apparatus | |
| US5805733A (en) | Method and system for detecting scenes and summarizing video sequences | |
| JP4981128B2 (ja) | 映像からのキーフレーム抽出 | |
| KR101414669B1 (ko) | 적응형 비디오 표현을 위한 방법 및 디바이스 | |
| US20050232588A1 (en) | Video processing device | |
| CN107430780B (zh) | 用于基于视频内容特性的输出创建的方法 | |
| JP2010503006A5 (ja) | ||
| JP3329408B2 (ja) | 動画像処理方法および装置 | |
| JP2004080156A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体並びに画像処理システム | |
| JPWO2013176263A1 (ja) | 類似画像検索システム | |
| JP5776471B2 (ja) | 画像表示システム | |
| JP4244584B2 (ja) | 重要画像検出装置、重要画像検出方法、プログラム及び記録媒体並びに重要画像検出システム | |
| JP5850188B2 (ja) | 画像表示システム | |
| JP5962383B2 (ja) | 画像表示システムおよび画像処理装置 | |
| JP3534592B2 (ja) | 代表画像生成装置 | |
| EP1484763A1 (en) | Music program contents menu creation apparatus and method | |
| JP4288909B2 (ja) | 文字情報検出装置及び文字情報検出方法、並びにプログラム及び記録媒体 | |
| JP4158449B2 (ja) | 画像表示装置、画像表示方法、プログラム、及び記録媒体、並びに画像表示システム | |
| JP2002245051A (ja) | 動画像検索装置及び方法、その方法をコンピュータに実行させるためのプログラム並びにそのプログラムを記録した記録媒体 | |
| JP3625935B2 (ja) | 動画像の重要画像抽出装置および重要画像抽出方法 | |
| JP3024574B2 (ja) | 動画像検索装置 | |
| CN110222207B (zh) | 图片的整理方法、装置和智能终端 | |
| JP3513011B2 (ja) | 映像テロップ領域判別方法、装置、および映像テロップ領域判別プログラムを記録した記録媒体 | |
| JPH06333048A (ja) | 動画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050727 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080729 |