JP2010010914A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】入力画像の素性に依らず、画像特徴量による識別性能を確保できるようにする。
【解決手段】図２のＢの通常の画像の画像特徴量と同期させる場合、マッチング対象として、従来と同様の５フレーム分の図２のＡ１の特徴量群を採用する。これにより、図２のＢに示されるように、１か所の検索位置dで一致する。これに対して、図２のＣの２-３プルダウン画像の画像特徴量と同期させる場合、マッチング対象として、従来と同様の５フレーム分の図２のＡ１の特徴量群を採用するのではなく、例えば８フレーム分の図２のＡ２の特徴量群を作用する。すると、図２のＣに示されるように、１か所の検索位置ｅで一致する。即ち、従来は一致すると誤検出された検索位置ｅ’では不一致となる。本発明は、マッチング処理を実行する画像処理装置に適用できる。
【選択図】図２

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、入力画像の素性に依らず、画像特徴量による識別性能を確保すると同時に、識別性能向上の弊害として生じる同期検出処理の計算量増加を、必要十分な範囲に抑えることができるようになった、画像処理装置および方法、並びにプログラムに関する。

従来、入力画像から抽出される画像特徴量によって同期検出（マッチング処理）を行い、画像を処理するための設定情報を、画像特徴量に対応付けて記録することが可能なシステムが存在する（例えば特許文献１参照）。
特開２００７−２３５３７４号公報

しかしながら、このような従来のシステムでは、静止画像や２−２/２-３プルダウン等の画像が入力されると、正確な検索位置が分からなくなる場合がある、という問題があった。

本発明は、このような状況に鑑みてなされたものであり、入力画像の素性に依らず、画像特徴量による識別性能を確保すると同時に、識別性能向上の弊害として生じる同期検出処理の計算量増加を、必要十分な範囲に抑えることができるようにするものである。

本発明の一側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段と、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期手段と、前記同期手段により前記データ記録媒体の特徴量と前記再生位置特徴量とを同期させる時間幅を制御する制御手段と、前記制御手段による制御の下、前記同期手段により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出手段と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段とを備える。

前記制御手段は、前記画像の種類に応じて、同期させる前記時間幅を決定する。

前記制御手段は、前記画像が持つ情報量の時間方向の粗密度合いを用いて、同期させる前記時間幅を決定する。

前記画像の種類は複数存在し、複数の前記画像の種類毎に、同期させる前記時間幅をそれぞれ示す情報が格納されたテーブルが、前記画像処理装置に予め保持されており、前記制御手段は、前記テーブルを用いて、同期させる前記時間幅を決定する。

前記制御手段は、前記画像における隣接する２つの単位画像の差分を用いて、同期させる前記時間幅を決定する。

本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する。

本発明の一側面の画像処理装置および方法並びにプログラムにおいては、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出され、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期され、その同期の際、前記データ記録媒体の特徴量と前記再生位置特徴量とを同期させる時間幅が制御され、その制御の下、前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報が読み出され、読み出された設定情報に基づいて、前記再生位置の画像に対して処理が反映される。

本発明によれば、入力画像の素性に依らず、画像特徴量による識別性能を確保すると同時に、識別性能向上の弊害として生じる同期検出処理の計算量増加を、必要十分な範囲に抑えることができる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、従来の同期検出上の問題を説明する図である。

図１のＡ，Ｂ，Ｃにおいて、１つの四角形状はフレームを示し、その四角形状内に示される数値は、当該フレームの画像特徴量を示している。なお、この前提事項は他の図面についても同様であるとする。

図１のＡには、マッチング対象である画像特徴量群（例えば後述する再生位置特徴量等）が示されている。図１のＢには、通常の動画像の画像特徴量群が示されている。図１のＣには、その通常の動画像に対する２-３プルダウン画像の画像特徴量群が示されている。なお、図１は、説明の簡略上、１フレーム当たりの画像特徴量のサイズaを１byteと仮定している。当然ながら、サイズａは１byteに限られない。このことは、後述する図２等他の例についても同様に当てはまる。

図１のＡのマッチング対象を、図１のＢの通常の画像の画像特徴量と同期させると、図１のＢに示されるように、１か所の検索位置ｂで一致（マッチング）する。これに対して、図１のＡのマッチング対象を、図１のＣの２-３プルダウン画像の画像特徴量と同期させると、検索位置ｃ，ｃ'といった複数個所で一致（マッチング）してしまう。このことが、［発明が解決しようとする課題］で上述した問題、即ち、正確な検索位置が分からないという問題の発生要因である。

そこで、本発明人は、かかる問題を解決すべく、例えば図２に示される同期検出の手法を発明した。即ち、図２は、本発明が適用された同期検出の手法例を説明する図である。

図２のＡ１，Ａ２には、図１のＡと同様に、マッチング対象である画像特徴量群（後述する再生位置特徴量等）が示されている。なお、図２のＡ１，Ａ２の違いについては後述する。図２のＢには、図１のＢと同様に、通常の動画像が示されている。図２のＣには、図１のＣと同様に、その通常の動画像に対する２-３プルダウン画像が示されている。

図２のＢの通常の画像の画像特徴量と同期させる場合、マッチング対象として、従来と同様の５フレーム分の図２のＡ１の特徴量群を採用する。これにより、図２のＢに示されるように、１か所の検索位置dで一致（マッチング）する。

これに対して、図２のＣの２-３プルダウン画像の画像特徴量と同期させる場合、マッチング対象として、従来と同様の５フレーム分の図２のＡ１の特徴量群を採用するのではなく、例えば８フレーム分の図２のＡ２の特徴量群を作用する。すると、図２のＣに示されるように、１か所の検索位置ｅで一致（マッチング）する。即ち、従来は一致（マッチング）すると誤検出された検索位置ｅ’では不一致となる（マッチングしない）。

このように、本発明人は、画像の種類に応じて、マッチング対象の特徴量群の数（フレーム数）を可変する、といった同期検出の手法（以下、特徴量数可変手法と称する）を発明した。ここで、マッチング対象のフレーム数とは、時間幅を示していると把握できる。このように把握すると、特徴量数可変手法とは、画像の種類に応じて、マッチング対象の時間幅を制御する、といった同期検出の手法であるとも把握することができる。このような特徴量数可変手法を適用することで、入力信号の時間方向の情報量の偏りに拠らず、同期検出のフレーム識別性能を確保することができるようになる。

そこで以下、まず、図３，図４を参照して、本発明を適用した画像処理装置、即ち、特徴量数可変手法を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像特徴量を抽出して、その画像特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。

記録モードでは、図３に示されるように、画像処理装置２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア１から、DVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より画像特徴量を抽出し、その画像特徴量に対応付けて設定情報を操作履歴格納部４に蓄積させる。

次に、再生モードでは、図４に示されるように、画像処理装置２は、動画像を含むコンテンツが予め記録されている記録メディア１から、DVDプレーヤなどにより再生される画像を読み出すと供に、画像特徴量を抽出する。このとき、画像処理装置２は、操作履歴格納部４に特徴量に対応付けられて記録されている設定情報を、記録メディア１から読み出した画像特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部３に表示させる。

以上のような動作により、画像処理装置２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えるといった加工処理を繰り返すことが可能となる。

以下、図３，図４を参照して説明した画像処理装置２について詳細を説明する。

図５は、図３，図４の画像処理装置２に対応する画像処理装置１３の一実施の形態の構成を示した図である。

画像再生部１２は、図３，図４の記録メディア１に対応する記録メディア１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部４１および遅延部４８に供給する。

特徴量抽出部４１は、画像再生部１２より順次供給されてくる画像特徴量（以下、適宜特徴量と略記する）を抽出して、同期検出部４２、情報量評価部５０および蓄積ブロック４３の特徴量設定情報記録部６１に供給する。例えば、特徴量抽出部４１は、特徴量として、フレーム内画素の輝度値の総和の下位abyteを抽出し、フレーム毎にabyteの特徴量を出力する。なお、特徴量抽出部４１の構成については図６を、特徴量抽出処理については図１０を参照して詳細を後述する。

リモートコントローラ１４は、キーやボタンなどから構成され、図３，図４で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置１３の受光部４４に発光する。

受光部４４は、リモートコントローラ１４の発光パターンに基づいて、リモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部４６に供給する。なお、蓄積ブロック４３は、リモートコントローラ１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部４５において、蓄積ブロック４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部４５は、蓄積ブロック４３の動作をオンまたはオフに制御する。

設定情報決定部４６は、操作情報認識部４５より供給されてくる操作情報に基づいて、後述する反映部４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。

蓄積ブロック４３の特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量と、設定情報決定部４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部６２（図３，図４の操作履歴格納部４に対応するもの）に蓄積させる。

同期検出部４２は、リアルタイムに特徴量抽出部４１から出力される、画像再生部１２により再生されている特徴量（後述する再生位置特徴量）abyteを連続ｂ(≦Ｂ)フレーム分保持する。ここで、ｂの値は、例えば情報量評価部５０から出力される情報量評価値ｘに応じて決定される。ｂの値の詳細については後述する。

また、同期検出部４２は、特徴量設定情報蓄積部６２に蓄積されている特徴量の中から、特徴量をa×ｂbyte分取り出す。そして、その特徴量（後述する検索位置特徴量）a×ｂbyteと、特徴量抽出部４１より供給されてくる特徴量（後述する再生位置特徴量）a×ｂbyteを順次比較し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６３に供給する。なお、同期検出部４２の構成については図８を、同期検出処理については図１２を参照して詳細を後述する。

情報量評価部５０は、特徴量抽出部４１から出力された特徴量を用いて、例えば情報量評価値ｘを計算する。ここで、情報量評価値ｘとは、入力信号の持つ情報量の時間方向の粗密度合をいう。情報量評価値ｘを演算する処理の具体例については図１３等を参照して詳細を後述する。

特徴量設定情報読出部６３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部６２に記憶されている設定情報を読み出し、選択部４７に供給する。選択部４７は、設定情報決定部４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部６３より設定情報が供給されることがあっても、設定情報決定部４６からの設定情報を反映部４９に供給する。また、選択部４７は、設定情報決定部４６より設定情報の供給がなく、特徴量設定情報読出部６３より設定情報が供給された場合、特徴量設定情報読出部６３より供給された設定情報を反映部４９に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部４７は、設定情報を反映部４９に供給しない。

遅延部４８は、特徴量抽出部４１、同期検出部４２、蓄積ブロック４３、および、選択部４７の処理における遅延時間だけ、画像再生部１２より供給されてくる画像を一時的に記憶し、反映部４９に出力する。反映部４９は、選択部４７より設定情報が供給されてくる場合、遅延部４８より供給されてくる画像に対する処理を反映して、表示部１５に表示する。また、反映部４９は、選択部４７より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部１５に表示させる。

次に、図６を参照して、特徴量抽出部４１の詳細な構成について説明する。

DFF（D型フリップフロップ）８１は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号（clk）が入力されるタイミングで加算器８２に出力する。また、DFF８１は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図７で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Ｓから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器８２に出力されない。つまり、DFF８１は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器８２に供給する。

加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号とを加算してDFF８３に出力する。より詳細には、加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号との加算結果のうち、下位abyteを抽出してDFF８３に供給する。

DFF８３は、加算器８２より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号（clk）が入力されるタイミングで加算器８２および出力部８４に供給する。また、DFF８３は、フレーム開始点（図中の水平方向のサンプルと垂直方向のラインの丸印の原点）Ｓの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF８３は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器８２により累積的に加算された値を出力部８４に供給する。

出力部８４は、1フレームの値がDFF８３より供給されてきたとき、その値をフレーム分の画像の特徴量として出力する。すなわち、出力部８４は、画像データ領域のデータのみが加算器８２により累積的に加算された値の下位abyteをそのフレームの特徴量として出力する。なお、特徴量は、画像を１フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ（画素値のみ）が累積的に加算された値の下位abyteに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。ここでは、特徴量として、フレーム内の画素の輝度値の和の下位abyteを出力するとする。

次に、図８を参照して、同期検出部４２の詳細な構成について説明する。

特徴量バッファ１０１−１乃至１０１−Ｋは、特徴量抽出部４１から出力される特徴量abyteを連続ｂ(≦Ｂ)フレーム分一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部１０２および後段の特徴量バッファ１０１−２乃至１０１−Ｋに順次出力する。なお、特徴量バッファ１０１−Ｋは、後段の特徴量バッファ１０１が存在しないため、再生位置特徴量生成部１０２にのみ出力する。再生位置特徴量生成部１０２は、特徴量バッファ１０１−１乃至１０１−Ｋより供給されてくる最新の特徴量を含めた過去Ｋフレーム分のうち、ｂフレーム分の特徴量を順次取得し、これを改めて再生位置特徴量として生成し、比較部１０３に出力する。

検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量をa×ｂbyte分取り出す。そして、検索位置特徴量読出部１０４は、その特徴量（後述する検索位置特徴量）a×ｂbyteを、比較部１０３および検出部１０５に順次供給する。比較部１０３は、再生位置特徴量生成部１０２より供給されてくる再生位置特徴量と、検索位置特徴量読出部１０４より順次供給されてくる検索位置特徴量とを比較する。比較部１０３は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部１０５に通知する。検出部１０５は、比較部１０３より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部１０４より供給されてきた検索位置特徴量を同期検出結果として特徴量設定情報読み出し部６３に出力する。

情報量評価値バッファ１０６は、情報量評価部５０から出力された情報量評価値ｘを一時的に記憶すると供に、それまで記憶していた情報量評価値ｘを再生位置特徴量生成部１０２、比較部１０３および検索位置特徴量読出部１０４に出力する。ここで出力される情報量評価値ｘによって、マッチングフレーム数ｂが決定される。

次に、図９のフローチャートを参照して、図５の画像処理装置１３による画像処理について説明する。なお、以降の説明においては、蓄積ブロック４３は、オンの状態に制御されていることが前提である。

ステップＳ１において、遅延部４８は新しい画像が画像再生部１２より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。

例えば、画像再生部１２が記録メディア１１に記録されている画像を読み出し、遅延部４８が、新たな画像が供給されてきたと判定した場合、ステップＳ２において、遅延部４８は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。なお、以降においては、画像を１フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、１フレーム単位に限らず、例えば、１フィールド単位で処理するようにしても良い。

ステップＳ３において、特徴量抽出部４１は、特徴量抽出処理を実行し、画像再生部１２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部４８が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部４１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。

ここで、図１０のフローチャートを参照して、ステップＳ３の特徴量抽出処理について説明する。

ステップＳ２１において、DFF８３は、フレーム開始点Ｓ（図７）によりリセットされる。

ステップＳ２２において、未処理の画素が選択され、ステップＳ２３において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に１フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。

図７で示されるように、最初の画素（フレーム開始点Ｓの画素）の場合、同期データに含まれるため画像データ領域外であるので、ステップＳ２５において、DFF８１はリセットされ、０を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップＳ２４において、DFF８１は、クロック信号の発生タイミングで画素値を加算器８２に供給する。

ステップＳ２６において、加算器８２は、入力された画素値と、DFF８３より供給されてくる信号とを加算してDFF８３に供給する。

ステップＳ２７において、DFF８３は、クロック信号の発生タイミングで加算器８２より供給されてきた加算結果の下位abyteを加算器８２に戻す。このとき、DFF８３は、加算結果を出力部８４にも供給するが、出力部８４は、加算結果を出力しない。

ステップＳ２８において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップＳ２２に戻る。すなわち、１フレーム分の画素が全て処理されるまで、ステップＳ２２乃至Ｓ２８の処理が繰り返される。そして、１フレーム分の画素の全てが処理されたと判定された場合、ステップＳ２９において、出力部８４は、DFF８３より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位abyteを１フレームの画像の特徴量として出力する。

以上の処理により、１フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位abyteが、そのフレームの特徴量として抽出されることになる。

ここで、図９のフローチャートの説明に戻る。

ステップＳ４において、操作情報認識部４５は、リモートコントローラ１４が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部１５に表示されている画像を見ながら、使用者が、２倍のズーム処理を指示した場合、リモートコントローラ１４の発光パターンが受光部４４により受光され、受光部４４より受光した発光パターンに基づいた信号が、操作情報認識部４５に供給されることにより、操作情報認識部４５は、操作がなされたと判定し、その処理は、ステップＳ５に進む。

ステップＳ５において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部４６に供給する。設定情報決定部４６は、操作情報に基づいて、反映部４９に対しての画像に処理を施すための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。すなわち、今の場合、２倍のズーム処理を画像に施すことが指示されているので、反映部４９に対して２倍のズーム処理を施す指示を出すための設定情報が決定されて、特徴量設定情報記録部６１および選択部４７に供給される。

ステップＳ６において、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録させると共に、その特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報蓄積部６２に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図１１で示されるように、特徴量Ｃ１を所定のアドレスＣbase＋Ａに記録させた場合、アドレスＥbase＋ｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１を記憶させる。なお、図１１においては、特徴量設定情報蓄積部６２の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。ここで、特徴量蓄積領域の先頭アドレスをＣbase、設定情報蓄積領域の先頭アドレスをＥbaseとする。また、ｍは規定の有理数であり、例えば、１フレーム当たりの設定情報のサイズが１フレーム当たりの特徴量のサイズの何倍かを表す値に設定する。

以降、特徴量設定情報記録部６１は、同様にして、特徴量Ｃ２をアドレスＣbase＋Ｂに記憶させるとき、対応する設定情報Ｅ２をＥbase＋ｍ×Ｂに記憶させ、さらに、特徴量Ｃ３をアドレスＣbase＋Ｃに記憶させるとき、対応する設定情報Ｅ３をＥbase＋ｍ×Ｃに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部６２内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。なお、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図１１における特徴量Ｃ１乃至Ｃ３は、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図１１における設定情報Ｅ１乃至Ｅ３は、特徴量Ｃ１乃至Ｃ３に対応付けられたアドレスから、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。

ステップＳ７において、選択部４７は、設定情報決定部４６より設定情報が供給されてきているので、設定情報決定部４６より供給されてきた設定情報を反映部４９に供給する。反映部４９は、遅延部４８に記憶されている画像に対して、選択部４７より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部１５に表示させる。

ステップＳ８において、操作情報認識部４５は、動作の終了が指示されたか否かを判定し、終了が指示されたと判定された場合、処理を終了する。一方、動作の終了が指示されていないと判定された場合、処理は、ステップＳ１に戻る。

すなわち、使用者によりリモートコントローラ１４が操作されて、画像に対して処理を施す指示が出され続けている限り、ステップＳ１乃至Ｓ８の処理が繰り返されて、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部６２に蓄積されていく。このステップＳ１乃至Ｓ８が繰り返される動作状態が、図３、図４を参照して説明した記録モードに対応する動作である。

一方、ステップＳ４において、操作されていないと判定された場合、その処理は、ステップＳ９に進み、同期検出部４２は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。

ここで、図１２のフローチャートを参照して、ステップＳ９の同期検出処理について説明する。

ステップＳ６１において、同期検出部４２の再生位置特徴量生成部１０２は、特徴量抽出部４１より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップＳ３の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部４１より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップＳ６２に進む。

ステップＳ６２において、同期検出部４２は、情報量評価処理を実行することで、例えば情報量評価部５０から送られてきた情報量評価値ｘを元にして、マッチングフレーム数ｂを決定する。

例えば、マッチングフレーム数ｂは次式（１）により算出される。

・・・（１）

ただし、Ｂbaseフレームは、各フレームの特徴量が完全ランダムだと仮定したときに、十分なフレーム識別性能が確保できるだけの基準マッチングフレーム数として予め定義しておくものとする。また、式（１）において、Ｂbase/xを囲む記号は、Ｂbase/xの小数点以下を繰り上げた整数値を表す記号である。なお、この記号の意味は、式（３）についても同様とする。

なお、情報量評価処理の具体的な各種例については、図１５以降の図面を参照して後述する。

ステップＳ６３において、検索位置特徴量読出部１０４は、検索位置の特徴量をカウントするためのカウンタｉを０に初期化する。

ステップＳ６４において、再生位置特徴量生成部１０２は、特徴量抽出部４１から供給されてきた特徴量と特徴量バッファ１０１−１乃至１０１−Ｋにそれまで記憶していた特徴量からｂ個の特徴量を読み出し、再生位置特徴量を生成する。このｂ個の特徴量が、a×ｂbyte分の同期特徴量△currentであり、再生位置特徴量である。この再生位置特徴量は比較部１０３に供給される。

ステップＳ６５において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量のうち、先頭位置からｉ番目よりｂ個の連続する特徴量を検索位置特徴量として読み出す。即ち、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続するｂ個のフレームの特徴量が、a×ｂbyte分の同期特徴量△recであり、検索位置特徴量である。この検索位置特徴量は、比較部１０３および検出部１０５に供給される。

ステップＳ６６において、比較部１０３は、再生位置特徴量（a×ｂbyte分の同期特徴量△current）と、検索位置特徴量（a×ｂbyte分の同期特徴量△rec）とを比較する。

ステップＳ６７において、比較部１０３は、一致しているか否かを判定する。ステップＳ６７において、例えば、一致しないと判定された場合、ステップＳ６９において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップＳ６９おいて、全ての特徴量と比較していないと判定された場合、ステップＳ７０において、検索位置特徴量読出部１０４は、カウンタｉを１インクリメントし、その処理は、ステップＳ６５に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップＳ６５乃至Ｓ６７，Ｓ６９，Ｓ７０の処理が繰り返され、順次１フレーム間隔でずれながら、連続するｂフレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。

すなわち、検索位置特徴量とは、例えば、図１３の右上部で示されるように、特徴量抽出部４１より順次蓄積されている特徴量のうち、今の場合、連続するｂ個の特徴量の塊である。なお、図１３においては、図中の縦長の長方形状のマスは、１フレーム分の特徴量を示しており、斜線部のＧ１，Ｇ２は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図１３の右下部で示されているように、特徴量抽出部４１より供給されてくる再生中の特徴量を含めた連続するｂフレーム分の特徴量の塊である。

例えば、図１３で示されるように再生位置特徴量Ｇ２で示されるような場合、検索位置特徴量Ｇ０と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタｉが１インクリメントされて、検索位置特徴量Ｇ０'と再生位置特徴量Ｇ２とが比較される。このように、検索位置特徴量が図中の右方向に１フレーム間隔でずれながら、再生位置特徴量Ｇ２との比較が繰り返される。

ステップＳ６７において、例えば、再生位置特徴量Ｇ２と検索位置特徴量Ｇ１とが比較されるような場合、検索位置特徴量Ｇ１が再生位置特徴量Ｇ２と同一の構成となっているため、一致したと判定され、ステップＳ６８において、比較部１０３は、一致したことを検出部１０５に通知する。検出部１０５は、この通知に基づいて、今現在検索位置特徴量読出部１０４より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からｉ番目の特徴量を同期位置特徴量として特徴量設定情報読出部６３に供給する。

一方、ステップＳ６９において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップＳ７１において、検出部１０５は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。

以上の処理により、特徴量設定情報蓄積部６２に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部４２は、再生中のフレームの特徴量のみを、特徴量設定情報蓄積部６２に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含むｂフレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。

なお、a×ｂbyteの同期処理は、図１４に示されるように、固定長ｄ（≦a×ｂ）byteの同期を複数回実行することでも実現できる。同期データ長を揃えたい場合、a×ｂが大きい場合等に、このように分割実行してもよい。

ここで、図９のフローチャートの説明に戻る。

ステップＳ１０において、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。例えば、図１２のフローチャートのステップＳ６８の処理により同期位置特徴量が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されていることになるので、その処理は、ステップＳ１１に進む。

ステップＳ１１において、特徴量設定情報読出部６３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。

ステップＳ１１において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップＳ１２において、特徴量設定情報読出部６３は、選択部４７に対して設定情報を供給しない。この処理により、選択部４７は、設定情報決定部４６および特徴量設定情報読出部６３のいずれからも設定情報の供給がない状態となるため、反映部４９に対して処理を指定する設定情報が供給されないことになる。結果として、反映部４９は、遅延部４８に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

一方、ステップＳ１１において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップＳ１３において、特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期位置特徴量の特徴量に対応付けて蓄積されている設定情報を読み出し選択部４７に供給し、その処理は、ステップＳ７に進む。すなわち、今の場合、選択部４７には、設定情報決定部４６からは設定情報がなく、特徴量設定情報読出部６３から設定情報が供給されるため、特徴量設定情報読出部６３からの設定情報が反映部４９に供給され、その設定情報に基づいて遅延部４８に蓄積されていた１フレーム分の画像に処理が反映されて、表示部１５に表示される。

なお、ステップＳ１乃至Ｓ４、ステップＳ９乃至Ｓ１３、およびステップＳ７，Ｓ８の処理が、図３、図４を参照して説明した再生モードに対応する処理である。

以下、図１２のステップＳ６２の同期検出処理の幾つかの具体例について説明する。

なお、以下、説明の簡略上、同期検出処理の各ステップの処理の動作主体は、情報量評価部５０であるとする。もっとも、動作主体は、情報量評価部５０に特に限定されず、上述の如く、一部の処理については同期検出部４２等別ブロックとすることができる。

図１５は、情報量評価リストを利用して、情報量評価値ｘを算出する情報量評価処理の例を示している。ここでは、マッチングフレーム数ｂが最終出力値とされる。

ステップＳ８０において、情報量評価部５０は、Tcurrent−Tprevious ≧Tminであるか否かを判定する。

即ち、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間（現在時刻Tcurrent−過去の処理時刻Tprevious）が規定時間Tminを超えていない場合、ステップＳ８０において、ＮＯであると判定され、情報量評価処理は終了となる。

これに対して、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間（現在時刻Tcurrent−過去の処理時刻Tprevious）が規定時間Tmin 経過した場合に、ステップＳ８０においてＹＥＳであると判定されて、その処理は、ステップＳ８１に進む。

ステップＳ８１において、情報量評価部５０は、処理開始時刻Tpreviousを現在時刻Tcurrentとする。

ステップＳ８２において、情報量評価部５０は、値Ｎを０に初期化する。

ステップＳ８３において、情報量評価部５０は，値Ｎを１インクリメントする（Ｎ←Ｎ＋１)。

ステップＳ８４において、入力特徴量を新規エントリとして情報量評価リストに追加する。

ステップＳ８５において、情報量評価部５０は、情報量評価リストでエントリが存在するグループ数ｎを導出する。

ステップＳ８６において、情報量評価部５０は、情報量評価値ｘＮを算出する。

ここで、ステップＳ８４乃至Ｓ８６について、さらに詳しく説明する。

例えば図１６のＡ，Ｂには、情報量評価リストの一例が示されている。情報量評価リストの１行は、１つのグループを示している。各行の右方には、グループの名称ａ，ｂ，ｃ，ｄ，ｅ，・・・が示されている。

情報量評価部５０は、情報量評価リストの各グループの先頭エントリ△ｋ（ｋ＜ｊ）の中から、|△ｋ-△ｊ|<σという条件を満たすエントリを探す。ここで、△ｊは、入力特徴量を示している。また、σはノイズ耐性によって決まり、入力特徴量のノイズが小さければσも小さな値に設定される。

入力特徴量△ｊと近いエントリが存在すれば、即ち上述の条件を満たすエントリが存在すれば、情報量評価部５０は、特徴量△ｊをそのエントリと同一グループに格納することで、入力特徴量△ｊを新規エントリとして情報量評価リストに追加する。

例えば、図１６の例では、図１６のＡに示されるように、「４９」が入力特徴量△ｊとされている。この場合、図１６のＡに示されるように、情報量評価部５０は、グループａ，ｂ，ｃ，ｄの順に処理対象として決定し、処理対象のグループの先頭エントリ△ｋが、|△ｋ-△ｊ|<σという条件を満たすかを調べる。例えば、図１６のＡの例では、グループａの先頭エントリ△ｋは、「５Ｆ」であり、グループｂの先頭エントリ△ｋは、「３２」であり、グループcの先頭エントリ△ｋは、「４Ａ」であり、グループdの先頭エントリ△ｋは、「Ｃ７」である。この条件を満たさない場合、情報量評価部５０は、次のグループを処理対象に設定し、処理対象のグループの先頭エントリ△ｋが、|△ｋ-△ｊ|<σという条件を満たすかを調べる。

ここで、グループｃの「４Ａ」という先頭エントリ△ｋに対して、|△ｋ-△ｊ|<σという条件を満たすとする。この場合、図１６のＢに示されるように、「４９」という特徴量△ｋは、グループｃに格納されることになる。

次に、例えば図１６のＢに示されるように、「１Ｅ」が入力特徴量△ｊとされ、グループａ乃至ｄの何れのグループの先頭エントリ△ｋに対しても、|△ｋ-△ｊ|<σという条件は満たさないとする。

この場合、情報量評価部５０は、入力特徴量△ｊと近いエントリが存在しないとして、新しいグループ（図１６のＢの例ではグループｅ）に、「１Ｅ」という入力特徴量△ｊを格納することで、入力特徴量△ｊを新規エントリとして情報量評価リストに追加する。

情報量評価部５０は、情報量評価リストでエントリが存在するグループ数をｎとして導出すると、次の式（２）に従って情報量評価値ｘNを算出する。

・・・（２）

式（２）において、情報量評価値ｘNは、近接Ｎフレーム分の特徴量の散らばり度合いを表す簡易的な定量値となる。情報量評価値ｘが大きいほど散らばり度合が大きく、含まれる情報量が大きいということになる。

式（２）に従って算出された情報量評価値ｘNは、比較的多様な映像信号の素性に対応できる汎用的な値となる。即ち、「２−３プルダウン判定等の特定の素性専用の処理の結果を元にして、情報量評価値ｘの値を決定する」といった特化処理によって得られた情報量評価値ｘとは区別される。

例えば、静止画像入力では、「ABAB・・・（インタレース）」や「AAAA・・・（プログレッシブ）」等のパターンが現れることから、それぞれｘN＝２/Ｎ,１/Ｎとなる。２−３プルダウン入力では、「AABBBCCDDD・・・（２４ｐ→６０ｐ）」や「ABCDCEFGHG・・・（２４ｐ→６０i）」等のパターンが現れることから、Ｎが大きくなるとそれぞれｘN＝２/５や４/５に収束する。なお、後者については、値Ｎは最低５以上が設定されることになる。

情報量評価値ｘNの導出方法は、上記以外の方法にも種々の方法が考えられる。例えば、隣接フレームの特徴量の差分が閾値以下（｜△ｊ＋１−△ｊ｜<σ）になる割合を用いる手法を採用することができる。かかる手法が用いられた情報量評価処理については後述する。

このようにして、ステップＳ８６の処理で情報量評価値xNが算出されると、処理はステップＳ８７に進む。

ステップＳ８７において、情報量評価部５０は、Ｎ≦Nmaxであるか否かを判定する。即ち、特徴量取得フレーム数の上限Nmaxが予め設定されており、特徴量取得フレーム数Ｎが、上限Nmax以下でない場合、ステップＳ８７においてＮＯであると判定されて、情報量評価値ｘNが収束しなかったとして、処理はステップＳ８８に進む。

ステップＳ８８において、情報量評価部５０は、最後のＮlast個の平均を収束値とし、即ち、その収束値を情報量評価値ｘNとする。これにより、処理はステップＳ９１に進む。ここで、値Nlastは予め定義されているとする。

これに対して、ステップＳ８７において、特徴量取得フレーム数Ｎが、Nmax以下であると判定された場合、処理はステップＳ８９に進む。

ステップＳ８９において、情報量評価部５０は、Ｎ≧Nminであるか否かを判定する。即ち、特徴量取得フレーム数の下限Nminが予め設定されている。例えば２−３プルダウンの場合、Nmin=5として、最低5フレームの特徴量を用いて情報量評価値xNが算出されることになる。

特徴量取得フレーム数Ｎが、下限Nmin以上でない場合、ステップＳ８９においてＮＯであると判定されて、処理はステップＳ８３に戻され、それ以降の処理が繰り返される。

これに対して、ステップＳ８９において、特徴量取得フレーム数Ｎが、Nmin以上であると判定された場合、処理はステップＳ９０に進む。

ステップＳ９０において、情報量評価部５０は、｜ｘN−ｘN-1|／ｘＮ−１≦Xthresholdであるか否かを判定する。即ち、情報量評価部５０は、情報量評価値ｘNの収束度合いを判定する。特徴量取得フレーム数Nを増やしたときに、以前に算出した情報量評価値xN-1からの変化率が閾値（Xthreshold）以下であれば、ステップＳ９０においてＹＥＳであると判定されて、その値xNが収束値とされて、処理はステップＳ９１に進む。これに対して、情報量評価値xN-1からの変化率が閾値（Xthreshold）以下でなければ、ステップＳ９０においてＮＯであると判定されて、処理はステップＳ８３に戻され、それ以降の処理が繰り返される。

ステップＳ９１において、情報量評価部５０は、マッチングフレーム数ｂを算出する。マッチングフレーム数ｂは、例えば上述した式（１）の情報量評価値ｘに収束値ｘＮが代入されて、その式（１）が演算されることで算出される。

なお、図１５の例の情報量評価処理では、ステップＳ８３乃至Ｓ９０のループ処理におけるループ判定処理は、ステップＳ８９，ステップＳ９０の両方の処理で行われている。しかし、図１５の例に特に限定されず、どちらか一方だけの処理を行うことにしてもよい。

図１７は、図１５の例の情報量評価処理のステップＳ８３乃至Ｓ９０のループ処理による情報量評価値ｘの収束の様子を示している。即ち、図１７は、２−３プルダウン映像の場合においてＮが大きくなるにつれて情報量評価値xNが変化していく様子を示している。

図１７において、特徴量のパターンは「AABBBCCDDDEEFFF・・・」とされている。例えば、情報量評価値xN-1からの変化率の閾値Xthresholdを0.1と設定すると、Ｎ＝10で収束条件を満たすので、ｘ10＝0.4を用いてマッチングフレーム数ｂが式（１）に従って算出されることになる。具体的には、次式（３）に示されるように、マッチングフレーム数ｂ＝１０が算出されることになる。

・・・（３）

図１８は、情報量評価リストを利用した情報量評価処理の例であって、図１５の例の簡略処理の例を示している。即ち、ここでも、マッチングフレーム数ｂが最終出力値とされる。

ステップＳ１００乃至Ｓ１０３までの処理は、図１５のステップＳ８０乃至Ｓ８３までの処理と基本的に同様である。よって、それらの処理の説明は省略する。

ステップＳ１０４において、情報量評価部５０は、Ｎ＝Ｂ＋１であるか否かを判定する。ここで、Ｂは、上述した式（１）におけるＢと同一値とされる。Ｎ＝Ｂ＋１である場合、ステップＳ１０４においてＹＥＳであると判定されて、処理はステップＳ１０８に進む。これに対して、ＮがＢ＋１以外の場合、ステップＳ１０４においてＮＯであると判定されて、処理はステップＳ１０５に進む。

ステップＳ１０５において、情報量評価部５０は、入力特徴量を新規エントリとして情報量評価リストに追加する。

ステップＳ１０６において、情報量評価部５０は、情報量評価リストでエントリが存在するグループ数ｎを導出する。

ステップＳ１０７において、情報量評価部５０は、ｎ＞Ｂbaseであるか否かを判定する。情報量評価リストでエントリが存在するグループ数ｎが規定値Ｂbaseを超えない場合、ステップＳ１０７においてＮＯであると判定されて、処理はステップＳ１０３に戻され、それ以降の処理が繰り返される。即ち、情報量評価リストでエントリが存在するグループ数ｎが規定値Ｂbaseを超えるまで、ステップＳ１０３乃至ステップＳ１０７のループ処理が繰り返し実行される。

そして、情報量評価リストでエントリが存在するグループ数ｎが規定値Ｂbaseを超えると、ステップＳ１０７においてＹＥＳであると判定されて、処理はステップＳ１０８に進む。このとき、ｎ＝Ｂbaseを満たす最大の値はＮ−１となる。

ステップＳ１０８において、情報量評価部５０は、マッチングフレーム数ｂを算出する。この場合、マッチングフレーム数ｂはｂ＝Ｎ−１で算出される。

具体的には例えば、図１９は、入力映像が２−３プルダウン映像の場合の、特徴量取得フレーム数Ｎ，特徴量および情報量評価リストでエントリが存在するグループ数ｎの関係の一例を示している。図１９の例において、Ｂbase=４とすると、ｎ＞ＢbaseとなるＮ＝１１となる。よって、この場合、マッチングフレーム数ｂは、ｂ＝Ｎ−１＝１１−１＝１０と算出される。

このように、時間方向の情報量の粗密が極端でなければ、Ｎを最小限までしか増やさないことで、図１５の例の処理を簡略化した図１８の例の情報量評価処理を採用することができるようになる。

ここで、例えば、特徴量のパターンが「ABCDEEEEFGHIJJJJ・・・」である場合を考える。この場合、情報量評価リストへの追加の開始時点をAとすると、ｎ＝５となるのはＮ＝５なので、ｂ＝４となる。しかし、開始時点を１番目のEとすると、ｎ＝５となるのはＮ＝８なので、ｂ＝７となる。

このように、時間方向の情報量の粗密が極端であり、情報量評価リストへの追加の開始時点がｎの増え方に大きな影響を与える場合は、ｂの算出値が大きく振れてしまうので、情報量評価処理としては、図１８の例の処理よりも図１５の例の処理を採用したほうが好適である。

以上、情報量評価処理として、情報量評価リストを利用した例について説明した。次に、プルダウン映像に特化した例について説明する。

図２０は、プルダウン映像に特化した情報量評価処理の例を示している。ここでは、マッチングフレーム数ｂが最終出力値とされる。

ステップＳ１２０において、情報量評価部５０は、Tcurrent−Tprevious ≧Tminであるか否かを判定する。

即ち、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間（現在時刻Tcurrent−過去の処理時刻Tprevious）が規定時間Tminを超えていない場合、ステップＳ１２０において、ＮＯであると判定され、情報量評価処理は終了となる。

過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間（現在時刻Tcurrent−過去の処理時刻Tprevious）が規定時間Tmin 経過した場合に、ステップ１２０においてＹＥＳであると判定されて、その処理は、ステップＳ１２１に進む。

ステップＳ１２１において、情報量評価部５０は、処理開始時刻Tpreviousを現在時刻Tcurrentとする。

ステップＳ１２２において、情報量評価部５０は、映像種別番号Ｐを０に初期化する。即ち、情報量評価部５０は、例えば図２１Ａに示されるようなテーブル（以下、映像種別テーブルと称する）を保持しているとする。映像種別テーブルには、各エントリ（行）毎に、映像識別番号Ｐ，Ｉ−Ｊ変換のＩ，Ｊ、およびマッチングフレーム数ｂが格納されている。ここで、Ｉ−Ｊ変換は、図２１のＢに示す構造をとり、２４ｐ→６０ｐ変換や、スローモーションなど、各種フレームレート変換処理、映像編集処理で発生する。ステップＳ１２２の処理で、この映像種別テーブルの映像種別番号Ｐが０に初期化される。つまり、この時点では、映像種別テーブルのどのエントリ（行）も処理対象にされず、リセットされたことになる。

ステップＳ１２３において、情報量評価部５０は，映像種別テーブルの映像種別番号Ｐを１インクリメントする（Ｐ←Ｐ＋１)。即ち、図２１のＡに示す映像種別テーブルにおける処理対象のエントリ（行）は、映像種別番号Ｐによって管理されている。よって、このステップＳ１２３の処理は、処理対象を１つ下のエントリ（行）に移行することを意味している。即ち、図２１のＡに示す映像種別テーブルにおいて、始めのエントリから順に処理対象が順次設定されることになる。

ステップＳ１２４において、情報量評価部５０は、Ｐ＝Ｐmaxであるか否かを判定する。

映像種別番号Ｐが、映像種別テーブルの最終エントリの番号Ｐmaxに到達した場合、ステップＳ１２４においてＹＥＳであると判定されて、処理はステップＳ１２７に進む。ステップＳ１２７において、情報量評価部５０は、映像種別テーブルから、映像種別番号Pにおけるマッチングフレーム数ｂの値を取り出す。この場合、最終エントリ（映像種別番号Ｐmaxの行）には、Ｐ＝１乃至Ｐ＝Ｐmax−１のどの変換にも当てはまらない映像に対するデフォルトのマッチングフレーム数ｂ（図２１の例では、B＝4）が格納されており、これが取り出されることになる。

これに対して、映像種別番号Ｐが、映像種別テーブルの最終エントリに到達しない場合、ステップＳ１２４においてＮＯであると判定されて、処理はステップＳ１２５に進む。

ステップＳ１２５において、情報量評価部５０は、映像種別テーブルから映像種別番号ＰにおけるＩ、Ｊの値を取り出す。

ステップＳ１２６において、情報量評価部５０は、入力映像がＩ−Ｊ変換されたものか否かを判定する。例えば、Ｐ＝２の場合、Ｉ＝２、Ｊ＝３なので、同期特徴量が「AABBBCCDDD・・・」のパターンであるか否かが判定される。入力映像がＩ−Ｊ変換されたものでない場合、ステップＳ１２６の処理でＮＯであると判定されて、処理はステップＳ１２３に戻され、それ以降の処理が繰り返される。

入力映像がＩ−Ｊ変換されたものである場合、ステップＳ１２６においてＹＥＳであると判定されて、処理はステップＳ１２７に進む。なお、ステップＳ１２６の判断処理としては、図２０の例に限定されず、例えば、性能の良い既存のプルダウン検出処理を用いた判断処理を採用しても構わない。

ステップＳ１２７において、情報量評価部５０は、映像種別テーブルから、映像種別番号Pにおけるマッチングフレーム数ｂの値を取り出す。例えばＰ＝２の場合（２−３プルダウン映像の場合）、マッチングフレーム数ｂは１０が取り出される。

以上、情報量評価処理として、情報量評価リストを利用した例に引き続き、プルダウン映像に特化した例について説明した。次に、情報量評価処理として、隣接フレームの差分を利用した例について説明する。

図２２は、隣接フレームの差分を利用した情報量評価処理の例を示している。ここでは、マッチングフレーム数ｂが最終出力値とされる。

ステップＳ１４０において、情報量評価部５０は、Tcurrent−Tprevious ≧Tminであるか否かを判定する。

即ち、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間（現在時刻Tcurrent−過去の処理時刻Tprevious）が規定時間Tminを超えていない場合、ステップＳ１４０において、ＮＯであると判定され、情報量評価処理は終了となる。

これに対して、過去の処理開始時刻Tprevious から現在時刻Tcurrentまでの経過時間（現在時刻Tcurrent−過去の処理時刻Tprevious）が規定時間Tmin 経過した場合に、ステップＳ１４０においてＹＥＳであると判定されて、その処理は、ステップＳ１４１に進む。

ステップＳ１４１において、情報量評価部５０は、処理開始時刻Tpreviousを現在時刻Tcurrentとする。

ステップＳ１４２において、情報量評価部５０は、値ｉを１に初期化する。

ステップＳ１４３において、情報量評価部５０は、値Ｎを１に初期化する。

ステップＳ１４４において、情報量評価部５０は、値Ｎを１インクリメントする（Ｎ←Ｎ＋１)。

ステップＳ１４５において、情報量評価部５０は、｜△Ｎ−△Ｎ−１｜＞σであるか否かを判定する。即ち、情報量評価部５０は、隣接フレームの類似性を求めるために、隣接フレームの特徴量（ΔNとΔN-1）の差分を算出し、差分が規定値σよりも大きい場合、ステップＳ１４５においてＹＥＳであると判定し、ステップＳ１４６において、iを１インクリメントする。これに対して、差分が規定値σよりも大きくない場合、ステップＳ１４５においてＮＯであると判定されて、ステップＳ１４６の処理は実行されずに、処理はステップＳ１４７に進む。

ステップＳ１４７において、情報量評価部５０は、情報量評価値xNを算出する。即ち、隣接フレームの同期特徴量の差分が規定値よりも大きくなる割合が情報量評価値xNとして算出される。具体的には、xN＝i/Ｎが演算される。ただし、その場合x1＝1/1＝1とする。

その後、ステップＳ１４８乃至Ｓ１５２の処理が実行される。ただし、ステップＳ１４８乃至Ｓ１５２の処理は、図１５のステップＳ８７乃至Ｓ９１の処理と基本的に同様である。よって、ステップＳ１４８乃至Ｓ１５２の処理の説明については省略する。

図２３は、図２２の例の情報量評価処理による情報量評価値ｘの収束の様子を示している。即ち、図２３は、２−３プルダウン映像の場合においてＮが大きくなるにつれて情報量評価値xNが変化していく様子を示している。

図２３において、特徴量のパターンは「AABBBCCDDDEEFFF・・・」とされている。例えば、情報量評価値xN-1からの変化率の閾値Xthresholdを0.1と設定すると、Ｎ＝10で収束条件を満たすので、ｘ10＝0.4を用いてマッチングフレーム数ｂが算出されることになる。

図２４は、隣接フレームの差分を利用した情報量評価処理の例であって、図２２の例の簡略処理の例を示している。即ち、ここでも、マッチングフレーム数ｂが最終出力値とされる。

ステップＳ１６０乃至Ｓ１６４までの処理は、図２２のステップＳ１４０乃至Ｓ１４４までの処理と基本的に同様である。よって、それらの処理の説明は省略する。

ステップＳ１６５において、情報量評価部５０は、Ｎ＝Ｂ＋１であるか否かを判定する。ここで、Ｂは、上述した式（１）におけるＢと同一値とされる。Ｎ＝Ｂ＋１である場合、ステップＳ１６５においてＹＥＳであると判定されて、処理はステップＳ１６９に進む。これに対して、ＮがＢ＋１以外の場合、ステップＳ１６５においてＮＯであると判定されて、処理はステップＳ１６６に進む。

ステップＳ１６６において、情報量評価部５０は、｜ΔN−ΔN-1｜＞σであるか否かを判定する。即ち、情報量評価部５０は、隣接フレームの類似性を求めるために、隣接フレームの特徴量（ΔNとΔN-1）の差分を算出し、差分が規定値σよりも大きい場合、ステップＳ１６６においてＹＥＳであると判定し、ステップＳ１６７において、iを１インクリメントする。これにより、処理はステップＳ１６８に進む。これに対して、差分が規定値σよりも大きくない場合、ステップＳ１６６においてＮＯであると判定されて、処理はステップＳ１６４に戻され、それ以降の処理が繰り返される。

ステップＳ１６８において、情報量評価部５０は、ｉ＞Ｂbaseであるか否かを判定する。隣接フレームの同期特徴量（ΔNとΔN-1）の差分が規定値よりも大きい場合のカウントiが、規定値Ｂbaseを超えない場合、ステップＳ１６８においてＮＯであると判定されて、処理はステップＳ１６４に戻され、それ以降の処理が繰り返される。即ち、カウントiが規定値Ｂbaseを超えるまで、ステップＳ１６４乃至Ｓ１６８のループ処理が繰り返される。

そして、隣接フレームの同期特徴量（ΔNとΔN-1）の差分が規定値よりも大きい場合のカウントiが、規定値Ｂbaseを超えると、ステップＳ１６８においてＹＥＳであると判定されて、処理はステップＳ１６９に進む。このとき、ｉ＝Ｂbaseを満たす最大の値はＮ−１となる。

ステップＳ１６９において、情報量評価部５０は、マッチングフレーム数ｂを算出する。この場合、マッチングフレーム数ｂはｂ＝Ｎ−１で算出される。

具体的には例えば、図２５は、入力映像が２−３プルダウン映像の場合の、特徴量取得フレーム数Ｎ，特徴量およびカウントiの関係の一例を示している。図２５の例において、Ｂbase =４とすると、i＞ＢbaseとなるＮ＝１１となる。よって、この場合、マッチングフレーム数ｂは、ｂ＝Ｎ−１＝１１−１＝１０と算出される。

このように、時間方向の情報量の粗密が極端でなければ、Ｎを最小限までしか増やさないことで、図２２の例の処理を簡略化した図２４の例の情報量評価処理を採用することができるようになる。

ここで、例えば、特徴量のパターンが「ABCDEEEEFGHIJJJJ・・・」である場合を考える。この場合、情報量評価の開始時点をAとすると、ｉ＝５となるのはＮ＝５なので、ｂ＝４となる。しかし、開始時点を１番目のEとすると、ｉ＝５となるのはＮ＝８なので、ｂ＝７となる。

このように、時間方向の情報量の粗密が極端であり、情報量評価の開始時点がiの増え方に大きな影響を与える場合は、ｂの算出値が大きく振れてしまうので、情報量評価処理としては、図２４の例の処理よりも図２２の例の処理を採用したほうが好適である。

以上、情報量評価処理として、情報量評価リストを利用した例、プルダウン映像に特化した例、および隣接フレームの差分を使用した例についてそれぞれ説明した。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、上述した情報処理システムの少なくとも一部として、例えば、図２６に示されるパーソナルコンピュータを採用してもよい。

図２６において、CPU（Central Processing Unit）１００１は、ROM（Read Only Memory）１００２に記録されているプログラム、または記憶部１００８からRAM（Random Access Memory）１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１００１、ROM１００２、およびRAM１００３は、バス１００４を介して相互に接続されている。このバス１００４にはまた、入出力インタフェース１００５も接続されている。

入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイなどよりなる出力部１００７、ハードディスクなどより構成される記憶部１００８、および、モデム、ターミナルアダプタなどより構成される通信部１００９が接続されている。通信部１００９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース１００５にはまた、必要に応じてドライブ１０１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１０２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１００８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１００２や、記憶部１００８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

従来の同期検出上の問題点を示す図である。 本発明が適用される同期検出を示す図である。 本発明の画像処理装置の概念を説明するための図である。 本発明の画像処理装置の概念を説明するための図である。 本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 図５の特徴量抽出部の構成例を示すブロック図である。 画像信号の構成例を説明する図である。 図５の同期検出部の構成例を示すブロック図である。 図５の画像処理装置による画像処理を説明するフローチャートである。 図６の特徴量抽出処理を説明するフローチャートである。 図５の特徴量設定情報蓄積部の構成例を示すブロック図である。 図８の同期検出部の同期検出処理を説明するフローチャートである。 図８の同期検出部の同期検出処理を説明する図である。 図８の同期検出部の同期検出処理の他の例を説明する図である。 図１２の情報量評価処理の第１の例を説明するフローチャートである。 図１５の情報量評価処理で用いる情報量評価リストの構成例を示す図である。 図１５の特徴量抽出処理を説明する図である。 図１２の情報量評価処理の第２の例を説明するフローチャートである。 図１８の情報量評価処理の一部の処理を説明する図である。 図１２の情報量評価処理の第３の例を説明するフローチャートである。 図２０の映像種別テーブルを説明する図である。 図１２の情報量評価処理の第４の例を説明するフローチャートである。 図２２の情報量評価値ｘの収束の様子を示す図である。 図１２の情報量評価処理の第５の例を説明するフローチャートである。 図２４の情報量評価処理の一部の処理を説明する図である。 本発明が適用される情報処理装置のハードウエア構成例を示すブロック図である。

符号の説明

１１ 記録メディア， １２ 画像再生部， １３ 画像処理装置， １４ リモートコントローラ， １５ 表示部， ４１ 特徴量抽出部， ４２ 同期検出部， ４３ 蓄積ブロック， ４４ 受光部， ４５ 操作情報認識部， ４６ 設定情報決定部， ４７ 選択部， ４８ 遅延部， ４９ 反映部， ５０ 情報量評価部， ６１ 特徴量設定情報記録部， ６２ 特徴量設定情報蓄積部， ６３ 特徴量設定情報読出部 ８１、８３ ＤＦＦ， ８２ 加算器， ８４ 出力部， １０１ 特徴量バッファ，１０２ 再生位置特徴量生成部， １０３ 比較部， １０４ 検索位置特徴量読出部， ２０１ 特徴量バッファ， ２０２ 情報量評価値算出部

Claims (7)

1. 再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段と、
   前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期手段と、
   前記同期手段により前記データ記録媒体の特徴量と前記再生位置特徴量とを同期させる時間幅を制御する制御手段と、
   前記制御手段による制御の下、前記同期手段により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出手段と、
   前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段と
   を備える画像処理装置。
2. 前記制御手段は、前記画像の種類に応じて、同期させる前記時間幅を決定する
   請求項１に記載の画像処理装置。
3. 前記制御手段は、前記画像が持つ情報量の時間方向の粗密度合いを用いて、同期させる前記時間幅を決定する
   請求項２に記載の画像処理装置。
4. 前記画像の種類は複数存在し、複数の前記画像の種類毎に、同期させる前記時間幅をそれぞれ示す情報が格納されたテーブルが、前記画像処理装置に予め保持されており、
   前記制御手段は、前記テーブルを用いて、同期させる前記時間幅を決定する
   請求項２に記載の画像処理装置。
5. 前記制御手段は、前記画像における隣接する２つの単位画像の差分を用いて、同期させる前記時間幅を決定する
   請求項２に記載の画像処理装置。
6. 画像処理装置が、
   再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出し、
   前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させ、
   前記データ記録媒体の特徴量と前記再生位置特徴量とを同期させる時間幅を制御し、
   その制御の下、前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出し、
   読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる
   ステップを含む画像処理方法。
7. コンピュータに、
   再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出し、
   前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させ、
   前記データ記録媒体の特徴量と前記再生位置特徴量とを同期させる時間幅を制御し、
   その制御の下、前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出し、
   読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる
   ステップを含む制御処理を実行させるプログラム。

Images