JP2007235374A - 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム - Google Patents

Abstract

【課題】オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現する。
【解決手段】特徴量抽出部４１は、画像より特徴量を抽出する。設定情報決定部４６は、その画像に対して処理を加えるための設定情報を設定する。特徴量設定情報記録部６１は、画像の特徴量に対応付けて設定情報を特徴量設定情報蓄積部６２に記録する。特徴量抽出部４１は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する。同期検出部４２は、特徴量設定情報蓄積部６２の特徴量と、再生位置特徴量とを同期させる。特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期した再生位置特徴量に対応付けて記録されている設定情報を読み出す。反映部４９は、読み出された設定情報に基づいて、再生位置の画像に対して処理を反映させる。本発明は、画像記録再生装置に適用することができる。
【選択図】図３

Description

本発明は、画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラムに関し、特に、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させるたびに、所定の処理を加えた画像を再現できるようにした画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラムに関する。

画像を手軽に処理するための技術が普及しつつある。

従来、ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。

また、上述のようなリニア編集の場合、オリジナルの画像データがCOPY ONCEの場合、一度VTR（Video Tape Recorder）に記録したものを再生し、さらに編集した映像については記録できないという問題があった。

そこで、画像を編集させるための処理を指示する操作を記憶させる方法が提案されている（特許文献１参照）。

特開２００３−２０２９４４号公報

しかしながら、リニア編集の場合、画像と、その画像の時間を示すタイムコードとを同時に通信することでタイムコードに合わせて編集することができるが、民生用のVTRなどではタイムコードはVTR内部にあり、タイムコードを外部に伝えることは事実上できない状態であり、画像と、画像を編集させるための処理を指示する操作とを同期させることができないため、操作を単に記憶させるようにしても、正確に画像の再生に同期しつつ、画像に処理を加えて表示させることは困難であった。

本発明はこのような状況に鑑みてなされたものであり、特に、オリジナルの画像データに処理を加えることなく、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させるたびに、画像に対して正確に所定の処理を加えて再現できるようにするものである。

本発明の第１の側面の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段と、前記画像に対して処理を加えるための設定情報を設定する設定手段と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段とを含む。

前記特徴量抽出手段には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させるようにすることができる。

前記画像に対する処理を指定する操作をする操作手段をさらに含ませるようにすることができ、前記設定手段には、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定させるようにすることができ、前記記録手段には、前記画像の特徴量に対応付けて前記操作内容を前記データ記録媒体に記録させるようにすることができる。

前記操作手段による前記画像に対する処理を指定する操作内容が、前記画像に対する直前の処理との相対的な処理を指定するものである場合、前記記録手段には、前記画像の特徴量に対応付けて前記操作内容および前記直前の処理による設定情報を前記データ記録媒体に記録させるようにすることができる。

前記記録手段には、前記データ記録媒体上の第１のアドレスに前記画像の特徴量を記録し、前記設定情報を、前記第１のアドレスと対応付けられた第２のアドレスに記録させるようにすることができる。

前記記録手段には、前記画像の特徴量と前記設定情報とが対応付けられたテーブルを前記データ記録媒体に記録させるようにすることができる。

本発明の第１の側面の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップとを含む。

本発明の第１の側面のプログラム記録媒体のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップとを含む。

本発明の第１のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップとを含む処理をコンピュータに実行させる。

本発明の第２の側面のデータ記録媒体は、画像の特徴量に対応付けて、画像に対して処理を加えるための設定情報が記録されたデータ構造を含む。

前記データ記録媒体は、リムーバブルメディアとすることができる。

本発明の第３の側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段と、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期手段と、前記同期手段により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出手段と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段とを含む。

前記同期手段には、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段とを含ませるようにすることができ、前記比較結果が一致した場合、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とが同期したものとみなすようにさせることができる。

本発明の第３の側面の画像処理方法は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップと、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む。

本発明の第３の側面のプログラム記録媒体のプログラムは、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップと、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む。

本発明の第３の側面のプログラムは、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップと、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップとを含む処理をコンピュータに実行させる。

本発明の第１の側面の画像処理装置および方法、並びにプログラムにおいては、画像より特徴量が抽出され、前記画像に対して処理を加えるための設定情報が設定され、前記画像の特徴量に対応付けて前記設定情報がデータ記録媒体に記録される。

本発明の第２の側面のデータ記録媒体においては、画像の特徴量に対応付けて、画像に対して処理を加えるための設定情報が記録されたデータ構造が含まれる。

本発明の第３の側面の画像処理装置および方法、並びにプログラムにおいては、再生位置の画像より再生位置の特徴量が再生位置特徴量として抽出され、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とが同期させられ、前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報が読み出され、読み出された設定情報に基づいて、前記再生位置の画像に対して処理が反映される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の第１の側面によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現することが可能となる。

また、本発明の第１の側面によれば、画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。

本発明の第２の側面によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現することが可能となる。

また、本発明の第２の側面によれば、画像の処理結果を記録することなく、画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。

本発明の第３の側面によれば、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。

また、本発明の第３の側面によれば、画像の特徴量に対応付けて、画像を処理するための設定情報を読み出し、設定情報に基づいて、画像への処理を反映させることが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の一側面の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段（例えば、図３の特徴量抽出部４１）と、前記画像に対して処理を加えるための設定情報を設定する設定手段（例えば、図３の設定情報決定部４６）と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体（例えば、図３の特徴量設定情報蓄積部６２）に記録する記録手段（例えば、図３の特徴量設定情報記録部６１）とを含む。

前記特徴量抽出手段（例えば、図３の特徴量抽出部４１）には、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出させるようにすることができる。

前記画像に対する処理を指定する操作をする操作手段（例えば、図１３のリモートコントローラ１４）をさらに含ませるようにすることができ、前記設定手段（例えば、図１３の設定情報決定部４６）には、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定させるようにすることができ、前記記録手段（例えば、図１３の特徴量設定情報記録部１６１）には、前記画像の特徴量に対応付けて前記操作内容を前記データ記録媒体（例えば、図１３の特徴量設定情報蓄積部１６２）に記録させるようにすることができる。

前記操作手段による前記画像に対する処理を指定する操作内容が、前記画像に対する直前の処理との相対的な処理を指定するものである場合、前記記録手段（例えば、図１５の特徴量設定情報記録部１９１）には、前記画像の特徴量に対応付けて前記操作内容および前記直前の処理による設定情報と前記データ記録媒体（例えば、図１５の特徴量設定情報蓄積部１９２）に記録させるようにすることができる。

前記記録手段（例えば、図３の特徴量設定情報記録部６１）には、前記データ記録媒体上の第１のアドレスに前記画像の特徴量を記録し、前記設定情報を、前記第１のアドレスと対応付けられた第２のアドレスに記録させるようにすることができる。

前記記録手段（例えば、図１８の特徴量設定情報記録部２１１）には、前記画像の特徴量と前記設定情報とが対応付けられたテーブルを前記データ記録媒体（例えば、図１８の特徴量設定情報テーブル蓄積部２１２）に記録させるようにすることができる。

本発明の第１の側面の方法およびプログラムは、画像より特徴量を抽出する特徴量抽出ステップ（例えば、図７のフローチャートにおけるステップＳ３の処理）と、前記画像に対して処理を加えるための設定情報を設定する設定ステップ（例えば、図７のフローチャートにおけるステップＳ５の処理）と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップ（例えば、図７のフローチャートにおけるステップＳ６の処理）とを含む。

本発明の第２の側面のデータ記録媒体（例えば、図３の特徴量設定情報蓄積部６２）は、画像の特徴量に対応付けて、画像に対して処理を加えるための設定情報が記録されたデータ構造を含む。

本発明の第３の側面の画像処理装置は、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段（例えば、図３の特徴量抽出部４１）と、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期手段（例えば、図３の同期検出部４２）と、前記同期手段により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出手段（例えば、図３の特徴量設定情報読出部６３）と、前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段（例えば、図３の反映部４９）とを含む。

前記同期手段には、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段（例えば、図６の検索位置特徴量読出部１０４）と、前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段（例えば、図６の比較部１０３）とを含ませるようにすることができ、前記比較結果が一致した場合、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とが同期したものとみなすようにさせることができる。

本発明の第３の側面の画像処理方法及びプログラムは、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップ（例えば、図７のフローチャートにおけるステップＳ３の処理）と、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップ（例えば、図７のフローチャートにおけるステップＳ９の処理）と、前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップ（例えば、図７のフローチャートにおけるステップＳ１３の処理）と、前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップ（例えば、図７のフローチャートにおけるステップＳ７の処理）とを含む。

まず、図１，図２を参照して、本発明を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。

記録モードでは、図１で示されるように、画像処理装置２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部４に蓄積させる。

次に、再生モードでは、図２で示されるように、画像処理装置２は、動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置２は、操作履歴格納部４に特徴量に対応付けられて記録されている設定情報を、記録メディア１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部３に表示させる。

以上のような動作により、画像処理装置２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、Copy Onceなどの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。

以下、図１，図２を参照して説明した画像処理装置２について詳細を説明する。

図３は、図１，図２の画像処理装置２に対応する画像処理装置１３の一実施の形態の構成を示した図である。

画像再生部１２は、図１，図２の記録メディア１に対応する記録メディア１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部４１および遅延部４８に供給する。

特徴量抽出部４１は、画像再生部１２より順次供給されてくる画像の特徴量を抽出して、同期検出部４２、および蓄積ブロック４３の特徴量設定情報記録部６１に供給する。尚、特徴量抽出部４１の構成については、図４を参照して詳細を後述する。

リモートコントローラ１４は、キーやボタンなどから構成され、図１，図２で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置１３の受光部４４に発光する。

受光部４４は、リモートコントローラ１４の発光パターンに基づいて、リモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部４６に供給する。尚、蓄積ブロック４３は、リモートコントローラ１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部４５において、蓄積ブロック４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部４５は、蓄積ブロック４３の動作をオンまたはオフに制御する。

設定情報決定部４６は、操作情報認識部４５より供給されてくる操作情報に基づいて、後述する反映部４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。

蓄積ブロック４３の特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量と、設定情報決定部４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部６２（図１，図２の操作履歴格納部４に対応するもの）に蓄積させる。

同期検出部４２は、特徴量設定情報蓄積部６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部４１より供給されてくる画像再生部１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６３に供給する。尚、同期検出部４２の構成については、図６を参照して詳細を後述する。

特徴量設定情報読出部６３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部６２に記憶されている設定情報を読み出し、選択部４７に供給する。選択部４７は、設定情報決定部４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部６３より設定情報が供給されることがあっても、設定情報決定部４６からの設定情報を反映部４９に供給する。また、選択部４７は、設定情報決定部４６より設定情報の供給がなく、特徴量設定情報読出部６３より設定情報が供給された場合、特徴量設定情報読出部６３より供給された設定情報を反映部４９に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部４７は、設定情報を反映部４９に供給しない。

遅延部４８は、特徴量抽出部４１、同期検出部４２、蓄積ブロック４３、および、選択部４７の処理における遅延時間だけ、画像再生部１２より供給されてくる画像を一時的に記憶し、反映部４９に出力する。反映部４９は、選択部４７より設定情報が供給されてくる場合、遅延部４８より供給されてくる画像に対する処理を反映して、表示部１５に表示する。また、反映部４９は、選択部４７より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部１５に表示させる。

次に、図４を参照して、特徴量抽出部４１の詳細な構成について説明する。

DFF（D型フリップフロップ）８１は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号（clk）が入力されるタイミングで加算器８２に出力する。また、DFF８１は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図５で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Ｓから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器８２に出力されない。つまり、DFF８１は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器８２に供給する。

加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号とを加算してDFF８３に出力する。より詳細には、加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号との加算結果のうち、下位８ビットを抽出してDFF８３に供給する。

DFF８３は、加算器８２より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号（clk）が入力されるタイミングで加算器８２および出力部８４に供給する。また、DFF８３は、フレーム開始点（図中の水平方向のサンプルと垂直方向のラインの丸印の原点）Ｓの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF８３は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器８２により累積的に加算された値を出力部８４に供給する。

出力部８４は、1フレーム（または、1フィールド）の値がDFF８３より供給されてきたとき、その値をフレーム（または、そのフィールド）分の画像の特徴量として出力する。すなわち、出力部８４は、画像データ領域のデータのみが加算器８２により累積的に加算された値の下位８ビットをそのフレーム（または、そのフィールド）の特徴量として出力する。尚、特徴量は、画像を１フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ（画素値のみ）が累積的に加算された値の下位８ビットに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。

次に、図６を参照して、同期検出部４２の詳細な構成について説明する。

特徴量バッファ１０１−１乃至１０１−３は、供給されてきた特徴量を一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部１０２および後段の特徴量バッファ１０１−２，１０１−３に順次出力する。尚、特徴量バッファ１０１−３は、後段の特徴量バッファ１０１が存在しないため、再生位置特徴量生成部１０２にのみ出力する。再生位置特徴量生成部１０２は、特徴量バッファ１０１−１乃至１０１−３より供給されてくる最新の特徴量を含めた過去３フレーム分の特徴量を順次取得し、これを纏めて再生位置情報（再生位置特徴量）として生成し、比較部１０３に出力する。すなわち、再生位置特徴量生成部１０２は、再生位置を特定するための特徴量として最新のフレームから３フレーム前までの合計４個の特徴量を使用して、再生位置特徴量を生成する。

検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量を連続する４個ずつを順次読み出し、検索位置特徴量として比較部１０３および検出部１０５に供給する。比較部１０３は、再生位置特徴量生成部１０２より供給されてくる再生位置特徴量と、検索位置特徴量読出部１０４より順次供給されてくる検索位置特徴量とを比較する。比較部１０３は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部１０５に通知する。検出部１０５は、比較部１０３より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部１０４より供給されてきた検索位置特徴量を同期検出結果として出力する。

次に、図７のフローチャートを参照して、図３の画像処理装置１３による画像処理について説明する。尚、以降の説明においては、蓄積ブロック４３は、オンの状態に制御されていることが前提である。

ステップＳ１において、遅延部４８は新しい画像が画像再生部１２より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。

例えば、画像再生部１２が記録メディア１１に記録されている画像を読み出し、遅延部４８が、新たな画像が供給されてきたと判定した場合、ステップＳ２において、遅延部４８は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。尚、以降においては、画像を１フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、１フレーム単位に限らず、例えば、１フィールド単位で処理するようにしても良い。

ステップＳ３において、特徴量抽出部４１は、特徴量抽出処理を実行し、画像再生部１２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部４８が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部４１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。

ここで、図８のフローチャートを参照して、特徴量抽出処理について説明する。

ステップＳ２１において、DFF８３は、フレーム開始点Ｓ（図５）によりリセットされる。

ステップＳ２２において、未処理の画素が選択され、ステップＳ２３において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に１フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。

図５で示されるように、最初の画素（フレーム開始点Ｓの画素）の場合、同期データに含まれるため画像データ領域外であるので、ステップＳ２５において、DFF８１はリセットされ、０を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップＳ２４において、DFF８１は、クロック信号の発生タイミングで画素値を加算器８２に供給する。

ステップＳ２６において、加算器８２は、入力された画素値と、DFF８３より供給されてくる信号とを加算してDFF８３に供給する。

ステップＳ２７において、DFF８３は、クロック信号の発生タイミングで加算器８２より供給されてきた加算結果の下位８ビットを加算器８２に戻す。このとき、DFF８３は、加算結果を出力部８４にも供給するが、出力部８４は、加算結果を出力しない。

ステップＳ２８において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップＳ２２に戻る。すなわち、１フレーム分の画素が全て処理されるまで、ステップＳ２２乃至Ｓ２８の処理が繰り返される。そして、１フレーム分の画素の全てが処理されたと判定された場合、ステップＳ２９において、出力部８４は、DFF８３より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位８ビットを１フレームの画像の特徴量として出力する。

以上の処理により、１フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位８ビットが、そのフレームの特徴量として抽出されることになる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ４において、操作情報認識部４５は、リモートコントローラ１４が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部１５に表示されている画像を見ながら、使用者が、２倍のズーム処理を指示した場合、リモートコントローラ１４の発光パターンが受光部４４により受光され、受光部４４より受光した発光パターンに基づいた信号が、操作情報認識部４５に供給されることにより、操作情報認識部４５は、操作がなされたと判定し、その処理は、ステップＳ５に進む。

ステップＳ５において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部４６に供給する。設定情報決定部４６は、操作情報に基づいて、反映部４９に対しての画像に処理を施すための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。すなわち、今の場合、２倍のズーム処理を画像に施すことが指示されているので、反映部４９に対して２倍のズーム処理を施す指示を出すための設定情報が決定されて、特徴量設定情報記録部６１および選択部４７に供給される。

ステップＳ６において、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録させると共に、その特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報蓄積部６２に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図９で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのm倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１を記憶させる。尚、図９においては、特徴量設定情報蓄積部６２の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。

以降、特徴量設定情報記録部６１は、同様にして、特徴量Ｃ２をアドレスＢに記憶させるとき、対応する設定情報Ｅ２をｍ×Ｂに記憶させ、さらに、特徴量Ｃ３をアドレスＣに記憶させるとき、対応する設定情報Ｅ３をｍ×Ｃに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部６２内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。尚、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図９における特徴量Ｃ１乃至Ｃ３は、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図９における設定情報Ｅ１乃至Ｅ３は、特徴量Ｃ１乃至Ｃ３に対応付けられたアドレスから、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。

ステップＳ７において、選択部４７は、設定情報決定部４６より設定情報が供給されてきているので、設定情報決定部４６より供給されてきた設定情報を反映部４９に供給する。反映部４９は、遅延部４８に記憶されている画像に対して、選択部４７より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部１５に表示させる。

ステップＳ８において、操作情報認識部４５は、動作の終了が指示されたか否かを判定し、終了が指示されたと判定された場合、処理を終了する。一方、動作の終了が指示されていないと判定された場合、処理は、ステップＳ１に戻る。

すなわち、使用者によりリモートコントローラ１４が操作されて、画像に対して処理を施す指示が出され続けている限り、ステップＳ１乃至Ｓ８の処理が繰り返されて、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部６２に蓄積されていく。このステップＳ１乃至Ｓ８が繰り返される動作状態が、図１，図２を参照して説明した記録モードに対応する動作である。

一方、ステップＳ４において、操作されていないと判定された場合、その処理は、ステップＳ９に進み、同期検出部４２は、同期検出処理を実行して、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。

ここで、図１０のフローチャートを参照して、同期検出処理について説明する。

ステップＳ４１において、同期検出部４２の再生位置特徴量生成部１０２は、特徴量抽出部４１より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップＳ３の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部４１より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップＳ４２に進む。

ステップＳ４２において、検索位置特徴量読出部１０４は、検索位置の特徴量をカウントするためのカウンタｉを０に初期化する。

ステップＳ４３において、再生位置特徴量生成部１０２は、供給されてきた特徴量を取得すると供に、特徴量バッファ１０１−１乃至１０１−３にそれまで記憶していた特徴量を取得する。すなわち、特徴量バッファ１０１−１は、新たに特徴量が供給されてくると、それまでに記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−２に供給する。同様に、特徴量バッファ１０１−２は、供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−３に供給する。さらに、特徴量バッファ１０１−３は、特徴量バッファ１０１−２より供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２に供給する。結果として、再生位置特徴量生成部１０２には、最新のフレームの特徴量と、特徴量バッファ１０１−１乃至１０１−３にそれぞれ記憶されていた過去３フレーム分の特徴量が供給されてくることになる。そこで、再生位置特徴量生成部１０２は、再生中のフレームを含めた４フレーム分の特徴量を再生位置特徴量として比較部１０３に供給する。

ステップＳ４４において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量を検索位置特徴量として読み出し比較部１０３および検出部１０５に供給する。

ステップＳ４５において、比較部１０３は、再生位置特徴量生成部１０２より供給されてきた再生中のフレームを含む過去３フレーム分の合計４個の特徴量からなる再生位置特徴量と、検索位置特徴量読出部１０４より供給されてきた、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量からなる検索位置特徴量とを比較する。

ステップＳ４６において、比較部１０３は、比較結果に基づいて一致しているか否かを判定する。ステップＳ４６において、例えば、一致しないと判定された場合、ステップＳ４８において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップＳ４８において、全ての特徴量と比較していないと判定された場合、ステップＳ４９において、検索位置特徴量読出部１０４は、カウンタｉを１インクリメントし、その処理は、ステップＳ４４に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップＳ４４乃至Ｓ４６，Ｓ４８，Ｓ４９の処理が繰り返され、順次１フレーム間隔でずれながら、連続する４フレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。

すなわち、検索位置特徴量とは、例えば、図１１の右上部で示されるように、特徴量抽出部４１より順次蓄積されている特徴量のうち、今の場合、連続する４個の特徴量の塊である。尚、図１１においては、図中の縦長の長方形状のマスは、１フレーム分の特徴量を示しており、斜線部のＧ１，Ｇ２は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図１１の右下部で示されているように、特徴量抽出部４１より供給されてくる再生中の特徴量を含めた連続する４フレーム分の特徴量の塊である。

例えば、図１１で示されるように再生位置特徴量Ｇ２で示されるような場合、検索位置特徴量Ｇ０と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタｉが１インクリメントされて、検索位置特徴量Ｇ０’と再生位置特徴量Ｇ２とが比較される。このように、検索位置特徴量が図中の右方向に１フレーム間隔でずれながら、再生位置特徴量Ｇ２との比較が繰り返される。

ステップＳ４６において、例えば、再生位置特徴量Ｇ２と検索位置特徴量Ｇ１とが比較されるような場合、検索位置特徴量Ｇ１が再生位置特徴量Ｇ２と同一の構成となっているため、一致したと判定され、ステップＳ４７において、比較部１０３は、一致したことを検出部１０５に通知する。検出部１０５は、この通知に基づいて、今現在検索位置特徴量読出部１０４より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からｉ番目の特徴量を同期位置情報として特徴量設定情報読出部６３に供給する。

一方、ステップＳ４８において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップＳ５０において、検出部１０５は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。

以上の処理により、特徴量設定情報蓄積部６２に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部４２は、再生中のフレームの特徴量のみを、特徴量設定情報蓄積部６２に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含む過去３フレーム分の４フレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ１０において、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。例えば、図１０のフローチャートのステップＳ４７の処理により同期位置情報が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されていることになるので、その処理は、ステップＳ１１に進む。

ステップＳ１１において、特徴量設定情報読出部６３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。

ステップＳ１１において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップＳ１２において、特徴量設定情報読出部６３は、選択部４７に対して設定情報を供給しない。この処理により、選択部４７は、設定情報決定部４６および特徴量設定情報読出部６３のいずれからも設定情報の供給がない状態となるため、反映部４９に対して処理を指定する設定情報が供給されないことになる。結果として、反映部４９は、遅延部４８に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

一方、ステップＳ１１において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップＳ１３において、特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期位置情報の特徴量に対応付けて蓄積されている設定情報を読み出し選択部４７に供給し、その処理は、ステップＳ７に進む。すなわち、今の場合、選択部４７には、設定情報決定部４６からは設定情報がなく、特徴量設定情報読出部６３から設定情報が供給されるため、特徴量設定情報読出部６３からの設定情報が反映部４９に供給され、その設定情報に基づいて遅延部４８に蓄積されていた１フレーム分の画像に処理が反映されて、表示部１５に表示される。

尚、ステップＳ１乃至Ｓ４、ステップＳ９乃至Ｓ１３、およびステップＳ７，Ｓ８の処理が、図１，図２を参照して説明した再生モードに対応する処理である。

以上の処理により、例えば、図１２で示されるような処理が可能となる。すなわち、時刻ｔ０乃至ｔ１で示されるビデオからなる画像が記録メディア１１に予め記録されている場合、時刻ｔ０より後のタイミングである時刻ｔ１１で再生を開始し、さらに後の時刻ｔ１０１乃至ｔ１０２において、使用者によりリモートコントローラ１４が操作されて、画像への処理が指示されると、同一のタイミングで特徴量と共に、特徴量に対応付けられて設定情報が、特徴量設定情報蓄積部６２に蓄積される。

また、時刻ｔ１２において、早送りが開始され、時刻ｔ２１乃至ｔ２２において再び再生が開始された後、時刻ｔ３１まで早送りされ、時刻ｔ３１において再生が開始されたとき、時刻ｔ１１１乃至ｔ１１２において、使用者によりリモートコントローラ１４が操作されて、画像への処理が指示されると、同一のタイミングで特徴量と共に、特徴量に対応付けられて設定情報が、特徴量設定情報蓄積部６２に蓄積される。

さらに、時刻ｔ３２まで再生された後、時刻ｔ１２１まで巻き戻しされ、再生が開始される。時刻ｔ１３１乃至ｔ１３２において、使用者によりリモートコントローラ１４が操作されて、画像への処理が指示されると、同一のタイミングで特徴量と共に、特徴量に対応付けられて設定情報が、特徴量設定情報蓄積部６２に蓄積されていく。

その後、先頭位置に近い時刻ｔ１５１まで巻き戻され、時刻ｔ１５２までリモートコントローラ１４が操作されること無くビデオが再生されると、リモートコントローラ１４で画像への処理を指示する操作がなされた時刻ｔ１０１乃至ｔ１０２、時刻ｔ１３１乃至ｔ１３２、および時刻ｔ１１１乃至ｔ１１２のタイミングで再生位置特徴量に基づいて、同期位置情報が生成され、同期位置情報の特徴量に対応付けて蓄積されている設定情報が読み出されることにより、画像に設定情報に基づいた処理が反映される。

尚、図１２においては、最上段にはビデオ１本分のスケールが時刻ｔ０乃至ｔ１であることが示されている。また、第２段目には、１順目の再生手順として、時刻ｔ１１乃至ｔ１２，ｔ２１乃至ｔ２２，ｔ３１乃至ｔ３２において、通常の再生が実施され、時刻ｔ１２乃至ｔ２１、およびｔ２２乃至３１において早送り再生が実施されたことが示されている。

第３段目には、１順目の再生中における、リモートコントローラ１４の操作タイミングが示されており、第４段目には、１順目の再生中における、設定情報が記録されるタイミングが示されている。第３段目、第４段目においては、時刻ｔ１０１乃至ｔ１０２および時刻ｔ１１１乃至ｔ１１２においてリモートコントローラ１４が操作され、同一のタイミングでリモートコントローラ１４の操作に対応する設定情報が記録されていることが示されている。尚、設定情報が記録されるとき、設定情報に対応する処理が施されることになるので、リモートコントローラ１４が操作されている同一のタイミングで、使用者が所望とする処理が画像に反映された状態で表示される。

第５段目には、１順目の再生手順が終了した後、巻き戻し操作により時刻ｔ１２１まで巻き戻した後の２順目の再生手順が示されており、時刻ｔ１２１乃至ｔ１２２において通常の再生が実施されていることが示されている。

第６段目には、２順目の再生中における、リモートコントローラ１４の操作タイミングが示されており、第７段目には、２順目の再生中における、設定情報が記録されるタイミングが示されている。第６段目、第７段目においては、時刻ｔ１３１乃至ｔ１３２においてリモートコントローラ１４が操作され、同一のタイミングでリモートコントローラ１４の操作に対応する設定情報が記録されていることが示されている。尚、設定情報が記録されるとき、設定情報に対応する処理が施されることになるので、リモートコントローラ１４が操作されている同一のタイミングで、使用者が所望とする処理が画像に反映された状態で表示される。

第８段目には、２順目の再生手順が終了したのち、巻き戻し操作により時刻ｔ１５１まで巻き戻した後の３順目の再生手順が示されており、時刻ｔ１５１乃至ｔ１５２において通常の再生が実施されていることが示されている。

第９段目には、３順目の再生中における、同期検出部４２による同期処理が実行されるタイミングが示されており、第１０段目（最下段）には、３順目の再生中における、設定情報が再生される（設定情報が画像に反映される）タイミングが示されている。すなわち、第９段目、第１０段目においては、３順目の再生中に、１順目および２順目の再生中にリモートコントローラ１４が操作されることによって記録された設定情報に基づいて、同一のタイミングである時刻ｔ１０１乃至ｔ１０２，ｔ１１１乃至ｔ１１２および時刻ｔ１３１乃至ｔ１３２においてリモートコントローラ１４が操作されることによって記録された設定情報が、読み出されて画像に反映されることが示されている。

尚、図１２中の点線より上部の処理が図１，図２における記録モードであり、点線より下部の処理が再生モードの処理である。

以上の処理により、使用者がリモートコントローラ１４を操作して、予め記録されている画像を再生する際、再生されている画像に施す処理を指示すると、指示を受けた画像の特徴量に対応付けて、処理内容を示す設定情報が蓄積される。また、特徴量に対応付けて設定情報が記録されることにより、予め記録されている画像を再生する際、再生している画像の特徴量により、フレーム単位のタイムコードのように特徴量を使用することで、蓄積されている特徴量との同期を取ることが可能となり、同期した特徴量に対応付けられた設定情報により、再生している画像に処理が反映される。

結果として、タイムコードなどを用いることなく、蓄積された設定情報に基づいた編集処理を画像に反映させることが可能となる。また、記録されるのは特徴量と設定情報のみであり、予め記録されている画像が一切記録されることが無いため、例えば、Copy Onceなどの制限が設けられている画像であっても、編集処理を施した状態で繰り返し再生させることが可能となる。

特徴量は、以上においては、１フレーム分の画像信号中の画像データ領域の画素値の積算値を用いる例について説明してきたが、それ以外の特徴量であってもよく、例えば、動きベクトル（全画面動きとローカル動き）、特定の波形パターンがどれだけ出現するかを示す値、縮小画像における画素値の積算値、画像の特定部分の画素値の積算値、これらを複数フレーム分用いた値、または、これらの複数の特徴量の組み合わせなどであってもよい。

また、設定情報については、ズーム倍率を例にして説明してきたが、それ以外の情報であってもよく、例えば、ズーム位置（中心位置）、もしくはズーム位置とズーム倍率との組み合わせなどのズームパラメータ、明るさ、コントラスト、ガンマ補正、DRC（Digital Reality Creation）パレット値（解像度設定値、およびノイズ設定値）などの画質設定パラメータ、または、音量、音声切替（使用言語の切り替え）などの音声パラメータなどを用いるようにしてもよい。

以上の例においては、リモートコントローラ１４が操作されると、操作内容に応じた設定情報が、画像の特徴量に対応付けられて蓄積されていく例について説明してきたが、操作内容を示す操作情報を記録するようにしても良い。

図１３は、操作情報を設定情報の代わりに、特徴量に対応付けて記録するようにした画像処理装置１３の構成例を示している。尚、図１３において、図３と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、特徴量抽出部４１、同期検出部４２、受光部４４、操作情報認識部４５、遅延部４８、および反映部４９については、図３の画像処理装置１３と同様である。図１３の画像処理装置１３において、図３の画像処理装置１３と異なるのは、蓄積ブロック４３、設定情報決定部４６、および選択部４７に代えて蓄積ブロック１５１、設定情報決定部１５３、および選択部１５２が設けられている点である。

蓄積ブロック１５１は、操作情報認識部４５より供給されてくる操作情報を特徴量に対応付けて蓄積すると供に、蓄積された操作情報を再生中の画像の特徴量に対応付けて読み出し、選択部１５２に供給する。

蓄積ブロック１５１の特徴量操作情報記録部１６１は、特徴量抽出部４１より供給されてくる特徴量と、操作情報認識部４５より供給されてくる操作情報とを対応付けて特徴量操作情報蓄積部１６２に蓄積させる。

特徴量操作情報読出部１６３は、同期検出部４２より同期位置として検出された特徴量、すなわち、検索位置特徴量を取得すると、その特徴量に対応付けられて記憶されている操作情報を読み出し選択部１５２に供給する。選択部１５２は、操作情報認識部４５より操作情報が供給されてきた場合、仮に、特徴量操作情報読出部１６３より操作情報が供給されてきても、操作情報認識部４５より供給されてきた操作情報を設定情報決定部１５３に供給する。また、選択部１５２は、操作情報認識部４５より操作情報の供給がなく、特徴量操作情報読出部１６３より操作情報が供給された場合、特徴量操作情報読出部１６３より供給された操作情報を設定情報決定部１５３に供給する。さらに、いずれからも操作情報が供給されてこない場合、選択部１５２は、操作情報を設定情報決定部１５３に供給しない。

設定情報決定部１５３は、選択部１５２より供給されてくる操作情報に基づいて、反映部４９に対する画像への処理内容を指示するための設定情報を決定し、反映部４９に供給する。

次に、図１４のフローチャートを参照して図１３の画像処理装置１３による画像処理について説明する。尚、図１４のフローチャートにおけるステップＳ７１乃至Ｓ７４，Ｓ７８乃至Ｓ８０，Ｓ８２の処理については、図７のフローチャートにおけるステップＳ１乃至Ｓ４，Ｓ８乃至１０，Ｓ１２の処理と同様であるので、その説明は省略する。

遅延部４８が、画像再生部１２より供給されてくる画像を記憶し、特徴量抽出部４１により特徴量が抽出され、さらに、リモートコントローラ１４が操作されると、ステップＳ７５において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果である操作情報を、特徴量操作情報記録部１６１に供給する。特徴量操作情報記録部１６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量操作情報蓄積部１６２に蓄積させると共に、特徴量に対応付けて、操作情報認識部４５より供給されてくる操作情報を、特徴量操作情報蓄積部１６２に蓄積させる。より詳細には、上述した設定情報と同様に、図９で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのm倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１と同様に操作情報を記憶させる。

ステップＳ７６において、選択部１５２は、操作情報認識部４５より操作情報が供給されてきているので、操作情報認識部４５より供給されてきた操作情報を設定情報決定部１５３に供給する。設定情報決定部１５３は、供給された操作情報に基づいて、設定情報を決定し、反映部４９に供給する。

ステップＳ７７において、反映部４９は、遅延部４８に記憶されている画像に対して、設定情報決定部１５３より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部１５に表示させる。

一方、ステップＳ７４において、操作がされていないと判定された場合、ステップＳ７９において、同期検出処理が実行される。さらに、ステップＳ８０において、同期する特徴量が蓄積されていると判定された場合、ステップＳ８１において、特徴量設定情報読出部１６３は、同期した特徴量に対応付けられた操作情報が特徴量操作情報蓄積部１６２に蓄積されているか否かを判定する。すなわち、特徴量は、操作情報がない状態でも特徴量操作情報蓄積部１６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた操作情報の有無が判定される。

ステップＳ８１において、例えば、特徴量に対応付けられた操作情報がないと判定された場合、ステップＳ８２において、特徴量設操作報読出部１６３は、選択部１５２に対して設定情報を供給しない。この処理により、選択部１５２は、操作情報認識部４５および特徴量操作情報読出部１６３のいずれからも操作情報の供給がない状態となるため、設定情報決定部１５３に対して設定情報を決定するための操作情報が供給されないことになる。結果として、反映部４９に対しては、処理を指定する設定情報が供給されないことになので、反映部４９は、遅延部４８に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

一方、ステップＳ８１において、例えば、特徴量に対応付けられた操作情報があると判定された場合、ステップＳ８３において、特徴量操作情報読出部１６３は、特徴量操作情報蓄積部１６２より、同期位置情報の特徴量に対応付けて蓄積されている操作情報を読み出し、選択部１５２に供給し、その処理は、ステップＳ７６に進む。

以上によれば、リモートコントローラ１４の操作内容を示す操作情報を、画像の特徴量に対応付けて記録させるようにすることで、タイムコードなどを用いることなく、蓄積された設定情報に基づいた編集処理を画像に反映させることが可能となる。

尚、以上の例においては、操作情報が設定情報に対して一対一に対応する絶対値である場合について説明してきた。すなわち、操作情報が２倍ズームの場合、設定情報も２倍ズームであり、さらに、倍率を変更する場合、操作情報が３倍ズームの場合、設定情報も３倍ズームとなるように、操作情報と設定情報とが一対一に対応する例について説明してきた。しかしながら、操作情報が、現状の設定情報に対しての相対値を指定するような場合、直前の設定情報が必要となる。すなわち、現状の設定情報が２倍ズームであって、操作情報が２倍ズームであるとき、操作情報により設定情報は、４倍ズーム（＝２倍ズーム×２倍ズーム）に設定される。従って、さらに、操作情報により２倍ズームが指定されると、設定情報は８倍ズーム（＝４倍ズーム×２倍ズーム）に設定される。このように操作情報が、相対値を指定するような場合、操作情報と設定情報とは、一対一に対応しないので、新たな設定情報を設定するには、操作情報に加えて直前の設定情報が必要となる。そこで、リモートコントローラ１４が操作されて操作情報が供給されるとき、特徴量に対応付けて、操作情報と直前の設定情報とを蓄積させるようにしても良い。

図１５は、リモートコントローラ１４が操作されて操作情報が供給されるとき、特徴量に対応付けて、相対値からなる操作情報と直前の設定情報とを蓄積させるようにした画像処理装置１３の構成例を示している。尚、図１５の画像処理装置１３において、図１３の画像処理装置と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、特徴量抽出部４１、同期検出部４２、受光部４４、操作情報認識部４５、遅延部４８、および反映部４９については、図１３の画像処理装置１３と同様である。図１５の画像処理装置１３において、図１３の画像処理装置１３と異なるのは、蓄積ブロック１５１、選択部１５２、および設定情報決定部１５３に代えて蓄積ブロック１８１、選択部１８２、および設定情報決定部１８３が設けられており、設定情報決定部１８３より供給される設定情報が、直前の設定情報として蓄積ブロック１８１に供給されている点である。

蓄積ブロック１８１は、操作情報認識部４５より供給されてくる操作情報を特徴量に対応付けて蓄積する。この際、蓄積ブロック１８１は、特徴量に対応付けて直前の設定情報も蓄積する。さらに、蓄積ブロック１８１は、特徴量に対応付けて蓄積されている操作情報と直前の設定情報を再生中の画像の特徴量に対応付けて読み出し、選択部１５２に供給する。

蓄積ブロック１８１の特徴量操作情報記録部１９１は、操作情報認識部４５より供給されてくる操作情報および設定情報決定部１８３のメモリ１８３ａに格納されている直前の設定情報を、特徴量抽出部４１より供給されてくる特徴量に対応付けて特徴量操作情報蓄積部１９２に蓄積させる。

特徴量操作情報読出部１９３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて記憶されている操作情報および直前の設定情報を読み出し選択部１８２に供給する。選択部１８２は、操作情報認識部４５より操作情報が供給されてきた場合、その操作情報を設定情報決定部１８３に供給する。また、選択部１８２は、操作情報認識部４５より操作情報の供給がなく、特徴量操作情報読出部１９３より操作情報および直前の設定情報が供給された場合、特徴量操作情報読出部１９３より供給された操作情報および直前の設定情報を設定情報決定部１８３に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部１８２は、操作情報を設定情報決定部１８３に供給しない。

設定情報決定部１８３は、選択部１８２から操作情報のみが供給されてくる場合、すなわち、操作情報認識部４５より直接操作情報が供給されたものが選択部１８２より供給されてきた場合、メモリ１８３ａに記憶されている直前の設定情報と、供給されてきた操作情報とに基づいて、次の設定情報を決定し、反映部４９に供給すると供に、メモリ１８３ａの直前の設定情報を新たな次の設定情報で更新する。

また、設定情報決定部１８３は、選択部１８２から操作情報および直前の設定情報が供給されてくる場合、すなわち、特徴量操作情報読出部１９３より特徴量に対応付けられて特徴量操作情報蓄積部１９２に蓄積されていた操作情報および直前の設定情報が供給されてくる場合、操作情報および直前の設定情報に基づいて、画像への処理内容を指示するための設定情報を決定し、反映部４９に供給すると供に、メモリ１８３ａの直前の設定情報を新たな次の設定情報で更新する。

次に、図１６のフローチャートを参照して、図１５の画像処理装置１３による画像処理について説明する。尚、図１６のフローチャートにおけるステップＳ９１乃至Ｓ９４，Ｓ９８乃至Ｓ１００，Ｓ１０２の処理については、図１４のフローチャートにおけるステップＳ７１乃至Ｓ７４，Ｓ７８乃至８０，Ｓ８２の処理と同様であるので、その説明は省略する。

遅延部４８が、画像再生部１２より供給されてくる画像を記憶し、特徴量抽出部４１により特徴量が抽出され、さらに、リモートコントローラ１４が操作されると、ステップＳ９５において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果である操作情報を、特徴量操作情報記録部１９１に供給する。特徴量操作情報記録部１９１は、特徴量抽出部４１より供給されてくる特徴量に対応付けて、操作情報認識部４５より供給されてくる操作情報および設定情報決定部１８３のメモリ１８３ａに記憶されている直前の設定情報を、特徴量操作情報蓄積部１９２に蓄積させる。より詳細には、上述した設定情報と同様に、図９で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのm倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１と同様に操作情報を記憶させ、さらに、アドレスＡのｎ倍のアドレス、すなわち、アドレスｎ×Ａに直前の設定情報を記憶させる。

ステップＳ９６において、選択部１８２は、操作情報認識部４５より操作情報が供給されてきているので、この例においては、選択部１８２からは操作情報のみが供給されてきているので、設定情報決定部１８３は、メモリ１８３ａに記憶されている直前の設定情報と、供給された操作情報に基づいて、次の設定情報を決定し、反映部４９に供給する。

ステップＳ９７において、反映部４９は、遅延部４８に記憶されている画像に対して、選択部４７より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部１５に表示させる。

一方、ステップＳ９４において、操作がされていないと判定された場合、ステップＳ９９において、同期検出処理が実行される。さらに、ステップＳ１００において、同期する特徴量が蓄積されていると判定された場合、ステップＳ１０１において、特徴量設定情報読出部１９３は、同期した特徴量に対応付けられた操作情報および直前の設定情報が特徴量操作情報蓄積部１６２に蓄積されているか否かを判定する。すなわち、特徴量は、操作情報および直前の設定情報がない状態でも特徴量操作情報蓄積部１６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた操作情報および直前の設定情報の有無が判定される。

ステップＳ１０１において、例えば、特徴量に対応付けられた操作情報および直前の設定情報がないと判定された場合、ステップＳ１０２において、特徴量設操作報読出部１９３は、選択部１８２に対して設定情報および直前の設定情報を供給しない。この処理により、選択部１８２は、操作情報認識部４５および特徴量操作情報読出部１９３のいずれからも操作情報、または、操作情報および直前の設定情報の供給がない状態となるため、設定情報決定部１８３に対して設定情報を決定するための操作情報、または、操作情報および直前の設定情報が供給されないことになる。結果として、反映部４９に対しては、処理を指定する設定情報が供給されないことになので、反映部４９は、遅延部４８に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

一方、ステップＳ１０１において、例えば、特徴量に対応付けられた操作情報および設定情報があると判定された場合、ステップＳ１０３において、特徴量操作情報読出部１９３は、特徴量操作情報蓄積部１９２より、同期位置情報の特徴量に対応付けて蓄積されている操作情報および直前の設定情報を読み出し、選択部４７に供給し、その処理は、ステップＳ９６に進む。

以上の処理により、図１７で示されるように、時刻ｔ１７１乃至ｔ１７２において画像再生部１２により記録メディア１１に記録されているビデオ（画像）が再生され、その間に、時刻ｔ１８１乃至１８２において、リモートコントローラ１４が操作されて、画像に対して所定の処理を施すような指示があった場合、同様のタイミングで、特徴量が蓄積され、さらに、特徴量に対応付けられて、操作情報および直前の設定情報記録される。結果として、リモートコントローラ１４の操作内容を示す操作情報が、直前の設定情報に対する相対値であっても、設定情報を決定する際、操作情報および直前の設定情報が特徴量に対応付けられて蓄積される。また、リモートコントローラ１４が操作されること無く、記録場ディア１１に記録された画像を再生すると、特徴量に対応付けられて蓄積されている操作情報および直前の設定情報から決定される設定情報により再生される画像に処理を反映させることが可能となる。

以上によれば、リモートコントローラ１４の操作内容を示す操作情報が、直前の設定情報に対する相対値であっても、リモートコントローラ１４の操作情報が供給されると、画像の特徴量に対応付けて記録させるようにすることで、タイムコードなどを用いることなく、蓄積された設定情報に基づいた編集処理を画像に反映させることが可能となる。

以上においては、特徴量に対応付けて設定情報、操作情報、または、操作情報および直前の設定情報をアドレスに対応付けて蓄積させる例について説明してきた。しかしながら、設定情報、操作情報、または、操作情報および直前の設定情報が、特徴量に対応付けて管理できれば良いため、メモリ上のアドレスによる管理以外の方法であってもよく、例えば、テーブルとして管理するようにしても良い。

図１８は、特徴量に対応付けて設定情報をテーブルで管理するようにした画像処理装置１３である。尚、図１８の画像処理装置１３においては、図３における画像処理装置１３と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、特徴量抽出部４１、同期検出部４２、受光部４４、操作情報認識部４５、設定情報決定部４６、選択部４７、遅延部４８、および反映部４９については、図３の画像処理装置１３と同様である。図１８の画像処理装置１３において、図３の画像処理装置１３と異なるのは、蓄積ブロック４３に代えて蓄積ブロック２０１が設けられている点である。

蓄積ブロック２０１の特徴量設定情報記録部２１１は、特徴量抽出部４１より供給されてくる特徴量と、設定情報決定部４６より供給されてくる設定情報とを対応付けて特徴量設定情報テーブル蓄積部２１２に蓄積させる。

特徴量設定情報読出部２１３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報テーブル蓄積部２１２に記憶されている設定情報を読み出し、選択部４７に供給する。

次に、図１９のフローチャートを参照して、図１８の画像処理装置１３による画像処理について説明する。尚、図１９のフローチャートにおけるステップＳ１１１乃至Ｓ１１５、ステップＳ１１７乃至Ｓ１１９、およびステップＳ１２２，Ｓ１２３の処理は、図７のフローチャートにおけるステップＳ１乃至Ｓ５、ステップＳ７乃至Ｓ９、およびステップＳ１２，１３の処理と同様の処理であるので、その説明は省略する。

ステップＳ１１６において、特徴量設定情報記録部２１１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報テーブル蓄積部２１２に蓄積させ、さらに、特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報テーブル蓄積部２１２に蓄積させる。

すなわち、特徴量設定情報テーブル蓄積部２１２とは、例えば、図２０で示されるようなテーブルである。図２０においては、図中左側の欄に特徴量が記録され、右側の欄に設定情報が記録されており、上から特徴量「０００１１１００」では、設定情報として「２倍ズーム」が記録されており、同様にして、特徴量「０００１１１０１」では、設定情報として「３倍ズーム」が、特徴量「０００１１０１０」では、設定情報として「４倍ズーム」が、特徴量「０１０１１１０１」では、設定情報として「５倍ズーム」が、特徴量「００１１０１００」では、設定情報として「６倍ズーム」が、特徴量「００１１０１１０」では、設定情報として「７倍ズーム」が、特徴量「１００１１０１０」では、設定情報として「８倍ズーム」が、特徴量「０１０１１１０１」では、設定情報として「９倍ズーム」が、特徴量「００１００１００」では、設定情報なしが、特徴量「００１１０１１０」では、設定情報なしが、特徴量「１００１１０１０」では、設定情報として「７倍ズーム」が、特徴量「０１０１１１０１」では、設定情報として「６倍ズーム」が、それぞれ記録されている。

ステップＳ１２０において、特徴量設定情報読出部２１３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報テーブル蓄積部２１２に蓄積されているか否かを判定する。

また、ステップＳ１２１において、特徴量設定情報読出部２１３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報テーブル蓄積部２１２に蓄積されているか否かを判定する。

以上によれば、特徴量に対応付けて設定情報を蓄積させるテーブルを用いるようにしても、タイムコードなどを用いることなく、蓄積された設定情報に基づいた編集処理を画像に反映させることが可能となる。尚、特徴量に対応付けられた、操作情報、または、操作情報および直前の設定情報のテーブルを用いるようにしても良いことはいうまでもない。

さらに、上述したように特徴量は、設定情報、操作情報、または、操作情報および直前の設定情報に対応付けない状態でも記録することが可能である。しかしながら、以上においては、リモートコントローラ１４が操作されたときに、設定情報、操作情報、または、操作情報および直前の設定情報を記録する際に記録される例について説明してきたが、それ以外のタイミングで記録するようにしてもよい。

図２１は、リモートコントローラ１４により画像への処理を指示する前に、フォーマットすることで、記録メディア１１に記録されている画像の全てを先に蓄積させるようにした画像処理装置１３の構成例を示している。尚、図２１において、図３と同一の構成については、同一の符号を付しており、その説明は省略するものとする。

すなわち、特徴量抽出部４１、同期検出部４２、受光部４４、操作情報認識部４５、設定情報決定部４６、選択部４７、遅延部４８、および反映部４９については、図３の画像処理装置１３と同様である。図２１の画像処理装置１３において、図３の画像処理装置１３と異なるのは、蓄積ブロック４３に代えて蓄積ブロック２３１が設けられている点である。

蓄積ブロック２３１の特徴量設定情報記録部２４１は、基本的に、特徴量設定情報記録部６１と同様の機能を備えているが、さらに、操作情報認識部４５よりフォーマットが指示されると、画像再生部１２により再生される記録メディア１１に記録された画像の全ての特徴量を、特徴量設定情報蓄積部２４２に蓄積させる。

次に、図２２のフローチャートを参照して、図２１の画像処理装置１３によるフォーマット処理について説明する。

ステップＳ１３１において、特徴量抽出部４１は、新しい画像が画像再生部１２より供給されてきたか否かを判定し、新たな画像が供給されてくるまで、その処理を繰り返す。そして、ステップＳ１３１において、新しい画像が供給されてくると、ステップＳ１３２において、特徴量抽出部４１は、特徴量抽出処理を実行して特徴量を抽出し、特徴量設定情報記録部２４１に供給する。尚、特徴量抽出処理については、図８のフローチャートを参照した処理と同様であるので、その説明は省略する。

ステップＳ１３３において、特徴量設定情報記録部２４１は、供給されてくる特徴量を特徴量設定情報蓄積部２４２に蓄積させる。

ステップＳ１３４において、特徴量設定情報記録部２４１は、終了が指示されたか否かを判定し、終了が指示されていない場合、その処理は、ステップＳ１３１に戻る。すなわち、終了が指示されるまで、ステップＳ１３１乃至Ｓ１３４の処理が繰り返され、終了が指示されると、フォーマットの処理が終了する。

以上の処理により、図２３で示されるように、例えば、ビデオ（画像）が時刻ｔ２０１乃至ｔ２０２までの場合、その先頭位置から再生が開始されると、先頭位置から終了位置までの特徴量が蓄積される。結果として、設定情報、操作情報、または、操作情報および直前の設定情報を記録する際、新たに特徴量を記録する必要がなくなる。

尚、図２３において、最上段にビデオの画像の時刻が示されており、第２段目には、再生されるタイミングが示されており、第３段目には、特徴量が記録されるタイミングが示されている。

また、以上においては、処理の最初にビデオ（画像）全体の特徴量を取得する例について説明してきたが、リモートコントローラ１４が操作されずに記録メディア１１に記録されている画像が画像再生部１２により再生されている間に、部分毎に特徴量のみを記録するようにしてもよい。

図２４は、リモートコントローラが操作されずに記録メディアに記録されている画像が再生されている間に、部分毎に特徴量のみを記録するようにした画像処理装置１３の構成例を示している。尚、図２１において、図３と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

すなわち、特徴量抽出部４１、同期検出部４２、受光部４４、操作情報認識部４５、設定情報決定部４６、選択部４７、遅延部４８、および反映部４９については、図３の画像処理装置１３と同様である。図２１の画像処理装置１３において、図３の画像処理装置１３と異なるのは、蓄積ブロック４３に代えて蓄積ブロック２５１が設けられている点である。

蓄積ブロック２５１の特徴量設定情報記録部２６１は、基本的に、特徴量設定情報記録部６１と同様の機能を備えているが、さらに、操作情報認識部４５より操作情報が供給されていない状態で、かつ、画像再生部１２により再生される記録メディア１１に記録された画像が再生されていて、かつ、同期検出部４２からの同期検出結果である、検索位置特徴量が存在しないとき、すなわち、特徴量が記録されていない状態のとき、画像の特徴量を特徴量設定情報蓄積部２６２に蓄積させる。

次に、図２５のフローチャートを参照して、図２４の画像処理装置１３における画像処理について説明する。尚、図２５のフローチャートにおけるステップＳ１５１乃至Ｓ１６３の処理は、図７のフローチャートにおけるステップＳ１乃至Ｓ１３の処理と同様であるのでその説明は省略するものとする。

すなわち、ステップＳ１６０において、同期する特徴量が蓄積されていないと判定された場合、ステップＳ１６３において、特徴量設定情報記録部２６１は、特徴量抽出部４１より供給されてくる特徴量のみを特徴量設定情報蓄積部２６２に蓄積させる。

以上の処理により、例えば、図２６で示されるように、ビデオ（画像）が時刻ｔ２５１乃至ｔ２５２で記録されており、時刻ｔ２６１乃至ｔ２６２において、再生され、リモートコントローラ１４が操作されて処理が指示されていない状態であれば、そのタイミングで特徴量が記録される。その後、時刻ｔ２６２乃至ｔ２７１において早送り操作され、時刻ｔ２７１乃至ｔ２７２において再生され、リモートコントローラ１４が操作されて処理が指示されていない状態であれば、再び、そのタイミングで特徴量が記録される。さらに、その後、時刻ｔ２７２乃至ｔ２８１において早送り操作され、時刻ｔ２８１乃至ｔ２８２において再生され、リモートコントローラ１４が操作されて処理が指示されていない状態であれば、やはり、そのタイミングで特徴量が記録される。

そして、その後、時刻ｔ２８２より時刻ｔ２９２まで巻き戻されると、時刻ｔ２９２乃至２６２は、既に特徴量が記録されているので、記録されていない時刻ｔ２６２乃至ｔ２７１において、リモートコントローラ１４が操作されて処理が指示されていない状態であれば、特徴量が記録され、再び、時刻ｔ２７１乃至ｔ２９２においては記録されているので、特徴量の記録が停止される。図２６で示されるようなタイミングで再生が繰り返されることにより、時刻ｔ２６１乃至ｔ２７２、および時刻ｔ２８１乃至２８２の特徴量が記録されることになる。

結果として、通常の再生がされている間、リモートコントローラ１４による画像の処理を指示する操作がなされていないタイミングで、部分毎に徐々に特徴量のみが蓄積されていくことになるので、使用者に、フォーマット処理のような操作を意識させることなく、特徴量を蓄積させることが可能となる。

以上のごとく、本発明の第１の側面の画像処理装置および方法、並びにプログラムによれば、画像より特徴量を抽出し、前記画像に対して処理を加えるための設定情報を設定し、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録するようにした。

また、本発明の第２の側面のデータ記録媒体によれば、画像の特徴量に対応付けて、画像に対して処理を加えるための設定情報を記録したデータ構造を含むようにした。

さらに、本発明の第３の側面の画像処理装置および方法、並びにプログラムによれば、再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出し、前記画像の特徴量に対応付けて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させ、前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出し、読み出した設定情報に基づいて、前記再生位置の画像に対して処理を反映するようにした。

結果として、本発明の第１の側面によれば、画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。

また、本発明の第２の側面によれば、画像の処理結果を記録することなく、画像を処理するための設定情報を、画像の特徴量に対応付けて記録することが可能となる。

本発明の第３の側面によれば、画像の特徴量に対応付けて、画像を処理するための設定情報を読み出し、設定情報に基づいて、画像への処理を反映させることが可能となる。

いずれにおいても、フレーム単位で特徴量を抽出するようにし、特徴量をタイムコードのように利用することで、オリジナルの画像データに処理を加えることなく、画像を再生させる度に、画像に対して正確に所定の処理を加えて再現することが可能となる。また、複製できない画像データであっても、再生させる度に、同一の処理を加えて繰り返し再生することが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図２７は、図３，図１３，図１５，図１８，図２１，図２４の画像処理装置１３の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１００１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１００１は、バス１００４および入出力インタフェース１００５を介してユーザからキーボードやマウスなどからなる入力部１００６から指令が入力されると、それに対応してROM(Read Only Memory)１００２に格納されているプログラムを実行する。あるいはまた、CPU１００１は、ドライブ１０１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク１０２１から読み出され、記憶部１００８にインストールされたプログラムを、RAM(Random Access Memory)１００３にロードして実行する。これにより、上述した図３，図１３，図１５，図１８，図２１，図２４の画像処理装置１３の機能が、ソフトウェアにより実現されている。さらに、CPU１００１は、通信部１００９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図２７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリを含むリムーバルメディア１０２１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１００２や、記憶部１００８に含まれるハードディスクなどで構成される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明の画像処理装置の概念を説明するための図である。 本発明の画像処理装置の概念を説明するための図である。 本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 図３の特徴量抽出部の構成例を示すブロック図である。 画像信号の構成例を説明する図である。 図３の同期検出部の構成例を示すブロック図である。 図３の画像処理装置による画像処理を説明するフローチャートである。 図７の特徴量抽出処理を説明するフローチャートである。 図７の特徴量抽出処理を説明する図である。 図７の同期検出処理を説明するフローチャートである。 図７の同期検出処理を説明する図である。 図３の画像処理装置による画像処理により実現される動作を説明する図である。 本発明を適用した画像処理装置のその他の構成例を説明する図である。 図１３の画像処理装置による画像処理を説明するフローチャートである。 本発明を適用した画像処理装置のさらにその他の構成例を説明する図である。 図１５の画像処理装置による画像処理を説明するフローチャートである。 図１５の画像処理装置による画像処理を説明する図である。 本発明を適用した画像処理装置のさらにその他の構成例を説明する図である。 図１８の画像処理装置による画像処理を説明するフローチャートである。 図１８の画像処理装置による画像処理を説明する図である。 本発明を適用した画像処理装置のさらにその他の構成例を説明する図である。 図２１の画像処理装置によるフォーマット処理を説明するフローチャートである。 図２１の画像処理装置によるフォーマット処理を説明する図である。 本発明を適用した画像処理装置のさらにその他の構成例を説明する図である。 図２４の画像処理装置による画像処理を説明するフローチャートである。 図２４の画像処理装置による画像処理を説明する図である。 媒体を説明する図である。

符号の説明

１１ 記録メディア， １２ 画像再生部， １３ 画像処理装置， １４ リモートコントローラ， １５ 表示部， ４１ 特徴量抽出部， ４２ 同期検出部， ４３ 蓄積ブロック， ４４ 受光部， ４５ 操作情報認識部， ４６ 設定情報決定部， ５４７ 選択部， ４８ 遅延部， ４９ 反映部， ６１ 特徴量設定情報記録部， ６２ 特徴量設定情報蓄積部， ６３ 特徴量設定情報読出部

Claims (16)

1. 画像より特徴量を抽出する特徴量抽出手段と、
   前記画像に対して処理を加えるための設定情報を設定する設定手段と、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段と
   を含む画像処理装置。
2. 前記特徴量抽出手段は、前記画像を構成する所定領域の画素の画素値の加算値を特徴量として抽出する
   請求項１に記載の画像処理装置。
3. 前記画像に対する処理を指定するための操作をする操作手段をさらに含み、
   前記設定手段は、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定し、
   前記記録手段は、前記画像の特徴量に対応付けて前記操作内容を前記データ記録媒体に記録する
   請求項１に記載の画像処理装置。
4. 前記操作手段による前記画像に対する処理を指定する操作内容が、前記画像に対する直前の処理との相対的な処理を指定するものである場合、
   前記記録手段は、前記画像の特徴量に対応付けて前記操作内容および前記直前の処理による設定情報を前記データ記録媒体に記録する
   請求項３に記載の画像処理装置。
5. 前記記録手段は、前記データ記録媒体上の第１のアドレスに前記画像の特徴量を記録し、前記設定情報を、前記第１のアドレスと対応付けられた第２のアドレスに記録する
   請求項１に記載の画像処理装置。
6. 前記記録手段は、前記画像の特徴量と前記設定情報とが対応付けられたテーブルを前記データ記録媒体に記録する
   請求項１に記載の画像処理装置。
7. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと
   を含む画像処理方法。
8. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと
   を含むコンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
9. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録ステップと
   を含む処理をコンピュータに実行させるプログラム。
10. 画像の特徴量に対応付けて、前記画像に対して処理を加えるための設定情報が記録されたデータ構造を含む
    データ記録媒体。
11. 前記データ記録媒体は、リムーバブルメディアである
    請求項１０に記載のデータ記録媒体。
12. 再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出手段と、
    前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期手段と、
    前記同期手段により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出手段と、
    前記読出手段により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映手段と
    を含む画像処理装置。
13. 前記同期手段は、
    前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体より、前記特徴量を検索位置特徴量として順次抽出する検索位置特徴量抽出手段と、
    前記再生位置特徴量と前記検索位置特徴量とを順次比較する比較手段とを含み、
    前記比較結果が一致した場合、前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とが同期したものとみなす
    請求項１２に記載の画像処理装置。
14. 再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、
    前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップと、
    前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、
    前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
    を含む画像処理方法。
15. 再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、
    前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップと、
    前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、
    前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
    を含むコンピュータが読み取り可能なプログラムが記録されているプログラム記録媒体。
16. 再生位置の画像より再生位置の特徴量を再生位置特徴量として抽出する再生位置特徴量抽出ステップと、
    前記画像の特徴量に対応付けられて、前記画像に対して処理を加えるための設定情報が記録されたデータ記録媒体の特徴量と、前記再生位置特徴量とを同期させる同期ステップと、
    前記同期ステップの処理により前記データ記録媒体の特徴量と、前記再生位置特徴量とが同期した場合、前記データ記録媒体より、同期した前記再生位置特徴量に対応付けて記録されている設定情報を読み出す読出ステップと、
    前記読出ステップの処理により読み出された設定情報に基づいて、前記再生位置の画像に対して処理を反映させる反映ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images