JP2007306313A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】画像が急激に変化するようなことがないようにするために、画像の編集に係わる値が急激に変化することがないようにする。
【解決手段】設定情報決定部４６は、操作情報認識部４５からの操作情報を設定情報に変換し、蓄積ブロック４３に供給する。使用者により操作の終了が指示されると、設定情報決定部４６からの設定情報は、滑らか終了制御部２０１により、基準値まで徐々に変化するような設定情報に変換され、蓄積ブロック４３に供給され、蓄積される。設定情報は、特徴量抽出部４１により、入力された画像から抽出された特徴量とともに蓄積される。本発明は、映像を編集するビデオカメラなどに適用できる。
【選択図】図１８

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像に加える処理と、画像の特徴量とを対応付けて記憶させることで、画像を再生させるたびに、所定の処理を加えた画像を再現できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

画像を手軽に処理するための技術が普及しつつある。

従来、ビデオカメラなどで撮像された画像を編集するには、オリジナルの画像データを再生させながら、各種の処理を加える操作を実行し、処理結果となる画像を別の記録媒体に記録させるといったリニア編集が主流であった。

また、上述のようなリニア編集の場合、オリジナルの画像データがCOPY ONCEの場合、一度VTR（Video Tape Recorder）に記録したものを再生し、さらに編集した映像については記録できないという問題があった。

そこで、画像を編集させるための処理を指示する操作を記憶させる方法が提案されている（特許文献１参照）。

ここで、図１と図２を参照し、従来の方法の記録、修正の概要について説明する。図１において横軸は、記録するコンテンツのタイムコードを表す「時間」を表している。図１の縦軸は、記録、再生される設定値を表している。ここで設定値とは、例えば、ズームにおけるズーム率、ズーム中心の座標、画像設定パラメータ(明るさ、コントラスト、ピクチャーなど) などである。

図１における１段目は、所定のコンテンツの再生される部分を斜線で示している。斜線で示した部分が編集対象とされることを示し、図１に示した例では、コンテンツの同じ部分を３回以上再生して、そのコンテンツに同期した操作の記録と再生を行った場合を示している。

図１の２段目は、１回目の操作による設定値の記録を表している。１回目の設定値は、図１に示したように、操作が開始されると記録が開始され、操作が終了されると記録も終了される。記録の開始時点Ｔ１は、すなわち記録の先頭部分は、かならず標準状態から開始される。また、操作終了時点Ｔ２には操作終了ボタンが操作されることにより操作が終了され、それにともない、記録も終了されるため、図１の２段目に示すように非連続的に標準状態に戻る記録になることが多い。

図１の３段目は、２回目の操作による設定値の記録を表している。２回目の操作においては、コンテンツの処理対象（操作開始時点Ｔ１から操作終了時点Ｔ２までのコンテンツ）とされている部分の内、修正開始時点Ｔ３から修正が開始され、修正終了時点Ｔ４において修正が終了したことが示されている。すなわち、２回目の操作では、１回目の操作と同一のコンテンツの箇所が再生されながら、修正開始時点Ｔ３から修正終了時点Ｔ４までの箇所が、１回目の操作とは異なる操作がされたことを、図１の３段目の図では示している。

図１の３段目の図において、点線で示した線は、１回目の操作時に記録された設定値の線である。

使用者は、１回目の操作を行った後（１回目の操作の記録が行われた後）、２回目の操作を行う前に、コンテンツ自体を操作開始時点Ｔ１まで「巻き戻す」ための操作を行う必要がある。２回目の操作の記録の後、再度「巻き戻し」て、再生した場合、図１の４段目に示したような形で設定値が再生される。２回目以降の記録時には、記録内容が上書きされるため、特に上書きの終了時に編集データが不連続になりやすい。

図２Ａ乃至図２Ｃに、実際の操作の様子をより詳細に示す。図２Ａは、１回目の操作とその操作で記録される設定値との関係を示し、図２Ｂは、２回目の操作とその操作で記録される設定値との関係を示し、図２Ｃは、２回目の操作の結果、記録される設定値を示している。また、図２Ａと図２Ｂに示した枠内の図において、各枠内の１段目は、設定値を示し、２段目は、操作結果を示す。

１回目の操作は、使用者からの操作入力を受け付けるコントローラから、図２Ａの２段目に示すような操作信号が出された場合、図２Ａの１段目に示すような設定値の記録が行われる。設定値は、コントローラでの操作量を積分した値とされる。また、図２Ａや図２Ｂにおいて、プラス操作とは、例えば、画像の拡大を指示する操作であり、マイナス操作とは、画像の縮小を指示する操作である。

例えば、操作開始時点Ｔ１から時点Ｔ１１まではプラスの操作が行われたため（２段目参照）、その値が積分された値が設定値として記録されるため、記録される設定値は、徐々に値が大きくなるようなグラフとなる（１段目参照）。その後、時点Ｔ１１から時点Ｔ１２までは、マイナス操作が行われたため、その設定値は、徐々に小さくなるようなグラフとなる。時点Ｔ１２の後もプラス操作とマイナス操作が行われ、その操作に応じた設定値が記録される。

そして、時点Ｔ２に、コントローラの操作終了ボタン（記録終了の機能を有するボタン）が操作されると、設定値の記録も終了される。記録が終了されると、設定値は、標準値に戻される。このような操作が行われた結果、図２Ａの１段目に示したような設定値が記録される。

次に、図２Ｂの２段目に示したように、１回目の操作が行われたコンテンツに対して、時点Ｔ３から時点Ｔ２１までプラス操作が行われ、時点Ｔ２１から時点Ｔ４まで、マイナス操作が行われた場合、時点Ｔ３から時点Ｔ４までの間に記録される設定値は、図２Ｂの１段目に示したようになる。

２回目の操作の場合、１回目の操作の時点Ｔ３のときに記録されていた設定値から、操作量に応じた設定値が順次積分された値が加算される。また、時点Ｔ４において、操作が終了されると、１回目の操作の時点Ｔ４のときに記録されていた設定値まで、設定値が戻される。

このような修正が行われると、図２Ｂの１段目に実線で示したような設定値が記憶されることになる（実線で示した設定値に記録が修正されることになる）。すなわち、２回目の操作が行われた結果、設定として記録される波形は、図２Ｃに示したような波形となる。
特開２００３−２０２９４４号公報

図２Ｃに示した波形を参照するに、時点Ｔ４において、設定値が急激に小さくなり、時点Ｔ２においても、設定値が急激に小さくなっていることがわかる。このような設定値の急激な変化は、例えば、設定値が画像の拡大や縮小に係わる値であった場合、急激に画像が大きくなったり小さくなったりすることを示している。このような急激な画像の変化は、使用者に見づらい画像（映像）を提供してしまうことを意味する。

また、図２Ｃに示した波形が示すように、設定値の記録の先頭部分はかならず標準値から開始され、設定値の記録の終了部分は、標準値で終了される。このようなことは、記録の開始時と終了時は、記録開始、終了のポイントを自由に設定しにくく、非連続的に標準状態に戻されることがあることを示しており、上記したような急激な画像の変化が起こりやすいことを示している。

また、複数回（図２Ａ乃至図２Ｃを参照して説明した例では２回）の編集が行われる場合、２回目以降の編集による設定値の記録は、前回の記録に上書きされるため、その上書きの終了時（上記した例では、時点Ｔ４）には、設定値のデータが不連続になりやすく、上記したようなことが発生しやすい状況である。

すなわち、従来の記録方式では、操作がそのまま記録されるため、設定値が滑らかに変化するような記録が行われずに、画像が急激に変化してしまうようなことを防ぐことができなかった。

また、操作履歴の上書きは、例えば、手振れ補正機能など、自動で（使用者の手を煩わせずに）記録された履歴に対して、手動で編集を加えたいときなどに手振れ補正後のデータに対しての編集ができない自動操作を記録するときも、自動操作のステータスと連携しないという記録方式であった。

本発明は、このような状況に鑑みてなされたものであり、急激な画像の変化などを防ぐことができるようにするものである。

本発明の一側面の第１の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段と、前記画像に対して処理を加えるための設定情報を設定する設定手段と、前記設定手段により設定された前記設定情報を編集する編集手段と、前記画像の特徴量に対応付けて前記編集手段により編集された前記設定情報をデータ記録媒体に記録する記録手段とを備える。

前記編集手段は、前記設定手段による設定が終了されるとき、前記設定手段により設定された前記第１の設定情報から、設定情報の標準とされている第２の設定情報まで徐々に変化するように、前記第１の設定情報から前記第２の設定情報の間の設定情報を編集するようにすることができる。

前記編集手段は、前記設定手段による設定が終了されるとき、その時点で前記設定手段により設定された第１の設定情報から、前記第１の設定情報が設定された画像より後の時点の画像の設定情報であり、前記データ記録媒体に記録されている第２の設定情報に、徐々に変化するように、前記第１の設定情報から前記第２の設定情報の間の設定情報を編集するようにすることができる。

前記編集手段は、前記第１の設定情報から所定の値を減算または加算した第３の設定情報を、前記第１の設定情報に対応する画像の次の時点における画像の設定情報とし、前記第３の設定情報が前記第２の設定情報と所定の範囲内の設定情報ではないとき、前記第３の設定情報からさらに前記所定の値を減算または加算した第３の設定情報をさらに次の時点における画像の設定情報とし、前記第３の設定情報が前記第２の設定情報と所定の範囲内の設定情報になったとき、前記第３の設定情報を前記第２の設定情報とするようにすることができる。

前記編集手段は、前記設定手段により設定された前記設定情報と、その設定情報が設定された画像と同一の画像で設定され、前記データ記録媒体に記録されている前記設定情報を加算するようにすることができる。

前記編集手段による編集の対象となる期間の開始または終了を指定するキーポイントを設定するキーポイント設定手段をさらに備え、前記編集手段は、前記キーポイント設定手段により設定された前記キーポイントのうち、隣接するキーポイント間で、一方のキーポイントの設定情報から他方のキーポイントの設定情報に徐々に変化するように編集するようにすることができる。

前記キーポイント設定手段は、前記記録手段による記録が行われる前の時点で前記キーポイントを設定するか、または、前記記録手段による記録が行われた後の時点で前記キーポイントを設定するようにすることができる。

本発明の一側面の第１の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記設定ステップの処理で設定された前記設定情報を編集する編集ステップと、前記画像の特徴量に対応付けて前記編集ステップの処理で編集された前記設定情報のデータ記録媒体への記録を制御する記録制御ステップとを含む。

本発明の一側面の第１の記録媒体は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記設定ステップの処理で設定された前記設定情報を編集する編集ステップと、前記画像の特徴量に対応付けて前記編集ステップの処理で編集された前記設定情報のデータ記録媒体への記録を制御する記録制御ステップとを含む処理をコンピュータに実行させるプログラムを記録している。

本発明の一側面の第１のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記設定ステップの処理で設定された前記設定情報を編集する編集ステップと、前記画像の特徴量に対応付けて前記編集ステップの処理で編集された前記設定情報のデータ記録媒体への記録を制御する記録制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面の第１の画像処理装置および方法、並びにプログラムにおいては、画像より特徴量が抽出され、画像に対して処理を加えるための設定情報が設定され、設定された設定情報が編集され、画像の特徴量に対応付けて編集された設定情報がデータ記録媒体に記録される。

本発明の一側面の第２の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段と、前記画像に対して処理を加えるための設定情報を設定する設定手段と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段と、前記記録手段により前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき前記記録手段による記録を制御する制御手段とを備える。

前記制御手段は、前記設定手段により設定される前記設定情報が連続して同一である場合、前記設定手段により設定される前記設定情報が前記データ記録媒体に記録されている対応する設定情報に近似する場合、または、前記設定手段により設定される前記設定情報が設定情報の標準とされている設定情報に近似する場合、前記記録手段により前記設定情報を前記データ記録媒体に記録しないと判断するようにすることができる。

前記記録手段による記録を開始させる開始点と、終了させる終了点を指定する指定手段をさらに備え、前記制御手段は、前記指定手段により指定された開始点から、前記記録手段により前記設定情報を前記データ記録媒体に記録すると判断し、前記指定手段により指定された終了点から、前記記録手段により前記設定情報を前記データ記録媒体に記録しないと判断するようにすることができる。

前記指定手段は、前記記録手段による記録が行われる前の時点で前記開始点と前記終了点を指定するようにすることができる。

前記記録手段は、一時的に、前記データ記録媒体に前記設定情報を記録し、前記指定手段は、前記記録手段による記録が行われた後、前記開始点と前記終了点を指定し、前記制御手段は、一時的に前記データ記録媒体に記録された前記設定情報を、前記開始点から前記データ記録媒体に記録し直し、前記終了点で前記データ記録媒体の記録のし直しを終了するようにすることができる。

シーンチェンジを検出する検出手段をさらに備え、前記制御手段は、前記検出手段によりシーンチェンジが検出された場合、前記記録手段により前記設定情報が前記データ記録媒体に記録されていないときには記録を開始させると判断し、前記記録手段により前記設定情報が前記データ記録媒体に記録されているときには記録を終了させると判断するようにすることができる。

本発明の一側面の第２の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けた前記設定情報のデータ記録媒体への記録を制御する際、前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップとを含む。

本発明の一側面の第２の記録媒体は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けた前記設定情報のデータ記録媒体への記録を制御する際、前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップとを含む処理をコンピュータに実行させるプログラムを記録している。

本発明の一側面の第２のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記画像の特徴量に対応付けた前記設定情報のデータ記録媒体への記録を制御する際、前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面の第２の画像処理装置および方法、並びにプログラムにおいては、画像より特徴量が抽出され、画像に対して処理を加えるための設定情報が設定され、画像の特徴量に対応付けて設定情報がデータ記録媒体に記録され、設定情報がデータ記録媒体に記録するか否かが判断され、その判断に基づく記録の制御が行われる。

本発明の一側面の第３の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段と、前記画像に対する処理を指定するための操作をする操作手段と、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定手段と、前記操作情報を編集する編集手段と、前記画像の特徴量に対応付けて前記編集手段により編集された前記操作情報をデータ記録媒体に記録する記録手段を備える。

前記編集手段は、前記操作手段による操作が終了されるとき、その時点での第１の操作情報から、操作情報の標準とされている第２の操作情報まで徐々に変化するように、前記第１の操作情報から前記第２の操作情報の間の操作情報を編集するようにすることができる。

前記編集手段は、前記操作手段による操作が終了されるとき、その時点での第１の操作情報から、後の時点の操作情報であり、前記データ記録媒体に記録されている第２の操作情報に、徐々に変化するように、前記第１の操作情報から前記第２の操作情報の間の操作情報を編集するようにすることができる。

前記編集手段は、前記第１の操作情報から所定の値を減算または加算した第３の操作情報を、前記第１の操作情報に対応する画像の次の時点における画像の操作情報とし、前記第３の操作情報が前記第２の操作情報と所定の範囲内の操作情報ではないとき、前記第３の操作情報からさらに前記所定の値を減算または加算した第３の操作情報をさらに次の時点における画像の操作情報とし、前記第３の操作情報が前記第２の操作情報と所定の範囲内の操作情報になったとき、前記第３の操作情報を前記第２の操作情報とするようにすることができる。

前記編集手段は、前記操作情報と、その操作情報が取得されたときの画像と同一の画像から取得され、前記データ記録媒体に記録されている前記操作情報を加算するようにすることができる。

前記編集手段による編集の対象となる期間の開始または終了を指定するキーポイントを設定するキーポイント設定手段をさらに備え、前記編集手段は、前記キーポイント設定手段により設定された前記キーポイントのうち、隣接するキーポイント間で、一方のキーポイントの操作情報から他方のキーポイントの操作情報に徐々に変化するように編集するようにすることができる。

前記キーポイント設定手段は、前記記録手段による記録が行われる前の時点で前記キーポイントを設定するか、または、前記記録手段による記録が行われた後の時点で前記キーポイントを設定するようにすることができる。

本発明の一側面の第３の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対する処理を指定するための操作をする操作ステップと、前記操作ステップの処理での操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記操作情報を編集する編集ステップと、前記画像の特徴量に対応付けて前記編集ステップの処理により編集された前記操作情報のデータ記録媒体への記録を制御する記録制御ステップとを含む。

本発明の一側面の第３の記録媒体は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対する処理を指定するための操作をする操作ステップと、前記操作ステップの処理での操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記操作情報を編集する編集ステップと、前記画像の特徴量に対応付けて前記編集ステップの処理により編集された前記操作情報のデータ記録媒体への記録を制御する記録制御ステップとを含む処理をコンピュータに実行させるプログラムを記録している。

本発明の一側面の第３のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対する処理を指定するための操作をする操作ステップと、前記操作ステップの処理での操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記操作情報を編集する編集ステップと、前記画像の特徴量に対応付けて前記編集ステップの処理により編集された前記操作情報のデータ記録媒体への記録を制御する記録制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面の第３の画像処理装置および方法、並びにプログラムにおいては、画像より特徴量が抽出され、画像に対する処理を指定するための操作が行われ、その操作内容により、画像に対して処理を加えるための設定情報が設定され、操作情報が編集され、画像の特徴量に対応付けて編集された操作情報がデータ記録媒体に記録される。

本発明の一側面の第４の画像処理装置は、画像より特徴量を抽出する特徴量抽出手段と、前記画像に対する処理を指定するための操作をする操作手段と、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定手段と、前記画像の特徴量に対応付けて前記操作情報をデータ記録媒体に記録する記録手段と、前記記録手段により前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき前記記録手段による記録を制御する制御手段とを備える。

前記制御手段は、前記操作手段からの信号が取得されない期間が一定時間以上であると判断された場合、前記操作情報が前記データ記録媒体に記録されている対応する操作情報に近似する場合、または、前記操作情報が操作情報の標準とされている操作情報に近似する場合、前記記録手段により前記操作情報を前記データ記録媒体に記録しないと判断するようにすることができる。

前記記録手段による記録を開始させる開始点と、終了させる終了点を指定する指定手段をさらに備え、前記制御手段は、前記指定手段により指定された開始点から、前記記録手段により前記操作情報を前記データ記録媒体に記録すると判断し、前記指定手段により指定された終了点から、前記記録手段により前記操作情報を前記データ記録媒体に記録しないと判断するようにすることができる。

前記指定手段は、前記記録手段による記録が行われる前の時点で前記開始点と前記終了点を指定するようにすることができる。

前記記録手段は、一時的に、前記データ記録媒体に前記操作情報を記録し、前記指定手段は、前記記録手段による記録が行われた後、前記開始点と前記終了点を指定し、前記制御手段は、一時的に前記データ記録媒体に記録された前記操作情報を、前記開始点から前記データ記録媒体に記録し直し、前記終了点で前記データ記録媒体の記録のし直しを終了するようにすることができる。

シーンチェンジを検出する検出手段をさらに備え、前記制御手段は、前記検出手段によりシーンチェンジが検出された場合、前記記録手段により前記操作情報が前記データ記録媒体に記録されていないときには記録を開始させると判断し、前記記録手段により前記操作情報が前記データ記録媒体に記録されているときには記録を終了させると判断するようにすることができる。

本発明の一側面の第４の画像処理方法は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対する処理を指定するための操作をする操作ステップと、前記操作ステップの操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップとを含む。

本発明の一側面の第４の記録媒体は、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対する処理を指定するための操作をする操作ステップと、前記操作ステップの操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップとを含む処理をコンピュータに実行させるプログラムを記録している。

本発明の一側面の第４のプログラムは、画像より特徴量を抽出する特徴量抽出ステップと、前記画像に対する処理を指定するための操作をする操作ステップと、前記操作ステップの操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップとを含む処理をコンピュータに実行させる。

本発明の一側面の第４の画像処理装置および方法、並びにプログラムにおいては、画像より特徴量が抽出され、画像に対する処理を指定するための操作が行われ、その操作の操作内容により、画像に対して処理を加えるための設定情報が設定され、画像の特徴量に対応付けて操作情報がデータ記録媒体に記録され、操作情報をデータ記録媒体に記録するか否かの判断が行われ、その判断に基づき記録が制御される。

本発明の一側面によれば、画像に効果を与える設定値が急激に変化するようなことがないように制御することが可能となる。また、そのような制御された設定を記録することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の第１の画像処理装置（例えば、図１８の画像処理装置１３）は、画像より特徴量を抽出する特徴量抽出手段（例えば、図１８の特徴量抽出部４１）と、前記画像に対して処理を加えるための設定情報を設定する設定手段（例えば、図１８の設定情報決定部４６）と、前記設定手段により設定された前記設定情報を編集する編集手段（例えば、図１８の滑らか終了制御部２０１）と、前記画像の特徴量に対応付けて前記編集手段により編集された前記設定情報をデータ記録媒体に記録する記録手段（例えば、図１８の蓄積ブロック４３）とを備える。

本発明の一側面の第２の画像処理装置（例えば、図３７の画像処理装置１３）は、画像より特徴量を抽出する特徴量抽出手段（例えば、図３７の特徴量抽出部４１）と、前記画像に対して処理を加えるための設定情報を設定する設定手段（例えば、図３７の設定情報決定部４６）と、前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段（例えば、図３７の蓄積ブロック４３）と、前記記録手段により前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき前記記録手段による記録を制御する制御手段（例えば、図３７のトリガー部５０３）とを備える。

本発明の一側面の第３の画像処理装置（例えば、図１９の画像処理装置１３）は、画像より特徴量を抽出する特徴量抽出手段（例えば、図１９の特徴量抽出部４１）と、前記画像に対する処理を指定するための操作をする操作手段（例えば、図１９の操作情報認識部４５）と、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定手段（例えば、図１９の設定情報決定部１５３）と、前記操作情報を編集する編集手段（例えば、図１９の滑らか終了制御部２１１）と、前記画像の特徴量に対応付けて前記編集手段により編集された前記操作情報をデータ記録媒体に記録する記録手段例えば、図１９の蓄積ブロック１５１）とを備える。

本発明の一側面の第４の画像処理装置（例えば、図３８の画像処理装置１３）は、画像より特徴量を抽出する特徴量抽出手段（例えば、図３８の特徴量抽出部４１）と、前記画像に対する処理を指定するための操作をする操作手段例えば、図３８の操作情報認識部４５）と、前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定手段（例えば、図３８の設定情報決定部１５３）と、前記画像の特徴量に対応付けて前記操作情報をデータ記録媒体に記録する記録手段（例えば、図３８の蓄積ブロック１２１）と、前記記録手段により前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき前記記録手段による記録を制御する制御手段（例えば、図３８のトリガー部５１３）とを備える。

以下に、本発明の実施の形態について図面を参照して説明する。

まず、図３、図４を参照して、本発明を適用した画像処理装置の概念について説明する。本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。

記録モードでは、図３で示されるように、画像処理装置２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を表示部３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部３に表示させる。さらに、画像処理装置２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部４に蓄積させる。

次に、再生モードでは、図４で示されるように、画像処理装置２は、動画像を含むコンテンツが予め記録されている記録メディア１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置２は、操作履歴格納部４に特徴量に対応付けられて記録されている設定情報を、記録メディア１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部３に表示させる。

以上のような動作により、画像処理装置２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。

以下、図３、図４を参照して説明した画像処理装置２について詳細を説明する。

図５は、図３、図４の画像処理装置２に対応する画像処理装置１３の一実施の形態の構成を示した図である。

画像再生部１２は、図３、図４の記録メディア１に対応する記録メディア１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部４１および遅延部４８に供給する。

特徴量抽出部４１は、画像再生部１２より順次供給されてくる画像の特徴量を抽出して、同期検出部４２、および蓄積ブロック４３の特徴量設定情報記録部６１に供給する。なお、特徴量抽出部４１の構成については、図７を参照して詳細を後述する。

リモートコントローラ１４は、キーやボタンなどから構成され、図３、図４で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置１３の受光部４４に発光する。

受光部４４は、リモートコントローラ１４の発光パターンに基づいて、リモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。操作情報認識部４５は、受光部４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部４６に供給する。

設定情報決定部４６は、操作情報認識部４５より供給されてくる操作情報に基づいて、後述する反映部４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。

蓄積ブロック４３の特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量と、設定情報決定部４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部６２（図３、図４の操作履歴格納部４に対応するもの）に蓄積させる。

同期検出部４２は、特徴量設定情報蓄積部６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部４１より供給されてくる画像再生部１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部６３に供給する。なお、同期検出部４２の構成については、図９を参照して詳細を後述する。

特徴量設定情報読出部６３は、同期検出部４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部６２に記憶されている設定情報を読み出し、選択部４７に供給する。選択部４７は、設定情報決定部４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部６３より設定情報が供給されることがあっても、設定情報決定部４６からの設定情報を反映部４９に供給する。また、選択部４７は、設定情報決定部４６より設定情報の供給がなく、特徴量設定情報読出部６３より設定情報が供給された場合、特徴量設定情報読出部６３より供給された設定情報を反映部４９に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部４７は、設定情報を反映部４９に供給しない。

遅延部４８は、特徴量抽出部４１、同期検出部４２、蓄積ブロック４３、および、選択部４７の処理における遅延時間だけ、画像再生部１２より供給されてくる画像を一時的に記憶し、反映部４９に出力する。反映部４９は、選択部４７より設定情報が供給されてくる場合、遅延部４８より供給されてくる画像に対する処理を反映して、表示部１５に表示する。また、反映部４９は、選択部４７より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部１５に表示させる。

図６は、画像処理装置１３の他の実施の形態の構成を示す図である。図６に示した画像処理装置１３は、操作情報を設定情報の代わりに、特徴量に対応付けて記録するようにした場合の構成例を示している。なお、図６において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。

すなわち、特徴量抽出部４１、同期検出部４２、受光部４４、操作情報認識部４５、遅延部４８、および反映部４９については、図５の画像処理装置１３と同様である。図６の画像処理装置１３において、図５の画像処理装置１３と異なるのは、蓄積ブロック４３、設定情報決定部４６、および選択部４７に代えて蓄積ブロック１５１、設定情報決定部１５３、および選択部１５２が設けられている点である。

蓄積ブロック１５１は、操作情報認識部４５より供給されてくる操作情報を特徴量に対応付けて蓄積すると供に、蓄積された操作情報を再生中の画像の特徴量に対応付けて読み出し、選択部１５２に供給する。

蓄積ブロック１５１の特徴量操作情報記録部１６１は、特徴量抽出部４１より供給されてくる特徴量と、操作情報認識部４５より供給されてくる操作情報とを対応付けて特徴量操作情報蓄積部１６２に蓄積させる。

特徴量操作情報読出部１６３は、同期検出部４２より同期位置として検出された特徴量、すなわち、検索位置特徴量を取得すると、その特徴量に対応付けられて記憶されている操作情報を読み出し選択部１５２に供給する。選択部１５２は、操作情報認識部４５より操作情報が供給されてきた場合、仮に、特徴量操作情報読出部１６３より操作情報が供給されてきても、操作情報認識部４５より供給されてきた操作情報を設定情報決定部１５３に供給する。また、選択部１５２は、操作情報認識部４５より操作情報の供給がなく、特徴量操作情報読出部１６３より操作情報が供給された場合、特徴量操作情報読出部１６３より供給された操作情報を設定情報決定部１５３に供給する。さらに、いずれからも操作情報が供給されてこない場合、選択部１５２は、操作情報を設定情報決定部１５３に供給しない。

設定情報決定部１５３は、選択部１５２より供給されてくる操作情報に基づいて、反映部４９に対する画像への処理内容を指示するための設定情報を決定し、反映部４９に供給する。

図５に示した画像処理装置１３と図６に示した画像処理装置１３において、特徴量抽出部４１と同期検出部４２は、それぞれ同一のものを用いることができる。ここで、特徴量抽出部４１と同期検出部４２について説明を加える。

まず図７を参照して、特徴量抽出部４１の詳細な構成について説明する。

DFF（D型フリップフロップ）８１は、直前の入力信号を記憶して、図示せぬクロック信号発生器からのクロック信号（clk）が入力されるタイミングで加算器８２に出力する。また、DFF８１は、入力信号が画像の信号のうち画像データ領域外のものであるとき、リセット信号が入力され入力信号が消去されて出力される。すなわち、画像信号は、図８で示されるように同期データ領域と画像データ領域から構成されているため、図中の水平方向のサンプルと垂直方向のラインの丸印の原点であるフレーム開始点Ｓから順次入力されてくる位置の情報に応じて、画像データ領域外の同期データの場合、リセット信号が入力され、同期データを構成する信号が、加算器８２に出力されない。つまり、DFF８１は、画像を構成する入力信号のうち、画像データ領域のデータのみをクロック信号に同期して加算器８２に供給する。

加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号とを加算してDFF８３に出力する。より詳細には、加算器８２は、DFF８１より供給されてくる信号と、DFF８３より供給されてくる信号との加算結果のうち、下位８ビットを抽出してDFF８３に供給する。

DFF８３は、加算器８２より供給されてくる信号を図示せぬクロック発生器より発生されるクロック信号（clk）が入力されるタイミングで加算器８２および出力部８４に供給する。また、DFF８３は、フレーム開始点（図中の水平方向のサンプルと垂直方向のラインの丸印の原点）Ｓの信号が入力される際、リセット信号が入力され入力信号が消去されて出力される。すなわち、DFF８３は、画像を構成する入力信号のうち、画像データ領域のデータのみが加算器８２により累積的に加算された値を出力部８４に供給する。

出力部８４は、1フレーム（または、1フィールド）の値がDFF８３より供給されてきたとき、その値をフレーム（または、そのフィールド）分の画像の特徴量として出力する。すなわち、出力部８４は、画像データ領域のデータのみが加算器８２により累積的に加算された値の下位８ビットをそのフレーム（または、そのフィールド）の特徴量として出力する。なお、特徴量は、画像を１フレーム単位で識別できる情報であればよいので、画像データ領域のデータのみ（画素値のみ）が累積的に加算された値の下位８ビットに限るものではなく、例えば、画像データ領域の中央近傍の所定領域内の画素値のみの加算結果をそのまま使用してもよい。

次に、図９を参照して、同期検出部４２の詳細な構成について説明する。

特徴量バッファ１０１−１乃至１０１−３は、供給されてきた特徴量を一時的に記憶すると供に、それまでに記憶していた特徴量を再生位置特徴量生成部１０２および後段の特徴量バッファ１０１−２，１０１−３に順次出力する。なお、特徴量バッファ１０１−３は、後段の特徴量バッファ１０１が存在しないため、再生位置特徴量生成部１０２にのみ出力する。再生位置特徴量生成部１０２は、特徴量バッファ１０１−１乃至１０１−３より供給されてくる最新の特徴量を含めた過去３フレーム分の特徴量を順次取得し、これを纏めて再生位置情報（再生位置特徴量）として生成し、比較部１０３に出力する。すなわち、再生位置特徴量生成部１０２は、再生位置を特定するための特徴量として最新のフレームから３フレーム前までの合計４個の特徴量を使用して、再生位置特徴量を生成する。

検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量を連続する４個ずつを順次読み出し、検索位置特徴量として比較部１０３および検出部１０５に供給する。比較部１０３は、再生位置特徴量生成部１０２より供給されてくる再生位置特徴量と、検索位置特徴量読出部１０４より順次供給されてくる検索位置特徴量とを比較する。比較部１０３は、再生位置特徴量と一致する検索位置特徴量を検索した場合、同期が検出されたとみなし、検出結果として同期が検出されたことを検出部１０５に通知する。検出部１０５は、比較部１０３より同期が検出されたとみなされたタイミングで、検索位置特徴量読出部１０４より供給されてきた検索位置特徴量を同期検出結果として出力する。

次に、図５、図６に示した画像処理装置１３の動作について、図１０乃至図１４のフローチャートを参照して説明する。図５に示した画像処理装置１３と図６に示した画像処理装置１３は、基本的に同様の動作であるので、図１０乃至図１４のフローチャートを参照した説明では、図５に示した画像処理装置１３の動作を例に挙げて説明する。

画像処理装置１３は、入力された画像を処理するが、その処理対象となる画像は、例えば、記録メディア１１に記録されている画像である。例えば、画像再生部１２（図５）が記録メディア１１に記録されている画像を読み出し、遅延部４８は、供給されてきた画像を１フレーム分一時的に遅延させるために記憶する。なお、以降においては、画像を１フレーム単位で処理するものとして説明を進めるが、当然のことながら、画像は、１フレーム単位に限らず、例えば、１フィールド単位で処理するようにしても良い。

ステップＳ１１において、特徴量抽出部４１は、特徴量抽出処理を実行し、画像再生部１２より供給されてきた１フレーム分の画像の特徴量を抽出する。すなわち、遅延部４８が、新たな画像を１フレーム分遅延させるために一時的に記憶するとき、同様に、１フレーム分の画像が特徴量抽出部４１にも供給されているため、同一のタイミングで、同一の画像が、一方では遅延のため一時的に記憶され、他方では特徴量が抽出される。

図１１のフローチャートを参照し、ステップＳ１１において特徴量抽出部４１により実行される特徴量抽出処理について説明する。

ステップＳ３１において、DFF８３は、フレーム開始点Ｓ（図8）によりリセットされる。

ステップＳ３２において、未処理の画素が選択され、ステップＳ３３において、画像データ領域外であるか否かが判定される。より詳細には、例えば、ラスタスキャン順に１フレーム分の画像より未処理の画素が順次読み出され、画像データ領域外であるか否かが判定される。

図８で示されるように、最初の画素（フレーム開始点Ｓの画素）の場合、同期データに含まれるため画像データ領域外であるので、ステップＳ３５において、DFF８１はリセットされ、０を画素値として出力する。一方、ラスタスキャン順に処理対象となる画素が選択され、例えば、画像データ領域内である場合、ステップＳ３４において、DFF８１は、クロック信号の発生タイミングで画素値を加算器８２に供給する。

ステップＳ３６において、加算器８２は、入力された画素値と、DFF８３より供給されてくる信号とを加算してDFF８３に供給する。ステップＳ３７において、DFF８３は、クロック信号の発生タイミングで加算器８２より供給されてきた加算結果の下位８ビットを加算器８２に戻す。このとき、DFF８３は、加算結果を出力部８４にも供給するが、出力部８４は、加算結果を出力しない。

ステップＳ３８において、未処理の画素があるか否かが判定され、未処理の画素がある場合、その処理は、ステップＳ３２に戻る。すなわち、１フレーム分の画素が全て処理されるまで、ステップＳ３２乃至Ｓ３８の処理が繰り返される。そして、１フレーム分の画素の全てが処理されたと判定された場合、ステップＳ３９において、出力部８４は、DFF８３より供給されてくる加算結果、すなわち、画像データ領域に属する画素値の累積加算結果の下位８ビットを１フレームの画像の特徴量として出力する。

以上の処理により、１フレーム分の画像信号より画像データ領域の全ての画素値の累積加算結果の下位８ビットが、そのフレームの特徴量として抽出されることになる。

ここで、図１０のフローチャートの説明に戻る。

ステップＳ１１において特徴量抽出部４１により特徴量抽出処理が実行されると、ステップＳ１２において、記録中フラグが立っているか否かが判断される。記録中フラグとは、操作情報や設定情報（設定値）を記録するための処理が実行されているときに立てられるフラグである。

記録中フラグが立っているか否かの判断は、特徴量設定情報記録部６１が判断する。ステップＳ１２において、記録中フラグが立っていると判断された場合、ステップＳ１６に処理が進められ、記録中フラグは立っていないと判断された場合、ステップＳ１３に処理が進められる。

ステップＳ１３において、同期に係わる処理が実行される。ここで、図１２のフローチャートを参照して、同期に係わる処理について説明する。同期に係わる処理としては、同期の検出に係わる処理（同期検出処理）と、同期検出処理結果に依存する設定値の設定に係わる処理とに分けられる。ステップＳ５１が同期検出処理であり、ステップＳ５２乃至Ｓ５６が設定値の設定に係わる処理である。

ステップＳ５１において同期検出部４２（図９）において実行される同期検出処理につて、図１３のフローチャートを参照して説明する。同期検出部４２は、ステップＳ５１における同期検出処理を実行することにより、再生中の画像の特徴量と、画像に処理を施すための設定情報が対応付けられている特徴量との同期を検出する。

ステップＳ７１において、同期検出部４２の再生位置特徴量生成部１０２は、特徴量抽出部４１より特徴量が供給されてきたか否かを判定し、供給されてくるまでその処理を繰り返す。例えば、ステップＳ３の特徴量抽出処理により特徴量が抽出されて、特徴量抽出部４１より今現在再生中の画像の特徴量が供給されてきた場合、その処理は、ステップＳ７２に進む。

ステップＳ７２において、検索位置特徴量読出部１０４は、検索位置の特徴量をカウントするためのカウンタｉを０に初期化する。

ステップＳ７３において、再生位置特徴量生成部１０２は、供給されてきた特徴量を取得すると供に、特徴量バッファ１０１−１乃至１０１−３にそれまで記憶していた特徴量を取得する。すなわち、特徴量バッファ１０１−１は、新たに特徴量が供給されてくると、それまでに記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−２に供給する。

同様に、特徴量バッファ１０１−２は、供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２および特徴量バッファ１０１−３に供給する。さらに、特徴量バッファ１０１−３は、特徴量バッファ１０１−２より供給されてきた特徴量を記憶すると供に、それまで記憶していた特徴量を、再生位置特徴量生成部１０２に供給する。結果として、再生位置特徴量生成部１０２には、最新のフレームの特徴量と、特徴量バッファ１０１−１乃至１０１−３にそれぞれ記憶されていた過去３フレーム分の特徴量が供給されてくることになる。そこで、再生位置特徴量生成部１０２は、再生中のフレームを含めた４フレーム分の特徴量を再生位置特徴量として比較部１０３に供給する。

ステップＳ７４において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量を検索位置特徴量として読み出し比較部１０３および検出部１０５に供給する。

ステップＳ７５において、比較部１０３は、再生位置特徴量生成部１０２より供給されてきた再生中のフレームを含む過去３フレーム分の合計４個の特徴量からなる再生位置特徴量と、検索位置特徴量読出部１０４より供給されてきた、特徴量設定情報蓄積部６２に蓄積されている特徴量の先頭位置からｉ番目より連続する４フレームの特徴量からなる検索位置特徴量とを比較する。

ステップＳ７６において、比較部１０３は、比較結果に基づいて一致しているか否かを判定する。ステップＳ７６において、例えば、一致しないと判定された場合、ステップＳ７８において、検索位置特徴量読出部１０４は、特徴量設定情報蓄積部６２に蓄積されている全ての特徴量について、再生位置特徴量と比較したか否かを判定する。例えば、ステップＳ７８において、全ての特徴量と比較していないと判定された場合、ステップＳ７９において、検索位置特徴量読出部１０４は、カウンタｉを１インクリメントし、その処理は、ステップＳ７４に戻る。すなわち、この処理により、再生位置特徴量と、検索位置特徴量が一致せず、かつ、蓄積されている全ての特徴量と比較されるまで、ステップＳ７４乃至Ｓ７６，Ｓ７８，Ｓ７９の処理が繰り返され、順次１フレーム間隔でずれながら、連続する４フレーム分の特徴量からなる検索位置特徴量と、再生位置特徴量との比較が繰り返される。

すなわち、検索位置特徴量とは、例えば、図１５の右上部で示されるように、特徴量抽出部４１より順次蓄積されている特徴量のうち、今の場合、連続する４個の特徴量の塊である。なお、図１５においては、図中の縦長の長方形状のマスは、１フレーム分の特徴量を示しており、斜線部のＧ１，Ｇ２は同一の連続する特徴量が配置されていることを示している。また、再生位置特徴量とは、図１５の右下部で示されているように、特徴量抽出部４１より供給されてくる再生中の特徴量を含めた連続する４フレーム分の特徴量の塊である。

例えば、図１５で示されるように再生位置特徴量Ｇ２で示されるような場合、検索位置特徴量Ｇ０と比較する場合、同一ではないので、同期位置としては検出されない。さらに、蓄積されている全ての特徴量との比較がされていないので、カウンタｉが１インクリメントされて、検索位置特徴量Ｇ０’と再生位置特徴量Ｇ２とが比較される。このように、検索位置特徴量が図中の右方向に１フレーム間隔でずれながら、再生位置特徴量Ｇ２との比較が繰り返される。

ステップＳ７６において、例えば、再生位置特徴量Ｇ２と検索位置特徴量Ｇ１とが比較されるような場合、検索位置特徴量Ｇ１が再生位置特徴量Ｇ２と同一の構成となっているため、一致したと判定され、ステップＳ７７において、比較部１０３は、一致したことを検出部１０５に通知する。検出部１０５は、この通知に基づいて、今現在検索位置特徴量読出部１０４より供給されている検索位置特徴量の先頭位置、すなわち、先頭位置からｉ番目の特徴量を同期位置情報として特徴量設定情報読出部６３に供給する。

一方、ステップＳ７８において、蓄積されている全ての検索位置特徴量との比較が終了したと判定された場合、ステップＳ８０において、検出部１０５は、再生位置特徴量と一致する検索位置特徴量が存在せず、同期しないことを出力する。

以上の処理により、特徴量設定情報蓄積部６２に蓄積されている特徴量と、再生中の画像の特徴量とを同期させることが可能となる。すなわち、同期検出部４２は、再生中のフレームの特徴量のみを、特徴量設定情報蓄積部６２に蓄積されている特徴量と比較することで、偶然に特徴量が一致してしまうことで、間違った位置で同期が検出される可能性を低減させるために、現在再生されているフレームの特徴量のみではなく、再生されているフレームを含む過去３フレーム分の４フレームで比較することにより正確に同期検出を実施している。また、このように特徴量を使用することにより、各フレーム単位でのタイムコードの代わりに特徴量を設定することが可能となり、タイムコードを使用することなく、フレーム単位での同期検出を行うことが可能となる。

図１２の同期に係わる処理のフローチャートの説明に戻り、ステップＳ５１において、同期検出処理が実行されると、ステップＳ５２において、特徴量設定情報読出部６３は、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。例えば、図１３のフローチャートのステップＳ７７の処理により同期位置情報が供給されてきた場合、再生中のフレームの再生位置特徴量と、一致する特徴量が特徴量設定情報蓄積部６２に蓄積されていることになるので、その処理は、ステップＳ５３に進む。

ステップＳ５３において、特徴量設定情報読出部６３は、同期した特徴量に対応付けられた設定情報が特徴量設定情報蓄積部６２に蓄積されているか否かを判定する。すなわち、特徴量は、設定情報がない状態でも特徴量設定情報蓄積部６２に蓄積することが可能であるので、この処理により、特徴量に対応付けられた設定情報の有無が判定される。

ステップＳ５３において、例えば、特徴量に対応付けられた設定情報が蓄積されていないと判定された場合、ステップＳ５４において、標準値が設定値に設定される。標準値とは、何の操作もされていないときに設定される値であり、基準となる値である。

ステップＳ５４において、標準値が設定値として設定されると、ステップＳ５５において、設定された設定値を、画像に反映させるための処理が実行される。このように、標準値が設定値（設定情報）に設定されるときには、特徴量設定情報読出部６３は、選択部４７に対して設定情報を供給しない状況である。この処理により、選択部４７は、設定情報決定部４６および特徴量設定情報読出部６３のいずれからも設定情報の供給がない状態となるため、反映部４９に対して処理を指定する設定情報が供給されないことになる。結果として、反映部４９は、遅延部４８に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

一方、ステップＳ５３において、例えば、特徴量に対応付けられた設定情報が蓄積されていると判定された場合、ステップＳ５６において、蓄積されていると判断されている設定情報、すなわち設定値が読み出される。

このように、設定値が読み出されたときも、その設定値を画像に反映させるための処理がステップＳ５５において行われる。すなわち、このような場合、特徴量設定情報読出部６３は、特徴量設定情報蓄積部６２より、同期位置情報の特徴量に対応付けて蓄積されている設定情報を読み出し選択部４７に供給する。そして、今の場合、選択部４７には、設定情報決定部４６からは設定情報がなく、特徴量設定情報読出部６３から設定情報が供給されるため、特徴量設定情報読出部６３からの設定情報が反映部４９に供給され、その設定情報に基づいて遅延部４８に蓄積されていた１フレーム分の画像に処理が反映されて、表示部１５に表示される。

このように、同期が行われたときには、設定値が反映された画像を、使用者側に提供するための処理が実行される。

ここで、図１０のフローチャートに説明を戻す。

ステップＳ１３において、上記したような同期に係わる処理が実行されると、ステップＳ１４において、操作情報認識部４５は、リモートコントローラ１４が使用者により操作されて、画像の処理が指示されたか否かを判定する。例えば、表示部１５に表示されている画像を見ながら、使用者が、２倍のズーム処理を指示した場合、リモートコントローラ１４の発光パターンが受光部４４により受光され、受光部４４より受光した発光パターンに基づいた信号が、操作情報認識部４５に供給されることにより、操作情報認識部４５は、操作がなされたと判定し、その処理は、ステップＳ１５に進む。

ステップＳ１５において、記録中フラグが立てられる。ステップＳ１５に処理が来るときには、ステップＳ１２において、記録中フラグは立っていないと判断されており、また、ステップＳ１４において、使用者による操作がされたと判断されたときであるので、操作情報や設定情報の記録を開始する必要がある。そこで、ステップＳ１５において、記録中フラグが立てられる。

ステップＳ１５において、記録中フラグが立てられると、ステップＳ１６に処理が進められ、操作時の処理が実行される。ステップＳ１６には、ステップＳ１２において、記録中フラグが立っていると判断されたときにも来る。すなわち、ステップＳ１６の処理は、記録中フラグが立っているときに行われる処理である。よって、ステップＳ１２において、記録中フラグは立っていないと判断され、ステップＳ１４において、使用者により操作はされていないと判断されたときには、操作情報や設定情報を記録する必要がないため、ステップＳ１６の処理は実行されない。

ステップＳ１６において実行される操作時の処理について、図１４のフローチャートを参照して説明する。ステップＳ９１において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果を設定情報決定部４６に供給する。

ステップＳ９２において、記録が終了したか否かが判断される。ステップＳ９１において取得された操作情報が、記録の終了を示すものである場合がある。換言すれば、使用者による操作が終了され、使用者が終了ボタンを操作することにより生成された信号が、受光部４４により受信されると、操作情報として、記録の終了（操作の終了）が指示されたと認識される。

ステップＳ９２において、記録は終了していないと判断された場合、ステップＳ９３に処理が進められる。すなわち、継続して記録が行われている（継続して操作が行われている）と判断された場合、ステップＳ９３において、設定内容を設定値に反映するための処理が実行される。

設定情報決定部４６は、ステップＳ９３において、操作情報に基づいて、反映部４９に対して画像に処理を施すための設定情報を決定し、特徴量設定情報記録部６１および選択部４７に供給する。すなわち、例えば２倍のズーム処理を画像に施すことが指示された場合、反映部４９に対して２倍のズーム処理を施す指示を出すための設定情報が決定されて、特徴量設定情報記録部６１および選択部４７に供給される。

ステップＳ９４において、特徴量設定情報記録部６１は、特徴量抽出部４１より供給されてくる特徴量を特徴量設定情報蓄積部６２に記録させると共に、その特徴量に対応付けて、設定情報決定部４６より供給されてくる設定情報を、特徴量設定情報蓄積部６２に記録させることで、特徴量と設定情報とを蓄積させる。より詳細には、図１６で示されるように、特徴量Ｃ１を所定のアドレスＡに記録させた場合、そのm倍のアドレス、すなわち、アドレスｍ×Ａに、特徴量Ｃ１に対応付けられた設定情報Ｅ１を記憶させる。なお、図１６においては、特徴量設定情報蓄積部６２の内部における特徴量と設定情報とが記憶されるアドレスの配置が示されている。

以降、特徴量設定情報記録部６１は、同様にして、特徴量Ｃ２をアドレスＢに記憶させるとき、対応する設定情報Ｅ２をｍ×Ｂに記憶させ、さらに、特徴量Ｃ３をアドレスＣに記憶させるとき、対応する設定情報Ｅ３をｍ×Ｃに記憶させる。このように特徴量に対応付けて設定情報を記憶させることにより、特徴量が決まれば、特徴量のアドレスから設定情報のアドレスが特定できるので、設定情報蓄積部６２内における特徴量毎の設定情報の検索をスムーズにすることが可能となる。なお、特徴量および設定情報は、同一の処理が連続して指定されている期間について連続して記録される。すなわち、例えば、図１６における特徴量Ｃ１乃至Ｃ３は、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の特徴量が連続的に記録されている。また、同様にして、設定情報についても、例えば、図１６における設定情報Ｅ１乃至Ｅ３は、特徴量Ｃ１乃至Ｃ３に対応付けられたアドレスから、いずれも１フレーム分の特徴量に限るものではなく、連続して処理が指定されている期間のフレーム数の設定情報が連続的に記録されている。

ステップＳ９５において、選択部４７は、設定情報決定部４６より設定情報が供給されてきているので、設定情報決定部４６より供給されてきた設定情報を反映部４９に供給する。反映部４９は、遅延部４８に記憶されている画像に対して、選択部４７より供給されてきた設定情報に基づいて、処理を加えて、使用者からの指示内容に応じた処理を反映させて表示部１５に表示させる。

一方、ステップＳ９２において、記録が終了したと判断された場合、ステップＳ９６に処理が進められる。ステップＳ９６において、標準値が設定値に設定される。そして、ステップＳ９７において、設定された設定値を反映するための処理が実行される。すなわちこの場合、設定値が標準値であるので、特徴量設定情報読出部６３は、選択部４７に対して設定情報を供給しない状況である。この処理により、選択部４７は、設定情報決定部４６および特徴量設定情報読出部６３のいずれからも設定情報の供給がない状態となるため、反映部４９に対して処理を指定する設定情報が供給されないことになる。結果として、反映部４９は、遅延部４８に一時的に記憶された１フレーム分の画像を、そのままの状態で表示部１５に表示させる。

ステップＳ９８において、記録中フラグが下げられる。記録中フラグが下げられることにより、設定の記録が終了される。

このように、使用者によりリモートコントローラ１４が操作されて、画像に対して処理を施す指示が出され続けている限り、ステップＳ９１乃至Ｓ９５の処理が繰り返されて、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部６２に蓄積されていく。このステップＳ９１乃至Ｓ９５が繰り返される動作状態が、図１、図２を参照して説明した記録モードに対応する動作である。

図１０のフローチャートの説明に戻る。ステップＳ１６において、操作時の処理が終了されると、画像処理は終了される。上記したように、図１０に示したフローチャートの処理は、入力されるフレーム毎に行われる。よって、新たなフレームが入力されると、そのフレームに対して、図１０に示したフローチャートの処理が実行される。よって、上記したように、使用者によりリモートコントローラ１４が操作されて、画像に対して処理を施す指示が出され続けている限り、特徴量と共に、特徴量に対応付けられて、処理内容に伴った設定情報が特徴量設定情報蓄積部６２に蓄積される。

［滑らか終了機能]
図５または図６に示した画像処理装置１３において、上記したような処理が行われることにより、記録メディア１１に記録されている画像（映像）に対して編集を複数回加え、記録することができ、また、記録メディア１１に記録されている編集が複数回加えられている画像（映像）を再生することができる。

しかしながら、例えば、図１や図２を参照して説明したように、記録の終了時点で、編集の内容により設定値が急激に変化するような場合があるが、そのような場合には、例えば、急にズーム率が変化するなどの再生が行われることになり、使用者にみづらい映像が提供される可能性がある。そこで、設定値が急激に変化するようなことがないような記録を行う画像処理装置１３について説明する。以下の説明においては、設定値が急激に変化しないようにするための制御を行う機能を、滑らか終了機能と記述する。

ここで、滑らか終了機能について、図１７Ａ乃至図１７Ｃを参照して説明を加える。図１７Ａは、１回目の操作とその操作で記録される設定値との関係を示し、図１７Ｂは、２回目の操作とその操作で記録される設定値との関係を示し、図１７Ｃは、２回目の操作の結果、記録される設定値を示している。また、図１７Ａと図１７Ｂに示した枠内の図において、各枠内の１段目は、設定値を示し、２段目は、操作結果を示す。なお、図１７Ａ乃至図１７Ｃの記載は、図２Ａ乃至図２Ｃの記載と合わせてあり、従来の記録の仕方と、滑らか終了機能による記録の仕方との違い分かるように記載してある。

１回目の操作は、リモートコントローラ１４から、図１７Ａの２段目に示すような操作信号が出された場合、図１７Ａの１段目に示すような設定値の記録が行われる。設定値は、リモートコントローラ１４での操作量を積分した値とされる。また、図１７Ａや図１７Ｂにおいて、プラス操作とは、例えば、画像の拡大を指示する操作であり、マイナス操作とは、画像の縮小を指示する操作である。

例えば、操作開始時点Ｔ１から時点Ｔ１１まではプラスの操作が行われたため（２段目参照）、その値が積分された値が設定値として記録されるため、記録される設定値は、徐々に値が大きくなるようなグラフとなる（１段目参照）。その後、時点Ｔ１１から時点Ｔ１２までは、マイナス操作が行われたため、その設定値は、徐々に小さくなるようなグラフとなる。時点Ｔ１２の後もプラス操作とマイナス操作が行われ、その操作に応じた設定値が記録される。

そして、時点Ｔ１４に、コントローラの操作終了ボタン（記録終了の機能を有するボタン）が操作されると、設定値の記録も終了されるが、設定値が標準値にすぐに戻されるのではなく、時点Ｔ２まで、徐々に設定値が小さくなるように滑らか終了機能により制御され、記録される。このように操作が行われ、徐々に標準値に設定値が戻されるように制御された結果、図１７Ａの１段目に示したような設定値が記録される。

なお、標準値とは、設定値の基準となる値であり、標準値を含む設定情報を、適宜、標準とされる設定情報と記載する。

次に、図１７Ｂの２段目に示したように、１回目の操作が行われたコンテンツに対して、時点Ｔ３から時点Ｔ２１までプラス操作が行われ、時点Ｔ２１から時点Ｔ４まで、マイナス操作が行われた場合、時点Ｔ３から時点Ｔ４までの間に記録される設定値は、図１７Ｂの１段目に示したようになる。

２回目の操作の場合、１回目の操作の時点Ｔ３のときに記録されていた設定値から、操作量に応じた設定値が順次積分された値が加算される。また、時点Ｔ４において、操作が終了されると、１回目の操作の時点Ｔ４のときに記録されていた設定値（設定値Ａとする）まで、設定値が戻されるが、設置値Ａに戻される際、滑らか終了機能により、時点Ｔ４から時点Ｔ２２の間で徐々に設定値Ａに戻される。

このような修正が行われると、図１７Ｂの１段目に実線で示したような設定値が記憶されることになる（実線で示した設定値に記録が修正されることになる）。すなわち、２回目の操作が行われた結果、設定値として記録される波形は、図１７Ｃに示したような波形となる。

図２Ｃと図１７Ｃを参照するに、図２Ｃにおいて、時点Ｔ４や時点Ｔ２において、急激に設定値が変化しているのに対し、図１７Ｃにおいては、時点Ｔ４から時点Ｔ２２、時点Ｔ１４から時点Ｔ２まで徐々に設定値が変化していることがわかる。

このように、滑らか終了機能によれば、修正が終了された後、徐々に設定値が変更され、設定値が急激に変化することがないように制御される。

図１８は、図５に示した画像処理装置１３に、滑らか終了機能を追加した構成例を示し、図１９は、図６に示した画像処理装置１３に、滑らか終了機能を追加した構成例を示している。

図１８において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図１８に示した画像処理装置１３は、滑らか機能に関する処理を実行する滑らか終了制御部２０１を、図５に示した画像処理装置１３に追加した構成とされている。

滑らか終了制御部２０１は、設定情報決定部４６と設定情報の授受を行う。また、滑らか終了制御部２０１からの情報は、特徴量設定情報記録部６１と選択部４７にそれぞれ供給される。

入力操作を設定情報決定部４６で設定情報に変換した結果は、滑らか終了制御部２０１に入力される。入力操作が終了を指示するとき以外のときには、滑らか終了制御部２０１ は、設定情報決定部４６からの入力をそのまま出力するが、入力操作が終了を指示するときには、特徴量設定情報蓄積部６２に蓄積されている一連の入力操作の最後の値と、特徴量設定情報蓄積部６２からの出力を補間した設定情報を生成する。その生成された設定情報は、選択部４７を介して反映部４９に供給され、反映部４９により映像出力に反映されると共に、特徴量設定情報記録部６１に入力されて特徴量設定情報蓄積部６２に記録される。

また、滑らか終了制御部２０１は、特徴量設定情報蓄積部６２から出力される設定情報が切替わるとき、例えば、図１７Ａ乃至Ｃを参照して説明したように、２回目の操作が終了し、１回目の操作により設定値に設定情報が戻されるようなときにも、その記録されている設定情報同士を滑らかにつなぐ処理を行う。

図１９において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図１９に示した画像処理装置１３は、滑らか機能に関する処理を実行する滑らか終了制御部２１１を、図６に示した画像処理装置１３に追加した構成とされている。滑らか終了制御部２１１は、設定情報決定部１５３と設定情報を授受する構成とされている。

滑らか終了制御部２１１は、設定情報決定部１５３による設定情報が不連続になるときに、設定情報を補間して、設定値が滑らかに変化するように制御する。

次に、図１８、図１９に示した画像処理装置１３の動作について、図２０乃至図２３のフローチャートを参照して説明する。図１８に示した画像処理装置１３と図１９に示した画像処理装置１３は、基本的に同様の動作であるので、図２０乃至図２３のフローチャートを参照した説明では、図１８に示した画像処理装置１３の動作を例に挙げて説明する。

図２０を参照して図１８に示した画像処理装置１３が行う画像処理について説明するが、基本的に、図５に示した画像処理装置１３と同様な処理の流れであり、図１０に示したフローチャートの処理に基づき行われる。すなわち、ステップＳ２０１乃至Ｓ２０６の各ステップにおける処理は、図１０に示したフローチャートのステップＳ１１乃至Ｓ１６と基本的に同様に行われる。よってここでは、その詳細な説明は既にしたので省略し、異なる処理を含むステップに関して説明を加える。

ステップＳ２０１において、特徴量抽出部４１において特徴量抽出処理が行われるが、この特徴量抽出処理は、図１１に示したフローチャートに基づき行われる。

ステップＳ２０２において、記録中フラグが立っているか否かが判断され、記録中フラグは立っていないと判断された場合、ステップＳ２０３に処理が進められる。ステップＳ２０３において、同期に係わる処理が実行される。ステップＳ２０３における同期に係わる処理について図２１のフローチャートを参照して説明する。

図２１のフローチャートの処理は、図１２のフローチャートの処理と基本的に同様であるが、ステップＳ２３５における処理が追加された流れとされている点が異なる。すなわち、ステップＳ２３４において、標準値が設定値に設定された後、または、ステップＳ２３７において、特徴量設定情報蓄積部６２に蓄積されている設定情報（設定値）が読み出された後、ステップＳ２３５において、滑らか終了処理が実行され、ステップＳ２３６において、滑らか終了処理が施された設定値を反映するための処理が実行される。

ステップＳ２３５において実行される滑らか終了処理について、図２２のフローチャートを参照して説明する。図２２のフローチャートの処理は、滑らか終了制御部２０１で行われる。ステップＳ２５１において、滑らか終了フラグが立っているか否かが判断される。滑らか終了フラグとは、滑らか終了機能を実行すべきとき、すなわち、この場合、使用者から編集の終了が指示されたときに立たされるフラグである。

ステップＳ２５１において、滑らか終了フラグは立っていないと判断された場合、滑らか終了処理を実行する必要はないので、滑らか終了処理は終了される。

一方、ステップＳ２５１において、滑らか終了フラグが立っていると判断された場合、ステップＳ２５２に処理が進められる。ステップＳ２５２において、前フレームの設定値と新しい設定値の間の値が、設定値として設定される。前フレームの設定値とは、この処理が実行されているフレームに対して、前の時点で、図２０の処理が実行されたフレームであり、特徴量が特徴量設定情報蓄積部６２に蓄積されているフレームである。また、新しい設定値とは、現在の処理対象とされているフレームのことであり、そのフレームの設定値は、ステップＳ２３４またはステップＳ２３７（図２１）で設定された値である。

ステップＳ２５２における処理は、前のフレームの設定値と現在のフレームの設定値との間の数値に設定され、例えば、前のフレームの設定値の方が現在のフレームの設定値よりも大きい値の場合、前のフレームの設定値から所定の値を減算した値が設定値とされる。また例えば、前のフレームの設定値の方が現在のフレームの設定値よりも小さい値の場合、前のフレームの設定値に所定の値を加算した値が設定値とされる。このように、前のフレームの設定値に所定の値を加算または減算することにより、現フレームの設定値が設定される。

ステップＳ２５３において、前フレームの設定値と現フレームの設定値が一致したか否かが判断される。なお、前フレームの設定値と現フレームの設定値が、完全に一致するか否かではなく、前フレームの設定値と現フレームの設定値との差分が、所定の範囲内であるか否かが判断されるようにしても良い。

ステップＳ２５３において、前フレームの設定値と現フレームの設定値は一致していないと判断された場合、ステップＳ２５４の処理はスキップされ、処理対象とされているフレームに対する滑らか終了処理は終了される。一方、ステップＳ２５３において、前フレームの設定値と現フレームの設定値が一致していると判断された場合、ステップＳ２５４において、滑らか終了フラグが下げられる。

滑らか終了フラグが立っている間は、ステップＳ２５２の処理がフレーム毎に実行されるため、フレーム毎に徐々に値が、前の操作のときに記録された設定値に近づいていくため、急激に設定値が変化するようなことを防ぐことが可能となる。このことを、図２４を参照して説明する。

フレームＦ１のとき操作が終了され、そのときに設定されたフレームＦ１の設定値が設定値Ｒ１である場合、次のフレームＦ２では、従来では、フレームＦ２の設定値として記録されていた設定値Ｒ１２に設定値が戻されることになる。しかしながら、滑らか終了処理（特に、ステップＳ２５２）の処理により、フレームＦ２の設定値は、設定値Ｒ１と設定値Ｒ１２との間にある設定値Ｒ２と設定される。この設定値Ｒ２は、設定値Ｒ１より所定の値だけ、減算された値である。

フレームＦ３の設定値は、設定値Ｒ２から所定の値だけ減算された値である設定値Ｒ３が設定される。同じようにしてフレームＦ４の設定値は、設定値Ｒ４と設定され、フレームＦ５の設定値は、設定値Ｒ５と設定される。

フレームＦ５の設定値として設定された設定値Ｒ５と記録されていた設定値Ｒ１５の差分は、所定の範囲内になったため、次のフレームＦ６の設定値Ｒ６は、フレームＦ６の設定値として記録されていた設定値Ｒ１６にされる。このように、徐々に設定値が記録されていた値（前の操作で設定された値）に近づけられるため、急激に設定値が変化するようなことを防ぐことが可能となる。

図２１のフローチャートの説明に戻り、ステップＳ２３５において、上記したような滑ら終了処理が実行されると、ステップＳ２３６において、設定値を反映する処理が実行される。このようにして、同期に係わる処理が終了されると、ステップＳ２０４（図２０）に処理が進められる。

ステップＳ２０４において、使用者により操作（編集）されたか否かが判断され、操作されたと判断された場合、ステップＳ２０５において、記録中フラグが立てられる。そして、ステップＳ２０６において、操作時の処理が実行される。ステップＳ２０６において実行される操作時の処理について、図２３のフローチャートを参照して説明する。

図２３のステップＳ２７１乃至Ｓ２７８の処理は、図１４のステップＳ９１乃至Ｓ９８の処理と同様であるので、その説明は省略する。ステップＳ２７９において、滑らか終了フラグが立てられる。ステップＳ２７９に処理が進められるのは、ステップＳ２７２において、記録が終了されたと判断されたときである。また、記録が終了されたと判断されるのは、使用者により操作終了ボタンなどの操作の終了を指示するためのボタンが操作されたときである。

使用者により操作の終了（編集の終了）が指示された場合、上記したように、従来なら、既に記録されている設定値に戻されるが、そのようにすると、設定値が急激に変化することがあり、急激に画像が変化することがある。そのようなことを防ぐために、滑らか終了処理が実行されるとして説明した。そして、滑らか終了処理は、滑らか終了フラグが立てられているときに行われる。よって、使用者により操作の終了が指示されたときには、ステップＳ２７９の処理として、滑らか終了フラグが立てられる。

滑らか終了フラグが立てられることにより、上記したように、ステップＳ２５１（図２２）の処理で滑らか終了フラグが立っていると判断され、ステップＳ２５２，Ｓ２５３の処理が実行され、徐々に設定値が既に記録されていた設定値に近づくような処理が実行される。

このように、滑らか終了処理が実行されることにより、複数回の編集などにより、設定値が急激に変化してしまい、画像に急激な変化が現れるようなことを防ぐことが可能となる。

［操作の自動終了機能について]
次に、操作の自動終了機能について説明する。なお“操作の自動終了”の“自動”とは、使用者の手を煩わすことなく、換言すれば、使用者が操作（編集）の終了を指示しなくても、終了に関する処理が実行されることを意味する。

図２５Ａ乃至Ｃを参照し、操作の自動終了機能について説明する。図２５Ａは、１回目の操作とその操作で記録される設定値との関係を示し、図２５Ｂは、２回目の操作とその操作で記録される設定値との関係を示し、図２５Ｃは、２回目の操作の結果、記録される設定値を示している。また、図２５Ａと図２５Ｂに示した枠内の図において、各枠内の１段目は、設定値を示し、２段目は、操作結果を示す。

１回目の操作において、時点Ｔ１から時点Ｔ２までのコンテンツに対して操作が加えられた場合、時点Ｔ１から時点Ｔ２までの設定値が記録される。時点Ｔ１から時点Ｔ１１まではプラス操作が行われ、時点Ｔ１１から時点Ｔ１２まではマイナス操作が行われ、時点Ｔ１２から時点Ｔ１３まではプラス操作が行われ、時点Ｔ１３から時点Ｔ１４まではマイナス操作が行われた結果、図２５Ａの上段に示したような設定値が記録される。

そして、時点Ｔ１４から時点Ｔ２まで、使用者からの操作がなかった場合、すなわち、無操作期間が時点Ｔ１４から時点Ｔ２まであり、その無操作期間が所定の時間以上である場合、使用者の終了の指示によらず、設定値が標準値に徐々に戻される。

１回目の操作で、このような設定値が記録された後、図２５Ｂに示すような２回目の操作が行われた場合、図２５Ｃに示したような設定値が記録される。すなわち、２回目の操作として、図２５Ｂの下段に示したように、時点Ｔ３から時点Ｔ２１までプラス操作が行われ、時点Ｔ２１から時点Ｔ４までマイナス操作が行われ、その後、操作が行われなかった。そして、時点Ｔ４から時点Ｔ２２までの無操作期間が所定の時間以上である場合、使用者の終了の指示によらず、記録されていた設定値に徐々に戻される処理が実行される。

このように、使用者の終了の指示がないときであっても、使用者からの操作が、所定の期間だけなかった場合、設定値が徐々に設定すべき値に戻される。

このように、操作の自動終了機能によれば、修正が終了されたと判断されるとき、使用者の指示がなくても、徐々に設定値が変更され、設定値が急激に変化することがないように制御される。

図２６は、図５に示した画像処理装置１３に、操作の自動終了機能を追加した構成例を示し、図２７は、図６に示した画像処理装置１３に、操作の自動機能を追加した構成例を示している。

図２６において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図２６に示した画像処理装置１３は、操作の自動終了機能に関する処理を実行する操作自動終了制御部３０１を、図５に示した画像処理装置１３に追加した構成とされている。

操作自動終了制御部３０１は、設定情報決定部４６、蓄積ブロック４３、および、選択部４７と、それぞれデータの授受を行える構成とされる。

図２７において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図２７に示した画像処理装置１３は、操作の自動終了機能に関する処理を実行する操作自動終了制御部３１１を、図６に示した画像処理装置１３に追加した構成とされている。

操作自動終了制御部３1１は、蓄積ブロック１５１、および、選択部１５２と、それぞれデータの授受を行える構成とされる。

次に、図２６に示した画像処理装置１３が行う画像処理について、図２８乃至図３０のフローチャートを参照して説明する。

ステップＳ３０１において、特徴量抽出処理が行われる。このステップＳ３０１において実行される特徴量抽出処理は、図１１のフローチャートに基づく処理であり、図１１のフローチャートを参照した説明は既にしたので、ここではその説明を省略する。

ステップＳ３０２において、同期に係わる処理が実行される。このステップＳ３０２において実行される同期に係わる処理について、図２９のフローチャートを参照して説明する。ステップＳ３２１乃至Ｓ３２５の処理は、図１２のフローチャートのステップＳ５１乃至Ｓ５４，Ｓ５６の処理と同様であるので、その説明は省略する。すなわちこの場合、設定を反映するという処理が同期に係わる処理に含まれない処理の流れとされている。

同期が行われた後、設定値が反映される前に、図２８のフローチャートの捨てPPPＳ３０３に処理が進められ、ステップＳ３０３において、記録中フラグが立っているか否かが判断される。上述した、例えば、滑らか終了機能に関する説明で参照した図２０のフローチャートを、再度参照するに、ステップＳ２０２において、記録中フラグが立っているか否かが判断され、ステップＳ２０３において同期に係わる処理が実行された。

図２８に示したフローチャートの処理の流れと、既に説明した図２０のフローチャートの処理の流れを比較すると、記録中フラグが立っているか否か、換言すれば、設定値の記録が行われている状態であるか否かを判断する処理と、同期に係わる処理との順が入れ換えられた処理の流れとされている点が異なる。

このように、同期に係わる処理を記録中フラグが立っているか否かを判断する前に行うことで、換言すれば、記録中フラグが立っているか否かにかかわらず、同期に係わる処理を実行することで、記録を行わずに再生を行った場合の設定値を取得することが可能となる。

ステップＳ３０３において、記録中フラグは立っていないと判断された場合、ステップＳ３０４に処理が進められ、読み込んだ設定値を反映するための処理が実行される。この場合、記録中フラグが立っていなくても、同期に係わる処理がステップＳ３０２において実行されているため、ステップＳ３２４またはステップＳ３２５（図２９）において設定値が設定されている。その設定されている設定値を画像に反映するための処理が実行される。

そして、ステップＳ３０５において、使用者による操作がされたか否かが判断され、操作がされたと判断された場合、ステップＳ３０６において、記録中フラグが立てられ、ステップＳ３０７において、操作時の処理が実行される。図３０のフローチャートを参照してステップＳ３０７における操作時の処理について説明する。

ステップＳ３４１において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部４６に供給する。ステップＳ３４２において、ステップＳ３４１において取得された操作情報が、記録の終了を示すコマンドであるか否かが判断される。

ステップＳ３４２において、操作情報は、記録終了コマンドではないと判断された場合、ステップＳ３４３に処理が進められ、記録終了コマンドであると判断された場合、ステップＳ３４７に処理が進められる。

ステップＳ３４３において、自動終了条件が満たされているか否かが判断される。自動終了条件とは、例えば、図２５Ａ乃至図２５Ｃを参照して説明したように、使用者からの操作がなかった期間（無操作期間）が、所定の期間以上になったという条件である。このような条件が設定されている場合、操作自動終了制御部３０１（図２６）は、設定情報決定部４６から供給される設定値が、同一である時間を計測し、その計測時間が無操作期間に設定されている時間以上になったか否かを判断（同一の設定情報が所定の時間だけ継続しているか否かを判断）することにより、自動終了条件を満たしているか否かを判断する。

また、使用者の操作中にその操作に対応する設定値と記録されている設定値との差が所定の範囲内のときなどを条件としても良い。このような条件が設定されている場合、操作自動終了制御部３０１（図２６）は、設定情報決定部４６から供給される設定値と、特徴量設定情報蓄積部６２から読み出される設定値との差分が所定の範囲内のとき、自動終了条件を満たしていると判断する。

勿論、複数の自動終了条件を設定し、設定された複数の条件の全てや、複数の条件のうちの幾つかの条件が満たされたときに、自動終了条件が満たされたと判断されるようにしても良い。

操作自動終了制御部３１１（図２７）も基本的に同様に自動終了条件が満たされたか否かを判断するが、その判断は、操作情報認識部４５から供給される使用者からの操作情報と、特徴量操作情報蓄積部１６２に蓄積されている操作情報が用いられて行われる。

このようにして、ステップＳ３４３において、自動終了条件が満たされたと判断された場合、ステップＳ３４７に処理が進められ、自動終了条件は満たされていないと判断された場合、ステップＳ３４４に処理が進められる。

すなわちこの場合、使用者により記録の終了が指示された場合、または自動終了条件が満たされた場合は、ステップＳ３４７に処理が進められ、同一の処理が行われることになる。よって、使用者が終了の指示をしなくても、終了の指示をした場合と同様の処理が行われることになり、使用者の手を煩わすことなく、操作の終了を行うことが可能となる。

ステップＳ３４４乃至Ｓ３４９の各処理は、図１４のフローチャートのステップＳ９３乃至Ｓ９８と同様の処理なので、その説明は省略する。

このようにして、自動的に、処理が終了される。

なお、設定値は、１つの設定値だけでなく、複数の設定値が関連して１つの状態を表すことがあるが、複数の設定値が関連するような場合、関連している全ての設定値が既存の操作履歴、または標準値に近づいたときのみ、自動終了条件が満たされたと判断されるようにする。例えば、ズームの場合、ズーム率、ズーム中心の水平座標、垂直座標の３つのパラメータが全て既存の操作履歴の設定値または標準値に近づいたときのみ、自動終了条件が満たされたと判断される。

［加算編集機能ついて]
ところで、編集としては、さまざまな編集がある。例えば、ズームに関する編集や手振れ補正に関する編集など、編集の目的が異なれば、編集対象も異なる。このように、さまざまな編集があるので、例えば、１回目の編集では手振れ補正に関する編集を行い、２回目の編集ではズームに関する編集を行うといった状況も考えられる。

このように、１回目の編集と２回目の編集とで編集目的が異なるような場合、問題が発生する可能性がある。問題点について、図３１Ａ、図３１Ｂと図３２Ａ、図３２Ｂを参照して説明する。図３１Ａ、図３１Ｂは、従来の記録方式により問題が発生する場合を説明するための図であり、図３２Ａ、図３２Ｂは、従来の記録方式で発生する可能性のある問題を解決するための記録方式（本実施の形態）について説明するための図である。

図３１Ａには、１回目の操作、例えば、手振れ補正に関する操作により記録された設定値の変化を示している。このような設定値が記録されているコンテンツに対して、図３１Ｂの上段に示したような操作、例えば、使用者の好みのズームポイントにさらにズームするような操作が行われると、その操作による設定値に、１回目の操作で記録された設定値が、上書きされる。すなわち、図３１Ｂの下段の点線で示した設定値が、実線で示した設定値に上書きされる。

このように、設定値が上書きされるということは、基の設定値がキャンセルされてしまうことを意味する。この場合、１回目の手振れ補正に関する操作の結果は、２回目のズームに関する操作の結果により、キャンセルされてしまうことになる。

そこで、以下に説明する本実施の形態においては、図３２Ａ、図３２Ｂに示すように設定値が設定され、記録されるようにする。図３２Ａは、図３１Ａと同じく１回目の操作、例えば、手ぶれ補正に関する操作により記録された設定値を示している。図３２Ｂは、２回目の操作と、その２回目の操作による設定値を示している。

図３２Ｂの上段は、図３１Ｂの上段と同じく、２回目の操作、例えば、使用者の好みのズームポイントにさらにズームするような操作が行われた場合の操作情報を示している。図３２Ｂの下段は、以下に説明する加算編集機能による処理が実行された結果記録される設定値を示している。

図３２Ｂの下段に示したように、加算編集機能により、１回目の設定値に２回目の操作に対応する設定値が加算された値が、新たな設定値として記録される。図３２Ｂの下段の点線で示した1回目の操作による設定値に、2回目の操作の設定値が加算されることにより、図３２Ｂの下段の実線で示した設定値が、記録される。

このように、前回の設定値に次の設定値を加算することに、前回の設定値がキャンセルされるようなことがなく、前回の操作による効果を継続させることが可能となる。

このような加算編集機能を有する画像処理装置１３の構成について説明する。図３３は、図５に示した画像処理装置１３に、加算編集機能を追加した構成例を示し、図３４は、図６に示した画像処理装置１３に、加算編集機能を追加した構成例を示している。

図３３において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図３３に示した画像処理装置１３は、加算編集機能に関する処理を実行する設定値加算部４０１を、図５に示した画像処理装置１３に追加した構成とされている。

設定値加算部４０１は、設定情報決定部４６により決定された、その時点での設定値と、既に記録されている設定値とを加算し、新たな設定値を生成する。設定値加算部４０１により生成された設定値は、特徴量設定情報蓄積部６２に蓄積されるとともに、選択部４７にも供給される。

図３４において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図３４に示した画像処理装置１３は、図６に示した画像処理装置１３と比較すると、加算編集機能に関する処理を設定情報決定部４１１が行う構成とされ、選択部１５２が削除された構成とされている。

設定情報決定部４１１は、操作情報認識部４５により認識された、その時点での操作情報と、既に記録されている操作情報とを加算し、新たな操作情報を生成する。設定情報決定部４１１により生成され設定情報は、特徴量操作情報蓄積部１６２に蓄積されるとともに、反映部４９にも供給される。

次に、図３３、図３４に示した画像処理装置１３の動作について、図３５のフローチャートを参照して説明する。図３３に示した画像処理装置１３と図３４に示した画像処理装置１３は、基本的に同様の動作であるので、図３５のフローチャートを参照した説明では、図１３示した画像処理装置１３の動作を例に挙げて説明する。

図３３に示した画像処理装置１３が行う画像処理は、図１０に示したフローチャートに基づき行われる。図１０に示したフローチャートの処理については既に説明したので、異なる処理を含む処理だけ説明を加える。

異なる処理を含むステップは、ステップＳ１６の操作時の処理である。図３５を参照し、操作時の処理について説明する。ステップＳ４１１において、操作情報認識部４５は、受光部４４より供給された信号に基づいて、操作情報を認識し、認識結果として設定情報決定部４６に供給する。ステップＳ４１２において、ステップＳ４１１において取得された操作情報が、記録の終了を示すコマンドであるか否かが判断される。

ステップＳ４１２において、操作情報は、記録終了コマンドではないと判断された場合、ステップＳ４１３に処理が進められ、記録終了コマンドであると判断された場合、ステップＳ４１６に処理が進められる。

ステップＳ４１３において、読み込まれた設定値に、使用者による操作に対応する設定値が加算される。特徴設定情報読出部６３は、特徴量設定情報蓄積部６２に蓄積されている設定値を読み出し、設定値加算部４０１に供給する。設定情報決定部４６は、操作情報認識部４５から供給される操作情報に基づく設定値を生成し、設定値加算部４０１に供給する。

このような処理が行われることにより、設定値加算部４０１には、特徴量設定情報蓄積部６２に蓄積されていた設定値と、使用者の操作による新たな設定値が供給される。設定値加算部４０１は、供給された２つの設定値を加算し、新たな設定値を生成する。このようにして生成された設定値は、ステップＳ１４において、同期情報と共に特徴量設定情報蓄積部６２に書き込まれる。

また、設定値加算部４０１からの設定値は、選択部４７にも供給され、選択部４７を介して反映部４９にも供給される。ステップＳ４１５において、反映部４９は、供給された設定値を画像に反映するための処理を実行する。

一方、ステップＳ４１２において、使用者からの指示内容は、記録終了コマンドであると判断された場合、ステップＳ４１６において、読み込まれた設定値を設定値として設定する。すなわち、この場合、特徴量設定情報蓄積部６２に蓄積されている設定値が読み出され、処理対象とされているフレームの設定値とされる。設定された設定値を画像に反映する処理が、ステップＳ４１７において行われる。

そして、ステップＳ４１８において、記録中フラグが下げられることにより、設定値の記録の処理が終了される。

このような処理は、基本的に、図１４のフローチャートを参照して説明した操作時の処理と同様であるが、ステップＳ４１３において設定される設定値が、既に記録されている設定値に加算される点が異なる。このように、使用者による操作に対応した新たな設定値が、既存の設定値に加算されることにより生成された設定値を記録するようにすることで、既存の設定値による画像への効果がキャンセルされることなく、新たな効果を追加することが可能となる。

［範囲指定（先指定）記録について]
次に、設定値を記録するコンテンツの範囲を予め設定し、その設定された範囲内で行われた操作に対応する設定値が記録される場合について説明する。または、コンテンツに対して操作が行われ、その操作に対応する設定値が記録された後、実際に設定値を記録する範囲を設定する場合について説明する。まず、図３６Ａ乃至図３６Ｃを参照して、設定値を記録する範囲の設定と、その設定された範囲内における設定値の記録について説明する。

図３６Ａに示したように、１回目の操作として使用者により、記録を開始する開始点Ｔ１が設定され、記録を終了する終了点Ｔ２が設定される。

図３６Ｂの下段に示したような操作が、２回目の操作として行われたことにより、図３６Ｂの上段に示したような設定値が記録される。すなわち、この場合、時点Ｔ１１から時点Ｔ１（開始点Ｔ１）までは、プラスの操作が行われ、時点Ｔ１から時点Ｔ１２まではマイナスの操作が行われ、時点Ｔ１２から時点Ｔ１３まではプラスの操作が行われ、時点Ｔ１３から時点Ｔ２（終了点Ｔ２）まではマイナスの操作がされた場合、図３６Ｂの上段に示したような設定値が記録される。ただし、この記録は、一時的な記録であり、最終的に記録される設定値ではない。

最終的に記録される設定値は、図３６Ｃに示したようになる。すなわち、時点Ｔ１１から開始点Ｔ１までの間の設定値は、記録されず、開始点Ｔ１から終了点Ｔ２までの間の設定値のみが記録される。

図３６Ａ乃至図３６Ｃを参照して説明したのは、操作を行う前に範囲が設定される場合である。操作が行われた後、範囲が設定される場合、図３６Ｂに示した操作が１回目の操作として行われ、その後、図３６Ａに示した操作が２回目の操作として行われる。

このように、設定された範囲内の設定値のみが記録されることにより、以下のような利点がある。すなわち、従来の設定の記録方式では、図１や図２を参照して説明したように、操作開始点から記録が開始されてしまうため、記録の先頭の設定値は標準値に設定されてしまい、その後の操作にかかわらず、標準値から連続的に変化される設定値しか設定できなかった。しかしながら、本実施の形態のように、開始点を設定することにより、図３６Ｃに示したように、記録の開始時点の設定値を標準値以外に設定することが可能となり、その標準値ではない設定値から、連続的に設定値を変化させることができるようになる。

また、従来の記録方式では、設定値の記録を終了させる際、使用者は、操作しながら記録を終了させる機能を有する終了ボタンを操作する必要があったため、使用者が記録を終了させたい位置で操作を止めるのが難しかった。しかしながら、本実施の形態のように、終了点を設定することにより、使用者は所望の終了ポイントを、操作しながら終了ボタンを操作するといったことなく設定できるようになり、確実に所望の終了点を設定することが可能となる。

このような記録範囲の設定を行う画像処理装置１３の構成について説明する。まず、操作の前に記録の範囲を設定する画像処理装置１３について説明を加える。

図３７は、図５に示した画像処理装置１３に、記録範囲指定機能を追加した構成例を示し、図３８は、図６に示した画像処理装置１３に、記録範囲指定機能を追加した構成例を示している。

図３７において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図３７に示した画像処理装置１３は、記録範囲指定機能に関する処理を実行する範囲指定部５０１、範囲記録部５０２、および、トリガー部５０３を、図５に示した画像処理装置１３に追加した構成とされている。

範囲指定部５０１は、操作情報認識部４５からの操作情報に基づき、すなわち、使用者の指示に基づき、設定値の記録を開始する開始点と、設定値の記録を終了する終了点との指定（設定）に係わる処理を実行する。

範囲記録部５０２は、範囲指定部５０１により指定された開始点と終了点の、それぞれの同期用特徴量を、蓄積ブロック４３の特徴量設定情報蓄積部６２から読み出し、記録する。トリガー部５０３は、範囲記録部５０２に記録されている同期用特徴量と、特徴量設定情報蓄積部６２に蓄積されている同期用特徴量を比較し、蓄積ブロック４３に対して、同期用特徴量や設定情報の記録の開始と終了を指示する。

図３８において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図３８に示した画像処理装置１３は、図６に示した画像処理装置１３と比較すると、記録範囲指定機能に関する処理を実行する範囲指定部５１１、範囲記録部５１２、および、トリガー部５１３を、図６に示した画像処理装置１３に追加した構成とされている。

図３８に示した画像処理装置１３の構成では、操作情報認識部４５からの操作情報は、直接、範囲指定部５１１に入力されるように構成されている。範囲指定部５１１は、入力された操作情報を解析し、設定値の記録を開始する開始点と、設定値の記録を終了する終了点との指定（設定）に係わる処理を実行する。

範囲記録部５１２は、範囲指定部５１１により指定された開始点と終了点の、それぞれの同期用特徴量を、蓄積ブロック１５１の特徴量操作情報蓄積部１６２から読み出し、記録する。トリガー部５１３は、範囲記録部５１２に記録されている同期用特徴量と、特徴量操作情報蓄積部１６２に蓄積されている同期用特徴量を比較し、蓄積ブロック１５１に対して、同期用特徴量や操作情報の記録の開始と終了を指示する。

次に、図３７、図３８に示した画像処理装置１３の動作について、図３９乃至図４２のフローチャートを参照して説明する。図３７に示した画像処理装置１３と図３８に示した画像処理装置１３は、基本的に同様の動作であるので、図３９乃至図４２のフローチャートを参照した説明では、図３７に示した画像処理装置１３の動作を例に挙げて説明する。

図３９のフローチャートを参照し、設定値を記録する範囲を指定する際の処理を説明する。

ステップＳ５０１において、特徴量抽出処理が実行される。このステップＳ５０１における特徴量抽出処理は、既に説明した図１１のフローチャートの処理の流れに基づいて行われるため、ここでは説明を省略する。

ステップＳ５０２において、開始点が指定されたか否かが判断される。範囲指定部５０１は、操作情報認識部４５により認識された操作情報を解析し、使用者の操作は、開始点を指定する操作であったか否かを判断する。開始点は、動画像を構成するフレームのうちの、使用者が指示したフレーム（またはフィールド）である。よって、ステップＳ５０２における処理は、設定値の記録を開始するフレームが指示されたか否かが判断される処理である。

ステップＳ５０２において、開始点が指示されたと判断された場合、ステップＳ５０３に処理が進められ、開始点の特徴量が記録される。範囲指定部５０１は、開始点が指示されたと判断した場合、その時点でのフレームから抽出された特徴量（同期用特徴量）（ステップＳ５０１において抽出された特徴量）を、範囲記録部５０２に記録させる。範囲記録部５０２に開始点の特徴量が記録されると、ステップＳ５０１に処理が戻され、次のフレームに対して、同様の処理が繰り返される。

一方、ステップＳ５０２において、開始点は指定されていないと判断された場合、ステップＳ５０４に処理が進められ、終了点が指定されたか否かが判断される。範囲指定部５０１は、操作情報認識部４５により認識された操作情報を解析し、使用者の操作は、終了点を指定する操作であったか否かを判断する。終了点も、開始点と同様に、所定のフレームまたはフィールドである。

ステップＳ５０４において、終了が指定されたと判断された場合、ステップＳ５０５において、終了点の特徴量が記録される。範囲指定部５０１は、終了点が指示されたと判断した場合、その時点でのフレームから抽出された特徴量（同期用特徴量）（ステップＳ５０１において抽出された特徴量）を、範囲記録部５０２に記録させる。範囲記録部５０２に終了点の特徴量が記録されると、ステップＳ５０１に処理が戻され、次のフレームに対して、同様の処理が繰り返される。

一方、ステップＳ５０４において、終了点は指定されていないと判断された場合、ステップＳ５０６に処理が進められる。ステップＳ５０６において、範囲指定の設定が終了されたか否かが判断される。ステップＳ５０６において、範囲指定の設定は終了されていないと判断された場合、ステップＳ５０１に処理が戻され、次のフレームに対して、同様の処理が繰り返される。

なお、ステップＳ５０６において、設定が終了されたか否かの判断は、使用者による設定終了の指示があったか否かが判断されることにより行われるようにしても良いし、終了点の指定が行われた時点で、設定の終了も指示されたと判断されるようにしても良い。また、コンテンツの最後のフレームまで処理が行われたときには、その最後のフレームが終了点として指定されるようにし、設定が終了されたと判断されるようにしても良い。

一方、ステップＳ５０６において、記録範囲の設定は終了されたと判断された場合、ステップＳ５０７に処理が進められる。ステップＳ５０７において、開始点と終了点が指定済であるか否かが判断される。この判断は、範囲記録部５０２に、開始点の特徴量と終了点の特徴量が記録されているか否かを確認することにより行われる。

ステップＳ５０７において、開始点と終了点は指定済では無いと判断された場合、ステップＳ５０１に処理が戻され、次のフレームに対して同様の処理が繰り返される。なおこの場合、ステップＳ５０６において、設定は終了されたと判断されたときであるので、基本的には、開始点と終了点は指定済である。しかしながら、例えば、使用者の操作ミスなどにより、終了点が指定されていないのに、設定が終了されたと判断されるときがあることを想定し、そのようなときには、そのようなことを使用者に認識させるための、例えば、“終了点の指定がされていません”といったようなメッセージが、使用者に提示されるような処理が行われるようにしても良い。

このようにして、設定情報を記録する範囲の設定が行われる。次に、記録範囲の設定が終了された後に、その範囲内で設定値が記録されるようにするための処理について、図４０のフローチャートを参照して説明する。

ステップＳ５２１において、特徴量抽出処理が実行される。このステップＳ５２１における特徴量抽出処理は、既に説明した図１１のフローチャートの処理の流れに基づいて行われるため、ここでは説明を省略する。

ステップＳ５２２において、トリガー処理が行われる。ステップＳ５２２において実行されるトリガー処理について、図４１のフローチャートを参照して説明する。トリガー処理は、トリガー部５０３により行われる。

ステップＳ５４１において、トリガー部５０３は、開始点であるか否かを判断する。トリガー部５０３は、範囲記録部５０２に記録されている開始点の特徴量と、その時点で処理されているフレームの特徴量を比較し、一致すれば、開始点であると判断する。ステップＳ５４１において、開始点であると判断された場合、ステップＳ５４２に処理が進められる。ステップＳ５４２において、設定値の記録を指示するための記録中フラグが立てられる。この記録中フラグが立ててられている間は、特徴量設定情報蓄積部６２に、特徴量や設定値が記録（蓄積）される。記録中フラグが立てられると、トリガー処理は終了され、ステップＳ５２３（図４０）に処理が進められる。

一方、ステップＳ５４３において、開始点ではないと判断された場合、ステップＳ５４３に処理が進められ、終了点であるか否かが判断される。ステップＳ５４３における終了点であるか否かの判断も、開始点であるか否かの判断と同様に行われる。ステップＳ５４３において、終了点であると判断されると、ステップＳ５４４に処理が進められる。ステップＳ５４４において、設定値の記録を指示するために立てられていた記録中フラグが下げられる。この記録中フラグが下げられることにより、特徴量設定情報蓄積部６２への設定値の記録（蓄積）が終了される。記録中フラグが下げられると、トリガー処理は終了され、ステップＳ５２３（図４０）に処理が進められる。

一方、ステップＳ５４３において、終了点ではないと判断された場合、トリガー処理は終了され、ステップＳ５２３（図４０）に処理が進められる。

このように、トリガー部５０３は、開始点と指定されたフレームから、設定値の記録を開始するように、蓄積ブロック４３に指示を出し、終了点と指定されたフレームで、設定値の記録が終了されるように、蓄積ブロック４３に指示を出す。

図４０のフローチャートの説明に戻り、ステップＳ５２３において、操作時の処理が実行される。図４２のフローチャートを参照し、ステップＳ５２３において実行される操作時の処理について説明する。

ステップＳ５６１において、操作情報が取得される。ステップＳ５６２において、取得された操作情報が設定値に反映される。ステップＳ５６３において、記録中フラグが立っているか否かが判断される。記録中フラグが立っているときは、設定値の記録が行われるため、ステップＳ５６３において、記録中フラグが立っていると判断された場合、ステップＳ５６４に処理が進められ、設定値と同期情報が特徴量設定情報蓄積部６２に書き込まれる。

特徴量設定情報蓄積部６２に設定値と同期情報が書き込まれるとともに、ステップＳ５６５において、画像への設定値の反映の処理が行われる。

一方、ステップＳ５６３において、記録中フラグは立っていないと判断された場合、ステップＳ５６４の処理はスキップされ、ステップＳ５６５に処理が進められる。ステップＳ５６５において、設定値が反映される。ステップＳ５６３からステップＳ５６５に処理が進められたときには、設定値の記録は行われないが、画像への設定値の反映は行われる。

このように、予め設定された開始点から終了点まで、設定値などが記録される。

この実施の形態においては、操作の前に記録範囲を設定する場合を例に挙げて説明したが、操作の後に記録範囲を設定することも可能であり、そのような場合について次に説明する。

［範囲指定（後指定）記録について]
図４３は、図５に示した画像処理装置１３に、記録範囲指定機能を追加した構成例を示し、図４４は、図６に示した画像処理装置１３に、記録範囲指定機能を追加した構成例を示している。

図４３において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図４３に示した画像処理装置１３は、記録範囲指定機能に関する処理を実行する範囲指定部６０１、トリガー部６０２、一時蓄積ブロック６０３、および同期検出部６０４を、図５に示した画像処理装置１３に追加した構成とされている。

また、一時蓄積ブロック６０３は、特徴量設定情報記録部６１１、特徴量設定情報蓄積部６１２、および特徴量設定情報読出部６１３を備える構成とされている。すなわち、一時蓄積ブロック６０３は、蓄積ブロック４３と同様の構成とされている。この場合、一旦操作が行われ、設定値（同期情報）が記録された後、記録範囲が指定されるため、一時的に設定情報を記録しておく必要があり、その記録を、一時蓄積ブロック６０３が行う。

範囲指定部６０１は、操作情報認識部４５からの操作情報に基づき、すなわち、使用者の指示に基づき、設定値の記録を開始する開始点と、設定値の記録を終了する終了点との指定（設定）に係わる処理を実行する。トリガー部６０２は、範囲指定部６０１により指定された開始点、または、終了点に応じて、蓄積ブロック４３に対して、同期用特徴量の記録の開始と終了を指示する。

一時蓄積ブロック６０３の各部は、蓄積ブロック４３と同様の構成とされ、記録の範囲を指定される前に行われた設定値や同期情報の記録に係わる処理を実行する。また、同期検出部６０４は、同期検出部４２と同様に、同期を検出し、その同期に関する情報を特徴量設定情報読出部６１３に供給し、特徴量設定情報蓄積部６１２から同期するのに必要な設定情報の供給をうける。

図４４において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図４４に示した画像処理装置１３は、図６に示した画像処理装置１３に、記録範囲指定機能に関する処理を実行する範囲指定部６４１、トリガー部６４２、一時蓄積ブロック６４３、および同期検出部６４４を追加した構成とされている。

また、一時蓄積ブロック６４３は、特徴量操作情報記録部６５１、特徴量操作情報蓄積部６５２、および特徴量操作情報読出部６５３を備える構成とされている。すなわち、一時蓄積ブロック６４３は、蓄積ブロック１５１と同様の構成とされている。この場合、一旦操作が行われ、操作情報が記録された後、記録範囲が指定されるため、一時的に操作情報を記録しておく必要があり、その記録を、一時蓄積ブロック６４３が行う。

範囲指定部６４１は、操作情報認識部４５からの操作情報に基づき、すなわち、使用者の指示に基づき、設定値の記録を開始する開始点と、操作情報の記録を終了する終了点との指定（設定）に係わる処理を実行する。トリガー部６４２は、範囲指定部６４１により指定された開始点、または、終了点に応じて、蓄積ブロック１５１に対して、同期用操作情報の記録の開始と終了を指示する。

一時蓄積ブロック６４３の各部は、蓄積部録１５１と同様の構成とされ、記録の範囲を指定される前に行われた操作情報の記録に係わる処理を実行する。また、同期検出部６４４は、同期検出部４２と同様に、同期を検出し、その検出された同期に関する情報を特徴量操作情報読出部６５３に供給し、同期を検出するために特徴量操作情報蓄積部６５２から操作情報の供給をうける。

次に、図４３、図４４に示した画像処理装置１３の動作について、図４５のフローチャートを参照して説明する。図４３に示した画像処理装置１３と図４４に示した画像処理装置１３は、基本的に同様の動作であるので、図４５のフローチャートを参照した説明では、図４３に示した画像処理装置１３の動作を例に挙げて説明する。

図４５のフローチャートを参照し、設定情報（設定値）を記録する範囲を指定する際の処理に説明する。この場合、記録の範囲が設定される前の時点で、使用者による編集が終了されており、設定情報が一時蓄積ブロック６０３に記録されている状態である。設定情報の記録は、上記した他の実施の形態と同様に行うことが可能である。例えば、設定情報は、図１０のフローチャートを参照して説明した処理の流れに基づいて記録される。ここでは、設定情報の記録については既に説明したので、その説明は省略し、設定情報が記録された後に行われる、記録の範囲の指定に係わる処理について、図４５のフローチャートを参照して説明する。

ステップＳ６０１において、特徴量抽出処理が実行される。使用者は、記録する範囲を設定するために、操作を加えたコンテンツを再度再生する。再生されたコンテンツ（フレーム）から特徴量が、特徴量抽出部４１により抽出され、同期検出部６０４に供給される。ステップＳ６０１において実行される特徴量抽出処理は、図１１のフローチャートを参照して説明した場合と同様であるので、その説明は省略する。

ステップＳ６０２において、同期検出部６０４は、同期に係わる処理を実行する。このステップＳ６０２において実行される同期に係わる処理は、図１２のフローチャートを参照して説明した場合と同様に行われるので、その説明は省略する。ただし、同期検出部６０４は、特徴量抽出部４１により抽出された特徴量と、特徴量設定情報蓄積部６１２に蓄積されている特徴量を比較することにより同期を検出する。

ステップＳ６０３において、使用者が記録開始の操作をしたか否かが判断される。範囲指定部６０１は、操作情報認識部４５からの操作情報を解析し、記録の開始を指示する操作であるか否かを判断する。ステップＳ６０３において、記録の開始を指示する操作であると判断された場合、ステップＳ６０４に処理が進められ、記録中フラグが立てられる。

記録中フラグが立てられている間は、後述するように、特徴量設定情報蓄積部６１２に蓄積されている設定値などの設定情報が、蓄積ブロック４３に供給され、特徴量設定情報蓄積部６２に蓄積される。換言すれば、使用者の操作が行われたことにより、一時蓄積ブロック６０３に蓄積されていた設定情報が、蓄積ブロック４３にコピーされる。

ステップＳ６０４において記録中フラグが立てられるか、または、ステップＳ６０３において、記録開始の操作はされていないと判断された場合、ステップＳ６０５に処理が進められる。

ステップＳ６０５において、記録中フラグは立っているか否かが判断される。ステップＳ６０５において、記録中フラグが立っていると判断された場合、ステップＳ６０６に処理が進められ、記録中フラグは立っていないと判断された場合、ステップＳ６０１に処理が戻され、それ以降の処理が繰り返される。

ステップＳ６０６において、使用者が記録終了の操作をしたか否かが判断される。範囲指定部６０１は、記録開始の指示がされたか否かを判断するときと同様に、操作情報認識部４５からの操作情報を解析し、記録の終了を指示する操作であるか否かを判断する。ステップＳ６０６において、記録の終了を指示する操作ではないと判断された場合、ステップＳ６０７に処理が進められる。

ステップＳ６０７において、設定情報が書き込まれる。この書き込みは、上記したように、一時蓄積ブロック６０３の特徴量設定情報蓄積部６１２に、一時的に蓄積された設定情報が読み出され、蓄積ブロック４３の特徴量設定情報蓄積部６２にコピーされることにより行われる。ステップＳ６０７における処理が終了されると、ステップＳ６０１に処理が戻され、それ以降の処理が繰り返される。

一方、ステップＳ６０６において、記録終了の操作がされたと判断された場合、ステップＳ６０８に処理が進められ、立てられていた記録中フラグが下げられる。記録中フラグが下げられることにより、設定情報などの記録（コピー）が終了される。

このように、操作（編集）が行われたコンテンツのうち、編集を残す部分、すなわち、設定情報を記録する範囲を指定することが可能となる。

このように、設定情報などを記録する範囲を指定することで、記録の開始時には、設定値を標準値以外にも設定することができ、より効果的な自由度の高い編集を行うことが可能となる。また、記録の終了時も、使用者は記録を終了させるための操作を、編集のための操作と同時に行わなくても良いため、より的確に、終了させたいポイント（フレーム）で終了させることが可能となる。

［シーンチェンジ検出による記録について]
次に、コンテンツの内容の変化、すなわち、シーンの変化を検出し、シーンに変化があったときに、設定情報などが記録される場合について説明する。まず、図４６Ａ乃至Ｃを参照して、シーンチェンジの検出と検出されたときの設定値の記録について説明する。

図４６Ａに示したように、シーンチェンジ検出部（図４７、図４８に記載）により、検出点Ｔ１乃至Ｔ４が、シーンチェンジがあった時点として検出されたとする。シーンチェンジとは、例えば、本編からコマーシャルに入ったときとか、本編中であっても夜の場面から昼の場面に切り替わったときとか、シーン（場面）が大幅に変わったときであり、コンテンツの切れ目である。

図４６Ｂの下段に示したように、時点Ｔ１１から時点Ｔ１３までプラスの操作がされ、時点Ｔ１３から時点Ｔ１４までマイナスの操作がされ、時点Ｔ１４から時点Ｔ１５までプラスの操作がされ、時点Ｔ１５から時点Ｔ１６までマイナスの操作がされたとき、設定値としては、図４６Ｂの上段に示したようになる。

設定情報などの記録を指示するための記録開始ボタンが、時点Ｔ１２で操作されると、その時点Ｔ１２以降から記録が開始される。しかしながら、シーンチェンジがあったときに、記録が行われるという制御がされるように設定されている場合、時点Ｔ１２で記録開始ボタンが操作されても、実際の記録は、時点Ｔ１２の後にシーンチェンジが検出された時点Ｔ２から開始される。よって、実施に記録されるのは、図４６Ｃに示したように、時点Ｔ２から時点Ｔ３までの間の設定値である。

このように、シーンチェンジを検出し、検出されたシーンチェンジ間で設定情報が記録されることにより、以下のような利点がある。すなわち、従来の設定の記録方式では、図１や図２を参照して説明したように、操作開始点から記録が開始されてしまうため、記録の先頭の設定値は標準値に設定されてしまい、その後の操作にかかわらず、標準値から連続的に変化される設定値しか設定できなかった。しかしながら、本実施の形態のように、開始点を設定することにより、図４６Ｃに示したように、記録の開始時点の設定値を標準値以外に設定することが可能となり、その標準値ではない設定値から、連続的に設定値を変化させることができるようになる。

また、従来の記録方式では、設定値の記録を終了させる際、使用者は、操作しながら記録を終了させる機能を有する終了ボタンを操作する必要があったため、使用者が記録を終了させたい位置で操作を止めるのが難しかった。しかしながら、本実施の形態のように、終了点を設定することにより、使用者は所望の終了ポイントを、操作しながら終了ボタンを操作するといったことなく設定できるようになり、確実に所望の終了点を設定することが可能となる。

さらに、シーンチェンジがあったときから次のシーンチェンジまでの間、換言すれば、１シーンの間で、設定情報などを記録するようにすれば、シーン内では連続的に設定値を変化させることができ、異なるシーン間では不連続に設定値を変化させることが、使用者の特別な操作を必要とせずに行うことが可能となる。すなわち使用者は、シーン毎に、所望の操作を、シーンの切り替わりを気にせずに（シーンの切り替わりを指示するといったような操作を行うことなく）、簡便に行うことができる。

このようなシーンチェンジを検出し、その検出されたシーンチェンジ内で設定情報の記録を行う画像処理装置１３の構成について説明する。

図４７は、図５に示した画像処理装置１３に、記録範囲指定機能を追加した構成例を示し、図４８は、図６に示した画像処理装置１３に、記録範囲指定機能を追加した構成例を示している。

図４７において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図４７に示した画像処理装置１３は、開始操作入力部７０１、シーンチェンジ検出部７０２、およびトリガー部７０３を、図５に示した画像処理装置１３に追加した構成とされている。

開始操作入力部７０１は、操作情報認識部４５からの操作情報を解析し、使用者から設定情報の記録の開始が指示されたか否かを判断し、記録の開始が指示されたと判断されたとき、トリガー部７０３を準備状態にする。

シーンチェンジ検出部７０２は、画像再生部１２から供給される画像を解析し、シーンチェンジを検出し、その結果を、トリガー部７０３に供給する。トリガー部７０３は、開始操作入力部７０１により準備状態にされているときに、シーンチェンジ検出部７０２からシーンチェンジを検出したとの結果が供給されると、蓄積ブロック４３に対して、設定情報の蓄積を開始するように指示を出すか、または、蓄積を終了するように指示を出す。

図４８において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図４８に示した画像処理装置１３は、開始操作入力部７１１、シーンチェンジ検出部７１２、およびトリガー部７１３を、図６に示した画像処理装置１３に追加した構成とされている。

開始操作入力部７１１は、操作情報認識部４５からの操作情報を解析し、使用者から操作情報の記録の開始が指示されたか否かを判断し、記録の開始が指示されたと判断されたとき、トリガー部７１３を準備状態にする。

シーンチェンジ検出部７１２は、画像再生部１２から供給される画像を解析し、シーンチェンジを検出し、その結果を、トリガー部７１３に供給する。トリガー部７１３は、開始操作入力部７１１により準備状態にされているときに、シーンチェンジ検出部７１２からシーンチェンジを検出したとの結果が供給されると、蓄積ブロック１５１に対して、操作情報の蓄積を開始するように指示を出すか、または蓄積を終了するように指示を出す。

次に、図４７、図４８に示した画像処理装置１３の動作について、図４９，５０のフローチャートを参照して説明する。図４７に示した画像処理装置１３と図４８に示した画像処理装置１３は、基本的に同様の動作であるので、図４９，５０のフローチャートを参照した説明では、図４７に示した画像処理装置１３の動作を例に挙げて説明する。

図４９のフローチャートを参照し、シーンチェンジを検出し、シーンチェンジに応じて記録を開始または終了する画像処理装置１３の動作について説明する。図４９に示したフローチャートの処理は、基本的に図４０のフローチャートと同様の流れであるが、ステップＳ７０２において、ステップＳ５２２で実行されていたトリガー処理の代わりにシーンチェンジに係わる処理が実行される点が異なる。

先に説明したステップＳ５２２で実行されるトリガー処理は、記録を開始する開始点と記録を終了する終了点が使用者により指示されており、その開始点と終了点をトリガーとして、設定情報などの記録が制御される処理であったが、ステップＳ７０２で実行されるシーンチェンジに係わる処理は、トリガー処理における開始点と終了点が、シーンチェンジの検出された時点であり、シーンチェンジが検出された時点をトリガーとして、設定情報などの記録が制御される処理である。よって、ステップＳ７０２以外の処理は、図４０のフローチャートを参照して説明した場合と同様に行われるので、同様に行われる処理に関する説明は省略する。

ステップＳ７０２において実行されるシーンチェンジに係わる処理について図５０のフローチャートを参照して説明する。ステップＳ７３１において、記録開始の指示があったか否かが判断される。記録開始の指示とは、図４６Ｂを参照して、時点Ｔ１２で出される指示として説明したように、使用者が、指示した後のシーンチェンジがあった時点から設定情報などの記録を開始することを所望したときに出される指示である。この記録開始の指示は、例えば、リモートコントローラ１４の所定のボタンが操作されることにより行われる。

開始操作入力部７０１は、操作情報認識部４５からの操作情報を解析し、記録の開始を指示する操作であるか否かを判断する。ステップＳ７３１において、記録の開始を指示する操作であると判断された場合、ステップＳ７３２に処理が進められ、シーンチェンジ検出フラグが立てられる。このシーンチェンジ検出フラグが立てられている間は、シーンチェンジ検出部７０２によりシーンチェンジが検出される。

ステップＳ７３２において、シーンチェンジ検出フラグが立てられると、ステップＳ７３３に処理が進められる。ステップＳ７３３への処理には、ステップＳ７３１において、記録開始の指示はないと判断されたときにも来る。ステップＳ７３３において、シーンチェンジ検出フラグが立っているか否かが判断される。

ステップＳ７３３において、シーンチェンジ検出フラグが立っていると判断された場合、ステップＳ７３４に処理が進められる。ステップＳ７３４において、シーンチェンジがあったか否かが判断される。シーンチェンジ検出部７０２は、シーンチェンジ検出フラグが立っているときには、画像再生部１２から供給される画像データを用いて、シーンチェンジがあったか否かを判断する。

ステップＳ７３４において、シーンチェンジはないと判断された場合、シーンチェンジに係わる処理が終了され、ステップＳ７０３（図４９）に処理が進められ、それ以降の処理が実行される。

一方、ステップＳ７３４において、シーンチェンジがあったと判断された場合、ステップＳ７３５に処理が進められ、記録中フラグが立っているか否かが判断される。ステップＳ７３５において、記録中フラグは立っていないと判断された場合、ステップＳ７３６に処理が進められ、記録中フラグが立てられる。そして、シーンチェンジに係わる処理が終了され、ステップＳ７０３（図４９）に処理が進められ、それ以降の処理が実行される。記録中フラグが立てられたことにより、使用者による操作（編集）による設定情報などの記録が開始される状態とされる。

一方、ステップＳ７３５において、記録中フラグは立っていると判断された場合、ステップＳ７３７に処理が進められ、記録中フラグが下げられる。この場合、記録中フラグが立っているということは、使用者により記録の開始が指示された後、シーンチェンジがあり（１度目のシーンチェンジがあり）、記録が開始されている状態であるので、２度目のシーンチェンジが検出されたときには、記録を終了させるために、立てられている記録中フラグが下げられる。

このように記録中フラグが制御されることにより、１度目のシーンチェンジのときに記録が開始され、２度目のシーンチェンジのときに記録が終了されるように制御される。

ステップＳ７３８において、シーンチェンジ検出フラグが下げられる。そして、シーンチェンジに係わる処理が終了され、ステップＳ７０３（図４９）に処理が進められ、それ以降の処理が実行される。

このように、シーンチェンジ検出フラグが制御されることにより、使用者が記録開始の指示をした後の時点での１シーンにおける設定情報の記録を行うことが可能となる。

このように、設定情報などの記録を、シーンチェンジを検出することにより制御することで、記録の開始時には、設定値を標準値以外にも設定することができ、より効果的な自由度の高い編集を行うことが可能となる。また、記録の終了時も、使用者は記録を終了させるための操作を、編集のための操作と同時に行わなくても良いため、シーンの変わり目というコンテンツの切れ目で、的確に終了させることが可能となる。

［キーポイントの指定による記録について]
次に、キーポイントという概念を導入した編集について説明を加える。キーポイントとは、使用者が編集の前または後で設定されるポイントであり、その設定されたキーポイントの間で、滑らかに設定値が変化するように制御するためのポイントである。まず、図５０Ａ乃至Ｃを参照して、キーポイントの設定と設定されたキーポイント間での設定値の記録について説明する。

図５１Ａに示すように、１回目の操作において、時点Ｔ１からコンテンツに対して操作が加えられた場合、時点Ｔ１から設定値が記録される。設定値が記録される前または記録された後（図５１Ａ，Ｂでは、後の場合を例に挙げて図示してある）の時点で、図５１Ｂに示したようなキーポイントが指定される。

キーポイントとしては、時点Ｔ１より後の時点である時点Ｔ２、時点Ｔ４、および時点Ｔ５の３つのポイントが指定される。このように、キーポイントが指定された場合、１回目の操作にかかわらず、図５１Ｃに示したように、指定されたキーポイント間で、滑らかに設定値が変化するように設定値が補間され、記憶される。

時点Ｔ１から時点Ｔ２（キーポイント）までは、徐々に設定値が大きくなるように補間され、記憶される。また時点Ｔ２から時点Ｔ４までのキーポイント間も、徐々に設定値が大きくなるように補間され、記憶される。図５１Ａの上段を参照するに、時点Ｔ１より時点Ｔ４の方が、大きな設定値が記録されていたため、図５１Ｃに示したように、時点Ｔ１から時点Ｔ４までの設定値としては、徐々に設定値が上昇するような設定値が記録される。

キーポイントとして設定された時点Ｔ４から時点Ｔ５までは、図５１Ａを参照するに、時点Ｔ４より時点Ｔ５の方が、小さな設定値が記録されていたため、図５１Ｃに示したように、時点Ｔ４から時点Ｔ５までの設定値としては、徐々に設定値が減少するような設定値が記録される。

このように、キーポイントが設定され、その設定されたキーポイント間で、設定値が徐々に変化するような設定値が、既に記録されているまたは後で記録されるキーポイントの時点での設定値に基づいて再設定され、記憶される。このような処理が行われることで、滑らかに変化する設定値を記録させることが可能となる。

このような設定されたキーポイント間で滑らかに設定値が変化する設定情報の記録を行う画像処理装置１３の構成について説明する。

図５２は、図５に示した画像処理装置１３に、キーポイントによる記録範囲指定機能を追加した構成例を示し、図５３は、図６に示した画像処理装置１３に、キーポイントによる記録範囲指定機能を追加した構成例を示している。

図５２において、図５と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図５２に示した画像処理装置１３は、キーポイントに関する処理を実行するキーポイント指定部８０１、キーポイント蓄積部８０２、設定情報補間部８０３、一時蓄積ブロック８０４、および同期検出部８０５を、図５に示した画像処理装置１３に追加した構成とされている。

また、一時蓄積ブロック８０４は、特徴量設定情報記録部８１１、特徴量設定情報蓄積部８１２、および特徴量設定情報読出部８１３を備える構成とされている。すなわち、一時蓄積ブロック８０４は、蓄積ブロック４３と同様の構成とされている。この場合、キーポイントが設定された後、操作が行われ、その後、キーポイント間の設定情報が補間されるため、操作が行われたときの設定値（同期情報）が一時的に記録された後、設定情報の補間の処理を行うために、一時的に設定情報を記録しておく必要があり、その記録を、一時蓄積ブロック８０４が行う構成とされている。

キーポイント指定部８０１は、操作情報認識部４５からの操作情報に基づき、すなわち、使用者の指示に基づき、キーポイントの指定（設定）に係わる処理を実行する。キーポイント蓄積部８０２は、キーポイント指定部８０１により指定されたキーポイントを蓄積する。設定情報補間部８０３は、キーポイント蓄積部８０２に蓄積されたキーポイントと、一時蓄積ブロック８０４に蓄積された設定情報を参照し、キーポイント間の設定情報を補間する。

一時蓄積ブロック８０４の各部は、蓄積ブロック４３と同様の構成とされ、設定情報を補間する際に必要とされるキーポイン時の設定情報などを一時的に蓄積する。また、同期検出部８０５は、同期検出部４２と同様に、同期を検出する。

図５３において、図６と同一の構成については、同一の符号を付しており、その説明は適宜省略する。図５３に示した画像処理装置１３は、キーポイントに関する処理を実行するキーポイント指定部８４１、キーポイント蓄積部８４２、操作情報補間部８４３、一時蓄積ブロック８４４、および同期検出部８４５を、図６に示した画像処理装置１３に追加した構成とされている。

また、一時蓄積ブロック８４４は、特徴量操作情報記録部８５１、特徴量操作情報蓄積部８５２、および特徴量操作情報読出部８５３を備える構成とされている。すなわち、一時蓄積ブロック８４４は、蓄積ブロック１５１と同様の構成とされている。この場合、キーポイントが設定された後、操作が行われ、その後、キーポイント間の操作情報が補間されるため、操作が行われたときの同期情報などが一時的に記録しておく必要があり、その記録を、一時蓄積ブロック８４４が行う構成とされている。

キーポイント指定部８４１は、操作情報認識部４５からの操作情報に基づき、すなわち、使用者の指示に基づき、キーポイントの指定（設定）に係わる処理を実行する。キーポイント蓄積部８４２は、キーポイント指定部８４１により指定されたキーポイントを蓄積する。操作情報補間部８４３は、キーポイント蓄積部８４２に蓄積されたキーポイントと、一時蓄積ブロック８４４に蓄積された操作情報を参照し、キーポイント間の操作情報を補間する。

一時蓄積ブロック８４４の各部は、蓄積ブロック１５１と同様の構成とされ、操作情報を補間する際に必要とされるキーポイント時の操作情報などを一時的に蓄積する。また、同期検出部８４５は、同期検出部４２と同様に、同期を検出する。

次に、図５２、図５３に示した画像処理装置１３の動作について、図５４，５５のフローチャートを参照して説明する。図５２に示した画像処理装置１３と図５３に示した画像処理装置１３は、基本的に同様の動作であるので、図５４，５５のフローチャートを参照した説明では、図５２に示した画像処理装置１３の動作を例に挙げて説明する。

この場合、キーポイントが設定された後の時点で、使用者により操作がされ、設定値が記録されるので、まず、図５４のフローチャートを参照し、キーポイントの設定と記録に関する処理について説明する。

ステップＳ８０１において、画像再生部１２から入力される映像（フレーム）に対して、特徴量抽出処理が行われる。ステップＳ８０１において実行される特徴量抽出処理は、図１１のフローチャートを参照して説明した特徴量抽出処理と同様に行われるため、その説明は省略する。ステップＳ８０１の処理において抽出された特徴量は、ステップＳ８０２において、特徴量設定情報蓄積部８１２に記録される。

ステップＳ８０３において、キーポイントが指定されたか否かが判断される。キーポイント指定部８０１は、操作情報認識部４５により認識された操作情報を解析し、使用者の操作は、キーポイントを指定する操作であったか否かを判断する。キーポイントは、動画像を構成するフレームのうちの、使用者が指示したフレームに設定される。

ステップＳ８０３において、キーポイントが指示されたと判断された場合、ステップＳ８０４において、キーポイントが設定されたときの画像から抽出された特徴量が記録される。キーポイント指定部８０１は、キーポイントが指示されたと判断した場合、その時点での画像から抽出された特徴量（同期用特徴量）（ステップＳ８０１において抽出された特徴量）を、キーポイントと関連付けて、キーポイント蓄積部８０２に蓄積させる。なお、この際、特徴量自体は、一時蓄積ブロック８０４にも蓄積される。

キーポイントと関連付けられてキーポイント時の特徴量が記録されると、ステップＳ８０５に処理が進められる。ステップＳ８０５への処理は、ステップＳ８０３において、キーポイントは指定されていないと判断されたときにもくる。

ステップＳ８０５において、キーポイントの設定が終了されたか否かが判断される。ステップＳ８０５において、キーポイントの設定は終了されていないと判断された場合、ステップＳ８０１に処理が戻され、次のフレームに対して、同様の処理が繰り返される。一方、ステップＳ８０５において、キーポイント設定の終了が指示されたと判断された場合、キーポイント記録の処理は終了される。

なお、ステップＳ８０５において、キーポイントの設定が終了されたか否かの判断は、使用者による設定終了の指示があったか否かが判断されることにより行われるようにしても良いし、コンテンツの最後のフレームまで処理が行われたときには、設定が終了されたと判断されるようにしても良い。

このようにして、キーポイントが指示された後に、そのキーポイント間で設定値が滑らかに変化するように設定値の記録が制御される際の処理について、図５５のフローチャートを参照して説明する。

ステップＳ８２１において、特徴量抽出処理が実行される。ステップＳ８２１において実行される特徴量抽出処理は、図１１のフローチャートを参照して説明した特徴量抽出処理と同様に行われるため、その説明は省略する。ステップＳ８２２において、同期検出処理が実行される。ステップＳ８２２において実行される同期検出処理は、図１３のフローチャートを参照して説明した同期検出処理と同様に行われるので、その説明は省略する。

ステップＳ８２３において、キーポイントであるか否かが判断される。キーポイント蓄積部８０２に蓄積されているキーポイント（キーポイントが指示されたときの同期用の特徴量）が参照され、ステップＳ８２３における判断が行われる。ステップＳ８２３において、キーポイントであると判断された場合、ステップＳ８２４に処理が進められる。

ステップＳ８２４において、設定値が記録される。この設定値は、一時蓄積ブロック８０４に、キーポイントと関連付けられて記録される。後の処理（ステップＳ８２９の処理）において、このキーポイントに関連付けられた設定値を基準として、設定値の補間が行われるため、ステップＳ８２４において、設定値がキーポイントと関連付けられて一時蓄積ブロック８０４に記憶される。

ステップＳ８２４の処理が終了されると、または、ステップＳ８２３において、キーポイントではないと判断された場合、ステップＳ８２５に処理が進められる。ステップＳ８２４５において、操作情報が取得され、ステップＳ８２６において、取得された操作内容が設定値に反映される。

ステップＳ８２８において、記録が終了されたか否かが判断される。ステップＳ８２８において、記録は終了していないと判断された場合、ステップＳ８２１に処理が戻され、それ以降の処理が繰り返される。一方、ステップＳ８２７において、記録が終了されたと判断された場合、ステップＳ８２８に処理が進められる。

すなわち、ステップＳ８２１乃至Ｓ８２７の処理が繰り返されることにより、設定された複数のキーポイントにおける設定値が記録され、そのような設定値の記録が終了されたと判断されると、ステップＳ８２８以降の処理が行われる。

ステップＳ８２８において、設定値の補間が行われる。設定情報補間部８０３は、一時蓄積ブロック８０４に蓄積されている設定値のうち、キーポイントと関連付けられている設定値を読み出す。設定情報補間部８０３は、時間的に隣り合う２つのキーポイントを読み出し（必要に応じ、キーポイント蓄積部８０２に蓄積されているキーポイントの特徴量を参照し）、時間的に隣り合う２つのキーポイント間の設定情報を補間することにより、設定情報の補間を行う。

例えば、図５１Ｃを参照して説明したように、キーポイントして設定された時点Ｔ２のときの設定情報と、時点Ｔ２の次の時点でキーポイントが設定された時点Ｔ３のときの設定情報が用いられ、時点Ｔ２と時点Ｔ３との間の設定情報が補間される。

補間の仕方は、どのような方法を適用しても良い。例えば、２つのキーポイントの設定値を直線で結ぶような補間、多項式近似、スプライン、ベジエなどの滑らかな曲線を生成する関数を用いて２点を曲線で結ぶような補間などが適用されて、設定情報の補間が行われる。

また、例えば、隣り合うキーポイントの間隔が長い場合（所定の閾値を越えるような間隔である場合）、キーポイントの設定情報のみでなく、キーポイントの間の設定情報も用いて、キーポイント間の設定情報が補間されるようにしても良い。図５２や図５３に示したように、画像処理装置１３は、一時蓄積ブロック８０４（８４４）を有する構成とされているので、この一時蓄積ブロック８０４（８４４）に蓄積されている設定情報を用いて、キーポイント以外の設定情報を取得することが可能である。

また、キーポイントの間隔により、用いる関数を変えるなどしても良い。

このようにして、ステップＳ８２８における処理で補間された設定情報は、ステップＳ８２９において、蓄積ブロック４３に供給され、記録される。

このように、キーポイントを設定し、設定されたキーポイント間で、滑らかに設定情報が変化するように、設定情報が補間（生成）されることにより、また、補間された設定情報が記録されることにより、使用者は、簡便な操作だけで、滑らかに変化する操作履歴を作成することが可能となる。

次に、キーポイントが使用者の操作の後に設定される場合について説明する。このような場合、使用者により、まず、映像に対して編集が加えられ、編集の後に、キーポイントが設定され、キーポイントが設定された後に、設定情報の補間が行われる。

このように編集の後にキーポイントが記録される場合であっても、画像処理装置１３の構成は、図５２や図５３に示した構成と同様に構成することが可能である。すなわち、編集時の設定情報（操作情報）は、一時蓄積ブロック８０４（８４４）に蓄積される。一時蓄積ブロック８０４（８４４）に蓄積が終了された後に、キーポイント蓄積部８０２（８４２）にキーポイントが蓄積される。キーポイント蓄積部８０２（８４２）へのキーポイントの蓄積が終了された後に、設定情報補間部８０３（操作情報補間部８４３）により、設定情報（操作情報）の補間が行われ、蓄積ブロック４３（１５１）に、設定情報（操作情報）が蓄積される。

よって、画像処理装置１３は、キーポイントを編集の後に設定する場合であっても、キーポイントを編集の前に設定する場合と同様の構成とすることができる。

次に、図５２、図５３に示した画像処理装置１３の動作について説明する。図５２に示した画像処理装置１３と図５３に示した画像処理装置１３は、基本的に同様の動作であるので、図５２に示した画像処理装置１３の動作を例に挙げて説明する。

上記したように、キーポイントが設定される前の時点で、編集（操作）が行われ、一時蓄積ブロック８０４には設定情報が蓄積される。この一時蓄積ブロック８０４に設定情報が蓄積されるまでの、画像処理装置１３の動作は、図１０のフローチャートの処理と同様に行われるため、ここでは、その説明を省略する。

一時蓄積ブロック８０４に設定情報が蓄積された後の時点で行われるキーポイントの設定に関わる処理について、図５６のフローチャートを参照して説明する。

ステップＳ９０１において、特徴量抽出処理が実行される。ステップＳ９０１において実行される特徴量抽出処理は、図１１のフローチャートを参照して説明した特徴量抽出処理と同様に行われるため、その説明は省略する。ステップＳ９０２において、同期検出処理が実行される。ステップＳ９０２において実行される同期検出処理は、図１３のフローチャートを参照して説明した同期検出処理と同様に行われるので、その説明は省略する。

ステップＳ９０３において、同期したか否かが判断される。ステップＳ９０３において、同期したと判断された場合、ステップＳ９０４に処理が進められる。ステップＳ９０４において、一時蓄積ブロック８０４に蓄積されている設定情報が反映され、その設定情報が反映された画像が、使用者に提供される。

ステップＳ９０５において、キーポイントが指定されたか否かが判断される。この判断は、キーポイント指定部８０１において、図５４のステップＳ８０３の処理と同様に判断される。

ステップＳ９０５において、キーポイントが指定されたと判断された場合、ステップＳ９０６に処理が進められる。ステップＳ９０６において、設定値が記録される。このステップＳ９０６の処理は、図５５のステップＳ８２４の処理と同様に行われる。すなわち、指定されたキーポイントのときの設定情報が、キーポイントと関連付けられて一時蓄積ブロック８０４に記録される（この場合、一時蓄積ブロック８０４に蓄積されている設定情報が、キーポイントと関連付けられることにより、更新される）。

ステップＳ９０３において同期していないと判断された場合、ステップＳ９０５において、キーポイントの指定はされていないと判断された場合、またはステップＳ９０６における処理が終了した場合、ステップＳ９０７に処理が進められる。ステップＳ９０７において、記録が終了されたか否かが判断される。

ステップＳ９０７において、記録は終了されていないと判断された場合、ステップＳ９０１に処理が戻され、それ以降の処理が繰り返される。一方、ステップＳ９０７において、記録が終了されたと判断された場合、ステップＳ９０８に処理が進められる。

記録が終了されたと判断されるのは、使用者により指示されたとき、一時蓄積ブロック８０４に蓄積されている設定情報がなくなったときなどである。

ステップＳ９０８において、設定情報の補間が行われ、ステップＳ９０９において、補間された設定情報の記録が行われる。このステップＳ９０８とステップＳ９０９の処理は、図５５のステップＳ８２８とステップＳ８２９の処理と同様に行われるため、その説明は省略する。

このように、キーポイントを、編集の後に設定されるようにしたとしても、編集の前に設定される場合と同様に、キーポイント間で設定情報を滑らかに変化させることが可能となる。よって、使用者に、急激に変化してしまうような画像を提供するようなことを発生しないようにすることが可能となる。

上述した実施の形態においては、使用者による編集（操作）が行われたときに、設定値が急激に変化するようなことがないように制御される例を挙げて説明したが、本発明は、このような例に限定されるわけではない。

このように、本発明によれば、自由度の高い記録を行うことが可能となる。また、その記録は、急激に画像が変化するような視聴者にとって目障りな変化が起こらないようにすることが可能となる。

［記録媒体について]
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図５７は、画像処理装置１３の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU１００１は、パーソナルコンピュータの全体の動作を制御する。また、CPU１００１は、バス１００４および入出力インタフェース１００５を介してユーザからキーボードやマウスなどからなる入力部１００６から指令が入力されると、それに対応してROM(Read Only Memory)１００２に格納されているプログラムを実行する。あるいはまた、CPU１００１は、ドライブ１０１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバルディスク１０２１から読み出され、記憶部１００８にインストールされたプログラムを、RAM(Random Access Memory)１００３にロードして実行する。これにより、上述したの画像処理装置１３の機能が、ソフトウェアにより実現されている。さらに、CPU１００１は、通信部１００９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図５７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク（MD（Mini-Disc）を含む）、もしくは半導体メモリを含むリムーバルメディア１０２１などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１００２や、記憶部１００８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

従来の編集に関する設定値の変化について説明する図である。 従来の編集に関する設定値の変化について説明する図である。 本発明の画像処理装置の概念を説明するための図である。 本発明の画像処理装置の概念を説明するための図である。 本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 特徴量抽出部の構成例を示すブロック図である。 画像信号の構成例を説明する図である。 同期検出部の構成例を示すブロック図である。 画像処理装置による画像処理を説明するフローチャートである。 特徴量抽出処理を説明するフローチャートである。 同期に係わる処理を説明するフローチャートである。 同期検出処理を説明するフローチャートである。 操作時の処理を説明するフローチャートである。 同期検出処理を説明する図である。 特徴量抽出処理を説明する図である。 滑らか終了に関する設定値の変化について説明する図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理を説明するフローチャートである。 同期に係わる処理を説明するフローチャートである。 滑らか終了処理を説明するフローチャートである。 操作時の処理を説明するフローチャートである。 滑らか終了について説明する図である。 操作自動終了に関する設定値の変化について説明する図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理を説明するフローチャートである。 同期に係わる処理を説明するフローチャートである。 操作時の処理を説明するフローチャートである。 加算処理について説明する図である。 加算処理について説明する図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 操作時の処理を説明するフローチャートである。 範囲指定について説明する図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 範囲指定の処理について説明するフローチャートである。 画像処理について説明するフローチャートである。 トリガー処理について説明するフローチャートである。 操作時の処理を説明するフローチャートである。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 範囲指定の処理について説明するフローチャートである。 シーンチェンジ検出について説明する図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理について説明するフローチャートである。 シーンチェンジに係わる処理について説明するフローチャートである。 キーポイントについて説明する図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 画像処理装置の他の実施の形態の構成を示すブロック図である。 キーポイント記録処理について説明するフローチャートである。 画像処理について説明するフローチャートである。 キーポイント記録処理について説明するフローチャートである。 媒体について説明する図である。

符号の説明

１１ 記録メディア, １２ 画像再生部， １３ 画像処理装置, １４ リモートコントローラ， １５ 表示部, ４１ 特徴量抽出部， ４２ 同期検出部, ４３ 蓄積ブロック， ４４ 受光部， ４５ 操作情報認識部, ４６ 設定情報決定部， ４７ 選択部, ４８ 遅延部， ４９ 反映部, ６１ 特徴量設定情報記録部， ６２ 特徴量設定情報蓄積部, ６３ 特徴量設定情報読出部, １５１ 蓄積ブロック， １５２ 選択部, １５３ 設定情報決定部， １６１ 特徴量操作情報記録部, １６２ 特徴量操作情報蓄積部， １６３ 特徴量操作情報読出部, ２０１ 滑らか終了制御部， ２１１ 滑らか終了制御部, ３０１ 操作自動終了制御部， ３１１ 操作自動終了制御部， ４０１ 設定値加算部, ４１１ 設定情報決定部， ５０１ 範囲指定部， ５０２ 範囲記録部， ５０３ トリガー部， ５１１ 範囲指定部， ５１２ 範囲記録部， ５１３ トリガー部， ６０１ 範囲指定部, ６０２ トリガー部， ６０３ 一時蓄積ブロック, ６１１ 特徴量設定情報記録部， ６１２ 特徴量設定情報蓄積部, ６１３ 特徴量設定情報読出部， ６４１ 範囲指定部, ６４２ トリガー部， ６４３ 一時蓄積ブロック, ６４４ 同期検出部, ６５１ 特徴量設定情報記録部， ６５２ 特徴量設定情報蓄積部, ６５３ 特徴量設定情報読出部， ７０１ 開始操作入力部, ７０２ シーンチェンジ検出部, ７０３ トリガー部， ７１１ 開始操作入力部, ７１２ シーンチェンジ検出部, ７１３ トリガー部， ８０１ キーポイント指定部， ８０２ キーポイント蓄積部， ８０３ 設定情報補間部, ８０４ 一時蓄積ブロック， ８０５ 同期検出部, ８１１ 特徴量設定情報記憶部， ８１２ 特徴量設定情報蓄積部, ８１３ 特徴量設定情報読出部， ８４１ キーポイント指定部， ８４２ キーポイント蓄積部， ８４３ 設定情報補間部, ８４４ 一時蓄積ブロック， ８４５ 同期検出部, ８５１ 特徴量設定情報記憶部， ８５２ 特徴量設定情報蓄積部, ８５３ 特徴量設定情報読出部

Claims (38)

1. 画像より特徴量を抽出する特徴量抽出手段と、
   前記画像に対して処理を加えるための設定情報を設定する設定手段と、
   前記設定手段により設定された前記設定情報を編集する編集手段と、
   前記画像の特徴量に対応付けて前記編集手段により編集された前記設定情報をデータ記録媒体に記録する記録手段と
   を備える画像処理装置。
2. 前記編集手段は、前記設定手段による設定が終了されるとき、前記設定手段により設定された前記第１の設定情報から、設定情報の標準とされている第２の設定情報まで徐々に変化するように、前記第１の設定情報から前記第２の設定情報の間の設定情報を編集する
   請求項１に記載の画像処理装置。
3. 前記編集手段は、前記設定手段による設定が終了されるとき、その時点で前記設定手段により設定された第１の設定情報から、前記第１の設定情報が設定された画像より後の時点の画像の設定情報であり、前記データ記録媒体に記録されている第２の設定情報に、徐々に変化するように、前記第１の設定情報から前記第２の設定情報の間の設定情報を編集する
   請求項１に記載の画像処理装置。
4. 前記編集手段は、前記第１の設定情報から所定の値を減算または加算した第３の設定情報を、前記第１の設定情報に対応する画像の次の時点における画像の設定情報とし、
   前記第３の設定情報が前記第２の設定情報と所定の範囲内の設定情報ではないとき、前記第３の設定情報からさらに前記所定の値を減算または加算した第３の設定情報をさらに次の時点における画像の設定情報とし、
   前記第３の設定情報が前記第２の設定情報と所定の範囲内の設定情報になったとき、前記第３の設定情報を前記第２の設定情報とする
   請求項３に記載の画像処理装置。
5. 前記編集手段は、前記設定手段により設定された前記設定情報と、その設定情報が設定された画像と同一の画像で設定され、前記データ記録媒体に記録されている前記設定情報を加算する
   請求項１に記載の画像処理装置。
6. 前記編集手段による編集の対象となる期間の開始または終了を指定するキーポイントを設定するキーポイント設定手段をさらに備え、
   前記編集手段は、前記キーポイント設定手段により設定された前記キーポイントのうち、隣接するキーポイント間で、一方のキーポイントの設定情報から他方のキーポイントの設定情報に徐々に変化するように編集する
   請求項１に記載の画像処理装置。
7. 前記キーポイント設定手段は、前記記録手段による記録が行われる前の時点で前記キーポイントを設定するか、または、前記記録手段による記録が行われた後の時点で前記キーポイントを設定する
   請求項６に記載の画像処理装置。
8. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記設定ステップの処理で設定された前記設定情報を編集する編集ステップと、
   前記画像の特徴量に対応付けて前記編集ステップの処理で編集された前記設定情報のデータ記録媒体への記録を制御する記録制御ステップと
   を含む画像処理方法。
9. 画像より特徴量を抽出する特徴量抽出ステップと、
   前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
   前記設定ステップの処理で設定された前記設定情報を編集する編集ステップと、
   前記画像の特徴量に対応付けて前記編集ステップの処理で編集された前記設定情報のデータ記録媒体への記録を制御する記録制御ステップと
   を含む処理をコンピュータに実行させるプログラムを記録している記録媒体。
10. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記設定ステップの処理で設定された前記設定情報を編集する編集ステップと、
    前記画像の特徴量に対応付けて前記編集ステップの処理で編集された前記設定情報のデータ記録媒体への記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラム。
11. 画像より特徴量を抽出する特徴量抽出手段と、
    前記画像に対して処理を加えるための設定情報を設定する設定手段と、
    前記画像の特徴量に対応付けて前記設定情報をデータ記録媒体に記録する記録手段と、
    前記記録手段により前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき前記記録手段による記録を制御する制御手段と
    を備える画像処理装置。
12. 前記制御手段は、前記設定手段により設定される前記設定情報が連続して同一である場合、前記設定手段により設定される前記設定情報が前記データ記録媒体に記録されている対応する設定情報に近似する場合、または、前記設定手段により設定される前記設定情報が設定情報の標準とされている設定情報に近似する場合、前記記録手段により前記設定情報を前記データ記録媒体に記録しないと判断する
    請求項１１に記載の画像処理装置。
13. 前記記録手段による記録を開始させる開始点と、終了させる終了点を指定する指定手段をさらに備え、
    前記制御手段は、前記指定手段により指定された開始点から、前記記録手段により前記設定情報を前記データ記録媒体に記録すると判断し、前記指定手段により指定された終了点から、前記記録手段により前記設定情報を前記データ記録媒体に記録しないと判断する
    請求項１１に記載の画像処理装置。
14. 前記指定手段は、前記記録手段による記録が行われる前の時点で前記開始点と前記終了点を指定する
    請求項１３に記載の画像処理装置。
15. 前記記録手段は、一時的に、前記データ記録媒体に前記設定情報を記録し、
    前記指定手段は、前記記録手段による記録が行われた後、前記開始点と前記終了点を指定し、
    前記制御手段は、一時的に前記データ記録媒体に記録された前記設定情報を、前記開始点から前記データ記録媒体に記録し直し、前記終了点で前記データ記録媒体の記録のし直しを終了する
    請求項１３に記載の画像処理装置。
16. シーンチェンジを検出する検出手段をさらに備え、
    前記制御手段は、前記検出手段によりシーンチェンジが検出された場合、前記記録手段により前記設定情報が前記データ記録媒体に記録されていないときには記録を開始させると判断し、前記記録手段により前記設定情報が前記データ記録媒体に記録されているときには記録を終了させると判断する
    請求項１５に記載の画像処理装置。
17. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記画像の特徴量に対応付けた前記設定情報のデータ記録媒体への記録を制御する際、前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップと
    を含む画像処理方法。
18. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記画像の特徴量に対応付けた前記設定情報のデータ記録媒体への記録を制御する際、前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラムを記録している記録媒体。
19. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記画像の特徴量に対応付けた前記設定情報のデータ記録媒体への記録を制御する際、前記設定情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラム。
20. 画像より特徴量を抽出する特徴量抽出手段と、
    前記画像に対する処理を指定するための操作をする操作手段と、
    前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定手段と、
    前記操作情報を編集する編集手段と、
    前記画像の特徴量に対応付けて前記編集手段により編集された前記操作情報をデータ記録媒体に記録する記録手段と
    を備える画像処理装置。
21. 前記編集手段は、前記操作手段による操作が終了されるとき、その時点での第１の操作情報から、操作情報の標準とされている第２の操作情報まで徐々に変化するように、前記第１の操作情報から前記第２の操作情報の間の操作情報を編集する
    請求項２０に記載の画像処理装置。
22. 前記編集手段は、前記操作手段による操作が終了されるとき、その時点での第１の操作情報から、後の時点の操作情報であり、前記データ記録媒体に記録されている第２の操作情報に、徐々に変化するように、前記第１の操作情報から前記第２の操作情報の間の操作情報を編集する
    請求項２０に記載の画像処理装置。
23. 前記編集手段は、前記第１の操作情報から所定の値を減算または加算した第３の操作情報を、前記第１の操作情報に対応する画像の次の時点における画像の操作情報とし、
    前記第３の操作情報が前記第２の操作情報と所定の範囲内の操作情報ではないとき、前記第３の操作情報からさらに前記所定の値を減算または加算した第３の操作情報をさらに次の時点における画像の操作情報とし、
    前記第３の操作情報が前記第２の操作情報と所定の範囲内の操作情報になったとき、前記第３の操作情報を前記第２の操作情報とする
    請求項２２に記載の画像処理装置。
24. 前記編集手段は、前記操作情報と、その操作情報が取得されたときの画像と同一の画像から取得され、前記データ記録媒体に記録されている前記操作情報を加算する
    請求項２０に記載の画像処理装置。
25. 前記編集手段による編集の対象となる期間の開始または終了を指定するキーポイントを設定するキーポイント設定手段をさらに備え、
    前記編集手段は、前記キーポイント設定手段により設定された前記キーポイントのうち、隣接するキーポイント間で、一方のキーポイントの操作情報から他方のキーポイントの操作情報に徐々に変化するように編集する
    請求項２０に記載の画像処理装置。
26. 前記キーポイント設定手段は、前記記録手段による記録が行われる前の時点で前記キーポイントを設定するか、または、前記記録手段による記録が行われた後の時点で前記キーポイントを設定する
    請求項２５に記載の画像処理装置。
27. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対する処理を指定するための操作をする操作ステップと、
    前記操作ステップの処理での操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記操作情報を編集する編集ステップと、
    前記画像の特徴量に対応付けて前記編集ステップの処理により編集された前記操作情報のデータ記録媒体への記録を制御する記録制御ステップと
    を含む画像処理方法。
28. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対する処理を指定するための操作をする操作ステップと、
    前記操作ステップの処理での操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記操作情報を編集する編集ステップと、
    前記画像の特徴量に対応付けて前記編集ステップの処理により編集された前記操作情報のデータ記録媒体への記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラムを記録している記録媒体。
29. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対する処理を指定するための操作をする操作ステップと、
    前記操作ステップの処理での操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記操作情報を編集する編集ステップと、
    前記画像の特徴量に対応付けて前記編集ステップの処理により編集された前記操作情報のデータ記録媒体への記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラム。
30. 画像より特徴量を抽出する特徴量抽出手段と、
    前記画像に対する処理を指定するための操作をする操作手段と、
    前記操作手段の操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定手段と、
    前記画像の特徴量に対応付けて前記操作情報をデータ記録媒体に記録する記録手段と、
    前記記録手段により前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき前記記録手段による記録を制御する制御手段と
    を備える画像処理装置。
31. 前記制御手段は、前記操作手段からの信号が取得されない期間が一定時間以上であると判断された場合、前記操作情報が前記データ記録媒体に記録されている対応する操作情報に近似する場合、または、前記操作情報が操作情報の標準とされている操作情報に近似する場合、前記記録手段により前記操作情報を前記データ記録媒体に記録しないと判断する
    請求項３０に記載の画像処理装置。
32. 前記記録手段による記録を開始させる開始点と、終了させる終了点を指定する指定手段をさらに備え、
    前記制御手段は、前記指定手段により指定された開始点から、前記記録手段により前記操作情報を前記データ記録媒体に記録すると判断し、前記指定手段により指定された終了点から、前記記録手段により前記操作情報を前記データ記録媒体に記録しないと判断する
    請求項３０に記載の画像処理装置。
33. 前記指定手段は、前記記録手段による記録が行われる前の時点で前記開始点と前記終了点を指定する
    請求項３２に記載の画像処理装置。
34. 前記記録手段は、一時的に、前記データ記録媒体に前記操作情報を記録し、
    前記指定手段は、前記記録手段による記録が行われた後、前記開始点と前記終了点を指定し、
    前記制御手段は、一時的に前記データ記録媒体に記録された前記操作情報を、前記開始点から前記データ記録媒体に記録し直し、前記終了点で前記データ記録媒体の記録のし直しを終了する
    請求項３２に記載の画像処理装置。
35. シーンチェンジを検出する検出手段をさらに備え、
    前記制御手段は、前記検出手段によりシーンチェンジが検出された場合、前記記録手段により前記操作情報が前記データ記録媒体に記録されていないときには記録を開始させると判断し、前記記録手段により前記操作情報が前記データ記録媒体に記録されているときには記録を終了させると判断する
    請求項３４に記載の画像処理装置。
36. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対する処理を指定するための操作をする操作ステップと、
    前記操作ステップの操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップと
    を含む画像処理方法。
37. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対する処理を指定するための操作をする操作ステップと、
    前記操作ステップの操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラムを記録している記録媒体。
38. 画像より特徴量を抽出する特徴量抽出ステップと、
    前記画像に対する処理を指定するための操作をする操作ステップと、
    前記操作ステップの操作内容により、前記画像に対して処理を加えるための設定情報を設定する設定ステップと、
    前記操作情報を前記データ記録媒体に記録するか否かを判断し、その判断に基づき記録を制御する記録制御ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images