JP2005165929A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】 容易に編集することができるようにする。
【解決手段】 編集処理部は、ユーザにより指令された開始点から終了点までのフレーム＃１１からフレーム＃１５までを、ディスプレイに表示させた後、開始点のフレーム＃１１を静止画で表示させ、ユーザからの開始点の処理枠２０３−１１の指令を受け付ける。編集処理部は処理枠２０３−１１に基づいて、トラッキング処理を行ない、フレーム＃１２乃至フレーム＃１５の処理枠２０３を算出し、表示する。トラッキングの誤差が大きい場合、ユーザの指令に基づいて、補正が必要なフレーム＃１４が選択され、フレーム＃１４の処理枠２０３−１４’の指令が受け付けられる。編集処理部は、開始点の処理枠２０３−１１および補正された処理枠２０３−１４’に基づき、再度トラッキング処理を実行する。本発明は、画像を編集する画像処理装置に適用することができる。
【選択図】図２７

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、動画像の編集を容易に行うことができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、静止画を編集する場合、ユーザは、図１に示されるように、静止画が表示されている画面１の中から処理の対象となる対象物２を内部に含む処理枠３を設定し、その処理枠３内で画像を編集する。

しかしながら、動画像を編集する場合、例えば、図２に示されるように、フレーム＃１、フレーム＃２、およびフレーム＃３と、時間の進行に伴って、処理の対象となる対象物１２の位置が、対象物１２−１乃至対象物１２−３と、順次移動する。その結果、例えば、フレーム＃１で処理枠１３を画面１１に対して固定した場合、フレーム＃２およびフレーム＃３では、対象物１２−２および対象物１２−３が、処理枠１３からがずれてしまう。

そこで、図３に示されるように、対象物１２が、対象物１２−１、対象物１２−２、対象物１２−３と順次変化する場合の動きベクトル２１−１，２１−２に基づいて、処理枠１３を処理枠１３−１乃至処理枠１３−３と、１フレームごとに自動的に追尾させることが考えられる。

また、処理範囲や位置がフレームごとに変化する動画像を編集する場合には、処理範囲の変化に応じてフレームごとに処理範囲の大きさや位置を指定する方法が提案されている（例えば、特許文献１）。

特開２００１−２１８１０８号公報

しかしながら、処理枠１３を対象物１２に自動的に追尾させるにしても、その位置を正確に自動的に演算することは困難である。

その結果、図３の処理枠１３内の画像をズームするように編集した場合、画面１１に表示される対象物１２が処理枠１３に対して正確に位置決めされているわけではないので、図４に示されるように、対象物１２がフレームごとに微妙に異なる位置に表示され、視聴者には、対象物１２がガタツクように見えてしまう。

また、特許文献１の方法は、処理に手間がかかり、迅速な編集が困難である課題があった。

本発明はこのような状況に鑑みてなされたものであり、動画像の編集を迅速かつ容易に行うことができるようにするものである。

本発明の画像処理装置は、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像を取得するフレーム画像取得手段と、ユーザからの指令に基づいて、フレーム画像取得手段により取得された複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値を受け付ける受付手段と、受付手段により受け付けられた初期値に基づいて、複数の連続するフレーム画像上の編集範囲を、トラッキング処理を行うことで算出する算出手段と、算出手段により算出された複数の連続するフレーム画像上の編集範囲を表示する表示手段とを備え、受付手段は、表示手段により表示された編集範囲の補正値を受け付け、算出手段は、受付手段により受け付けられた初期値と補正値に基づいて、複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出することを特徴とする。

受付手段は、編集範囲の初期値を、先頭のフレーム画像上で受け付けるようにすることができる。

受付手段は、トラッキング処理の対象をさらに受け付け、算出手段は、受付手段により受け付けられたトラッキング処理の対象をトラッキング処理することで算出を行うようにすることができる。

算出手段は、編集範囲の中心の対象をトラッキング処理することで算出を行うようにすることができる。

受付手段は、編集範囲のアスペクト比を固定として、編集範囲の大きさの変更を受け付けるようにすることができる。

本発明の画像処理方法は、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像を取得するフレーム画像取得ステップと、ユーザからの指令に基づいて、フレーム画像取得ステップの処理により取得された複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値を受け付ける第１の受付ステップと、第１の受付ステップの処理により受け付けられた初期値に基づいて、複数の連続するフレーム画像上の編集範囲を、トラッキング処理を行うことで算出する第１の算出ステップと、前第１の記算出ステップの処理により算出された複数の連続するフレーム画像の編集範囲を表示するよう制御する表示制御ステップと、表示ステップの処理により表示が制御された編集範囲の補正値を受け付ける第２の受け付けステップと、第１の受付ステップの処理により受け付けられた編集範囲と、第２の受け付けステップの処理により受け付けられた補正値とに基づいて、複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する第２の算出ステップとを含むことを特徴とする。

本発明のプログラムは、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像を取得するフレーム画像取得ステップと、ユーザからの指令に基づいて、フレーム画像取得ステップの処理により取得された複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値を受け付ける第１の受付ステップと、第１の受付ステップの処理により受け付けられた初期値に基づいて、複数の連続するフレーム画像上の編集範囲を、トラッキング処理を行うことで算出する第１の算出ステップと、前第１の記算出ステップの処理により算出された複数の連続するフレーム画像の編集範囲を表示するよう制御する表示制御ステップと、表示ステップの処理により表示が制御された編集範囲の補正値を受け付ける第２の受け付けステップと、第１の受付ステップの処理により受け付けられた編集範囲と、第２の受け付けステップの処理により受け付けられた補正値とに基づいて、複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する第２の算出ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明においては、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像が取得され、複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値が受け付けられ、初期値に基づいて、複数の連続するフレーム画像上の編集範囲が、トラッキング処理を行うことで算出され、算出された複数の連続するフレーム画像の編集範囲が表示されるとともに、編集範囲の補正値が受け付けられ、編集範囲と、補正値とに基づいて、複数の連続するフレーム画像の範囲が再度算出される。

本発明によれば、画像を編集することができる。特に、本発明によれば、動画像の編集を迅速かつ容易に行うことができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置（例えば、図５の画像処理装置５３）は、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像（例えば、図２４のフレーム＃１１乃至フレーム＃１５）を取得するフレーム画像取得手段（例えば、図１６のステップＳ９６の処理を実行する図６の画像信号入力部８１）と、ユーザからの指令に基づいて、フレーム画像取得手段により取得された複数の連続するフレーム画像のうちの任意の順番のフレーム画像（例えば、フレーム＃１１）における編集の対象となる編集範囲（例えば、図２１の処理枠２０３）の初期値（例えば、初期処理枠位置Ｅｐ（０）および枠の大きさＥｓ（０））を受け付ける受付手段（例えば、図１６のステップＳ１００の処理を実行する図６の編集処理制御部９３）と、受付手段により受け付けられた初期値に基づいて、複数の連続するフレーム画像上の編集範囲（例えば、処理枠２０３−１２乃至処理枠２０３−１５）を、トラッキング処理を行うことで算出する算出手段（例えば、図１７のステップＳ１０４の処理を実行する図６のトラッキング処理部９２）と、算出手段により算出された複数の連続するフレーム画像上の編集範囲を表示する（例えば、図２４のような複数のフレームの表示を行う）表示手段（例えば、図５のディスプレイ５４）とを備え、受付手段は、表示手段により表示された編集範囲の補正値（例えば、初期処理枠位置Ｅｐ（ｉ）および枠の大きさＥｓ（ｉ））を受け付け（例えば、図１７のステップＳ１０８の処理の後の図１６の（例えば、２回目の）ステップＳ１００）、算出手段は、受付手段により受け付けられた初期値と補正値に基づいて、複数の連続するフレーム画像の範囲（例えば、図２７の処理枠２０３’）を、トラッキング処理を行うことで再度算出する（例えば、図１７の２回目のステップＳ１０４）ことを特徴とする。

受付手段は、トラッキング処理の対象（例えば、図２３の追尾対象枠２１１）をさらに受け付け、算出手段は、受付手段により受け付けられたトラッキング処理の対象をトラッキング処理することで算出を行うようにすることができる。

算出手段は、編集範囲の中心の対象（例えば、処理枠中心点２０４）をトラッキング処理することで算出を行うようにすることができる。

請求項６に記載の画像処理方法は、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像（例えば、図２４のフレーム＃１１乃至フレーム＃１５）を取得するフレーム画像取得ステップ（例えば、図１６のステップＳ９６）と、ユーザからの指令に基づいて、フレーム画像取得ステップの処理により取得された複数の連続するフレーム画像のうちの任意の順番のフレーム画像（例えば、フレーム＃１１）における編集の対象となる編集範囲（例えば、図２１の処理枠２０３）の初期値（例えば、初期処理枠位置Ｅｐ（０）および枠の大きさＥｓ（０））を受け付ける第１の受付ステップ（例えば、図１６のステップＳ１００）と、第１の受付ステップの処理により受け付けられた初期値に基づいて、複数の連続するフレーム画像上の編集範囲（例えば、処理枠２０３−１２乃至処理枠２０３−１５）を、トラッキング処理を行うことで算出する第１の算出ステップ（例えば、図１７のステップＳ１０４）と、前第１の記算出ステップの処理により算出された複数の連続するフレーム画像の編集範囲を表示するよう制御する表示制御ステップ（例えば、図１７のステップＳ１０５）と、表示ステップの処理により表示が制御された編集範囲の補正値（例えば、初期処理枠位置Ｅｐ（ｉ）および枠の大きさＥｓ（ｉ））を受け付ける第２の受け付けステップ（例えば、図１７のステップＳ１０８の処理の後の図１６の（例えば、２回目の）ステップＳ１００）と、第１の受付ステップの処理により受け付けられた編集範囲と、第２の受け付けステップの処理により受け付けられた補正値とに基づいて、複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する第２の算出ステップ（例えば、図１７の２回目のステップＳ１０４）とを含むことを特徴とする。

請求項７に記載のプログラムは、ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像（例えば、図２４のフレーム＃１１乃至フレーム＃１５）を取得するフレーム画像取得ステップ（例えば、図１６のステップＳ９６）と、ユーザからの指令に基づいて、フレーム画像取得ステップの処理により取得された複数の連続するフレーム画像のうちの任意の順番のフレーム画像（例えば、フレーム＃１１）における編集の対象となる編集範囲（例えば、図２１の処理枠２０３）の初期値（例えば、初期処理枠位置Ｅｐ（０）および枠の大きさＥｓ（０））を受け付ける第１の受付ステップ（例えば、図１６のステップＳ１００）と、第１の受付ステップの処理により受け付けられた初期値に基づいて、複数の連続するフレーム画像上の編集範囲（例えば、処理枠２０３−１２乃至処理枠２０３−１５）を、トラッキング処理を行うことで算出する第１の算出ステップ（例えば、図１７のステップＳ１０４）と、前第１の記算出ステップの処理により算出された複数の連続するフレーム画像の編集範囲を表示するよう制御する表示制御ステップ（例えば、図１７のステップＳ１０５）と、表示ステップの処理により表示が制御された編集範囲の補正値（例えば、初期処理枠位置Ｅｐ（ｉ）および枠の大きさＥｓ（ｉ））を受け付ける第２の受け付けステップ（例えば、図１７のステップＳ１０８の処理の後の図１６の（例えば、２回目の）ステップＳ１００）と、第１の受付ステップの処理により受け付けられた編集範囲と、第２の受け付けステップの処理により受け付けられた補正値とに基づいて、複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する第２の算出ステップ（例えば、図１７の２回目のステップＳ１０４）とを含む処理をコンピュータに実行させることを特徴とする。

以下、図を参照して、本発明の実施の形態について説明する。

図５は、本発明を適用した画像処理システム５０の構成例を示す図である。

この画像処理システム５０は、動画再生装置５１、記録メディア５２、画像処理装置５３、ディスプレイ５４、およびリモートコントローラ５５で構成される。画像処理装置５３は、動画像データを編集する装置であり、編集部６１、記憶部６２、および制御部６３により構成される。

動画再生装置５１は、例えば、VTR（Video Tape Recorder）やDVD（Digital Versatile Disc）レコーダ等により構成される。動画再生装置５１は、記録メディア５２に記録されている動画像データを再生する。記録メディア５２は、複数のコンテンツに対する動画像データの他に、後述する編集のパラメータ等を書き込むことが可能である。画像処理装置５３の編集部６１は、動画像データをディスプレイ５４に出力し、表示させる。制御部６３は、ユーザからの直接の指令の入力を受け付けるか、または、リモートコントローラ５５からのユーザの指令の入力を受け付け、ユーザからの指令に対する制御信号を編集部６１に出力する。編集部６１は、制御部６３からの制御信号に基づいて動画像を編集する。記憶部６２には、動画像を編集する場合における各種の情報が記憶される。

図６は、図５の編集部６１の機能的構成例を示すブロック図である。

編集部６１には、画像信号入力部８１、制御信号出力部８２、編集処理部８３、画像信号出力部８４、および記憶制御部８５が設けられている。

画像信号入力部８１は、動画再生装置５１からの画像信号の入力を受け付け、編集処理部８３に出力する。制御信号出力部８２は、編集処理部８３からの信号に基づいて、動画再生装置５１に制御信号を出力する。編集処理部８３には、ズーム処理部９１、トラッキング処理部９２、および編集処理制御部９３が設けられており、編集処理部８３内部では、それぞれ各部が相互にデータの授受が可能である。ズーム処理部９１は、画像をズーム（拡大または縮小）し、トラッキング処理部９２は、動画像のトラッキング処理を実行する。編集処理制御部９３は、編集処理を実行するための各種の処理を実行するとともに、制御信号出力部８２、記憶制御部８５、および画像信号出力部８４等の各部を制御する。

編集処理部８３は、制御部６３からの制御信号に基づき各種の編集処理を実行する。記憶制御部８５は、編集処理部８３から供給される情報を、記憶部６２に記憶させるよう制御したり、記憶部６２に記憶されている情報を記憶部６２から読み出す制御を行う。画像信号出力部８４は、編集処理部８３から供給される画像信号を、ディスプレイ５４に出力する。

次に、図５のリモートコントローラ５５の外観の詳細を、図７乃至図１０を参照して説明する。図７はリモートコントローラ５５の斜視図であり、図８はリモートコントローラ５５の底面図であり、図９はリモートコントローラ５５の正面図であり、図１０は、リモートコントローラ５５の右側面図である。

リモートコントローラ５５の筐体１１０の正面上方（ｙ軸の正方向）には、ボタン１２１およびボタン１２２が設けられており、その下方には、ボタン１２３が設けられている。また、筐体１１０の上面には、発光部１２４が設けられている。

ボタン１２１は、編集モード、その他のモードの開始と終了を指令するためのものであり、ボタン１２２は、メニュー画面の表示を指令するためのものである。ユーザは、ボタン１２１を押圧することで、編集モードの開始および終了を指令し、ボタン１２２を押圧することで、メニュー画面の表示を指令する。ボタン１２３は、上下方向（ｕ方向）、および決定を指令するためのものである。ユーザは、ボタン１２３を上（ｙ軸の正方向）に回動（傾斜）させることで、処理範囲の枠を大きくしたり、メニューが表示されている場合には、カーソルを上方向に移動させたりし、ボタン１２３を下（ｙ軸の負方向）に回動させることで、処理範囲の枠を小さくしたり、メニューが表示されている場合には、カーソルを下方向に移動させたりする。また、ユーザは、ボタン１２３を筐体１１０に対して垂直な方向に押圧することで、各種の選択を決定する。また、ユーザは、リモートコントローラ５５の筐体１１０の全体を、水平面内（机上）でｘ、ｙ軸方向に移動させることで、画面上のカーソル（ポインタ）の位置を移動するよう指令する。

発光部１２４は、ユーザからの操作の入力（具体的には、ボタン１２１乃至ボタン１２３に入力される操作、またはリモートコントローラ５５の移動）に基づいて、赤外線信号を発光する。この赤外線信号は制御部６３に内蔵される受光部（図示せず）により受光され、制御部６３は赤外線信号に対応する制御信号を編集部６１に出力する。

図１１は、リモートコントローラ５５の機能的構成例を示すブロック図である。図中、図７乃至図１０に対応する部分については同一の符号を付してあり、その説明は繰り返しになるので省略する。

リモートコントローラ５５には、ボタン１２１乃至１２３、および発光部１２４の他、リモートコントロール信号処理部１３１、および移動量検出部１３２が設けられている。

リモートコントロール信号処理部１３１は、ユーザによりボタン１２１乃至ボタン１２３が操作されたとき、その操作に基づくリモートコントロール信号（制御信号）を生成する。移動量検出部１３２は、ユーザによりリモートコントローラ５５がｘｙ面内で移動された場合、リモートコントローラ５５の移動量を検出し、検出した移動量をリモートコントロール信号処理部１３１に供給する。リモートコントロール信号処理部１３１は、この移動量に基づくリモートコントロール信号を生成する。発光部１２４は、リモートコントロール信号処理部１３１により生成されたリモートコントロール信号を赤外線信号として出力する。

このように、ユーザは、リモートコントローラ５５に対して各種の指令を入力し、リモートコントローラ５５は、ユーザの指令に基づく赤外線信号を、画像処理装置５３に対して出力する。

次に、図１２および図１３のフローチャートを参照して、図１１のリモートコントローラ５５における赤外線信号発光処理を説明する。

ステップＳ１において、リモートコントローラ５５のリモートコントロール信号処理部１３１は、ボタン１２１が押下されたか否かを判定する。ボタン１２１が押下された場合、リモートコントロール信号処理部１３１には、ボタン１２１が押下されたことを示す信号が入力されるので、リモートコントロール信号処理部１３１は、この入力に基づいて判定を行う。

ステップＳ１において、ボタン１２１が押下されたと判定された場合、ステップＳ２において、リモートコントロール信号処理部１３１は、編集モードの開始または編集モードの終了を切り換えるリモートコントロール信号を生成する。

ステップＳ１において、ボタン１２１が押下されていないと判定された場合、ステップＳ３において、リモートコントロール信号処理部１３１は、ボタン１２２が押下されたか否かを判定する。ボタン１２１と同様に、ボタン１２２が押下された場合、リモートコントロール信号処理部１３１には、ボタン１２２が押下されたことを示す信号が入力されるので、リモートコントロール信号処理部１３１は、この入力に基づいて判定を行う。

ステップＳ３において、ボタン１２２が押下されたと判定された場合、ステップＳ４において、リモートコントロール信号処理部１３１は、メニューの表示を示すリモートコントロール信号を生成する。

ステップＳ３において、ボタン１２２が押下されていないと判定された場合、ステップＳ５において、リモートコントロール信号処理部１３１は、ボタン１２３が押下されたか否かを判定する。この処理は上述したステップＳ１およびステップＳ３と同様である。

ステップＳ５において、ボタン１２３が押下されたと判定された場合、ステップＳ６において、リモートコントロール信号処理部１３１は、決定を示すリモートコントロール信号を生成する。

ステップＳ５において、ボタン１２３が押下されていないと判定された場合、ステップＳ７において、リモートコントロール信号処理部１３１は、ボタン１２３が上下に動かされた（回動された）か否かを判定し、上下に動かされたと判定された場合、ステップＳ８において、動かされた（回動された）方向を示すリモートコントロール信号を生成する。具体的には、ボタン１２３が上（または下）に回動された場合、リモートコントロール信号処理部１３１には、上（または下）に回動されたことを示す信号が供給される。リモートコントロール信号処理部１３１は、これに基づいて、上（または下）に回動されたことを示すリモートコントロール信号を生成する。

ステップＳ７において、ボタン１２３が上下に動かされていないと判定された場合、ステップＳ９において、リモートコントロール信号処理部１３１は、リモートコントローラ５５が移動されたか否かを判定する。リモートコントローラ５５自体がｘｙ面内で移動された場合、移動量検出部１３２は、ステップＳ１０において、リモートコントローラ５５の移動量を検出し、移動量を示す信号を、リモートコントロール信号処理部１３１に出力する。リモートコントロール信号処理部１３１は、この移動量検出部１３２からの信号に基づいてこれを判定する。

ステップＳ１１において、リモートコントロール信号処理部１３１は、移動量検出部１３２から供給された移動量を示す信号に基づいて、移動量を示すリモートコントロール信号を生成する。

ステップＳ２、ステップＳ４、ステップＳ６、ステップＳ８、またはステップＳ１１の処理の後、処理はステップＳ１２に進み、発光部１２４は、リモートコントロール信号処理部１３１により生成されたリモートコントロール信号を、赤外線信号に変換する。このリモートコントロール信号は、ステップＳ１２の前のステップでリモートコントロール信号処理部１３１によって生成された信号であり、どのボタンが操作された（またはリモートコントローラ５５が移動された）かによって異なる。具体的には、例えば、直前の処理がステップＳ２の処理である場合、ステップＳ１２で、発光部１２４は、編集モード開始または終了を切り換えるリモートコントロール信号を赤外線信号に変換する。また、例えば、直前の処理がステップＳ４の処理である場合、発光部１２４は、メニューの表示を示すリモートコントロール信号を赤外線信号に変換する。このように、発光部１２４は供給された各種のリモートコントロール信号を赤外線信号に変換する。

ステップＳ１３において、発光部１２４は、赤外線信号を発光する。この赤外線信号は、本実施の形態の場合、画像処理装置５３の制御部６３に内蔵される受光部（図示せず）により受光され、制御部６３は、赤外線信号に対応する制御信号を編集部６１に出力する。編集部６１は、この制御信号に基づく各種の処理を実行する。

ステップＳ９において、リモートコントローラ５５が移動されていないと判定された場合、またはステップＳ１３の処理の後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。すなわち、再び、ユーザからの指令に基づいて、リモートコントロール信号が生成され、赤外線信号が出力される。

図１２および図１３の処理により、ユーザからのリモートコントローラ５５への操作に基づいて、それに対応する赤外線信号が出力される。これにより、ユーザは、画像処理装置５３に対して指令をすることができる。ユーザは、制御部６３を直接操作して、同様の指令を入力することもできる。

次に、図１４のフローチャートを参照して、図５の動画再生装置５１における、動画再生処理を説明する。なお、この処理は、動画再生装置５１の電源がオンされたとき開始される。

ステップＳ４１において、動画再生装置５１は、動画像データを再生する指令が画像処理装置５３から供給されたか否かを判定し、供給されるまで待機する。すなわち、図１２と図１３で上述したように、ユーザが、ボタン１２２を操作して、メニューの表示を指令すると、リモートコントロール信号処理部１３１は、対応するリモートコントロール信号を発光部１２４から出力させる（図１２のステップＳ３、ステップＳ１２、およびステップＳ１３）。制御部６３は、このリモートコントロール信号に対応する制御信号を編集部６１に出力する。編集部６１の編集処理制御部９３は、制御信号出力部８２を介して動画再生装置５１を制御し、記録メディア５２に記録されているコンテンツの情報を出力させる。画像信号入力部８１は、動画再生装置５１からの情報を編集処理制御部９３に出力する。編集処理制御部９３は、入力された情報に基づいて、メニューを生成し、画像信号出力部８４を介してディスプレイ５４に出力し、表示させる。

ユーザは、ボタン１２３を操作することで、所望のコンテンツを選択し、その再生を指令する。再生が指令されると、上述した経路で、その制御信号が動画再生装置５１に入力される。

ステップＳ４１において、動画像データを再生する指令が供給されたと判定された場合、ステップＳ４２において、動画再生装置５１は、指定された動画像データを記録メディア５２から再生する。そして、動画再生装置５１は、再生した動画像データを画像処理装置５３の編集部６１に出力する。

ステップＳ４２の処理に対し、編集部６１は、例えば、再生された動画像データ（再生データ）に基づく画像をディスプレイ５４に表示させたり、動画像データに対して編集を施した後（図１５乃至図１８を参照して後述する）、その動画像データに基づく画像をディスプレイ５４に表示させる。

ステップＳ４３において、動画再生装置５１は、早送りを指令する制御信号が供給されたか否かを判定する（図１２のステップＳ７、図１３のステップＳ１２およびステップＳ１３に対応する処理）。すなわち、ユーザが、ボタン１２３のｙ軸の正方向への回動を行って、早送りを指令すると（図１２のステップＳ７においてYESと判定された場合）、上述した経路により、動画再生装置５１に早送りを指令する制御信号が供給されるので、動画再生装置５１は、この制御信号が供給されたか否かを判定する。

ステップＳ４３において、早送りを指令する制御信号が供給されたと判定された場合、ステップＳ４４において、動画再生装置５１は、動画像データを記録メディア５２から早送り再生する。

ステップＳ４３において、早送り（早送り再生）を指令する制御信号が供給されていないと判定された場合、またはステップＳ４４の処理の後、ステップＳ４５において、動画再生装置５１は、巻き戻し（巻き戻し再生）を指令する制御信号が供給されたか否かを判定する（図１２のステップＳ７に対応する処理）。ステップＳ４３の処理と同様に、ユーザによりリモートコントローラ５５に巻き戻しを指令する操作（ボタン１２３の下方向への回動）が行なわれた場合、編集部６１は、制御部６３からの制御信号に基づいて、巻き戻し再生を指令する制御信号を動画再生装置５１に対して送信してくるので、動画再生装置５１は、これに基づき判定する。

ステップＳ４５において、巻き戻しを指令する制御信号が供給されたと判定された場合、ステップＳ４６において、動画再生装置５１は、動画像データを記録メディア５２から巻き戻し再生する。

ステップＳ４５において、巻き戻しを指令する制御信号が供給されていないと判定された場合、またはステップＳ４６の処理の後、ステップＳ４７において、動画再生装置５１は、再生を終了する制御信号が供給されたか否かを判定する。上述した処理と同様に、再生を終了する制御信号についても、リモートコントローラ５５から上述した経路で動画再生装置５１に供給されるので、動画再生装置５１は、これに基づき判定する。

ステップＳ４７において、再生を終了する制御信号が供給されていないと判定された場合、処理はステップＳ４２に戻り、それ以降の処理が繰り返される。すなわち、再生、早送り再生、巻き戻し再生等の処理が繰り返し行なわれる。

ステップＳ４７において、再生を終了する制御信号が供給されたと判定された場合、ステップＳ４８において、動画再生装置５１は、再生を終了し、その後、処理を終了する。

図１４の処理により、動画再生装置５１は、画像処理装置５３からの制御信号に基づいて、記録メディア５２に記録されている動画像データを再生したり、早送り再生をしたり、巻き戻し再生を行う。

なお、実際には動画再生装置５１において、リモートコントローラ５５のボタン１２３の回動度合いにより、高速早送り、高速巻き戻し、１コマ送り再生、および１コマ戻し再生等の処理を実行することが可能であるが、その説明は省略する。

次に、図１５乃至図１８のフローチャートを参照して、図６の編集部６１における編集処理を説明する。この処理は、ユーザからのリモートコントローラ５５への操作に基づいて、制御部６３から編集モードの開始を指令する制御信号が供給されたとき開始される。

ステップＳ８１において、編集処理部８３の編集処理制御部９３は、編集モードの開始の指令を受け付ける。すなわちユーザが、ボタン１２１を操作して編集モードの開始を指令すると、リモートコントロール信号処理部１３１は、対応するリモートコントロール信号を発光部１２４から出力させる（図１２のステップＳ２、ステップＳ１２、およびステップＳ１３）。制御部６３は、このリモートコントロール信号に対応する制御信号を編集部６１に出力してくるので、編集部６１の編集処理制御部９３は、これを受け付ける。ボタン１２１は、編集モードの開始または終了を切り換えるためのボタンであるが、ここでは、編集モードがまだ開始されていないので、編集部６１の編集処理制御部９３は、編集モードの開始を指令する制御信号としてこれを受け付ける。なお、図１５乃至図１８の処理において、ユーザによりリモートコントローラ５５に入力される操作に対する、リモートコントローラ５５による赤外線信号発光処理の詳細は、図１２および図１３を用いて上述したので省略する。

ステップＳ８２において、編集処理部８３の編集処理制御部９３は、ステップＳ８１で受け付けた制御信号に基づいて、編集するか否かの選択画面を示す画像データを生成し、画像信号出力部８４に出力する。なお、この例では、編集処理制御部９３が編集するか否かの選択画面を示す画像データを生成するようにしたが、あらかじめ記憶部６２に編集するか否かの選択画面を示す画像データを記憶させておき、ステップＳ８２の処理で記憶部６２から読み出すようにしてもよい。画像信号出力部８４は、編集処理制御部９３からの画像データをディスプレイ５４に出力し、表示させる。

ステップＳ８３において、編集処理部８３の編集処理制御部９３は、ユーザにより編集が選択されたか否かを判定する。具体的には、ユーザは、ステップＳ８２の処理によるディスプレイ５４の表示（すなわち編集するか否かの選択画面）に基づいて、編集をするか否かをリモートコントローラ５５を操作することで決定する。制御部６３は、リモートコントローラ５５からの赤外線信号を受光し、受光した赤外線信号に基づく制御信号を編集処理部８３に供給する。編集処理制御部９３は、この制御信号に基づいて判定を行う。ステップＳ８４において、編集が選択されていないと判定された場合、処理はステップＳ８１に戻り、それ以降の処理が繰り返される。

ステップＳ８３において、編集が選択されたと判定された場合、ステップＳ８４において、編集処理部８３の編集処理制御部９３は、動画像データの再生を動画再生装置５１に指令する。すなわち、編集処理制御部９３は、制御信号出力部８２を介して動画再生装置５１に動画像データの再生を指令する制御信号を出力する。これに対して、動画再生装置５１は、上述した図１４の処理により、動画像データを記録メディア５２から再生し、編集部６１の画像信号入力部８１に出力してくる。なお、図１５乃至図１８の処理において、動画再生装置５１における動画再生処理の詳細は、図１４を用いて上述したので省略する。

そこで、ステップＳ８５において、画像信号入力部８１は、動画再生装置５１により再生された動画像データを取得し、ステップＳ８６において、取得した動画像データを、画像信号出力部８４に出力する。画像信号出力部８４は、この動画像データをディスプレイ５４に出力し、表示させる。

いま、編集の内容が例えばズーム処理であるとすると、ステップＳ８７において、編集処理制御部９３は、ズーム処理の開始点（後述するパラメータとしては、編集開始フレームＦｓ）を受け付ける。このときディスプレイ５４には、所定のフレームレートで動画像データに基づくフレーム画像（なお、以下においては、フレーム画像をフレームと称する）が表示されている。ユーザは、ディスプレイ５４に表示された動画像を見て、ズーム処理の開始点を指定する操作を行う。例えばユーザは、ズーム開始のフレーム画像が表示されたタイミングでボタン１２３を押下する。編集処理制御部９３は、ボタン１２３が押下されたタイミングを受け付ける。なおこのとき、「ズーム処理を実行する開始点のフレームを、決定して下さい」というようなメッセージを、ディスプレイ５４に表示させるようにしてもよい。

ステップＳ８８において、編集処理部８３の編集処理制御部９３は、制御部６３からの、開始点を指定する制御信号に基づいて（なお、実際には、制御部６３から「決定」を示す制御信号が送信されてくるが、編集処理制御部９３は、開始点を指定する制御信号として受け付ける）、制御信号を取得した時刻に再生していたフレーム画像の画像データを、画像信号出力部８４に出力する。開始点に対応するフレームがフレーム＃１１である場合、画像信号出力部８４は、フレーム＃１１に対応する画像データをディスプレイ５４に出力し、静止画として表示させる。ディスプレイ５４には、例えば、フレーム＃１１の画像として、図１９に示されるような画像２０１が表示される。編集処理制御部９３は、このフレーム＃１１の番号を、ズーム開始フレームとして記憶する。

図１９には、星の図形２０２が表示されている。ユーザは、ディスプレイ５４に表示された画像２０１を見て、編集を開始する開始点のフレームが正しく表示されている場合、すなわち、図１９の画像２０１がズームを開始したいフレームの画像である場合（この例の場合、フレーム＃１１が、開始点である場合）には、リモートコントローラ５５のボタン１２３を押下し、ズームを開始したいフレームが正しく表示されなかった場合には、リモートコントローラ５５のボタン１２３を下方向や上方向に回動させることで、フレーム変更を指令する。具体的には、ボタン１２３を下方向に回動させて、巻き戻し（またはコマ戻し）再生を指令するか、ボタン１２３を上方向に回動させて、早送り（またはコマ送り）再生を指令する。リモートコントローラ５５の発光部１２４は、ユーザからの操作に基づいて、赤外線信号を出力し、制御部６３は、赤外線信号に基づく制御信号を編集部６１に出力する。

ステップＳ８９において、編集処理部８３の編集処理制御部９３は、制御部６３からの制御信号に基づいて、フレームの変更が指示されたか否かを判定する。この制御信号は、上述したように、決定を指令する制御信号（リモートコントローラ５５のボタン１２３の押下に対する制御信号）か、フレームの変更（コマ戻し再生またはコマ送り再生）を指令する制御信号（リモートコントローラ５５のボタン１２３を上または下方向への回動に対する制御信号）であるので、編集処理部８３の編集処理制御部９３は、この制御信号に基づいて判定を行う。フレームの変更（コマ戻し再生またはコマ送り再生）が指示されたと判定された場合、処理はステップＳ９０に進み、編集処理部８３の編集処理制御部９３はフレーム変更処理を実行する。すなわち、表示フレームがフレーム＃１１の前または後の他のフレームに１コマ（１フレーム）ずつ変更される。その後、処理はステップＳ８７に戻り、それ以降の処理が繰り返される。すなわち、再度、ズーム処理の開始点が受け付けられる。

ステップＳ８９において、フレームの変更が指示されていない、すなわち、ステップＳ８７で受け付けられた開始点の決定が指示されたと判定された場合、開始点以降の動画像データが再生され、ステップＳ９１に進み、編集処理制御部９３は、ズーム処理の終了点（編集終了フレームＦｅ）を受け付ける。このときディスプレイ５４には、所定のフレームレートで動画像データに基づくフレーム画像（開始点より後の時刻のフレーム画像）が表示されている。上述したステップＳ８７の処理と同様に、ユーザは、ディスプレイ５４に表示された動画像を見て、リモートコントローラ５５に対して、ズーム処理の終了点（例えば、フレーム＃１５）を指定する操作を行う。制御部６３は、リモートコントローラ５５からの赤外線信号に基づく制御信号を編集処理制御部９３に供給する。

ステップＳ９２において、編集処理部８３の編集処理制御部９３は、制御部６３からの、開始点を指定する制御信号に基づいて、終了点のフレーム＃１５の画像データを、画像信号出力部８４に出力し、ディスプレイ５４に静止画として表示させる。また、編集処理制御部９３は、そのフレーム番号を終了点として記憶する。編集処理部８３の編集処理制御部９３は、ステップＳ９３において、フレームの変更が指示されたか否かを判定し、フレームの変更が指示されたと判定された場合、ステップＳ９４においてフレーム変更処理を実行し、処理はステップＳ９１に戻る。

このように、ステップＳ８７乃至ステップＳ９０における開始点受付処理と同様の処理がステップＳ９１乃至ステップＳ９４で行なわれ、終了点が受け付けられる。

ステップＳ９３において、フレームの変更が指示されなかった、すなわち、ステップＳ９１で受け付けられた終了点の決定が指示されたと判定された場合、処理はステップＳ９５に進み、編集処理部８３は、制御部６３を介して、ユーザからの開始点と終了点の指定終了の指令を受け付ける。ユーザは、リモートコントローラ５５のボタン１２３を押下することで、開始点と終了点の指定終了の指令を行う。

ステップＳ９６において、編集処理部８３の編集処理制御部９３は、開始点から終了点までの区間の動画像データを要求する制御信号を、制御信号出力部８２を介して動画再生装置５１に送信し、動画再生装置５１から送信されてくる動画像データを、画像信号入力部８１を介して取得する。この動画像データは、編集の対象となる複数の連続するフレーム画像（例えば、フレーム＃１１乃至フレーム＃１５）のデータである。

ステップＳ９７において、編集処理部８３の編集処理制御部９３は、ステップＳ９６の処理で取得した開始点から終了点までの区間の動画像データを、記憶制御部８５を介して記憶部６２に記憶させる。勿論、ステップＳ８５で取得された動画像データが記憶部６２に既に記憶されているのであれば、ステップＳ９６およびステップＳ９７の処理は省略される。

ステップＳ９８において、編集処理制御部９３は、記憶部６２に記憶させた開始点から終了点までの区間の動画像データを、記憶制御部８５を介して再生する。再生された動画像データは、画像信号出力部８４を介してディスプレイ５４に表示される。この再生は、開始点から終了点までの区間の動画像を、ユーザに確認させるためのものであり、繰り返し再生されるようにしてもよい。再生回数は、ユーザの指令により適宜調整される。なお、このステップはスキップされてもよい（すなわち、開始点から終了点までの区間の動画像の再生は行なわれなくてもよい）。

ステップＳ９９において、編集処理制御部９３は、開始点のフレーム＃１１に、編集範囲を規定する処理枠と、その中心を表わす画像を重畳して静止画として画像信号出力部８４を介してディスプレイ５４に出力する。これにより、ディスプレイ５４には、開始点のフレーム画像として、例えば、図２０Ａに示されるような画像２０１が表示される。図２０Ａの画像２０１は、上述した図１９の開始点のフレーム画像に、処理枠２０３と処理枠の中心である処理枠中心点２０４が付加されたものである。処理枠中心点２０４の初期位置は、画面の中央とされ、処理枠２０３の初期の大きさは、最大に設定されている。

ステップＳ１００において、編集処理部８３の編集処理制御部９３は、処理枠２０３の位置と大きさ（１回目のステップＳ１００の処理では、初期処理枠位置はＥｐ（０）、枠の大きさはＥｓ（０）とされ、２回目以降のステップＳ１００の処理では、処理枠位置はＥｐ（ｉ）、枠の大きさはＥｓ（ｉ）とされる（ただし、ｉはフレームを補正する回数に対応する））の指令を受け付ける。ディスプレイ５４には、図２０Ａに示される画像２０１が表示されているので、ユーザは、リモートコントローラ５５のボタン１２３を下方向に回動させることで、処理枠２０３の大きさを小さくするように指令し、上方向に回動させることで、処理枠２０３の大きさを大きくするように指令する。そして、ユーザは、リモートコントローラ５５を移動することで、処理枠２０３の位置（処理枠中心点２０４の位置）を移動するよう指令する。例えば、ユーザにより、リモートコントローラ５５のボタン１２３が下方向に回動された場合、図２０Ｂに示されるように、処理枠中心点２０４を中心として処理枠２０３が縮小される（処理枠中心点２０４の位置をそのままとして処理枠２０３が縮小される）。そして、ユーザにより、リモートコントローラ５５が相対的に左下に移動され、ボタン１２３が押下された場合、図２１に示されるように、処理枠２０３が図２０Ｂに示される状態から図中左下に移動され、決定される。ステップＳ１００の処理により、フレーム画像上の処理枠２０３の位置と処理枠２０３の大きさ、すなわち、編集範囲（初期処理枠位置Ｅｐ（０）、および枠の大きさＥｓ（０））がユーザによって指定されることになる。

処理枠２０３は、図２０Ａおよび図２０Ｂに示されるように、アスペクト比を固定とし、大きさだけが変化する。例えば、アスペクト比が３：４（縦：横）である場合、その処理枠２０３の大きさは、３センチ：４センチ、６センチ：８センチ、・・・というように、アスペクト比が固定で大きさが変化する。これにより、ユーザは、直感的な操作を行うことができる。通常のマウスの場合、アスペクト比も変化してしまうため、ユーザは位置と大きさを別々に入力する必要があるが、このリモートコントローラ５５では、アスペクト比が固定であるので、位置と大きさを別々に入力する必要がなくなり、迅速かつ、容易な入力が可能となる。

ステップＳ１０１において、編集処理部８３の編集処理制御部９３は、ステップＳ１００の処理でユーザにより指定された処理枠２０３の中心を演算し、図２１に示されるように、画像２０１に、処理枠２０３の中心である処理枠中心点２０４を付加したものを、画像信号出力部８４を介してディスプレイ５４に出力し、表示させる。このとき、編集処理部８３の編集処理制御部９３は、処理枠中心点２０４と追尾対象物の中心が等しいか否かを選択させるアイコン等を画像２０１の端に表示させる。

ユーザは、ディスプレイ５４に表示された画像に基づいて、処理枠中心点２０４と、追尾対象物の中心が等しいか否かを判断する。例えばユーザが画像２０１の中の星の図形２０２を追尾対象として指定するものとする。このときユーザは、星の図形２０２の中心と、処理枠中心点２０４が一致するか否かを判断する。ユーザは、図２１に示されるような画像２０１（処理枠中心点２０４と星の図形２０２の中心が等しい画像）が表示された場合には、中心が等しいと判断し、ディスプレイ５４に表示されている「等しい」と記載されたアイコン（図示せず）を選択してボタン１２３を押下する。一方、ユーザは、図２２に示されるように、処理枠中心点２０４（処理枠２０３の中心点）と星の図形２０２の中心が異なる画像２０１が表示された場合には、中心が等しくないと判断し、ディスプレイ５４に表示されている「等しくない」と記載されたアイコン（図示せず）を選択してボタン１２３を押下する。なお、編集処理制御部９３は、これらのアイコン（「等しい」および「等しくない」というアイコン）を表示させず、単に、リモートコントローラ５５のボタン１２３が選択された場合、等しいと判定し、ボタン１２３が上下に回動されたり、ボタン１２２が押下された場合に、等しくないと判定するようにしてもよい。

これに対して、編集処理制御部９３は、ステップＳ１０２において、ユーザからの指令に基づいて、処理枠中心点２０４と追尾対象物の中心点が等しいか否かを判定し、等しくないと判定された場合、すなわち、図２２に示されるような画像２０１がディスプレイ５４に表示された場合、処理はステップＳ１０３に進む。

ステップＳ１０３において、編集処理部８３の編集処理制御部９３は、図２３に示されるような追尾対象枠２１１の大きさと位置（例えば、追尾枠の位置Ｔｐ（０）および追尾枠の大きさＴｓ（０））の指令を受け付ける。この処理は、上述したステップＳ１００の処理と同様である。すなわち、ユーザは、初期位置に、初期の大きさで表示された追尾対象枠２１１の位置と大きさを、処理枠２０３の場合と同様に設定する。追尾対象枠２１１の中心には追尾枠中心点２１２が表示されており、トラッキング処理部９２は、この追尾中心点２１２上に位置する画像を追尾対象物として設定する。図２３の例では、星の図形２０２が追尾対象物とされる。すなわち、追尾対象枠２１１（追尾対象範囲）がユーザによって指定されることになる。

なお、ステップＳ１０２において、処理枠中心点２０４と追尾対象物の中心点（追尾枠中心点２１２）が等しいと判定された場合、ステップＳ１０３の処理はスキップされる。この場合、処理枠２０３の中心点の画像が追尾対象物として設定される。

ステップＳ１０３の処理が行われるか、またはスキップされた後、ステップＳ１０４において、編集処理部８３のトラッキング処理部９２は、開始点のフレームから終了点のフレームまで（例えば、フレーム＃１１乃至フレーム＃１５まで）、追尾対象物（いまの場合、星の図形２０２）のトラッキング処理を実行することで、開始点の次のフレーム（フレーム＃１２）から終了点のフレーム（フレーム＃１５）までの各フレームにおける処理枠２０３の位置を算出する。そして、ステップＳ１０５において、トラッキング処理部９２は、ステップＳ１０４のトラッキング処理の結果得られた結果としての開始点から終了点までの処理枠２０３の位置を表示する。

これにより、例えば、図２４に示されるように、フレーム＃１１、フレーム＃１２、フレーム＃１３、フレーム＃１４、およびフレーム＃１５の順に処理枠２０３がディスプレイ５４に表示される。

図２４においては、開始フレームがフレーム＃１１とされ、フレーム＃１１の処理枠２０３−１１の位置と大きさは、ステップＳ１００の処理により、ユーザにより指定されている。

トラッキング処理部９２は、例えば、ブロックマッチング法などにより、各フレームにおける追尾対象物の中心（追尾枠中心２１２）の位置を算出し、その位置の中心として設定された大きさの処理枠２０３を配置、表示させる。すなわち、トラッキング処理部９２は、編集範囲の中心の対象をトラッキング処理することで、開始点のフレーム＃１１以降のフレーム＃１２乃至フレーム＃１５の編集範囲、すなわち、処理枠２０３−１２乃至処理枠２０３−１５を算出する。トラッキング処理は、新たなフレームが入力される毎に行うようにしてもよいし、開始点のフレーム＃１１から終了点のフレーム＃１５までのデータが得られてから、まとめて行うようにしてもよい。

なお、図２４において、星の図形２０２、処理枠２０３、処理枠中心点２０４の後に付されている番号は、フレームの＃の後に付される番号に対応しており、以下において、星の図形２０２−１１乃至星の図形２０２−１５、処理枠２０３−１１乃至処理枠２０３−１５、並びに、処理枠中心点２０４−１１乃至処理枠中心点２０４−１５をそれぞれ個々に区別する必要がない場合、それぞれ星の図形２０２、処理枠２０３、および処理枠中心点２０４と称する。

図２４の例では、フレーム＃１１からフレーム＃１３までは、追尾の誤差は比較的小さいが、フレーム＃１４，フレーム＃１５においては、処理枠２０３−１４，２０３−１５の中心は、追尾対象物としての星の図形２０２−１４，２０２−１５の中心と大きくずれている。ユーザは、この誤差を目視し、必要に応じて補正を指示する。

このため編集処理部８３の編集処理制御部９３は、図２４に示される各フレームの画像２０１の例えば右端に「補正が必要ありますか？」というメッセージとともに、「必要ある」および「必要ない」というアイコン（図示せず）を表示させる。

ユーザは、ディスプレイ５４に表示された各フレームの処理枠２０３の位置を見て、補正が必要ない場合、すなわち、開始点のフレーム＃１１から終了点のフレーム＃１５までの各フレームにおける処理枠２０３と追尾対象物としての星の図形２０２との誤差が許容範囲内と判断する場合、「必要ない」というアイコンをリモートコントローラ５５のボタン１２３で選択する。一方、ユーザは、補正が必要である場合、すなわち、開始点のフレーム＃１１から終了点のフレーム＃１５までの各フレームにおける処理枠２０３と追尾対象物としての星の図形２０２との誤差が許容範囲を超えていると判断した場合、「必要ある」というアイコンをリモートコントローラ５５のボタン１２３で選択する。

トラッキング処理部９２は、オクルージョンや、追尾枠２０３の内部が変形する等の外乱が生じた場合、図２４のフレーム＃１４，フレーム＃１５に示されるように、追尾を失敗することがある。そのため、ユーザは、各フレームにおける処理枠２０３と追尾対象物としての星の図形２０２との誤差が許容範囲を超えていると判断した場合、「必要ある」というアイコンを選択するとともに、リモートコントローラ６３のボタン１２３を上方向や下方向に回動させることで、上述したステップＳ９０の処理と同様にフレーム変更を指令する。このフレーム変更は、補正するフレームを選択するためのものである。

そこで、ステップＳ１０６において、編集処理制御部９３は、ユーザにより補正が指示されたか否かを判定し、補正が指示されたと判定された場合（例えば、補正が「必要ある」というアイコンが選択された場合）、ステップＳ１０７において、ユーザからのリモートコントローラ５５を介するフレーム変更の指令に基づいて、フレームを変更し、これを補正するフレームの選択として受け付ける。このとき選択された補正するフレームのパラメータは、Ｆｎ（ｉ）とされる。ただし、ｎはフレーム番号を表わし、ｉは補正する回数を表わす。ユーザにより、フレーム＃１４が補正するフレームとして選択された場合、編集フレームＦ₁₄（１）とされる。

ステップＳ１０８において、編集処理部８３の編集処理制御部９３は、ユーザにより選択された補正するフレーム（いまの例の場合、Ｆ₁₄（１））に、編集範囲を規定する処理枠２０３−１４と、その中心を表わす画像を重畳して静止画として画像信号出力部８４に出力し、ディスプレイ５４に表示させる。このとき、１回目のトラッキング処理で算出されたフレーム＃１４の処理枠２０３−１４が表示される。その後、処理はステップＳ１００に戻り、それ以降の処理が繰り返される。

すなわち、ユーザにより選択された補正するフレーム（いまの例の場合、フレーム＃１４）の処理枠２０３’（この場合のパラメータは、処理枠位置Ｅｐ（ｉ）、および枠の大きさＥｓ（ｉ）（ただし、ｉは、上述した編集フレームＦｎの括弧の値と同じである））が再度設定される（ステップＳ１００の処理）。そして、トラッキング処理部９２によりトラッキング処理が再度行なわれる（ステップＳ１０４の処理）。すなわち、補正するフレーム画像（例えば、フレーム＃１４）の処理枠が、新たな処理枠２０３’（例えば、処理枠２０３−１４’）として受け付けられ、この補正されたフレームの処理枠２０３’（例えば、処理枠２０３−１４’）と、１回目のステップＳ１００で設定された先頭のフレームの処理枠２０３（例えば、処理枠２０３−１１）に基づいて、トラッキング処理が行なわれる。

ここで、補正されたフレームの処理枠に基づいて、再度行われるトラッキング処理の原理について説明する。いま図２５に示されるように、フレーム＃ｍ−１、フレーム＃ｍ、およびフレーム＃ｍ＋１において、それぞれ処理枠２０３−ｍ−１、処理枠２０３−ｍ、および処理枠２０３−ｍ＋１が、トラッキングしているものとする（ステップＳ１０４およびステップＳ１０５の処理）。また、フレーム＃ｍ−１は、開始点のフレーム、すなわち、１回目のステップＳ１００の処理で処理枠２０３−ｍ−１が設定されたものとする。ユーザにより、フレーム＃ｍが補正するフレームとして選択され（ステップＳ１０７の処理）、図２６のフレーム＃ｍに示されるように、処理枠が、処理枠２０３−ｍから処理枠２０３−ｍ’へと補正された場合（例えば、２回目のステップＳ１００の処理）、２回目のステップＳ１０４で再度トラッキング処理が行われる。２回目のトラッキング処理では、１回目のステップＳ１００の処理で指定された処理枠２０３−ｍ−１と、２回目のステップＳ１００の処理で指定された処理枠２０３−ｍ’に基づいてトラッキング処理が行われる。その結果、フレーム＃ｍ＋１の処理枠も、図２５の処理枠２０３−ｍ＋１から図２６の処理枠２０３−ｍ＋１’へと補正される。すなわち、補正したフレーム＃ｍの処理枠だけでなく、他のフレーム＃ｍ＋１の処理枠も補正したフレームの処理枠の補正に伴って補正される。図２５および図２６の例の場合、補正したフレームの後ろの処理枠だけが変更されたが、補正したフレームの前の処理枠も適宜変更される。例えば、図２５において、フレーム＃ｍ＋１を補正すれば、それより前のフレーム＃ｍが補正される。フレーム＃ｍ＋１より後のフレームがあれば、それも補正される。

このようなトラッキング処理により、図２４のフレーム＃１１乃至フレーム＃１５は、図２７に示されるように補正される。

具体的には、ステップＳ１０７において、フレーム＃１４が補正するフレームとして選択された場合、２回目のステップＳ１００の処理では、ユーザの指令に基づいて、図２４のフレーム＃１４の処理枠２０３−１４が、図２７のフレーム＃１４の処理枠２０３−１４’に示されるように補正（設定）される。そして、２回目のステップＳ１０４のトラッキング処理では、フレーム＃１１の処理枠２０３−１１と、フレーム＃１４の処理枠２０３−１４’とに基づいて、トラッキング処理が行なわれ、処理枠２０３’の位置が算出される。ここでは、トラッキング処理部９２は、補正されたフレーム＃１４の前後、例えば、フレーム＃１３およびフレーム＃１５についても追尾を行う。これにより、図２７に示されるように、フレーム＃１４の処理枠２０３−１４’の位置が図２４に対して変更されるだけでなく、フレーム＃１３の処理枠２０３−１３’、およびフレーム＃１５の処理枠２０３−１５’まで変更されることになる。

すなわち、ステップＳ１０６でユーザにより補正が必要であると判定された場合に実行されるステップＳ１００乃至ステップＳ１０５の処理は、１回目に実行されるトラッキング処理とは異なるものであり、単なる処理の繰り返しではない。２回目のトラッキング処理では、補正されたフレーム＃１４の処理枠２０３−１４’に基づいて、そのフレームの前後の処理枠２０３が補正されるので、追尾結果を向上させることができる。なお、図２７において、処理枠２０３−１１’および処理枠２０３−１２’は、それぞれ図２４の処理枠２０３−１１および処理枠２０３−１２と一致している。そして、以下においては、補正された処理枠２０３−１１’乃至処理枠２０３−１５’を処理枠２０３’と称する。

このように、ユーザが、開始点のフレームから終了点のフレームまでの各フレームにおける処理枠２０３と追尾対象物との誤差が許容範囲を超えていると判断した場合、補正するフレームを指定してその処理枠２０３（編集範囲）を処理枠２０３’に補正することで、ユーザは、補正が必要なフレームを簡単に修正することができる。また、ユーザにより補正されたフレームの処理枠２０３’と、開始点のフレームの処理枠２０３に基づいて、再度トラッキング処理が行なわれるので、処理枠２０３の修正を、迅速、かつ容易に行うことができる。さらに、補正が必要なフレームのうち、１つのフレームの処理枠を補正するだけで、その前後のフレームの処理枠もトラッキング処理により自動的に補正されるので、迅速かつ確実な補正が可能となる。

ステップＳ１０６において、補正が指示されなかった、すなわち、開始点のフレームから終了点のフレームまでの各フレームにおける処理枠２０３と追尾対象物との誤差が許容範囲を超えていないと判定された場合、ステップＳ１０９において、編集処理部８３のズーム処理部９１は、開始点と終了点間のズーム処理を実行する。具体的には、ズーム処理部９１は、図２７のフレーム＃１１乃至フレーム＃１５のそれぞれの処理枠２０３−１１’乃至処理枠２０３−１５’の中の画像だけを、例えば、ディスプレイ５４の表示枠の大きさに対応する大きさに拡大する。

ステップＳ１１０において、編集処理部８３の編集処理制御部９３は、ズーム処理部９１によりズーム処理の結果得られた動画像データ、すなわち、開始点のフレームから終了点のフレーム間のズーム処理された動画像データを連続再生し、画像信号出力部８４に出力する。画像信号出力部８４は、これをディスプレイ５４に表示させる。この処理により、ディスプレイ５４には、図２８に示されるように、図２７の処理枠２０３−１１’乃至処理枠２０３−１５’の内部を拡大した画像２５１が順次表示される。図２８において、フレーム＃１１Ａ乃至フレーム１５Ａは、それぞれ、図２７のフレーム＃１１乃至フレーム＃１５に対応している。補正の結果、トラッキング位置がより正確になっているので、このように、フレーム＃１１Ａ乃至フレーム＃１５Ａの星の位置や大きさの関係をなめらかに連続させることができる。

なお、ステップＳ１０９とステップＳ１１０の処理は、新たなフレームが入力される毎に行うようにしてもよいし、開始点のフレーム＃１１から終了点のフレーム＃１５までのデータが得られてから、まとめて行うようにしてもよい。以上の、上述したステップＳ８４乃至ステップＳ１１０の処理により、編集処理が行なわれる。編集処理部８３の編集処理制御部９３は、ズーム処理の結果の動画像データとともに、画像２０１の右端に「編集を終了しますか？」というメッセージ（図示せず）をディスプレイ５４に表示させる。

ステップＳ１１１において、編集処理部８３の編集処理制御部９３は、ユーザにより編集の終了が指令されたか否かを判定する。ユーザは、ステップＳ１１０の処理によるディスプレイ５４の表示を見て、処理を終了してよいと判断した場合（編集結果に満足している場合）にはボタン１２１を選択することで、編集モードの終了を指令し、処理を続けると判断した場合（編集結果に満足していない場合）、ボタン１２２およびボタン１２３を操作することで、動画像データの再生を指令する。編集処理部８３の編集処理制御部９３は、ユーザによりどのような操作がなされたか否かを、制御部６３を介して取得し、判定する。なお、実際には、ユーザにより編集モードを終了することが選択された場合、編集処理部８３の編集処理制御部９３に、編集モード開始または終了を指令する制御信号が供給されるが、編集処理制御部９３は、既に現在編集モードを実行しているので、編集モード終了の指令であると判断する。

ステップＳ１１１において、編集の終了が指令されたと判定された場合、すなわち、ユーザによりリモートコントローラ５５のボタン１２１が押下されたと判定された場合、ステップＳ１１２において、編集処理部８３の編集処理制御部９３は、編集モードを終了する。

ステップＳ１１３において、編集処理部８３の編集処理制御部９３は、結果を記憶するか否かを、ユーザの指令に基づいて判定する。具体的には、編集処理部８３の編集処理制御部９３は、結果を記憶するか否かを問い合わせるメッセージとともに、「記憶する」および「記憶しない」というアイコン（図示せず）を、ディスプレイ５４に表示させる。ユーザは、ディスプレイ５４に表示されたメッセージに基づいて、「記憶する」または「記憶しない」というアイコンをボタン１２３を操作することで選択する。編集処理部８３の編集処理制御部９３は、制御部６３を介してリモートコントローラ５５からの指令を受信し、この指令に基づいて判定を行う。

ステップＳ１１３において、結果を記憶すると判定された場合、ステップＳ１１４において、編集処理部８３の編集処理制御部９３は、処理のパラメータを、記憶制御部８５を介して記憶部６２に記憶させる。

この記憶させるパラメータには、上述した「編集開始フレームＦｓ」、「編集終了フレームＦｅ」、処理枠２０３に対応する「初期処理枠位置Ｅｐ（０）」、および「枠の大きさＥｓ（０）」が少なくとも含まれる。処理枠２０３の中心（例えば、図２３の処理枠中心点２０４）と追尾中心（例えば、図２３の星の図形２０２の追尾枠中心点２１２）が異なる場合、すなわち、ステップＳ１０２においてＮＯと判定された場合には、パラメータに「追尾枠の位置Ｔｐ（０）」および「追尾枠の大きさＴｓ（０）」がさらに含まれる。また、処理枠２０３を補正した場合、すなわち、ステップＳ１０６でYESと判定された場合には、補正された処理枠２０３’に対応する「編集フレームＦｎ（ｉ）」、「処理枠位置Ｅｐ（ｉ）」、および「枠の大きさＥｓ（ｉ）」が含まれ、この場合においても、処理枠２０３の中心と追尾中心が異なる場合には、「追尾枠の位置Ｔｐ（ｉ）」および「追尾枠の大きさＴｓ（ｉ）」がさらに含まれる。なお、ｉは、ｉ＝１乃至Ｎの数とされ、Ｎは、処理枠２０３を補正追加指定した数、すなわち、ステップＳ１０６でYESと判定された回数となる。

上述したパラメータをまとめると、以下のようになる。パラメータは、Ｆｓ、Ｆｅ、Ｆｎ（ｉ）、Ｅｐ（ｉ）、およびＥｓ（ｉ）であり、適宜Ｔｐ（ｉ）および、Ｔｓ（ｉ）が含まれる。なお、ｉ＝０乃至Ｎである。すなわち、処理枠２０３（編集範囲）の再現を可能とするパラメータが記憶部６２に記憶される。

ステップＳ１１３において、結果を記憶しないと判定された場合、またはステップＳ１１４の処理の後、処理は終了される。

図１５乃至図１８の処理をまとめると、以下のようになる。

編集部６１は、編集開始点のフレーム画像の処理枠（編集範囲）２０３をユーザの指令に基づき設定し、トラッキング処理を行ない、トラッキング処理の結果の連続するフレーム画像上の処理枠２０３を順次表示する。ユーザは、このトラッキングの処理結果に対して、補正が必要であると判断した場合、補正するフレーム画像を選択し、ディスプレイ５４に表示させる。編集部６１は、このフレーム画像の処理枠２０３（補正値）を、ユーザの指令に基づき設定し（補正し）、トラッキング処理を行う。そして、処理結果がディスプレイ５４に表示される。２回目のトラッキング処理では、開始点のフレームの処理枠２０３に加え、補正された処理枠２０３’（本実施の形態の場合、フレーム＃１４の処理枠２０３−１４’）を利用して再度トラッキング処理が行なわれるので、複数の連続するフレームの処理枠２０３の指定を容易に行うことができる。また、１フレームごとに処理枠２０３を指定しなくても、トラッキング処理により処理枠２０３が生成され、生成された処理枠２０３の補正が必要である場合には、補正が必要なフレームのみ処理枠２０３’を指定することができ、補正された処理枠２０３’に基づいて、さらに処理枠２０３が生成されるので、容易、かつ迅速に処理枠を設定することができる。

なお、図１５乃至図１８の例では、ステップＳ１１４においてパラメータを記憶させるようにしたが、編集が施された画像データそのもの（この場合、ズーム処理が実行された画像データ）を生成し、記憶させるようにしてもよい。

次に、図２９のフローチャートを参照して、編集部６１における再生処理を説明する。なお、この処理は、ユーザによりリモートコントローラ５５のボタン１２２が押下されたとき、すなわち、ユーザによりメニューの表示が指令されたとき開始される。

ステップＳ１５１において、編集処理部８３の編集処理制御部９３は、制御部６３を介して、ユーザからのメニュー画面の表示の指令を（リモートコントローラ５５を介して）受信し、動画再生装置５１を制御して、メニュー画面に基づく画像データを生成し、画像信号出力部８６を介してディスプレイ５４に出力する。具体的には、編集処理制御部９３は、メニュー画面の表示の指令を受信し、制御信号出力部８２を介して動画再生装置５１を制御し、記録メディア５２に記録されているコンテンツの情報を出力させる。画像信号入力部８１は、動画再生装置５１からの情報を編集処理制御部９３に出力する。編集処理制御部９３は、入力された情報に基づいて、メニュー画面に基づく画像データを生成し、画像信号出力部８４を介してディスプレイ５４に出力し、表示させる。ユーザは、ディスプレイ５４に表示されたメニュー画面に基づいて、編集データの再生を、リモートコントローラ５５のボタン１２３を上下方向に回動させ、ボタン１２３を押下することで選択する。

これに対して、編集処理部８３の編集処理制御部９３は、ステップＳ１５２において、編集データ再生の指令を、制御部６３を介して受け付ける。

ステップＳ１５３において、記憶制御部８５は、編集処理部８３の編集処理制御部９３からの制御に基づいて、記憶部６２に編集データのパラメータが記憶されているか否かを検索し、パラメータが記憶されていると判定された場合、ステップＳ１５４において、編集処理部８３の編集処理制御部９３は、図３０に示されるように、編集データがあることを示すアイコン２６１を、画像信号出力部８６を介してディスプレイ５４に表示させる。これに対して、ユーザは、リモートコントローラ５５のボタン１２３を押下することで、編集データの表示を指令する。ステップＳ１５３のパラメータの検索で、複数のパラメータ（複数の編集データ）が記憶されていた場合、編集処理部８３の編集処理制御部９３は、ステップＳ１５４の処理では、これを選択させるために、複数のアイコンをディスプレイ５４に表示させ、ユーザに選択を促す。ユーザは、ボタン１２３を上下に回動させるとともに、ボタン１２３を押下することでアイコンを選択する。

ステップＳ１５５において、編集処理部８３の編集処理制御部９３は、ユーザの指令に基づいて、編集データの表示が指令されたか否かを判定し、編集データの表示が指令されなかったと判定された場合、処理は終了される。ステップＳ１５５において、編集データの表示が指令されたと判定された場合、処理は、ステップＳ１５６に進み、記憶制御部８５は、編集処理部８３の編集処理制御部９３からの制御に基づいて、記憶部６２からパラメータを読み出す。記憶制御部８５は、記憶部６２に複数のパラメータ（編集データ）が記憶されていた場合には、対応するパラメータを選択して読み出す。

ステップＳ１５７において、編集処理部８３のズーム処理部９１は、記憶制御部８５により読み出されたパラメータに基づいて、ズーム処理（編集処理）を実行する。この処理は上述した図１７のステップＳ１０９の処理と同様であるので、その説明は省略する。読み出されたパラメータには、上述したように、Ｆｓ、Ｆｅ、Ｆｎ（ｉ），Ｅｐ（ｉ）、およびＥｓ（ｉ）が少なくとも含まれ、適宜Ｔｐ（ｉ）および、Ｔｓ（ｉ）が含まれる（なお、ｉ＝０乃至Ｎ）。

ステップＳ１５８において、編集処理部８３の編集処理制御部９３は、ズーム処理部９１によりズーム処理がなされた動画像データを連続再生し、画像信号出力部８４を介してディスプレイ５４に出力する。ディスプレイ５４は、ズーム処理がなされた動画像を表示する。この処理は、上述した図１８のステップＳ１１０の処理と同様である。ステップＳ１５８の処理の後、処理は終了される。

ステップＳ１５３において、パラメータが記憶されていないと判定された場合、ステップＳ１５９において、編集処理部８３の編集処理制御部９３は、通常表示処理を行ない、ステップＳ１６０において、動画像データを、画像信号出力部８４を介して出力し、ディスプレイ５４に表示させる。具体的には、対応する動画像データを再生するような制御信号を、制御信号出力部８２を介して動画再生装置５１に出力し、画像信号入力部８１を介して動画再生装置５１から入力された、再生された動画像データを、画像信号出力部８４を介してディスプレイ５４に出力する。ステップＳ１６０の処理の後、処理は終了される。

図２９の処理により、編集され、記憶された動画像データのパラメータに基づいて、動画像データが再生される。

以上の処理により、動画像を編集する場合、ユーザによる処理の開始点と終了点の指定に基づいて、その区間（複数の連続するフレーム）の編集範囲（処理枠２０３）をトラッキングすることで算出し、算出された開始点から終了点までのフレーム画像上の編集範囲（処理枠２０３）を表示し、ユーザによる必要に応じた操作（補正の指令）に基づいて、処理枠２０３を補正し、その処理枠２０３’（編集範囲の補正値）を利用して再度トラッキングして更新するように編集するようにしたので、ユーザは簡単な操作で、編集を容易、かつ迅速に行うことができる。

また、フレームごとに処理枠２０３の指定を必要としないため、フレームごとに処理範囲が変化するような動画像の編集においても、簡単に編集を行うことができる。さらに、補正が必要なフレームのみの処理枠２０３を補正して処理枠２０３’とすることができる。また、処理枠２０３（編集範囲の初期値）と、補正された補正処理枠２０３’（編集範囲の補正値）に基づいて、トラッキング処理が行なわれ、処理枠２０３が更新されるので、ユーザによる処理枠２０３の指定を最小限に抑えることができる。

さらに、トラッキング処理の結果をリアルタイムでディスプレイ５４に表示させるようにしたので、ユーザは、直感的で分りやすい編集を行うことができる。

また、リモートコントローラ５５のように、ユーザインターフェースを簡単な構成としたので、ユーザは、簡便な操作で変更や確認を行うことができる。

さらに、フレームごとに処理範囲が変化するような動画像の編集においても、処理をする範囲の指定を容易、かつ迅速に行うことができる。また、編集処理と処理結果の表示を容易に行うことができる。

なお、以上の例では、編集処理をズーム処理として説明したが、編集処理はこれに限らず、モザイク、ノイズ除去、ぼけ除去などの様々な処理としてもよい。

また、以上の例では、パラメータを記憶部６２に記憶させるようにしたが、記録メディア５２、動画再生装置５１内、または画像処理装置５３の内部に記録させるようにしてもよい。この場合、記録メディア５２に記録されているコンテンツ（画像データ）に対応付けて記録させることができる。

さらに、リモートコントローラ５５の操作ボタン等においても、これに限定されない。また、リモートコントローラ５５は、赤外線を利用しないようにしてもよく、マウス等の入力装置としてもよい。

なお、以上の例では、処理枠２０３を指定する場合に、処理枠２０３のアスペクト比を固定にするようにしたが、アスペクト比を変更できるようにしてもよい。この場合、例えば、リモートコントローラ５５のボタン１２３を左右に動かせるようにすることで、枠の大きさを狭くしたり、広くすればよい（例えば、左の場合水平方向に狭く、右の場合水平方向に広くする）。

また、図５の例では、動画再生装置５１、記録メディア５２、および画像処理装置５３を別としたが、一体としてもよい。勿論、これに加えてディスプレイ５４を含む画像処理システム５０を一体としてもよい。

さらに、図１５乃至図１８の処理では、開始点のフレーム＃１１の処理枠２０３−１１を初期処理枠位置Ｅｐ（０）、および枠の大きさＥｓ（０）として受け付けたが、任意のフレーム画像の処理枠位置と枠の大きさを、初期値処理枠位置および枠の大きさとしてもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図３１に示されるようなパーソナルコンピュータ３００により実行される。

図３１において、CPU（Central Processing Unit）３０１は、ROM(Read Only Memory)３０２に記憶されているプログラム、または、記憶部３０８からRAM(Random Access Memory)３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、内部バス３０４を介して相互に接続されている。この内部バス３０４にはまた、入出力インターフェース３０５も接続されている。

入出力インターフェース３０５には、キーボード、マウスなどよりなる入力部３０６、CRT，LCD（Liquid Crystal Display）などよりなるディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９、並びに、ＩＣカードリーダライタ４０１が接続されている。通信部３０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア３２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３１に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア３２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３０２や記憶部３０８が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

従来の静止画における編集を説明する図である。 従来の動画像における編集を説明する図である。 従来の動画像における編集を説明する図である。 図３の処理枠をズームした場合の図である。 本発明を適用した画像処理システムの構成例を示す図である。 図５の編集部の機能的構成例を示すブロック図である。 リモートコントローラの外観の構成を示す斜視図である。 リモートコントローラの平面図である。 リモートコントローラの正面図である。 リモートコントローラの右側図である。 図５のリモートコントローラの機能的構成例を示すブロック図である。 赤外線信号発光処理を説明するフローチャートである。 赤外線信号発光処理を説明するフローチャートである。 動画再生処理を説明するフローチャートである。 編集処理を説明するフローチャートである。 編集処理を説明するフローチャートである。 編集処理を説明するフローチャートである。 編集処理を説明するフローチャートである。 ディスプレイに表示される画像を説明する図である。 ディスプレイに表示される画像を説明する図である。 ディスプレイに表示される画像を説明する図である。 ディスプレイに表示される画像を説明する図である。 ディスプレイに表示される画像を説明する図である。 ディスプレイに表示される動画像の遷移を説明する図である。 処理枠の補正を説明する図である。 処理枠の補正を説明する図である。 ディスプレイに表示される動画像の遷移を説明する図である。 図２７の処理枠をズームした場合を説明する図である。 再生処理を説明するフローチャートである。 ディスプレイに表示される画像を説明する図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

５０ 画像処理システム， ５１ 動画再生装置， ５２ 記録メディア， ５３ 画像処理装置， ５４ ディスプレイ， ５５ リモートコントローラ， ６１ 編集部， ６２ 記憶部， ６３ 制御部， ８１ 画像信号入力部， ８２ 制御信号出力部， ８３ 編集処理部， ８４ 画像信号出力部， ８５ 記憶制御部， ９１ ズーム処理部， ９２ トラッキング処理部， ９３ 編集処理制御部， １２１乃至１２３ ボタン， １２４ 発光部， １３１ リモートコントロール信号処理部， １３２ 移動量検出部， ２０２ 星の図形， ２０３ 処理枠， ２０４ 処理枠中心点， ２１１ 追尾対象枠， ２１２ 追尾枠中心点

Claims (7)

1. 動画像を編集する画像処理装置において、
   ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像を取得するフレーム画像取得手段と、
   前記ユーザからの指令に基づいて、前記フレーム画像取得手段により取得された前記複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値を受け付ける受付手段と、
   前記受付手段により受け付けられた前記初期値に基づいて、前記複数の連続するフレーム画像上の前記編集範囲を、トラッキング処理を行うことで算出する算出手段と、
   前記算出手段により算出された前記複数の連続するフレーム画像上の前記編集範囲を表示する表示手段とを備え、
   前記受付手段は、前記表示手段により表示された前記編集範囲の補正値を受け付け、
   前記算出手段は、前記受付手段により受け付けられた前記初期値と前記補正値に基づいて、前記複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する
   ことを特徴とする画像処理装置。
2. 前記受付手段は、前記編集範囲の初期値を、先頭のフレーム画像上で受け付ける
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記受付手段は、前記トラッキング処理の対象をさらに受け付け、
   前記算出手段は、前記受付手段により受け付けられたトラッキング処理の対象をトラッキング処理することで算出を行う
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記算出手段は、前記編集範囲の中心の対象をトラッキング処理することで算出を行う
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記受付手段は、前記編集範囲のアスペクト比を固定として、前記編集範囲の大きさの変更を受け付ける
   ことを特徴とする請求項１に記載の画像処理装置。
6. 動画像を編集する画像処理装置の画像処理方法において、
   ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像を取得するフレーム画像取得ステップと、
   前記ユーザからの指令に基づいて、前記フレーム画像取得ステップの処理により取得された前記複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値を受け付ける第１の受付ステップと、
   前記第１の受付ステップの処理により受け付けられた前記初期値に基づいて、前記複数の連続するフレーム画像上の前記編集範囲を、トラッキング処理を行うことで算出する第１の算出ステップと、
   前第１の記算出ステップの処理により算出された前記複数の連続するフレーム画像の前記編集範囲を表示するよう制御する表示制御ステップと、
   前記表示ステップの処理により表示が制御された前記編集範囲の補正値を受け付ける第２の受け付けステップと、
   前記第１の受付ステップの処理により受け付けられた前記編集範囲と、前記第２の受け付けステップの処理により受け付けられた前記補正値とに基づいて、前記複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する第２の算出ステップと
   を含むことを特徴とする画像処理方法。
7. 動画像を編集するプログラムであって、
   ユーザからの指令に基づいて、編集の対象となる複数の連続するフレーム画像を取得するフレーム画像取得ステップと、
   前記ユーザからの指令に基づいて、前記フレーム画像取得ステップの処理により取得された前記複数の連続するフレーム画像のうちの任意の順番のフレーム画像における編集の対象となる編集範囲の初期値を受け付ける第１の受付ステップと、
   前記第１の受付ステップの処理により受け付けられた前記初期値に基づいて、前記複数の連続するフレーム画像上の前記編集範囲を、トラッキング処理を行うことで算出する第１の算出ステップと、
   前第１の記算出ステップの処理により算出された前記複数の連続するフレーム画像の前記編集範囲を表示するよう制御する表示制御ステップと、
   前記表示ステップの処理により表示が制御された前記編集範囲の補正値を受け付ける第２の受け付けステップと、
   前記第１の受付ステップの処理により受け付けられた前記編集範囲と、前記第２の受け付けステップの処理により受け付けられた前記補正値とに基づいて、前記複数の連続するフレーム画像の範囲を、トラッキング処理を行うことで再度算出する第２の算出ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images