JP2014165530A - 画像処理システム - Google Patents

Abstract

【課題】撮影者の意図を反映した動画像を取得することができる画像処理システムを提供すること。
【解決手段】画像処理システム６００であって、動画像を取得し、フレーム画像を生成する動画像取得部１２と、前記動画像取得部による前記動画の撮影中に操作者からの操作を受け付ける操作受付部１５と、前記操作受付部で前記操作が受け付けられた時間情報を取得し、前記時間情報に基づいて、前記操作受付部で前記操作が受け付けられている間に前記動画像取得部で生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとして特定する特定部１４と、前記動画像取得部で生成されたフレーム画像のうち、前記特定フレームから所定時間離れたフレーム画像を非特定フレームとするとき、前記非特定フレームが前記特定フレームに対して目立たなくなるような画像処理を、前記非特定フレームに対して行う動画処理部１３と、を備える。
【選択図】図１

Description

本発明は、動画像の画像処理を行う画像処理システムに関する。

従来より動画像の再生を行う装置において、被写体認識等を用いて、重要なフレームとそれ以外を判別し、データの軽減を行う装置が提案されている（例えば、特許文献１、特許文献２）。

一方で、撮影時にフレームレートを変更することが出来るイメージングデバイスを利用して、撮影のタイミングに応じて、前記のイメージングデバイスの操作方法（フレームレート）を変更する撮像装置も提案されている（例えば、特許文献３、特許文献４）。

特開２００６−１０９１１９号公報 特開２０１１−１９３３００号公報 特開２０１０−８８０５０号公報 特開２０１０−８８０４９号公報

特許文献１、２に提案された技術を利用して、撮像後に、その画像の特徴やキーワードに基づいて動画像の編集を行うことができる。動画像の編集を撮影者自身が行う場合には、撮影者の意図をある程度反映した編集を行うことは容易であるが、撮影者でない者が編集する場合には、撮影者の意図通りの編集を行うことは容易ではない。

一方で、特許文献３，４に提案された技術では、撮影と動画像の画質変更＝フレームレート変更がリアルタイムを行えるため、撮影者の意図を反映した効果を動画像に付加することが可能である。しかしながら、イメージャのフレームレートは撮影開始時の設定で決まってしまい、その後変更することは出来ず、柔軟性に難がある。

本願発明は、上記課題に鑑み、撮影者の意図を反映した動画像を取得することができる画像処理システムを提供することを目的とする。

上記目的を達成するために、画像処理システムは、動画像を取得し、フレーム画像を生成する動画像取得部と、前記動画像取得部による前記動画像の取得時に操作者からの操作を受け付ける操作受付部と、前記操作受付部で前記操作が受け付けられた時間情報を取得し、前記時間情報に基づいて、前記操作受付部で前記操作が受け付けられている間に前記動画像取得部で生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとして特定する特定部と、前記動画像取得部で生成されたフレーム画像のうち、前記特定フレームから所定時間離れたフレーム画像を非特定フレームとするとき、前記非特定フレームが前記特定フレームに対して目立たなくなるような画像処理を、前記非特定フレームに対して行う動画処理部と、を備える。

これにより、撮影者の操作により特定されたフレーム画像に対して相対的に強調した画像処理がなされるので、撮影者の意図を反映した動画像を取得することができる。

本発明によれば、撮影者の意図を反映した動画像を取得することができる画像処理システムを提供することができる。

本実施形態を適用した画像処理システム６００に含まれる画像処理装置１のブロック図である。 画像処理装置１による処理の手順を説明するフローチャートである。 画像処理装置１による他の処理の手順を説明するフローチャートである。 画像処理装置２のブロック図である。 画像処理装置２により行われる画像処理の区間を示す図である。 画像処理装置３のブロック図である。 画像処理装置３による処理の手順を説明するフローチャートである。 画像処理装置３による他の処理の手順を説明するフローチャートである。 画像処理装置４のブロック図である。 コントラスト低下処理の例を示す図である。 彩度低下処理の例を示す図である。 第２実施形態による処理の手順を説明するフローチャートである。 第２実施形態による輝度低下処理の範囲（区間）を示す図である。 第３実施形態による処理の手順を説明するフローチャートである。 第４実施形態によるフレームレート変換（補間処理）の過程を模式的に示す図である。 第４実施形態によるフレーム間のフィルタ処理を説明する図である

以下、図面に従って本発明の実施形態を説明する。
〔第1実施形態〕〔第１構成〕
図１は、本実施形態を適用した画像処理システム６００に含まれる画像処理装置の第1構成のブロック図である。画像処理装置の第１構成を、画像処理装置１として示す。第1構成は第1実施形態を実現するための最小構成である。

画像処理装置１は、動画像取得部１２、動画処理部１３、特定部１４、操作受付部１５を有する。図１を含む以降のブロック図では、画像データの流れを太線で示し、制御信号の流れを破線で示し、特定フレームを特定するためのデータの流れを細線で示す。

動画像取得部１２は、動画像を取得し、フレーム画像を生成する。動画像取得部１２は、それ自体が動画像撮影部であっても良いし、他の機器から供給される動画像を取得するものであってもよい。

操作受付部１５は、動画像取得部１２による動画像の取得中に、画像処理システム６００の操作者から操作を受け付けるものである。操作受付部１５は、例えば、スイッチである。スイッチの形式としては、いわゆるモメンタリータイプでも良いし、第1の位置と第２の位置の２つの状態を保持可能な押圧タイプの２段式スイッチやメカニカルなスライドスイッチでよい。またタッチパネルであってもよい。

また、操作受付部１５は、操作者の操作する意志を検出するものであれば良く、例えば操作者の脳波を検出する装置や、操作者の動作を検出するいわゆるモーションキャプチャーであっても良い。

特定部１４は、操作受付部１５で操作が受け付けられた時間情報を取得し、時間情報に基づいて、操作受付部１５で操作が受け付けられている間に動画像取得部１２で生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとして特定するものである。

動画処理部１３は、動画像取得部１２で生成されたフレーム画像のうち、特定フレームから所定時間あるいは所定フレーム数だけ離れたフレーム画像の少なくとも一部を非特定フレームとし、非特定フレームが特定フレームに対して相対的に目立たなくなるような画像処理（以下で、低画質化処理あるいは低下処理とも呼ぶ）を、非特定フレームに対して行う。

非特定フレームとしては、特定フレームから所定時間（あるいは所定フレーム数）離れた一定範囲に属する複数のフレーム画像であるが、単一のフレーム画像であってもよい。また、特定フレームから所定時間（あるいは所定フレーム数）以内の範囲、つまり特定フレームの近傍の範囲を、特定区間とする。また、非特定フレームが属する区間を非特定区間と呼び、非特定区間は、特定フレームから所定時間（あるいは所定フレーム数）だけ離れた一定の範囲、つまり特定区間の外側の範囲となる。

動画処理部１３は、低下させるような画像処理の種類として、輝度・色・コントラスト等各種画像処理を施す。そして、動画処理部１３は、非特定区間に属するフレーム画像に低下処理を行って、相対的に特定フレームを含む画像（特定区間に属する画像）が強調されて表示されるようにする。動画処理部１３は、非特定区間の画像への低下処理だけでなく、特定区間の画像への強調処理を行ってもよい。低下処理と強調処理をまとめて、低下等処理と呼ぶ。

図２は、画像処理装置１による処理の手順を説明するフローチャートである。動画像取得部１２が動画像の取得を開始しているかを判断する（ステップＳ１００）。動画像取得部１２が例えば動画像撮影部であった場合には、動画像取得部１２は、図示していない撮影指示ボタンの操作者の操作によって、動画像の取得を開始する。

動画像取得部１２が動画像の取得を開始していない場合には（ステップＳ１００Ｎｏ）、開始されるまでステップＳ１００をループする。動画像取得部１２が動画像の取得を開始した場合には（ステップＳ１００Ｙｅｓ）、特定部１４は、操作受付部１５で操作がされたかを判断する（ステップＳ１０２）。

特定部１４は、操作受付部１５で操作がされたと判断しない場合には（ステップＳ１０２Ｎｏ）、ステップＳ１０２をループする。特定部１４は、操作受付部１５で操作がされたと判断する場合には（ステップＳ１０２Ｙｅｓ）、その操作された時刻に対応するフレーム画像を特定する。特定部１４は、動画像取得部１２から出力されるフレーム番号あるいは時間情報と操作受付部１５での操作タイミングを対比して、操作された時刻に対応するフレーム画像を特定する（ステップＳ１０４）。

特定部１４は、特定したフレーム画像(特定フレーム、以下Ｆ[ｂ]と表す)として（Ｄ１０２）、Ｆ[ｂ]の情報を動画処理部１３に出力する。ここで、Ｆ[ｂ]のｂは整数であり、フレームの番号を示す。なお、操作者により操作受付部１５が操作されるシーンを、以下で特定シーンとも呼ぶ。

特定区間の長さ（期間）をＴｈ１、非特定区間の長さ（期間）をＴｈ２とする、Ｔｈ１、Ｔｈ２は、例えばフレーム画像数（例えば、２００フレーム）で示されるものである。Ｔｈ１、Ｔｈ２の値は、動画処理部１３に記憶されている。Ｔｈ１、Ｔｈ２の値は、デフォルトで予め定められていても良いし、操作者が任意に設定できるようにしてもよい。

動画処理部１３は、Ｆ[ｂ]以降に取得されたフレーム画像Ｆ[ｂ＋ｉ]（ｉ＝１，２・・・、ｉは整数）のうち、Ｆ[ｂ]〜Ｆ[ｂ＋Ｔｈ１]間（特定区間）のフレーム画像が相対的に強調されるよう、Ｆ[ｂ＋Ｔｈ１]〜Ｆ[ｂ＋Ｔｈ１＋Ｔｈ２]間（非特定区間）に属ずるフレーム画像に低下処理を行う（ステップＳ１０６）。

例えば、Ｔｈ１＝２秒相当、Ｔｈ２＝４秒相当とすると、動画処理部１３は、操作受付部１５の操作後２秒間の動画像が強調されるように、操作後２秒から６秒までの４秒間の動画像について、低下処理を行う。

低下処理の種類としては、上述の通り例えば、コントラスト低下、輝度低下、彩度低下、先鋭度低下等である。さらに、本実施形態では、非特定区間だけ解像度を下げることや、フレーム画像を間引いて早送り的な画像を作成することや、ノイズを増加させることも、低下処理の１つとする。また、これらの処理を複数組み合わせてもよい。

図３は、画像処理装置１による他の処理の手順を説明するフローチャートである。図３では、動画処理部１３は、操作受付部１５による受付操作がされる前のフレーム画像に低下処理を行い、受付操作後の特定区間のフレーム画像に通常あるいは強調処理を行う。さらに、動画処理部１３は、特定区間後の非特定区間のフレーム画像に低下処理を行う。

動画像取得部１２が動画像の取得を開始しているかを判断する（ステップＳ１１０）。動画像取得部１２は、上述した撮影指示ボタン等への操作者の操作によって、動画像の取得を開始する。

動画像取得部１２が動画像の取得を開始していない場合には（ステップＳ１１０Ｎｏ）、ステップＳ１１０をループする。動画像取得部１２が動画像の取得を開始した場合には（ステップＳ１１０Ｙｅｓ）、特定部１４は、操作受付部１５で操作がされたかを判断する（ステップＳ１１２）。

特定部１４は、操作受付部１５で操作がされたと判断しない場合には（ステップＳ１１２Ｎｏ）、動画処理部１３は、取得されたフレーム画像に低下処理を施す（ステップＳ１１４）。つまり、低下処理の種類がコントラストであれば、動画処理部１３は、操作受付部１５で操作がされるまで、取得されたフレーム画像にコントラスト低下処理を行う。

特定部１４は、操作受付部１５で操作されたと判断すると（ステップＳ１１２Ｙｅｓ）、その操作された時刻に対応するフレーム画像を特定する（ステップＳ１１６）。特定部１４は、動画像取得部１２から出力されるフレーム番号あるいは時間情報と操作受付部１５での操作タイミングを対比して、操作された時刻に対応するフレーム画像を特定する。特定部１４は、特定したフレーム画像の番号をｂとして（Ｄ１１２）、Ｆ[ｂ]の情報を動画処理部１３に出力する。

動画処理部１３は、Ｆ[ｂ]以降に取得されたフレーム画像のうち、Ｆ[ｂ＋Ｔｈ１]〜Ｆ[ｂ＋Ｔｈ１＋Ｔｈ２]間のフレーム画像に対して、低下処理（例えばコントラスト）を行う（ステップＳ１１８）。

図３の例によれば、操作受付部１５に対する操作の前で画質が低下し、操作直後に画質が向上してから再度画質が低下する。このように、操作の前後で画質がより大きく変化することになり、撮影者の意図が強く反映された画像を作成することができる。なお、動画処理部１３は、操作受付部１５に対する操作があった後のＴｈ１区間で強調処理（例えばコントラスト）をしてもよい。これにより、更に見る側に操作前後で異なる印象を与えることができる。

〔第２構成〕
図４は、画像処理装置の第２構成のブロック図である。第２構成を画像処理装置２として示す。画像処理システム６００に含まれる画像処理装置２は、画像取得部２０と、画像処理部３０と、記録部Ａ４１と、操作者から画像処理装置２への操作指示を受け付けるユーザーインターフェイス５０、制御部６０とを有する。なお、構成１と同じ部位には同じ符号を付けて示し、また、破線、細線及び太線による流れの意味は、構成１と同様である。

制御部６０は、ユーザーインターフェイス５０を介して操作者から指示を受け、画像取得部２０、記録部Ａ４１及び画像処理部３０等の駆動制御を行う。制御部６０は、ＣＰＵからなり、メモリ６２が接続される。ＣＰＵは、メモリ６２に格納された制御プログラムを読込んで、各制御処理を実行する。

画像取得部２０は、構成１の動画像取得部１２の１形態で、撮像レンズ部２０１と撮像部２０２とを有する。撮像レンズ部２０１は、画像を撮影（又は撮像）するもので、１つ以上のレンズ要素から構成され外部から取り込んだ光を結像する撮像レンズ（又は撮影レンズ）２０１a（不図示）を有する。

撮像部２０２は、結像光を光電変換するイメージャと、イメージャからの信号を処理する信号処理部からなる。撮像部２０２は、撮影レンズ２０１ａにより結像された光学像を電気信号に変換し、さらにこの電気信号をデジタル信号に変換し画像データを生成する。

記録部Ａ４１は、画像処理部３０から出力された画像データを保存記録するもので、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や半導体メモリである。

ユーザーインターフェイス５０は、ＲＥＣボタン５０１と特定ボタン５０２を有する。ＲＥＣボタン５０１は操作者から動画像の撮影記録の開始と終了の指示を受け付ける。特定ボタン５０２は、構成１の操作受付部１５の１形態で、動画像の撮影記録動作中に、操作者から特定の指示を受け付ける。

画像処理部３０は、画像取得部２０で取得された動画像に画像処理を施すもので、フレームメモリ３０１と特定部１４と動画処理部１３とを有する。フレームメモリ３０１は、ＤＲＡＭ等から構成され、撮像部２０２から出力された複数枚の画像データを一時的に記録する一時記憶部である。

特定部１４は、動画像の撮影記録動作中に操作者からの特定ボタン５０２への指示（押下）を受け付ける。そして、特定部１４は、フレームメモリ３０１に記録されている動画像の各フレーム画像の撮影時刻に係わるデータと特定ボタン５０２が押下された時間を照合し、特定ボタン５０２が押下された時間に対応するフレーム画像である特定フレームＦ[ｂ]を特定するデータを、動画処理部１３に供給する。

動画処理部１３は、特定フレームＦ[ｂ]を特定するデータに基づき、フレームメモリ３０１に記録されている動画像のフレームデータに画像処理を施す。例えば、動画処理部１３は、特定フレームＦ[ｂ]を含む特定区間の前後に位置する非特定区間につき画像の低下処理（例えば、輝度低下）を行う。動画処理部１３は、特定区間に属するフレーム画像については、通常の処理をしてもよいし、強調処理をするようにしてもよい。

図５は、第２構成の画像処理装置２により行われる画像処理の区間を示す図である。横軸が、時間軸に沿ったフレーム画像Ｆ[ｊ]の並びを示し、左側がフレーム番号の小さい、つまり古い撮影画像になる。１≦ｊ≦Ｎとし、特定区間をII、非特定区間をI及びIIIで表す。また、上述のように、Ｔｈ１は特定区間の長さで、Ｔｈ２は非特定区間の長さで、Ｔｈ１及びＴｈ２は、所定のフレーム数とする。

特定フレームＦ[ｂ]を含む特定区間IIは、Ｆ[ｂ−Ｔｈ１]〜Ｆ[ｂ＋Ｔｈ１]となる。非特定区間Iは、Ｆ[ｂ−Ｔｈ１−Ｔｈ２]〜Ｆ[ｂ−Ｔｈ１]となる。また、非特定区間IIIは、Ｆ[ｂ＋Ｔｈ１]〜Ｆ[ｂ＋Ｔｈ１＋Ｔｈ２]となる。

動画処理部１３は、フレームメモリに蓄積されているデータＦ[１]・・・Ｆ[ｂ]・・・Ｆ[Ｎ]に対して、非特定区間I及びIIIのフレーム画像に対して、低下（例えば輝度）処理を施す。動画処理部１３は、特定区間IIのフレーム画像に対して、通常あるいは強調（例えば輝度）する処理を施す。

ただし、ｂ−Ｔｈ１≦０の場合、つまり撮影開始してＴｈ１経過前に操作受付部１５から操作があったような場合には、前方向の時間には非特定区間は設けない。また、ｂ＋Ｔｈ１≧Ｎの場合、つまり操作受付部１５からの操作があってからＴｈ１経過前に撮影が終了したような場合には、後方向の時間には非特定区間を設けない。

第２構成による画像処理装置２によれば、フレームメモリ３０１を備えることで、特定ボタンが押下される以前のフレーム画像についても、低下処理を施すことができ、特定シーンが開始されるまでの部分についてもより演出することができる。

〔第３構成〕
図６は、第３構成のブロック図である。画像処理装置の第３構成を、画像処理装置３として示す。画像処理システム６００に含まれる画像処理装置３は、特定部１４、画像取得部２０、画像処理部３０、画像データを記録する記録部Ｂ４２、操作者から画像処理装置３への指示を受け付けるユーザーインターフェイス５０、制御部６０、及び出力端子６４を有する。なお、構成１、２と同じ部位には同じ符号を付けて示し、破線、細線及び太線による流れの意味は、構成１、２と同様である。

制御部６０は、ユーザーインターフェイス５０を介して操作者から指示を受け、画像取得部２０、画像処理部３０及び記録部Ｂ４２等の駆動制御を行う。制御部６０は、ＣＰＵからなり、メモリ６２が接続される。ＣＰＵは、メモリ６２に格納された制御プログラムを読込んで、各制御処理を実行する。

画像取得部２０とユーザーインターフェイス５０の構成については、構成２と同様であるので、説明は省略する。

記録部Ｂ４２は、画像取得部２０で取得されたフレーム画像の画像データを記録し、記録した画像データを画像処理部３０に出力するものである。記録部Ｂ４２は、ＨＤＤや半導体メモリである。

特定部１４は、ユーザーインターフェイス５０に設けられた特定ボタン５０２が押下されたタイミングから特定フレームＦ[ｂ]を特定する。

画像処理部３０は、動画処理部１３を有する。動画処理部１３は、画像処理するデータ、および特定フレームＦ[ｂ]の画像データを記録部Ｂ４２から読み出し、特定フレームＦ[ｂ]に基づき読み出した画像データに所定の画像処理を施す。

動画処理部１３により施される画像の低下処理は、構成２と同様なので説明は省略する。画像処理部３０は、低下処理を施して生成した画像データを記録部Ｂ４２、あるいは出力端子６４に出力する。

記録部Ｂ４２は、動画処理部１３により低下処理された動画像を、元の動画像と共にあるいは、元の動画像に上書きする形式で再記録する。出力端子６４は、画像処理部３０から出力された画像データを外部に出力する。

なお、画像処理部３０は、画像処理装置３と別体で構成するようにしてもよい。別体にした場合は、内蔵された画像処理部３０を区別するために、以下で外部処理装置７０と呼ぶ。

別体とした場合には、撮影と同時にあるいは撮影終了後に、画像処理装置３に出力端子６４を介して外部処理装置７０が接続され、外部処理装置７０に記録部Ｂ４２から画像データと特定フレームＦ[ｂ]のデータを出力される。

外部処理装置７０では、動画処理部１３で低下処理を行い、低下処理が施された画像データを、記録部Ｂ４２に戻す。記録部Ｂ４２は、低下処理が施された画像データを元の動画像と共にあるいは、元の動画像に上書きする形式で再記録する。

図７は、第３構成の画像処理装置３による処理の手順を説明するフローチャートである。画像取得部２０及び記録部Ｂ４２により動画像の記録が開始されているかを判断する（ステップＳ１３０）。画像取得部２０及び記録部Ｂ４２は、ＲＥＣボタン５０１が操作者により押下された通知を受けた制御部６０の指示によって、動画像の記録を開始する。

画像取得部２０及び記録部Ｂ４２が動画像の記録を開始していない場合には（ステップＳ１３０Ｎｏ）、ステップＳ１３０をループする。画像取得部２０及び記録部Ｂ４２により動画像の記録を開始されている場合には（ステップＳ１３０Ｙｅｓ）、特定部１４は、特定ボタン５０２が操作されたかを判断する（ステップＳ１３２）。

特定部１４は、特定ボタン５０２が押下されていない場合には（ステップＳ１３２Ｎｏ）、ステップＳ１３２をループする。特定部１４は、特定ボタン５０２が押下された場合には（ステップＳ１３２Ｙｅｓ）、その押下された時刻を、フレーム画像と共に記録する（ステップＳ１３４）。押下された時刻のデータ及びフレーム画像データ（動画像記録データ）が、記録部Ｂ４２に記録される（Ｄ１３０）。

動画処理部１３は、押下された時刻とフレーム画像の時刻照合を行い、フレーム画像を特定する（ステップＳ１３６）。具体的には、動画処理部１３は、記録部Ｂ４２に記憶された特定ボタン５０２の押下時刻を読出し、フレーム画像の時刻照合を行い、押下時刻に対応するフレーム画像を特定し、特定フレームＦ[ｂ]とする（Ｄ１３２）。なお、この時、2枚のフレーム画像の境目に押下時刻がきた場合は、前側のフレーム画像を特定フレームＦ[ｂ]とする。

動画処理部１３は、Ｆ[ｂ−Ｔｈ１−Ｔｈ２]≦Ｆ[ｊ]＜Ｆ[ｂ−Ｔｈ１]、Ｆ[ｂ＋Ｔｈ１]＜Ｆ[ｊ]≦Ｆ[ｂ＋Ｔｈ１＋Ｔｈ２]となるフレーム画像Ｆ[ｊ]に対して、低下処理（例えば輝度低下処理）を行う（ステップＳ１３８）。上述のように、Ｔｈ２とＴｈ１はフレーム数である。つまり、動画処理部１３は、図５で示した非特定区間I，IIに属するフレーム画像につき、低下処理（例えば輝度低下処理）を行う。

なお、上述したように、動画処理部１３は、画像処理装置３と別体で外部処理装置７０として構成するようにしてもよい。図７の破線は、画像処理部３０を別体にした場合に、画像処理装置３と外部処理装置７０による処理の区分けを示すものである。この場合には、ステップＳ１３０〜ステップＳ１３４までの処理が画像処理装置３で行われ、ステップＳ１３６及びステップＳ１３８の処理が、外部処理装置７０で行われる。

図８は、第３構成の画像処理装置３による、他の処理の手順を説明するフローチャートである。図７の処理では、特定部１４は、特定ボタン５０２が押下された時間を記録部Ｂ４２に記録したが、図８の処理では、特定部１４は、特定ボタン５０２が押下された時間に基づきフレーム画像を特定し（特定フレームＦ[ｂ]）、特定フレームＦ[ｂ]のデータを記録部Ｂ４２に記録する。

図８のステップＳ１５０、Ｓ１５２，Ｓ１５４の処理は、ステップＳ１３０、Ｓ１３２，Ｓ１３４の処理と同一であるので、説明は省略する。

特定部１４は、押下した時刻とフレーム画像の時刻照合を行い、フレーム画像を特定する（ステップＳ１５６）。具体的には、特定部１４は、特定ボタン５０２の押下時刻を読出し、記録部Ｂ４２に記録されたフレーム画像との時刻照合を行い、押下時刻に対応するフレーム画像を特定し、特定フレームＦ[ｂ]として（Ｄ１５２）、その画像番号等を記録部Ｂ４２に記録する（Ｄ１５０）。

動画処理部１３は、ステップＳ１３８と同様に、Ｆ[ｂ−Ｔｈ１−Ｔｈ２]≦Ｆ[ｊ]＜Ｆ[b−Ｔｈ１]、Ｆ[ｂ＋Ｔｈ１]＜Ｆ[ｊ]≦Ｆ[b＋Ｔｈ１＋Ｔｈ２]となるフレーム画像Ｆ[ｊ]に対して、低下処理（例えば輝度低下処理）を行う（ステップＳ１５８）。

ここで、画像処理部３０は、画像処理装置３と別体で外部処理装置７０として構成する場合には、ステップＳ１５０〜ステップＳ１５６までの処理が画像処理装置３で行われ、ステップＳ１５８の処理が、外部処理装置７０で行われる。

以上説明したように、第３構成による画像処理装置３によれば、特定ボタンへの操作があった場合には、まず特定ボタンへの操作タイミング（時間あるいは特定フレームの画像番号等）だけを記録部Ｂ４２に記録するようにし、記録終了後に記録された特定ボタンへの操作タイミングに基づいて動画像処理を行うようにした。

これにより、撮影と同時に低下処理を行わなくてもよくなり、高速な処理が不要になる。また、動画像の低下処理を行う画像処理部３０を画像処理装置３と別体とすることもでき、画像処理装置３の大型化等を防止できる。

〔第４構成〕
図９は、第４構成による画像処理装置４のブロック図である。画像処理システム６００に含まれる画像処理装置４は、画像取得部２０と、画像処理部３０と、画像データを記録する記録部Ｃ４３と、操作者から画像処理装置４の制御を受け付けるユーザーインターフェイス５１と、制御部６０と、撮影(又は撮像)した画像を表示する表示部６６を有する。なお、構成１〜３と同じ部位には同じ符号を付けて示し、破線、細線及び太線による流れの意味は、構成１等と同様である。

画像取得部２０、制御部６０の構成については、構成２と同様であるので、説明は省略する。

ユーザーインターフェイス５１は、ＲＥＣボタン５０１とレリーズボタン５０３を有する。ＲＥＣボタン５０１は操作者から動画撮影の開始と終了の指示を受け付ける。

レリーズボタン５０３は操作者から静止画撮影指示を受け付けると同時に、特定の指示を受け付けるボタンである。レリーズボタン５０３は、構成２の特定ボタン５０２と同様に、構成１の操作受付部１５の１形態である。なお、特定の指示は、動画像の撮影記録動作中にのみ受け付けるが、静止画撮影の指示は、動画像撮影の有無に依らず受け付ける。

画像処理部３０は、動画処理部１３、特定部１４、フレームメモリ３０１及び静止画処理部３０４を有する。動画処理部１３、特定部１４、フレームメモリ３０１については、構成２と同様なので、説明は省略する。

静止画処理部３０４は、撮影した画像に静止画用の画像処理を施すもので、レリーズボタン５０３が押下されたタイミングで取得した静止画用フレーム画像に対して、画像処理を行う。

記録部Ｃ４３は、動画処理部１３及び静止画処理部３０４から出力された動画像データ及び静止画像データをそれぞれ記録するもので、ＨＤＤや半導体メモリである。また、記録部Ｃ４３は、特定部１４の指示により動画処理部１３で、上述の低下処理が行われた場合に、低下処理された動画像データについても記録する。

また、特定部１４の指示により動画処理部１３で低下処理が行われた動画像は、表示部６６にも出力され、操作者は、撮影時にモニターすることもできる。

第４構成の画像処理装置４によれば、静止画撮影用のレリーズボタン５０３によって特定の指示がなされるので、特定ボタンが不要になり、操作性も向上する。

図１０及び図１１は、第２〜４構成による動画像の低下処理の具体例を示す図である。図１０は、コントラスト低下処理の例を示す図である。図１０（Ａ）は低下処理及び通常（あるいは強調）処理される区間を示す図で、処理区間については、図５の例と同様であるので説明は省略する。図１０（Ｂ）〜（Ｄ）は、対応する処理カーブを示す図である。

非特定区間I（Ｆ[ｂ−Ｔｈ１−Ｔｈ２]〜Ｆ[ｂ−Ｔｈ１]）、及び非特定区間III（Ｆ[ｂ＋Ｔｈ１]〜Ｆ[ｂ＋Ｔｈ１＋Ｔｈ２]）に属するフレーム画像については、動画処理部１３により、図１０（Ｂ）及び（Ｄ）に示すような入出力階調でコントラスト低下処理がなされる。

そして、特定フレームＦ[ｂ]をセンタとする特定区間IIに属するフレーム画像については、動画処理部１３により、図１０（Ｃ）に示すような入出力階調でコントラスト通常処理（実線）あるいはコントラスト強調処理（破線）がなされる。なお、コントラスト強調あるいは低下処理として、動画処理部１３は、動画像の輝度（Ｙ）・色（Ｃｒ、Ｃｂ）成分の両方に上記階調変換処理を行ってもよいし、輝度成分（Ｙ）のみに階調変換処理を行うようにしてもよい。

また、第１構成による動画像の強調処理では、特定フレームＦ[ｂ]以降のＴｈ１につき、図１０（Ｃ）に示すような通常あるいはコントラスト強調処理が行なわれ、Ｔｈ１以降のＴｈ２につき図１０（Ｄ）に示すようなコントラスト低下処理が行われる。

図１１は、彩度強調の例を示す図である。特定区間IIと低下処理の非特定区間I、IIIについては、図１０の場合と同様であるので、説明は省略する。非特定区間I、IIIに属するフレーム画像は、その色成分（Ｃｒ、Ｃｂ）につき、動画処理部１３により、図１１（Ｂ）、（Ｄ）に示すような入出力関係で彩度低下処理がなされる。特定区間IIに属するフレーム画像は、その色成分（Ｃｒ、Ｃｂ）につき、動画処理部１３により、図１１（Ｃ）に示すような入出力関係で通常あるいは彩度強調処理がなされる。

また、第１構成による動画像の強調処理でも、特定フレームＦ[ｂ]以降のＴｈ１区間につき、図１１（Ｃ）の通常あるいは彩度強調処理が行なわれ、Ｔｈ１以降のＴｈ２につき図１１（Ｄ）に示す彩度低下処理が行われる。

なお、上述の通り、非特定区間への低下処理だけにするか、非特定区間への低下処理に特定区間への強調処理を組み合わせるかは、任意である。また、非特定区間I，IIIの長さ（範囲）Ｔｈ２は、区間I，IIIで異ならせてもよい。また、特定区間の長さＴｈ１も、Ｆ[ｂ]の前後で同じ長さ（範囲）でなくてもよい。

さらに、非特定区間I，IIIの長さＴｈ２を一定値として説明したが、撮影開始から撮影終了までの間の特定区間以外は、全て非特定区間であるとし、低下処理を行うようにしてもよい。つまり、撮影開始から撮影終了までの間で、特定ボタンが押されたタイミングの前後（２Ｔｈ１）以外では、全て低下処理を行うようにしてもよい。

また、低下処理の種類は、上述のようにコントラスト低下・輝度低下等様々あり、その選択や組合せについては、メニュー画面で、事前にあるいはその都度選択できるようにしてもよい。また、非特定区間と特定区間での低下処理において、パラメータをいっきに切り替えるのではなく、時間的に徐々に変化させ、いわゆるフェードイン・フェードアウト的な処理にしてもよい。

以上のように、第１実施形態による画像処理装置（画像処理システム）によれば、操作者は気に入ったシーンで、例えばボタンを押下するだけ、その前後の時間（区間）の画像が低下されるような処理がなされるので、操作者は面倒な編集操作をしないでも、気に入ったシーンが目立つ、あるいは印象的に仕上がった動画像を取得することができる。

例えば、動画像に映る花を色鮮やかに表現したい場合には、花が撮影されているシーン(特定区間)内だけ彩度を通常通りの設定にして、花が写り込まないシーン(非特定区間)には、花の色鮮やかさを引き立てる低画質化処理(彩度の低い設定)を行えばよい。これによって、花の色鮮やかさを相対的に際立たせることができる。

また、運動会でたくさんの子どもがゴールするなかで、自分の子どものゴールの瞬間を際立たせ、かつ、ストーリーの連続性（たとえば、自分の子どもがゴールする前後でどれくらいの人数がゴールしているか等）を失わないようにするには、自分の子どもがゴールするシーン(特定区間)の解像度やコントラストを通常通りの設定として、それ以外(非特定区間)は解像度・コントラスト・輝度を低く設定すればよい。このような連続性を保持できる程度の低画質化処理を行うことで、同じようなシーンが続く動画内でも、ストーリーの連続性を失うことなく、大切な瞬間を際立たせることができる。

これらの低画質化処理のパラメータ設定は、動画の連続性を保持しつつ（動画像の前後関係がわかる程度に悪くしつつ）、非特定区間に対して注視しなくなるような設定であればよく、動画像全体の撮影状況にあわせてパラメータの設定(画質を悪くする方法・度合い)を変えてもよい。また、動画像の再生と合わせて、パラメータ値を時系列グラフで表示して、シーンの重要度を表現してもよい。

このように、非特定区間内のフレーム画像を低画質化することで、非特定区間内のフレーム画像に、動画全体のストーリーを保持しつつ、特定区間内のフレーム画像を引き立てるといった役割を持たせることができる。

また、非特定区間内のフレーム画像を低画質化することは、以下の効果もある。１つ目として、動画像の鑑賞者の目の負担を軽減できる効果がある。

近年のディスプレイで表示される画像は高輝度化・高解像度化・高色温度化が進むことで綺麗に見える反面、鑑賞者の目に大きな負担をかけている。このような状況下で同じようなシーンが続く長時間の動画像を見続けることは、鑑賞者にとって不快である。重要でないシーン(非特定区間)に対し、目に優しい低画質化処理(目に優しいコントラスト、輝度にする等の処理)を行うことで、鑑賞者の目の負担を軽減し、不快感を下げることができる。

また、低画質化は鑑賞者に動画の早送りを促し、鑑賞時間を短縮させ、鑑賞時間を短縮することで目の負担をさらに軽減できる。また、鑑賞時間が短くなることで、見せたいシーン(特定区間)により集中しやすくさせられる。なお、早送りの最中でも、各場面の画質を確認できるので注目シーンの検索もスムーズに行える。

２つ目として、非特定区間内のフレーム画像を低画質化することで、結果的に符合量が下がる事になり、メモリ内で使用するデータ容量を少なくでき、また、ＰＣ（パーソナルコンピュータ）へのデータ転送を速く行うこともできる。

〔第２実施形態〕
第２実施形態は、操作者が特定フレームの開始と終了の２つのタイミングを指定し、このタイミングに基づく動画像が強調されるように画像処理を行うものである。第２実施形態の画像処理装置としては、第１実施形態の画像処理装置１〜４のいずれでも適用可能であるが、以下では、画像処理装置２を適用した例で説明する。なお、対応するブロック図は図４と同様であるので、省略する。特定フレームの開始と終了の２つのタイミングは、特定ボタン５０２の押下開始と押下終了により指定される。

図１２は、第２実施形態による処理の手順を具体的に説明するフローチャートである。画像取得部２０により動画像の取得が開始されているかを判断する（ステップＳ２００）。画像取得部２０は、ＲＥＣボタン５０１が操作者により押下された通知を受けた制御部６０の指示によって、動画像の取得を開始する。

画像取得部２０が動画像の取得を開始していない場合には（ステップＳ２００Ｎｏ）、ステップＳ２００をループする。画像取得部２０が動画像の取得を開始している場合には（ステップＳ２００Ｙｅｓ）、フレームメモリ３０１には、画像取得部２０により取得されたフレーム画像が動画像記録データＦｊとして記録される（Ｄ２００）。そして、特定部１４は特定ボタン５０２が押下されたかを判断する（ステップＳ２０２）。

特定部１４は、特定ボタン５０２が押下されていない場合には（ステップＳ２０２Ｎｏ）、ステップＳ２０２をループする。特定部１４は、特定ボタン５０２が押下された場合には（ステップＳ２０２Ｙｅｓ）、特定ボタン５０２の押下開始時刻と押下終了時刻を記録する（ステップＳ２０４）。

特定部１４は、押下開始時刻及び押下終了時刻とフレームメモリ３０１に記録されたフレーム画像の時刻照合を行い、押下開始時刻と押下終了時刻間のフレーム画像を特定する（ステップＳ２０６）。特定部１４は、押下開始時刻のフレーム画像をＦ[ｂ１]、押下終了時刻のフレーム画像をＦ[ｂ２]とし、Ｆ[ｂ１]〜Ｆ[ｂ２]に含まれる複数のフレーム画像を特定フレームとする（Ｄ２０２）。

動画処理部１３は、Ｆ[ｂ１−Ｔｈ１−Ｔｈ２]≦Ｆ[ｊ]＜Ｆ[ｂ１−Ｔｈ１]及びＦ[ｂ２＋Ｔｈ１]＜Ｆ[ｊ]≦Ｆ[ｂ２＋Ｔｈ１＋Ｔｈ２]の非特定区間に属するフレーム画像Ｆ[ｊ]に対して、低下処理（例えば輝度低下処理）を行う（ステップＳ２０８）。Ｔｈ２、Ｔｈ１は、実施形態１と同様に、非特定区間及び特定区間の長さを示す。

図１３は、ステップＳ２０８による輝度低下処理の範囲（区間）を示す線図である。横軸がフレーム画像Ｆ[ｊ]の並びを示し、左側が番号の小さいつまり古い撮影画像になる。Ｆ[ｂ１−Ｔｈ１−Ｔｈ]〜Ｆ[ｂ１−Ｔｈ１]が非特定区間IV、Ｆ[ｂ２＋Ｔｈ１]〜Ｆ[ｂ２＋Ｔｈ１＋Ｔｈ２]が非特定区間Vで、これらの区間に対して、低下処理（例えば輝度低下処理）を行う。また、Ｆ[ｂ１―Ｔｈ１]とＦ[ｂ２＋Ｔｈ１]の間の特定区間VIについては、通常処理あるいは強調処理処理（例えば輝度強調処理）をしてもよい。

なお、第１実施形態でも述べたように、画像処理の種類は、輝度処理に限らず、他にコントラスト処理等でもよい。非特定区間IV及びV、特定区間VIにおいて、低下処理のパラメータを時間的に徐々に変化させ、いわゆるフェードイン・フェードアウト的な処理にしてもよい。

また、第２実施形態の画像処理装置が第１実施形態の画像処理装置４で構成された場合には、特定ボタン５０２に相当するレリーズボタン５０３の半押しの操作の開始／終了で、押下開始時刻及び押下終了時刻を検出するようにしてもよい。

また、第２実施形態の画像処理装置として、第１実施形態の画像処理装置１を適用する場合には、ステップＳ２０８では、Ｆ[ｂ１]以前のフレーム画像については低下処理を行わずに、特定ボタン５０２が押下された以降、つまり、Ｆ[ｂ２]押下後からＴｈ１フレーム数以降のフレーム画像に対して低下処理を行う。

第２実施形態による画像処理装置（画像処理システム）によれば、操作者は強調したいシーンの最初と最後を指定できるので、操作者の意図通りの期間強調処理された動画像を得ることができる。

〔第３実施形態〕
第３実施形態は、特定ボタン５０２が短期間で複数回押下された場合に、その間の連続したフレーム画像を特定フレームとして、この特定フレームに基づく動画像が強調されるような画像処理を行うものである。

第３実施形態の画像処理装置としては、第１実施形態の画像処理装置１〜４のいずれでも適用可能であるが、以下では、画像処理装置２を適用した例で説明する。なお、ブロック図は図４と同様であるので、省略する。

図１４は、第３実施形態による処理の手順を具体的に説明するフローチャートである。
画像取得部２０により動画像の取得が開始されているかを判断する（ステップＳ３００）。画像取得部２０は、ＲＥＣボタン５０１が操作者により押下された通知を受けた制御部６０の指示によって、動画像の取得を開始する。

画像取得部２０により動画像の取得が開始されていない場合には（ステップＳ３００Ｎｏ）、ステップＳ３００をループする。画像取得部２０により動画像の記録が開始されている場合には（ステップＳ３００Ｙｅｓ）、特定部１４は、特定ボタン５０２が押下されたかを判断する（ステップＳ３０２）。フレームメモリ３０１には、画像取得部２０により取得されたフレーム画像が動画像記録データＦ[ｊ]として記録される（Ｄ３００）。

特定部１４は、特定ボタン５０２が押下されていない場合には（ステップＳ３０２Ｎｏ）、ステップＳ３０２をループする。特定部１４は、特定ボタン５０２が押下された場合には（ステップＳ３０２Ｙｅｓ）、押下開始時刻ｔ１と押下終了時刻ｔ２を記録する（ステップＳ３０４）。

押下が終了した後、特定部１４は、再度の特定ボタン５０２の押下受付を行う（ステップＳ３０６）。特定部１４は、ｔ２から押下されていない状態で所定時間経過したかを判断する（ステップＳ３０８）。所定時刻は、例えば５秒である。特定部１４は、所定時間経過していないと判断すると（ステップＳ３０８Ｎｏ）、ボタン押下終了時刻ｔ４を記録し（ステップＳ３１０）、ｔ４をｔ２に入れ替えて（ステップＳ３１０）、ステップＳ３０６に戻る。

特定部１４は、ｔ２から押下されていない状態で所定時間経過したと判断すると（ステップＳ３１２Ｙｅｓ）、ステップＳ３１４に進む。特定部１４は、押下開始時刻ｔ１及び押下終了時刻ｔ２とフレームメモリ３０１に記録されたフレーム画像の時刻照合を行い、押下開始時刻と押下終了時刻間のフレーム画像を特定する（ステップＳ３１４）。押下開始時刻のフレーム画像をＦ[ｂ１]、押下終了時刻のフレーム画像をＦ[ｂ２]とし、特定部１４は、Ｆ[ｂ１]〜Ｆ[ｂ２]間のフレーム画像を特定フレームとする（Ｄ３０２）。

そして、動画処理部１３は、Ｆ[ｂ１−Ｔｈ１−Ｔｈ２]≦Ｆ[ｊ]＜Ｆ[ｂ１−Ｔｈ２]及びＦ[ｂ２＋Ｔｈ１]＜Ｆ[ｊ]≦Ｆ[ｂ２＋Ｔｈ１＋Ｔｈ２]の非特定区間に属するフレーム画像Ｆ[ｊ]に対して、輝度低下処理を行う（ステップＳ３１６）。図１２のステップＳ２０８で説明した処理と同様な処理である。Ｔｈ２、Ｔｈ１は、実施形態１と同様に、非特定区間及び特定区間の長さである。

ステップＳ３０８に戻り、特定部１４は、特定ボタン５０２が押下されたと判断すると（ステップＳ３０８Ｙｅｓ）、押下終了時刻ｔ２にｔ４を置き換える（ステップＳ３１０）。つまり、ｔ２〜ｔ３の間も特定ボタン５０２が押されていたとみなして、ステップＳ３０８に戻る。

このようにして、特定部１４は、特定ボタン５０２の前回の終了と次回の押下開始の間隔が短い場合には、両者を繋げるように処理する。

なお、本実施形態の画像処理装置が第１実施形態の画像処理装置１で構成された場合には、ステップＳ３１６では、特定ボタン５０２が押下されてから所定フレーム数以降のフレーム画像に対して低下処理が行われる。

低下処理の画面への切換りが頻繁にあると見る側にとってはうるさく感じられることも多いが、特定シーンを指示するのが撮影中の場合には、予測して指示するのは難しい。実施形態３による画像処理装置（画像処理システム）によれば、短期間で押下指示が繰り返された場合には、これらを繋げて、その時間連続して押下されたとして、対応するフレーム画像を特定するようにしたので、頻繁な切換りを防止して、安定した画像を取得することができる。

〔第４実施形態〕
これまでの第１〜第３実施形態では、動画像処理として、単一の画像単位で画質を変更してきた。第４実施形態では、複数のフレーム画像を組み合わせる等の動画像処理を行う。複数のフレーム画像による処理の例として、フレームレート変換処理とフィルタ処理についてを説明する。第４実施形態の画像処理装置としては、第１実施形態の画像処理装置１〜４のいずれでも適用可能であるが、以下では、画像処理装置２を適用した例で説明する。

フレームレート変換処理では、画像処理部３０は、非特定区間のフレーム画像について、適当な間隔でフレーム画像を間引いて記録する、例えば、１つおきに間引くことで、非特定区間で、フレーム画像数を１／２に減少させる。このように記録された動画像を再生すると、早送り再生したように表示される。

画像処理部３０は、特定区間のフレーム画像については、間引かないでフレーム画像を記録するか、あるいは画像をフレーム補間処理して記録する。

フレーム補間処理は、例えば、１２０フレームを補間して倍の２４０フレームにすることである。フレームの補間生成の方法は、一般的なレート変換でも良いし、「動きに基づく画像内の移動」の補償すなわち動体追尾補償を行った後、フレームレート変換の処理を行ってもよい。

図１５は、補間処理によるフレームレート変換の過程を模式的に示す図である。フレーム間補間による高フレームレート化を行い、主要被写体への注視度が上がるようにする。

図１５（Ａ）は、取得したフレーム画像の並びを模式的に示す図である。奥側が古い画像で前側が新しい画像で、中央が特定フレームＦ[ｂ]である。図１５（Ｂ）、（Ｃ）に、特定フレームＦ[ｂ]の前２枚目と３枚目から、その中間画像を作成する例を示す。

フレーム間補間では、隣接したフレーム画像Ｆ[ｂ−３]とＦ[ｂ−２]から、特徴点、対応点を検出し、中間のフレームデータを生成して、フレーム画像Ｆ[ｂ−２．５]を作成する（図１６（Ｃ））。

特定フレームＦ[ｂ]の近傍区間（Ｆ[ｂ−３]〜Ｆ[ｂ＋３])について、同様に、中間フレームのデータを作成し、中間フレーム画像を元の動画像に合成すると図１５（Ｄ）に示すような動画像が作成される。補間処理により作成された画像を破線で示し、カッコ内の番号は、元の画像のフレーム番号を示す。

このようなフレームレート変換された動画像を再生すると、特定フレームＦ[ｂ]の近傍でスローモーションになるような画像が再生される。さらに、特定フレームＦ[ｂ]に近づくほど合成画像の数を増やして、特定フレームのより近傍でスローモーション効果が強調されるようにしてもよい。

また、動画処理部１３は、フレームレートを変更するフレーム補間処理の代わりにフレーム間のフィルタ処理を行うようにしてもよい。図１６は、動画処理部１３によるフレーム間のフィルタ処理を説明する図である。
動画処理部１３は、非特定区間のフレーム画像Ｆ[ｍ]につき、その前後のフレーム画像（Ｆ[ｍ−i]〜Ｆ[ｍ＋ｉ]）を用いて、下式に示す合成処理を行い、Ｆ´[ｍ]を生成する。

動画処理部１３が、かかる処理を行うことで、フレーム画像Ｆ[ｍ]からぼけた画像Ｆ´[ｍ]を作成することができる。動画処理部１３は、特定フレームＦ[ｂ]の近傍に関してはフレーム間のフィルタ処理は行わず、特定フレームＦ[ｂ]から離れるにつれて、時間的な帰還率を大きくし、ぼけた画像を作成する。特定フレームＦ[ｂ]の近傍で、ぼけた画像からぼけのないクリアな画像に変わることで、特定フレームＦ[ｂ]をより印象づけることができる。

第４実施形態のフレームレート変換処理によれば、非特定区間についてだけ画像を間引くことによって、通常の再生がされる特定区間を相対的に印象づけることができる。

また、第４実施形態によるフィルタ処理によれば、特定フレーム画像から前後で離れた画像について、わざと時間的なボケ（残像）を伴った画像にすることで、特定区間を際立たせる動画像を取得することができる。

また、以上のような非特定区間のフレーム画像に対する画質の低下処理は、符号量を減少させる効果もある。Ｍｐｅｇ符号化のiフレームは、離散コサイン変換を使っている。このときに、解像度低下、及び帯域低下を施している画像は、高周波の信号が低減されており、結果的にゼロとみなされる場合、符合量が低下する。

また、高周波の情報が低減されていることから、ＭｐｅｇのBフレームに関しては、前後のフレームとの類似度が高くなるため、ベクトルで表現できる画像領域が増加するため、面内の符号化（イントラ符号化）の頻度が低減し、結果として、符合量が低減する。

同様に、輝度、彩度、コントラストを低減した場合に、離散コサイン変換を行った場合に高周波の信号が低減し、ゼロとみなされる場合に符号量が低下する。また、前後のフレームの類似度が上がるために、ベクトルの予測符合を使う率が上がり、面内の符号化（イントラ符号化）の頻度が低減し、結果として、符合量が低減する。

なお、上記各実施形態において、構成１〜４で説明した動画処理部１３や特定部１４についてをＣＰＵによるソフトウェアで実現するようにしてもよい。具体的には、構成２〜４では、制御部６０のＣＰＵが、メモリ６２に格納された制御プログラムを読込んで動画処理部１３や特定部１４の機能を実行すればよい。また、構成１では、動画処理部１３や特定部１４の代わりに、制御部６０のＣＰＵとメモリ６２に相当する構成を備えることで実現される。

なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１、２，３，４ 画像処理装置
１２ 動画像取得部
１３ 動画処理部
１４ 特定部
１５ 操作受付部
２０ 画像取得部
３０ 画像処理部
４１ 記録部Ａ
４２ 記録部Ｂ
４３ 記録部Ｃ
５０、５１ ユーザーインターフェース
６０ 制御部
６２ メモリ
６４ 出力端子
６６ 表示部
７０ 外部処理装置
２０１ 撮像レンズ
２０２ 撮像部
３０１ フレームメモリ
３０４ 静止画処理部
５０１ ＲＥＣボタン
５０２ 特定ボタン
５０３ レリーズボタン
６００ 画像処理システム

Claims (19)

1. 動画像を取得し、フレーム画像を生成する動画像取得部と、
   前記動画像取得部による前記動画像の取得時に操作者からの操作を受け付ける操作受付部と、
   前記操作受付部で前記操作が受け付けられた時間情報を取得し、前記時間情報に基づいて、前記操作受付部で前記操作が受け付けられている間に前記動画像取得部で生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとして特定する特定部と、
   前記動画像取得部で生成されたフレーム画像のうち、前記特定フレームから所定時間離れたフレーム画像を非特定フレームとするとき、前記非特定フレームが前記特定フレームに対して目立たなくなるような画像処理を、前記非特定フレームに対して行う動画処理部と、を備える
   ことを特徴とする画像処理システム。
2. 前記特定部は、前記操作受付部に再度の操作があった場合に前記操作が受け付けられていない非操作期間が所定の間隔より短い場合、前記非操作期間中に前記動画像取得部で生成されたフレーム画像を前記特定フレームに含める
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記動画処理部は、前記操作受付部で前記操作が受け付けられた時点から所定の時間前に前記動画像取得部で生成されたフレーム画像から、前記操作が受け付けられた時点から所定の時間後に前記動画像取得部で生成されたフレーム画像までの間のフレーム画像については、前記特定フレームと同様に、前記目立たなくなるような画像処理の対象から除外する
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記操作受付部は、前記操作の開始の指示と前記操作の終了の指示とを受付け、
   前記特定部は、前記操作受付部で前記開始の指示が受け付けられた後から前記終了の指示が受け付けられるまでの間に前記動画像取得部で生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとする
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記操作受付部は、前記操作が受け付けられていない状態である第１の位置と、前記操作が受け付けられている状態である第２の位置を有する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
6. 前記動画処理部は、前記非特定フレームが前記特定フレームに対して目立たなくなるような画像処理として、前記特定フレームと前記非特定フレームとで前記画像処理のパラメータを異ならせる
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記動画処理部は、前記非特定フレームに対する画像処理として、前記非特定フレームが前記特定フレームに対して、ノイズが高くなる処理、輝度が低下する処理、鮮鋭度が減少する処理、又は解像度が低下する処理の少なくとも１つの画像処理を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
8. 前記動画処理部は、前記画像処理として、処理対象の前記フレーム画像より前に前記動画像取得部で生成された前記フレーム画像の画像データを使用する画像処理を行う
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
9. 前記動画処理部は、前記非特定フレームを前記特定フレームから所定時間離れた範囲に属する複数のフレーム画像とし、前記画像処理として、前記非特定フレームに対して、所定間隔の間引き処理を行い、前記特定フレームの期間、又は前記特定フレームの近傍期間のフレームに比較して、フレームレートが減少する処理を行うことを特徴とする請求項１乃至５いずれかの１項に記載の画像処理システム。
10. 前記動画処理部は、前記非特定フレームを前記特定フレームから所定時間離れた範囲に属する複数のフレーム画像とし、前記画像処理として、前記非特定フレームを少なくとも１つ以上の他の非特定フレームと合成処理して新たな前記非特定フレームとする画像処理を行う
    ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
11. 前記動画処理部は、前記画像処理として、前記非特定フレームでぼかし量が多くなるような画像を生成する画像処理を行う
    ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
12. 前記動画像取得部で生成された前記フレーム画像を一時的に記録する一時記憶部を更に有し、
    前記動画処理部は、前記特定部で前記操作が受け付けられた時点より所定時間前までに前記動画像取得部で生成され前記一時記憶部に記憶された前記フレーム画像について、前記特定フレームと同様に、前記目立たなくなるような画像処理の対象から除外する
    ことを特徴とする請求項１に記載の画像処理システム。
13. 前記動画処理部は、前記特定フレームより前記所定時間前に前記動画像取得部で生成され、前記一時記憶部に記憶されている前記非特定フレーム画像の画像データを使用して、前記目立たなくなるような画像処理を行う
    ことを特徴とする請求項１２に記載の画像処理システム。
14. 前記動画処理部は、前記一時記録部に記憶されているフレーム画像であって前記特定フレームから所定時間離れた範囲に属するフレーム画像を前記非特定フレームとし、前記画像処理として、前記非特定フレームに対して、所定間隔の間引き処理を行い、前記特定フレームの期間、又は前記特定フレームの近傍期間のフレームに対して、フレーム数が減少する処理を行うことを特徴とする請求項１２に記載の画像処理システム。
15. 前記動画処理部は、前記一時記憶部に記憶されている前記フレーム画像のうち前記非特定フレームについて、前記非特定フレームを少なくとも１つ以上の他の非特定フレームと合成処理する画像処理を行う
    ことを特徴とする請求項１２に記載の画像処理システム。
16. 前記動画像取得部で生成された複数の前記フレーム画像を動画ファイルとして記録する記録部を更に有し、
    前記画像処理部は、前記記録部に記憶された動画ファイルを入力し、画像処理を行う
    ことを特徴とする請求項１に記載の画像処理システム。
17. 前記操作受付部で前記操作が受け付けられたときに前記動画像取得部で生成されたフレーム画像を静止画として記録する記録部を更に有する
    ことを特徴とする請求項１に記載の画像処理システム。
18. 動画像を取得し、フレーム画像を生成する工程と、
    前記動画像の取得時に操作者からの操作を受け付ける工程と、
    前記操作が受け付けられた時間情報を取得し、前記時間情報に基づいて、前記操作が受け付けられている間に前記生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとして特定する工程と、
    前記生成されたフレーム画像のうち、前記特定フレームから所定時間離れたフレーム画像を非特定フレームとするとき、前記非特定フレームが前記特定フレームに対して相対的に目立たなくなるような画像処理を、前記非特定フレームに対して行う工程と、を含む
    ことを特徴とする画像処理方法。
19. 画像処理システムのコンピュータに、
    動画像を取得し、フレーム画像を生成する工程と、
    前記動画の取得時に操作者からの操作を受け付ける工程と、
    前記操作が受け付けられた時間情報を取得し、前記時間情報に基づいて、前記操作が受け付けられている間に前記生成されたフレーム画像を含む少なくとも１つ以上のフレーム画像を特定フレームとして特定する工程と、
    前記生成されたフレーム画像のうち、前記特定フレームから所定時間離れたフレーム画像を非特定フレームとするとき、前記非特定フレームが前記特定フレームに対して相対的に目立たなくなるような画像処理を、前記非特定フレームに対して行う工程と、
    を実行させることを特徴とするプログラム。