JP4650560B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

ビデオカメラなどで動画像を撮影すると、空気の揺らぎによる影響を受けて撮影された画像に揺らぎが発生する。このような空気の揺らぎは、温度差などに起因して局所的に光の屈折率が変化することで発生すると言われる。望遠レンズを使用して遠景の撮影を行う場合、被写体からビデオカメラまでの距離が大きいために光路が長くなる。そのため、望遠レンズを使用する場合、空気の揺らぎによる影響を大きく受けて、撮影された画像に目立った揺らぎが現れてしまうことが多い。具体的に、揺らぎの影響を受けた画像においては、本来直線であるべき被写体の一部が波打って見えたり、或いは、歪んで見えたりする部分が含まれる。

このような揺らぎの影響は、画像を構成する各画素の座標位置が局所的な領域内で変動する現象として現れる。そのため、画像の中で各画素の座標位置を補正すれば上記の揺らぎによる影響を除去することができる。例えば、平均化処理やメジアン処理等のフィルタ処理を組み合わせることで、静止している被写体に対する揺らぎの影響を容易に除去することができる。しかし、移動している被写体に上記のフィルタ処理を施すと、揺らぎの影響を除去するどころか、かえって画像が劣化してしまう。こうした問題に関し、下記の特許文献１には、動体検知技術を用いて移動する被写体を検知し、静止している被写体に対してのみ上記のフィルタ処理を施す技術が開示されている。この技術を用いることで、移動する被写体の画像領域にフィルタ処理を施してしまうことがなくなり、当該フィルタ処理による画像の劣化を防止することができる。

特開２００８−１６０７３３号公報

但し、上記の文献に記載された技術は、動体検知処理により、移動する被写体を正しく検知できるということが前提とされている。しかしながら、実際には動体検知処理により移動する被写体が正しく動体として検知されないことがある。そのため、移動する被写体に上記のフィルタ処理が施されてしまい、移動する被写体の一部が消滅してしまったり、或いは、その部分だけ画質が劣化してしまうことがある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、移動する被写体の一部が正しく動体として認識されない場合においても、揺らぎ除去処理に起因して画質が劣化してしまうことを回避することが可能な、新規かつ改良された画像処理装置、画像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、動画像に含まれる動体を検出する動体検知部と、前記動体検知部により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定部と、前記動体領域設定部により設定された動体領域以外の領域に揺らぎ除去処理を施す揺らぎ除去処理部と、を備える、画像処理装置が提供される。

また、前記揺らぎ除去処理部は、前記動体領域設定部により設定された動体領域の一部又は全部に対し、当該動体領域に含まれる動体の映像が消えない他の揺らぎ除去処理を施すように構成されていてもよい。

また、前記動体領域設定部により設定された動体領域のうち、前記揺らぎ除去処理部により前記他の揺らぎ除去処理が施されていない動体領域の一部又は全部に対して超解像処理を施す超解像処理部をさらに備えていてもよい。

また、前記揺らぎ除去処理部により前記動体領域を除く動画像の全領域に施される揺らぎ除去処理は、前記動画像の各フレームに含まれる画素値の平均処理又はメジアン処理であってもよい。この場合、前記動体領域に施される揺らぎ除去処理は、非剛体レジストレーションに基づく揺らぎ除去処理である。

また、上記課題を解決するために、本発明の別の観点によれば、動画像に含まれる動体が検出される動体検出ステップと、前記動体検出ステップで動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域が動体領域に設定される動体領域設定ステップと、前記動体領域設定ステップで設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理が施される揺らぎ除去処理ステップと、を含む、画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、動画像に含まれる動体を検出する動体検出機能と、前記動体検出機能により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定機能と、前記動体領域設定機能により設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理を施す揺らぎ除去処理機能と、をコンピュータに実現させるためのプログラムが提供される。さらに、当該プログラムが記録されたコンピュータにより読み取り可能な記録媒体が提供されうる。

以上説明したように本発明によれば、移動する被写体の一部が正しく動体として認識されない場合においても、揺らぎ除去処理に起因して画質が劣化してしまうことを回避することが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、平均処理やメジアン処理等に基づく揺らぎ除去処理を行うことで発生する問題点について簡単に説明する。次いで、図２を参照しながら、本発明の一実施形態に係る画像処理装置１００の機能構成について説明する。

次いで、図３を参照しながら、同実施形態に係る高解像度処理の一例である超解像処理について概略的に説明する。次いで、図４及び図５を参照しながら、同実施形態に係る画像処理の流れについて説明する。次いで、図６を参照しながら、ブロック分割された領域に同実施形態に係る画像処理を適用する方法について説明する。次いで、図７を参照しながら、同実施形態に係る画像処理装置１００の機能を実現することが可能な情報処理装置のハードウェア構成例について簡単に説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

（説明項目）
１：課題の整理（フィルタリングによる揺らぎ除去処理について）
２：実施形態
２−１：画像処理装置１００の機能構成について
２−２：非剛体レジストレーション処理技術について
２−３：超解像処理技術について
２−４：画像処理の流れについて
２−５：ブロック分割による演算負荷の低減方法について
２−６：画像処理装置１００のハードウェア構成例について
２−７：まとめ

＜１：課題の整理＞
まず、本発明の一実施形態に係る技術について詳細な説明をするに先立ち、図１を参照しながら、同実施形態が解決しようとする課題について簡単に説明する。

図１には、平均化処理に基づく揺らぎ除去方法が示されている。既に述べた通り、ビデオカメラなどで動画像を撮像する際、空気の揺らぎの影響で撮影された画像に揺らぎの影響が現れることがある。このような揺らぎの影響は、平均化処理やメジアン処理等のフィルタ処理を撮影画像に施すことにより除去することが可能である。しかし、移動する被写体（以下、動体）を含む画像領域に上記のフィルタ処理を施すと、動体の部分が消えてしまうか、或いは、その部分に画質の劣化（残像等）が発生してしまう。

例えば、移動する自動車を撮影した場合、動画像を構成する複数の撮影画像（以下、時系列画像）の中で自動車の位置は刻々と変化している。そのため、自動車が含まれる画像領域の画素値を時系列画像について平均すると、自動車の移動後に記録された背景画像の画素値との間で平均値が算出され、結果として自動車の輪郭や色彩が薄れてしまうのである。つまり、平均化フィルタ処理により、自動車が撮影画像から消えてしまうのである。このような現象は、メジアン処理についても同様に発生する。そこで、動体を含まない画像領域にだけ上記のフィルタ処理を施す技術が開発された。

この技術は、撮影画像から動体を検知し、動体が検知された領域以外の画像領域に上記のフィルタ処理を施すというものである。しかしながら、動体が正しく検知されないと、検知されない動体部分だけが消えてしまったり、画質の劣化が発生してしまったりする。このような動体検知の失敗は、例えば、トラックの荷台部分等が含まれる画像領域において発生しやすい。トラックの荷台部分は、移動方向に長く、かつ、単一色又は単調な色彩である場合が多い。動体検知処理とは、時系列画像に含まれる複数の撮影画像間で画素毎又は画像領域毎に画素値の差分を算出し、その差分値が所定の閾値を越えた場合に動体を含む画素又は画像領域であると判定するものである。

従って、差分計算の対象となる撮影画像の画素又は画像領域において画素値に変化が無ければ、実際には動体であっても、その画素又は画像領域が動体とは判定されないのである。例えば、トラックの荷台部分を例に挙げると、図１のようになる。図１には、時系列画像Ｐ１〜Ｐ６、及び平均化フィルタ処理が施された後の平均画像が模式的に示されている。また、時系列画像Ｐ１〜Ｐ６に含まれる撮影画像Ｐ１、Ｐ２が別途示されている。但し、撮影画像Ｐ１は、撮影画像Ｐ２よりも前に記録されたものとする。

まず、撮影画像Ｐ１、Ｐ２に注目する。動体検知処理は、上記の通り、ある画素又は画像領域（以下、参照領域）に注目し、複数の撮影画像間で参照領域の画素値が所定値以上に異なるか否かを判定するというものである。例えば、図１に示した参照領域Ｒ１、Ｒ１’に注目する。但し、撮影画像Ｐ１の参照領域Ｒ１は、撮影画像Ｐ２の参照領域Ｒ１’に対応する。撮影画像Ｐ１においては、参照領域Ｒ１にトラックの運転席部分が含まれている。しかし、撮影画像Ｐ２の記録時点でトラックが移動しているため、撮影画像Ｐ２の参照領域Ｒ１’にはトラックの運転席部分が含まれていない。そのため、参照領域Ｒ１の画素値と参照領域Ｒ１’の画素値との間には大きな差分が発生する。その結果、参照領域Ｒ１、Ｒ１’に含まれる被写体が動体であると判定される。

次に、図１に示した参照領域Ｒ２、Ｒ２’に注目する。但し、撮影画像Ｐ１の参照領域Ｒ２は、撮影画像Ｐ２の参照領域Ｒ２’に対応する。撮影画像Ｐ１においては、参照領域Ｒ２にトラックの荷台部分が含まれている。上記のように、撮影画像Ｐ２の記録時点でトラックが移動している。しかしながら、撮影画像Ｐ２の参照領域Ｒ２’には依然としてトラックの荷台部分が含まれている。上記の通り、トラックの荷台部分は単調な色彩であることが多い。そのため、実際には異なる部分が撮影されていても、参照領域Ｒ２の画素値と参照領域Ｒ２’の画素値との間には大きな差がない。その結果、参照領域Ｒ２、Ｒ２’に含まれる被写体は非動体であると判定される。

次に、図１に示した平均画像に注目する。上記のように、トラックの運転席部分等は動体と判定され、荷台部分は非動体と判定されている。そのため、非動体部分に対して平均化フィルタ処理が施されると、トラックの荷台部分が平均画像から消えてしまう。このように、実際には動体であるにも関わらず、動体検知処理において動体と判定されないことがある。結果として、その部分がフィルタ処理後に消えてしまったり、画質が劣化してしまったりして不自然で違和感のある撮影画像になってしまう。そこで、後述する実施形態においては、動体の一部が非動体として判定されても、その動体の一部が消えたり、画質が劣化したりしない揺らぎ除去方法が提案される。

＜２：実施形態＞
本発明の一実施形態について説明する。本実施形態は、動体が検知された場合に、その動体を含む画像領域（以下、動体領域）を所定時間だけ動体領域とみなし、その動体が移動した後も、その領域に揺らぎ除去処理が施されないようにするというものである。

［２−１：画像処理装置１００の機能構成について］
まず、図２を参照しながら、本実施形態に係る画像処理装置１００の機能構成について説明する。図２は、本実施形態に係る画像処理装置１００の機能構成例を示す説明図である。

図２に示すように、画像処理装置１００は、主に、画像入力部１０２と、動体検知部１０４と、動体領域設定部１０６と、タイマー１０８と、操作入力部１１０と、第１揺らぎ除去部１１２と、第２揺らぎ除去部１１４と、高画質化処理部１１６とを有する。但し、画像処理装置１００には、被写体の像を撮影するための撮像部（非図示）が設けられていてもよい。

まず、画像入力部１０２には、撮影画像が入力される。動画像が入力される場合、画像入力部１０２には、複数の撮影画像で構成される時系列画像が入力される。画像入力部１０２に入力された撮影画像は、動体検知部１０４、及び第１揺らぎ除去部１１２に入力される。画像入力部１０２から動体検知部１０４に撮影画像が入力されると、動体検知部１０４は、入力された撮影画像に基づいて動体検知処理を実行する。

例えば、動体検知部１０４は、時系列画像に含まれる撮影画像の各画像領域について時間的に前後する撮影画像の差分画素値を算出する。さらに、動体検知部１０４は、算出した差分画素値が所定の閾値を越えるか否かを判定し、所定の閾値を越えた画像領域を動体と判断する。以下の説明において、動体検知部１０４により動体であると判断された画像領域のことを動体領域と呼ぶことがある。なお、各画像領域は、画素単位で設定されてもよいし、或いは、所定数の画素で構成される画素ブロックの単位で設定されてもよい。また、動体検知部１０４が動体検知のために参照する撮影画像の枚数は２枚に限定されず、３枚以上であってもよい。さらに、参照する撮影画像の枚数を十分に多く設定し、木や波などの一定周期で揺れる被写体を動体として検出しないようにする動体検知方法を組み合わせて用いることも可能である。

さて、動体検知部１０４により検知された動体領域の情報は、動体領域設定部１０６に入力される。但し、動体検知部１０４により検知された動体領域は、トラックの荷台部分等で例示されるような単調な色彩の被写体を含まないものである。従って、このような被写体を含む画像領域が動体領域に含まれるように新たな動体領域を設定する必要がある。そこで、動体領域設定部１０６は、動体検知部１０４から入力された動体領域の情報に基づいて新たに動体領域及び非動体領域を設定する。但し、動体領域設定部１０６は、動体検知部１０４で検知されない動体の一部を新たに検知することはせず、動体検知部１０４で検知された動体領域を所定時間だけ動体領域として維持するように設定する。

例えば、図１の例を参照すると、撮影画像Ｐ１の参照領域Ｒ１は、動体検知部１０４により動体領域であると判断される。そこで、動体領域設定部１０６は、参照領域Ｒ１に対応する画像領域を所定時間だけ動体領域であるとみなす。上記の通り、撮影画像Ｐ１の参照領域Ｒ２は、撮影画像Ｐ２の参照領域Ｒ２’との差異が少ないため、動体検知部１０４により非動体領域と判定される。しかし、動体領域設定部１０６により、参照領域Ｒ１に対応する画像領域（参照領域Ｒ１’）が所定時間だけ動体領域とみなされる。つまり、参照領域Ｒ１’に対応するトラックの荷台部分前方が動体領域に設定される。例えば、参照領域Ｒ１に対応する画像領域をトラックの荷台部分が全て通過するのに要する時間を所定時間に設定すれば、トラックの荷台部分が全て動体領域に設定されることになる。

上記の所定時間は、撮影する被写体等に応じて適宜設定される。また、この所定時間は、タイマー１０８に設定されている。タイマー１０８は、動体領域設定部１０６から受けたカウント開始の指示に応じて時間のカウントを開始し、所定時間が経過した時点で動体領域設定部１０６に所定時間が経過したことを通知する。動体領域設定部１０６は、タイマー１０８を利用し、動体検知部１０４で検知された動体領域を含む撮影画像を基準として当該動体領域に対応する画像領域を所定時間経過時点までの撮影画像における動体領域に設定する。つまり、基準となる撮影画像の動体領域に対応する画像領域が、その撮影画像以降の所定時間内に撮影された時系列画像に含まれる撮影画像の動体領域に設定される。一方、動体領域設定部１０６により動体領域に設定されない画像領域は非動体領域に設定される。

上記のようにして動体領域設定部１０６で設定された非動体領域の情報は、第１揺らぎ除去部１１２に入力される。一方、動体領域設定部１０６で設定された動体領域の情報は、第２揺らぎ除去部１１４に入力される。さらに、操作入力部１１０を用いて画像領域が指定された場合、動体領域設定部１０６は、その画像領域を指定領域に設定し、指定領域の情報を高画質化処理部１１６に入力する。この指定領域については後述する。

上記の通り、第１揺らぎ除去部１１２には、画像入力部１０２に入力された撮影画像、及び動体領域設定部１０６で設定された非動体領域の情報が入力される。第１揺らぎ除去部１１２は、動体領域設定部１０６から入力された非動体領域の情報に基づいて画像入力部１０２から入力された撮影画像の非動体領域に揺らぎ除去処理を施す。第１揺らぎ除去部１１２で撮影画像に施される揺らぎ除去処理は、例えば、平均化処理やメジアン処理等のフィルタ処理（以下、第１揺らぎ除去処理）である。既に述べた通り、動体検知処理で判定された非動体領域に動体が含まれていると、その動体に第１揺らぎ除去処理が施され、その出力画像から動体が消えてしまったり、その動体部分の画像が劣化してしまう。

しかしながら、本実施形態においては、動体領域設定部１０６の処理により、実際には動体であるが動体検知処理では検知されない動体の一部が非動体領域から除かれている。そのため、動体検知部１０４の動体検知処理で判定された非動体領域に含まれる動体の一部に対して第１揺らぎ除去処理が施されることはなく、出力画像から動体の一部が消えてしまうようなことはなくなる。もちろん、動体領域設定部１０６の処理で非動体領域から除かれなかった動体の一部については、第１揺らぎ除去処理の出力画像から消えてしまったり、画像の劣化が発生してしまうことがある。しかし、多くの場合において、本実施形態の技術によって十分な効果が得られる。

さて、第１揺らぎ除去部１１２により第１揺らぎ除去処理が施された撮影画像（以下、第１処理後画像）は、第２揺らぎ除去部１１４に入力される。また、第２揺らぎ除去部１１４には、動体領域設定部１０６から動体領域の情報が入力される。上記の通り、第１処理後画像は、非動体領域に対する第１揺らぎ除去処理しか施されていない。そこで、第２揺らぎ除去部１１４においては、第１処理後画像の動体領域に対し、動体が消えたり、動体領域に画像劣化が発生したりすることがない揺らぎ除去処理（以下、第２揺らぎ除去処理）が施される。第２揺らぎ除去処理としては、例えば、非剛体レジストレーションと呼ばれる画像処理技術等が用いられる。但し、非剛体レジストレーション処理技術については後述する。なお、第２揺らぎ除去部１１４は、操作入力部１１０を介して指定された動体領域に対して第２揺らぎ除去処理を施すように構成されていてもよい。

さて、第２揺らぎ除去部１１４で第２揺らぎ除去処理が施された撮影画像（以下、第２処理後画像）は、高画質化処理部１１６に入力される。なお、第１揺らぎ除去部１１２又は第２揺らぎ除去部１１４で揺らぎ除去処理が施された後、第１処理後画像又は第２処理後画像が表示画面（非図示）に表示されるように構成されていてもよい。このような構成にすると、ユーザは、表示画面に表示された第１処理後画像又は第２処理後画像を参照しながら、操作入力部１１０を操作して指定領域を指定することができるようになる。高画質化処理部１１６においては、第２処理後画像に含まれる画像領域のうち、操作入力部１１０を介して指定された指定領域に対して高画質化処理が施される。

通常、高画質化処理を実現するには、非常に高い演算処理能力が要求される。そのため、画像処理装置１００は、撮影画像に含まれる全画像領域に高画質化処理を施すのではなく、指定領域にのみ高画質化処理を施すように構成されているのである。もちろん、十分に高い演算処理能力を有するハードウェアにおいて画像処理装置１００が実現されている場合においては、撮影画像の全画像領域に対して高画質化処理が施されるように構成されていてもよい。上記の高画質化処理としては、例えば、超解像処理技術等が用いられる。なお、超解像技術については後述する。高画質化処理部１１６で高画質化処理が施された撮影画像（以下、処理後画像）は、画像処理装置１００の外部に出力される。

以上、本実施形態に係る画像処理装置１００の機能構成について説明した。但し、ここで説明した構成は一例であり、例えば、第２揺らぎ除去部１１４、高画質化処理部１１６を省略するような変形も可能である。例えば、第２揺らぎ除去部１１４が省略される場合、第１揺らぎ除去部１１２から出力される第１処理後画像が高画質化処理部１１６に入力される。また、高画質化処理部１１６が省略される場合、操作入力部１１０も省略され、第２揺らぎ除去部１１４から出力される第２処理後画像が処理後画像として出力される。さらに、第２揺らぎ除去部１１４、及び高画質化処理部１１６が省略される場合、第１揺らぎ除去部１１２から出力される第１処理後画像が処理後画像として外部に出力される。

また、次のように第１揺らぎ除去処理に係る画像処理の流れを変形することも可能である。図２の説明においては、動体領域設定部１０６により予め動体領域及び非動体領域が設定され、その設定内容に基づいて第１揺らぎ除去部１１２により第１揺らぎ除去処理が施されるという流れを示した。しかし、動体検知部１０４で検知された非動体領域に対して第１揺らぎ除去部１１２で予め第１揺らぎ除去処理を施しておき、動体領域設定部１０６で第１処理後画像の画素値と元画像の画素値とを適宜選択して出力画像（処理後画像）を生成してもよい。

この場合、第１揺らぎ除去部１１２は、動体領域設定部１０６で再設定された動体領域ではなく、動体検知部１０４で検知された動体領域に第１揺らぎ除去処理を施すことになる。また、動体領域設定部１０６は、タイマー１０８を用いて動体領域及び非動体領域を再設定するだけでなく、再設定された非動体領域に対応する第１処理後画像の画素と、再設定された動体領域に対応する元画像とで処理後画像を生成する。従って、このような変形を行う場合、動体検知部１０４で検知された非動体領域の情報は、第１揺らぎ除去部１１２に入力される。また、動体領域設定部１０６には、第１揺らぎ除去部１１２から出力される動体検知部１０４の検知結果に基づく第１処理後画像と、画像入力部１０２に入力される元画像とが入力される。そして、動体領域設定部１０６で生成された第１処理後画像は、第２揺らぎ除去部１１４に入力される。なお、当該変形において、第２揺らぎ除去部１１４、及び高画質化処理部１１６の機能については変形されない。

上記のように、画像処理装置１００の構成は、本実施形態の技術的特徴を保持したまま適宜変更することが可能である。本実施形態の技術的特徴は、動体検知部１０４で動体が検知されたフレーム（撮影画像）から所定時間経過後のフレームまでに含まれる全てのフレームについて、上記のように動体領域を再設定する点にある。このような再設定が行われることで、揺らぎ除去処理により処理後画像から動体が消滅してしまったり、動体部分の画像が劣化してしまうことが防止されるのである。

［２−２：非剛体レジストレーション処理技術について］
ここで、上記の第２揺らぎ除去部１１４で実行されうる非剛体レジストレーション処理について簡単に説明する。

まず、画像処理分野において用いられるレジストレーションとは、２枚の画像を重ねたとき、画像が一致する変換パラメータを推定する手法のことを指す場合が多い。撮影対象物が非剛体であると仮定して上記の変換パラメータを推定する手法のことを特に非剛体レジストレーションと呼ぶことがある。非剛体レジストレーション処理においては、画像空間を所定間隔で区切る制御点がパラメータとして設定され、当該パラメータを変化させながら所定のレジストレーション評価関数が最大となる制御点の位置が決定される。さらに、決定された制御点の位置に基づいて画像空間の変形ベクトル場が推定される。

上記のレジストレーション評価関数としては、比較する画像間の類似度を評価するための評価成分を含む関数が用いられる。レジストレーション評価関数により評価される類似度としては、例えば、エントロピー相関係数やピアソンの積率相互相関係数等が用いられる。また、この類似度は、比較する各画像の制御点で構成される多次元ベクトルの同時分布に基づいて算出される。なお、画像空間の変形ベクトル場は、例えば、Ｎ個の制御点で定義されるＮ−１本のベジェ曲線により表現される。

このように、非剛体レジストレーションとは、画像空間の変形ベクトル場を変形パラメータとして推定する手法のことを言う。もちろん、上記説明は概略的なものであり、実際には多くの発展的な変形を含む非剛体レジストレーション処理技術が開発されている。もちろん、本実施形態の第２揺らぎ除去部１１４において、こうした発展的な変形を含む種々の非剛体レジストレーション処理技術を用いることは可能である。

［２−３：超解像処理技術について］
次に、図３を参照しながら、本実施形態に係る高画質化処理の一例である超解像処理について簡単に説明する。図３は、超解像処理の内容を概略的に示す説明図である。

図３に示すように、超解像処理技術は、比較的低解像度の時系列画像（例えば、Ｐ１０〜Ｐ１４）を用いて比較的高解像度の高解像度画像を算出するというものである。つまり、超解像処理は、高周波成分を含まない複数の低解像度画像を用いて高周波成分を補間し、高周波成分を含む高解像度画像を再構成する処理である。例えば、上記の低解像度画像と同じ解像度の撮像センサで１／２画素だけ位置をずらして２枚の画像を撮影し、これらの画像から抽出した画素値を１画素ずつ交互に組み合わせて合成する。このような処理を行うことで高周波成分を復元することができる。また、撮像センサの位置を移動制御するのではなく、撮影時の手振れ等により生じる１画素未満の位置ずれを利用して高周波成分を復元することもできる。

上記の超解像処理は、大まかに、時系列画像に含まれる低解像度画像間の相対的な位置ずれを検出する位置検出処理と、その位置ずれを考慮して低解像度画像を合成する画像合成処理とに分けられる。図３の例では、位置検出処理に対応する構成要素を位置検出部１３４と表記し、画像合成処理に対応する構成要素が画像合成部１３２と表記している。位置検出部１３４においては、上記の通り、時系列画像に含まれる各低解像度画像間の標本化位置のずれ量が画素以下の精度で検出される。そして、位置検出部１３４で検出された標本化位置のずれ量は画像合成部１３２に入力される。画像合成部１３２は、位置検出部１３４で検出された標本化位置のずれ量に基づき、互いに対応する標本化位置の画素値を組み合わせて合成して再構成画像（高解像度画像）の画素値を算出する。

図３の例においては、上記の超解像処理を実行することにより、画素ＰＸ１で形成される低解像度の対象画像ＲＰが画素ＰＸ１’で形成される高解像度の対象画像ＲＰ’に再構成される。但し、上記の超解像処理は、非常に高い演算負荷を要求する処理である。そのため、再構成処理の際に参照する低解像度画像の枚数や処理すべき低解像度画像の枚数、或いは、超解像処理を施す画像領域に大きさによっては現実的な時間内で処理が完了しないことがある。そのため、本実施形態に係る画像処理装置１００は、操作入力部１１０を介して指定された画像領域にのみ超解像処理を施すように構成されている。

以上、超解像処理技術について概略的な説明を行った。この超解像処理技術に関しては、上記の位置検出部１３４に相当する処理及び上記の画像合成部１３２に相当する処理を効率的に、かつ、高精度に実行するために種々の研究開発が進められている。そして、こうした研究開発により得られる任意の技術を本実施形態の技術に組み合わせて用いることが可能である。

［２−４：画像処理の流れについて］
次に、図４及び図５を参照しながら、本実施形態に係る画像処理の流れについて説明する。なお、図４は、本実施形態に係る画像処理の全体的な流れを示す説明図である。また、図５は、図４に示す全体的な流れの中で、動体領域の設定処理に関する処理の流れを示す説明図である。

なお、ここで説明する画像処理は、図２に示した画像処理装置１００を用いて実現されるものである。但し、図４及び図５に示す画像処理方法においては、図２に示す画像処理装置１００における画像処理の流れとは若干異なる手順で揺らぎ除去処理が実行される。より具体的に述べると、当該画像処理においては、動体検知部１０４で検知された動体領域及び非動体領域に予め第１及び第２揺らぎ除去処理が施され、当該処理により得られる第１及び第２処理後画像が動体領域設定部１０６で再構成される点で異なる。一方、動体検知部１０４で動体領域に設定された画像領域を所定時間だけ動体領域とみなし、実際には動体であるが動体検知部１０４で非動体領域に設定されるような被写体に第１揺らぎ除去処理が施されないようにするという点で共通している。従って、図４及び図５に示す画像処理方法と、図２の説明で述べた画像処理方法とは、いずれも同一の技術的思想の元に実現され得る実施形態である。

まず、図４を参照する。図４に示すように、まず、画像入力部１０２により時系列画像が取得される（Ｓ１０２）。次いで、動体検知部１０４により動体検知処理が実行される（Ｓ１０４）。このとき、動体検知部１０４においては、時系列画像に含まれる複数の撮影画像間で画素値の差分が計算され、その計算結果に基づいて動体領域及び非動体領域が検出される。次いで、第１揺らぎ除去部１１２により動体検知部１０４で検出された非動体領域に第１揺らぎ除去処理が施される（Ｓ１０６）。このとき、画像入力部１０２で取得された時系列画像の元画像、及び第１揺らぎ除去処理が施された後の第１処理後画像は画像処理装置１００において保持される。次いで、動体領域設定部１０６により動体領域及び非動体領域が再設定される（Ｓ１０８）。ステップＳ１０８で実行される処理については、図５を参照しながら後述する。

次いで、第２揺らぎ除去部１１４により、ステップＳ１０８で再設定された動体領域に対して第２揺らぎ除去処理が施される（Ｓ１１０）。但し、ステップＳ１１０は、全ての動体領域に対して第２揺らぎ除去処理を施すように構成されていてもよいし、操作入力部１１０を介して指定された指定領域のみに対して第２揺らぎ除去処理が施されるように構成されていてもよい。非剛体レジストレーションのような処理は、比較的演算量の多い処理である。そのため、処理対象を指定領域に限定することで演算負荷を低減することができる。次いで、第２揺らぎ処理が施されていない動体領域が存在する場合、その動体領域に対して高画質化処理部１１６により高画質化処理が施される（Ｓ１１２）。但し、高画質化処理が施される動体領域についても、演算負荷を低減されるという観点から、その処理対象を指定領域に制限する方が好ましい。

ここで、図５を参照しながら、上記のステップＳ１０８に相当する動体領域及び非動体領域の再設定方法について説明する。なお、ステップＳ１０８の処理は、主に、動体領域設定部１０６を用いて実現される。また、図５に示す処理の流れは、撮影画像に含まれる全画素に対して実行される。

図５に示すように、まず、画素ＰＸ（ｘ，ｙ）が動体のものか否かが判定される（Ｓ１３２）。但し、画素ＰＸ（ｘ，ｙ）は、撮影画像に含まれる任意の画素を示す。また、（ｘ，ｙ）は、画素ＰＸ（ｘ，ｙ）が配置される座標位置を表す。ステップＳ１３２における判定処理は、動体検知部１０４で判定された動体領域及び非動体領域の情報に基づいて実行される。画素ＰＸ（ｘ，ｙ）が動体領域に含まれる場合、動体領域設定部１０６は、ステップＳ１４６の処理に進行する。一方、画素ＰＸ（ｘ，ｙ）が非動体領域に含まれる場合、動体領域設定部１０６は、ステップＳ１３４の処理に進行する。

ステップＳ１３４において、タイマー１０８の時間Ｔがデクリメントされる（Ｓ１３２）。但し、タイマー１０８の時間Ｔ＝０の場合、時間Ｔ＝０のまま維持する。次いで、動体領域設定部１０６は、タイマー１０８の時間Ｔが０か否かを判定する（Ｓ１３６）。タイマー１０８の時間Ｔ≠０である場合、動体領域設定部１０６は、ステップＳ１４８の処理に進行する。一方、タイマー１０８の時間Ｔ＝０の場合、動体領域設定部１０６は、ステップＳ１３８の処理に進行する。ステップＳ１３８において、動体領域設定部１０６は、画素ＰＸ（ｘ，ｙ）として第１処理後画像の画素ＰＸ２（ｘ，ｙ）を出力する（Ｓ１３８）。

次いで、動体領域設定部１０６は、時系列画像に次のフレーム（撮影画像）が含まれるか否かを判定する（Ｓ１４２）。次のフレームが存在する場合、動体領域設定部１０６は、ステップＳ１４４の処理に進行する。一方、次のフレームが存在しない場合、動体領域設定部１０６は一連の処理を終了する。ステップＳ１４４においては、動体領域設定部１０６により次のフレームに対応する撮影画像が参照される（Ｓ１４４）。そして、動体領域設定部１０６は、参照するフレームの撮影画像について、ステップＳ１３２から始まる一連の処理を再度実行する。

さて、ステップＳ１３２の判定処理に基づいてステップＳ１４６の処理に進行した場合、ステップＳ１４６では、動体領域設定部１０６によりタイマー１０８の時間Ｔが所定時間Ｔ０にセットされる（Ｓ１４６）。また、ステップＳ１４８において、動体領域設定部１０６は、画素ＰＸ（ｘ，ｙ）として第１揺らぎ除去処理が施されていない元画像の画素ＰＸ１（ｘ，ｙ）を出力する（Ｓ１４８）。ステップＳ１４８の後、動体領域設定部１０６は、ステップＳ１４２の処理に進行する。

以上の流れを纏めると次の通りである。まず、動体検知部１０４で検知された動体領域及び非動体領域の情報に基づき、ステップＳ１３２で各画素ＰＸが動体のものか、非動体のものかが判定される。画素ＰＸが動体のものであれば、タイマー１０８の時間Ｔが所定時間Ｔ０にセットされる。逆に、画素ＰＸが動体のものでなければ、タイマー１０８の時間Ｔがデクリメントされる。つまり、動体領域設定部１０６は、画素ＰＸが動体であると判定された時点を基準に、タイマー１０８の時間Ｔをデクリメントしていくことで所定時間Ｔ０をカウントする。

既に述べた通り、動体領域設定部１０６は、動体が検知されてから所定時間Ｔ０だけ、その画像領域を動体領域とみなす。つまり、あるフレームで動体のものとして判定された画素ＰＸは、そのフレームから所定時間Ｔ０後のフレームまでに含まれる全てのフレームにおいて、動体の画素ＰＸとみなされるのである。ここで言うみなし処理を実現するため、上記の画像処理方法においては、タイマー１０８の時間Ｔがセットされた後、時間Ｔ＝０になるまで画素ＰＸとして元画像の画素ＰＸ１を出力するように構成されている。

つまり、ステップＳ１３６で時間Ｔ＝０か否かが判定され、時間Ｔ＝０でない場合、ステップＳ１４８の処理で画素ＰＸ１が出力される。一方、タイマー１０８の時間Ｔが０になった場合、ステップＳ１３８において第１処理後画像の画素ＰＸ２が出力される。図５に示す画像処理方法においては、予め非動体領域に第１揺らぎ除去処理を施して得られた第１処理後画像と元画像とを用い、画素毎に出力する画像を切り替えることで動体領域及び非動体領域の再設定が行われる。

以上、本実施形態に係る画像処理の流れについて説明した。上記の通り、本実施形態においては、動体の検出後、所定時間だけ非動体領域が動体領域に再設定され、その再設定された動体領域に第１揺らぎ除去処理が施されないように調整される。この調整処理の結果、実際には動体であるが非動体領域として検知されてしまうような画像領域に対して第１の揺らぎ除去処理が施されるのを回避することが可能になり、揺らぎ除去処理に起因して動体が消えたり、画像が劣化したりすることが防止される。なお、図２の説明の中で示した画像処理方法は、動体領域及び非動体領域を再設定しておき、その再設定情報に基づいて第１揺らぎ除去処理を施すというものであった。いずれの方法のおいても、動体の検出後、所定時間だけ非動体領域を動体領域に再設定するという本実施形態に共通の技術的特徴が含まれており、揺らぎ除去処理に起因して動体が消えたり、画像が劣化したりすることが防止されるという格別の効果が得られる。

［２−５：ブロック分割による演算負荷の低減方法について］
次に、図６を参照しながら、撮影画像のブロック分割による演算負荷の低減方法（以下、ブロック分割手法）について説明する。図６は、撮影画像のブロック分割による演算負荷の低減方法を示す説明図である。既に述べた通り、上記の第２揺らぎ除去処理、及び高画質化処理は、第１揺らぎ除去処理に比べて演算負荷の高い処理である。そのため、本実施形態においては、これらの処理を指定領域に限定して実施するように変形することを許容している。図６に示すブロック分割手法は、撮影画像を所定サイズのブロックに分割し、そのブロックを指定領域として指定できるようにしたものである。

例えば、図６に示すように、撮影画像が２５個のブロックに分割される。ユーザには、表示画面を通じて撮影画像、第１処理後画像、又は第２処理後画像（以下、表示画像）が提示される。表示画像には、上記ブロックの境界が明示されていてもよいし、明示されていなくてもよい。また、表示画像には、動体領域が含まれる動体ブロックＢ１と、動体領域が含まれない非動体ブロックＢ２とが色彩又は模様等により明示されていてもよい。ユーザは、表示画像を参照しながら、操作入力部１１０を介して第２揺らぎ除去処理、又は高画質化処理を施すブロックを指定する。

ブロックが指定されると、第２揺らぎ除去部１１４又は高画質化処理部１１６により、そのブロックに含まれる動体領域に第２揺らぎ除去処理又は高画質化処理が施される。なお、第２揺らぎ除去処理又は高画質化処理が施された動体ブロックＢ１が別ウィンドウで表示されるように構成されていてもよい。このように、指定ブロックに対して第２揺らぎ除去処理又は高画質化処理が施されるように構成されることで、画像処理装置１００の演算負荷が低減される。その結果、高価で高性能な演算処理装置を搭載した情報処理装置を用いずとも、画像処理装置１００の機能が実現できるようになる。

［２−６：画像処理装置１００のハードウェア構成例について］
上記の画像処理装置１００が有する各構成要素の機能は、例えば、図７に示す情報処理装置のハードウェア構成を用いて実現することが可能である。例えば、各構成要素の機能は、コンピュータプログラムを用いて図７に示す情報処理装置を制御することにより実現される。なお、ここで示す情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、撮像装置、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図７に示すように、この情報処理装置は、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８とを有する。さらに、当該情報処理装置は、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とを有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置が用いられる。さらに、出力部９１８としては、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置が用いられる。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、コンパクトフラッシュ（登録商標）（ＣＦ）、メモリースティック、又はＳＤメモリカード等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＣＦは、ＣｏｍｐａｃｔＦｌａｓｈの略である。また、上記のＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄの略である。そして、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

［２−７：まとめ］
最後に、本実施形態の画像処理装置が有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。

まず、本実施形態に係る画像処理装置の機能構成は次のように表現することができる。当該画像処理装置は、次のような動体検知部と、動体領域設定部と、揺らぎ除去処理部とを有する。当該動体検知部は、動画像に含まれる動体を検出するものである。この動体検知部は、例えば、動画像を構成する複数フレームの画素値を比較し、その画素値の差分量が所定量以上である場合に、その画素値に対応する画像領域を動体の領域であると判定する。つまり、動体検知処理により動体領域が検知される。

また、上記の動体領域設定部は、前記動体検知部により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定するものである。つまり、動体検知部による動体検知処理で検知された動体領域に対応する画像領域について、動体が移動した後で非動体領域となる場合においても、その画像領域が動体領域に再設定される。その結果、動体検知部による動体検知処理により動体として検知されにくい部分が動体の一部に含まれていたとしても、その動体の一部が非動体領域に設定されることを回避することができる。

また、上記の揺らぎ除去処理部は、前記動体領域設定部により設定された動体領域以外の領域に揺らぎ除去処理を施すものである。揺らぎ除去処理部により実施される揺らぎ除去処理は、上記の第１揺らぎ除去処理に対応する。もちろん、揺らぎ除去処理部により実施される揺らぎ除去処理が、第１揺らぎ除去処理以外の揺らぎ除去処理であってもよい。仮に揺らぎ除去処理部により実施される揺らぎ除去処理が第１揺らぎ除去処理である場合、動体を含む画像領域に当該揺らぎ除去処理が施されると、動体が消えてしまうか、或いは、画像の劣化が発生してしまう。

しかしながら、上記の揺らぎ除去処理部は、上記の動体領域設定部により設定される動体領域以外の画像領域に揺らぎ除去処理を施す。そのため、実際には動体であるが動体検知部の処理では動体として検知されにくい動体の一部がマスクされ、揺らぎ除去処理が施されない。その結果、揺らぎ除去処理に起因して上記のような動体の一部が消えてしまったり、或いは、画像が劣化してしまうことが回避され、違和感の無い処理後画像が得られるようになる。

また、前記揺らぎ除去処理部は、前記動体領域設定部により設定された動体領域の一部又は全部に対し、当該動体領域に含まれる動体の映像が消えない他の揺らぎ除去処理を施すように構成されていてもよい。このような構成にすることで、実際には非動体領域であるが上記の動体領域設定部によるマスク処理により動体領域とみなされ、揺らぎ除去処理が施されなかった画像領域に対しても（他の）揺らぎ除去処理が施されることになる。その結果、処理後画像の画質をより一段と向上させることが可能になる。

また、上記の画像処理装置は、前記動体領域設定部により設定された動体領域のうち、前記揺らぎ除去処理部により前記他の揺らぎ除去処理が施されていない動体領域の一部又は全部に対して超解像処理を施す超解像処理部をさらに備えていてもよい。上記の通り、他の揺らぎ除去処理は、全ての動体領域に対して実行されなくてもよい。例えば、動体領域設定部により動体領域に設定されたが実際には動体が含まれない画像領域にのみ他の揺らぎ除去処理を施し、実際に動体を含む動体領域には超解像処理を施すように構成されていてもよい。

上記の通り、動体領域設定部は、動体が検出された時点のフレームから所定時間経過後のフレームまでの全てのフレームについて、最初のフレームで検出された動体領域に対応する画像領域を動体の有無に関わらず動体領域に設定する。そこで、動体領域の中でも、動体が含まれる動体領域と動体が含まれない動体領域とで最適な処理を分ける方が良い場合がある。特に、他の揺らぎ除去処理を施すべき動体領域と、超解像処理を施すべき動体領域とをユーザが指定できるようにすることで、より自然な画質の処理後画像が得られる。また、演算負荷の観点からも、全ての動体領域に同じ処理を施すのではなく、適宜処理内容を変更することで、効果的に演算負荷を分散することができるようになる。

なお、前記揺らぎ除去処理部により前記動体領域を除く動画像の全領域に施される揺らぎ除去処理は、例えば、前記動画像の各フレームに含まれる画素値の平均処理又はメジアン処理である。また、前記動体領域に施される揺らぎ除去処理は、例えば、非剛体レジストレーションに基づく揺らぎ除去処理である。

既に説明した通り、動体領域に平均処理やメジアン処理を施すと、動体が消えてしまったり、或いは、画質の劣化が発生してしまう。一方で、非剛体レジストレーションに基づく揺らぎ除去処理によると、動体の消滅や画質の劣化が発生しない。しかしながら、非剛体レジストレーション処理は、平均処理やメジアン処理に比べると非常に演算量が多い。そのため、平均処理やメジアン処理等のフィルタ処理と、非剛体レジストレーション等の処理とは、その処理対象を適切に切り分ける必要がある。

上記の画像処理装置においては、動体検知部及び動体領域設定部により動体領域及び非動体領域が設定され、各領域に対して揺らぎ除去処理が分けられている。このような場合において、平均処理又はメジアン処理と、非剛体レジストレーション処理とを上記のように割り当てることで、演算負荷の増大を抑制しつつ、動画像の画質を効果的に向上させることができる。

また、上記の画像処理装置による画像処理方法は、次のような動体検出ステップ、動体領域設定ステップ、及び揺らぎ除去ステップで表現される。当該動体検出ステップでは、動画像に含まれる動体が検出される。また、上記の動体領域設定ステップでは、前記動体検出ステップで動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域が動体領域に設定される。さらに、揺らぎ除去処理ステップでは、前記動体領域設定ステップで設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理が施される。このような処理ステップで動画像に含まれる各フレームが処理されることにより、揺らぎ除去処理により動体が消えてしまったり、或いは、動体部分の画質が劣化してしまうことを回避することができる。

また、次のような動体検出機能、動体領域設定機能、揺らぎ除去機能をコンピュータに実現させるためのプログラムを利用することで、上記の画像処理方法が実現される。当該動体検出機能は、動画像に含まれる動体を検出するものである。また、上記の動体領域設定機能は、前記動体検出機能により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定するものである。さらに、上記の揺らぎ除去処理機能は、前記動体領域設定機能により設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理を施す機能である。このような機能を有するプログラムを用いて動画像に含まれる各フレームが処理されることにより、揺らぎ除去処理により動体が消えてしまったり、或いは、動体部分の画質が劣化してしまうことを回避することができる。

（備考）
上記の第１揺らぎ除去部１１２、第２揺らぎ除去部１１４は、揺らぎ除去処理部の一例である。また、上記の高画質化処理部１１６は、超解像処理部の一例である。上記の平均化フィルタ処理及び時間メジアンフィルタ処理は、揺らぎ除去処理の一例である。一方、上記の非剛体レジストレーション処理は、他の揺らぎ除去処理の一例である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態においては、画像処理装置１００の形態が情報処理装置であるが如くに説明が行われていた。しかしながら、同実施形態に係る画像処理装置１００は、撮像装置の一部として構成されていてもよい。この場合、画像処理装置１００には、被写体で反射した光が入射する光学系や光学系を通じて入射した光を光電変換する光電変換素子等が設けられる。光電変換素子により電気信号に変換された撮像データは、撮影画像として画像入力部１０２に入力される。但し、画像入力部１０２の前段にＡ／Ｄ変換器が設けられ、アナログ信号として入力された撮像データがデジタル化されて画像入力部１０２に入力されるように構成されていてもよい。このような構成にすることで、画像処理装置１００を撮像装置として機能させることができる。

移動する被写体にフィルタ処理を施した場合に発生する影響を説明するための説明図である。 本発明の一実施形態に係る画像処理装置の機能構成例を示す説明図である。 同実施形態に係る高解像度処理方法の一例を示す説明図である。 同実施形態に係る画像処理の全体的な流れを示す説明図である。 同実施形態に係る画像処理の流れを示す説明図である。 同実施形態に係る画像処理方法の一例を示す説明図である。 同実施形態に係る画像処理方法を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。

符号の説明

１００ 画像処理装置
１０２ 画像入力部
１０４ 動体検知部
１０６ 動体領域設定部
１０８ タイマー
１１０ 操作入力部
１１２ 第１揺らぎ除去部
１１４ 第２揺らぎ除去部
１１６ 高画質化処理部
１３２ 画像合成部
１３４ 位置検出部

Claims (6)

1. 動画像に含まれる動体を検出する動体検知部と、
   前記動体検知部により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定部と、
   前記動体領域設定部により設定された動体領域以外の領域に揺らぎ除去処理を施す揺らぎ除去処理部と、
   を備える、画像処理装置。
2. 前記揺らぎ除去処理部は、前記動体領域設定部により設定された動体領域の一部又は全部に対し、当該動体領域に含まれる動体の映像が消えない他の揺らぎ除去処理を施す、請求項１に記載の画像処理装置。
3. 前記動体領域設定部により設定された動体領域のうち、前記揺らぎ除去処理部により前記他の揺らぎ除去処理が施されていない動体領域の一部又は全部に対して超解像処理を施す超解像処理部をさらに備える、請求項２に記載の画像処理装置。
4. 前記揺らぎ除去処理部により前記動体領域を除く動画像の全領域に施される揺らぎ除去処理は、前記動画像の各フレームに含まれる画素値の平均処理又はメジアン処理であり、
   前記動体領域に施される揺らぎ除去処理は、非剛体レジストレーションに基づく揺らぎ除去処理である、請求項３に記載の画像処理装置。
5. 動画像に含まれる動体が検出される動体検出ステップと、
   前記動体検出ステップで動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域が動体領域に設定される動体領域設定ステップと、
   前記動体領域設定ステップで設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理が施される揺らぎ除去処理ステップと、
   を含む、画像処理方法。
6. 動画像に含まれる動体を検出する動体検出機能と、
   前記動体検出機能により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定機能と、
   前記動体領域設定機能により設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理を施す揺らぎ除去処理機能と、
   をコンピュータに実現させるためのプログラム。

Images