JP2013255076A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】撮像された複数の連続画像を用いて障害物を自動的に除去して、混雑地域における被写体の写真撮影を容易にした画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】画像処理装置１０は、撮影タイミングの前後に渡る複数のデジタル画像を取得する撮影部２０と、検索点ｐを設定する検索点設定部３４と、検索点ｐの輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）とを基に複素変換して周波数解析する演算部３５と、検索点ｐが動点であるか静止点であるかを判定する移動判定部３６と、動点から移動領域ＭＲを抽出する領域抽出部３７と、移動領域ＭＲにおける静止画像ＳＲを取得する静止画像抽出部３８と、移動領域ＭＲを静止画像ＳＲに置換える画素置換え部３９と、から成る。
【選択図】図１

Description

本発明は、撮像された画像から障害物を取り除くデジタルカメラ等の画像処理装置、画像処理方法、及び画像処理プログラムに関する。

観光地、繁華街などでの人物撮影や風景、建物撮影など人の往来が激しい場所での写真撮影は、被写体とカメラの間に人々が往来し、なかなかシャッターチャンスが訪れない。また、シャッターチャンスが訪れたとしてもシャッターを押した後に撮像結果を確認すると人影が画角の隅に現れることも少なくない。例えば、有名観光地では、特に、人の流れが一定の地域に集中し、写真撮影においては、混雑自体を目的の被写体と共に撮影してしまう。

特許文献１には、２つの撮影部で位置や角度を異ならせて撮影した２つの画像を比較して、そのデジタル画像から被写体にとり不要な混雑自体等の障害物を除去する方法が開示されている。

また、特許文献２には、フォーカスレンズを利用して被写体と障害物の合焦点画像をそれぞれ取得し、その合焦点の違いからくる画素の粒度差（ピントが外れたものは大きな粒度となる）から障害物を検知して、それを除去する方法について記載されている。そのため、ピントの合っていない物体は高周波成分が小さく見えるという現象を利用して各画素ブロックの輝度の高周波成分を抽出して、閾値を判定して、障害物を除去していることも記載されている。

特開平１１−２７２８５５号公報 特許第４５８６６１１号公報

特許文献１では、２つの画像の変化部位を確認してはいるが、特に輝度信号や色差信号等を利用した障害物除去方法ではなく、２つの撮影部を用いるため装置そのものも大きくなる欠点がある。また、特許文献２では、高周波成分の検知を行っているが、時間変動を加味したものでなく、また、所望物体と障害物体それぞれで焦点合わせ作業が必要なため、実用向きではないという問題がある。

本発明は、上記事由に鑑みてなされたものであり、その目的は、撮像された複数の連続画像を用いて障害物を自動的に除去して、混雑地域における被写体の写真撮影を容易にした画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。

本発明の画像処理装置は、撮影タイミングの前後に渡る複数のデジタル画像を取得する撮影部と、前記撮影部で取得された前記複数の画像を記憶するメモリー部と、前記画像の画素を検索点とする検索点設定部と、前記検索点の輝度信号と色差信号とを基に複素変換して周波数解析する演算部と、前記周波数解析した情報を基に前記検索点における動点と静止点を判定する移動判定部と、前記動点から前記動点の移動領域を抽出する領域抽出部と、を備える。

前記画像処理装置は、前記移動領域における複数の前記静止点の静止画像を取得する静止画像抽出部と、前記撮影タイミングの撮像画像の前記移動領域を前記静止画像抽出部で取得された前記静止画像に置換える画素置換え部と、をさらに備えることが好ましい。

前記画像処理装置は、前記静止画像抽出部は、複数の静止画像を生成し、複数の画像を合成することにより前記静止画像を生成することが好ましい。

前記画像処理装置は、前記撮影部で撮像される画像は、主画像と補助画像とから成り、前記制御部は、前記主画像に最も近い前記補助画像に前記主画像を重心とした重み付けを行い、加重平均化による画像処理を実行することが好ましい。

前記画像処理装置は、前記検索点設定部は、前記検索点数を減らし、動体領域を隣接する静止点領域直近まで拡大し、前記移動判定部は、拡大した動点領域内の全画素で静止点判定を実行することが好ましい。

前記画像処理装置は、画像処理装置の振動を検出する振動検出手段をさらに備え、前記振動検出手段が当該画像処理装置の振動を検出している期間においては、前記撮影部は前記複数のデジタル画像を取得しないことが好ましい。

前記画像処理装置は、画像処理装置が水平姿勢位置又は垂直姿勢位置にあることを検出する方位角検出手段をさらに備え、前記方位角検出手段が、当該画像処理装置が水平姿勢位置又は垂直姿勢位置にあることを検出していない期間においては、前記撮影部は前記複数のデジタル画像を取得しないことが好ましい。

前記画像処理装置は、前記制御部は、前記補助画像に対して手振れ補正処理を実行することが好ましい。

前記画像処理装置は、前記主画像前の前記補助画像の周波数解析を前記演算部で実行して置換え画像を前記画素置換え部で取得したことを知らせる通知部を備えることが好ましい。

本発明の画像処理方法は、撮影タイミングの前後に渡る複数のデジタル画像を撮影部で取得し、前記撮影部で取得された前記画像をメモリー部で記憶し、検索点設定部で前記画像の画素を検索点と設定し、演算部で前記検索点の輝度信号と色差信号とを基に複素変換して周波数解析し、移動判定部で前記周波数解析した情報を基に前記検索点における動点と静止点を判定し、領域抽出部で前記動点から前記動点がなす領域を抽出する。

本発明の画像処理プログラムは、撮影タイミングの前後に渡る複数のデジタル画像を撮影部で取得する手順と、前記撮影部で取得された前記画像をメモリー部で記憶する手順と、検索点設定部で前記画像の画素を検索点と設定する手順と、演算部で前記検索点の輝度信号と色差信号とを基に複素変換して周波数解析する手順と、移動判定部で前記周波数解析した情報を基に前記検索点における動点と静止点を判定する手順と、領域抽出部で前記動点から前記動点がなす領域を抽出する手順と、をコンピュータに実行させる。

本発明によれば、撮影部で撮像された複数の画像を連続画像情報として、各画素の周波数解析を行うことにより、被写体に対して障害物である動的物体を正確に検出して除去することが可能となる。また、動的物体の移動領域を静止画像に置換えることにより、障害物のない画像を提供できる。そして、被写体の撮影に於いて、周辺にいる観光客や往来する自動車等を気にせずに被写体を最適状態で撮影できることを可能としている。

本発明に係る画像処理装置の一実施形態を示すブロック図。 本発明の画像処理方法を示す概念図。 各検索点を周波数変換した結果の一例を示すヒストグラム、（ａ）縦軸方向における閾値、（ｂ）横軸方向における閾値。 画像上の検索点における領域分割を説明した概念図。 動的物体の移動領域の一実施形態について説明した概念図、（ａ）〜（ｆ）時系列的な連続画像の一例。 移動領域における静止点画像の抽出について説明した一実施形態の概念図、（ａ）〜（ｄ）時系列的な連続画像の一例。 静止画像を主画像に重ねることを説明した概念図、（ａ）各静止画像の抽出、（ｂ）各静止画像の合成、（ｃ）主画像の移動領域削除、（ｄ）静止画像の置換え。 シャッタータイミング時の画像に重みを持たせたことを説明する概念図。 本発明の画像処理方法の第１実施形態を示すフローチャート図。 本発明の画像処理方法の第２実施形態を示すフローチャート図。 本発明の画像処理方法の第３実施形態を示すフローチャート図。 本発明の画像処理方法の第４実施形態を示すフローチャート図。 ユーザーへの撮影許可通知を説明するための概念図。

以下、本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムの好適な実施形態を、図１〜図１３に基づいて詳述する。

図１は本発明に係る本発明に係る画像処理装置の一実施形態を示すブロック図である。

画像処理装置１０は、撮影部２０と、制御部３０と、記憶部５０と、表示部６０と、操作部７０と、からなる。画像処理装置１０は、例えば、デジタルカメラ、カメラ付き携帯端末、撮像機器、等である。撮影部２０は、レンズ２１と、ＣＣＤ、ＣＭＯＳセンサ等多数の画素（ピクセル）の集合体から成る撮像素子２２とを備えている。制御部３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３等を備えたマイクロプロセッサ構成を有し、ＲＯＭ３３に格納されている制御プログラムにより、画像処理装置１０全体の制御（演算、検索、抽出等を含む）を行う。また、制御部３０は、検索点設定部３４と、演算部３５と、移動判定部３６と、領域抽出部３７と、静止画像抽出部３８と、画素置換え部３９と、を備える。各部の機能や動作については後述する。記憶部５０は、撮影部２０で撮影された画像データや制御部３０で実行するために必要な各種情報データを記憶する。

表示部６０は、液晶パネルや有機ＥＬパネル等のディスプレイであり、指やペンを接触させて各種の処理を行うＵＩ（ユーザーインターフェース）型のタッチパネルでも良く、撮影部２０で撮影された画像や各種操作を行う画面等を表示する。操作部７０は、シャッターボタン、メインスイッチ、処理モード切換スイッチ等を備え、これらのスイッチやボタンを操作すると各種信号が制御部３０に送信される。また、画像処理装置１０は、上述の他、図示してはいないが、距離測光部、方位センサ、角度センサ、振動検出装置、等を備えていても良い。

図２は、本発明の画像処理方法を示す概念図である。撮影部２０では、画像を連続的に撮影している。ユーザーが撮影タイミングとして操作部７０のシャッターボタンを押すと、ユーザーが所望する写真が撮影されて表示部６０に表示されると共に、この撮影された画像と前後の複数枚の画像が、ＲＡＭ３２に一時的に記憶される。前後の複数枚の画像とは、例えば、画像処理装置１０の電源スイッチがＯＮ状態になると自動的に連続画像が過去のある一定期間分撮像される。また、連続画像の開始は、ユーザーが連続画像用のボタン等をマニュアルで押すことで行われていても良い。

更に、振動検出装置（手段）で画像処理装置１０が振動していると判断している期間や、方位センサや角度センサ等の方位角検出手段で、画像処理装置１０が水平姿勢位置または垂直姿勢位置にあることを検知していない期間等においては、撮影部２０が連続撮影を行わないことで消費電力を抑えることが可能となる。

この連続画像は、ＲＡＭ３２に、例えば、リングバッファー形式で記憶される。これにより過去のある一定期間のみのデータが記憶され、無用な大きさのデータを記憶するためのＲＡＭ３２が不要となる。また、ユーザーが撮影した画像（以後、主画像という）と前後の画像（以後、補助画像という）は、記憶部５０に記憶されていても良い。尚、画像を記憶する部分を総括してメモリー部と述べることもある。

図２に於いて、Ｓは基本的に静止している被写体や背景領域等の静的物体であり、Ｍは被写体を横切る人や車等の動的物体である。また、サンプル（ｎ＝１，２，３・・・，Ｎ）で表されるのが主画像と複数の補助画像を含む各画像であり、座標（ｘ、ｙ）が各画素を示している。実施形態では、横軸にｘ（ｘ＝１，２，３，・・・，Ｘ）、縦軸にｙ（ｙ＝１，２，３，・・・，Ｙ）を取っている。そして、これらの画素において、各サンプルの各画素を制御部３０の検索点設定部３４で検索点ｐ（Ｐ＝１，２，３，・・・，Ｐ）として設定する。撮影部２０で撮影された画像は、撮像素子２２からカラーデジタル画像信号として制御部３０に出力される。このカラーデジタル画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色で１つの画素（ピクセル）を構成している。従って、制御部３０は、検索点ｐ毎のＲ、Ｇ、Ｂ信号から輝度信号（Ｙ）と色差信号（Ｃｒ、Ｃｂ）を出力することができる。例えば、Ｙ＝Ｇ、Ｃｒ＝Ｒ、Ｃｂ＝Ｂとして、色相θ（Hueまたはphase）＝ａｒｃｔａｎ（Ｒ／Ｂ）とすると、各検索点ｐの複素表記は
ｐ（ｘ，ｙ，ｎ）＝Ｙ・ｅｘｐ（ｉθ）の指数関数で表すことができる。

図３は、各検索点ｐを周波数変換した結果の周波数スペクトルである。演算部３５で複素変換し、周波数変換方法であるフーリエ変換（高速フーリエ変換等）を施すことでこのスペクトルを得ることができる。周波数スペクトルの縦軸は強度を表し、横軸は角速度（周波数でも良い）を表す。このフーリエ変換処理により、被写体を含む画像上のどの検索点ｐが静的物体Ｓ（画素上では静止点）であるか動的物体Ｍ（画素上では動点）であるかを、移動判定部３６で判定することができる。即ち、画像の各サンプルは時間方向の性質を持つため、同一検索点ｐに周波数成分を調べればよい。検索点ｐが連続して静止点である場合は、ほぼ輝度値及び色差が一定であるため、直流値として周波数成分は持たず中心近傍で集中的な波形となる（矢印Ｃ参照）。一方、検索点ｐが動点である場合は、輝度及び色差が変化し、周波数成分を持つ。そのため、中心から離れた位置でやや散布的な波形となり（矢印Ｄ参照）、中心波形に比べ強さも低くなる。

図３（ａ）では、周波数スペクトルの縦軸方向に閾値を（縦両矢印参照）示し、（ｂ）では、横軸方向（横両矢印参照）に閾値を示している。（ａ）では、どの検索点ｐを静止点または動点として扱うかを信号強度閾値により判定することが可能であり、（ｂ）では、動点の動きの早さを閾値として判定することが可能である。中心周波数に近い周波数を示すポリゴンは動点としての動作速度が低いという特徴を持つので、動作速度の幅を動点検出判断基準に加えることにより、あるゆらぎより遅いポリゴンは静止点として判断することが可能になる。このため、被写体がある程度動いていても、適切な被写体画像を撮像することができる。更に、動体を被写体として、動体検出周波数とカメラの方向移動による背景の変化する周波数の差を閾値とすることで被写体を確実に背景から切り離すことも可能である。

各画素を各検索点ｐとして上述したが、処理スピードの関係から全ての画素に対して検索点ｐを持つ必要はない。例えば、一定の画素間隔（ブロック分割等）で行えば、低分解能ではあるが処理スピードを高速化できる。また、動的物体Ｍが撮像された画像の全画素に対して動点判定を行うことは、処理負荷が非常に大きくなる要因である。そこで、検索点ｐを画素数より少なくすることで処理量を減らすことは可能であるが、検索点ｐ数を減らすことにより動点検出の信頼性が低下する不具合もある。それを解決するために、例えば、検索点ｐ数を減らし、動体領域を図４のように隣接する静止点領域直近まで拡大し（点線領域参照）、拡大した動点領域内の全画素で静止点検出を行う。この方法によれば、処理量を削減しつつ動点領域を確実に除去することも可能である。

図５は、動的物体Ｍの移動領域の一実施形態について説明した概念図である。図５（ａ）〜（ｆ）は、時系列的な連続画像の一例を示している。（ｄ）は、ユーザーがシャッターボタンを押して撮影した主画像であり、撮影タイミング時の画像でもある。（ｄ）を除くその他の画像は補助画像である。ユーザーが画像処理装置１０を被写体に向けて撮影を開始しようとする時点で、撮影部２０により補助画像の撮像がすでに開始されている（（ａ）参照）。静的物体Ｓである被写体に向かって人である動的物体Ｍが近づいている（（ｂ）、（ｃ）参照）。ユーザーがシャッターボタンを押したとき、動的物体Ｍは、ほぼ被写体と重なっている（（ｄ）参照）。シャッターボタンを押した後も複数の補助画像が自動的に撮像される。この補助画像でも理解される通り、動的物体Ｍは被写体の前を横切って行く（（ｅ）（ｆ）参照）。

各検索点ｐから得られたＹ、Ｃｒ、Ｃｂに基づいて演算部３５で周波数解析を行い、画像中の静止点と動点を移動判定部３６で判定して、動点の移動領域ＭＲを抽出する。画像の周波数解析に於いて、画像毎に動点位置を検出し、時系列的に配置して動点の範囲を結んだ領域が移動領域ＭＲである（（ｆ）参照）。尚、各画像間隔については、動的物体Ｍが高速の場合は短い間隔、ゆっくりとした場合は長い間隔という具合に変更できても良い。上述の動的物体Ｍは、基本的に、被写体がほぼ動かないことを前提にして動的と定義しているが、周波数解析に於いて、被写体のある程度の動きも静的物体Ｍの許容範囲としている。そして、被写体を含む主画像に於いて、被写体を邪魔する動的物体Ｍを削除対象の障害物としている。

図６は、移動領域ＭＲにおける静止点画像の抽出について説明した一実施形態の概念図である。図６（ａ）〜（ｄ）は、時系列的な連続画像の一例を示している。まず、最初の補助画像（（ａ）参照）において、移動領域ＭＲ（破線参照）内の静止点と動点が移動判定部３６で判定され、判定された静止点の静止画像ＳＲを静止画像抽出部３８で取得する。この場合、静止画像ＳＲ１（実線で囲まれた斜線部参照）は、動的物体Ｍの前方領域のみである。次の補助画像（（ｂ）参照）においても同様な実行を行う。この場合、静止画像ＳＲ２、ＳＲ３は、動的物体Ｍの前後領域で取得する。以後、同様な実行を行い、実施形態ではＳＲ１〜ＳＲ６の静止画像が得られている。

図７は、静止画像ＳＲを主画像に置換えることを説明した概念図である。上述した各静止画像ＳＲ１〜ＳＲ６を抽出する（（ａ）参照）。次に、各静止画像ＳＲ１〜ＳＲ６を合成して一つの静止画像ＳＲ（合成画像）を静止画像抽出部３８で作成する（（ｂ）参照）。そして、主画像の移動領域ＭＲを削除し（（ｃ）参照）、移動領域ＭＲ上に静止画像ＳＲを画素置換え部３９で置換える（（ｄ）参照）ことにより、障害物である動的物体Ｍを主画像から削除でき、障害物のない主画像を得ることができる。

以上説明したように、撮影部２０で撮像された主画像とその前後で撮像された複数の補助画像を連続画像情報として、全検索点ｐの周波数解析を演算部３５で実行し、被写体に対する障害物である動的物体Ｍを正確に検出して除去することが可能となる。また、動的物体Ｍの移動領域ＭＲを静止画像ＳＲに置換えることのより、障害物のない画像を提供できる。そして、被写体の撮影に於いて、周辺にいる観光客や往来する自動車等を気にせずに被写体を最適状態で撮影できることを可能とする、画像処理装置、画像処理方法、及び画像処理プログラムを提供している。

各静止画像ＳＲ１〜ＳＲ６の合成は、重なり合う部分上で、一つの画素を選択しても良く、重なり合った画素全ての平均を取った平均化処理を行っても良い。また、もととなる主画像は、シャッターを押した瞬間に最も近い補助画像でも、保持している全ての画像の合成でも、平均でも良い。平均を取ることで、例えば、完全に静止した画素が検出できないあいまいな画像でも、平均を算出して静止画素ＳＲを近似することができる。この時、複数画像内の同一座標（ｘ、ｙ）上の所望点を、図８に示すように、シャッターを押した瞬間に最も近い画像に重みを持たせた加重平均をとることで、シャッタータイミング時（矢印参照）に重心を置いて画像のシャープさを保つことも可能である。

図９は、本発明の画像処理方法の第１実施形態を示すフローチャート図である。このフローチャート図は、すでに詳述した実施形態を要約したものである。

解析モードを起動し、検出閾値、取込最大時間、解析粒度等のパラメータを取得する（ステップ１）。次に、撮影部２０で補助画像の取込を開始し（ステップ２）、撮像された補助画像をＲＡＭ３２に一時的に保存し（ステップ３）、シャッターボタンを押したか否かを判定する（ステップ４）。そして、シャッターボタンを押したと判定した場合（ステップ４がＹｅｓ）は、主画像と撮影部２０で撮像された主画像に続く複数の補助画像とをＲＡＭ３２に一時的に確定する（ステップ５）。シャッターボタンを押していないと判定した場合（ステップ４がＮｏ）は、ステップ２に戻る。

更に、主画像及び補助画像を演算部３５でベクトル変換し（ステップ６）、一次周波数解析を実行した（ステップ７）後、一次周波数解析された画素の検索点ｐが動点である移動領域ＭＲを領域抽出部３７で抽出する（ステップ８）。そして、演算部３５で二次周波数解析を行い（ステップ９）、移動領域ＭＲ内の静止画像ＳＲを置換え画像として静止画像抽出部３８で抽出し（ステップ１０）、移動領域ＭＲを画素置換え部３９で静止画像ＳＲに置換え（ステップ１１）、障害物である動的物体Ｍを削除した主画像を記憶部５０に記憶する（ステップ１２）。

図１０は、画像処理方法の第２実施形態を示すフローチャート図である。以後、第１実施形態と同じステップは同じ符号を用い、上述しているため省略する。第２実施形態は、第１実施形態のステップ９とステップ１０との間に画素平均処理（ステップ２０）を追加している。画素平均処理の詳細については、図７及び図８で説明しているので省略する。

図１１は、画像処理方法の第３実施形態を示すフローチャート図である。第３実施形態は、第１実施形態のステップ２とステップ３との間に手振れ補正処理（ステップ３０）を追加している。動点または静止点を移動判定部３６で判定するうえで、ユーザーの手振れによる画角のぶれは、判定精度を劣化させる。撮影者の手振れによる画角のぶれは被写体のみ、又は、動的物体Ｍのみの位置が変動するわけではなく、画像全体が動く。そのため、近年では光学的手振れ補正やソフトウエア処理による手振れ補正を備えるデジタルカメラ等が、一般的である。手振れ補正処理を追加させることにより、動体物体Ｍと手振れによるピクセルのずれを区別でき、移動領域ＭＲの高精度な除去と鮮明な画像を得ることが可能となる。

図１２は、画像処理方法の第４実施形態を示すフローチャート図である。第１実施形態と異なる点は、補助画像を取込後（ステップ２、３）、周波数解析を行っている（ステップ６〜９）ことと、周波数解析後、置換え画像の判定をしていることである。置換え画像が全検出済みかを判定し（ステップ４０）、全検出済みであれば（ステップ４０がＹｅｓ）撮影許可通知を出す（ステップ４２）。一方、全検出済みでないと判定した場合（ステップ４０がＮｏ）は、撮影不可通知を出して（ステップ４１）、ステップ２に戻る。

上述の置換え画像の判定について、図１３を用いて説明する。図１３では、補助画像とその下にユーザーに撮影許可通知を出す通知部ＰＬ（例えば、パイロットランプ等）が示してある。主画像前の補助画像を周波数解析し、動的物体Ｍが存在している領域を一つの移動領域Ｍｒとして領域抽出部３７で抽出する（図１３（ａ）参照）。動的物体Ｍが移動領域Ｍｒから外れて（（ｃ）参照）、移動領域Ｍｒの静止画像Ｓｒが取得できると通知部ＰＬが点灯（点滅）する（（ｄ）参照）。第４実施形態では、シャッターボタンを押す前に、動点と静止点を移動判定部３６で判定し、移動領域Ｍｒを領域抽出部３７で抽出し、静止画像Ｓｒを静止画像抽出部３８で取得して、置換え可能となったことを、通知部ＰＬを介してユーザーに知らしている。

ユーザーがシャッターボタンを押した時に動的物体Ｍの移動量に対して、既に保持している補助画像が不十分で動的物体Ｍを除去できない場合や、既に保持している補助画像が多すぎて処理に余計な時間がかかる場合など、保持している補助画像数や、撮像する間隔は移動する動的物体Ｍによって最適値が異なる。そのため、ユーザーに動的物体Ｍを除去するのに必要充分な画像が保持されていることを示せれば便利である。上述のように、動点及び静止点の判定をリアルタイムで行い、図１３（ｄ）のように、ユーザーに対して、保持している補助画像が動的物体Ｍを障害物として除去するのに充分であることを知らせることで、画像処理装置１０の機能を強化することができる。

今まで説明してきた内容は、動的物体Ｍを障害物として、それを除去する方法について説明してきた。本発明の同様の方法を用いて、動的物体Ｍを撮像対象物として、静止部を除去することで動体被写体を取り出すことも可能である。

尚、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数値、形態、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムは、例えば、デジタルカメラ、携帯端末の撮影に於いて、被写体と同時に撮像される障害物である動的物体を除去する用途に適用可能である。

１０：画像処理装置
２０：撮影部
３０：制御部
３２：ＲＡＭ
３４：検索点設定部
３５：演算部
３６：移動判定部
３７：領域抽出部
３８：静止画像抽出部
３９：画素置換え部
５０：記憶部
６０：表示部
７０：操作部

Claims (12)

1. 撮影タイミングの前後に渡る複数のデジタル画像を取得する撮影部と、
   前記撮影部で取得された前記画像を記憶するメモリー部と、
   前記画像の画素を検索点とする検索点設定部と、
   前記検索点の輝度信号と色差信号とを基に複素変換して周波数解析する演算部と、
   前記周波数解析した情報を基に前記検索点における動点と静止点を判定する移動判定部と、
   前記動点から前記動点の移動領域を抽出する領域抽出部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記移動領域における複数の前記静止点の静止画像を取得する静止画像抽出部と、
   前記撮影タイミングの撮像画像の前記移動領域を前記静止画像抽出部で取得された前記静止画像に置換える画素置換え部と、
   をさらに備える画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記静止画像抽出部は、複数の静止画像を生成し、複数の画像を合成することにより前記静止画像を生成する画像処理装置。
4. 請求項１または請求項２に記載の画像処理装置であって、
   前記撮影部で撮像される画像は、主画像と補助画像とから成り、
   前記制御部は、前記主画像に最も近い前記補助画像に前記主画像を重心とした重み付けを行い、加重平均化による画像処理を実行する画像処理装置。
5. 請求項１または請求項２に記載の画像処理装置であって、
   前記検索点設定部は、前記検索点数を減らし、動体領域を隣接する静止点領域まで拡大し、
   前記移動判定部は、拡大した動点領域内の全画素で静止点判定を実行する画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   画像処理装置の振動を検出する振動検出手段をさらに備え、
   前記振動検出手段が当該画像処理装置の振動を検出している期間においては、前記撮影部は前記複数のデジタル画像を取得しない画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   画像処理装置が水平姿勢位置又は垂直姿勢位置にあることを検出する方位角検出手段をさらに備え、
   前記方位角検出手段が、当該画像処理装置が水平姿勢位置又は垂直姿勢位置にあることを検出していない期間においては、前記撮影部は前記複数のデジタル画像を取得しない画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記制御部は、前記補助画像に対して手振れ補正処理を実行する画像処理装置。
9. 請求項１に記載の画像処理装置であって、
   前記主画像前の前記補助画像の周波数解析を前記演算部で実行して置換え画像を前記画素置換え部で取得したことを知らせる通知部を備える画像処理装置。
10. 請求項１に記載の画像処理装置であって、
    前記動点を含む動的物体を被写対象とし、前記静止点を含む静止物を除去対象とすることにより、前記動的物体のみを取り出すことができる画像処理装置。
11. 撮影タイミングの前後に渡る複数のデジタル画像を撮影部で取得し、
    前記撮影部で取得された前記画像をメモリー部で記憶し、
    検索点設定部で前記画像の画素を検索点と設定し、
    演算部で前記検索点の輝度信号と色差信号とを基に複素変換して周波数解析し、
    移動判定部で前記周波数解析した情報を基に前記検索点における動点と静止点を判定し、
    領域抽出部で前記動点から前記動点の移動領域を抽出する画像処理方法。
12. 撮影タイミングの前後に渡る複数のデジタル画像を撮影部で取得する手順と、
    前記撮影部で取得された前記画像をメモリー部で記憶する手順と、
    検索点設定部で前記画像の画素を検索点と設定する手順と、
    演算部で前記検索点の輝度信号と色差信号とを基に複素変換して周波数解析する手順と、
    移動判定部で前記周波数解析した情報を基に前記検索点における動点と静止点を判定する手順と、
    領域抽出部で前記動点から前記動点の移動領域を抽出する手順と、
    をコンピュータに実行させるプログラム。

Images