JP2017092909A - 撮像装置、画像処理装置およびプログラム - Google Patents

Abstract

【課題】出力指示を受け付けてから画像情報を出力するまでの時間を短縮可能な撮像装置、画像処理装置およびプログラムを提供する。【解決手段】実施形態の撮像装置は、出力画像情報を出力する指示を示す出力指示の前に撮像により生成された第１撮像画像情報に基づく蓄積画像情報と、出力指示を受けた場合に撮像により生成された第２撮像画像情報と、の画素の対応関係に基づいて出力画像情報を出力する。【選択図】図１

Description

本発明の実施形態は、撮像装置、画像処理装置およびプログラムに関する。

従来、連続的な撮像により得られた複数の撮像画像情報間の相関を取ることで、手ぶれ等に起因する撮像画像情報間のずれ量を検出して補正する技術が知られている。例えば撮像画像情報の出力指示（例えばシャッターの押下等）を受け付けた後に、予め定められた回数の撮像を行って得られた複数の撮像画像情報を位置合わせしながら蓄積した蓄積画像情報を用意し、その後の撮像で得られた撮像画像情報と蓄積画像情報とを位置合わせして合成した画像（ノイズを補正した画像）を出力する技術が知られている。

特許第４６７１４２９号公報

しかしながら、上述した従来技術は、出力指示を受け付けた後に蓄積画像情報を用意する必要があるので、出力指示を受け付けてから画像情報を出力するまでに長時間を要するという問題がある。

実施形態の撮像装置は、出力画像情報を出力する指示を示す出力指示の前に撮像により生成された第１撮像画像情報に基づく蓄積画像情報と、出力指示を受けた場合に撮像により生成された第２撮像画像情報と、の画素の対応関係に基づいて出力画像情報を出力する。

実施形態の撮像装置のハードウェア構成の一例を示す図。 実施形態の画像処理部のハードウェア構成の一例を示す図。 実施形態の画像処理部が有する機能の一例を示す図。 実施形態の画像処理部による処理の一例を示すフロー図。 変形例のユーザのフレーミングの様子を示す模式図。 変形例のガウス分布の一例を示す図。 変形例の選択画面の一例を示す図。 変形例の入力画像と基準画像との差異を表す模式図。 変形例の画像処理部が有する機能の一例を示す図。 変形例のプレビュー画像とＧＵＩの一例を示す図。

以下、添付図面を参照しながら、撮像装置、画像処理装置およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態の撮像装置１のハードウェア構成の一例を示す図である。図１に示すように、撮像装置１は、撮像部１０と表示部２０と操作部３０と画像処理部４０とを備える。説明の便宜上、図１では、本実施形態の説明に必要なハードウェア要素を主に例示しているが、撮像装置１が有するハードウェア要素は、これらに限られるものではない。

撮像部１０は、撮像により得られる撮像画像を生成する。撮像部１０は、レンズなどの光学系や撮像素子を含む。撮像素子は、それぞれが画素（表示の最小単位を表す）に対応する複数の光電変換素子（例えばフォトダイオード）が配列された素子アレイと、複数の光電変換素子と１対１に対応する複数のマイクロレンズが配列されたマイクロレンズアレイと、カラーフィルタとを備えている。これらは公知の内容であるため、詳細な説明は省略する。なお、本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。本実施形態では、撮像部１０は、出力画像情報を出力する指示を示す出力指示の前に撮像により第１撮像画像情報を生成し、出力指示を受けた場合に撮像により第２撮像画像情報（入力画像情報）を生成する。以下の説明では、両者を区別しない場合は撮像画像情報と称する場合がある。

表示部２０は、撮像画像等の各種の情報を表示するデバイスであり、例えば液晶型のディスプレイ装置などで構成される。

操作部３０は、ユーザによる各種の操作や指示に用いられるデバイスであり、例えば撮像画像の出力を指示するためのシャッターボタンなどを含む。この例では、ユーザが、シャッターボタンを押下すると、それに伴って発生する電気信号が後述の画像処理部４０へ入力される。この例では、画像処理部４０が、シャッターボタンの押下に伴って発生する電気信号の入力を受け付けることは、出力画像情報を出力する指示を示す出力指示を受け付けることに相当すると考えることができる。

画像処理部４０は、「画像処理装置」の一例であり、撮像部１０から入力される撮像画像に対して後述の画像処理を行うためのデバイスである。以下、画像処理部４０の具体的な構成を説明する。

図２は、画像処理部４０のハードウェア構成の一例を示す図である。図２に示すように、画像処理部４０は、ＣＰＵ(マイクロプロセッサ等の電気回路)１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、Ｉ／Ｆ部１０４とを備える。ＣＰＵ１０１は、画像処理部４０の動作を統括的に制御する。ＲＯＭ１０２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１が実行する各種の処理の作業領域として機能する揮発性のメモリである。Ｉ／Ｆ部１０４は撮像部１０等の外部装置と接続するためのインタフェースである。

図３は、画像処理部４０が有する機能の一例を示す図である。図３に示すように、画像処理部４０は、取得部１１１と、検出部１１２と、生成部１１３と、蓄積バッファー１１４と、出力部１１５とを有する。説明の便宜上、図３では、本実施形態の説明に必要な機能を主に例示しているが、画像処理部４０が有する機能は、これらに限られるものではない。

取得部１１１は、撮像部１０から連続的に（任意のフレームレートで）撮像画像情報を取得する。

検出部１１２は、第２撮像画像情報と、第１撮像画像情報に基づく蓄積画像情報とを用いて、第２撮像画像情報に含まれる第１画素から、蓄積画像情報に含まれ、かつ、第１画素に対応する第２画素への動きベクトルを検出する。この例では、検出部１１２は、第１撮像画像情報に基づく蓄積画像情を基準画像情報とし、第２撮像画像情報と基準画像情報とを用いて、第２撮像画像情報に含まれる複数の画素毎に、基準画像情報の対応画素への動きベクトルを検出する。この例では、第２撮像画像情報に含まれる複数の画素のうち任意の座標（ｘ，ｙ）に位置する画素の画素値をＩ_src（ｘ，ｙ）と定義する。画素値は輝度値のようなスカラーで表される形態であってもよいし、カラー画像（ＲＧＢやＹＵＶ）のようなベクトルで表される形態であってもよい。

また、この例では、基準画像情報に含まれる複数の画素のうち任意の座標（ｘ，ｙ）に位置する画素の画素値をＩ_ref（ｘ，ｙ）と定義する。

なお、第２撮像画像情報および基準画像情報（蓄積画像情報）は、何れも撮像部１０の撮像により得られる「撮像画像情報」とサイズおよび解像度が同一の画像（何れも「撮像画像情報」であると考えることができる）であるため、第２撮像画像情報や基準画像情報に含まれる複数の画素は、撮像部１０の撮像により得られる「撮像画像情報」に含まれる複数の画素と１対１に対応している。

以下、動きベクトルの検出方法について説明する。動きベクトルの検出方法としては様々な方法を利用することができるが、一例としてブロックマッチングを利用した方法を説明する。

ブロックマッチングとは、入力画像情報を矩形ブロックに分割し、ブロック毎に対応するブロックを基準画像内から探索する方法である。ブロックの大きさをＭ１（横方向（ｘ方向）のサイズ）、Ｍ２（縦方向（ｙ方向）のサイズ）とし、横方向にｉ番目、かつ、縦方向にｊ番目のブロックの位置を（ｉ，ｊ）とする。動きを求めるための誤差関数として、平均絶対値差分（Mean Absolute Difference：MAD）などを用いることができる。ＭＡＤの計算式は、例えば以下の式１で表すことができる。

上記の式１におけるｕは評価したい動きベクトルであり、（ｕ_ｘ，ｕ_ｙ）^Ｔである（Ｔは転置を表す）。また、例えばＭＡＤの代わりに、平均二乗誤差（Mean Squared Error）を用いてもよい。

例えば探索範囲を−ＷからＷまでの矩形領域とすると、位置（ｉ，ｊ）に対応する動きベクトルｕ（ｉ，ｊ）を求めるブロックマッチングアルゴリズムは、以下の式２のように表すことができる。

また、ブロック内の各画素の動きベクトルは、ブロックの動きベクトルと同一であるとする。このようにして、入力画像情報内の全画素について、それぞれの動きベクトルを算出する。

また、動きベクトルの推定は、画素単位のマッチング（整数位置精度のマッチング）を行ってもよいし、小数位置精度のマッチングを行ってもよい。小数位置精度の動きベクトルの推定に、例えば等角直線フィッティングなどを用いることができる。

また、例えばLucasKanade法を使って画面全体のパラメトリックモーションを求めて、そこから動きベクトルを求めることもできる。以下、LucasKanade法を用いた動きベクトルの算出方法を説明する。

パラメトリックモーションは、パラメータ化された射影で、動きを表現するものであり、座標（ｘ，ｙ）の動きは、例えばアフィン変換を使って、以下の式３のように表すことができる。

ここでａ＝（ａ_０，ａ_１，ａ_２，ａ_３，ａ_４，ａ_５）^Ｔは、動きのパラメータである。(ｘ ｙ １ ０ ０ ０)とベクトルａとの乗算によって、座標ｘの変換（写像）が行われ、(０ ０ ０ ｘ ｙ １)とベクトルａとの乗算によって座標ｙの変換が行われる。

このパラメータａを画面全体から、LucasKanade法を用いて推定する。なお、１つの入力画像に対して、ベクトルａは１つだけ得られる。具体的な手順は以下のとおりである。

まず、第１のステップとして、以下の式４により勾配∇Ｉ_refを求める。

次に、第２のステップとして、以下の式５によりヘッセ行列Ｈを求める。

次に、第３のステップとして、以下の式６により、パラメータａの変化分を表すΔａを求める。

次に、第４のステップとして、以下の式７により、パラメータａを更新する。式７における「ｔ」は反復回数を表す。規定数に達するまで、上述の第２のステップ〜第４のステップを繰り返す。

以上のようにしてパラメータａが求まれば、以下の式８により、入力画像情報の任意の座標位置（ｘ，ｙ）の動きベクトルを求めることができる。以上に説明した方法以外にも、例えば入力画像情報（第２撮像画像情報）および基準画像情報の各々で特徴点を算出し、特徴点間の対応付けからパラメトリックモーションを求めてもよい。

図３の説明を続ける。生成部１１３は、第１撮像画像情報に基づく蓄積画像情報と、第２撮像画像情報と、の画素の対応関係に基づいて出力画像情報を生成する。より具体的には、生成部１１３は、第２撮像画像に含まれる第１画素の画素値と、蓄積画像情報に含まれ、かつ、第１画素に対応する第２画素の画素値と、を加算して、新たな出力画像情報を生成する。さらに言えば、生成部１１３は、第２撮像画像情報（入力画像情報）の各画素の画素値と、蓄積画像情報のうち該画素に対応する位置から動きベクトルに応じた量だけシフトした位置の画素の画素値と、を加算して、新たな出力画像情報を生成する。また、ここでは、撮像部１０は、出力指示の前に複数の第１撮像画像情報を生成し（取得部１１１は、出力指示を受け付ける前に複数の第１撮像画像情報を取得し）、生成部１１３は、該複数の第１撮像画像情報それぞれに含まれる画素の対応関係に基づいて得た蓄積画像情報と、第２撮像画像情報と、の画素の対応関係に基づいて出力画像情報を生成する。この例では、蓄積画像情報は、取得部１１１により撮像画像情報が取得されるたびに生成され、生成部１１３は、取得部１１１により取得された最新の撮像画像情報に含まれる画素の画素値と、該撮像画像情報よりも前に取得された撮像画像情報を蓄積して得られる蓄積画像情報のうち該画素に対応する位置から動きベクトルに応じた量だけシフトした位置の画素の画素値と、を加算して新たな蓄積画像情報を生成することができる。

なお、本実施形態では、第２撮像画像情報や蓄積画像情報とは別のテンプレートフレーム（サイズおよび解像度が撮像画像と同一のテンプレート画像）を用意し、テンプレートフレームの画素毎に、第２撮像画像情報のうち該画素に対応する画素の画素値と、蓄積画像情報のうち該画素に対応する位置から動きベクトルに応じた量だけシフトした位置の画素の画素値と、を加算して、新たな出力画像情報を生成する。

ここでは、最新の蓄積画像情報を「Ｂ」、その直前の蓄積画像情報を「Ｂ’」と表記する。両者を区別しない場合は、単に「蓄積画像情報」と表記する。また、ここでは、蓄積画像情報Ｂに含まれる複数の画素のうち任意の座標（ｘ，ｙ）に位置する画素の画素値をＢ（ｘ，ｙ）とし、蓄積画像情報Ｂ’に含まれる複数の画素のうち任意の座標（ｘ，ｙ）に位置する画素の画素値をＢ’（ｘ，ｙ）とする。

この例では、生成部１１３は、以下の式８により、テンプレートフレームの画素毎に（撮像画像情報の画素毎に）、画素値Ｂ（ｘ，ｙ）を算出するとともに該算出した画素値Ｂ（ｘ，ｙ）を該画素の画素値として設定することで新たな蓄積画像情報Ｂを生成する。そして、生成した蓄積画像情報Ｂを蓄積バッファー（メモリ）１１４に記憶させる。また、生成部１１３は、直前の蓄積画像情報Ｂ’を蓄積バッファー１１４から消去する。

ここでは、上記の式８における画素値Ｂ’（ｘ＋ｕ_ｘ（ｘ，ｙ），ｙ＋ｕ_ｙ（ｘ，ｙ））は、動きベクトルに応じた位置合わせにより決定された（動きベクトルに応じて動き補償された）画素値であると考えることができる。なお、この例では、直前の蓄積画像情報Ｂ’において、画素値Ｂ（ｘ，ｙ）の算出対象となる画素に対応する位置（ｘ，ｙ）から、動きベクトルに応じた量だけシフトした位置（（ｘ＋ｕ_ｘ（ｘ，ｙ），ｙ＋ｕ_ｙ（ｘ，ｙ））に画素が存在しない場合、生成部１１３は、上記加算を行わずに、取得部２１１により取得された最新の撮像画像情報の画素値Ｉ（ｘ，ｙ）を、新たな蓄積画像情報Ｂの画素値Ｂ（ｘ，ｙ）として算出する。

また、生成部１１３は、蓄積画像情報の画素毎に、蓄積画像情報を得るために画素値が加算された回数に応じた第１重みを与え、第１重みに基づいて得られる出力画像情報を生成する。より具体的には以下のとおりである。この例では、蓄積バッファー１１４には、蓄積画像情報（「撮像画像情報」と考えてもよい）に含まれる複数の画素毎に画素値が加算された回数に応じた第１重みを設定した重み情報が保持されている。ここでは、任意の座標（ｘ，ｙ）に位置する画素に対して設定された第１重みをＷ（ｘ，ｙ）とする。この例では、加算回数に相当する数を示す値を、第１重みＷ（ｘ，ｙ）として採用している。生成部１１３は、上述のように新たな蓄積画像情報Ｂを生成する際に、重み情報に含まれる画素のうち、最新の撮像画像情報の画素値Ｉ（ｘ，ｙ）と、動きベクトルに応じた位置合わせにより決定した直前の蓄積画像情報Ｂ’の画素値Ｂ’（ｘ＋ｕ_ｘ（ｘ，ｙ），ｙ＋ｕ_ｙ（ｘ，ｙ））との加算を行った画素に対しては、「１」だけカウントアップした第１重みＷ（ｘ，ｙ）を設定し、加算を行わなかった画素に対しては、第１重みＷ（ｘ，ｙ）の値を変更しない。このようにして、生成部１１３は、新たな蓄積画像情報Ｂを生成するたびに、蓄積バッファー１１４内の重み情報を更新していく。以上のようにして、生成部１１３は、取得部１１１により撮像画像情報が取得されるたびに、新たな蓄積画像情報Ｂを生成し、蓄積バッファー１１４内の蓄積画像情報および重み情報を更新していく。

本実施形態では、生成部１１３は、出力画像情報の画素毎に、画素値を第１重みで除算することにより出力画像情報を生成する。より具体的には、生成部１１３は、出力指示を受け付けた場合、第２撮像画像情報が反映された最新の蓄積画像情報Ｂの画素毎に、該画素の画素値を該画素に対して設定された第１重みで除算して得られる画像情報を出力画像情報（以下、「出力画像情報Ｏ」と称する）として生成する。これにより、正規化された画像情報を出力することができる。なお、出力画像情報Ｏは、サイズおよび解像度が撮像画像情報と同一の画像情報であり、出力画像情報Ｏに含まれる複数の画素は、撮像画像情報（第２撮像画像情報や蓄積画像情報）に含まれる複数の画素と１対１に対応する。

いま、第２撮像画像情報が反映された蓄積画像情報Ｂのうち任意の座標（ｘ，ｙ）に位置する画素の画素値をＢ（ｘ，ｙ）とし、重み情報に含まれる画素のうち任意の座標（ｘ，ｙ）に位置する画素に対して設定された第１重みをＷ（ｘ，ｙ）とし、出力画像情報Ｏのうち任意の座標（ｘ，ｙ）に位置する画素の画素値をＯ（ｘ，ｙ）とすると、出力画像情報Ｏの画素値Ｏ（ｘ，ｙ）は、以下の式９により求めることができる。

また、生成部１１３は、出力指示を受け付ける前において、一定期間ごとに、その時点での出力画像情報Ｏを生成し、その生成した出力画像情報Ｏをプレビュー画像情報として表示部２０に表示する制御を行うこともできる。

なお、本実施形態では、撮像装置１が起動すると撮像部１０による撮像が開始され、画像処理部４０に対して撮像画像が入力されるたびに、以上に説明した蓄積画像情報を生成する処理が実行される。つまり、撮像装置１の起動を契機として、蓄積画像情報を生成する処理が開始される。ここで、撮像装置１の起動とは、典型的には、撮像装置１に対する電力供給が開始されることを意味する。ただし、これに限らず、例えば撮像装置１がスマートフォンやタブレットなどの携帯型端末（情報処理装置の一例）に搭載される形態の場合、カメラ機能を呼び出すためのアイコンやボタンの押下を契機として、待機状態の撮像装置１が動作を開始することが、「撮像装置１の起動」であると考えてもよい。

なお、蓄積画像情報を生成する処理を開始するタイミングは任意に変更可能であり、例えば撮像装置１の起動後、既に連続的な撮像が行われている状態において、フォーカスを合わせるための操作を受け付けたことを契機として、蓄積画像情報を生成する処理が開始される形態であってもよい。さらに、例えば撮像装置１の起動後、既に連続的な撮像が行われている状態において、撮像画像間の差分が閾値以下（ユーザが構図（被写体の配置）を決定したとみなすことができる）になったことを契機として、蓄積画像情報を生成する処理が開始される形態であってもよい。これらの形態によれば、撮像装置１の起動を契機として蓄積画像情報を生成する処理が開始される形態に比べて、処理負荷を軽減することができるので、より消費電力を節約できるという利点がある。

以下の説明では、出力指示を受け付ける前に、蓄積画像情報を生成する処理を実行する状態を「撮像準備モード」と称する場合がある。

図３の説明を続ける。出力部１１５は、生成部１１３により生成された出力画像情報を出力する。

なお、出力画像情報Ｏの出力の形態は任意であり、例えば出力画像情報Ｏを表示部２０に表示する形態であってもよいし、例えば出力画像情報ＯをＨＤＤ等の不揮発性メモリに記憶させるために転送する形態などであってもよい。

以上に説明した画像処理部４０が有する機能（取得部１１１、検出部１１２、生成部１１３、出力部１１５）は、ＣＰＵ１０１がＲＯＭ１０２等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えばこれらの機能のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路等）により実現される形態であってもよい。また、上述した蓄積バッファー１１４は、例えばＲＯＭ１０２やＲＡＭ１０３等の記憶装置により実現することができる。

図４は、以上に説明した蓄積画像情報を生成する処理の一例を示すフローチャートである。ここでは、撮像装置１の状態（画像処理部４０の状態）は撮像準備モードであることを前提とする。まず、取得部１１１は、撮像画像情報を取得する（ステップＳ１）。次に、検出部１１２は、撮像画像情報の画素毎に動きベクトルを検出する（ステップＳ２）。具体的な内容は上述したとおりである。次に、生成部１１３は、新たな蓄積画像情報Ｂを生成し（ステップＳ３）、その生成した蓄積画像情報Ｂを蓄積バッファー１１４に記憶させる（ステップＳ４）。具体的な内容は上述したとおりである。以上の処理が繰り返し実行される。

以上に説明したように、本実施形態では、出力指示を受け付ける前に撮像により生成された第１撮像画像情報に基づく蓄積画像情報を、出力指示を受け付ける前に生成しておき、該出力指示を受け付けたタイミングで、該出力指示を受けた場合に撮像により生成される第２撮像画像情報（入力画像情報）と、該蓄積画像情報と、の画素の対応関係に基づいて生成された出力画像情報を出力するので、出力指示を受け付けてから画像情報を出力するまでの時間を大幅に短縮できるという利点がある。

以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

（変形例）
以下、変形例を説明する。

（１）変形例１
撮像準備モードに入った後において、例えば図５に示すように、ユーザがフレーミングを大きく変更（撮像対象を変更）すると、それまでの蓄積結果が現在のフレーミングにより得られる第２撮像画像情報（入力画像情報）と大きくずれてしまうことがある。そこで、出力部１１５は、さらに、蓄積画像情報と、第２撮像画像情報と、の画素の対応関係に基づいて生成される中間画像情報と第２撮像画像情報との差分に基づく第２重みを用いて、中間画像情報に含まれる第３画素の画素値と、第２撮像画像情報に含まれ、かつ、第３画素に対応する第４画素の画素値と、を加算して得られる出力画像情報を出力する形態であってもよい。ここでは、中間画像情報は、上述の実施形態における出力画像情報Ｏに相当し（以下では、「中間画像情報Ｏ」と表記する場合がある）、中間画像情報Ｏと第２撮像画像情報との差分値ｄを、以下の式１０により定義する。

この差分値ｄは撮像画像情報のノイズに従い、図６に示すように、標準偏差σがノイズの標準偏差σと同一なガウス分布（ガウス関数）で表される。このガウス分布の値を信頼度αとすると、信頼度αと差分値ｄとの関係は、以下の式１１で表すことができる。

この例では、信頼度αが上述の重みに相当し、本変形例における出力画像情報Ｏ’は、以下の式１２で表すことができる。

すなわち、差分値ｄが大きい場合は信頼度αが低くなるので、出力画像情報Ｏ’における中間画像情報Ｏの寄与度も低くなり、より第２撮像画像情報（入力画像情報）に近い画像情報が出力画像情報Ｏ’として出力されることになる。

（２）変形例２
例えば出力部１１５は、第２撮像画像情報を出力することもできる。例えば撮像装置１は、出力画像情報Ｏおよび第２撮像画像情報（入力画像情報）のうちの何れかを出力対象として選択するための選択画面を表示部２０に表示する機能を有し、出力部１１５は、選択画面から選択された方の画像情報を出力する形態であってもよい。上述の選択画面を表示する機能は、画像処理部４０により提供されてもよいし、撮像装置１内の他の要素（例えば表示部２０や画像処理部４０とは別の制御装置が実行するアプリケーション等）により提供されてもよい。図７は、選択画面の一例を示す図である。

（３） 変形例３
例えば図８に示すように、撮像時の動きが激しい場合（手ぶれの限度を超えた動きがある場合）などには、蓄積画像情報の生成を停止してもよいし、それまでの蓄積画像情報を消去（リセット）してもよい。

例えば検出部１１２により検出された動きベクトルの統計量が閾値を超える場合、生成部１１３は蓄積画像情報の生成を停止することもできる。動きベクトルの統計量としては、例えば各画素の動きベクトルの平均や分散などを用いることもできる。

また、例えば検出部１１２により検出された動きベクトルの統計量が閾値を超える場合、生成部１１３は、その時点での蓄積画像情報（第２撮像画像情報（入力画像情報）が反映される直前の蓄積画像Ｂ’でもよいし、第２撮像画像情報が反映された蓄積画像Ｂでもよい）を消去し、第２撮像画像情報を新たな蓄積画像情報とすることもできる。

（４）変形例４
例えば蓄積画像情報を消去する指示（リセット指示）を受け付けた場合、生成部１１３は、その時点での蓄積画像情報を消去することもできる。

（５）変形例５
例えば図９に示すように、画像処理部４０は、受付部１１６と設定部１１７とをさらに有する形態であってもよい。受付部１１６は、蓄積画像情報と、第２撮像画像情報と、の画素の対応関係に基づいて生成される中間画像情報と、第２撮像画像情報との重み付き加算に用いられる第３重みを設定する指示を受け付ける。設定部１１７は、受付部１１６で受け付けた指示に応じて第３重みを設定する。そして、出力部１１５は、設定部１１７により設定された第３重みを用いて、中間画像情報に含まれる第３画素の画素値と、第２撮像画像情報に含まれ、かつ、第３画素に対応する第４画素の画素値と、を加算して得られる出力画像情報を出力する。本変形例の出力画像情報Ｏ’は、例えば上述の式１２で表すことができる。

ここでは、図１０に示すように、撮像装置１は、プレビュー画像（この例では、出力画像Ｏ’）とともに、蓄積画像情報の重み（出力画像情報Ｏ’を算出する際の中間画像情報Ｏの重み）を設定する指示の入力に用いられるＧＵＩ（この例ではスライダ）を表示部２０に表示する機能を有している。この機能は、画像処理部４０により提供されてもよいし、撮像装置１内の他の要素（例えば表示部２０や画像処理部４０とは別の制御装置が実行するアプリケーション等）により提供されてもよい。上述の受付部１１６は、スライダを介して入力された指示を受け付けることができる。

（６）変形例６
例えば出力指示を受け付けた時点よりも第１の閾値だけ前の第１の時点から、出力指示を受け付けた時点よりも第２の閾値だけ後の第２の時点までの期間内に、第１撮像画像情報または第２撮像画像情報が取得された場合、生成部１１３は、その取得された撮像画像情報を第２撮像画像情報（入力画像情報）として出力画像情報を生成することもできる。ただし、これに限らず、上記期間内（第１の時点から第２の時点までの期間内）に取得された撮像画像情報は第２撮像画像情報とはしない形態であってもよい。さらに、例えば第１の時点から出力指示を受け付けた時点までの期間内に取得された撮像画像情報は第２撮像画像情報とする一方、出力指示を受け付けた時点から第２の時点までの期間内に取得された撮像画像情報は第２撮像画像情報とはしない形態であってもよい。

以上の各実施形態および各変形例は、任意に組み合わせることが可能である。

なお、上述した撮像装置１（画像処理部４０等）で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

１ 撮像装置
１０ 撮像部
２０ 表示部
３０ 操作部
４０ 画像処理部
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ Ｉ／Ｆ部
１１１ 取得部
１１２ 検出部
１１３ 生成部
１１４ 蓄積バッファー
１１５ 出力部
１１６ 受付部
１１７ 設定部

Claims (14)

1. 出力画像情報を出力する指示を示す出力指示の前に撮像により生成された第１撮像画像情報に基づく蓄積画像情報と、前記出力指示を受けた場合に撮像により生成された第２撮像画像情報と、の画素の対応関係に基づいて前記出力画像情報を出力する、
   撮像装置。
2. 動きベクトルに基づいて、前記第２撮像画像情報に含まれる第１画素の画素値と、前記蓄積画像情報に含まれ、かつ、前記第１画素に対応する第２画素の画素値とを加算して、新たな前記出力画像情報を出力し、
   前記動きベクトルは、前記第２撮像画像情報と前記蓄積画像情報とを用いて得られ、前記第１画素から前記第２画素へ向かう、
   請求項１に記載の撮像装置。
3. 前記出力指示の前に生成された複数の前記第１撮像画像情報それぞれに含まれる画素の対応関係に基づいて得た前記蓄積画像情報と、前記第２撮像画像情報と、の画素の対応関係に基づいて前記出力画像情報を出力する、
   請求項１に記載の撮像装置。
4. 前記蓄積画像情報の画素毎に与えられ、前記蓄積画像情報を得るために画素値が加算された回数に応じた、第１重みに基づいて得た前記出力画像情報を出力する、
   請求項３に記載の撮像装置。
5. 前記蓄積画像情報と、前記第２撮像画像情報と、の画素の対応関係に基づいて得た中間画像情報の画素毎に、画素値を前記第１重みで除算することにより前記出力画像情報を出力する、
   請求項４に記載の撮像装置。
6. さらに、前記蓄積画像情報と、前記第２撮像画像情報と、の画素の対応関係に基づいて生成された中間画像情報と前記第２撮像画像情報との差分に基づく第２重みを用いて、前記中間画像情報に含まれる第３画素の画素値と、前記第２撮像画像情報に含まれ、かつ、前記第３画素に対応する第４画素の画素値と、を加算して得た前記出力画像情報を出力する、
   請求項１に記載の撮像装置。
7. 前記第２撮像画像情報も出力することができる、
   請求項１に記載の撮像装置。
8. 前記動きベクトルの統計量が閾値を超える場合、前記出力画像情報の出力を停止する、
   請求項２に記載の撮像装置。
9. 前記動きベクトルの統計量が閾値を超える場合、その時点での前記蓄積画像情報を消去し、前記第２撮像画像情報を新たな前記蓄積画像情報とする、
   請求項２に記載の撮像装置。
10. 前記蓄積画像情報を消去する指示を受け付けた場合、前記生成部は、その時点での前記蓄積画像情報を消去する、
    請求項１に記載の撮像装置。
11. 前記蓄積画像情報と、前記第２撮像画像情報と、の画素の対応関係に基づいて生成された中間画像情報と、前記第２撮像画像情報との重み付き加算に用いられる第３重みを設定する指示を受け付け、
    前記第３重みを用いて、前記中間画像情報に含まれる第３画素の画素値と、前記第２撮像画像情報に含まれ、かつ、前記第３画素に対応する第４画素の画素値と、を加算して得た前記出力画像情報を出力する、
    請求項１に記載の撮像装置。
12. 前記出力指示を受け付けた時点よりも第１の閾値だけ前の第１の時点から、前記出力指示を受け付けた時点よりも第２の閾値だけ後の第２の時点までの期間内に、前記第１撮像画像情報または前記第２撮像画像情報が取得された場合、その取得された撮像画像情報を前記第２撮像画像情報として前記出力画像情報を出力する、
    請求項１に記載の撮像装置。
13. 出力画像情報を出力する指示を示す出力指示の前に撮像により生成された第１撮像画像情報に基づく蓄積画像情報と、前記出力指示を受けた場合に撮像により生成された第２撮像画像情報と、の画素の対応関係に基づいて前記出力画像情報を出力する、
    画像処理装置。
14. コンピュータに、
    出力画像情報を出力する指示を示す出力指示の前に撮像により生成された第１撮像画像情報に基づく蓄積画像情報と、前記出力指示を受けた場合に撮像により生成された第２撮像画像情報と、の画素の対応関係に基づいて前記出力画像情報を出力するステップを実行させるためのプログラム。

Images