JP2022150651A

JP2022150651A - 撮像装置およびその制御方法、プログラム

Info

Publication number: JP2022150651A
Application number: JP2021053343A
Authority: JP
Inventors: 直人大串; Naoto Ogushi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-03-26
Filing date: 2021-03-26
Publication date: 2022-10-07

Abstract

【課題】主被写体以外の画像領域において適切なボケ画像を生成することを可能とした画像処理装置を提供すること【解決手段】光学系を介して結像された被写体像を撮像する撮像素子から得られる撮像画像と、前記撮像画像の中の主被写体の位置情報とを取得する取得手段と、前記撮像画像を合成した画像を生成する合成手段と、合成された画像に対する処理の判定を行う処理判定手段と、を有し、前記取得手段は異なる位置で撮像された複数枚の画像を取得し、前記合成手段は前記取得手段で得た前記主被写体の位置情報を用いて前記複数枚の画像を前記主被写体の位置が合うように重ね合わせて合成画像を生成し、前記処理判定手段は前記合成画像において重ね合わせた前記複数枚の画像の枚数に応じてボケフィルタ処理を変更することを特徴とする画像処理装置。【選択図】図６

Description

本発明は、撮像画像に係る画質制御の自由度を向上させるための撮像装置の動作と画像処理に関するものである。

デジタルカメラや携帯型通信機器の普及に伴い、画像の撮影が幅広く行われている。画像を個人的に楽しむだけでなく、電磁的媒体を通して広く画像を公開する手段もよく利用され、他者に画像を見せる機会が増えている。そのため、高画質で多様な表現の画像への欲求が高まっている。

画像の特性を示す重要なパラメータのひとつにボケがある。個性的なボケの付加方法としては、レンズの前に所望の形状の開口を設ける方法や画像処理を行う方法がある。前者の方法では、開口形状の変更をすることで、ボケ形状を変えることが可能である。また、後者の方法では画像処理によって画像にボケを付加し、ボケフィルタをかける画像領域と付加するボケ量に関して推定処理が行われる。

特許文献１に開示された撮像装置は、撮影した画像に対して主被写体とそれ以外の第２の画像領域に分割し、検出された画像のボケ度合いの大きさに応じて画像処理後の画像のボケ度合いを大きくするボケ強調処理を行う旨が記載されている。

特許第４９２４４３０号

しかしながら、上述の特許文献に開示された従来技術では、主被写体と第２の画像領域の分割をエッジ抽出などの手段により行う。そのため、エッジ部があいまいな低コントラストの被写体では主被写体と第２の画像領域との境界分離が適切にできない場合がある。

そこで、本発明の目的は、主被写体以外の画像領域において適切なボケ画像を生成することを可能とした撮像装置を提供することである。

上記目的を達成するために、本発明は光学系を介して結像された被写体像を撮像する撮像素子から得られる撮像画像と、前記撮像画像の中の主被写体の位置情報とを取得する取得手段と、前記撮像画像を合成した画像を生成する合成手段と、合成された画像に対する処理の判定を行う処理判定手段と、を有し、前記取得手段は異なる位置で撮像された複数枚の画像を取得し、前記合成手段は前記取得手段で得た前記主被写体の位置情報を用いて前記複数枚の画像を前記主被写体の位置が合うように重ね合わせて合成画像を生成し、前記処理判定手段は前記合成画像において重ね合わせた前記複数枚の画像の枚数に応じてボケフィルタ処理を変更することを特徴とする。

本発明によれば、撮像画像におけるボケを適切に得ることが可能な撮像装置を提供することができる。

ボケ量と瞳径の説明図。本発明に係る光学系と比較例の光学系を対比させた説明図。撮像素子の位置を変えた時における被写体位置と合成処理後の位置関係を示す図。複数枚合成での加算処理に対する課題の説明図。本実施例の撮像装置ブロック図。本実施例での動作を説明するフロー図。

以下に、本発明の好ましい実施形態を図面に基づいて詳細に説明する。

以下、図１～図６を参照して、本実施例による複数枚の画像合成を行い、合成画像に適切にフィルタ処理を行うことで画角制限を設けずにボケ効果を得る撮像装置について説明する。

図１はボケ量と瞳径の説明図である。図１（Ａ）は瞳径の小さいレンズ１０３を示し、図１（Ｂ）は瞳径の大きなレンズ１０２を示す。図１には被写体１０１、レンズ１０３またはレンズ１０２、撮像素子１０４の光学的な位置関係を模式的に示している。被写体１０１からの光線、許容錯乱円１０５および各焦点深度１０６，１０７を示す。

ボケの大きな画像を取得可能なレンズとは、Ｆナンバーが小さいレンズ、つまり瞳径の大きなレンズである。図１（Ａ）、図１（Ｂ）に示す被写体１０１の位置から発した光は、瞳の各部分領域を通過して撮像素子１０４の近傍の結像面で再度交わる。瞳径の大きなレンズ１０２からの光線は、瞳径の小さいレンズ１０３からの光線と比較して、瞳の各部分領域を透過した光が撮像素子１０４上の結像面で交わる際の角度が大きい。許容錯乱円１０５を一定とした場合、瞳径の大きいレンズ１０２の許容錯乱円内の範囲の長さに対応する焦点深度１０６は、瞳径の小さなレンズ１０３の焦点深度１０７より短くなる。つまり、合焦している被写体１０１からの距離が同じでも、瞳径が大きいとボケ量は大きくなる。

図２は光学系の概念図であり、図２（Ａ）に示す本発明に係る光学系と、図２（Ｂ）に示す比較例として口径が大きい光学レンズ系とを対比して説明する。

図２（Ａ）は被写体２０１、瞳径の小さいレンズで構成される撮像装置を動かすことで位置が変わった瞳面２０２および２０３、イメージサークル２０４、撮像素子２０５、撮像素子２０５に投影された被写体２０１の画角位置２０６、２０７を示す。また、仮想瞳面２０８はレンズ２０２および２０３を含めた仮想的な瞳である。

本実施例では、被写体に対して撮像装置を動かすことで被写体に対するレンズの瞳面位置を変えながら複数枚の撮影を行い、複数枚の瞳面位置の画像を重ね合わせる。このとき、被写体２０１が投影されている領域である画角位置２０６と画角位置２０７とが重なり合うように画像の重ね合わせを行うことで、仮想瞳面２０８を通して撮影したような画像を得ることが可能となる。

また図２（Ｂ）は被写体２０１、瞳径の大きいレンズの瞳面２０９、イメージサークル２１２、撮像素子２０５を示す。瞳部分領域２１０、２１１はレンズ瞳面２０９の瞳の一部分である。

図２（Ｂ）に示す瞳径の大きなレンズの瞳面２０９は、瞳部分領域（２１０，２１１参照）の集合体と考えられる。この場合、各瞳部分領域によってそれぞれ撮像素子２０５上に結像される像が光学的に重なり合った状態にあるといえる。

一方、図２（Ａ）に示す瞳面２０２，２０３の瞳径は、図２（Ｂ）に示すレンズによる瞳面２０９に比べて小さい。この場合に、焦点を合わせる被写体２０１と瞳面２０２，２０３の位置が同一直線上になるように各レンズと撮像素子２０５の位置関係を保ちつつ撮像装置を移動させる動作が行われる。このときに撮像装置が取得された複数の画像を重ね合わせることで、仮想的な仮想瞳面２０８での撮影と光学的に同等の関係で撮影することができる。つまり、小口径のレンズ２０２または２０３で普通に撮影された画像は、被写界深度が深いのでボケが小さい。しかし、取得された複数の画像を重ね合わせて仮想瞳面２０８で取得された画像と同様の画像を生成することで、大口径のレンズによる瞳面２０９で撮影した場合と同等の被写界深度での撮像画像を取得することができる。

図３を参照して、複数の画像の重ね合わせによってボケ量を大きくする過程について、画像の画角によって説明する。

図３（Ａ）は異なる被写体３０１、３０２の位置と、撮像装置を動かすことで移動したレンズによる瞳面３０３、３０４と、撮像素子の位置３０５、３０６との関係を示す。被写体３０１は焦点を合わせた被写体を示し、被写体３０２は被写体３０１の背後にあって、焦点が外れた被写体を示している。図３（Ａ）の紙面に垂直な軸方向をｙ方向とし、紙面内にて互いに直交する２軸の方向をｘ方向およびｚ方向と定義する。ｘ軸に関してその正方向を図３の上方向とし、ｚ方向を撮像光学系の光軸に平行な方向とする。

図３（Ａ）において、瞳面３０３と撮像素子の位置３０５は、被写体に対して撮像装置が右側（ｘ座標値が増加する側）に移動した状態でのレンズ位置と撮像素子の位置をそれぞれ示す。また、瞳面３０４と撮像素子の位置３０６は被写体に対して撮像装置が左側（ｘ座標値が減少する側）に移動した状態でのレンズ位置と撮像素子の位置をそれぞれ示す。

図３（Ｂ）は画像例を示す模式図である。画像３０７は撮像装置を右側に動かしたときの瞳面３０３および撮像素子の位置３０５で撮像された画像を示す。画像３０８は撮像装置を左側に動かしたときの瞳面３０４および撮像素子の位置３０６で撮像された画像を示す。画像３０９は画像３０７と画像３０８とを重ね合わせた合成画像を示す。

瞳面３０３および撮像素子の位置３０５の場合、被写体３０１と被写体３０２との位置関係から、画像３０７にて被写体３０１の画像と被写体３０２の画像との間隔は相対的に大きい。一方、瞳面３０４および撮像素子の位置３０６の場合には、画像３０８にて被写体３０１の画像と被写体３０２の画像との間隔は相対的に小さい。レンズと撮像素子との位置関係は、撮像装置から焦点を合わせる被写体３０１までの距離に応じて決定される。そのため、画像内での被写体３０１の位置は変わらないが、画像内での被写体３０２の位置は変化する。つまり、合成された画像３０９内にて被写体３０１の位置に変化はないが、被写体３０２の画像は位置が異なる画像として重ね合わされるのでボケが発生する。

図３から分かるように、撮像装置を横方向（ｘ方向）に動かすことで、横方向のボケが発生し、その移動量（位置ずれ）が大きいほどボケ量が大きくなる。同様に、カメラを縦方向（ｙ方向）に動かすことで縦方向のボケが発生し、その移動量が大きいほどボケ量が大きくなる。

ここで、図４を用いて撮像装置を動かして撮影を行い、複数枚の画像の合成をする場合にボケが少なくなる領域が出てくることへの課題について説明する。図４における図３での説明と同じ点についてはその説明を省略する。

図４（Ａ）において被写体４０１、４０２は被写体３０２と同じく被写体３０１の背後にあり、焦点が外れた被写体を示している。また、被写体４０１は撮像素子位置３０６の画角から外れている一方で、撮像素子位置３０５の画角内には入っている。一方で、被写体４０２は撮像素子位置３０５の画角から外れている一方で、撮像素子位置３０６の画角内には入っている。

図４（Ｂ）はその時に得られる画像とその画像合成結果を模式した図である。撮像素子位置３０５では被写体４０２を除いた被写体４０１、３０１、３０２が入っている画像４０３を得られるのに対し、撮像素子位置３０６では被写体４０１を除いた被写体４０２、３０１、３０２が入っている画像４０４を得られる。この画像４０３と画像４０４とを主被写体となる被写体３０１の位置合わせをした上で画像合成をした結果が合成画像４０５である。

画像４０５では、画像４０３で得られている点線内の画角に対して、画像４０４で得られている実線内の画角が重なり合うことで領域４０６、４０７、４０８に渡る範囲の画角の画像が得られる。

領域４０７においては画像４０３、４０４が重なり合う領域のため被写体３０２はボケ効果が得られるのに対し、領域４０６や領域４０８では画像が重ならないため画像合成によるボケ効果は得られない。そのため、合成画像４０５では被写体４０１、４０２にはボケ効果がほとんどないのに対して、被写体３０２にはボケ効果が出ているという不自然なボケ効果画像となってしまう。領域４０７の画像を切り出すことで不自然なボケ領域を切り捨てることもできるが、本来得られている画角の画像を表示しなくなってしまう。

そこで本実施例では、画像が重ならない領域４０６、４０８の画像に対してデジタルフィルタを掛けることでボケ効果を得るようにする。

図５は本実施例における撮像装置の構成例を示すブロック図である。

本実施例における撮像装置には光学鏡筒５０１、撮像素子５０２、映像信号処理部５０４、圧縮伸張部５０５、位相差信号処理部５０６、制御部５０７、位置検出部５０８、操作部５０９、画像表示部５１０、画像記録部５１１を備える。

図５において撮像装置は光学系である後述の光学鏡筒５０１と接続され、光学鏡筒５０１を介して被写体像を撮像素子で構成される撮像面上に結像することで撮像を行う。

光学鏡筒５０１は被写体からの光を撮像素子５０２に集光するためのレンズと、焦点調節を行うフォーカスレンズとフォーカス制御回路により構成されるフォーカス機構部５０１１と、光学結像の倍率を可変させるズームレンズとズーム制御回路により構成されるズーム機構部５０１２、撮像素子５０２に入射される光量を調整する絞り機構部５０１３、シャッタ機構部５０１４などから構成されている光学系である。フォーカス機構部５０１１、ズーム機構部５０１２、絞り機構部５０１３、シャッタ機構部５０１４は制御部５０７からの制御信号に基づいて駆動される。

なお、図面中において点線矢印は被写体を写した光、実線矢印は制御信号や演算処理後の出力信号、一点鎖線矢印は撮像素子５０２から得られた画像信号の流れ先を表す。

撮像素子５０２は、光入力に応じて電荷変換を行うことで電気信号を行う画素部、及びアナログ・デジタル（ＡＤ）コンバータにより構成されるＸＹ読み出し方式のＣＭＯＳ型イメージセンサなどが用いられる。そして、制御部５０７からの制御信号に応じて露光や信号読み出しやリセットなどの撮像動作が実施され、対応する撮像信号を出力する。

また、撮像素子５０２には駆動制御手段が備えられている。駆動制御手段は制御部５０７と通信し、必要に応じて撮像素子の位置を駆動制御する。また、駆動制御手段は後述の位置検出部によって検出された撮像装置などの動きの量や向きに応じて撮像装置５０２をの駆動量を制御することが可能である。

映像信号処理部５０４は制御部５０７の制御の下で、撮像素子５０２からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）処理などの信号処理を施した後に、制御部５０７へと映像信号、及び演算信号を出力する。また、本実施例における画像合成処理も映像信号処理部５０４で行い、制御部５０７からの制御信号に従い位置合わせを実施した上で画像合成を行う。また、合成した画像に対してフィルタ処理も行う。映像信号処理部５０４で処理された画像信号は制御部５０７内に構成されるＲＡＭに一次記録される。

圧縮伸張部５０５は、制御部５０７の制御の下で動作し、映像信号処理部５０４から制御部５０７内のＲＡＭに記録された映像信号を取り出し、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。また、制御部５０７から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしてもよい。

制御部５０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成される１つ以上のプロセッサーやマイクロコントローラなどであり、ＲＯＭなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。

位置検出部５０８は角速度センサや加速度センサ等を備え、撮像装置の位置および姿勢を検出して検出信号を制御部５０７に出力する。制御部５０７は検出信号に基づき、公知の方法で撮像装置の位置情報や移動量、姿勢情報を取得する。センサデバイスによって物理的な方法で位置や姿勢を検出する方法だけでなく、例えば、撮像装置が撮影者側の動きを検出するカメラを別途備え、カメラが捉える撮影者の位置の変化から撮像装置の位置の変化を推定する方法でもよい。より具体的には、撮像装置の撮影者側に、主の撮像系とは別の副撮像系を設け、副撮像系から出力される撮影者の人体の画像の向きや移動量から撮像装置の位置を推定することができる。また、センサデバイスの物理的情報による推定方法と、副撮像系による推定方法とを組み合わせてもよい。

操作部５０９は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を制御部５０７に出力する。

画像表示部５１０は、ＬＣＤなどの表示デバイスや、これに対するインタフェース回路などからなる。画像表示部５１０は制御部５０７から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。

画像記録部５１１は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ、磁気テープなどとして実現され、圧縮伸張部５０５により符号化された画像データファイルを制御部５０７から受け取って記憶する。また、制御部５０７からの制御信号を基に指定されたデータを読み出し、制御部５０７に出力する。

図６を参照して、図５に示す撮像装置の動作を説明する。

図６に示す処理は、制御部５０７の備えるＣＰＵが所定のプログラムを実行することにより実現される。まずＳ６０１で撮像における構図が決定され、次にＳ６０２で撮像における撮像装置の位置の基準となる原点が登録される。例えば制御部５０７は撮像を開始するときのユーザ操作にしたがって、主被写体となる対象物に対して明示的に撮像装置の原点を登録する処理を実行する。

次いでＳ６０３ではステップＳ６０２で原点登録された被写体に対してフォーカス動作を行い、次いでステップＳ６０４で主被写体に対して合焦した画像を取得し、制御部５０７に内在するＲＡＭなどに一時的に記憶される。

ステップＳ６０５では、得られた画像に対して主被写体の位置合わせを目的として情報取得を行う。ここでは得られた画像から画像検出などにより主被写体の輪郭や色情報など位置合わせに必要な情報を取得する。また、得られた画像の主被写体の特徴点を抽出した情報を取得してもよい。

ステップＳ６０６では、映像信号処理部５０４がステップＳ６０４で取得された画像の加算処理を行う。映像信号処理部５０４はステップＳ６０５での画像位置合わせ情報を元に主被写体の位置合わせをしたうえで、複数枚画像の加算処理を実行する。加算処理では、相対的に暗く撮影された画像の信号を単純加算してもよく（加算により輝度が上がる）、あるいは適正露出で撮影された画像の信号を加算平均してもよい。また画像のＳ／Ｎ（信号対ノイズ）比を考慮して、適正露出より若干暗い画像の信号を加算し、加算枚数以下の数で出力を除算してもよい。

次いでステップＳ６０７では撮影を継続するか否かを制御部６０７が判断する。このとき、ユーザによる操作部５０９での撮影動作の継続や、制御部５０７でプログラムされた画像取得動作によりボケ処理に必要な枚数に達しているか、もしくは所望のボケ処理に必要な画角撮影が足りているかを基準に継続判定を行う。

この時、必要な画角での撮影ができているかは位置検出部５０８での撮像装置での位置情報を元に算出する。

ステップＳ６０７で撮影動作を継続すると判定された場合はステップＳ６０８に遷移する。ステップ６０８では瞳位置を変えるように撮像装置を移動させ、その後ステップＳ６０３へと遷移を戻す。

一方、撮影動作の継続が不要と判定されると、ステップＳ６０９へと遷移する。

ステップＳ６０９ではステップＳ６０７での判断処理を踏まえて画像フィルタ処理を行うかを判断する。ステップＳ６０７では所定の枚数が撮られているか、もしくは必要な画角撮影が行われているかを制御部５０７で判断しており、ステップＳ６０９では図４での領域４０６、４０８のような重ね合わせ枚数が足りずボケが足りていない領域があるかを判断する。

また、本実施例での説明では撮像装置の位置をｘ方向における左、右方向にずらした場合の例で説明したが、仮想瞳面２０８の光軸中心に円形に動かした場合や、星状に動かした場合などでは画面の重なる方向や枚数が変わるため、その状況によって重ね合わせによるボケ形状が所望にならないと判定した場合もステップＳ６１０へ遷移する。

ステップＳ６０９で処理が必要な場合はステップＳ６１０へと遷移し、不要な場合はステップＳ６１１へと遷移する。

ステップＳ６１０でフィルタ処理が必要と判定したときは、ステップＳ６１１ではステップＳ６０６で合成処理された画像に対して映像信号処理部５０４がフィルタ処理を行う。ここでは位置検出部５０８にて取得された位置情報を基に画像中の被写体の位置ずれの量と方向を算出し、算出された被写体の位置ずれの量と方向に応じてボケフィルタ処理に用いるフィルタの重みづけの係数を変更してもよい。例えば、左右に位置ずれが発生している被写体の画像に対しては左右の方向にフィルタの重みづけ係数を変更してボケフィルタ処理を行う。

このとき、図４での説明で領域４０７のように重ね合わせ枚数が足りている領域に対してはフィルタ処理を行わず、重ね合わせ処理が足りない領域である領域４０６、４０８に対して公知のボケフィルタ処理を行う。ここでは合成された処理画像に対して対象画素信号を処理する際に用いる対象画素周辺の画素信号を用いるアドレス範囲（参考範囲）を変えるか、もしくは周辺画素の信号に対する重みづけを変えて対象画素に対する処理を変えるなどの方法を用いて処理することで、ボケ効果を得る。

このとき、領域４０６、領域４０８における光学撮影条件（絞り値、主被写体との焦点距離差異）による被写界深度に応じてフィルタ処理内容を変えてもよい。

また、本実施例での説明では撮像装置の位置をｘ方向における左、右方向にずらした場合の例で説明したが、仮想瞳面２０８の光軸中心に円形に動かした場合や、星状に動かした場合などでは画面の重なる方向や枚数が変わる。したがって、それに応じて重み係数の方向を変えたり、フィルタ処理範囲を方向で重みづけてボケフィルタ処理内容を変えたりしてもよい。例えば、重ね合わせ枚数が少ない領域ほどボケフィルタの重みを増やすことが考えられる。このように処理を行うことで、重ね合わせ枚数が足りない領域に対してフィルタ処理を用い、ボケ感が適切となるような画像を提供することができる。

Ｓ６１１では制御部５０７は、Ｓ６１０で処理された画像信号か、ステップＳ６０６で得られた複数枚画像加算の画像出力（表示、記録、外部出力等）処理を行ってから、一連の処理を終了する。

また、本実施例では主被写体の位置合わせに画像処理による位置合わせを用いる例で説明しているが、撮像装置を仮想瞳面２０８に合わせて動かすと同時に、撮像装置内で撮像素子５０２を動かしてもよい。この場合は撮影される画像の画角内で主被写体の位置が変わらないようにして画像を取得し、画像処理による位置合わせをせずに加算処理をすることで合成処理を行ってもかまわない。

本実施例では、複数の異なる撮像位置にて取得される各画像を加算して出力し、重ね合わせが足りない画像領域に対してボケフィルタを適宜処理させることで画像領域を切り出さずにボケ感が得られる画像を得る撮像装置を提供することができる。

（他の実施形態）
また本発明は、上述の実施形態の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処置でも実現できる。

以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、各実施例に示された構成の組み合わせや、種々の変形および変更が可能である。

１０４、２０５、３０５、３０６、５０２撮像素子
３０３、３０４撮像装置位置を変えたことによる瞳面位置
５０４映像信号処理部
５０７制御部
５０８位置検出図

Claims

光学系を介して結像された被写体像を撮像する撮像素子から得られる撮像画像と、前記撮像画像の中の主被写体の位置情報とを取得する取得手段と、
前記撮像画像を合成した画像を生成する合成手段と、
合成された画像に対する処理の判定を行う処理判定手段と、を有し、
前記取得手段は異なる位置で撮像された複数枚の画像を取得し、
前記合成手段は前記取得手段で得た前記主被写体の位置情報を用いて前記複数枚の画像を前記主被写体の位置が合うように重ね合わせて合成画像を生成し、
前記処理判定手段は前記合成画像において重ね合わせた前記複数枚の画像の枚数に応じてボケフィルタ処理を変更することを特徴とする画像処理装置。
前記処理判定手段は前記合成画像の一部の領域において重ね合わせた前記複数枚の画像が所定の枚数に達していない場合、前記一部の領域に対してのみ前記ボケフィルタ処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記処理判定手段は前記合成画像の生成の際に重ね合わせた前記複数枚の画像の枚数に応じて前記ボケフィルタ処理の重みづけの係数を変更することを特徴とする請求項１または２に記載の画像処理装置。
前記処理判定手段は前記合成画像において前記複数枚の画像が重なっている枚数が少ない領域ほど前記ボケフィルタ処理の重みづけの係数を大きくすることを特徴とする請求項３に記載の画像処理装置。
前記処理判定手段は前記複数枚の画像中の被写体の位置ずれの量と方向に応じて、前記ボケフィルタ処理を変更することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記取得手段は、撮像素子を駆動制御する駆動制御手段を備え、前記駆動制御手段は前記光学系に対して前記撮像素子を駆動制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記駆動制御手段は、画像処理装置の位置が移動した情報を元に前記撮像素子の駆動量を決めることを特徴とする請求項６に記載の画像処理装置。
前記駆動制御手段は前記主被写体の位置が変わらないように前記撮像素子を駆動して前記複数の画像を取得しすることを特徴とする請求項６または７に記載の画像処理装置。
前記合成手段は、前記撮像手段によって得られた画像を元に主被写体の特徴点を抽出し前記特徴点を合わせて画像の位置合わせを行うか、前記撮像素子の駆動制御手段を用いて得られた画像における主被写体の画像位置を合わせる手段を持つことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記処理判定手段は、前記ボケフィルタ処理を前記合成画像を元にフィルタ処理の対象画素を中心とした周辺画素の情報の参考範囲を変更するか、周辺画素からの信号の重みづけを変更することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
光学系を介して結像された被写体像を撮像する撮像素子から得られる撮像画像の中の主被写体の位置情報を取得する取得ステップと、
前記撮像画像を合成した画像を生成する合成ステップと、
合成された画像に対する処理判定を行う処理判定ステップと、を有し、
前記撮像ステップは異なる位置で撮像された複数枚の画像を取得し、
前記合成ステップは前記取得ステップにて得た前記主被写体の位置情報を用いて前記複数枚の画像を前記主被写体の位置が合うように重ね合わせて合成画像を生成し、
前記処理判定手段は前記合成画像において重ね合わせた前記複数枚の画像の枚数に応じてボケフィルタ処理を変更することを特徴とする画像処理装置の制御方法。
請求項１１に記載の制御方法をコンピュータに実行させるためのプログラム。
請求項１２に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読取り可能な記憶媒体。