JP2012160863A

JP2012160863A - 撮像装置、画像再生装置及び画像処理装置

Info

Publication number: JP2012160863A
Application number: JP2011018449A
Authority: JP
Inventors: Kanichi Furuyama; 貫一古山; Masahiro Yokohata; 正大横畠
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2011-01-31
Filing date: 2011-01-31
Publication date: 2012-08-23
Also published as: US20120194707A1; CN102625037A

Abstract

【課題】デジタルズーム時に光学ズームで得たようなボケを発生させる。
【解決手段】撮像素子から得られた原画像に対して、デジタルズームの倍率（電子ズーム倍率）に応じたトリミングを行うことで対象画像を得る。出力画像生成部５５は、対象画像の非合焦被写体をぼかすぼかし処理を実行し、これによって出力画像を得る。この際、デジタルズームの倍率が大きいほどぼかし処理におけるぼかし量を大きくすることで、光学ズームで得たようなボケを出力画像に発生させる。
【選択図】図５

Description

本発明は、画像の撮影を行うための撮像装置、画像を再生するための画像再生装置及び画像処理を行う画像処理装置に関する。

デジタルカメラ等の撮像装置では、高倍率ズームを実現するために光学ズームとデジタルズームが併用されることも多い。光学ズームとデジタルズームを併用すると、光学ズーム倍率とデジタルズーム倍率の積が出力ズーム倍率として得られるため、高倍率ズームを実現することが可能である。

この種の撮像装置において、出力ズーム倍率を１倍から増大させてゆくと、図４１に示す如く、通常、デジタルズーム倍率を１倍に保持したまま、まず光学ズーム倍率が１倍から上限倍率（図４１の例において５倍）まで増加せしめられ、光学ズーム倍率が上限倍率に達した後にデジタルズーム倍率が１倍から増加せしめられる。光学ズーム倍率の調整を利用して撮影画像の画角調整を行う倍率領域を光学ズーム領域と呼ぶことができ、デジタルズーム倍率の調整を利用して撮影画像の画角調整を行う倍率領域をデジタルズーム領域と呼ぶことができる。

尚、下記特許文献１には、画像処理によって背景をぼかす方法が開示されている。

特開２０１０−０８１０５０号公報

ところで、撮影画像には、ピントの合っている被写体である合焦被写体と、ピントの合っていない被写体である非合焦被写体（背景被写体）と、が存在しうる。或る注目被写体にピントを合わせ続けた状態で光学ズーム倍率を増大させてゆくと、光学ズーム倍率の増大に伴って撮像部の焦点距離が変化し、焦点距離の変化に伴って非合焦被写体のボケ量も変化する。図４２に示す如く、注目被写体にピントを合わせ続けた状態で（ピントの合う被写体距離を固定した状態で）光学ズーム倍率を増大させると、非合焦被写体のボケ量は単調増加する。

一方、デジタルズームは焦点距離の変化を伴わないトリミングによって実現されるため、デジタルズーム倍率を増大させた場合、撮影画像上における各被写体の像の大きさは増大するものの非合焦被写体のボケ量は変化しない。

従って、出力ズーム倍率を増大させる場合、光学ズーム領域ではボケ量が徐々に増加するが、光学ズーム領域からデジタルズーム領域に移行すると、とたんにボケ量が撮影画像上において変化しなくなる。故に、デジタルズーム領域における撮影画像をそのままユーザに提示すると、ユーザは違和感を覚えるおそれがある、或いは、出力ズーム倍率の変化に伴う画質変化が得られないことに不満を抱く可能性もある。光学ズームによって得られる画質変化とデジタルズームによって得られる画質変化とに共通性を持たせれば、このような違和感等は軽減されると考えられ、ユーザにとってメリットがあると思われる。

画像の再生段階等においても、これに類似することが言える。画像の撮影完了後にはトリミングによって画角調整を行うことができる。例えば、再生時における再生拡大倍率を１倍よりも大きく設定すれば、トリミングを介して拡大再生が成される。撮影完了後のトリミングによる画角減少は、撮影時に行えなかった或いは行わなかった光学ズームによる画角減少の代替手段としても機能する。故に、トリミングによって画角を減少させた際に、光学ズームで画角調整を行ったかのような効果を持たせることができれば、ユーザにとってメリットが大きい。尚、上記特許文献１の方法では、上述したようなメリットを享受することはできない。

そこで本発明は、デジタルズーム又はトリミングの実行時により好ましい画像を提供可能な撮像装置、画像再生装置及び画像処理装置を提供することを目的とする。

本発明に係る撮像装置は、光学ズームとデジタルズームを利用した撮影によって対象画像を生成する対象画像生成部と、前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた撮像装置において、前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、前記出力画像生成部は、前記デジタルズームの倍率に応じて前記ぼかし処理を実行することを特徴とする。

これにより、デジタルズームの実行時に、光学ズームを利用して得たかのようなボケ（違和感の少ないボケ）を出力画像に発生させることができる。

具体的には例えば、前記撮像装置において、前記出力画像生成部は、前記デジタルズームの倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる。

より具体的には例えば、前記撮像装置において、前記出力画像生成部は、前記光学ズームのみを利用して前記対象画像を生成したときに観測される、前記光学ズームの倍率と前記第２画像領域内の画像のボケ量との関係に基づき、前記ぼかし量を設定する。

本発明に係る画像再生装置は、入力画像を指定された再生拡大倍率に従って拡大することで対象画像を生成する対象画像生成部と、前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、前記出力画像を表示する表示部と、を備えた画像再生装置において、前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、前記出力画像生成部は、前記再生拡大倍率に応じて前記ぼかし処理を実行することを特徴とする。

これにより、画像の拡大再生時に、光学ズームを利用して得たかのようなボケを出力画像に発生させることができる。

具体的には例えば、前記画像再生装置において、前記出力画像生成部は、前記再生拡大倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる。

本発明に係る画像処理装置は、入力画像の一部を指定する切り出し枠を設定し、前記切り出し枠内の画像を抽出することで対象画像を生成する対象画像生成部と、前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた画像処理装置において、前記画像処理は、非合焦距離の被写体の画像をぼかすぼかし処理を含み、前記出力画像生成部は、前記切り出し枠の大きさに応じて前記ぼかし処理を実行することを特徴とする。

これにより、画像のトリミング時に、光学ズームを利用して得たかのようなボケを出力画像に発生させることができる。

具体的には例えば、前記画像処理装置において、前記出力画像生成部は、前記切りだし枠の大きさが減少するにつれて前記ぼかし処理におけるぼかし量を増大させる。

本発明によれば、デジタルズーム又はトリミングの実行時により好ましい画像を提供可能な撮像装置、画像再生装置及び画像処理装置を提供することが可能である。

本発明の実施形態に係る撮像装置の概略全体ブロック図である。図１に示される撮像部の内部構成図である。合焦、被写界深度及び被写界距離等の意義を説明するための図である。原画像の意義を説明するための図である。本発明の第１実施例に係る動作に特に関与する部位のブロック図である。本発明の第１実施例に係る電子ズームを説明するための図である。本発明の第１実施例にて想定される複数の被写体と撮像装置との位置関係を示す図である。本発明の第１実施例に係り、原画像及び対象画像と光学ズーム倍率等との関係を示す図である。本発明の第１実施例に係り、出力ズーム倍率（ＺＦ_ＯＵＴ）と光学ズーム倍率（ＺＦ_ＯＰＴ）及び電子ズーム倍率（ＺＦ_ＥＬ）との関係を示す図である。本発明の第１実施例に係り、光学ズーム倍率と対象ボケ量との関係を示す図である。本発明の第１実施例に係るボケ量特性情報を表す図である。本発明の第１実施例に係り、出力ズーム倍率及びぼかし量間の関係を示す図（ａ）と、電子ズーム倍率及びぼかし量間の関係を示す図（ｂ）である。本発明の第１実施例に係り、出力ズーム倍率と出力画像上の対象ボケ量との関係を示す図である。本発明の第１実施例に係り、撮影モードにおける撮像装置の動作手順を表すフローチャートである。本発明の第１実施例に係り、出力ズーム倍率と光学ズーム倍率及び電子ズーム倍率との関係の変形例を示す図である。本発明の第２実施例に係り、ＲＡＷズームに関与する部位のブロック図である。本発明の第２実施例に係るＲＡＷズームを説明するための図である。本発明の第２実施例に係る動作に特に関与する部位のブロック図である。本発明の第２実施例に係り、出力ズーム倍率と光学ズーム倍率及びＲＡＷズーム倍率（ＺＦ_ＲＡＷ）との関係を示す図である。本発明の第２実施例に係り、出力ズーム倍率及びぼかし量間の関係を示す図（ａ）と、ＲＡＷズーム倍率及びぼかし量間の関係を示す図（ｂ）である。本発明の第２実施例に係り、撮影モードにおける撮像装置の動作手順を表すフローチャートである。本発明の第３実施例に係る動作に特に関与する部位のブロック図である。本発明の第３実施例に係り、再生元画像、切り出し画像及び対象画像間の関係を示す図である。本発明の第３実施例に係り、再生拡大倍率（ＥＦ_ＲＥＰ）及びぼかし量間の関係を示す図である。本発明の第３実施例に係り、再生拡大倍率と出力画像上の対象ボケ量との関係を示す図である。本発明の第３実施例に係り、再生モードにおける撮像装置の動作手順を表すフローチャートである。本発明の第４実施例に係る動作に特に関与する部位のブロック図である。本発明の第４実施例に係る入力画像及び対象画像を示す図である。本発明の第４実施例に係り、画像ファイルの構造を示す図である。本発明の第４実施例に係り、被写体距離検出部から距離データが出力される様子を示す図である。本発明の第４実施例に係り、入力画像及び距離マップの例を示す図である。本発明の第４実施例にて想定される複数の被写体と撮像装置との位置関係を示す図である。本発明の第４実施例に係り、入力画像、対象画像及び出力画像の例を示す図である。本発明の第４実施例に係り、差分距離と入力画像又は対象画像上のボケ量との関係を示す図である。本発明の第４実施例にて想定される複数の被写体と撮像装置との位置関係を示す図である。本発明の第４実施例にて想定される、入力画像の被写界深度の範囲、対象画像の被写界深度の範囲及び出力画像の被写界深度の範囲を示す図である。本発明の第４実施例に係り、差分距離及びぼかし量間の関係を示す図である。本発明の第４実施例に係り、トリミング枠の大きさが比較的大きい場合における差分距離及びぼかし量間の関係を示す図（ａ）と、トリミング枠の大きさが比較的小さい場合における差分距離及びぼかし量間の関係を示す図（ｂ）である。本発明の第４実施例に係り、再生モードにおける撮像装置の動作手順を表すフローチャートである。本発明の第４実施例に係るデジタルフォーカス部を示す図である。従来技術に係り、出力ズーム倍率と光学ズーム倍率及びデジタルズーム倍率との関係を示す図である。従来技術に係り、出力ズーム倍率と非合焦被写体のボケ量との関係を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、光学ズーム倍率を記号ＺＦ_ＯＰＴによって表す場合、光学ズーム倍率ＺＦ_ＯＰＴを、倍率ＺＦ_ＯＰＴ又は単にＺＦ_ＯＰＴと表記する場合もある。

図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。

撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。主制御部１３は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御を表示部１５に対して行う。

内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。

表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に特定の指示を与えることができる。尚、タッチパネル１９を割愛することも可能である。

記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及びズーム倍率の変更指示を受け付けるズームボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができる。シャッタボタン２０及びズームボタン２１は、タッチパネル１９上のボタンであってもよい。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。但し、本明細書では、撮像素子３３の各受光画素の出力信号も画像データと呼ぶことがある。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。

図３（ａ）〜（ｄ）を参照して、合焦等の意義を説明する。図３（ａ）に示す如く、撮像部１１の撮影範囲内に、理想的な点光源３１０が被写体として含まれている状態を想定する。撮像部１１において、点光源３１０からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、撮像面上における点光源３１０の像の直径は実質的にゼロであって撮像素子３３の許容錯乱円径よりも小さい。一方、その結像点が撮像素子３３の撮像面上にない場合、撮像面上において点光源３１０の光学像はぼけ、結果、撮像面上における点光源３１０の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源３１０の像の直径が許容錯乱円径以下であるとき、点光源３１０としての被写体は撮像面上で合焦しており、撮像面上における点光源３１０の像の直径が許容錯乱円径よりも大きいとき、点光源３１０としての被写体は撮像面上で合焦していない。

同様に考えて、図３（ｂ）に示す如く、任意の二次元画像である注目画像３２０に点光源３１０の像３１０’が被写体の像として含まれている場合において、像３１０’の直径が許容錯乱円径に応じた基準径Ｒ_ＲＥＦ以下であるとき、注目画像３２０において点光源３１０としての被写体は合焦しており、像３１０’の直径が該基準径Ｒ_ＲＥＦよりも大きいとき、注目画像３２０において点光源３１０としての被写体は合焦していない。基準径Ｒ_ＲＥＦは、注目画像３２０上における許容錯乱円径である。注目画像３２０において、合焦している被写体を合焦被写体と呼び、合焦していない被写体を非合焦被写体と呼ぶ。注目画像３２０の全画像領域の内、合焦被写体の画像データが存在している画像領域を合焦領域と呼び、非合焦被写体の画像データが存在している画像領域を非合焦領域と呼ぶ。

また、像３１０’の直径に応じた指標を合焦度と呼ぶ。注目画像３２０において、像３１０’の直径が大きいほど点光源３１０としての被写体の合焦度（換言すれば、像３１０’の合焦度）は低く、像３１０’の直径が小さいほど点光源３１０としての被写体の合焦度（換言すれば、像３１０’の合焦度）は高い。従って、非合焦領域における合焦度は合焦領域における合焦度よりも低い。尚、本明細書で述べる任意の画像は、特に記述なき限り、二次元画像である。

任意の被写体３３０と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を、被写体距離と呼ぶ（図３（ｄ）参照）。任意の被写体３３０が注目画像３２０の被写界深度内に位置している場合（換言すれば、被写体３３０の被写体距離が注目画像３２０の被写界深度に属している場合）、被写体３３０は注目画像３２０上において合焦被写体である。被写体３３０が注目画像３２０の被写界深度内に位置していない場合（換言すれば、被写体３３０の被写体距離が注目画像３２０の被写界深度に属していない場合）、被写体３３０は注目画像３２０上において非合焦被写体である。

図３（ｃ）に示す如く、像３１０’の直径が基準径Ｒ_ＲＥＦ以下となる被写体距離の範囲が注目画像３２０の被写界深度であり、注目画像３２０の被写界深度に、注目画像３２０の合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆが属する。像３１０’の直径に最小値を与える被写体距離が注目画像３２０の合焦基準距離Ｌｏであり、注目画像３２０の被写界深度の内、最小の距離及び最大の距離が夫々近点距離Ｌｎ及び遠点距離Ｌｆである。近点距離Ｌｎ及び遠点距離Ｌｆ間の長さは、被写界深度の深さと呼ばれる。

以下、撮像装置１の構成及び動作又はその他の技術に関する複数の実施例を説明する。或る実施例に記載した事項は、特に記述のない限り且つ矛盾のない限り、他の実施例にも適用される。

＜＜第１実施例＞＞
本発明の第１実施例を説明する。図４に示す如く、撮像素子３３において受光画素が配置される全体の領域内には、矩形形状の有効画素領域３３_Ａが設定されている。各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号を受光画素信号として出力する。

有効画素領域３３_Ａ内の各受光画素から出力された受光画素信号より形成される画像を原画像という。第１実施例では、原画像の画角と有効画素領域３３_Ａの全体に結像する画像の画角は等しいものとする。原画像の画角とは、原画像にて表現される撮影空間の範囲を角度にて表したものである（原画像以外の画像の画角についても同様）。

図５は、第１実施例に係る動作に特に関与する部位のブロック図である。出力ズーム倍率から光学ズーム倍率及び電子ズーム倍率を設定するズーム制御部５１と、光学ズーム倍率に従ってズームレンズ３０を駆動することにより光学ズームを成す光学ズーム処理部５２と、原画像の画像データを取得する原画像取得部５３と、ズーム制御部５１にて設定された電子ズーム倍率による電子ズームにて原画像から対象画像を生成する電子ズーム処理部５４と、電子ズーム倍率に応じた画像処理を対象画像に施すことで出力画像を生成する出力画像生成部５５とを、撮像装置１（例えば、主制御部１３）に設けておくことができる。

ユーザは、ズームボタン２１を利用して、出力ズーム倍率を指定するためのズーム操作を成すことができる。ズーム制御部５１は、ズーム操作にて指定された出力ズーム倍率から光学ズーム倍率及び電子ズーム倍率を設定する。出力ズーム倍率、光学ズーム倍率及び電子ズーム倍率を、夫々、記号、ＺＦ_ＯＵＴ、ＺＦ_ＯＰＴ及びＺＦ_ＥＬにて表す。第１実施例では、等式「ＺＦ_ＯＵＴ＝ＺＦ_ＯＰＴ×ＺＦ_ＥＬ」が成立するように、光学ズーム倍率及び電子ズーム倍率が設定される。

光学ズーム処理部５２は、原画像の画角がズーム制御部５１にて設定された光学ズーム倍率に従った画角となるようにズームレンズ３０の位置を制御する。即ち、光学ズーム倍率に従ってズームレンズ３０の位置を制御することにより、撮像素子３３の有効画素領域３３_Ａ上に結像する画像の画角を決定する。ここでは、光学ズーム倍率が或る倍率を起点としてｋ_１倍になったときに、有効画素領域３３_Ａ上に結像する画像の画角が、撮像素子３３の水平及び垂直方向の夫々において１／ｋ_１倍になると考える（ｋ_１は正の数であって、例えば２倍）。但し、面積比で倍率を定義し、光学ズーム倍率が或る倍率を起点としてｋ_１ ^２倍になったときに、有効画素領域３３_Ａ上に結像する画像の画角が、撮像素子３３の水平及び垂直方向の夫々において１／ｋ_１倍になると考えることも可能である。

原画像取得部５３は、ズーム制御部５１にて設定された光学ズーム倍率にて撮影された原画像の画像データを取得する。原画像取得部５３の構成要素に、撮像素子３３及びＡＦＥ１２が含まれていると考えてもよい。

電子ズーム処理部５４は、ズーム制御部５１にて設定された電子ズーム倍率に従う電子ズーム処理を原画像に施すことで対象画像を生成する。電子ズーム処理とは、図６に示す如く電子ズーム倍率に応じた大きさを有する切り出し枠を原画像の画像領域内に設定し、原画像上における切り出し枠内の画像（以下、切り出し画像という）に対して画像サイズ拡大処理を施して得た画像を対象画像として生成する処理を指す。電子ズーム倍率が１倍よりも大きいとき、対象画像の画角は原画像の画角よりも小さくなる。

ここでは、原画像の中心位置と切り出し枠の中心位置は一致し、原画像のアスペクト比と切り出し枠のアスペクト比（換言すれば、切り出し画像のアスペクト比）は同じであるとする。但し、原画像及び切り出し枠間において、中心位置又はアスペクト比を互いに異ならせることも可能である。ここでは、電子ズーム倍率がｋ_２倍であるときに、水平及び垂直方向の夫々において切り出し枠の大きさが原画像の大きさの１／ｋ_２倍になると考える（ｋ_２≧１）。但し、面積比で倍率を定義し、電子ズーム倍率がｋ_２ ^２倍であるときに、水平及び垂直方向の夫々において切り出し枠の大きさが原画像の大きさの１／ｋ_２倍になると考えることも可能である。ｋ_２＞１である場合、切り出し画像は原画像の一部であるが、ｋ_２＝１である場合には、切り出し画像は原画像そのものである。

対象画像及び出力画像の画像サイズは同じであり、それらの画像サイズは予め定められている。予め定められた対象画像及び出力画像の画像サイズを規定出力サイズという。電子ズーム処理部５４は、規定出力サイズの対象画像が得られるように、公知の解像度変換（再標本化）を用いて上記の画像サイズ拡大処理を実行する。但し、規定出力サイズが切り出し画像の画像サイズよりも小さい場合においては、切り出し画像の画像サイズを増大させる画像サイズ拡大処理の代わりに、切り出し画像の画像サイズを縮小させる画像サイズ縮小処理が用いられる。即ち、画像サイズ拡大処理又は画像サイズ縮小処理後の切り出し画像の画像サイズが規定出力サイズと一致するように、切り出し画像に対して画像サイズ拡大処理又は画像サイズ縮小処理を施す。

図６の例では、原画像から切り出された切り出し画像の画像サイズが規定出力サイズよりも小さい場合ことを想定している。規定出力サイズは、原画像の画像サイズ（有効画素領域３３_Ａの画像サイズ）と同じであってもよい。従って、切り出し画像の画素数を増大させる画像サイズ拡大処理を切り出し画像に施すことで対象画像を生成する。原画像から切り出された切り出し画像の画像サイズが規定出力サイズよりも大きい場合においては、切り出し画像の画素数を減少させる画像サイズ縮小処理を切り出し画像に施すことで対象画像を生成することができる。

出力画像生成部５５は、電子ズーム倍率に応じた画像処理を対象画像に施すことで出力画像を生成する（詳細は後述）。

今、撮像部１１の撮影範囲内に複数の被写体が存在しており、その複数の被写体の中に被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂが含まれていることを想定する。また、図７に示す如く、被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂの被写体距離を、それぞれ記号ｄ_Ａ及びｄ_Ｂにて表す（ｄ_Ａ≠ｄ_Ｂ）。第１実施例では、光学ズーム倍率ＺＦ_ＯＰＴの可変範囲は１倍以上且つ５倍以下であり、電子ズーム倍率ＺＦ_ＥＬの可変範囲は１倍以上且つ２倍以下であり、結果、出力ズーム倍率ＺＦ_ＯＵＴの可変範囲は１倍以上且つ１０倍以下であるとする。勿論、これらの可変範囲は様々に変更可能であることは言うまでも無い。尚、以下では、説明の便宜上、必要に応じて、被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂの夫々が理想的な点光源であると仮定する。

図８において、画像４０１は、ＺＦ_ＯＰＴ＝１であるときの原画像であり、画像４０２は、ＺＦ_ＯＰＴ＝３であるときの原画像であり、画像４０３は、ＺＦ_ＯＰＴ＝５であるときの原画像である。画像４１１は、ＺＦ_ＯＰＴ＝１且つＺＦ_ＥＬ＝１であるときの対象画像であり、画像４１２は、ＺＦ_ＯＰＴ＝３且つＺＦ_ＥＬ＝１であるときの対象画像であり、画像４１３は、ＺＦ_ＯＰＴ＝５且つＺＦ_ＥＬ＝１であるときの対象画像であり、画像４１４は、ＺＦ_ＯＰＴ＝５且つＺＦ_ＥＬ＝１．５であるときの対象画像であり、画像４１５は、ＺＦ_ＯＰＴ＝５且つＺＦ_ＥＬ＝２であるときの対象画像である。原画像４０１〜４０３の何れにも且つ対象画像４１１〜４１５の何れにも、被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂの像が現われている。ｆ_１、ｆ_３及びｆ_５は、光学ズーム倍率が、それぞれ、１倍、３倍及び５倍である場合における撮像部１１の焦点距離である。ズームレンズ３０の位置を変化させることで焦点距離が変化する。図８に示される記号Ｖ_１、Ｖ_３、Ｖ_５については後述する。

図９に、第１実施例で想定される倍率ＺＦ_ＯＰＴ、ＺＦ_ＥＬ及びＺ_ＯＵＴの関係を示す。図９において、折れ線４３１はＺＦ_ＯＰＴ及びＺ_ＯＵＴ間の関係を表し、折れ線４３２はＺＦ_ＥＬ及びＺ_ＯＵＴ間の関係を表す。折れ線４３１及び４３２に従う倍率ＺＦ_ＯＰＴ、ＺＦ_ＥＬ及びＺ_ＯＵＴの関係を倍率関係４３０と呼ぶ。倍率関係４３０において、１≦ＺＦ_ＯＵＴ≦５であるとき、ＺＦ_ＯＰＴ＝ＺＦ_ＯＵＴ且つＺＦ_ＥＬ＝１であり、５＜ＺＦ_ＯＵＴ≦１０であるとき、ＺＦ_ＯＰＴ＝５且つＺＦ_ＥＬ＝ＺＦ_ＯＵＴ／５である。つまり、１≦ＺＦ_ＯＵＴ≦５であるときには光学ズーム倍率のみの調整によって対象画像の画角調整が行われ、５＜ＺＦ_ＯＵＴ≦１０であるときには電子ズーム倍率のみの調整によって対象画像の画角調整が行われる。光学ズーム倍率の調整を利用して対象画像の画角調整を行う倍率領域を光学ズーム領域と呼び、電子ズーム倍率の調整を利用して対象画像の画角調整を行う倍率領域を電子ズーム領域と呼ぶ。倍率関係４３０では、光学ズーム領域及び電子ズーム領域が完全に分離している。

任意の原画像の撮影時において、被写体ＳＵＢ_Ａは合焦被写体である一方で被写体ＳＵＢ_Ｂは非合焦被写体であるものとする。つまり、光学ズーム倍率に関わらず、原画像及び対象画像において、被写体ＳＵＢ_Ａは常に合焦被写体である一方で被写体ＳＵＢ_Ｂは常に非合焦被写体であるものとする。そうすると、任意の原画像及び任意の対象画像において被写体ＳＵＢ_Ａのボケ量は最小値をとる一方で、被写体ＳＵＢ_Ｂのボケ量は被写体ＳＵＢ_Ａのボケ量よりも大きい。任意の二次元画像である注目画像３２０（図３（ｂ）参照）において、注目被写体のボケ量とは、注目画像３２０上における注目被写体のぼけの度合いを表す指標であり、注目被写体のぼけの度合いが大きいほど注目被写体のボケ量は大きく、また、注目被写体の合焦度が低いほど注目被写体のボケ量は大きい。注目被写体は、例えばＳＵＢ_Ａ又はＳＵＢ_Ｂである。従って例えば、被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂの夫々が理想的な点光源であると考えた場合、注目画像３２０において被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂの像の直径をそれぞれ被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂのボケ量であると考えることができる。

被写体ＳＵＢ_Ａのボケ量又は基準径Ｒ_ＲＥＦを基準とした、被写体ＳＵＢ_Ｂのボケ量を特に対象ボケ量と呼ぶ（図３（ｃ）参照）。対象ボケ量は、“被写体ＳＵＢ_Ａのボケ量又は基準径Ｒ_ＲＥＦ”に対する“被写体ＳＵＢ_Ｂのボケ量”の比である、と考えることができる。更に、光学ズーム倍率がｐ倍であるときに得られた原画像又は対象画像上における対象ボケ量を記号Ｖ_ｐにて表す（ｐは１以上の実数）。従って例えば、原画像４０１及び対象画像４１１における対象ボケ量はＶ_１にて表され、原画像４０２及び対象画像４１２における対象ボケ量はＶ_３にて表され、原画像４０３及び対象画像４１３〜４１５における対象ボケ量はＶ_５にて表される。ここで、Ｖ_１＜Ｖ_３＜Ｖ_５が成立する。

図１０に、光学ズーム倍率ＺＦ_ＯＰＴと対象ボケ量との関係を示す。光学ズーム倍率の変化は撮像部１１の焦点距離の変化に相当し、焦点距離が変化すると対象ボケ量も変化する。例えば、図１０に示す如く、光学ズーム倍率の増大に伴って対象ボケ量が単調増加する。しかしながら、電子ズーム倍率を増大させた場合、対象画像上における各被写体の像の大きさは増大するものの（図８の対象画像４１３〜４１５参照）対象ボケ量は変化しない。従って、出力ズーム倍率ＺＦ_ＯＵＴを１倍から１０倍まで増大させる場合、光学ズーム領域では対象ボケ量が徐々に増加するが、光学ズーム領域から電子ズーム領域に移行すると、とたんに対象ボケ量が対象画像上において変化しなくなる。故に、仮に対象画像をそのままユーザに提示すると、ユーザは違和感を覚えることがある。或いは、出力ズーム倍率の変化に伴う画質変化が得られないことに不満を抱く可能性もある。

このような違和感等の発生を回避するべく、出力画像生成部５５は、電子ズーム倍率に応じた画像処理（以下、特定画像処理とも呼ぶ）を対象画像に施すことで出力画像を生成する。出力画像の画像データを記録媒体１６に記録することができると共に出力画像を表示部１５に表示することができる。但し、原画像又は対象画像の画像データを記録媒体１６に記録することも可能であるし、原画像又は対象画像を表示部１５に表示することも可能である。

特定画像処理の実現に当たり、図１１に示すボケ量特性情報４５０が利用される。光学ズーム倍率の上限倍率は実際には５倍であるが、ボケ量特性情報４５０では、便宜上、光学ズーム倍率の上限倍率が出力ズーム倍率の上限倍率（第１実施例において１０倍）と一致すると考えられ、１倍から１０倍までの任意の光学ズーム倍率に対する対象ボケ量がボケ量特性情報４５０に定義される。つまり、「１≦ｐ≦１０」を満たす任意の実数ｐに対する対象ボケ量Ｖ_ｐがボケ量特性情報４５０に定義されており、出力画像生成部５５は、ボケ量特性情報４５０から、「１≦ｐ≦１０」を満たす任意の実数ｐに対する対象ボケ量Ｖ_ｐを認識することができる。ボケ量特性情報４５０は関数又はテーブルデータなどで与えられ、ボケ量特性情報４５０を記憶するボケ量特性情報記憶部（不図示）を主制御部１３等に設けておくことができる。

「１≦ＺＦ_ＯＰＴ≦５」を満たす範囲内で光学ズーム倍率を実際に変化させ、各光学ズーム倍率に対する対象ボケ量を測定することで、「１≦ｐ≦５」を満たす範囲内の対象ボケ量Ｖ_ｐを正確に知ることができる。「１≦ｐ≦５」を満たす範囲内の対象ボケ量Ｖ_ｐから「５＜ｐ≦１０」を満たす範囲内の対象ボケ量Ｖ_ｐを演算によって推定することで、ボケ量特性情報４５０を生成することができる。勿論、撮像部１１の光学特性から、「１≦ｐ≦１０」を満たす範囲内の対象ボケ量Ｖ_ｐを全て演算によって求めておくようにしてもよい。何れにせよ、ボケ量特性情報４５０は、光学ズームのみを利用して対象画像を取得したときに観測される（換言すれば、ＺＦ_ＥＬ＝１のときに観測される）、光学ズーム倍率と対象ボケ量との関係を表す。

対象画像の全画像領域には、合焦領域である、被写体ＳＵＢ_Ａの画像データの存在する画像領域Ａと、非合焦領域である、被写体ＳＵＢ_Ｂの画像データの存在する画像領域Ｂと、が含まれる。任意の対象画像において、画像領域Ｂの合焦度は画像領域Ａの合焦度よりも低い。出力画像生成部５５における特定画像処理には、対象画像上における被写体ＳＵＢ_Ｂの像をぼかすぼかし処理、即ち、対象画像における非合焦領域Ｂ内の画像をぼかすぼかし処理が含まれる。ぼかし処理を、例えば、画像を平滑化するための平滑化フィルタを用いたフィルタリングにて実現することができる。

ぼかし処理におけるぼかしの強度を表す指標をぼかし量と呼ぶ。ぼかし量が大きいほど、画像領域Ｂ内の画像は強くぼかされる。ぼかし処理を、平滑化フィルタを用いた空間フィルタリングにて実現する場合、例えば、ぼかし量が増大するにつれて、ぼかし処理に用いる平滑化フィルタ（ガウシアンフィルタ等）のフィルタサイズを増大させると良く、フィルタサイズの増大によってぼかしの強度が増大する。

図１２（ａ）に、出力ズーム倍率ＺＦ_ＯＵＴとぼかし量との関係を示し、図１２（ｂ）に、電子ズーム倍率ＺＦ_ＥＬとぼかし量との関係を示す。また、図１３に、出力ズーム倍率ＺＦ_ＯＵＴと出力画像上における対象ボケ量との関係を示す。

図１２（ａ）及び（ｂ）に示す如く、出力ズーム倍率が５倍以下であるとき、即ち電子ズーム倍率が１倍であるとき、ぼかし量はゼロに設定される。即ち、ＺＦ_ＥＬ＝１であるとき、出力画像生成部５５は、ぼかし処理を対象画像に施さず、対象画像をそのまま出力画像として出力する。一方、出力ズーム倍率が５倍よりも大きいとき、即ち電子ズーム倍率が１倍よりも大きいとき、出力画像生成部５５は、ぼかし処理を対象画像に施し、ぼかし処理後の対象画像を出力画像として出力する。出力ズーム倍率が増大するにつれて、即ち電子ズーム倍率が増大するにつれて、ぼかし量は増大せしめられる。具体的には例えば、ＺＦ_ＥＬ＝１．５であるとき出力画像上における対象ボケ量がＶ_７．５と一致するように、且つ、ＺＦ_ＥＬ＝２であるとき出力画像上における対象ボケ量がＶ_１０と一致するように、出力画像生成部５５は、電子ズーム倍率ＺＦ_ＥＬ及びボケ量特性情報４５０に基づきぼかし量を設定し且つぼかし処理を実行する。従って、ＺＦ_ＥＬ＝１．５であるときのぼかし量は（Ｖ_７．５−Ｖ_５）に相当し、ＺＦ_ＥＬ＝２であるときのぼかし量は（Ｖ_１０−Ｖ_５）に相当する。

対象ボケ量は、被写体ＳＵＢ_Ａ及びＳＵＢ_Ｂの被写体距離ｄ_Ａ及びｄ_Ｂに依存するため、設定されるべきぼかし量も被写体距離ｄ_Ａ及びｄ_Ｂに依存する。従って、原画像又は対象画像の各画素における被写体の被写体距離を検出する被写体距離検出部（不図示）を、主制御部１３に設けておき、その検出結果（即ち、原画像又は対象画像の各画素における被写体の被写体距離の検出値）を表す被写体距離情報を用いて、対象画像の各画素に対するぼかし量を決定するとよい（後述の第１〜第３実施例においても同様）。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。例えば、ステレオカメラ又は測距センサを用いて被写体距離を検出しても良いし、原画像又は対象画像におけるエッジ情報を利用した推定処理によって被写体距離を求めてもよい。

対象画像の各画素における被写体を合焦被写体及び非合焦被写体のどちらかに分類する分類処理（換言すれば、対象画像の各被写体の画像領域を合焦領域及び非合焦領域のどちらかに分類する分類処理）を、出力画像生成部５５及び後述の出力画像生成部７５（図１８参照）に実行させることができ、出力画像生成部５５（及び出力画像生成部７５）は、その分類処理の結果を用いて特定画像処理を成すことができる。

上記分類処理を、対象画像又は対象画像の元となる画像の撮影時における撮像部１１の焦点距離及び絞り値と、被写体距離情報と、に基づいて成すことができる。焦点距離及び絞り値に基づけば原画像及び対象画像の被写界深度が定まるからであり、被写界深度が分かれば、被写体距離情報を用いて、対象画像の各画素に対応する被写体距離が被写界深度に属するか否かが分かるからである。

或いは、上記分類処理を、対象画像の画像データに基づいて行うこともできる。例えば、対象画像の全画像領域を複数の小領域に分割し、小領域ごとに小領域内の画像データに基づき小領域内のエッジ強度を求める。小領域の各画素に対してエッジ抽出フィルタ（微分フィルタ等）を用いたエッジ抽出処理を行い、小領域の画素ごとに適用されたエッジ抽出フィルタの出力値を積算することで当該小領域のエッジ強度を求めることができる。そして、所定の基準値以上のエッジ強度を持つ小領域を合焦領域に分類すると共に、基準値未満のエッジ強度を持つ小領域を非合焦領域に分類することで、上記分類処理を実現することができる。

図１４のフローチャートを参照して、撮影モードにおける撮像装置１の動作手順を説明する。撮像装置１の電源が投入されると、所定のフレーム周期にて順次被写体の撮影が行われ、出力画像列の表示が開始される（ステップＳ１１）。録画指示が成された場合には出力画像列の記録が成される。出力画像列とは、時系列で並ぶ出力画像の集まりを指す。

出力画像列の表示又は記録の開始後、出力画像列の表示又は記録を継続しながらステップＳ１２〜Ｓ１４の処理が繰り返し実行され、ユーザは、任意のタイミングにおいて自由に出力ズーム倍率の変更を指示するためのズーム操作を成すことができる。ズーム制御部５１は、ズームボタン２１を利用して出力ズーム倍率が変更されるたびに、図９の関係に従って倍率ＺＦ_ＯＰＴ及びＺＦ_ＥＬを設定し直す。ステップＳ１２では、電子ズーム倍率ＺＦ_ＥＬが１倍である否かが判断される。即ち、現時点の出力ズーム倍率が光学ズーム領域に属するか否かが判断される。現時点の出力ズーム倍率が光学ズーム領域に属する場合（即ち、ＺＦ_ＥＬ＝１の場合）、電子ズーム処理及びぼかし処理を行うことなく出力画像を生成するが、現時点の出力ズーム倍率が光学ズーム領域に属しない場合（即ち、ＺＦ_ＥＬ＞１の場合）、ステップＳ１３及びＳ１４にて現時点の原画像に対して電子ズーム処理を施した後、更にぼかし処理を施して出力画像を得る。

第１実施例によれば、電子ズーム領域においても、光学ズームを利用して得たかのようなボケ量を得ることができる（光学ズームで画角調整を行ったかのような効果を得ることができる）。このため、電子ズーム領域ではボケ量が変化しなくなるという状況を回避することがき、そのような状況下で生じうるユーザの違和感等を軽減することが可能となる。

尚、上述の説明で想定した倍率関係４３０（図９参照）では、光学ズーム領域と電子ズーム領域が完全に分離しているが、それらを部分的に重複させても良い。即ち、出力ズーム倍率が或る一定範囲（例えば、４倍から１０倍）内にあるときにおいて、出力ズーム倍率の変化に伴い、光学ズーム倍率及び電子ズーム倍率を同時に変化させても良い。例えば、図１５に示す如く、１≦ＺＦ_ＯＵＴ≦４であるとき、ＺＦ_ＯＰＴ＝ＺＦ_ＯＵＴ且つＺＦ_ＥＬ＝１とし、４＜ＺＦ_ＯＵＴ≦１０であるとき、関係式「ＺＦ_ＯＵＴ＝ＺＦ_ＯＰＴ×ＺＦ_ＥＬ」を満たしつつ、ＺＦ_ＯＵＴが４から１０へ増大するにつれて、ＺＦ_ＯＰＴを４から５へ線形的に増大させると同時にＺＦ_ＥＬを１から２まで線形的に増大させてもよい。図１５において、折れ線４３１’はＺＦ_ＯＰＴ及びＺ_ＯＵＴ間の関係の変形例を表し、折れ線４３２’はＺＦ_ＥＬ及びＺ_ＯＵＴ間の関係の変形例を表す。

＜＜第２実施例＞＞
本発明の第２実施例を説明する。第１実施例で記載した事項を、矛盾なき限り第２実施例にも適用することができる。

第２実施例では、第１実施例で述べた電子ズームの代わりにＲＡＷズームを利用する。まず、図１６並びに図１７（ａ）及び（ｂ）を参照してＲＡＷズームを説明する。図１６の読み出し制御部６１及び解像度変換部６２を、図１の主制御部１３に設けておくことができる。第２実施例では、説明の具体化のため、撮像素子３３の有効画素領域３３_Ａには、（４０００×２０００）個の受光画素が存在しているものとする。即ち、有効画素領域３３_Ａにおいて、水平及び垂直方向の受光画素数は夫々４０００及び２０００であるとする。１００００００を１メガと呼ぶ。従って、（４０００×２０００）は８メガとも称される。また、上述の規定出力サイズにて定められる出力画像の水平及び垂直方向の画素数は夫々２０００及び１０００であるとする。従って、規定出力サイズは２メガである。

第１実施例における電子ズームでは原画像に対してトリミングが行なわれるが、ＲＡＷズームでは、撮像素子３３から画像データを読み出す段階において撮像素子３３上の画像に対してトリミングを行う。ＲＡＷズームにおけるトリミングの倍率をＲＡＷズーム倍率と呼ぶ。

読み出し制御部６１は、自身に与えられたＲＡＷズーム倍率に従って、撮像素子３３から読み出されるデータ量などを制御し、この制御の下、撮像素子３３からはＱメガ分の画像データが読み出される。ここで、Ｑは最大でも８である。また、出力規定サイズが２メガであることに対応して、Ｑの最小値は２とされる。撮像素子３３から読み出されたＱメガ分の画像データによって表される、Ｑメガの画像サイズを有する二次元画像を、抽出画像と呼ぶ。

解像度変換部６２は、Ｑメガの画像サイズを有する抽出画像の画像サイズを縮小することにより２メガの画像サイズを有する画像（以下、変換画像という）を生成する。但し、Ｑ＝２の場合には、抽出画像そのものが変換画像となる。画像サイズの縮小は、公知の再標本化によって実現される。Ｑメガの画像サイズを有する抽出画像の画角と、２メガの画像サイズを有する変換画像の画角は同じである。

具体的な数値例を挙げつつ、ＲＡＷズーム倍率とＱの値との関係等を説明する。ＲＡＷズームを利用する場合、撮像素子３３の有効画素領域３３_Ａに対して、矩形状の抽出枠が定義される。抽出枠と有効画素領域３３_Ａのアスペクト比は同じであって且つ抽出枠の中心と有効画素領域３３_Ａの中心は一致しているものとする。図１７（ａ）には、ＲＡＷズーム倍率が１倍の時における、抽出枠５１１、抽出画像５１２及び変換画像５１３が示されており、図１７（ｂ）には、ＲＡＷズーム倍率が２倍の時における、抽出枠５２１、抽出画像５２２及び変換画像５２３が示されている。ＲＡＷズーム倍率の可変範囲は１倍以上且つ２倍以下である。

読み出し制御部６１は、
定義式：（ＲＡＷズーム倍率）
＝２×√（（変換画像の画像サイズ）／（抽出枠の画像サイズ））
＝２×√（（２メガ）／（抽出枠の画像サイズ））
に従って、ＲＡＷズーム倍率から抽出枠の画像サイズを決定する。即ち、変換画像の画像サイズを抽出枠の画像サイズにて割った値の正の平方根がＲＡＷズーム倍率の半分と一致（又は略一致）するように、抽出枠の画像サイズを決定する。そして、抽出枠内の各受光画素の受光画素信号を撮像素子３３から読み出して解像度変換部６２に与える。

従って、
ＲＡＷズーム倍率が１倍の時には、上記定義式より抽出枠の画像サイズは８メガとなるため、図１７（ａ）に示す如く、有効画素領域３３_Ａと同じ大きさを有する抽出枠５１１が設定され、結果、８メガの画像サイズを有する抽出画像５１２が読み出される。この場合、解像度変換部６２は、抽出画像５１２の画像サイズを水平及び垂直方向に夫々１／２に縮小することで、２メガの画像サイズを有する変換画像５１３を生成する。
ＲＡＷズーム倍率が２倍の時には、上記定義式より抽出枠の画像サイズは２メガとなるため、図１７（ｂ）に示す如く、有効画素領域３３_Ａ内に２メガの画像サイズを有する抽出枠５２１が設定され、結果、２メガの画像サイズを有する抽出画像５２２が読み出される。この場合、解像度変換部６２は、抽出画像５２２そのものを変換画像５２３として出力する。

上記定義式並びに図１７（ａ）及び（ｂ）からも理解されるように、ＲＡＷズーム倍率が増加するに伴って抽出枠が小さくなって、変換画像の画角が小さくなる。即ち、ＲＡＷズーム倍率を上げることで、あたかも光学ズーム倍率又は電子ズーム倍率が上がったかのような効果が得られる。そして、ＲＡＷズーム倍率が１倍よりも大きいときには、撮像素子３３からの信号読み出し量が８メガ未満となるため、信号読み出しに関わる電力消費を節約することができる。

図１８は、第２実施例に係る動作に特に関与する部位のブロック図である。出力ズーム倍率から光学ズーム倍率及びＲＡＷズーム倍率を設定するズーム制御部７１と、ズーム制御部７１にて設定された光学ズーム倍率に従ってズームレンズ３０を駆動することにより光学ズームを成す光学ズーム処理部７２と、ズーム制御部７１にて設定されたＲＡＷズーム倍率によるＲＡＷズームにて対象画像を生成するＲＡＷズーム処理部７４と、ＲＡＷズーム倍率に応じた画像処理を対象画像に施すことで出力画像を生成する出力画像生成部７５とを、撮像装置１（例えば、主制御部１３）に設けておくことができる。ＲＡＷズーム倍率を記号ＺＦ_ＲＡＷにて表す。

ズーム制御部７１は、等式「ＺＦ_ＯＵＴ＝ＺＦ_ＯＰＴ×ＺＦ_ＲＡＷ」が成立するように、光学ズーム倍率及びＲＡＷズーム倍率を設定する。光学ズーム処理部７２は、図５の光学ズーム処理部５２と同じものである。

ＲＡＷズーム処理部７４は、図１６の読み出し制御部６１及び解像度変換部６２を備え、解像度変換部６２にて生成された変換画像を対象画像として出力する。

出力画像生成部７５は、図５の出力画像生成部５５と同じ機能を有する。但し、出力画像生成部７５は、電子ズーム倍率ＺＦ_ＥＬの代わりにＲＡＷズーム倍率ＺＦ_ＲＡＷを用いて（換言すれば、ＲＡＷズーム倍率ＺＦ_ＲＡＷを電子ズーム倍率ＺＦ_ＥＬであるとみなした上で）、第１実施例で述べたぼかし処理を含む特定画像処理を行い、これによって対象画像から出力画像を得る。

図１９に、第２実施例で想定される倍率ＺＦ_ＯＰＴ、ＺＦ_ＲＡＷ及びＺ_ＯＵＴの関係を示す。図１９おいて、折れ線５３１はＺＦ_ＯＰＴ及びＺ_ＯＵＴ間の関係を表し、折れ線５３２はＺＦ_ＲＡＷ及びＺ_ＯＵＴ間の関係を表す。折れ線５３１及び５３２に従う倍率ＺＦ_ＯＰＴ、ＺＦ_ＥＬ及びＺ_ＯＵＴの関係を倍率関係５３０と呼ぶ。倍率関係５３０は、図１５に示される関係に類似している。即ち、倍率関係５３０においては、１≦ＺＦ_ＯＵＴ≦４であるとき、ＺＦ_ＯＰＴ＝ＺＦ_ＯＵＴ且つＺＦ_ＲＡＷ＝１とし、４＜ＺＦ_ＯＵＴ≦１０であるとき、関係式「ＺＦ_ＯＵＴ＝ＺＦ_ＯＰＴ×ＺＦ_ＲＡＷ」を満たしつつ、ＺＦ_ＯＵＴが４から１０へ増大するにつれて、ＺＦ_ＯＰＴを４から５へ線形的に増大させると同時にＺＦ_ＲＡＷを１から２まで線形的に増大させている。

出力画像生成部７５も、図５の出力画像生成部５５と同様、図１１のボケ量特性情報４５０を用いてぼかし量を設定する。図２０（ａ）に、出力ズーム倍率ＺＦ_ＯＵＴとぼかし量との関係を示し、図２０（ｂ）に、ＲＡＷズーム倍率ＺＦ_ＲＡＷとぼかし量との関係を示す。第２実施例において、出力ズーム倍率ＺＦ_ＯＵＴと出力画像上における対象ボケ量との関係は、第１実施例のそれ（図１３参照）と同じである。

図２０（ａ）及び（ｂ）に示す如く、出力ズーム倍率が４倍以下であるとき、即ちＲＡＷズーム倍率が１倍であるとき、ぼかし量はゼロに設定される。即ち、ＺＦ_ＲＡＷ＝１であるとき、出力画像生成部７５は、ぼかし処理を対象画像に施さず、対象画像をそのまま出力画像として出力する。一方、出力ズーム倍率が４倍よりも大きいとき、即ちＲＡＷズーム倍率が１倍よりも大きいとき、出力画像生成部７５は、ぼかし処理を対象画像に施し、ぼかし処理後の対象画像を出力画像として出力する。出力ズーム倍率が増大するにつれて、即ちＲＡＷズーム倍率が増大するにつれて、ぼかし量は増大せしめられる。具体的には例えば、ＺＦ_ＯＵＴ＝７．５であるとき出力画像上における対象ボケ量がＶ_７．５と一致するように、且つ、ＺＦ_ＯＵＴ＝１０であるとき出力画像上における対象ボケ量がＶ_１０と一致するように、出力画像生成部７５は、ＲＡＷズーム倍率ＺＦ_ＲＡＷ及びボケ量特性情報４５０に基づきぼかし量を設定し且つぼかし処理を実行する。従って、ＺＦ_ＲＡＷ＝２であるときのぼかし量は（Ｖ_１０−Ｖ_５）に相当する。

図２１のフローチャートを参照して、撮影モードにおける撮像装置１の動作手順を説明する。撮像装置１の電源が投入されると、所定のフレーム周期にて順次被写体の撮影が行われ、出力画像列の表示が開始される（ステップＳ２１）。録画指示が成された場合には出力画像列の記録が成される。出力画像列とは、時系列で並ぶ出力画像の集まりを指す。

出力画像列の表示又は記録の開始後、出力画像列の表示又は記録を継続しながらステップＳ２２〜Ｓ２４の処理が繰り返し実行され、ユーザは、任意のタイミングにおいて自由に出力ズーム倍率の変更を指示するためのズーム操作を成すことができる。ズーム制御部７１は、ズームボタン２１を利用して出力ズーム倍率が変更されるたびに、図１９の関係に従って倍率ＺＦ_ＯＰＴ及びＺＦ_ＲＡＷを設定し直す。ステップＳ２２では、ＲＡＷズーム倍率ＺＦ_ＲＡＷが１倍である否かが判断される。ＺＦ_ＲＡＷ＝１の場合にはぼかし処理を行うことなく出力画像を生成するが、ＺＦ_ＲＡＷ＞１の場合、ＲＡＷズームを介して得た対象画像に対し、ステップＳ２３にてぼかし処理を施して出力画像を得る。

第２実施例によれば、ＲＡＷズームを利用した場合においても、光学ズームを利用して得たかのようなボケ量を得ることができるため、第１実施例と同様の効果を得ることができる。

尚、第１実施例における電子ズームも、第２実施例におけるＲＡＷズームも、対象画像及び出力画像の画角を調整するためのデジタルズームの一種である。電子ズームによるデジタルズームでは、原画像に対するトリミングによって対象画像及び出力画像の画角が調整される一方で、ＲＡＷズームによるデジタルズームでは、撮像素子３３上の画像に対するトリミングによって対象画像及び出力画像の画角が調整される。

また、第１実施例において図９の関係を図１５の関係へと変形する方法の逆の方法にて、第２実施例において図１９の関係を変形しても良い。即ち、１≦ＺＦ_ＯＵＴ≦５であるとき、ＺＦ_ＯＰＴ＝ＺＦ_ＯＵＴ且つＺＦ_ＲＡＷ＝１とし、５＜ＺＦ_ＯＵＴ≦１０であるとき、ＺＦ_ＯＰＴ＝５且つＺＦ_ＲＡＷ＝ＺＦ_ＯＵＴ／５とするようにしても良い。

また、上述の例では、撮像素子３３に設定された抽出枠（図１７（ａ）の５１１等）内の全受光画素の出力信号が個別に読み出されているが、この際、間引き読み出し又は加算読み出しを行うようにしても良い。間引き読み出しの利用時には、抽出枠内の全受光画素の内、一部の受光画素についての出力信号のみが撮像素子３３から読み出される。加算読み出しの利用時には、撮像素子３３上の抽出枠内の各受光画素から出力信号を読み出す際に、複数の受光画素の受光画素信号が加算され、複数の受光画素の受光画素信号から生成された１つの加算信号が１画素分の画像データとして読み出される。

また、ＲＡＷズーム、電子ズーム及び光学ズームを組み合わせて対象画像を生成するようにしてもよい。この場合、ズーム制御部７１は、「ＺＦ_ＯＵＴ＝ＺＦ_ＯＰＴ×ＺＦ_ＥＬ×ＺＦ_ＲＡＷ」が成立するように出力ズーム倍率から倍率ＺＦ_ＯＰＴ、ＺＦ_ＥＬ及びＺＦ_ＲＡＷを設定すれば良く、ＲＡＷズーム処理部７４に図５の電子ズーム処理部５４を設けておくとよい。そして、解像度変換部６２（図１６参照）からの変換画像を原画像としてＲＡＷズーム処理部７４内の電子ズーム処理部５４に与え、電子ズーム処理部５４が対象画像に倍率ＺＦ_ＥＬに応じた電子ズーム処理を施して対象画像を生成すればよい。

＜＜第３実施例＞＞
本発明の第３実施例を説明する。第３実施例では、再生モードにおける撮像装置１の動作を説明する。

図２２は、第３実施例に係る動作に特に関与する部位のブロック図である。記録媒体１６に記録された画像の内、ユーザに指定された画像が再生元画像として記録媒体１６から読み出される。入力画像としての再生元画像は、ユーザに指定された再生拡大倍率に従ってトリミング及び拡大された上で表示部１５に表示される。例えば、ユーザは、ズームボタン２１を利用して再生拡大倍率を指定することができる。再生拡大倍率を記号ＥＦ_ＲＥＰにて表す。

図２２の電子ズーム処理部５４及び出力画像生成部５５は、図５のそれらと同一の機能を有する。但し、第３実施例では、再生元画像及び再生拡大倍率が夫々原画像及び電子ズーム倍率として機能し、第１実施例に記載の原画像及び電子ズーム倍率を夫々再生元画像及び再生拡大倍率に読み替えた上で、第１実施例の記述が図２２の電子ズーム処理部５４及び出力画像生成部５５に適用される。

従って、図２２の電子ズーム処理部５４は、再生拡大倍率を電子ズーム倍率として用いて再生元画像に対し電子ズーム処理を施すことで対象画像を生成する。但し、ここでは、再生拡大倍率の可変範囲は１倍以上且つ５倍以下であるとする。より具体的には、図２２の電子ズーム処理部５４は、図２３に示す如く再生拡大倍率に応じた大きさを有する切り出し枠を再生元画像の画像領域内に設定し、再生元画像上における切り出し枠内の画像（切り出し画像）に対して画像サイズ拡大処理を施して得た画像を対象画像として生成する。再生拡大倍率が１倍よりも大きいとき、対象画像の画角は再生元画像の画角よりも小さくなる。以下、第３実施例の説明において、単に電子ズーム処理部５４及び出力画像生成部５５といった場合、それらは、図２２の電子ズーム処理部５４及び出力画像生成部５５を指す。

出力画像生成部５５は、再生拡大倍率に応じた特定画像処理を対象画像に施すことで出力画像を生成する。出力画像は、表示部１５に表示される。第１実施例と同様、第３実施例における特定画像処理には、対象画像上における被写体ＳＵＢ_Ｂの像をぼかすぼかし処理、即ち、対象画像における非合焦領域Ｂ内の画像をぼかすぼかし処理が含まれる。但し、ぼかし処理におけるぼかし量は、出力ズーム倍率の代わりに再生拡大倍率を用いて設定される。

図２４に、再生拡大倍率ＥＦ_ＲＥＰとぼかし量との関係を示し、図２５に、再生拡大倍率ＥＦ_ＲＥＰと出力画像上における対象ボケ量との関係を示す。但し、ここでは、再生元画像がＺＦ_ＯＵＴ＝１の状態で得られた原画像であると仮定している。

図２４に示す如く、再生拡大倍率が１倍であるとき、ぼかし量はゼロに設定される。即ち、ＥＦ_ＲＥＰ＝１であるとき、出力画像生成部５５は、ぼかし処理を対象画像に施さず、対象画像をそのまま出力画像として出力する。ここでは、再生元画像がＺＦ_ＯＵＴ＝１の状態で得られた原画像であると仮定しているため、ＥＦ_ＲＥＰ＝１であるとき、出力画像上における対象ボケ量はＶ_１である。

一方、再生拡大倍率が１倍よりも大きいとき、出力画像生成部５５は、ぼかし処理を対象画像に施し、ぼかし処理後の対象画像を出力画像として出力する。再生拡大倍率が増大するにつれて、ぼかし量は増大せしめられる。具体的には例えば、ＥＦ_ＲＥＰ＝３であるとき出力画像上における対象ボケ量がＶ_３と一致するように、且つ、ＥＦ_ＲＥＰ＝５であるとき出力画像上における対象ボケ量がＶ_５と一致するように、出力画像生成部５５は、再生拡大倍率ＥＦ_ＲＥＰ及びボケ量特性情報４５０に基づきぼかし量を設定し且つぼかし処理を実行する。ここでは、再生元画像がＺＦ_ＯＵＴ＝１の状態で得られた原画像であると仮定しているため、ＥＦ_ＲＥＰ＝３であるときのぼかし量は（Ｖ_３−Ｖ_１）に相当し、ＥＦ_ＲＥＰ＝５であるときのぼかし量は（Ｖ_５−Ｖ_１）に相当する。

尚、再生元画像がＺＦ_ＯＵＴ≠１の状態で得られた原画像である場合、再生元画像の撮影時における光学ズーム倍率及びボケ量特性情報４５０に基づき、ぼかし量を上述したものから修正することができる。但し、ボケ量特性情報４５０において、対象ボケ量がＺＦ_ＯＰＴの一次関数である場合、このような修正は不要である。

また、第１実施例で述べたように、第３実施例においても、被写体距離情報を用いて対象画像の各画素に対するぼかし量を決定するとよい。撮影モードにしか被写体距離情報を得られないのであれば、撮影モードにおいて再生元画像に対応する被写体距離情報を生成して被写体距離情報を再生元画像の画像データと共に記録媒体１６に記録しておき、再生元画像の画像データの読み出し時に、対応する被写体距離情報をも読み出すようにするとよい。

図２６のフローチャートを参照して、再生モードにおける撮像装置１の動作手順を説明する。再生モードにおいて、記録媒体１６に記録された何れかの画像が再生元画像として指定されると、ステップＳ３１において再生元画像に基づく出力画像が表示部１５にて表示される。再生元画像の指定直後においては、再生拡大倍率が１倍に設定されており、結果、再生元画像が拡大されることなくそのまま出力画像として表示部１５に表示される。

その後、ユーザは、任意のタイミングにおいて自由に再生拡大倍率の変更を指示することができる。ステップＳ３１に続くステップＳ３２では、再生拡大倍率ＥＦ_ＲＥＰが１倍である否かが判断される。ＥＦ_ＲＥＰ＝１の場合、電子ズーム処理及びぼかし処理を行うことなくステップＳ３１に戻り、再生元画像がそのまま出力画像として表示部１５に表示され続ける。一方、ＥＦ_ＲＥＰ＞１の場合、ステップＳ３３及びＳ３４にて再生元画像に対し電子ズーム処理を施した後、更にぼかし処理を施して出力画像を生成してからステップＳ３１に戻る。従って、ＥＦ_ＲＥＰ＞１の場合には、再生元画像の一部が再生拡大倍率に応じて拡大されたものが出力画像として表示部１５に表示される。

第３実施例によれば、画像の拡大再生時において、光学ズームを利用して画像拡大を行ったかのようなボケ量を得ることができる。拡大再生は、撮影時に行えなかった或いは行わなかった光学ズームによる画角減少の代替手段としても機能する。故に、拡大再生用のトリミングによって画角を減少させた際に、光学ズームで画角調整を行ったかのような効果を持たせることは、ユーザにとってメリットが大きい。

尚、再生元画像は静止画像であると考えることができるが、第３実施例で述べた技術を動画像に対して適用することもできる。この場合には、時系列上に並ぶ複数の再生元画像を電子ズーム処理部５４に順次入力し、各々の再生元画像から対象画像及び出力画像を生成して出力画像列を得ると良い。得られた出力画像列を動画像として表示部１５に表示することが可能であるし、記録媒体１６に記録することも可能である。

＜＜第４実施例＞＞
本発明の第４実施例を説明する。第４実施例も、第３実施例と同様、再生モードにおける撮像装置１の動作を説明する。

図２７は、第４実施例に係る動作に特に関与する部位のブロック図である。図２７に示される各部位を、例えば図１の主制御部１３に設けておくことができる。図２８には、トリミング処理部１０１への入力画像と、トリミング処理部１０１にて生成される対象画像と、が示されている。第４実施例における入力画像及び対象画像を、夫々、記号Ｉ_Ａ及びＩ_Ｂにて表す。記録媒体１６に記録された画像の内、ユーザに指定された画像が入力画像として記録媒体１６から読み出される。

図２８において、枠Ｆ_Ｔは切り出し枠を表している。第４実施例では、切り出し枠をトリミング枠と呼ぶ。トリミング処理部１０１は、トリミング情報に従って入力画像の画像領域内にトリミング枠Ｆ_Ｔを設定し、トリミング枠Ｆ_Ｔ内の画像を対象画像Ｉ_Ｂとして抽出する。対象画像Ｉ_Ｂの画像サイズが入力画像_Ａの画像サイズと一致するように、トリミング枠Ｆ_Ｔ内の画像に対し画像サイズ拡大処理を施して対象画像Ｉ_Ｂを生成してもよい。

トリミング枠Ｆ_Ｔは、第１〜第３実施例における切り出し枠に相当するものであり、トリミング枠Ｆ_Ｔ内の画像（即ち、対象画像Ｉ_Ｂ）は入力画像Ｉ_Ａの一部である。従って、対象画像Ｉ_Ｂの画角は入力画像Ｉ_Ａの画角よりも小さい。

ユーザは、操作部１７又はタッチパネル１９を用いて、トリミングＦ_Ｔの位置及び大きさ等を指定するトリミング指示操作を成すことができ、トリミング指示操作による指定内容がトリミング情報に含められる。トリミング情報によって、入力画像Ｉ_Ａ上におけるトリミング枠Ｆ_Ｔの中心位置並びに水平及び垂直方向の大きさが指定される。ここでは、トリミング枠Ｆ_Ｔが矩形枠であることを想定している。但し、トリミング枠Ｆ_Ｔの形状を矩形以外にすることも可能である。トリミング枠Ｆ_Ｔの中心位置と入力画像Ｉ_Ａの中心位置は一致していても良いし、一致していなくても良い。また、トリミング枠Ｆ_Ｔのアスペクト比と入力画像Ｉ_Ａのアスペクト比も一致していても良いし、一致していなくても良い。

出力画像生成部１０２は、トリミング指示操作に基づくトリミング情報、距離マップ生成部１０３からの距離マップ及び合焦状態設定部１０４からの合焦状態設定情報に応じた特定画像処理を対象画像Ｉ_Ｂに施すことで出力画像を生成する。特定画像処理には、上述してきたぼかし処理に類似するほかし処理が含まれる（詳細は後述）。また、対象画像Ｉ_Ｂの生成時点において画像サイズ拡大処理が成されていない場合には、出力画像の画像サイズを入力画像Ｉ_Ａの画像サイズと一致させるための画像サイズ拡大処理を特定画像処理に含めておくことができる。出力画像を、表示部１５に表示することもできるし、記録媒体１６に記録することもできる。

図２９に、入力画像の画像データを格納する画像ファイルの構造を示す。１又は複数の画像ファイルを記録媒体１６に保存可能である。画像ファイルには、入力画像の画像データを格納する本体領域と、入力画像に対応する付加データを格納するヘッダ領域が設けられている。付加データには、距離データ及び合焦状態データを含む、入力画像に関する様々なデータが含まれている。距離データは、主制御部１３等に備えられた被写体距離検出部１１０（図３０参照）によって生成される。被写体距離検出部１１０は、入力画像の各画素における被写体の被写体距離を検出し、その検出結果（入力画像の各画素における被写体の被写体距離の検出値）を表す距離データを生成する。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。例えば、ステレオカメラ又は測距センサを用いて被写体距離を検出しても良いし、入力画像におけるエッジ情報を利用した推定処理によって被写体距離を求めてもよい。

距離マップ生成部１０３は、入力画像の画像データを格納した画像ファイルのヘッダ領域から距離データを読み出し、距離データから距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像又は対象画像の任意の画素における被写体の被写体距離が特定される。尚、距離データそのものが距離マップであってもよく、その場合、距離マップ生成部１０３は不要である。

図３１（ａ）に、入力画像Ｉ_Ａの例としての入力画像６００を示し、図３１（ｂ）に、入力画像６００に対応する距離マップ６０５を示す。入力画像６００には被写体６０１、６０２及び６０３の画像データが存在しており、図３２に示す如く、被写体６０１の被写体距離ｄ_６０１と被写体６０２の被写体距離ｄ_６０２と被写体６０３の被写体距離ｄ_６０３との間には、不等式「０＜ｄ_６０１＜ｄ_６０２＜ｄ_６０３」が成立するものとする。

図２９のヘッダ領域に保存される合焦状態データは、入力画像における合焦基準距離Ｌｏ及び被写界深度の深さを特定するデータ（図３（ｃ）参照）であり、合焦状態設定部１０４に与えられる。距離Ｌｏ、Ｌｎ及びＬｆの数値が合焦状態データとして与えられていても良いし、入力画像の撮影時における撮像部１１の焦点距離及び絞り値など、入力画像における合焦基準距離Ｌｏ及び被写界深度の深さを導出するためのデータが合焦状態データとして与えられていても良い。

合焦状態設定部１０４は、記録媒体１６からの合焦状態データに基づいて、或いは、ユーザによる合焦状態指定操作に従って、合焦状態設定情報を生成する。合焦状態設定情報には、出力画像における合焦基準距離Ｌｏを指定する距離Ｌｏ’が含められており、出力画像生成部１０２は、出力画像における合焦基準距離Ｌｏが距離Ｌｏ’と一致するように特定画像処理を施す。ユーザは、必要に応じ、合焦状態指定操作により距離Ｌｏ’を指定することができる。この際、ユーザは、操作部１７又はタッチパネル１９を用いて距離Ｌｏ’の値を直接入力することができる。或いは、ユーザは、距離Ｌｏ’に対応する注目被写体の指定によって距離Ｌｏ’を指定することもできる。例えば、入力画像６００における被写体６０２の被写体距離が距離Ｌｏ’である場合、撮像装置１は入力画像６００を表示部１５に表示し、この状態において、ユーザはタッチパネル１９を用いて表示画面上における被写体６０２を指定することができ、この指定が成された際、合焦状態設定部１０４は被写体６０２の被写体距離を距離Ｌｏ’として設定すれば良い。ユーザによる距離Ｌｏ’の指定がない場合、記録媒体１６からの合焦状態データにて定められる合焦基準距離Ｌｏ、即ち入力画像の合焦基準距離Ｌｏが出力画像における合焦基準距離Ｌｏと一致するように特定画像処理が成される。以下では、特に記述なき限り、ユーザによる距離Ｌｏ’の指定がない場合を想定する。

第４実施例では、以下、説明の便宜上、任意の二次元画像である注目画像３２０において、合焦基準距離Ｌｏが被写界深度内の中心距離であると仮定する（図３（ｂ）及び（ｃ）参照）。即ち、「Ｌｏ＝（Ｌｎ＋Ｌｆ）／２」が成立すると仮定する。

第４実施例における特定画像処理には、対象画像に含まれる非合焦距離の被写体の像（画像）をぼかすぼかし処理が含まれる。注目画像３２０において、非合焦距離とは、注目画像３２０の被写界深度外の距離を指し、非合焦距離の被写体とは、注目画像３２０の被写界深度外に位置する被写体を指す。また、合焦基準距離Ｌｏと任意の被写体の被写体距離との差を差分距離と呼ぶ。

図３３に示す如く、入力画像６００から抽出された対象画像を対象画像６１０と呼ぶと共に対象画像６１０に基づく出力画像を出力画像６２０と呼び、画像６００、６１０及び６２０を例にとって、第４実施例における特定画像処理を説明する。図３３では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している（図３１（ａ）においても同様）。

図３４（ａ）の折れ線６０７は、入力画像６００又は対象画像６１０上における、各被写体のボケ量と差分距離との関係を示している。距離ＤＩＦ_Ｏは、入力画像６００又は対象画像６１０における被写界深度の深さの半分（即ち、（Ｌｆ−Ｌｎ）／２）である。第４実施例では、被写界深度内に属する被写体のボケ量、即ち許容錯乱円径に相当する基準径Ｒ_ＲＥＦ以下の像のボケ量をゼロとみなす（図３（ｃ）参照）。そうすると、図３４（ａ）に示す如く、入力画像６００及び対象画像６１０において、距離ＤＩＦ_Ｏ以下の差分距離を有する被写体のボケ量はゼロであり、距離ＤＩＦ_Ｏより大きな差分距離を有する被写体のボケ量はゼロよりも大きく且つ距離ＤＩＦ_Ｏより大きな差分距離を有する被写体のボケ量は対応する差分距離が増大するにつれて増大する。入力画像６００及び対象画像６１０において、距離ＤＩＦ_Ｏより大きな差分距離は非合焦距離である。

入力画像６００及び対象画像６１０において、被写体６０１、６０２及び６０３についての差分距離を夫々ＤＩＦ_６０１、ＤＩＦ_６０２及びＤＩＦ_６０３にて表す。そして、今、図３５に示す如く（図３４（ｂ）も参照）、入力画像６００における合焦基準距離Ｌｏ及び出力画像６２０における合焦基準距離Ｌｏ（即ち、距離Ｌｏ’）が被写体距離ｄ_６０１と一致しており（即ち、ＤＩＦ_６０１＝０であり）、且つ、ＤＩＦ_６０１＜ＤＩＦ_６０２＝ＤＩＦ_Ｏ＜ＤＩＦ_６０３であるとする。そうすると、入力画像６００及び対象画像６１０において、被写体６０１は合焦被写体であると共に被写体６０３は非合焦被写体であり、従って被写体６０１のボケ量はゼロであると共に被写体６０３のボケ量はＰ_６０３である（Ｐ_６０３＞０）。また、ＤＩＦ_６０２＝ＤＩＦ_Ｏであるため、入力画像６００及び対象画像６１０において、被写体６０２は合焦被写体であり、被写体６０２のボケ量はゼロである。

図３６において、範囲ＤＥＰ_６００、ＤＥＰ_６１０及びＤＥＰ_６２０は、夫々、入力画像６００、対象画像６１０及び出力画像６２０の被写界深度の距離範囲を示している。入力画像６００及び対象画像６１０の被写界深度は当然互いに同じであるが、出力画像６２０の被写界深度の深さは、出力画像生成部１０２のぼかし処理により対象画像６１０の被写界深度の深さよりも浅くされる。

図３７は、対象画像６１０に対して成されるぼかし処理におけるぼかし量と差分距離との関係を示している。出力画像生成部１０２は、距離マップとトリミング情報に含まれるトリミング枠の大きさとに基づき、対象画像６１０の各画素に対するぼかし量を画素ごとに設定する、換言すれば、対象画像６１０の各被写体に対するぼかし量を被写体ごとに設定する。より具体的には、距離マップ及び距離Ｌｏ’（今の例においてＬｏ’＝ｄ_６０１）を用いて対象画像６１０の各画素に対する差分距離を算出し、距離ＤＩＦ_Ｓ以下の差分距離に対応する画素（以下、合焦距離画素と呼ぶ）に対してはぼかし量をゼロに設定する一方で、距離ＤＩＦ_Ｓより大きな差分距離に対応する画素（以下、非合焦距離画素と呼ぶ）に対してはゼロよりも大きなぼかし量を設定する。合焦距離画素は、出力画像６２０上の合焦被写体の画像データが存在する画素であり、非合焦距離画素は、出力画像６２０上の非合焦被写体の画像データが存在する画素である。

ここでは、出力画像６２０の合焦基準距離Ｌｏが被写体距離ｄ_６０１と一致することを想定しているため、出力画像６２０上において被写体６０１は合焦被写体である。また、出力画像６２０の被写界深度は入力画像６００及び対象画像６１０のそれらよりも浅くされるため、出力画像６２０上において被写体６０２は非合焦被写体になる。出力画像６２０上において被写体６０３も非合焦被写体である。

ぼかし量の意義及びぼかし量に応じたぼかし処理の内容は、第１実施例で説明したそれらと同様である。即ち、注目画素に対して設定されたぼかし量が大きいほど、ぼかし処理において注目画素は強くぼかされる（換言すれば、注目被写体に対して設定されたぼかし量が大きいほど、ぼかし処理において注目被写体の画像は強くぼかされる）。ぼかし処理を、平滑化フィルタを用いた空間フィルタリングにて実現する場合、例えば、ぼかし量が増大するにつれて、ぼかし処理に用いる平滑化フィルタ（ガウシアンフィルタ等）のフィルタサイズを増大させると良く、フィルタサイズの増大によってぼかしの強度が増大する。

出力画像６２０の被写界深度を入力画像６００の被写界深度よりも浅くすべく、出力画像６２０の被写界深度の深さの半分に相当する距離ＤＩＦ_Ｓは、入力画像６００の被写界深度の深さの半分に相当する距離ＤＩＦ_Ｏよりも短く設定される。故に、ＤＩＦ_Ｓ＜ＤＩＦ_Ｏ＝ＤＩＦ_６０２＜ＤＩＦ_６０３である。また、対応する差分距離が距離ＤＩＦ_Ｓよりも大きい画素に対しては、差分距離が増大すればするほど、大きなぼかし量が設定される。従って、差分距離ＤＩＦ_６０２に対応する被写体６０２に対して設定されるぼかし量をＱ_６０２にて表すと共に差分距離ＤＩＦ_６０３に対応する被写体６０３に対して設定されるぼかし量をＱ_６０３にて表した場合、０＜Ｑ_６０２＜Ｑ_６０３である。０＜Ｑ_６０２＜Ｑ_６０３であるから、特定画像処理において被写体６０２及び６０３の像がぼかされ、図３３に示すようなぼけが得られる。尚、上述したように、図３３では、被写体の像のボケ具合いを被写体の輪郭線の太さによって表現している。

被写体距離ｄ_６０２は、対象画像６１０においては非合焦距離ではないが、被写界深度の縮小により出力画像６２０においては非合焦距離になっている。従って、特定画像処理は、対象画像６１０における非合焦距離の被写体６０３の画像をぼかすぼかし処理を含み、更に、出力画像６２０における非合焦距離の被写体６０２及び６０３の画像をぼかすぼかし処理を含んでいる、と言える。

トリミング枠の大きさの減少は、第３実施例における再生拡大倍率の増大に類似しており、トリミング枠の大きさが減少するにつれて出力画像６２０の被写界深度をより浅くすると共にぼかし量を増大させれば、光学ズームを行ったかのようなボケ量を得ることができる。

トリミング枠の大きさが減少するにつれて出力画像６２０の被写界深度をより浅くすると共にぼかし量を増大させるべく、出力画像生成部１０２は、トリミング情報にて示されるトリミング枠の大きさが減少するにつれて距離ＤＩＦ_Ｓを減少させる。距離ＤＩＦ_Ｓの減少は、ぼかし量Ｑ_６０２及びＱ_６０３の増大を伴う。即ち、トリミング枠の大きさが減少するにつれてぼかし量Ｑ_６０２及びＱ_６０３は増大する。図３８（ａ）は、トリミング枠の大きさが比較的大きい場合における差分距離及びぼかし量間の関係を示しており、図３８（ａ）は、トリミング枠の大きさが比較的小さい場合における差分距離及びぼかし量間の関係を示している。

図３９のフローチャートを参照して、再生モードにおける撮像装置１の動作手順を説明する。再生モードにおいて、記録媒体１６に記録された何れかの画像が入力画像として指定されると、ステップＳ５１において入力画像の画像データが記録媒体１６から読み出され、入力画像が表示画面に表示される。更に、ステップＳ５２及びＳ５３において入力画像に対応する距離データ及び合焦状態データが記録媒体１６から読み出され、距離データから距離マップが生成される一方で合焦状態データの表示が成される。この際、入力画像の合焦基準距離Ｌｏ及び被写界深度の深さをユーザに認識させる任意の形態の映像情報（単純には例えば、距離Ｌｏ、Ｌｎ及びＬｆの数値そのもの等）を表示することができる。

続くステップＳ５４において、合焦状態設定部１０４は、ユーザの合焦指状態指定操作を考慮しつつ、上述した方法により、距離Ｌｏ’を含む合焦状態設定情報を生成する。その後、ステップＳ５５において、撮像装置１はトリミング指示操作を受け付け、トリミング指示操作が成されるとステップＳ５６〜Ｓ５８の処理を実行する。尚、合焦指状態指定操作の入力を考慮しない動作を実現することも可能であり、この場合、ステップＳ５３及びＳ５４の処理又はステップＳ５４の処理は割愛され、入力画像の合焦基準距離Ｌｏがそのまま距離Ｌｏ’として利用される。

ステップＳ５６では、トリミング情報に基づくトリミングにより入力画像から対象画像を生成し、続くステップＳ５７では、トリミング情報、距離マップ及び合焦状態設定情報に応じた特定画像処理により対象画像の被写界深度を浅くすることで出力画像を生成する。ステップＳ５８において、出力画像は表示画面に表示されると共に出力画像の画像データは記録媒体１６に記録される。出力画像の画像データを記録媒体１６に記録する際、入力画像の画像データを記録媒体１６から削除することも可能であるし、入力画像の画像データを記録媒体１６に保持させておくことも可能である。

第３実施例と同様、第４実施例によっても、画像のトリミング時において、光学ズームを行ったかのようなボケ量を得ることができる。画像のトリミングは、撮影時に行えなかった或いは行わなかった光学ズームによる画角減少の代替手段としても機能する。故に、トリミングによって画角を減少させた際に、光学ズームで画角調整を行ったかのような効果を持たせることは、ユーザにとってメリットが大きい。

尚、入力画像は静止画像であると考えることができるが、第４実施例で述べた技術を動画像に対して適用することもできる。この場合には、時系列上に並ぶ複数の入力画像をトリミング処理部１０１に順次入力し、各々の入力画像から対象画像及び出力画像を生成して出力画像列を得ると良い。得られた出力画像列を動画像として表示部１５に表示することが可能であるし、記録媒体１６に記録することも可能である。

また、合焦状態指定操作によって被写界深度の深さ（以下、深さＤＥＰとも記述する）をも指定可能にしておいても良い。具体的には例えば、合焦状態指定操作によって任意の合焦基準距離Ｌｏ及び深さＤＥＰを指定できるように撮像装置１を形成しておいても良い。指定された合焦基準距離Ｌｏ及び深さＤＥＰを、夫々、Ｌｏ^＊及びＤＥＰ^＊にて表す。それらの指定が成された場合、主制御部１３内のデジタルフォーカス部１２０（図４０参照）において、距離マップとＬｏ^＊及びＤＥＰ^＊を含む合焦状態設定情報とに基づき、入力画像に対してデジタルフォーカスを成し、これによって入力画像における合焦基準距離Ｌｏ及び深さＤＥＰを合焦基準距離Ｌｏ^＊及び深さＤＥＰ^＊に変更しても良い。即ち、デジタルフォーカスによって、入力画像から、Ｌｏ^＊及びＤＥＰ^＊を合焦基準距離Ｌｏ及び深さＤＥＰとして有する合焦状態調整画像を生成するようにしても良い。図３９のステップＳ５４において、このような合焦状態指定操作が成された場合、ステップＳ５４及びＳ５５間において、上記の合焦状態調整画像を表示するようにしても良い。ステップＳ５４及びＳ５５間において、ユーザが合焦基準距離Ｌｏ^＊及び深さＤＥＰ^＊を再設定した場合、再設定された合焦基準距離Ｌｏ^＊及び深さＤＥＰ^＊に従って合焦状態調整画像を再生成してもよい。

また、主制御部１３にデジタルフォーカス部１２０が設けられている場合、対象画像に対して、距離マップと合焦状態設定情報（Ｌｏ^＊及びＤＥＰ^＊を含む）とに基づくデジタルフォーカスを成すようにしてもよい。これによれば、対象画像における合焦基準距離Ｌｏ及び深さＤＥＰが合焦基準距離Ｌｏ^＊及び深さＤＥＰ^＊に変更され、結果画像が出力画像として得られる。即ち、対象画像に対するデジタルフォーカスによって、Ｌｏ^＊及びＤＥＰ^＊を合焦基準距離Ｌｏ及び深さＤＥＰとして有する合焦状態調整画像であって且つ対象画像と同一の画角を有する合焦状態調整画像が出力画像として得られる。この場合、デジタルフォーカスが特定画像処理として機能すると共にデジタルフォーカス部１２０が出力画像生成部１０２として機能するとも言える。

デジタルフォーカスは、入力画像又は対象画像である被処理画像の被写界深度を任意に調整することが可能な画像処理である。被写界深度の調整は、合焦基準距離Ｌｏ及び深さＤＥＰの調整（変更）を含む。デジタルフォーカスによって、被処理画像から任意の合焦基準距離Ｌｏ及び任意の被写界深度の深さＤＥＰを有する合焦状態調整画像を生成することができる。

デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されており、デジタルフォーカス部１２０は、公知のデジタルフォーカス用の画像処理（例えば、特開２０１０−２５２２９３号公報、特開２００９−２２４９８２号公報、特開２００８−２７１２４１号公報、特開２００２−２４７４３９号公報に記載の画像処理）を利用可能である。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の各実施例における特定画像処理は、ぼかし処理以外の画像処理を含んでいても良い。例えば、特定画像処理に、合焦被写体の輪郭を強調する輪郭強調処理（換言すれば、合焦被写体のエッジを強調するエッジ強調処理）を含めるようにしても良い。

［注釈２］
上述の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

［注釈３］
再生モードにおける撮像装置１は画像再生装置として機能する。再生モードにおける撮像装置１の動作を撮像装置１以外の画像再生装置（不図示）において実施してもよい。画像再生装置には、携帯電話機、携帯情報端末、パーソナルコンピュータ等の任意の情報機器が含まれる。撮像装置及び画像再生装置の夫々は、電子機器の一種である。また、撮像装置１には画像処理装置が含まれていると言える。図５における画像処理装置は、原画像取得部５３、電子ズーム処理部５４及び出力画像生成部５５を含んで形成され、図１８における画像処理装置は、ＲＡＷズーム処理部７４及び出力画像生成部７５を含んで形成され、図２２における画像処理装置は、電子ズーム処理部５４及び出力画像生成部５５を含んで形成され、図２７における画像処理装置は、トリミング処理部１０１、出力画像生成部１０２、距離マップ生成部１０３及び合焦状態設定部１０４を含んで形成される。

［注釈４］
例えば、以下のように考えることができる。第１実施例において、図５の原画像取得部５３及び電子ズーム処理部５４を含む部位を対象画像生成部と呼ぶことができる。第２実施例においては、図１８のＲＡＷズーム処理部７４が対象画像生成部として機能し、第３実施例においては、図２２の電子ズーム処理部５４が対象画像生成部として機能し、第４実施例においては、図２７のトリミング処理部１０１が対象画像生成部として機能する。

１撮像装置
１１撮像部
３０ズームレンズ
３１フォーカスレンズ
３２絞り
３３撮像素子
３５光学系
５１、７１ズーム制御部
５２、７２光学ズーム処理部
５３原画像取得部
５４電子ズーム処理部
５５、７５出力画像生成部
７４対象画像生成部
１０１トリミング処理部
１０２出力画像生成部
１０３距離マップ生成部
１０４合焦状態設定部

Claims

光学ズームとデジタルズームを利用した撮影によって対象画像を生成する対象画像生成部と、
前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた撮像装置において、
前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、
前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、
前記出力画像生成部は、前記デジタルズームの倍率に応じて前記ぼかし処理を実行する
ことを特徴とする撮像装置。
前記出力画像生成部は、前記デジタルズームの倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる
ことを特徴とする請求項１に記載の撮像装置。
前記出力画像生成部は、前記光学ズームのみを利用して前記対象画像を生成したときに観測される、前記光学ズームの倍率と前記第２画像領域内の画像のボケ量との関係に基づき、前記ぼかし量を設定する
ことを特徴とする請求項２に記載の撮像装置。
入力画像を指定された再生拡大倍率に従って拡大することで対象画像を生成する対象画像生成部と、
前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、
前記出力画像を表示する表示部と、を備えた画像再生装置において、
前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、
前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、
前記出力画像生成部は、前記再生拡大倍率に応じて前記ぼかし処理を実行する
ことを特徴とする画像再生装置。
前記出力画像生成部は、前記再生拡大倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる
ことを特徴とする請求項４に記載の画像再生装置。
入力画像の一部を指定する切り出し枠を設定し、前記切り出し枠内の画像を抽出することで対象画像を生成する対象画像生成部と、
前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた画像処理装置において、
前記画像処理は、非合焦距離の被写体の画像をぼかすぼかし処理を含み、
前記出力画像生成部は、前記切り出し枠の大きさに応じて前記ぼかし処理を実行する
ことを特徴とする画像処理装置。
前記出力画像生成部は、前記切りだし枠の大きさが減少するにつれて前記ぼかし処理におけるぼかし量を増大させる
ことを特徴とする請求項６に記載の画像処理装置。