JP2003289429A

JP2003289429A - プログラム

Info

Publication number: JP2003289429A
Application number: JP2002091687A
Authority: JP
Inventors: Hiroki Yoshida; 宏樹吉田
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2002-03-28
Filing date: 2002-03-28
Publication date: 2003-10-10

Abstract

(57)【要約】【課題】撮影画像が希望位置に焦点が合っていない場
合であっても、その希望位置に焦点を合わせて撮影した
ときに得られるであろう画像に近い画像を擬似的に生成
できる処理を実行するプログラムを提供すること。【解決手段】短焦点位置で撮影した画像５１、中間焦
点位置で撮影した画像５２、長焦点位置で撮影した画像
のそれぞれについて、高周波の画像領域を特定する。撮
影画像を、特定した領域（エリアＡ、Ｂ、Ｃ）とそれ以
外の背景エリアに分け、エリア毎に所定の演算式に基づ
いて希望焦点位置における画像（生成しようとする画
像）５５を生成する。例えば、エリアＡについては、画
像５５１の画素の輝度＝α１・（ｂ／（ａ＋ｂ））・
（画像３１１の画素の輝度）＋α２・（ａ／（ａ＋
ｂ））・（画像３１２の画素の輝度）−（オフセット
値）となる。ここで、α１は強調フィルタ、α２はぼか
しフィルタである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラで
撮影等された画像を処理する画像処理装置が実行するプ
ログラムに関する。

【０００２】

【従来の技術】デジタルカメラで撮影する場合、ユーザ
は、写したいところに焦点が合うようにしてからシャッ
タを押すのが普通であるが、場合によっては希望の位置
から焦点がずれていることに気づかずにシャッタを押し
てしまうことがある。そうなると写したかった部分はピ
ントがぼけ、ぼけていてもよい部分にピントが合った画
像ができることになる。

【０００３】

【発明が解決しようとする課題】上記のような場合、写
したかった部分に焦点が合った画像を例えばＰＣ（パー
ソナルコンピュータ）上において擬似的であっても作り
出せればユーザにとっては便利であり、そのような要望
も多い。本発明は、このような問題点に鑑みてなされた
ものであって、写したかった部分に焦点を合わせて撮影
したときに得られるであろう画像に近い画像を画像処理
によって擬似的に生成する処理をコンピュータに実行さ
せるためのプログラムを提供することを目的とする。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、コンピュータに実行させるためのプログ
ラムであって、第１と第２の焦点位置で撮影された第１
と第２の撮影画像を取得する取得ステップと、少なくと
も一方の撮影画像について所定の尖鋭度以上のエッジ部
に囲まれた画像エリアを特定するエリア特定ステップ
と、特定されたエリア毎に、第１と第２の撮影画像の当
該エリアに対応する各画像部分から第１と第２の焦点位
置と異なる第３の位置に対応する画像の各画素の画素値
を演算する演算ステップと、エリア毎に求められた画像
を１枚の画像に合成する合成ステップと、をコンピュー
タに実行させることを特徴としている。

【０００５】これにより、写したかった部分に焦点を合
わせて撮影したときに得られるであろう画像に近い画像
を画像処理によって擬似的に生成することが可能になる
と共に、エリア単位で画像を生成することにより、例え
ばピントが合っているべきエリアについてはピントが合
うように、ぼけているべきエリアについてはぼかすよう
に処理することが可能になって、上記撮影したときに得
られるであろう画像とピントについて見れば同様の状態
となり、見たときに違和感の少ない画像を生成すること
ができる。

【０００６】また、前記第３の位置は、第１と第２の位
置の間にあり、前記演算ステップは、前記各画像部分の
内、エッジ部に囲まれた方の画像部分にエッジ強調処理
を、他方の画像部分にぼかし処理を施し、それらに、第
１の焦点位置から第３の位置までの距離と、第３の位置
から第２の焦点位置までの距離との比率に応じた重み付
けをし、それらを足し合わせるステップを含むことを特
徴とする。

【０００７】エッジ強調量とぼかし量を調整すれば、よ
り上記撮影したときに得られるであろう画像に近い画像
を生成することができる。さらに、前記取得ステップ
は、複数の異なる焦点位置で撮影された撮影画像の内か
ら、前記第３の位置と焦点位置が最も近い２枚の撮影画
像を前記第１と第２の撮影画像として取得することを特
徴とする。

【０００８】これにより、より違和感の少ない画像を生
成することが可能になる。また、前記エリア特定ステッ
プは、前記エッジ部に囲まれた画像エリア以外の部分に
ついては背景のエリアとして特定することを特徴とす
る。そして、前記取得ステップは、さらに、複数の異な
る焦点位置で撮影された撮影画像の内から、最近焦点位
置および最遠焦点位置において撮影された２枚の撮影画
像を取得し、前記演算ステップは、背景のエリアについ
ては、最近焦点位置と最遠焦点位置における各撮影画像
の当該エリアに対応する各画像部分から第３の位置に対
応する画像の各画素の画素値を求めることを特徴とす
る。

【０００９】これにより、背景エリアについては、他の
画像エリアとは別の生成方法が用いられることになり、
背景としてより良好な画像を生成することができる。

【００１０】

【発明の実施の形態】以下、本発明に係る、画像処理装
置の機能を実行させるためのプログラムの実施の形態
を、図面を参照しながら説明する。図１は、上記画像処
理装置としてのＰＣ１０の構成を示す図である。同図に
示すように、このＰＣ１０は、ＰＣ本体１１、ディスプ
レイ１２、キーボード１３、マウス１４を備え、デジタ
ルカメラ（以下、単に「カメラ」という。）１による撮
影画像を取り込んで、その撮影画像からユーザ希望の位
置（希望焦点位置）に焦点を合わせて撮影したときに得
られるであろう画像に近い画像を擬似的に生成すること
ができる。この処理（画像生成処理）の詳細について
は、後述する。

【００１１】ＰＣ本体１１は、Ｉ／Ｆ（インターフェー
ス）部１１１、ＣＰＵ１１２等からなる。Ｉ／Ｆ部１１
１は、カメラ１と接続するためのインターフェースであ
る。表示制御部１１５は、ＣＰＵ１１２からの指示によ
りディスプレイ１２の表示制御を行う。入力制御部１１
６は、キーボード１３、マウス１４からの信号の入力を
受け付けて、その情報をＣＰＵ１１２に送出する。

【００１２】ＲＯＭ１１３には、画像編集等のアプリケ
ーションプログラム、画像生成処理のプログラムなどが
格納されており、ＣＰＵ１１２はそのプログラム等を実
行する。ＲＡＭ１１４は、画像生成処理時に画像データ
を一時的に保存する。図２は、ＲＡＭ１１４内のメモリ
領域の構成を示す図である。同図に示すようにＲＡＭ１
１４内には、複数のメモリ領域が設けられており、それ
ぞれが同じ容量であり、１枚の撮影画像の画像データを
格納できるようになっている。本実施の形態では、後述
のように４つのメモリ領域１３１〜１３４が使用され
る。

【００１３】図１に戻って、画像メモリ１１７は、カメ
ラ１から送られて来る画像データ等を保存する。テーブ
ル１１８は、図３に示す構成になっており、このテーブ
ル１１８には、画像生成処理において用いられる強調量
（α１等）とぼかし量のデータ（α２等）が書き込まれ
ている。

【００１４】一方、テーブル１１９は、図４に示す構成
になっており、このテーブル１１９には、画像生成処理
において画像エリアが特定されると、その特定されたエ
リアの位置情報が順次書き込まれるようになっている。
一方、カメラ１は、図５に示すように、制御部２、Ｉ／
Ｆ部３、操作部４、撮像部５および画像メモリ６を備え
る。

【００１５】Ｉ／Ｆ部３は、ＰＣ１０等の外部機器と接
続するためのインターフェースである。操作部４には、
撮影画像のモニタ表示等を行うためのＬＣＤや撮影モー
ド設定のためのボタン等が設けられている。撮像部５
は、ＣＣＤセンサ、レンズ等を備え、被写体の光学像を
レンズの後方に設けたＣＣＤにより光電変換して画像信
号とするものである。そして、撮影時に異なる焦点位置
で撮影を行うことができるように構成されている。具体
的には、シャッタボタン（不図示）が押されると、予め
決められた位置、ここでは４つの位置（カメラ１を基準
にカメラ１から０．５ｍ離れた位置、１ｍ離れた位置、
１．５ｍ離れた位置、無限遠（例えば５０ｍ））に焦点
が合うようにレンズを順次移動させながら画像を撮影し
ていく。これにより、１回のシャッタ操作で４枚の画像
を得ることができる。以下、本実施の形態では、上記焦
点が合う各位置を「焦点位置」という。

【００１６】制御部２は、操作部４から入力された内容
を検出し、撮像部５の各部の動作を制御して、カメラ１
の動作を統括制御する。また、撮像部５において撮影さ
れた４枚の画像を画像データとして画像メモリ６に保存
させる。その際、図６に示すように、各画像データ２０
１〜２０４に、どの焦点位置に焦点が合うようにして撮
影したものかを示す焦点位置情報２１１〜２１４をヘッ
ダとして付加したファイル２２１〜２２４をまとめて一
の画像ファイル２２０として画像メモリ６に保存させ
る。

【００１７】カメラ１のユーザは、操作部４から、画像
メモリ６に保存されている画像ファイル２２０をＰＣ１
０等の外部機器に送出させる指示を行うことができる。
画像ファイル２２０がＰＣ１０に送出される場合には、
その画像ファイル２２０は、ＰＣ本体１１のＩ／Ｆ部１
１１（図１）を介して画像メモリ１１７に格納されるこ
とになる。

【００１８】図７は、本実施の形態において、カメラ１
で撮影しようとする被写体の構成例を示した図である。
同図に示すように、被写体３１〜３４は表面が白色の平
面台３５上に載置されており、図に示す範囲が撮影範囲
である。ここでは、被写体３１の正面３１０がカメラ１
から０．５ｍのところに位置し、被写体３３の正面３３
０が１ｍのところに位置し、被写体３４の側面３４０が
１．５ｍのところに位置しているものとする。そして図
示はしていないが、被写体３１の正面３１０、被写体３
２〜３４の周面にはそれぞれ文字が描かれているものと
する。

【００１９】図８は、カメラ１と被写体３１等の位置関
係を示した模式図である。このような位置関係において
カメラ１のシャッタが押されると、まず、焦点位置を
０．５ｍ離れたところに設定した場合の撮影（短焦点で
の撮影）により、被写体３１にピントが合った撮影画像
が得られる。その場合、被写体３２、３３、３４は、ピ
ントがぼけた画像になり、そのぼけかたは、被写体３１
から離れるに連れて大きくなっていく。

【００２０】次に、焦点位置を１ｍのところに設定した
場合の撮影（中間焦点での撮影）により、被写体３３の
正面３３０にピントが合った撮影画像が得られる。短焦
点での撮影の場合と同様に被写体３１、被写体３２、３
４は、ピントがぼけることになる。続いて、焦点位置を
１．５ｍのところにした場合の撮影（長焦点での撮影）
により、被写体３４の側面３４０にピントが合った撮影
画像が得られる。上記同様に、被写体３１、被写体３
２、３３は、ピントがぼける。

【００２１】さらに、焦点位置を無限遠とした場合にお
ける撮影による画像が得られる。この場合も被写体３
１、被写体３２、３３、３４は、ピントがぼけることに
なる。以下、このような４枚の撮影画像が一の画像ファ
イル２２０（図６）としてＰＣ１０に取り込まれ、その
画像ファイル２２０がＰＣ１０の画像メモリ１１７に保
存されている状態において画像生成処理が実行される場
合の内容を説明する。

【００２２】図９は、画像生成処理の内容を示すフロー
チャートである。同図に示す画像生成処理は、ＰＣ本体
１１のＣＰＵ１１２が実行するものであり、ここではデ
ィスプレイ１２に表示された画像生成処理の実行のため
のアイコン（不図示）がユーザのマウス１４による操作
でクリックされると開始されるとする。

【００２３】同図に示すように、まずＣＰＵ１１２は、
画像メモリ１１７に保存されている画像ファイル２２０
から表示すべき１枚の撮影画像を読み出し、それを表示
制御部１１５に指示してディスプレイ１２に表示させる
（ステップＳ１）。ここでは、画像ファイル２２０の各
画像データのヘッダに格納されている焦点位置情報２１
１〜２１４を参照し、カメラ１から最も近い位置に焦点
を合わせたときの撮影画像、すなわち短焦点での撮影画
像を読み出し表示するものとする。

【００２４】図１０は、当該画像生成処理が開始された
ときにディスプレイ１２に表示される画面２０の例を示
す図である。同図に示すように、画面２０には、読み出
した画像が表示される表示ボックス２１の下に、ユーザ
からの希望焦点位置の入力を受け付ける入力受付バー２
２が表示される。

【００２５】入力受付バー２２には、つまみ２３が表示
されており、ユーザはこのつまみ２３を希望の位置にマ
ウス１４によりドラッグして移動させることにより、当
該位置を指定することができる。なお、入力受付バー２
２の「０．５」「１．０」等の表示は、カメラ１から各
焦点位置までの距離を示す。ＣＰＵ１１２は、上記焦点
位置情報を参照し、カメラ１から各焦点位置までの距離
を判断して、その距離に対応する数値を入力受付バー２
２に表示させる。なお、希望焦点位置の入力方法として
は、このようなつまみ２３を移動させる方法に限られ
ず、例えばカメラ１からの距離（０．５ｍ等）を希望焦
点位置を示す情報として数値でキーボード１３から入力
する方法も考えられる。

【００２６】図９に戻って、ＣＰＵ１１２は、ステップ
Ｓ２において、希望焦点位置が入力されたか否かを判断
する。この判断は、上記つまみ２３の位置が表示されて
いた位置から移動したか否かにより行われる。ここで
は、被写体３２の正面に焦点を合わせたときの擬似画像
を得る場合として、ユーザがつまみ２３をその正面の位
置に相当する距離のところに移動させたものとする。

【００２７】希望焦点位置が入力されたと判断すると
（ステップＳ２で「Ｙ」）、短焦点での撮影画像（短焦
点画像）の画像データを画像メモリ１１７から読み出し
てそれを画素毎にＲＡＭ１１４内のメモリ領域１３１に
展開する（ステップＳ３）。そして、短焦点画像につい
てエッジ部で閉じられた部分を高周波の画像エリアとし
て特定する（ステップＳ４）。この処理は、公知の方
法、例えば次の方法を用いて実行される。すなわち、画
素毎に、その画素を対象画素としてその対象画素を中心
とした所定の大きさのウィンドウを設定し、そのウイン
ドウに含まれる各画素の輝度データから、１次微分又は
２次微分によりエッジ量を算出する。そして、算出され
たエッジ量を予め設定されている所定の閾値と比較し、
エッジ量がその閾値より大きければ、当該対象画素をエ
ッジ部を構成する画素（エッジ画素）と判断し、各エッ
ジ画素で閉じられた部分を高周波の画像エリアと特定す
るものである。

【００２８】なお、上記所定の閾値は、予め設定されて
いてもよいし、ユーザが任意に設定できるように構成す
ることもできる。通常、ピントが合った画像は、被写体
の輪郭がはっきりと現れるが、ピントがぼけるに連れて
その輪郭もぼけていく、すなわち輪郭と回りの部分の輝
度の差が少なくなっていく。そのため、ピントが合った
画像の輪郭部分は、エッジ画素として判断され易く、逆
にピントがぼけた部分は、エッジ画素として判断されに
くくなる。ここでは、焦点位置から比較的近い例えば前
後２０ｃｍ程度であればぼけていても、その輪郭がエッ
ジ画素として判断されるように前記所定の閾値が予め設
定されていることとする。

【００２９】短焦点画像の場合、上記したように被写体
３１にピントが合っており、他の被写体３２等はぼけて
いる。したがって、図１１（ａ）に示すように、短焦点
画像５１では、被写体３１の輪郭を構成する各画素がエ
ッジ画素として判断され、斜線の領域３１１１が高周波
の画像エリアとして特定されることになる。そして、そ
のエリアが未登録であれば（ステップＳ５で「Ｙ」）、
そのエリアを登録する（ステップＳ６）。具体的には、
領域３１１１に対応する画像３１１の各画素の上記メモ
リ領域上のアドレスを、短焦点画像について特定された
エリアのアドレスであるとして、テーブル１１９のエリ
ア位置情報欄１２１（図４）に登録する。これにより、
短焦点画像における高周波の画像エリアの登録が終了す
る。

【００３０】次に、中間焦点での撮影画像（中間焦点画
像）について高周波の画像エリアを登録済みか否かを判
断する（ステップＳ７）。この判断は、テーブル１１９
のエリア位置情報欄１２２に中間焦点位置に対応するエ
リアのアドレスが登録されているか否かにより行われ
る。ここでは、未登録であると判断して（ステップＳ７
で「Ｎ」）、ステップＳ８に移り、画像メモリ１１７か
ら、中間焦点画像の画像データを読み出してそれを画素
毎にＲＡＭ１１４内のメモリ領域１３２に展開する。

【００３１】そして、ステップＳ４に戻って、ステップ
Ｓ４、Ｓ５の処理を実行して中間焦点画像の高周波の画
像エリアを特定する。中間焦点画像の場合、上記したよ
うに被写体３３の正面３３０にピントが合っており、そ
のため他の被写体３１等はぼけている。なお、被写体３
２については、被写体３３と隣接しており、そのためピ
ントが少しぼけている程度となる。したがって、図１１
（ｂ）に示すように、中間焦点画像５２では、被写体３
２、３３の輪郭を構成する各画素がエッジ画素として判
断され、その輪郭に囲まれる斜線の領域３３２１が高周
波の画像エリアとして特定されることになる。

【００３２】高周波の画像エリアを特定すると、そのエ
リアが未登録であれば、そのエリアを登録する（ステッ
プＳ５、Ｓ６）。具体的には、領域３３２１に対応する
画像３３２の各画素の上記メモリ領域上のアドレスを、
中間焦点画像について特定されたエリアのアドレスであ
るとして、テーブル１１９のエリア位置情報欄１２２に
登録する。これにより、中間焦点画像の高周波の画像エ
リアの登録が終了する。

【００３３】中間焦点画像の高周波の画像エリアが登録
済みであることを判断すると（ステップＳ７で
「Ｙ」）、ステップＳ９に移り、長焦点での撮影画像
（長焦点画像）の高周波の画像エリアが登録済みか否か
を判断する。この判断は、テーブル１１９のエリア位置
情報欄１２３に長焦点位置に対応するエリアのアドレス
が登録されているか否かにより行われる。

【００３４】未登録であると判断すると（ステップＳ９
で「Ｎ」）、ステップＳ１０に移り、画像メモリ１１７
から、長焦点画像の画像データを読み出してそれを画素
毎にＲＡＭ１１４内のメモリ領域１３３に展開する。そ
して、ステップＳ４に戻って、ステップＳ４〜Ｓ９の処
理を実行して長焦点画像の高周波の画像エリアを特定す
る。

【００３５】長焦点画像の場合、被写体３４の側面３４
０にピントが合っており、他の被写体３１等はぼけてい
る。そのため、図１１（ｃ）に示すように、長焦点画像
５３では、被写体３４の輪郭を構成する各画素がエッジ
画素として判断され、その輪郭に囲まれる斜線の領域３
４３１が高周波の画像エリアとして特定されることにな
る。

【００３６】高周波の画像エリアを特定すると、上記同
様に、そのエリアが未登録であれば、そのエリアを登録
する（ステップＳ５、Ｓ６）。具体的には、領域３４３
１に対応する画像３４３の各画素の上記メモリ領域上の
アドレスを、長焦点画像について特定されたエリアのア
ドレスであるとして、テーブル１１９のエリア位置情報
欄１２３に登録する。これにより、長焦点画像の高周波
の画像エリアの登録が終了する。

【００３７】ステップＳ９において、長焦点画像の高周
波の画像エリアが登録済みであることを判断すると、ス
テップＳ１１に移る。ステップＳ１１では、画像メモリ
１１７から、無限遠焦点での撮影画像（無限遠焦点画
像）の画像データを読み出してそれを画素毎にＲＡＭ１
１４内のメモリ領域１３４に展開する。

【００３８】続いて、ステップＳ１２では、これまでに
画像エリアとして登録されていない部分を背景エリアと
して特定する処理を行う。この処理は、テーブル１１９
のエリア位置情報欄１２１〜１２３に書き込まれている
アドレス（短焦点、中間焦点、長焦点の高周波の画像エ
リアの各画素のアドレス）以外の各画素のアドレスを特
定することで行われる。

【００３９】無限遠画像で見れば、図１１（ｄ）に示す
斜線の領域が背景エリアとして特定されることになる。
ＣＰＵ１１２は、上記特定したアドレスを、背景エリア
のアドレスであるとして、テーブル１１９のエリア位置
情報欄１２４に登録する（ステップＳ１３）。これによ
り、撮影画像の領域が、図１２に示すように短焦点画像
により特定された画像エリアＡ、中間焦点画像により特
定された画像エリアＢ、長焦点画像により特定された画
像エリアＣ、そして背景エリアの４つのエリアに特定さ
れたことになる。

【００４０】このようにエリアを特定するのは、エリア
毎に、そのエリアに対応する撮影画像に所定の画像処理
を行って、最終的にそれらを合成するという方法で、希
望焦点位置における画像を擬似的に生成するようにして
いるからである。画像エリアＡについてはステップＳ１
４、画像エリアＢについてはステップＳ１５、画像エリ
アＣについてはステップＳ１６、背景エリアについては
ステップＳ１７において、それぞれ各エリアに対応する
画像を生成する。

【００４１】以下、ステップＳ１４〜Ｓ１７の各処理
を、図１３におけるモデル例を参照しながら説明する。
なお、図１３に示す画像５１は、短焦点画像（図１１
（ａ））、画像５２は、中間焦点画像（図１１
（ｂ））、画像５５は、希望焦点位置における画像（生
成すべき画像）を示す。（画像エリアＡについて）ステ
ップＳ１４では、テーブル１１９に登録されている画像
エリアＡの各画素のアドレスを参照し、短焦点画像５１
の中から画像エリアＡに対応する画像部分（すなわち、
画像３１１）の各画素の輝度データをメモリ領域１３１
から抽出する。

【００４２】ここで、画素の輝度を用いるのは、上記し
たように人の目には輪郭部分と背景部分の輝度の差が大
きいとピントが合っているように見え、小さいと区別が
付きにくくなってぼけて見える傾向が大変強いからであ
る。続いて、中間焦点画像５２の中から、画像エリアＡ
に対応する画像部分（すなわち画像３１２）の各画素の
輝度データをメモリ領域１３２から抽出する。

【００４３】このように画像５１と５２を用いるのは、
これらが希望焦点位置を挟んで最も近い２つの焦点位置
における撮影画像であり、画像のぼけが焦点位置から離
れるに連れて大きくなっていくことから考えると、画像
５５を生成するには画像５１、５２を用いるのが最適と
なるからである。そして、抽出した２つの画像３１１、
３１２から、画像５５の画像エリアＡに対応する画像部
分（画像５５１）の各画素の輝度を次の式（１）を用い
て求める。

【００４４】画像５５１の画素の輝度＝α１・Ｋ１・（画像３１１の画素の輝度）＋α２・Ｋ２・（画像３１２の画素の輝度）−（オフセット値）・・・・・（１）ここで、Ｋ１＝ｂ／（ａ＋ｂ）Ｋ２＝ａ／（ａ＋ｂ）ａは、短焦点位置から希望焦点位置までの距離、ｂは、
希望焦点位置から中間焦点位置までの距離である。

【００４５】また、上記「画素」は、画像３１１、３１
２、５５１の、画像エリアＡ内において同位置に位置す
る画素を示す。α１は、強調フィルタを、α２は、ぼか
しフィルタを示す。強調フィルタは、公知のいわゆる尖
鋭化フィルタであり、ぼかしフィルタは、公知のいわゆ
る平均化フィルタである。強調フィルタは、対象画素
と、その対象画素に隣接する各画素との輝度の差分をよ
り大きくし、ぼかしフィルタは、その差分をより小さく
する。

【００４６】オフセット値は、式（１）に適用される一
の画素について、その一の画素を含む所定範囲に属する
各画素の内、輝度が最大のものと最小のもののその輝度
の差分の数％、例えば５％に相当する値を示す。仮にそ
の差分が「２５６」であれば「１２」となる。このオフ
セット値については、以下の各式についても同様であ
る。

【００４７】式（１）では、高周波の画像３１１に強調
フィルタα１と重み係数Ｋ１を掛け、ピントがぼけてい
る画像３１２にぼかしフィルタα２と重み係数Ｋ２を掛
け、それらを足し合わせている。このようにしたのは、
高周波の画像３１１を強調してその画像の特徴をよりは
っきりとさせ、一方でピントがぼけた画像３１２をさら
にぼかして、強調によりコントラストが大きくなりとげ
とげしくなる画像を和らげるようにし、それら処理を施
した各画像に重み係数Ｋ１、Ｋ２を掛けるようにすれ
ば、画像３１１に掛かる強調量と、画像３１２に掛かる
ぼかし量が距離ａとｂの比率に応じた値に配分（重み付
け）されることになり、実際に希望焦点位置に焦点を合
わせて撮影したときの画像に近い画像を作り出すことが
できるからである。

【００４８】例えば、希望焦点位置が短焦点位置に近い
場合には、Ｋ１が大となって画像３１１が強調されると
共にコントラストもある程度補正された画像を生成で
き、逆に中間焦点位置に近い場合には、Ｋ１が小、Ｋ２
が大となりぼかし量の方が強くなってぼけが激しいもの
となる。このように画像３１１、３１２に掛かる重み付
け量が距離ａとｂの比率に応じた値に配分されるように
なっているため、強調フィルタα１、ぼかしフィルタα
２の大きさが生成画像に大きく影響を与えることにな
り、これらの値を予め十分に考慮しておく必要がある。
特に、高周波の画像３１１に対する強調量は影響が大き
く、ここでは希望焦点位置が短焦点位置に近い場合に
は、画像３１１が強調され（すなわち、重み係数Ｋ１
（０＜Ｋ１＜１）が「１」に近ければ画像３１１内の隣
接する各画素間の輝度の差が実質的に元の差分よりも大
きくなり）、中間焦点位置に近い場合には、画像３１１
がぼける（すなわち、Ｋ１が「０」に近ければ前記隣接
する各画素間の輝度の差が実質的に元の差分よりも小さ
くなる）ように強調フィルタα１の大きさが決められ
る。これにより、人の目には希望焦点位置が短焦点に近
い場合に生成画像がよりはっきりと映り、中間焦点に近
い場合にはよりぼけて映るようになってより良好な画像
に見えるようになる。

【００４９】なお、画像３１２をさらにぼかしたものを
コントラストの調整用として用いたのは、画像３１２に
は、ぼけているといっても被写体３１が写っていること
には変わりなくその画像の特徴を保持しているものであ
るから、そのような画像を用いた方が単に固定値を画像
３１１に足し合わせるよりも良好な画像を生成できるこ
とになるからである。

【００５０】さらに、式（１）において、オフセット値
を差し引いているのは、画像３１１の画素の輝度と、画
像３１２の画素の輝度とを足し合わせると全体的に輝度
が高くなりすぎるので、それを全体的に適当な値まで下
げるためである。したがって、このオフセット値には、
Ｋ１やα１等の係数が掛からない。ＣＰＵ１１２は、各
画素について、その輝度データを式（１）により演算
し、それによって得られた輝度値を示すデータを短焦点
画像エリアＡに対応する画像としてＲＡＭ１１４に一時
的に保存する。

【００５１】（画像エリアＢについて）ステップＳ１５
では、テーブル１１９に格納されている画像エリアＢの
各画素のアドレスを参照し、短焦点画像５１の中から画
像エリアＢに対応する画像部分（すなわち、画像３３
１）の画像データを画素単位でメモリ領域１３１から抽
出する。

【００５２】続いて、中間焦点画像５２の中から、画像
エリアＢに対応する画像部分（すなわち、画像３３２）
の画像データを画素単位でメモリ領域１３２から抽出す
る。そして、抽出した２つの画像から、画像５５の画像
エリアＢに対応する画像部分（画像５５２）の各画素の
輝度を次の式（２）により求める。画像５５２の画素の輝度＝α２・Ｋ１・（画像３３１の画素の輝度）＋α１・Ｋ２・（画像３３２の画素の輝度）−（オフセット値）・・・・・（２）式（２）では、画像３３１にぼかしフィルタα２を掛
け、画像３３２に強調フィルタα１を掛けている。これ
は、上記したように、本実施の形態では、高周波画像エ
リアの画像を強調してその特徴をよりはっきりさせ、ピ
ントがぼけている方の画像をよりぼかすようにしてお
り、画像エリアＢでは、画像３３１がピントがぼけた画
像であり、画像３３２が高周波画像となるからである。

【００５３】上記の例では、係数Ｋ２の値が大きく、そ
のため画像３３２が強調されて、結果的に画像３３２で
はぼけていた被写体３２の正面の部分も画像５５２では
それよりもはっきりと見えるようになり、その正面に描
かれている文字もよりはっきりとし、画像エリアＢにつ
いて良好な画像が得られることになる。ＣＰＵ１１２
は、式（２）から求めた画像５５２の各画素の輝度値を
示すデータをＲＡＭ１１４に一時的に保存する。

【００５４】（画像エリアＣについて）ステップＳ１６
では、テーブル１１９に格納されている画像エリアＣの
各画素のアドレスを参照し、短焦点画像５１の中から、
画像エリアＣに対応する画像部分（すなわち、画像３４
１）の画像データを画素単位でメモリ領域１３１から抽
出する。

【００５５】続いて、中間焦点画像５２の中から、画像
エリアＣに対応する画像部分（すなわち、画像３４２）
の画像データを画素単位でメモリ領域１３２から抽出す
る。そして、抽出した２つの画像から、画像５５の画像
エリアＣに対応する画像部分（画像５５３）の各画素の
輝度を次の式（３）により求める。画像５５３の画素の輝度＝α２・Ｋ１・（画像３４１の画素の輝度）＋α１・Ｋ２・（画像３４２の画素の輝度）−（オフセット値）・・・・・（３）式（３）では、画像３４１にぼかしフィルタを掛け、画
像３４２に強調フィルタを掛けている。これは、画像エ
リアＣでは、画像３４２の方が画像３４１よりもぼけか
たが少ないからである。

【００５６】画像３４１と３４２は、双方ぼけている画
像であり、そのためぼけかたの少ない方の画像３４２を
強調しても、その強調量が画像エリアＢと同じであるこ
とから画像エリアＢの画像５５２ほどには尖鋭化され
ず、結果的に希望焦点位置に焦点を合わせて撮影したと
きの被写体３４の撮影画像（ぼけた画像）に近いぼけ画
像を生成でき、画像エリアＣについて良好な画像が得ら
れることになる。

【００５７】ＣＰＵ１１２は、式（３）から求めた画像
５５３の各画素の輝度値を示すデータをＲＡＭ１１４に
一時的に保存する。（背景エリアについて）ステップＳ１７では、テーブル
１１９に格納されている背景エリアの各画素のアドレス
を参照し、短焦点画像５１の中から、背景エリアに対応
する画像部分（すなわち、画像３５１）の画像データを
画素単位でメモリ領域１３１から抽出する。

【００５８】続いて、無限遠焦点画像５４の中から、背
景エリアに対応する画像部分（画像３５４、図１１
（ｄ）の斜線部分）の画像データを画素単位でメモリ領
域１３４から抽出する。そして、抽出した２つの画像か
ら、画像５５の背景エリアに対応する画像部分（画像５
５４）の各画素の輝度を次の式（４）により求める。

【００５９】画像５５４の画素の輝度＝α２・Ｋ３・（画像３５１の画素の輝度）＋α１・Ｋ４・（画像３５４の画素の輝度）−（オフセット値）・・・・・（４）ここで、Ｋ３＝ｃ／（ａ＋ｃ）Ｋ４＝ａ／（ａ＋ｃ）ａは、短焦点位置から希望焦点位置までの距離、ｃは、
希望焦点位置から無限遠焦点（ここでは、５０ｍ）まで
の距離を示す。

【００６０】背景エリアの画像は、被写体３１〜３４よ
りもカメラ１から遥かに遠いところにある物の画像とな
るのが普通なので、ここでは無限遠焦点における画像３
５４と、背景の画像が最もぼけている画像、すなわち短
焦点画像５１の画像３５１とを用いるようにしている。
式（４）によれば、入力焦点位置がカメラ１から近い位
置にある場合には、Ｋ４が「０」に大変近い大きさにな
り、そのため無限遠焦点の画像３５４への強調量が大変
小さく、そのため画像３５４に対し、画像エリアＡの画
像３１１と同じ強調フィルタα１を掛けても、画像エリ
アＡの場合よりも、さらに隣接する各画素間の輝度の差
が実質的に元の差分よりも小さくなってしまい、これに
より画像３５４は画像エリアＡの画像３１１よりも大き
くぼけることになる。このぼけた画像３５４に、ぼかし
フィルタによりさらにぼけた画像３５１がコントラスト
調整のために足し合わされると画像エリアＡの画像５５
１よりもさらにぼけた画像５５４が背景画像として得ら
れることになる。実際に上記希望焦点位置を焦点位置と
して撮影されたときの画像エリアＡと背景エリアの各画
像は、画像エリアＡに対し背景エリアの画像の方がぼけ
ているはずであり、このことは画像５５１と５５４の間
にも同じことがいえ、そのため上記のように生成された
画像５５１と５５４を人の目で見たときにはその焦点位
置で撮影されたときの画像のように映ることになり、結
果的に背景エリアとして良好な画像を得ることが可能に
なる。なお、本実施の形態では、台３５が背景画像とな
っており、この台３５については上記したように白色の
平面台であるから、当該処理が施されてもその輝度はほ
とんど変化しない。当該背景エリアに対する処理は、例
えば被写体の後方に広がる風景等が背景画像となった場
合に特に効果を奏する。

【００６１】ＣＰＵ１１２は、式（４）から求めた画像
５５４の各画素の輝度値を示すデータをＲＡＭ１１４に
一時的に保存する。そして、ステップＳ１８において、
画像エリア毎に生成した画像５５を合成する。具体的に
は、ステップＳ１４〜Ｓ１７において画像エリア毎にそ
れぞれ生成した画像の輝度値を示すデータを読み出し、
それらをＲＡＭ１１４内の１枚の撮影画像に相当するメ
モリ領域内の、各画像エリアに対応する位置にそれぞれ
展開していくことにより合成する。この画像５５は、被
写体３１、３４についてはぼけており、被写体３１、３
２については共にはっきりとしたものとなり、希望焦点
位置に焦点が合ったときの撮影画像に近い（類似した）
ものとなる。

【００６２】ＣＰＵ１１２は、表示制御部１１５に指示
して、合成画像をディスプレイ１２に表示させ（ステッ
プＳ１９）、ステップＳ２に戻る。ＣＰＵ１１２は、ス
テップＳ２において、新たにつまみ２３の移動を判断す
ると、そのつまみ２３の位置を焦点位置とした場合の画
像を上記した処理により擬似的に生成して表示させる。

【００６３】以上説明したように、希望焦点位置を挟む
２箇所の焦点位置で撮影された撮影画像について高周波
成分を持つ画像の画像エリアを特定し、画像エリア毎
に、２枚の撮影画像の中からその画像エリアに対応する
画像部分を抽出し、その各画像部分を用いてその希望焦
点位置における画像を生成する、いいかえればカメラ１
からの各被写体の距離に応じてその各被写体の画像に対
し施すべき画像処理の方法を変えるようにしている。こ
れにより、画像エリア単位で最適な画像処理が施される
ことになり、ピントが合っているべき部分（画像エリア
Ｂ）は、希望焦点位置に応じた強調量で強調されてピン
トが合うようになり、ぼけているべき部分（画像エリア
Ａ、Ｃ、背景エリア）は各画像エリアに対するぼかし量
に応じた量で平均化されてぼけるように処理されること
になって、実際の希望焦点位置に焦点を合わせたときの
撮影画像とピントについて見れば同様の状態となるの
で、見たときに違和感の少ない画像を生成することが可
能になる。また、背景エリアについては、他の画像エリ
アの生成方法を用いずに、短焦点での撮影画像と無限遠
焦点での撮影画像を用いて生成しており、背景としてよ
り良好な画像を作り出すことができる。

【００６４】なお、これまでは希望焦点位置が短焦点位
置と中間焦点位置の間にある場合の例を説明したが、中
間焦点位置と長焦点位置の間の場合には、次の式（５）
〜（７）が適用される。この場合、中間焦点画像５２
（図１１（ｂ））と長焦点画像５３（図１１（ｃ））が
用いられる。なお、以下の式については、上記「画像の
画素の輝度」を単に「画像」と省略して表わすことにす
る。

【００６５】画像エリアＡの画像＝β１・Ｋ５・（画像３１２）＋β２・Ｋ６・（画像３１３）−オフセット値・・・・・（５）ここで、Ｋ５＝ｅ／（ｄ＋ｅ）Ｋ６＝ｄ／（ｄ＋ｅ）ｄは、中間焦点位置から希望焦点位置までの距離、ｅ
は、希望焦点位置から長焦点位置までの距離である。

【００６６】そして、β１は、強調フィルタを、β２
は、ぼかしフィルタを示す。ここで、強調量は、β１＜
α１としている。これは、通常、焦点位置がカメラ１か
ら近い方が遠い場合よりも撮影画像のぼけ方が大きくな
るため、画像５２、５３を用いる場合には、画像５１、
５２を用いる場合よりも強調量を抑えた方が生成すべき
画像がより良好になるからである。また、ぼかし量は、
β２＜α２となる。これは、強調フィルタの大小関係に
合わせたものである。

【００６７】式（５）では、画像３１２に強調フィルタ
を、画像３１３にぼかしフィルタを掛けている。これ
は、画像エリアＡでは、画像３１２の方が画像３１３よ
りもぼけかたが少なく、画像３１２を強調してその特徴
をよりはっきりとさせた方がより良好な画像を生成でき
るからである。画像エリアＢの画像＝β１・Ｋ５・（画像３３２）＋β２・Ｋ６・（画像３３３）−オフセット値・・・・・（６）画像エリアＢでは、画像３３２が高周波の画像となるた
め、これに強調フィルタが掛けられる。

【００６８】画像エリアＣの画像＝β２・Ｋ５・（画像３４２）＋β１・Ｋ６・（画像３４３）−オフセット値・・・・・（７）画像エリアＣでは、画像３４３が高周波の画像となるた
め、画像３４３に強調フィルタが掛けられる。なお、背
景エリアについては、上記式（４）と同じである。

【００６９】一方、長焦点位置と無限遠焦点の間の場合
には、次の式（８）〜（１０）が適用される。なお、こ
の場合、長焦点画像５３（図１１（ｃ））と無限遠焦点
画像５４（図１１（ｄ））が用いられる。画像エリアＡの画像＝γ１・Ｋ７・（画像３１３）＋γ２・Ｋ８・（画像３１４）−オフセット値・・・・・（８）ここで、Ｋ７＝ｈ／（ｇ＋ｈ）Ｋ８＝ｇ／（ｇ＋ｈ）ここで、ｇは、長焦点位置から希望焦点位置までの距
離、ｈは、希望焦点位置から無限遠焦点までの距離であ
る。

【００７０】そして、γ１は、強調フィルタを、γ２
は、ぼかしフィルタを示す。なお、強調量は、γ１＜β
１＜α１となる。一方、ぼかし量は、γ２＜β２＜α２
となる。このようにしているのは、上記と同じ理由によ
る。式（９）では、画像３１３に強調フィルタを掛け、
画像３１４にぼかしフィルタを掛けている。これは、画
像エリアＡでは、画像３１３の方が画像３１４に比べる
とはっきりと写っており、画像３１３を強調した方がよ
り良好な画像を生成できるからである。

【００７１】画像エリアＢの画像＝γ１・Ｋ７・（画像３３３）＋γ２・Ｋ８・（画像３３４）−オフセット値・・・・・（９）画像エリアＢでは、画像３３３の方が画像３３４に比べ
るとはっきりと写っており、画像３３３を強調した方が
より良好な画像を生成できるからである。画像エリアＣの画像＝γ１・Ｋ７・（画像３４３）＋γ２・Ｋ８・（画像３４４）−オフセット値・・・・・（１０）画像エリアＣでは、画像３４３が高周波画像エリアとな
るため、画像３４３に強調フィルタが掛けられる。な
お、背景エリアについては、上記式（４）と同じであ
る。

【００７２】これにより、希望焦点位置として入力され
た位置に焦点を合わせたときに得られるであろう撮影画
像に近い画像を擬似的に生成し、ディスプレイ１２に表
示することができるようになり、ユーザにとって便利と
なる。また、本発明は上記画像生成処理における方法で
あってもよく、またそれらの方法をコンピュータが実行
するプログラムであるとしてもよい。

【００７３】また、本発明のプログラムは、例えば磁気
テープ、フレキシブルディスク等の磁気ディスク、ＤＶ
Ｄ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＭＯ、ＰＤなどの光記録
媒体、ＳｍａｒｔＭｅｄｉａ（登録商標）、ＣＯＭＰ
ＡＣＴＦＬＡＳＨ（登録商標）などのフラッシュメモリ
系記録媒体等、コンピュータ読み取り可能な各種記録媒
体に記録することが可能であり、当該記録媒体の形態で
生産、譲渡等がなされる場合もあるし、プログラムの形
態で、インターネットを含む有線、無線の各種ネットワ
ーク、放送、電気通信回線、衛星通信等を介して伝送、
供給される場合もある。また、本発明のプログラムは、
上記に説明した処理をコンピュータに実行させるための
全てのモジュールを含んでいる必要はなく、例えば通信
プログラムや、オペレーティングシステム（ＯＳ）に含
まれるプログラムなど、別途にインストールすることが
できる各種汎用的なプログラムを利用して、本発明の各
処理をコンピュータに実行させるようにしてもよい。ま
た、一部の処理については、専用回路等を利用してハー
ドウェア的に処理を行うようにしてもよい。したがっ
て、上記した本発明の記録媒体に必ずしも前記全てのモ
ジュールを記録している必要はないし、また、プログラ
ムとしても、必ずしも全てのモジュールを伝送する必要
もない。

【００７４】（変形例）以上、本発明を実施の形態に基
づいて説明してきたが、本発明は、上述の実施の形態に
限定されないのは勿論であり、以下のような変形例が考
えられる。（１）上記実施の形態では、希望焦点位置を挟み、焦点
位置が希望焦点位置に最も近い位置の２枚の撮影画像を
用いて画像生成処理を行ったが、これに限られない。希
望焦点位置を挟む２枚の撮影画像があれば上記方法によ
りその希望焦点位置における画像を生成できるので、例
えば希望焦点位置が短焦点位置と中間焦点位置間にある
場合に、短焦点画像５１と長焦点画像５３を用いてその
希望焦点位置における画像を生成するとしてもよい。そ
の場合、もちろん強調フィルタ、ぼかしフィルタの大き
さをその２枚の撮影画像における各焦点位置の位置関係
に応じて適当な値に調整される必要がある。また、希望
焦点位置を挟む場合に限られず、例えばカメラ１と希望
焦点位置の間の第１と第２の焦点位置で撮影された２枚
の撮影画像からその希望焦点位置における画像を生成す
ることも強調フィルタ等の大きさの調整により可能であ
ろう。また、上記各式に限定されず、エリア毎に適当と
考えられる処理に応じた式を実験等から求め、それを用
いるようにすれば上記同様の効果を得ることが可能であ
る。

【００７５】（２）強調フィルタ、ぼかしフィルタは、
用いるべき２枚の撮影画像の焦点位置に応じて変えてい
くことが望まれる。その場合、例えば短焦点位置がカメ
ラ１からＸ（ｍ）のところにあり、中間焦点位置がＹ
（ｍ）のところにあれば強調フィルタをＺ１、ぼかしフ
ィルタをＺ２のものを使用するというふうに、複数の焦
点位置に対応するフィルタの対応表をテーブルとして持
っておき、カメラ１からの撮影画像データに含まれる焦
点位置情報を参照して、用いるべき強調フィルタ、ぼか
しフィルタを選択するという方法が考えられる。

【００７６】（３）上記では強調フィルタ、ぼかしフィ
ルタが任意に変更可能な構成になっていなかったが、例
えばユーザがＰＣ１０上においてそれらフィルタの値を
変更、もしくは複数のものの中から選択等して用いるべ
きフィルタを変更可能な構成にすることもできる。この
ようにすれば、生成画像をユーザの好みに応じて変える
ことが可能になる。また、上記では、式（１）等におい
て、画素値として輝度を用いたが、これに限られず、例
えば色差を示す値を用いることもできる。

【００７７】（４）上記実施の形態では、特定した各画
像エリアについてそれぞれ画像生成処理を行ったが、こ
れに限定されない。例えば背景エリアの画像は、希望焦
点位置がカメラ１から近い場合にはかなりぼけているは
ずであり、そうであれば背景エリアについては、短焦点
画像と無限遠焦点画像を用いずに、他の画像エリアと同
様に希望焦点位置を挟む２枚の撮影画像の背景エリアの
画像（双方ともぼけている画像）を用いたり、また短焦
点画像の背景エリアの画像をそのまま（何も処理せず
に）使用するという方法を取ることもできる。それによ
って、生成画像が極端に劣悪になることはないと考えら
れるからである。このように背景エリアについて上記画
像生成処理を行わないようにすれば、その分実行すべき
処理が簡素化され、ＣＰＵ１１２にとってその画像生成
処理の実行による負荷を軽減できることになる。

【００７８】（５）上記のカメラ１は、シャッタが押さ
れると、予め決められた４つの焦点位置に焦点が合うよ
うに自動的にレンズを移動させて４枚の画像を撮影する
としたが、この構成に限られることはない。異なる２つ
の焦点位置における撮影画像が少なくとも２枚あれば良
く、また焦点位置も任意の位置でよい。その場合、撮影
画像にその焦点位置を示す情報（カメラ１からの距離
等）を付加するように構成すれば、ＰＣ１０側で焦点位
置を判断することができる。

【００７９】また、例えばオートフォーカスを用いてあ
る一点に焦点が合った画像を撮影した後、その前後、例
えば１（ｍ）の各位置に焦点が合うようにレンズを自動
的に順次移動させて撮影することにより合計３枚の撮影
画像を得る構成とすることもできる。（６）上記実施の形態では、ＣＰＵ１１２は、第１の焦
点位置と第２の焦点位置に挟まれる希望焦点位置として
の第３の位置をユーザからの入力により取得して、その
第３の位置における擬似画像を生成したが、例えばユー
ザにより予め指定されていた位置に基づいて画像を生成
する構成とすることもできる。この場合、その指定位置
を示す情報はＲＡＭ等のメモリに保存されており、ＣＰ
Ｕ１１２はそのメモリから当該指定位置を第３の位置と
して読み出してそれを取得することになる。

【００８０】（７）上記実施の形態では、上記画像生成
処理をＰＣ１０側で行うようにしたが、同処理をデジタ
ルカメラ１側で行う構成とすることもできる。

【００８１】

【発明の効果】以上説明したように、本発明のプログラ
ムは、少なくとも一方の撮影画像について所定の尖鋭度
以上のエッジ部に囲まれた画像エリアを特定するエリア
特定ステップと、特定されたエリア毎に、第１と第２の
撮影画像の当該エリアに対応する各画像部分から第１と
第２の焦点位置と異なる第３の位置に対応する画像の各
画素の画素値を演算する演算ステップと、エリア毎に求
められた画像を１枚の画像に合成する合成ステップと、
をコンピュータに実行させる。これにより、第３の位置
をユーザの希望焦点位置とすれば、その位置に焦点を合
わせたときの撮影画像に近い画像を擬似的に生成するこ
とが可能になり利便性が高まる。

【図面の簡単な説明】

【図１】本実施の形態における画像処理装置としてのＰ
Ｃ１０の構成を示す図である。

【図２】ＲＡＭ１１４内のメモリ領域の構成を示す図で
ある。

【図３】テーブル１１８の構成を示す図である。

【図４】テーブル１１９の構成を示す図である。

【図５】カメラ１の構成を示す図である。

【図６】画像データ２０１〜２０４の構成を示す図であ
る。

【図７】カメラ１で撮影しようとする被写体の構成例を
示した図である。

【図８】カメラ１と被写体３１等の位置関係を示した模
式図である。

【図９】画像生成処理の内容を示すフローチャートであ
る。

【図１０】画像生成処理が開始されたときにディスプレ
イ１２に表示される画面２０の例を示す図である。

【図１１】（ａ）は、短焦点位置における撮影画像５
１、（ｂ）は、中間焦点位置における撮影画像５２
（ｃ）は、長焦点位置における撮影画像５３（ｄ）
は、無限遠焦点における撮影画像５４の例を示す図であ
る。

【図１２】特定された画像エリアＡ〜Ｃ、背景エリアの
位置を示す図である。

【図１３】画像生成処理の説明に用いるための短焦点画
像と中間焦点画像のモデル例を示す図である。

【符号の説明】

１デジタルカメラ１０ＰＣ２０画面２２入力受付バー３１、３２、３３、３４被写体５１短焦点画像５２中間焦点画像５３長焦点画像５４無限遠焦点画像５５生成しようとする画像１１２ＣＰＵ１１７画像メモリ１１８、１１９テーブル２０１〜２０４画像データ２１１〜２１４焦点位置情報２２１〜２２４ファイル３１１〜３１４、５５１画像エリアＡに対応する画像
部分３３１〜３３４、５５２画像エリアＢに対応する画像
部分３４１〜３４４、５５３画像エリアＣに対応する画像
部分３５１、３５４、５５４背景エリアに対応する画像部
分

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/232 Ｈ０４Ｎ 5/262 5/262 101:00 // Ｈ０４Ｎ 101:00 1/40 １０１ＤＦターム(参考） 5B057 AA11 BA02 BA19 CC03 CE03 CE04 CE06 CE08 CE09 CH08 DA08 DC16 5C022 AA13 AB21 AB68 AC42 5C023 AA07 AA08 AA37 BA11 DA04 5C076 AA02 AA13 AA31 AA32 BA06 5C077 LL01 MP01 MP07 PP02 PP03 PP47 PP68 PQ08 PQ12 PQ23 PQ25 TT09

Claims

【特許請求の範囲】

【請求項１】第１と第２の焦点位置で撮影された第１
と第２の撮影画像を取得する取得ステップと、少なくとも一方の撮影画像について所定の尖鋭度以上の
エッジ部に囲まれた画像エリアを特定するエリア特定ス
テップと、特定されたエリア毎に、第１と第２の撮影画像の当該エ
リアに対応する各画像部分から第１と第２の焦点位置と
異なる第３の位置に対応する画像の各画素の画素値を演
算する演算ステップと、エリア毎に求められた画像を１枚の画像に合成する合成
ステップと、をコンピュータに実行させるためのプログラム。
【請求項２】前記第３の位置は、第１と第２の位置の間
にあり、前記演算ステップは、前記各画像部分の内、エッジ部に囲まれた方の画像部分
にエッジ強調処理を、他方の画像部分にぼかし処理を施
し、それらに、第１の焦点位置から第３の位置までの距
離と、第３の位置から第２の焦点位置までの距離との比
率に応じた重み付けをし、それらを足し合わせるステッ
プを含むことを特徴とする請求項１に記載のプログラ
ム。
【請求項３】前記取得ステップは、複数の異なる焦点位置で撮影された撮影画像の内から、
前記第３の位置と焦点位置が最も近い２枚の撮影画像を
前記第１と第２の撮影画像として取得することを特徴と
する請求項１もしくは２に記載のプログラム。
【請求項４】前記エリア特定ステップは、前記エッジ部
に囲まれた画像エリア以外の部分については背景のエリ
アとして特定することを特徴とする請求項１に記載のプ
ログラム。
【請求項５】前記取得ステップは、さらに、複数の異なる焦点位置で撮影された撮影画像の内から、
最近焦点位置および最遠焦点位置において撮影された２
枚の撮影画像を取得し、前記演算ステップは、背景のエリアについては、最近焦点位置と最遠焦点位置
における各撮影画像の当該エリアに対応する各画像部分
から第３の位置に対応する画像の各画素の画素値を求め
ることを特徴とする請求項４に記載のプログラム。