JP2002247439A

JP2002247439A - 画像入力装置、画像入力方法、およびその方法をコンピュータで実行するためのプログラムが格納されているコンピュータが読み取り可能な記録媒体

Info

Publication number: JP2002247439A
Application number: JP2001036179A
Authority: JP
Inventors: Ikuo Kato; 幾雄加藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-02-13
Filing date: 2001-02-13
Publication date: 2002-08-30

Abstract

(57)【要約】【課題】簡単な構成で被写界深度を可変させた画像情
報を得ることが可能な画像入力装置を提供すること。【解決手段】画像入力ユニット１００では、被写界深
度の条件を規定する被写界深度指示情報に基づいて、光
学結像素子１０１および／または光学撮像素子１０２を
光軸方向に移動させて、被写体、光学結像素子１０１、
および光学撮像素子１０２の位置関係を異ならせ、異な
る複数の位置関係で各々被写体を撮像し、撮像されて得
られる複数の画像情報を単一の画像情報として出力する
一方、画像処理ユニット２００では、上述の複数の異な
る位置関係、ならびに、光学結像素子１０１の情報およ
び／または光学撮像素子１０２の情報に基づいて、単一
の画像情報を画像復元する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像入力装置、画
像入力方法、およびその方法をコンピュータで実行する
ためのプログラムが格納されているコンピュータが読み
取り可能な記録媒体に関し、詳細には、デジタルカメラ
等の画像入力装置に撮影された画像の被写界深度を、撮
影者の指示に応じて、使用しているレンズの焦点距離ｆ
値、Ｆ値、ＣＣＤの特性、被写体等との距離とで決定さ
れる実際の被写界深度以外の値に変更することが可能な
画像入力装置、画像入力方法、およびその方法をコンピ
ュータで実行するためのプログラムが格納されているコ
ンピュータが読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】従来、デジタルカメラやビデオカメラ等
の画像入力装置にあっては、被写界深度は、レンズの焦
点距離ｆ値、レンズのＦ値、ＣＣＤの特性や被写体との
距離等で決定される。被写界深度を大きくする場合に
は、レンズのＦ値を大きくし、他方、被写界深度を小さ
くする場合には、Ｆ値を小さくする手法が一般的に使用
されている。

【０００３】しかしながら、レンズのＦ値を大きくした
場合、すなわち暗い光学系にした場合には、光量がレン
ズのＦ値の２乗に反比例して減少し、また、被写界深
度、ＣＣＤ、ＣＭＯＳ、銀塩フィルム等の光学撮像素
子、感光材料の感度には限界があるため、例えばＣＣＤ
の場合では量子化誤差や雑音の影響が大きくなり、画像
品質が低下してしまう。

【０００４】他方、Ｆ値を小さくした場合、すなわち明
るい光学系にした場合には、レンズの球面収差やコマ収
差等の光学収差が銀塩フィルムやＣＣＤの周辺で大きく
なり易く、焦点が合っていても周辺での画像品質が低下
してしまう。さらに、ＣＣＤの場合には、そのサイズが
銀塩フィルムで代表的なライカサイズ（３６ｍｍ×２４
ｍｍ）よりも普及品は、小さいものが多く（例えば２０
０万画素で対角長１／２インチ）、同じ撮影画角の画像
に対して銀塩フィルムと同等の被写界深度を実現するに
は、よりＣＣＤサイズとライカサイズとのサイズ比の逆
比に相当する分のＦ値の低減が必要なことから、例えば
ライカサイズでのＦ＝１．２に相当する被写界深度のレ
ンズを普及品のサイズのＣＣＤに対して得ることは困難
である。

【０００５】このような被写界深度の限定された状況に
おいて、撮像した画像情報の画質を改善する方法とし
て、以下の如き各種手法が提案されている。例えば、特
開平６−３１１４１１号公報では、被写体に対する合焦
位置を変化させながら画像を取得し、この画像のコント
ラストを判定して合焦画素のみを抽出して被写体の画像
を取得する方法が記述されている。しかしながら、かか
る方法では、コントラストを判定する毎に複数の画像デ
ータを取得することが必要であるため、画像入力に時間
を要し、高速で移動する被写体には向かないという問題
がある。

【０００６】また、特開平８−１７２５３３号公報や特
開１０−１２４６６５号公報では、画像処理のみにより
ボケ画像を画像復元する際の画像処理方法が記述されて
おり、前者は放射状の濃淡画像情報に着目した鮮鋭化処
理であり、後者は銀塩フィルムでのウイナフィルタや最
大エントロピー法における画像復元に対して銀塩フィル
ムの粒状ノイズに着目したフィルタ関数を使用した鮮鋭
化処理である。

【０００７】しかしながら、これらの方法だけでは、被
写界深度をある程度大きくすることはできるものの、本
質的に合焦位置から被写体が離れるにしたがって画像情
報のボケが次第に大きくなる単純な画像データであるた
め、被写界深度を大きくできる範囲は、画像入力条件に
よって定まる比較的小さい範囲での一定の限界値にとど
まる。

【０００８】同様に、特開平４−１７８６００号公報で
は、フーリエ変換画像を利用したコントラスト評価によ
りボケ画像の画像復元をしている方法が記述されいる
が、被写界深度を大きくできる範囲は、画像入力条件に
よって定まる比較的小さい範囲での一定の限界値にとど
まる。

【０００９】また、特開平６−１６２１８７号公報で
は、合焦状態の異なる２つの画像データのフーリエ変換
画像同士の比較により非合焦状態を求めてボケ画像を画
像復元して被写界深度を大きくする方法が記述されてい
る。かかる方法では、画像情報が２種類あるため、画像
復元できる範囲をある程度大きくすることができる。し
かしながら、この２種類の画像を得るために２倍の画像
入力時間を必要とするか、または、２セットの画像入力
手段を設ける必要が生じる。

【００１０】また、特開平９−０８１７２４号公報で
は、合焦位置を可変させた複数の画像データより、これ
とは別にあらかじめ取得してある距離データをもとに非
合焦画像を画像データの一部分から画像合成して被写界
深度を小さくする方法が記述されいる。しかしながら、
多くのＣＣＤ等の光学撮像素子がビデオレートを基準と
しているため、３枚でも２０分の１秒要することになり
ブレ画像となりやすく、さらに、複数の画像データが必
要となるため、静止物以外は高速撮影をする必要があり
汎用的ではない。

【００１１】同様に、特開平１０−２３３９１９号公報
では、２枚の合焦位置の異なる画像から、主要部と背景
とを検出して自動的に主要部に鮮鋭化処理、背景にボカ
シ処理を行って被写界深度を小さくする方法が記載され
ているが、２枚の画像データが必要と同時に、複雑な被
写体に対して主要部と背景を的確に得ることは困難であ
る。

【００１２】また、特開平１０−６５９２３号公報や特
開平１１−４１５１２号公報では、１枚の合焦位置の異
なる画像から、主要部と背景とを検出して自動的に主要
部に鮮鋭化処理、背景にボカシ処理を行って被写界深度
を小さくする方法が記載されているが、複雑な被写体に
対して主要部と背景を的確に得ることは困難である。

【００１３】また、特開平１１−４１５１２号公報で
は、一つの合焦位置に対して取得した単一の画像に対し
て、画像データの指定領域を指定することにより、鮮鋭
化処理とボケ化処理を行う方法が記載されている。かか
る方式では、指定された領域に対しては所望する量に被
写界深度を変化でき、とくに被写界深度を小さくするこ
とが可能となる。しかしながら、人による領域指定とい
う面倒な作業が伴い、また、指定した領域付近での被写
界深度の変化が不連続となり、画像が不自然になり易い
という問題がある。

【００１４】また、特開平７−０２１３６５号公報で
は、一つの合焦位置に対して取得した単一の画像に対し
て、これとは別に予め取得してある距離データをもと
に、非合焦画像を画像データのから画像処理により作成
して被写界深度を小さくする方法が記述されいる。この
方法では、３次元的な形状の被写体の距離データを取得
するには装置が複雑になり易く汎用的ではない。同様
に、特開平９−２００５０８号公報や特開平１０−２３
３９１９号公報では、２眼カメラにより、距離情報を取
得する技術が開示されているが、画像入力の機構と画像
処理が複雑になるという問題がある。

【００１５】

【発明が解決しようとする課題】上述したように、被写
体の距離情報のない特定の合焦位置の単一の画像データ
からは、画像処理によって画像の被写界深度を変化させ
ることもできるが、その範囲は比較的小さい。また、距
離情報を別に取得することができれば、被写界深度を小
さくすることは比較的容易であるが、距離情報を取得す
る構成は装置が高価となる。

【００１６】本発明は、上記に鑑みてなされたものであ
り、簡単な構成で被写界深度を可変させた画像情報を得
ることが可能な画像入力装置、画像入力方法、およびそ
の方法をコンピュータで実行するためのプログラムが格
納されているコンピュータが読み取り可能な記録媒体を
提供することを目的とする。

【００１７】

【発明が解決するための手段】上記課題を解決するため
に、請求項１にかかる発明は、被写体を結像するための
光学結像素子と、前記光学結像素子で結像された被写体
像を画像情報に変換して出力する光学撮像素子と、被写
界深度の条件を被写界深度指示情報として指定する指示
情報指定手段と、を備え、前記被写界深度指示情報に基
づいて、前記光学結像素子および／または前記光学撮像
素子を光軸方向に移動させて、前記被写体、前記光学結
像素子、および前記光学撮像素子の位置関係を異なら
せ、異なる複数の位置関係で各々被写体を撮像し、撮像
されて得られる複数の画像情報を単一の画像情報として
出力するものである。

【００１８】上記発明によれば、被写界深度指示情報に
基づいて、光学結像素子および／または光学撮像素子を
光軸方向に移動させて、被写体、光学結像素子、および
光学撮像素子の位置関係を異ならせ、異なる複数の位置
関係で各々被写体を撮像し、撮像されて得られる複数の
画像情報を単一の画像情報として出力する。

【００１９】また、請求項２にかかる発明は、請求項１
にかかる発明において、前記複数の画像情報を重み付け
加算して前記単一の画像情報を出力するものである。上
記発明によれば、単一の画像情報を複数の画像情報を重
み付け加算して生成する。

【００２０】また、請求項３にかかる発明は、請求項１
または請求項２にかかる発明において、さらに、前記複
数の異なる位置関係、ならびに、前記光学結像素子の情
報および／または前記光学撮像素子の情報に基づいて、
前記単一の画像情報を画像復元する画像処理手段を備え
たものである。上記発明によれば、画像処理手段は、上
述の複数の異なる位置関係、ならびに、光学結像素子の
情報および／または光学撮像素子の情報に基づいて、単
一の画像情報を画像復元する。

【００２１】また、請求項４にかかる発明は、請求項１
〜請求項３のいずれか１つにかかる発明において、前記
指示情報指定手段で指定される被写界深度指示情報が、
合焦位置の画像劣化の低減を被写界深度の拡大よりも優
先させる旨の指示である場合には、前記異なる複数の位
置関係を、前記被写体、前記光学結像素子、および前記
光学撮像素子の位置関係ならびに前記光学結像素子の特
性等で決定される被写界深度以下とするものである。上
記発明によれば、指示情報指定手段で指定される被写界
深度指示情報が、合焦位置の画像劣化の低減を被写界深
度の拡大よりも優先させる旨の指示である場合には、異
なる複数の位置関係を、被写体、光学結像素子、および
光学撮像素子の位置関係ならびに光学結像素子の特性等
で決定される被写界深度以下とする。

【００２２】また、請求項５にかかる発明は、請求項１
〜請求項３のいずれか１つにかかる発明において、前記
指示情報指定手段で指定される被写界深度指示情報が、
被写界深度の拡大を合焦位置の画像劣化の低減よりも優
先させる旨の指示である場合には、前記異なる複数の位
置関係を、前記被写体、前記光学結像素子、および前記
光学撮像素子の位置関係ならびに前記光学結像素子の特
性等で決定される被写界深度以上とするものである。上
記発明によれば、指示情報指定手段で指定される被写界
深度指示情報が、被写界深度の拡大を合焦位置の画像劣
化の低減よりも優先させる旨の指示である場合には、異
なる複数の位置関係を、被写体、光学結像素子、および
光学撮像素子の位置関係ならびに光学結像素子の特性等
で決定される被写界深度以上とする。

【００２３】また、請求項６にかかる発明は、請求項３
にかかる発明において、前記指示情報指定手段で指定さ
れる被写界深度指示情報が、被写界深度の縮小を優先さ
せる旨の指示である場合には、前記画像処理手段は、前
記復元した画像情報に対してボケ化処理を行うものであ
る。上記発明によれば、指示情報指定手段で指定される
被写界深度指示情報が、被写界深度の縮小を優先させる
旨の指示である場合には、画像処理手段は、復元した画
像情報に対してボケ化処理を行う。

【００２４】また、請求項７にかかる発明は、被写界深
度の条件を被写界深度指示情報として指定する指定ステ
ップと、前記指定ステップで指定された被写界深度指定
情報に基づいて、前記光学結像素子および／または前記
光学撮像素子を光軸方向に移動させて、前記被写体、前
記光学結像素子、および前記光学撮像素子の位置関係を
異ならせ、異なる複数の位置関係で各々被写体を撮像す
る撮像ステップと、前記撮像ステップで撮像されて得ら
れる複数の画像情報を単一の画像情報として出力する出
力ステップと、を含むものである。

【００２５】上記発明によれば、被写界深度の条件を被
写界深度指示情報として指定し、指定された被写界深度
指定情報に基づいて、光学結像素子および／または光学
撮像素子を光軸方向に移動させて、被写体、光学結像素
子、および光学撮像素子の位置関係を異ならせ、異なる
複数の位置関係で各々被写体を撮像し、撮像されて得ら
れる複数の画像情報を単一の画像情報として出力する。

【００２６】また、請求項８にかかる発明は、請求項７
にかかる発明において、前記出力ステップでは、前記複
数の画像情報を重み付け加算して前記単一の画像情報を
出力するものである。上記発明によれば、複数の画像情
報を重み付け加算して単一の画像情報を出力する。

【００２７】また、請求項９にかかる発明は、請求項７
または請求項８にかかる発明において、さらに、前記複
数の異なる位置関係、ならびに、前記光学結像素子の情
報および／または前記光学撮像素子の情報に基づいて、
前記単一の画像情報を画像復元する画像処理ステップを
含むものである。上記発明によれば、上述の複数の異な
る位置関係、ならびに、光学結像素子の情報および／ま
たは光学撮像素子の情報に基づいて、単一の画像情報を
画像復元する。

【００２８】また、請求項１０にかかる発明は、請求項
７〜請求項９のいずれか１つにかかる発明において、前
記撮像ステップでは、前記指示ステップで指定される被
写界深度指示情報が、合焦位置の画像劣化の低減を被写
界深度の拡大よりも優先させる旨の指示である場合に
は、前記異なる複数の位置関係を、前記被写体、前記光
学結像素子、および前記光学撮像素子の位置関係ならび
に前記光学結像素子の特性等で決定される被写界深度以
下とするものである。

【００２９】上記発明によれば、指定される被写界深度
指示情報が、合焦位置の画像劣化の低減を被写界深度の
拡大よりも優先させる旨の指示である場合には、異なる
複数の位置関係を、被写体、光学結像素子、および光学
撮像素子の位置関係ならびに光学結像素子の特性等で決
定される被写界深度以下とする。

【００３０】また、請求項１１にかかる発明は、請求項
７〜請求項９のいずれか１つにかかる発明において、前
記撮像ステップでは、前記指示ステップで指定される被
写界深度指示情報が、被写界深度の拡大を合焦位置の画
像劣化の低減よりも優先させる旨の指示である場合に
は、前記異なる複数の位置関係を、前記被写体、前記光
学結像素子、および前記光学撮像素子の位置関係ならび
に前記光学結像素子の特性等で決定される被写界深度以
上とするものである。

【００３１】上記発明によれば、指定される被写界深度
指示情報が、被写界深度の拡大を合焦位置の画像劣化の
低減よりも優先させる旨の指示である場合には、異なる
複数の位置関係を、被写体、光学結像素子、および光学
撮像素子の位置関係ならびに前記光学結像素子の特性等
で決定される被写界深度以上とする。

【００３２】また、請求項１２にかかる発明は、請求項
８にかかる発明において、前記画像処理ステップでは、
前記指示ステップで指定される被写界深度指示情報が、
被写界深度の縮小を優先させる旨の指示である場合に
は、前記復元した画像情報に対してボケ化処理を行うも
のである。上記発明によれば、指定される被写界深度指
示情報が、被写界深度の縮小を優先させる旨の指示であ
る場合には、復元した画像情報に対してボケ化処理を行
う。

【００３３】また、請求項１３にかかる発明は、請求項
７〜請求項１２のいずれか１つに記載の発明の各ステッ
プをコンピュータに実行させるためのプログラムを格納
したものである。上記発明によれば、記録媒体に格納さ
れたプログラムをコンピュータで実行することにより請
求項７〜請求項１２のいずれか１つに記載の発明の各ス
テップを実現する。

【００３４】

【発明の実施の形態】以下、添付図面を参照して、本発
明にかかる画像入力装置および画像入力方法の好適な実
施の形態を、（本発明の概要）、（本発明の原理）、
（本発明を適用した画像入力装置の構成例）の順に詳細
に説明する。

【００３５】（本発明の概要）本発明の画像入力装置
は、撮影者の指示に基づき、被写体に対する焦点条件を
変えて撮像して得られる複数の画像情報を重み付け加算
して単一の画像情報を生成する。すなわち、異なる複数
の画像情報としてではなく単一の画像情報として取得す
ることにより、被写体の同一部分に対する距離に関する
複数の情報を含んだ画像情報を単一の画像情報として取
得する。

【００３６】より詳細に説明すると、一つの焦点条件で
特定の距離を基準として合焦状態で撮像された画像情報
は、合焦状態にない被写体部分はそのボケの度合いとし
て一つの距離情報を含んでいることになる。本発明で
は、複数の焦点条件で撮像した複数の画像情報から単一
の画像情報を取得することとしたので、取得した単一の
画像情報はボケ度合いが複数種類となり、単一の画像情
報に複数の距離情報を含ませることができる。

【００３７】そして、生成した単一の画像情報に対し
て、焦点条件、光学結像素子、および光学撮像素子等に
関する情報、撮影者の指示、ならびにその撮影者の指示
に基づいた画像入力部の動作とに基づき、最適なフィル
タ関数を用いてフィルタリング処理して画像復元を行
う。これにより、画像の鮮鋭性、解像度等を的確に変更
することができ、被写界深度を広範囲で可変とすること
が可能となる。

【００３８】（本発明の原理）図１〜図５を参照して、
本発明の画像入力装置および画像入力方法の原理を説明
する。図１は、本発明の画像入力装置のレンズとＣＣＤ
を模式的に示した図である。図１を参照して本発明の画
像入力装置の原理を説明する。同図において、１０１は
光学結像素子であるレンズ、１０２は光学撮像素子であ
るＣＣＤを示している。また、同図では、撮影距離の異
なる３つの被写体（被写体１（人）、被写体２（木）、
被写体３（花））が示されている。

【００３９】利用者の指示情報に基づいて、被写体とレ
ンズ１０１との位置関係が、レンズ１０１の光軸方向に
対して異なる位置関係となるように、レンズ１０１を移
動させる。例えば、同図に示すように、レンズ１０１
を、レンズ面位置ＰＯＳ１、ＰＯＳ２、ＰＯＳ３に移動
させ、レンズ面位置ＰＯＳ１、ＰＯＳ２、ＰＯＳ３の３
つの位置において、それぞれ、レンズ１０１およびＣＣ
Ｄ１０２を介して被写体光を受光して、画像データを夫
々取得する。

【００４０】ここで、レンズ１０１の位置がＰＯＳ２の
場合に、被写体１（人）の顔部分が合焦状態であるとし
た場合、レンズ面位置ＰＯＳ１，ＰＯＳ３とレンズ面位
置ＰＯＳ２との距離を被写界深度以上に大きくした場合
には、レンズ１０１のレンズ面位置ＰＯＳ１，ＰＯＳ３
で取得した画像情報はボケ画像となる。

【００４１】したがって、これらの画像情報を同じ重み
で取得した単一の画像も、被写体１（人物）に対してボ
ケ画像となる。しかしながら、同じ重みで取得した場合
でも、レンズ１０１が、レンズ面位置ＰＯＳ３にある場
合に被写体２（木）に合焦状態であり、レンズ面位置Ｐ
ＯＳ１にある場合に被写体３（花）に合焦状態である場
合には、レンズ面位置ＰＯＳ１、ＰＯＳ２、ＰＯＳ３で
取得した単一の画像情報は、被写体１〜被写体３に対し
て合焦状態の画像情報と、非合焦状態とした画像情報と
を含んでいることになる。

【００４２】従来は、複数の焦点条件による画像情報を
含んだ単一の画像情報は、例えば、被写体が光軸方向に
シャッタ時間内に移動した場合には、被写体がボケた画
像として扱われて画像品質の劣化モードの一つとしてさ
れていた。本発明では、これを積極的にボケ情報を含む
画像情報として利用し、また、複数の合焦状態にある被
写体を有する画像情報として利用して、画像処理と組み
合わせることにより被写界深度を的確に広範囲に可変す
ることを可能とする。

【００４３】なお、合焦状態にあるレンズ面位置ＰＯＳ
２と、レンズ面位置ＰＯＳ１、ＰＯＳ３との距離は、被
写界深度以上である必要や、レンズ面位置ＰＯＳ１、Ｐ
ＯＳ３で特定の被写体に合焦である必要はない。すなわ
ち、レンズ面位置ＰＯＳ２と、レンズ面位置ＰＯＳ１、
ＰＯＳ３との距離は、被写界深度以内に相当する距離と
しても良く、また、合焦位置を人と木の中間や、人の目
や鼻といったわずかな距離の違いに相当する距離として
も良い。したがって、複数の焦点条件となることのみが
必要である。

【００４４】この複数の焦点条件は、画像入力装置の光
学素子の特性、撮影者による被写界深度条件の指示情
報、および被写体の情報によって決定されることが好ま
しい。一般的な例としては、被写界深度を大きくする場
合には、焦点条件を元の光学的な被写界深度に相当する
距離よりも大きくすることが好ましい。他方、被写界深
度を小さくする場合には、焦点条件を元の光学的な被写
界深度に相当する距離よりも小さくすることが好まし
い。ただし、被写界深度は、レンズの焦点距離ｆ値、明
るさ、Ｆ値収差、被写体への距離、被写体の輝度、ＣＣ
Ｄの画素の大きさ、ＣＣＤの感度、および画像復元の方
法等の多様な条件により決定され、単純に上記の一般的
な例に限定されるものではない。

【００４５】ここでの被写体としては、撮影者が意識的
に選択しまたは画像入力装置が自動的に選択した主とな
る被写体であっても良く、また、撮影者が意識的に選択
しまたは画像入力装置が自動的に選択した複数の被写体
であっても良い。

【００４６】なお、上記の説明では、レンズ１０１を移
動させる場合について説明したが、レンズ１０１を移動
させる以外に、ＣＣＤ１０２を移動させる場合や、ＣＣ
Ｄ１０２およびレンズ１０１を移動させて、被写体のＣ
ＣＤ１０２に対する結像位置を異ならせることにしても
良い。また、焦点状態はステップ的または連続的に変化
させても良い。

【００４７】そして、焦点状態の異なる複数の画像情報
から単一の画像情報を生成する場合に、焦点状態の異な
る複数の画像情報の重み付けは、焦点条件の決定と同様
に多くの要因により決定される。

【００４８】すなわち、複数の焦点状態の異なる画像情
報の重み付けを、単純に等しい重み付けで加算する以外
に、中心となる焦点状態の画像情報の重みが大きくなる
ように加算したり、手前または奥側の焦点状態の画像情
報の重み付けが大きくなるように加算することも効果的
である。これにより、重み付けを大きくした焦点状態付
近の被写体のＭＴＦを、他の重み付けを小さくした焦点
状態付近の被写体の画像よりも相対的に向上させること
が可能となる。

【００４９】図２〜図５を参照して、取得した焦点状態
の異なる単一の画像情報から被写界深度を可変とした画
像情報を得るための基本原理を説明する。図２は合焦状
態からのズレと点像関数（ＰＳＦ）との関係を示し、図
３は合焦状態からズレた点像関数の加算的形状を模式的
に示すものである。

【００５０】図２において、点像関数は、無収差レンズ
における焦点はずれの場合の回折像としている。同図に
おいて、１０ａは合焦状態の点像関数を示ており、ベッ
セルの１次関数に基づく形状である。１０ｂは、ｚ₀＝
λ／（２×ＮＡ×ＮＡ）とした場合で（ただし、λは光
の波長、ＮＡは開口数）、光軸上の焦点はずれの距離を
ｚとして、ｚ＝ｚ₀の場合の点像関数である。１０ｃは
ｚ＝２×ｚ₀の場合の点像関数である（ｚは、以下ｚ₀を
基準とする）。１０ｄはｚ＝３×ｚ₀の場合の点像関数
である

【００５１】また、図中のｒｃは、エアリディスク半径
であり、ｒｃ＝０．６１×λ／ＮＡである。点像関数
は、焦点ずれが大きくなるほど、中心強度Ｉが小さくな
りかつエアリディスクの境界もボケることになる。

【００５２】光機器の光学ＩＩ（日本オプトメカトロニ
クス協会、早水良定氏著）より、中心の強度Ｉは、ｚ＝
ｚ₀のときにＩ₀として、Ｉ＝Ｉ₀×（sinａ／ａ）×（si
nａ／ａ）であり、中心の強度Ｉはｓｉｎｃ関数で減少
する。ただし、ａ＝（π／２λ）×ＮＡ×ＮＡ×ｚ＝
（π／８λ）×１／（Ｆ×Ｆ）×ｚである。中心の強度
Ｉは、シュトールのディフィニションＳＤ値として像の
良否の目安を示すものとして用いられる。ＳＤ値が０．
８以上であれば理想レンズとみなせるとされるので、こ
の場合の焦点深度つまりは回折限界としてのレベルでの
被写界深度は、ａ＝π／４、sinａ／ａ＝０．９、すな
わち、Ｉ＝０．８１×Ｉ₀の場合であり、ｚ＝ｚ₀の１０
ｂは合焦状態とみなすことができる。

【００５３】この基準となるｚ₀が、上記のｚ₀＝λ／
（２×ＮＡ×ＮＡ）である。しかしながら、実際には、
第１明輪のピークがほぼＩ₀と同様な、ｚ＝３×ｚ₀の場
合は、完全に被写界深度外であるが、ｚ＝２×ｚ₀の場
合でも点像の分離が可能なＭＴＦを得ることができ、ま
た、回折像はあくまで基本原理説明のためのモデルとし
ての扱いであるので、通常の画像入力で評価される被写
界深度がｚ＝ｚ₀ということではない。

【００５４】通常の画像入力で評価される被写界深度
は、入力した画像データを例えば六切り程度に引き伸ば
した場合に十分な鮮鋭性や解像度、もしくはＭＴＦを与
えるのに十分な程度の点像関数的な結像の直径がある程
度以下の場合である。

【００５５】この点像関数的な結像の直径は、ライカ版
では一般に最小散乱円として３３ミクロンとされてお
り、光学撮像素子の画面サイズに応じて比例的にこの最
小散乱円の大きさを考えて良い。例えば、ライカ版で、
Ｆ１６程度の暗いレンズを使用したとすると、回折によ
る点像関数として得られるエアリディスク半径は、ｒｃ
＝０．６１×λ／ＮＡ＝１９．５λ＝１０．７ミクロン
（λ＝０．５５ミクロンとして）となり、直径約２１ミ
クロンであるので、回折限界としては１．５倍程度の余
裕があることが解る。

【００５６】実際には、Ｆ値は多くの銀塩カメラ、デジ
タルカメラ等では１．４〜５．６程度であり、レンズの
球面収差、非点収差、コマ収差等の波面収差の影響が大
きく、被写界深度の小ささが問題となる場合には回折が
影響しているわけではない。すなわち、前述したよう
に、通常の画像入力で評価される被写界深度がｚ＝ｚ₀
ということではなく、ｚ＝ｚ₀における点像関数のプロ
ファイルが被写界深度の限界ということではない。さら
に、ＳＤ値が０．８以上である必要は必ずしもなく、Ｓ
Ｄ値が０．８より小さくても、それぞれの点像関数のＳ
Ｄ値において、画像として十分な鮮鋭性や解像度が得ら
れて、合焦の範囲内と画像観察者が判断できるか否かと
いう点が重要である。

【００５７】しかしながら、球面収差等の波面収差等の
諸収差においても、収差の大小によって変化する点像関
数は、上記の焦点はずれの点像関数のプロファイルの変
化と近似的に類似しており、レンズの光学的な収差を含
めて、レンズによる焦点はずれによる点像関数のプロフ
ァイルの変化の傾向は、無収差レンズにおける回折像の
プロファイルの変化の傾向とほぼ同様とすることができ
る。その結果、回折像としての点像関数のプロファイル
の変化を、画像入力装置におけるレンズの焦点はずれに
よる点像関数のプロファイルの変化と近似的に相関付け
て考えることができる。これにより、実際の焦点はずれ
の場合の点像関数の挙動を、焦点はずれの場合の無収差
レンズの回折限界による点像関数のＳＤ値、形状の変化
によって説明することが可能である。

【００５８】上記をふまえて、図３において、１１ａ
は、単純に等しい重み付けで加算した、焦点状態がｚ＝
０を基準に、ｚ＝＋（および−）２ｚ０異なる場合の点
像関数の和である。ただし、グラフとしての縦軸長さは
「３」で割って平均化的処理をしてある。図３におい
て、１１ａは、ｚ＝０の場合に合焦状態の場合の点像関
数であり、以下１１ｂ、１１ｃ、１１ｄは、それぞれ、
ｚ＝０の場合に、合焦状態からそれぞれ、ｚ＝ｚ₀，ｚ
＝２ｚ₀，ｚ＝３ｚ₀に相当する分だけ焦点はずれの位置
にある場合の点像関数である。具体的には、１１ａ＝１
０ａ＋２×１０ｃ、１１ｂ＝２×１１ａ＋１０ｄ、１１
ｃ＝１０ａ＋１０ｃ＋（１／２）・１０ｄ、１１ｄ＝１
０ｂ＋１０ｄ＋（１／４）・１０ｄとなる。

【００５９】１１ａ〜１１ｄの中心強度Ｉの和ΣＩは、
それぞれ順に、１．８、１．７、１．４５、０．９０で
ある。これを合焦状態で正規化した値をΣＩ’とする
と、それぞれ順に、１．０、０．９４、０．８１、０．
５０となる。

【００６０】図３において、図２の中心強度Ｉと比較し
てわかるように、ＳＤ値に相当する値が、同じ焦点はず
れの場合では、複数の焦点状態における画像を加算した
方が増加している。これは、例えば、ＳＤ値０．５以上
の値を被写界深度範囲とした場合には、その範囲が増加
したことになる。また、隣接する点像関数の単純な和と
して考えた場合には、第１明輪に対応するサイドのピー
クとの比が大きくなっており、この点からも被写界深度
範囲が増加したことになる。

【００６１】実際には、点像関数の広がりに対応して、
特定の光学撮像素子の画素に関与する点像関数の領域が
平面的に大きくなるため、これらは、ピンぼけの画像と
してノイズ的にある程度の光量で画像の鮮鋭性、解像度
を劣化させる。例えば、３つの焦点状態において等しい
重みで露出を行った画像は、合焦状態のｚ＝ｚ₀で一つ
の焦点状態で露出した画像と比較して、非合焦状態での
２倍の露出が画像情報に加算されることになり、焦点条
件にもよるが最悪の場合にはノイズ的光量が、本来の２
倍以上もあるということになる。

【００６２】しかしがなら、これらは多重露出の画像情
報的であり、芯のあるボケ像またはボケ画像に合焦画像
が加算されたものとして観察できるものであり、今まで
の被写界深度以外の画像情報に対して、コントラストが
高く、光量が大きく、かつ信号強度に対して雑音の小さ
い画像情報を入手できるものである。また、重み付けを
変化させることにより、合焦状態のコントラストを優先
的に高くすることもできる。

【００６３】上記の、複数の焦点状態で入力した画像
は、被写界深度のごく近傍で焦点状態を変化させた場合
でも、従来の単一の焦点状態で入力した画像の合焦部分
を比較すると、合焦状態の画像品質が劣化している。ま
た、被写界深度を大きくしようとした範囲においては、
たとえ合焦状態の画像情報を含有していたとしても、非
合焦状態の画像情報も含有して用いるので、その画像品
質はかなり劣化している。

【００６４】このため、被写界深度範囲内で焦点状態を
変化させた場合は、被写界深度を大きくする効果がある
にもかかわらず、ほとんど後処理としての画像処理が不
用の場合もあるが、通常は上記の画像入力部の焦点状
態、光学結像素子等の情報を加味した画像処理による画
像復元処理を画像処理部で行うことにより、合焦状態の
画像品質の劣化を最低限としながら被写界深度を大きく
することが初めて可能となる。

【００６５】後述する画像処理ユニットは、画像情報、
後述する画像入力ユニットの光学結像素子等の情報およ
び焦点状態の情報に基づいて点像関数を決定し、この点
像関数に基づいて画像処理（画像復元）を行う。これに
より、画像品質を向上させることが可能となる。ここで
の点像関数は、複数の焦点状態を決定した画像入力部の
光学素子の特性、撮影者による被写界深度指示情報、お
よび被写体の情報によって決定される。

【００６６】すなわち、点像関数は、上述したように、
入力された画像情報以外に、レンズの焦点距離ｆ値、明
るさ、Ｆ値、収差、被写体への距離、被写体の輝度、Ｃ
ＣＤの画素の大きさ、ＣＣＤの感度、さらには画像復元
の方法等の多くの条件により決定される。もちろん、こ
れらのうちの不要なデータを場合により用いなくても良
い。また、画像データ自体に対して、上記のデータを元
に、予め画像復元を含む画像処理を行って判定を少なく
とも１回以上行うことにより、最適な画像復元を確定し
ても良い。

【００６７】さらには、上述のように、今までの被写界
深度以外の画像データに対して、コントラストの高く、
光量が大きく、かつ雑音の小さい画像情報を取得できる
ので、本発明の画像は、画像処理を行う際に問題とな
る、画像情報の変化量の小ささ、量子化誤差、暗電流雑
音等が大きく改善されており、画像品質を向上可能な画
像復元処理を行うことができる。

【００６８】画像復元処理としては、従来から知られて
いる多くの方法を単一で、または、組み合わせて用いる
ことが可能である。その中でも、ウイナーフィルタによ
る画像復元方法が好ましく、この点像関数を画像入力装
置の光学素子の情報、焦点状態の情報、指示情報、およ
び画像データ自体の情報を加味して決定することによ
り、撮影者の指示に従って的確に被写界深度を制御し、
かつ画像品質の劣化を最小限とした画像情報を得ること
ができる。

【００６９】さらに、これに加えて画像の濃淡、輝度、
色情報等の縦横、斜め、円周、放射方向等の変化、分布
情報や、フーリエ変換面における周波数情報を利用した
画像の改良として鮮鋭化、および濃淡化等を行うことに
より、より自然な画像情報を得ることができる。

【００７０】図４は、理想レンズの焦点ずれの状態の回
折像のＳＤ値、および理想レンズの焦点ずれの状態の回
折像をＳＤ値を加算した場合の総和値に基づく値を示し
ている。同図において、横軸はｚ値、縦軸はＳＤ値、正
規化ＳＤ値、正規化ＳＤ値の比を示している。また、同
図において、１５は、図３と同様の単なる焦点ずれの場
合のＳＤ値（△）を示し、１６は、Δｚ＝＋−２とした
場合の焦点ずれの画像（１５のＳＤ値（△））を単純加
算した場合のＳＤ値の総和を「３」で除した値として平
均化処理したＳＤ値（□）を示し、１７は、１６のＳＤ
値（□）をｚ＝０の値を「１」として正規化した正規化
ＳＤ値（◇）、１８は、単なる焦点ずれの場合のＳＤ値
（１５のＳＤ値（△））に対する正規化ＳＤ値との比
（×）を示す。

【００７１】同図に示すように、ＳＤ値（△）１５の単
純加算総和を「３」で除したＳＤ値（□）１６は、ｚ＝
１．８以上では単なる焦点ずれのＳＤ値より大きくなっ
ており、ｚ＝１．８以上の絶対値として大きな改善があ
ることがわかる。さらに、正規化ＳＤ値（◇）１７は、
すべての領域で単なる焦点ずれＳＤ値より大きくなって
おり、これにより、ｚ＝０の場合とほぼ変わらない復元
画像を得ることができ、良好な被写界深度を与えること
ができる。

【００７２】さらに、単なる焦点ずれの場合のＳＤ値１
５に対する正規化ＳＤ値（◇）１７との比（×）は、ｚ
が大きくなるほど大きくなっており、この効果が焦点が
はずれるほど大きくなることが解る。これらは、Δｚを
比較的大きくした場合であるが、これよりΔｚを小さく
して元の合焦位置の画像の劣化を最小限にすることもで
き、単純な被写界深度の改良とすることもできる。ま
た、Δｚをさらに大きくして、通常のレンズの被写界深
度をはるかに超えた被写界深度を得ることもでき、動体
物の画像検出等で特定の焦点位置に存在するとは限らな
い場合でも、単一の画像からその輪郭や動き等の情報を
簡単に得ることができる。

【００７３】図５は、理想レンズの焦点ずれの状態の回
折像のＳＤ値、および理想レンズの焦点ずれの状態の回
折像をＳＤ値を加算した場合の総和値に基づく値であ
る。

【００７４】図５において、図４と同様に、１５は、単
なる焦点ずれの場合のＳＤ値（△）、１６は、Δｚ＝＋
−０．８とした場合の焦点ずれの画像を単純加算した場
合のＳＤ値の総和を「３」で除した値として平均化処理
したＳＤ値（□）、１７は、１６のＳＤ値をｚ＝０の値
を「１」として正規化した正規化ＳＤ値（◇）、１８
は、単なる焦点ずれの場合のＳＤ値（△）に対する正規
化ＳＤ値（◇）との比（×）を示す。

【００７５】図５に示すように、ＳＤ値（△）１５の単
純加算総和を「３」で除したＳＤ値（□）１６は、ｚ＝
１．４以上では単なる焦点ずれのＳＤ値１５より大きく
なっており、ｚ＝１．４以上の絶対値として若干の改善
があることがわかる。一方、ｚ＝０でのＳＤ値（◇）１
７は０．９以上であり、画像の劣化がほとんどないこと
が解る。これは、Δｚを小さくして元の合焦位置の画像
の劣化を最小限にすることもできる例である。

【００７６】被写界深度を小さくする場合にも、被写界
深度を大きくする場合と同様な画像を入力することが効
果的である。従来から、コンピュータ生成画像（ＣＧ画
像）等の画像処理により、距離情報を元に適切なボケ画
像を生成して被写界深度を小さくする効果を与える技術
は公知である。また、このような手法を通常の被写界深
度の画像に対して行う場合には、この元となる画像の輝
度、色相や空間周波数の微分的変化値等によりボケ状態
を判断し、この元となる画像にボケ処理を行っている。

【００７７】しかしながら、ボケ処理を行う時点で、こ
の元となる画像の部分のボケがある程度必然的に存在す
る。すなわち、ボケ画像であると単一の画像として判断
できる程度にボケている画像であるので、自然な形でボ
ケ画像を画像処理により生成することができない場合が
生じる。これに対して、本発明の如き、異なる焦点状態
から単一の画像を得る方法では、画像復元した被写界深
度の大きい画像によりボケとなる画像の元の画像として
画像の劣化のより少ない画像を得ることができると同時
に、画像復元しない単一の画像と少なくとも一つ以上の
手法により画像復元した画像とを詳細に比較することに
より、合焦状態の画像とほぼ同様のボケ状態の情報を得
ることができるので、より自然な画像のボケ処理を行う
ことができる。

【００７８】すなわち、焦点ずれという情報により画像
情報に距離情報を余分に含むことができるので、これを
ボケ処理を行うことに使用することもできるようにな
る。なお、本発明のボケ化処理の基準となるボケ量の算
出においては単なる画像処理に限定されるものではな
く、被写体の輪郭抽出や物体認識等を組み合わせること
も効果的である。さらには、本発明のボケ化処理の基準
となるボケ量の導入においては、上記の単一な画像のみ
から得る場合に限定されるものではなく、これとは別に
得た画像データを用いたり、距離情報入力手段を設けて
距離データを取得して、ボケ化処理を行うことにしても
良い。

【００７９】（本発明を適用した画像入力装置の構成
例）図６は、上述の原理を適用した画像入力装置の構成
例を示すブロック図である。同図に示す画像入力装置
は、被写体の画像情報を入力するための画像入力ユニッ
ト１００と、入力した画像情報に対して画像処理を施す
画像処理ユニット２００と、画像処理ユニット２００か
ら入力される画像情報の記録や表示等を行う画像データ
利用部３００とで構成されている。

【００８０】画像入力ユニット１００は、光学結像素子
１０１、光学撮像素子１０２、信号処理部１０３、画像
データ格納部Ｉ１０４、出力部Ｉ１０５、指示情報入力
部Ｉ１０６、制御状態指示部１０７、制御部Ｉ１０８、
出力部ＩＩ１０９、および付帯情報生成部１１０を備え
ている。

【００８１】光学結像素子１０１は、被写体を結像する
ためのものであり、光軸方向に移動可能に設けられてい
る。光学撮像素子１０２は、結像された被写体像を画像
情報に変換して出力する。信号処理部１０３は、光学撮
像素子１０２から入力される画像情報に対して各種信号
処理を施して、画像データ格納部Ｉ１０４に画像情報を
保存する。また、信号処理部１０３は、複数の焦点条件
で撮影する場合には、複数フレームの画像情報を重み付
け加算して、１フレームの画像情報として画像データ格
納部Ｉ１０４に記憶する。画像データ格納部Ｉ１０４
は、１フレームの画像情報を格納するメモリ容量を有
し、信号処理部１０３から入力される１フレームの画像
情報を格納する。画像データ格納部Ｉ１０４に格納され
ている１フレームの画像情報は、出力部Ｉ１０５を介し
て、画像処理ユニット２００に出力される。

【００８２】指示情報入力部Ｉ１０６は、撮影開始の指
示を入力するためのレリーズキーや、撮影条件や被写界
深度の条件等を入力するための各種ボタンを備え、入力
された指示を制御状態指示部１０７に出力する。また、
指示情報入力部Ｉ１０６は、入力された被写界深度の条
件を、被写界深度指示情報として制御状態指示部１０７
に出力する。被写界深度指示情報としては、合焦位置の
画像劣化の低減を被写界深度の拡大よりも優先させる旨
の指示、被写界深度の拡大を合焦位置の画像劣化の低減
よりも優先させる旨の指示、被写界深度の縮小を優先さ
せる旨の指示等がある。

【００８３】制御状態指示部１０７は、指示情報入力部
Ｉ１０６から入力される指示内容に応じて、画像入力装
置の各部の動作を制御するものであり、指示情報入力部
Ｉ１０６から入力される指示内容に応じて、制御部Ｉ１
０８に動作指示を与える。また、制御状態指示部１０７
は、指示情報入力部Ｉ１０６から入力される指示に応じ
て、主となるまたは複数の被写体の合焦位置を検出し、
レンズのＦ値、ｆ値、並びに、被写体の合焦位置、輝度
情報、色相、鮮鋭性、構図、合焦位置の平面的配置等の
複数の情報に基づいて、入力された被写界深度情報に応
じた被写界深度の画像情報を得るために、第１の方式と
第２の方式のいずれが適しているかを判断して選択し、
選択した方式を実行する。ここで、第１の方式では、従
来の光学方式であるＦ値変化やｆ値変化による方法、こ
れらの方法で入力した画像情報に対して鮮鋭化処理やぼ
かし処理を行う。また、第２の方式では、焦点状態の異
なる複数の画像情報を単一（１フレーム）の画像情報と
して入力して、この単一の画像情報に対して復元処理を
行う。

【００８４】制御状態指示部１０７は、指示情報入力部
Ｉ１０６から入力される被写界深度指示情報が、合焦位
置の画像劣化の低減を被写界深度の拡大よりも優先させ
る旨の指示である場合には、被写界深度以下となる焦点
条件で撮影を実行する。また、制御状態指示部１０７
は、指示情報入力部Ｉ１０６から入力される被写界深度
指示情報が、被写界深度の拡大を合焦位置の画像劣化の
低減よりも優先する旨の指示である場合には、被写界深
度以上となる焦点条件で撮影を実行する。また、制御状
態指示部１０７は、指示情報入力部Ｉ１０６から入力さ
れる被写界深度指示情報が、被写界深度の縮小を優先さ
せる旨の指示である場合には、画像処理ユニット２００
に復元した画像データに対して、ボケ化処理を行わせ
る。

【００８５】制御部Ｉ１０８は、制御状態指示部１０７
の指示に応じて、光学結像素子１０１、光学撮像素子１
０２、信号処理部１０３、および画像データ格納部Ｉ１
０４の動作を制御する。付帯情報生成部１１０は、制御
状態指示部１０７から入力される指示情報、焦点状態、
光学素子情報、および付帯情報を、出力部ＩＩ１０９を
介して、画像処理ユニット２００の指示情報入力部ＩＩ
２０６、焦点状態入力部２０７、光学素子情報入力部２
０８、および付帯情報入力部２０９に夫々出力する。

【００８６】なお、主となるまたは複数の被写体の合焦
位置の検出が難しい場合には、予め撮影者が設定した焦
点状態や被写界深度の設定値に基づき、画像データ格納
部Ｉ１０４の画像情報を評価し、さらに、光学結像素子
１０１自体、および光学撮像素子１０２自体との情報に
より、被写界深度が撮影者の意図に対して、変化可能か
否かを自動的に判断し、場合によりこの情報を、付帯情
報生成部１１０を経由して出力部ＩＩ１０９により撮影
者に情報をフィードバックしながらインタラクティブに
被写界深度の変化の指示を再入力することにしても良
い。

【００８７】画像処理ユニット２００は、画像データ入
力／格納部２０１、画像処理部２０２、画像データ格納
部ＩＩ２０３、出力部ＩＩＩ２０４、追加指示情報入力
部２０５、指示情報入力部ＩＩ２０６、焦点状態入力部
２０７、光学素子情報入力部２０８、付帯情報入力部２
０９、画像処理方式／フィルタ関数の決定／格納部２１
０を備えている。

【００８８】画像データ入力／格納部２０１は、画像入
力ユニット１００から入力される１フレームの画像情報
を格納する。指示情報入力部ＩＩ２０６は、付帯情報生
成部１１０から出力部ＩＩ１０９を介して入力される指
示情報を画像処理方式／フィルタ関数の決定／格納部２
１０に出力する。焦点状態入力部２０７は、付帯情報生
成部１１０から出力部ＩＩ１０９を介して入力される焦
点状態を、画像処理方式／フィルタ関数の決定／格納部
２１０に出力する。光学素子情報入力部２０８は、付帯
情報生成部１００から出力部ＩＩ１０９を介して入力さ
れる光学情報を、画像処理方式／フィルタ関数の決定／
格納部２１０に出力する。付帯情報入力部２０９は、付
帯情報生成部１１０から出力部ＩＩ１０９を介して入力
される付帯情報を、画像処理方式／フィルタ関数の決定
／格納部２１０に出力する。追加指示情報入力部２０５
は、利用者の画像処理の指示等を画像処理方式／フィル
タ関数の決定／格納部２１０に出力する。

【００８９】画像処理方式／フィルタ関数の決定／格納
部２１０は、画像データ入力／格納部２０１から入力さ
れる画像データの情報（焦点はずれ量）、付帯情報、お
よび追加指示情報入力部２０５から入力される追加指示
情報に基づいて、最適な画像処理方式およびフィルタ関
数を使用する場合にはそのフィルタ関数を決定し、決定
した画像処理方式およびフィルタ関数を画像処理部２０
２に指示する。画像処理方式／フィルタ関数の決定／格
納部２１０は、複数の焦点はずれ量と当該焦点はずれ量
に対応する点像関数を予め格納している。画像処理方式
／フィルタ関数の決定／格納部２１０は、基本的には、
焦点はずれ量から対応する点像関数を選択し、当該選択
した点像関数のＳＤ値や形状の変化に基づいて、画像処
理方式やフィルタ関数を決定する。画像復元に使用する
フィルタとしては、例えば、ウイナーフィルタを使用す
ることができる。

【００９０】フィルタ関数の決定に際しては、主となる
または複数の被写体の合焦位置を検出した場合には、そ
の情報を用いると大幅にＭＴＦを向上させることができ
る。他方、主となるまたは複数の被写体の合焦位置の検
出が難しいときにも予め撮影者が設定した焦点状態や被
写界深度の設定値を用いることにより、撮影者の意図す
る複数の焦点状態に対して、従来のように単一の焦点状
態を使用した場合よりも良好なＭＴＦを得ることができ
る。

【００９１】より具体的なフィルタ関数の決定方法とし
ては、被写体の合焦位置の情報があるか否か、予め画像
復元処理された画像を評価して再画像復元処理を行うか
どうかに大きく分類できる。被写体の合焦位置の情報が
ある場合には、撮影者の設定または他の条件から自動検
出して、最も高いＭＴＦを必要とする位置に、合焦位置
に適切なフィルタ関数を用いて画像復元処理を行った
り、広範囲にＭＴＦを確保するために適切なフィルタ関
数を用いて画像復元処理を行うことができる。

【００９２】また、被写体の合焦位置の情報があるか否
かに拘わらず、予め画像復元処理された画像を評価して
再画像復元処理を行うこともでき、画像復元処理を複数
回繰り返すことにより、被写体の合焦位置に最適なフィ
ルタ関数を決定することができる。この場合の収束値の
設定は、撮影者が設定しても良いし、他の条件から自動
的に設定しても良い。これらのプロセスにより、被写体
の合焦位置の情報の有無に拘わらず、それぞれの情報を
有効に活用して広い焦点状態に対して良好なＭＴＦを実
現することができる。

【００９３】画像処理部２０２は、画像データ入力／格
納部２０１から入力される１フレームの画像情報に対し
て画像処理方式／フィルタ関数の決定／格納部２１０で
決定された画像処理方式／フィルタ関数で画像復元を行
う。これにより、利用者の意図した被写界深度の画像情
報が生成されることになる。画像データ格納部ＩＩ２０
３は、画像処理部２０２で復元処理された画像情報を格
納する。出力部ＩＩＩ２０４は、画像データ格納部ＩＩ
２０３に格納されている画像情報を画像データ利用部３
００に出力する。

【００９４】この画像処理は、単一の画像処理には限ら
ず複数の画像処理を順次に、または同時に行っても良
い。これらの画像処理の方式およびフィルタ関数は、画
像処理部２０２のレベルにより選択岐を変化させること
もできるし、また汎用の画像処理方式においてパラメー
タのみを変更することで変化させても良い。また、画像
処理部２０２によって処理されている情報、およびこの
処理された画像データの画像データ格納部ＩＩ２０３の
情報を画像処理方式およびフィルタ関数の決定に利用す
ることも効果的である。最終的に、適切な画像処理方式
およびフィルタ関数で処理されて画像データ格納部ＩＩ
２０３に格納された画像データ、およびこれに付随する
画像入力ユニット１００の付帯情報も含めた画像処理方
式／フィルタ関数の決定／格納部２１０の情報は、出力
部ＩＩＩ２０４を経由して、画像データ利用部３００に
出力される。

【００９５】図７は、本発明の画像入力装置による画像
入力および画像処理の基本動作を説明するためのフロー
チャートである。同図に示すフローチャートでは、入力
した単一の画像データに対する画像処理装置による画像
処理も含めて示している。

【００９６】図７において、まず、撮影者が指示情報入
力部Ｉ１０６を操作して、被写界深度を通常の値に対し
て大きくするか、小さくするか、およびその度合い等を
指定した（具体的には、上述した、合焦位置の画像劣化
の低減を被写界深度の拡大よりも優先させる旨の指示、
被写界深度の拡大を合焦位置の画像劣化の低減よりも優
先させる旨の指示、および被写界深度の縮小を優先させ
る旨の指示等）被写界深度指示情報を入力する（ステッ
プＳ１）。なお、ここでは、撮影者が被写界深度の条件
を入力することとしたが、被写体および環境等の条件に
より、装置側で自動的に被写界深度の条件を設定するこ
とにしても良い。

【００９７】ついで、制御状態指示部１０７は、この被
写界深度指示情報等に基づいて、第１の方式（従来の光
学方式であるレンズＦ値変化やｆ値変化による方法）で
最適か否かを判断する（ステップＳ２）。

【００９８】この判断の結果、第１の方式が最適と判断
した場合には、ステップＳ３に移行して、制御状態指示
部１０７は、レンズＦ値等を最適化し、特定の焦点条件
で光学撮像素子１０２により被写体の画像情報を取得
し、信号処理部１０３で信号処理を施した後、画像デー
タ格納部Ｉ１０４に格納する（ステップＳ４）。そし
て、この画像データ格納部Ｉ１０４に格納された画像情
報は出力部Ｉ１０５を介して画像データ入力／格納部２
０１に格納される。そして、画像処理方式／フィルタ関
数の決定／格納部２１０は、画像処理による最適化が必
要か否かを判断する（ステップＳ５）。

【００９９】この判断の結果、画像処理による最適化が
必要な場合には、ステップＳ６に移行して、画像処理部
２０２は、画像情報に対して、鮮鋭化処理やぼかし処理
等の画像処理を行って、被写界深度を変化させた画像デ
ータを生成し、画像データ格納部ＩＩ２０３および出力
部ＩＩＩ２０４を介して、画像データ利用部３００に出
力する。また、上記ステップＳ５において、画像処理に
よる最適化が必要でない場合には、画像処理部２０２
は、画像処理を行わずに、画像データ格納部ＩＩ２０３
および出力部ＩＩＩ２０４を介して、画像データ利用部
３００に出力する。

【０１００】他方、上記ステップＳ２において、第１の
方式が最適でないと判断した場合には、ステップＳ７に
移行して、制御状態指示部１０７は、第２の方式（複数
の焦点状態で画像入力する方式）が最適か否かを判断す
る。この判断の結果、第２の方式が最適と判断した場合
には、ステップＳ８に移行して、制御状態指示部１０７
は、複数の焦点状態（複数のレンズ位置）を決定し、光
学結像素子１０１を移動させて、複数の焦点状態（レン
ズを移動させて複数のレンズ位置）で撮像して光学撮像
素子１０２により複数の画像情報を夫々取得する。そし
て、信号処理部１０３で信号処理を施した後、複数の画
像情報を重み付け加算して、１フレームの画像情報とし
て画像データ格納部Ｉ１０４に格納する（ステップＳ
９）。

【０１０１】そして、この画像データ格納部Ｉ１０４に
格納された画像情報は出力部Ｉ１０５を介して画像デー
タ入力／格納部２０１に格納される。そして、画像処理
方式／フィルタ関数の決定／格納部２１０は、画像デー
タ入力／格納部２０１から入力される画像データの情報
（焦点はずれ量）、付帯情報、および追加指示情報入力
部２０５から入力される追加指示情報に基づいて、最適
な画像処理方式およびフィルタ関数を使用する場合には
そのフィルタ関数を決定する。画像処理部２０２は、画
像データ入力／格納部２０１から入力される１フレーム
の画像情報に対して画像処理方式／フィルタ関数の決定
／格納部２１０で決定された画像処理方式／フィルタ関
数で画像復元を行う（ステップＳ１０）。これにより、
画像の鮮鋭性、解像度等を的確に変更することができ、
被写界深度を変化させた画像情報を取得することが可能
となる。

【０１０２】また、上記ステップＳ７において、第２の
方式が最適でないと判断した場合には、ステップＳ１１
に移行して、被写界深度指示情報の再設定を撮影者に要
求した後、ステップＳ１に戻り、撮影者の指示を待つ。
この指示が撮影者により解除された場合には、当該フロ
ーを終了する。

【０１０３】なお、上記フローチャートは、本発明の画
像入力装置の実際の動作の基本をモデル的に示すもので
あり、本発明はこれに限られるものではなく、例えば、
ステップＳ２の第１の方式の判断やステップＳ１１の指
示再設定の要求等の動作がなくても良く、ステップＳ
１，Ｓ８、Ｓ９，およびＳ１０を具備していれば良い。
また、ステップＳ８では、予め決められた値を使用する
ことにしても良い。

【０１０４】以上説明したように、本実施の形態におい
ては、被写体に対する焦点条件を変えて撮像して得られ
る複数の画像情報を、異なる複数の画像情報を重み付け
加算して単一の画像情報として取得し、この単一の画像
情報に対して焦点条件とレンズやＣＣＤ等の光学素子の
特性に応じた画像復元処理を行うことにより、画像の鮮
鋭性、解像度を的確に変更することが可能となり、被写
界深度を撮影者の指示に応じて簡単に変化させることが
可能となる。

【０１０５】また、単一の画像情報を取得する構成とし
たので、画像入力装置の構成を簡単にでき、また、画像
入力時間および画像処理時間を短時間で行うことでき
る。

【０１０６】また、合焦位置の画像の劣化を最小限にす
ることを可能とする被写界深度の拡大や、被写界深度の
拡大を最優先とする被写界深度の拡大を、撮影者の指示
に従って簡単に行うことが可能となる。

【０１０７】また、被写界深度を縮小する場合において
も、ボケた状態にある被写体の画像情報に対してより鮮
鋭でかつ解像度に優れた画像情報を得ることができ、ボ
ケ化処理による自然なボケを生成することが可能とな
る。

【０１０８】なお、上述の実施の形態の画像入力方法
は、予め用意されたプログラムをパーソナルコンピュー
タや、ワークステーション等のコンピュータで実行する
ことにしても良い。このプログラムは、ハードディス
ク、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、
ＭＯ、ＤＶＤ等のコンピュータが読取可能な記録媒体か
ら読み出されることによって実行される。また、このプ
ログラムは、上記記録媒体を介して、また伝送媒体とし
て、インターネット等のネットワークを介して配布する
ことができる。

【０１０９】本発明は、上記した実施の形態に限定され
るものではなく、発明の要旨を変更しない範囲で適宜変
形して実行可能である。

【０１１０】

【発明の効果】請求項１にかかる発明によれば、被写界
深度指示情報に基づいて、光学結像素子および／または
光学撮像素子を光軸方向に移動させて、被写体、光学結
像素子、および光学撮像素子の位置関係を異ならせ、異
なる複数の位置関係で各々被写体を撮像し、撮像されて
得られる複数の画像情報を単一の画像情報として出力す
ることとしたので、簡単な構成で被写界深度を可変させ
た画像情報を得ることが可能となる。

【０１１１】また、請求項２にかかる発明によれば、請
求項１にかかる発明において、前記複数の画像情報を重
み付け加算して単一の画像情報を出力することとしたの
で、請求項１にかかる発明の効果に加えて、簡単な処理
で単一の画像情報を取得することが可能となる。

【０１１２】また、請求項３にかかる発明によれば、請
求項１または請求項２にかかる発明において、画像処理
手段は、上述の複数の異なる位置関係、ならびに、光学
結像素子の情報および／または光学撮像素子の情報に基
づいて、単一の画像情報を画像復元することとしたの
で、請求項１または請求項２にかかる発明の効果に加え
て、画像の鮮鋭性、解像度を的確に変更することが可能
となり、被写界深度を撮影者の指示に応じて簡単に変化
させることが可能となる。

【０１１３】また、請求項４にかかる発明によれば、請
求項１〜請求項３のいずれか１つにかかる発明におい
て、指示情報指定手段で指定される被写界深度指示情報
が、合焦位置の画像劣化の低減を被写界深度の拡大より
も優先させる旨の指示である場合には、異なる複数の位
置関係を、被写体、光学結像素子、および光学撮像素子
の位置関係ならびに光学結像素子の特性等で決定される
被写界深度以下とすることとしたので、請求項１〜請求
項３のいずれか１つにかかる発明の効果に加えて、撮影
者の指示に応じて、画像情報の合焦位置（部分）の画像
劣化を低減することが可能となる。

【０１１４】また、請求項５にかかる発明によれば、請
求項１〜請求項３のいずれか１つにかかる発明におい
て、指示情報指定手段で指定される被写界深度指示情報
が、被写界深度の拡大を合焦位置の画像劣化の低減より
も優先させる旨の指示である場合には、異なる複数の位
置関係を、被写体、光学結像素子、および光学撮像素子
の位置関係ならびに光学結像素子の特性等で決定される
被写界深度以上とすることとしたので、請求項１〜請求
項３のいずれか１つにかかる発明の効果に加えて、撮影
者の指示に応じて、被写界深度を拡大することが可能と
なる。

【０１１５】また、請求項６にかかる発明によれば、請
求項３にかかる発明において、指示情報指定手段で指定
される被写界深度指示情報が、被写界深度の縮小を優先
させる旨の指示である場合には、画像処理手段は、復元
した画像情報に対してボケ化処理を行うこととしたの
で、請求項３にかかる発明の効果に加えて、被写界深度
を縮小する場合においても、ボケた状態にある被写体の
画像情報に対してより鮮鋭でかつ解像度に優れた画像情
報を得ることができ、ボケ化処理による自然なボケを生
成することが可能となる。

【０１１６】また、請求項７にかかる発明によれば、被
写界深度の条件を被写界深度指示情報として指定し、指
定された被写界深度指定情報に基づいて、光学結像素子
および／または光学撮像素子を光軸方向に移動させて、
被写体、光学結像素子、および光学撮像素子の位置関係
を異ならせ、異なる複数の位置関係で各々被写体を撮像
し、撮像されて得られる複数の画像情報を単一の画像情
報として出力することとしたので、簡単な構成で被写界
深度を可変させた画像情報を得ることが可能となる。

【０１１７】また、請求項８にかかる発明によれば、請
求項７にかかる発明において、複数の画像情報を重み付
け加算して単一の画像情報を出力することとしたので、
請求項７にかかる発明の効果に加えて、簡単な処理で単
一の画像情報を取得することが可能となる。

【０１１８】また、請求項９にかかる発明によれば、請
求項７または請求項８にかかる発明において、上述の複
数の異なる位置関係、ならびに、光学結像素子の情報お
よび／または光学撮像素子の情報に基づいて、単一の画
像情報を画像復元することとしたので、請求項７または
請求項８にかかる発明の効果に加えて、画像の鮮鋭性、
解像度を的確に変更することが可能となり、被写界深度
を撮影者の指示に応じて簡単に変化させることが可能と
なる。

【０１１９】また、請求項１０にかかる発明によれば、
請求項７〜請求項９のいずれか１つにかかる発明におい
て、指定される被写界深度指示情報が、合焦位置の画像
劣化の低減を被写界深度の拡大よりも優先させる旨の指
示である場合には、異なる複数の位置関係を、被写体、
光学結像素子、および光学撮像素子の位置関係ならびに
光学結像素子の特性等で決定される被写界深度以下とす
ることとしたので、請求項７〜請求項９のいずれか１つ
にかかる発明の効果に加えて、撮影者の指示に応じて、
画像情報の合焦位置（部分）の画像劣化を低減すること
が可能となる。

【０１２０】また、請求項１１にかかる発明によれば、
請求項７〜請求項９のいずれか１つにかかる発明におい
て、指定される被写界深度指示情報が、被写界深度の拡
大を合焦位置の画像劣化の低減よりも優先させる旨の指
示である場合には、異なる複数の位置関係を、被写体、
光学結像素子、および光学撮像素子の位置関係ならびに
前記光学結像素子の特性等で決定される被写界深度以上
とすることとしたので、請求項７〜請求項９のいずれか
１つにかかる発明の効果に加えて、撮影者の指示に応じ
て、被写界深度を拡大することが可能となる。

【０１２１】また、請求項１２にかかる発明によれば、
請求項８にかかる発明において、指定される被写界深度
指示情報が、被写界深度の縮小を優先させる旨の指示で
ある場合には、復元した画像情報に対してボケ化処理を
行うこととしたので、請求項８にかかる発明の効果に加
えて、被写界深度を縮小する場合においても、ボケた状
態にある被写体の画像情報に対してより鮮鋭でかつ解像
度に優れた画像情報を得ることができ、ボケ化処理によ
る自然なボケを生成することが可能となる。

【０１２２】また、請求項１３にかかる発明によれば、
記録媒体に格納されたプログラムをコンピュータで実行
することにより請求項７〜請求項１２のいずれか１つに
記載の発明の各ステップを実現することとしたので、簡
単な構成で被写界深度を可変させた画像情報を得ること
が可能となる。

【図面の簡単な説明】

【図１】本発明の画像入力装置のモデル図である。

【図２】本発明の画像処理装置の被写界深度可変の基本
動作原理を示すための、理想レンズの焦点ずれの場合の
回折像の形状を示す図である。

【図３】本発明の画像処理装置の被写界深度可変の基本
動作原理を示すための、理想レンズの焦点ずれの状態の
回折像を加算した形状を示す図である。

【図４】本発明の画像処理装置の被写界深度可変の基本
動作原理を示すための、理想レンズの焦点ずれの状態の
回折像のＳＤ値、および理想レンズの焦点ずれの状態の
回折像をＳＤ値を加算した場合の総和値に基づく値を示
した図である。

【図５】本発明の画像処理装置の被写界深度可変の基本
動作原理を示すための、理想レンズの焦点ずれの状態の
回折像のＳＤ値、および理想レンズの焦点ずれの状態の
回折像をＳＤ値を加算した場合の総和値に基づく値を示
した図である。

【図６】本発明の画像入力装置の構成例を示すブロック
図である。

【図７】本発明の画像入力装置による画像入力の基本動
作を説明するためのフローチャートである。

【符号の説明】

１０焦点ずれの回折像１１焦点ずれの回折像の総和１５単なる焦点ずれの場合のＳＤ値１６焦点ずれの画像を単純加算した場合のＳＤ値の総
和を３で除したＳＤ値１７正規化した正規化ＳＤ値１８単なる焦点ずれの場合のＳＤ値に対する正規化Ｓ
Ｄ値との比１００画像入力ユニット１０１光学結像素子１０２光学撮像素子１０３信号処理部１０４画像データ格納部Ｉ１０５出力部Ｉ１０６指示情報入力部Ｉ１０７制御状態指示部１０８制御部Ｉ、１０９出力部ＩＩ１１０付帯情報生成部２００画像処理ユニット２０１画像データ入力／格納部２０２画像処理部２０３画像データ格納部ＩＩ２０４出力部ＩＩＩ２０５追加指示情報入力部２０６指示情報入力部ＩＩ２０７焦点状態入力部２０８光学素子情報入力部２０９付帯情報入力部２１０画像処理方式／フィルタ関数の決定／格納部３００画像データ利用部

Claims

【特許請求の範囲】

【請求項１】被写体を結像するための光学結像素子
と、前記光学結像素子で結像された被写体像を画像情報に変
換して出力する光学撮像素子と、被写界深度の条件を被写界深度指示情報として指定する
指示情報指定手段と、を備え、前記被写界深度指定情報に基づいて、前記光学結像素子
および／または前記光学撮像素子を光軸方向に移動させ
て、前記被写体、前記光学結像素子、および前記光学撮
像素子の位置関係を異ならせ、異なる複数の位置関係で
各々被写体を撮像し、撮像されて得られる複数の画像情
報を単一の画像情報として出力することを特徴とする画
像入力装置。
【請求項２】前記複数の画像情報を重み付け加算して
前記単一の画像情報を出力することを特徴とする請求項
１に記載の画像入力装置。
【請求項３】さらに、前記複数の異なる位置関係、な
らびに、前記光学結像素子の情報および／または前記光
学撮像素子の情報に基づいて、前記単一の画像情報を画
像復元する画像処理手段を備えたことを特徴とする請求
項１または請求項２に記載の画像入力装置。
【請求項４】前記指示情報指定手段で指定される被写
界深度指示情報が、合焦位置の画像劣化の低減を被写界
深度の拡大よりも優先させる旨の指示である場合には、
前記異なる複数の位置関係を、前記被写体、前記光学結
像素子、および前記光学撮像素子の位置関係ならびに前
記光学結像素子の特性等で決定される被写界深度以下と
することを特徴とする請求項１〜請求項３のいずれか１
つに記載の画像入力装置。
【請求項５】前記指示情報指定手段で指定される被写
界深度指示情報が、被写界深度の拡大を合焦位置の画像
劣化の低減よりも優先させる旨の指示である場合には、
前記異なる複数の位置関係を、前記被写体、前記光学結
像素子、および前記光学撮像素子の位置関係ならびに前
記光学結像素子の特性等で決定される被写界深度以上と
することを特徴とする請求項１〜請求項３のいずれか１
つに記載の画像入力装置。
【請求項６】前記指示情報指定手段で指定される被写
界深度指示情報が、被写界深度の縮小を優先させる旨の
指示である場合には、前記画像処理手段は、前記復元し
た画像データに対して、ボケ化処理を行うことを特徴と
する請求項３に記載の画像入力装置。
【請求項７】被写界深度の条件を被写界深度指示情報
として指定する指定ステップと、前記指定ステップで指定された被写界深度指定情報に基
づいて、前記光学結像素子および／または前記光学撮像
素子を光軸方向に移動させて、前記被写体、前記光学結
像素子、および前記光学撮像素子の位置関係を異なら
せ、異なる複数の位置関係で各々被写体を撮像する撮像
ステップと、前記撮像ステップで撮像されて得られる複数の画像情報
を単一の画像情報として出力する出力ステップと、を含むことを特徴とする画像入力方法。
【請求項８】前記出力ステップでは、前記複数の画像
情報を重み付け加算して前記単一の画像情報を出力する
ことを特徴とする請求項７に記載の画像入力方法。
【請求項９】さらに、前記複数の異なる位置関係、な
らびに、前記光学結像素子の情報および／または前記光
学撮像素子の情報に基づいて、前記単一の画像情報を画
像復元する画像処理ステップを含むことを特徴とする請
求項７または請求項８に記載の画像入力方法。
【請求項１０】前記撮像ステップでは、前記指示ステ
ップで指定される被写界深度指示情報が、合焦位置の画
像劣化の低減を被写界深度の拡大よりも優先させる旨の
指示である場合には、前記異なる複数の位置関係を、前
記被写体、前記光学結像素子、および前記光学撮像素子
の位置関係ならびに前記光学結像素子の特性等で決定さ
れる被写界深度以下とすることを特徴とする請求項７〜
請求項９のいずれか１つに記載の画像入力方法。
【請求項１１】前記撮像ステップでは、前記指示ステ
ップで指定される被写界深度指示情報が、被写界深度の
拡大を合焦位置の画像劣化の低減よりも優先させる旨の
指示である場合には、前記異なる複数の位置関係を、前
記被写体、前記光学結像素子、および前記光学撮像素子
の位置関係ならびに前記光学結像素子の特性等で決定さ
れる被写界深度以上とすることを特徴とする請求項７〜
請求項９のいずれか１つに記載の画像入力方法。
【請求項１２】前記画像処理ステップでは、前記指示
情報指定手段で指定される被写界深度指示情報が、被写
界深度の縮小を優先させる旨の指示である場合には、前
記復元した画像情報に対してボケ化処理を行うことを特
徴とする請求項８に記載の画像入力方法。
【請求項１３】請求項７〜請求項１２のいずれか１つ
に記載の発明の各ステップをコンピュータに実行させる
ためのプログラムを格納したことを特徴とするコンピュ
ータが読み取り可能な記録媒体。