JP2003309723A - 画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 二焦点レンズで撮像された画像の質を短時間
の処理で改善することができ、ピント合わせ機構を用い
ることなく、標準的な距離にある通常の被写体およびこ
れよりも近距離にある近接被写体のいずれもについても
鮮明な画像を得ることができる画像改質処理方法および
その装置を提供すること。 【解決手段】 畳み込み演算行列Ｑの各要素Ｑ（ｘ，
ｙ）のうち少なくとも非零要素を含む行列部分の値を畳
み込み演算行列記憶手段３２に記憶しておき、二焦点レ
ンズ２１で被写体を撮像した際に、再生演算手段３３に
より、画像素子２４の出力信号Ｚ（ｈ，ｋ）と演算行列
記憶手段３２に記憶したＱ（ｘ，ｙ）とを用いて畳み込
み演算処理を行い、ピントの合った画像を求めるように
した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、二焦点レンズを構
成する一方のレンズ部により形成されるピントの合った
画像と、他方のレンズ部により形成されるピントのぼけ
た画像とが重なった画像から、ピントの合った画像を求
める画像改質処理方法およびその装置、プログラム、並
びにデータ記録媒体に係り、例えば、携帯情報端末（Ｐ
ＤＡ：Personal Digital Assistants）、携帯電話機
（ＰＨＳ：Personal Handy phone Systemを含む。）、
テレビジョンやビデオ等の家電機器の操作用のリモート
・コントロール装置、カメラ付パーソナル・コンピュー
タ、および監視カメラ装置等の二焦点レンズによる画像
入力機能を持つ情報端末装置などに利用できる。

【０００２】

【背景技術】従来より、焦点距離の異なる二つのレンズ
部を有する二焦点レンズが遠近両用コンタクトレンズと
して使用されている。このような二焦点レンズにより構
成されるコンタクトレンズを人間が装着した場合には、
二つの各レンズ部により形成されるピントの合った画像
とピントの合わない画像（いわゆるピンぼけ画像）とを
人間が無意識のうちに選択し、ピントの合った画像のみ
を見るようにしていると考えられる。

【０００３】ところで、このような二焦点レンズを、例
えば携帯電話機や携帯情報端末等の情報端末装置に設け
れば、焦点深度下限（例えば、０．３ｍ）から無限遠ま
での標準的な距離にある通常の被写体（例えば、人物や
風景等）を、長い焦点距離を有する長焦点レンズ部によ
り撮像し、一方、それよりも近い距離に配置された近接
被写体（例えば、２次元バーコードや虹彩や文字等）
を、短い焦点距離を有する短焦点レンズ部により撮像す
ることにより、それぞれ高い解像度の画像を得ることが
できる。そして、このような二焦点レンズを備えた情報
端末装置は、本願出願人により既に提案されている（特
願２０００−３４８８００号等参照）。

【０００４】

【発明が解決しようとする課題】しかしながら、前述し
た二焦点レンズを備えた情報端末装置では、例えば液晶
シャッター等の光学シャッターを二焦点レンズと撮像素
子との間に設けることにより長焦点レンズ部と短焦点レ
ンズ部とを切替可能な構成とした場合等には、コントラ
ストの高い画像を得ることができるものの、そのような
レンズ部の切替を行わない場合には、二つの各レンズ部
により形成されるピントの合った画像とピントの合わな
い画像とが重なってしまうため、鮮明な画像を得ること
が困難であるという問題がある。

【０００５】この際、前述したように二焦点レンズを使
用した遠近両用コンタクトレンズを人間が装着した場合
には、ピントの合った画像とピントの合わない画像とを
人間が無意識のうちに選択し、ピントの合った画像のみ
を見るようにしていると考えられるが、このような人間
の脳内における画像の選択処理と類似の処理を、通常の
携帯電話機や携帯情報端末等の携帯型の情報端末装置に
搭載されている程度の性能を有する中央演算処理装置
（ＣＰＵ）により短時間で実行できれば、情報端末装置
の使い勝手や性能の向上を図ることができ、しかも低コ
ストで実現できるので便利である。

【０００６】また、このような処理を行うことができれ
ば、携帯電話機や携帯情報端末等の携帯型の情報端末装
置に二焦点レンズを設けた場合に限らず、広く一般的に
二焦点レンズによる撮像を行う場合、例えば、パーソナ
ル・コンピュータに二焦点レンズを有するカメラを接続
した場合や、監視カメラとして二焦点レンズを用いる場
合等においても、画像の質の改善が図られるため好都合
である。

【０００７】本発明の目的は、二焦点レンズで撮像され
た画像の質を短時間の処理で改善することができ、ピン
ト合わせ機構を用いることなく、標準的な距離にある通
常の被写体およびこれよりも近距離にある近接被写体の
いずれもについても鮮明な画像を得ることができる画像
改質処理方法およびその装置、プログラム、並びにデー
タ記録媒体を提供するところにある。

【０００８】

【課題を解決するための手段】本発明は、二焦点レンズ
を構成する一方のレンズ部により形成されるピントの合
った画像と、他方のレンズ部により形成されるピントの
ぼけた画像とが重なった画像から、ピントの合った画像
を求める画像改質処理方法であって、撮像素子の大きさ
をＭ画素×Ｎ画素とし、被写体の発する光の明るさを示
すＭ行Ｎ列の行列をＡとし、被写体を二焦点レンズによ
り撮像して得られた画像の出力信号を示すＭ行Ｎ列の行
列をＺとしたとき、畳み込み演算処理を行うための（２
Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要
素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行
列部分の値を下式（１）に基づき予め算出して畳み込み
演算行列記憶手段に記憶しておき、被写体を二焦点レン
ズにより撮像した際に、再生演算手段により、畳み込み
演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のう
ちの少なくとも一部の値と画像の出力信号の行列Ｚの各
要素Ｚ（ｈ，ｋ）の値とを用いて下式（２）に基づき被
写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出すること
を特徴とするものである。

【０００９】 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・・（１）

【００１０】 Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・・・・（２）

【００１１】ここで、ｘおよびｙは整数で、（１−Ｍ）
≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であ
り、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎで
あり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）
列の行列Ｗの各要素の値であり、この行列Ｗは、端部を
除く座標（ｍ，ｎ）で示される１点のみに輝点のある被
写体を二焦点レンズで撮像したときに一方および他方の
レンズ部により形成される画像の出力信号を示すＭ行Ｎ
列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標
（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
列部分を行列Ｗの中央部に配置するとともに、中央部に
配置された非零要素を含む行列部分の外側部分を零要素
で埋めることにより構成され、ｃは、比例係数で、二焦
点レンズの全体面積に対する一方のレンズ部の面積の比
の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数
で、１≦ｐｏｗｅｒ≦２であり、Σ_hは、ｈ＝１〜Ｍの
和であり、Σ_kは、ｋ＝１〜Ｎの和である。

【００１２】また、「二焦点レンズ」とは、標準的な距
離（焦点深度下限（例えば、０．３ｍ）から無限遠まで
の距離）にある通常の被写体（例えば、人物や風景等）
を撮像するための長い焦点距離を有する長焦点レンズ部
と、標準的な距離にある被写体よりも近距離にある近接
被写体（例えば、２次元バーコードや虹彩や文字等）を
撮像するための短い焦点距離を有する短焦点レンズ部と
が、同一の面に一体化されて形成された撮像レンズであ
る。以下の発明においても同様である。なお、長焦点レ
ンズ部と短焦点レンズ部とを別部材により別々に形成し
てから一体化してもよく、あるいは、一つの部材を用い
て長焦点レンズ部および短焦点レンズ部を加工して形成
してもよい。また、同一の面は、撮像レンズの光軸に直
交する面であることが最も好ましい。

【００１３】そして、「一方のレンズ部」とは、ピント
の合った画像を形成するレンズ部であり、標準的な距離
にある通常の被写体を撮像する際には、長焦点レンズ部
が該当し、通常の被写体よりも近距離にある近接被写体
を撮像する際には、短焦点レンズ部が該当する。これに
対し、「他方のレンズ部」とは、ピントのぼけた画像を
形成するレンズ部であり、標準的な距離にある通常の被
写体を撮像する際には、短焦点レンズ部が該当し、通常
の被写体よりも近距離にある近接被写体を撮像する際に
は、長焦点レンズ部が該当する。

【００１４】さらに、「二焦点レンズ」を構成する長焦
点レンズ部の正面形状（レンズの光軸に沿う方向から見
た形状）は、円形、楕円形、または多角形のいずれかで
あり、短焦点レンズ部の正面形状は、環状であり、短焦
点レンズ部は、長焦点レンズ部の外側に配置され、か
つ、長焦点レンズ部と同心に配置（各レンズ部の光軸同
士が一致する状態で配置）されていることが、構造の簡
易化、製造の容易化、質の高い画像の取得の容易化、解
読精度の向上等の観点から望ましく、特に、長焦点レン
ズ部の正面形状を円形とし、短焦点レンズ部の正面形状
を円環状とした同心円型構造とすると、極めて好ましい
結果が得られる。なお、長焦点レンズ部と短焦点レンズ
部との配置関係を逆にし（従って、正面形状を逆に
し）、短焦点レンズ部を内側に長焦点レンズ部を外側に
配置するようにしてもよい。

【００１５】また、「撮像素子」としては、具体的に
は、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Comp
lementary Metal-oxide Semiconductor）や電荷結合素
子（ＣＣＤ：Charge Coupled Device）等を採用するこ
とができる。

【００１６】さらに、ｐｏｗｅｒの値は、ｃの値に応じ
て決定すればよい。この際、ｃの値が、０．５近傍
（０．５を含む。以下、同様）のときには、ｐｏｗｅｒ
の値を２以外の値とする必要がある。より具体的には、
ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を１
以上２未満とし、より好ましくは１とする。一方、ｃの
値が、０．５近傍以外のときには、１以上２以下とす
る。以下の発明においても、同様である。

【００１７】このような本発明においては、被写体を二
焦点レンズにより撮像した際に、再生演算手段により、
畳み込み演算行列記憶手段に記憶された畳み込み演算行
列Ｑの各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値
と、撮像して得られた画像の出力信号の行列Ｚの各要素
Ｚ（ｈ，ｋ）の値とを用い、前記式（２）に基づき被写
体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する。

【００１８】この際、再生演算手段による演算処理は、
前記式（１）に基づき予め算出されて畳み込み演算行列
記憶手段に記憶された畳み込み演算行列Ｑの各要素Ｑ
（ｘ，ｙ）の値を用いて行われるので、後述する式（１
−２２）で示されるＭ×Ｎ行Ｍ×Ｎ列の巨大逆行列Ｔを
用いて演算処理を行う場合に比べ、非常に少ない計算量
で、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出す
ることが可能となる。

【００１９】このため、短時間の処理で、ピントの合っ
た画像を求めて被写体を再生することができるので、二
焦点レンズで撮像された画像の質を短時間の処理で改善
することができ、ピント合わせ機構を用いることなく、
標準的な距離にある通常の被写体およびこれよりも近距
離にある近接被写体のいずれもについても鮮明な画像を
得ることができるようになる。

【００２０】また、再生演算手段による演算処理が非常
に少ない計算量であることから、例えば携帯電話機や携
帯情報端末等の携帯型の情報端末装置に搭載されている
程度のＣＰＵの能力でも短時間の処理で実行することが
可能である。従って、二焦点レンズを備えた携帯型の情
報端末装置に本発明を適用すれば、情報端末装置の使い
勝手や性能の向上を図ることができるようになり、これ
らにより前記目的が達成される。

【００２１】さらに、前述した画像改質処理方法におい
て、二焦点レンズへの光の入射角の不均一により画像周
辺部の受光量が減少するシェージングの影響を補正する
ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
（ｓ，ｔ）の値をシェージング補正行列記憶手段に記憶
しておき、再生演算手段による処理を行った後に、シェ
ージング補正手段により、シェージング補正行列記憶手
段に記憶された各要素Φ（ｓ，ｔ）の値と被写体の行列
Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（３）に基
づきシェージング補正を行った被写体の行列Ａ^shの各要
素Ａ^sh（ｓ，ｔ）を算出することが望ましい。

【００２２】 Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・・・（３）

【００２３】ここで、ｓおよびｔは自然数で、１≦ｓ≦
Ｍ、１≦ｔ≦Ｎである。

【００２４】このようにシェージング補正を行った場合
には、シェージングの影響が排除されるため、画像の質
を、より一層改善することが可能となる。

【００２５】また、前述した画像改質処理方法におい
て、二焦点レンズへの光の入射角の不均一により画像周
辺部の受光量が減少するシェージングの影響を補正する
ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
（ｈ，ｋ）の値をシェージング補正行列記憶手段に記憶
しておき、再生演算手段による処理を行う前に、シェー
ジング補正手段により、シェージング補正行列記憶手段
に記憶された各要素Φ（ｈ，ｋ）の値と画像の出力信号
の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式
（４）に基づきシェージング補正を行った画像の出力信
号の行列Ｚ^shの各要素Ｚ ^sh（ｈ，ｋ）を算出し、得られ
たＺ^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として式
（２）に基づく再生演算手段による処理に使用すること
が望ましい。

【００２６】 Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・・・（４）

【００２７】ここで、ｈおよびｋは自然数で、１≦ｈ≦
Ｍ、１≦ｋ≦Ｎである。

【００２８】このようにシェージング補正を行った場合
には、シェージングの影響が排除されるため、画像の質
を、より一層改善することが可能となる。

【００２９】また、以上に述べた画像改質処理方法にお
いて、式（２）に基づく再生演算手段による処理は、デ
ジタルフィルタ回路により行われ、このデジタルフィル
タ回路には、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，
ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の
値を乗ずる複数の乗算回路と、これらの乗算回路からの
出力信号を加算する複数の加算回路と、順次入力される
各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うため
の複数のディレイ回路とが含まれていることが望まし
い。

【００３０】このように再生演算手段による処理をデジ
タルフィルタ回路により行うようにした場合には、畳み
込み演算行列Ｑを用いた畳み込み演算処理を、ハードウ
ェアにより実現することができるので、画像改質に要す
る処理時間を、より一層短くすることが可能となる。

【００３１】また、以上に述べた本発明の画像改質処理
方法を実現するための装置として、以下のような本発明
の画像改質処理装置を挙げることができる。

【００３２】すなわち、本発明は、二焦点レンズを構成
する一方のレンズ部により形成されるピントの合った画
像と、他方のレンズ部により形成されるピントのぼけた
画像とが重なった画像から、ピントの合った画像を求め
る画像改質処理装置であって、撮像素子の大きさをＭ画
素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行
Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより
撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列
をＺとしたとき、下式（５）に基づき算出された畳み込
み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列
の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち
少なくとも非零要素を含む行列部分の値を記憶する畳み
込み演算行列記憶手段と、この畳み込み演算行列記憶手
段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも
一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，
ｋ）の値とを用いて下式（６）に基づき被写体の行列Ａ
の各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段とを
備えたことを特徴とするものである。

【００３３】 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・・（５）

【００３４】 Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・・・・（６）

【００３５】ここで、ｘおよびｙは整数で、（１−Ｍ）
≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であ
り、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎで
あり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）
列の行列Ｗの各要素の値であり、この行列Ｗは、端部を
除く座標（ｍ，ｎ）で示される１点のみに輝点のある被
写体を二焦点レンズで撮像したときに一方および他方の
レンズ部により形成される画像の出力信号を示すＭ行Ｎ
列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標
（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
列部分を行列Ｗの中央部に配置するとともに、中央部に
配置された非零要素を含む行列部分の外側部分を零要素
で埋めることにより構成され、ｃは、比例係数で、二焦
点レンズの全体面積に対する一方のレンズ部の面積の比
の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数
で、１≦ｐｏｗｅｒ≦２であり、Σ_hは、ｈ＝１〜Ｍの
和であり、Σ_kは、ｋ＝１〜Ｎの和である。

【００３６】このような本発明の画像改質処理装置にお
いては、前述した本発明の画像改質処理方法で得られる
作用・効果をそのまま得ることができる。

【００３７】また、前述した画像改質処理装置におい
て、二焦点レンズへの光の入射角の不均一により画像周
辺部の受光量が減少するシェージングの影響を補正する
ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
（ｓ，ｔ）の値を記憶するシェージング補正行列記憶手
段と、このシェージング補正行列記憶手段に記憶された
各要素Φ（ｓ，ｔ）の値と再生演算手段による処理を行
って得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値
とを用いて下式（７）に基づきシェージング補正を行っ
た被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）を算出する
シェージング補正手段とを備えた構成とすることが望ま
しい。

【００３８】 Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・・・（７）

【００３９】ここで、ｓおよびｔは自然数で、１≦ｓ≦
Ｍ、１≦ｔ≦Ｎである。

【００４０】このようにシェージング補正行列記憶手段
およびシェージング補正手段を設けた構成とした場合に
は、シェージングの影響が排除されるため、画像の質
を、より一層改善することが可能となる。

【００４１】さらに、前述した画像改質処理装置におい
て、二焦点レンズへの光の入射角の不均一により画像周
辺部の受光量が減少するシェージングの影響を補正する
ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
（ｈ，ｋ）の値を記憶するシェージング補正行列記憶手
段と、このシェージング補正行列記憶手段に記憶された
各要素Φ（ｈ，ｋ）の値と画像の出力信号の行列Ｚの各
要素Ｚ（ｈ，ｋ）の値とを用いて下式（８）に基づきシ
ェージング補正を行った画像の出力信号の行列Ｚ ^shの各
要素Ｚ^sh（ｈ，ｋ）を算出し、得られたＺ^sh（ｈ，ｋ）
の値を新たなＺ（ｈ，ｋ）として式（６）に基づく再生
演算手段による処理に使用されるようにするシェージン
グ補正手段とを備えた構成とすることが望ましい。

【００４２】 Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・・・（８）

【００４３】ここで、ｈおよびｋは自然数で、１≦ｈ≦
Ｍ、１≦ｋ≦Ｎである。

【００４４】このような構成とした場合にも、シェージ
ングの影響が排除されるため、画像の質を、より一層改
善することが可能となる。

【００４５】そして、以上に述べた画像改質処理装置に
おいて、再生演算手段は、式（６）に基づく演算処理を
行うデジタルフィルタ回路により構成され、このデジタ
ルフィルタ回路には、画像の出力信号の行列Ｚの各要素
Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ
（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗
算回路からの出力信号を加算する複数の加算回路と、順
次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調
整を行うための複数のディレイ回路とが含まれているこ
とが望ましい。

【００４６】このように再生演算手段をデジタルフィル
タ回路により構成した場合には、畳み込み演算行列Ｑを
用いた畳み込み演算処理を、ハードウェアにより実現す
ることができるので、画像改質に要する処理時間を、よ
り一層短くすることが可能となる。

【００４７】また、本発明は、二焦点レンズを構成する
一方のレンズ部により形成されるピントの合った画像
と、他方のレンズ部により形成されるピントのぼけた画
像とが重なった画像から、ピントの合った画像を求める
画像改質処理装置として、コンピュータを機能させるた
めのプログラムであって、撮像素子の大きさをＭ画素×
Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列
の行列をＡとし、被写体を前記二焦点レンズにより撮像
して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺ
としたとき、下式（９）に基づき算出された畳み込み演
算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳
み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少な
くとも非零要素を含む行列部分の値を記憶する畳み込み
演算行列記憶手段と、この畳み込み演算行列記憶手段に
記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部
の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の
値とを用いて下式（１０）に基づき被写体の行列Ａの各
要素Ａ（ｓ，ｔ）の値を算出する再生演算手段とを備え
たことを特徴とする画像改質処理装置として、コンピュ
ータを機能させるためのものである。

【００４８】 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・・（９）

【００４９】 Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・・・（１０）

【００５０】ここで、ｘおよびｙは整数で、（１−Ｍ）
≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であ
り、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎで
あり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）
列の行列Ｗの各要素の値であり、この行列Ｗは、端部を
除く座標（ｍ，ｎ）で示される１点のみに輝点のある被
写体を二焦点レンズで撮像したときに一方および他方の
レンズ部により形成される画像の出力信号を示すＭ行Ｎ
列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標
（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
列部分を行列Ｗの中央部に配置するとともに、中央部に
配置された非零要素を含む行列部分の外側部分を零要素
で埋めることにより構成され、ｃは、比例係数で、二焦
点レンズの全体面積に対する一方のレンズ部の面積の比
の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数
で、１≦ｐｏｗｅｒ≦２であり、Σ_hは、ｈ＝１〜Ｍの
和であり、Σ_kは、ｋ＝１〜Ｎの和である。

【００５１】さらに、本発明は、二焦点レンズを構成す
る一方のレンズ部により形成されるピントの合った画像
と、他方のレンズ部により形成されるピントのぼけた画
像とが重なった画像から、ピントの合った画像を求める
画像改質処理で使用されるデータを記録したコンピュー
タ読取り可能なデータ記録媒体であって、撮像素子の大
きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさ
を示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レ
ンズにより撮像して得られた画像の出力信号を示すＭ行
Ｎ列の行列をＺとしたとき、行列Ｚから行列Ａを算出す
るために用いる行列として下式（１１）に基づき算出さ
れた畳み込み演算処理を行うための（２Ｍ−１）行（２
Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）
の値のうち少なくとも非零要素を含む行列部分の値を記
録したものである。

【００５２】 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・（１１）

【００５３】ここで、ｘおよびｙは整数で、（１−Ｍ）
≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であ
り、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の
行列Ｗの各要素の値であり、この行列Ｗは、端部を除く
座標（ｍ，ｎ）で示される１点のみに輝点のある被写体
を二焦点レンズで撮像したときに一方および他方のレン
ズ部により形成される画像の出力信号を示すＭ行Ｎ列の
行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標
（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
列部分を前記行列Ｗの中央部に配置するとともに、中央
部に配置された非零要素を含む行列部分の外側部分を零
要素で埋めることにより構成され、ｃは、比例係数で、
二焦点レンズの全体面積に対する一方のレンズ部の面積
の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実
数で、１≦ｐｏｗｅｒ≦２であり、ｈおよびｋは自然数
で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｍおよびｎは自然
数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであるが、被写体端部の
ｍ＝１、ｍ＝Ｍ、ｎ＝１、およびｎ＝Ｎの近傍の点は除
かれる。

【００５４】そして、本発明は、二焦点レンズを構成す
る一方のレンズ部により形成されるピントの合った画像
と、他方のレンズ部により形成されるピントのぼけた画
像とが重なった画像から、ピントの合った画像を求める
画像改質処理方法であって、被写体を二焦点レンズによ
り撮像して得られた画像の出力信号を撮像素子から引き
出して出力信号記憶手段に記憶した後、この出力信号記
憶手段に記憶した撮像素子の各画素の出力信号をＱ画素
×Ｑ画素の単位画面分だけ取り出してから、ディスクリ
ート・コサイン変換処理手段により、これらの取り出し
た信号レベルＳ _xyについて下式（１２）に基づきディス
クリート・コサイン変換処理を行うことにより各空間周
波数に対応した信号レベルＳ^F _uvを求め、続いて、ピン
ぼけ画像消去処理手段により、ディスクリート・コサイ
ン変換処理を行って得られたＳ^F _{u v}のうちゼロの成分Ｓ^F
₀₀の値に、二焦点レンズの全体面積に対するピントの合
った画像を形成する一方のレンズ部の面積の割合を乗
じ、この乗算により得られた値を新たなＳ^F ₀₀の値と
し、その後、量子化処理手段により、ピンぼけ画像消去
処理手段による処理後の信号レベルＳ^F _uvについて量子
化処理を行い、さらに、符号化処理手段により、量子化
処理手段による処理で得られた量子化データを符号化
し、ディスクリート・コサイン変換処理手段、ピンぼけ
画像消去処理手段、量子化処理手段、および符号化処理
手段による各処理を、区画された全ての画面について繰
り返すことを特徴とするものである。

【００５５】 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・（１２）

【００５６】ここで、ｕおよびｖは整数で、０≦ｕ≦
（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の
整数であり、Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０の
とき）、Ｃ_u，Ｃ_v＝１（ｕ，ｖ＝０以外のとき）であ
り、Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ
−１）の和である。

【００５７】このような本発明においては、被写体を二
焦点レンズにより撮像して得られた画像の出力信号を撮
像素子から単位画面分だけ取り出し、取り出した信号に
ついてディスクリート・コサイン変換処理、ピンぼけ画
像消去処理、量子化処理、および符号化処理を行う。そ
して、これらの各処理を、区画された全ての画面につい
て繰り返す。

【００５８】この際、ピンぼけ画像消去処理は、ディス
クリート・コサイン変換処理を行って得られたＳ^F _uvの
うちゼロの成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積
に対するピントの合った画像を形成する一方のレンズ部
の面積の割合を乗じ、この乗算により得られた値を新た
なＳ^F ₀₀の値とするという簡単な処理を行うだけであ
り、残りの処理は、通常のＪＰＥＧ（Joint Photograph
ic Experts Group）による画像の圧縮処理と略同様であ
る。従って、少ない計算量で一連の処理を実行すること
が可能となる。

【００５９】このため、短時間の処理で、ピントのぼけ
た画像を消去してピントの合った画像を求め、画像の質
の改善を図ることが可能となるうえ、計算量が少ないこ
とから、例えば携帯電話機や携帯情報端末等の携帯型の
情報端末装置に搭載されている程度のＣＰＵの能力でも
短時間の処理で実行することが可能である。従って、二
焦点レンズを備えた携帯型の情報端末装置に本発明を適
用すれば、情報端末装置の使い勝手や性能の向上を図る
ことができるようになり、これらにより前記目的が達成
される。

【００６０】また、以上に述べた本発明の画像改質処理
方法を実現するための装置として、以下のような本発明
の画像改質処理装置を挙げることができる。

【００６１】すなわち、本発明は、二焦点レンズを構成
する一方のレンズ部により形成されるピントの合った画
像と、他方のレンズ部により形成されるピントのぼけた
画像とが重なった画像から、ピントの合った画像を求め
る画像改質処理装置であって、被写体を二焦点レンズに
より撮像して得られた画像の出力信号を撮像素子から引
き出して記憶する出力信号記憶手段と、この出力信号記
憶手段に記憶した撮像素子の各画素の出力信号をＱ画素
×Ｑ画素の単位画面分だけ取り出してこれらの取り出し
た信号レベルＳ_xyについて下式（１３）に基づきディス
クリート・コサイン変換処理を行うことにより各空間周
波数に対応した信号レベルＳ^F _uvを求めるディスクリー
ト・コサイン変換処理手段と、このディスクリート・コ
サイン変換処理手段による処理で得られたＳ^F _uvのうち
ゼロの成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積に対
するピントの合った画像を形成する一方のレンズ部の面
積の割合を乗じ、この乗算により得られた値を新たなＳ
^F ₀₀の値とするピンぼけ画像消去処理手段と、このピン
ぼけ画像消去処理手段による処理後の信号レベルＳ^F _{u v}
について量子化処理を行う量子化処理手段と、この量子
化処理手段による処理で得られた量子化データを符号化
する符号化処理手段とを備えたことを特徴とするもので
ある。

【００６２】 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・（１３）

【００６３】ここで、ｕおよびｖは整数で、０≦ｕ≦
（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の
整数であり、Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０の
とき）、Ｃ_u，Ｃ_v＝１（ｕ，ｖ＝０以外のとき）であ
り、Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ
−１）の和である。

【００６４】このような本発明の画像改質処理装置にお
いては、前述した本発明の画像改質処理方法で得られる
作用・効果をそのまま得ることができる。

【００６５】さらに、本発明は、二焦点レンズを構成す
る一方のレンズ部により形成されるピントの合った画像
と、他方のレンズ部により形成されるピントのぼけた画
像とが重なった画像から、ピントの合った画像を求める
画像改質処理装置として、コンピュータを機能させるた
めのプログラムであって、被写体を二焦点レンズにより
撮像して得られた画像の出力信号を撮像素子から引き出
して記憶する出力信号記憶手段と、この出力信号記憶手
段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ
画素の単位画面分だけ取り出してこれらの取り出した信
号レベルＳ_xyについて下式（１４）に基づきディスクリ
ート・コサイン変換処理を行うことにより各空間周波数
に対応した信号レベルＳ^F _uvを求めるディスクリート・
コサイン変換処理手段と、このディスクリート・コサイ
ン変換処理手段による処理で得られたＳ^F _uvのうちゼロ
の成分Ｓ^F ₀₀の値に、二焦点レンズの全体面積に対する
ピントの合った画像を形成する一方のレンズ部の面積の
割合を乗じ、この乗算により得られた値を新たなＳ^F ₀₀
の値とするピンぼけ画像消去処理手段と、このピンぼけ
画像消去処理手段による処理後の信号レベルＳ^F _uvにつ
いて量子化処理を行う量子化処理手段と、この量子化処
理手段による処理で得られた量子化データを符号化する
符号化処理手段とを備えたことを特徴とする画像改質処
理装置として、コンピュータを機能させるためのもので
ある。

【００６６】 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・（１４）

【００６７】ここで、ｕおよびｖは整数で、０≦ｕ≦
（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の
整数であり、Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０の
とき）、Ｃ_u，Ｃ_v＝１（ｕ，ｖ＝０以外のとき）であ
り、Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ
−１）の和である。

【００６８】また、本発明は、二焦点レンズを構成する
一方のレンズ部により形成されるピントの合った画像
と、他方のレンズ部により形成されるピントのぼけた画
像とが重なった画像から、ピントの合った画像を求める
画像改質処理方法であって、撮像素子の大きさをＭ画素
×Ｎ画素とし、被写体を二焦点レンズにより撮像して得
られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，
ｋ）としたとき、下式（１５）に基づき座標（ｈ，ｋ）
を中心とするＱ画素×Ｑ画素の単位画面内での各出力信
号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出
するとともに、算出した移動平均値Ｚmean（ｈ，ｋ）を
用いて下式（１６）に基づきＺ（ｈ，ｋ）を画像改質処
理して得られる信号値Ｚnew（ｈ，ｋ）を算出すること
を特徴とするものである。

【００６９】 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・・（１５）

【００７０】Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・・（１６）

【００７１】ここで、Ｑは、３以上の奇数の自然数であ
り、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦
（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２
であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２
の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の
和であり、ｃは、比例係数で、二焦点レンズの全体面積
に対する一方のレンズ部の面積の比の値であり、ｋは、
正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にす
るための値である。

【００７２】このように移動平均をとって画像補正を行
うようにした場合には、ピンぼけ分の画像を除去するこ
とができるため、画像の質を改善することが可能とな
る。

【００７３】また、移動平均をとって減ずるだけの簡単
な演算処理であるため、計算量が少なく、短時間で処理
することが可能であることから、携帯型の情報端末装置
等にも好適に用いることができるようになり、これらに
より前記目的が達成される。

【００７４】そして、以上に述べた本発明の画像改質処
理方法を実現するための装置として、以下のような本発
明の画像改質処理装置を挙げることができる。

【００７５】すなわち、本発明は、二焦点レンズを構成
する一方のレンズ部により形成されるピントの合った画
像と、他方のレンズ部により形成されるピントのぼけた
画像とが重なった画像から、ピントの合った画像を求め
る画像改質処理装置であって、撮像素子の大きさをＭ画
素×Ｎ画素とし、被写体を二焦点レンズにより撮像して
得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，
ｋ）としたとき、下式（１７）に基づき座標（ｈ，ｋ）
を中心とするＱ画素×Ｑ画素の単位画面内での各出力信
号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出
する移動平均算出手段と、この移動平均算出手段により
算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（１
８）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる
信号値Ｚnew（ｈ，ｋ）を算出する画像補正手段とを備
えたことを特徴とするものである。

【００７６】 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・・（１７）

【００７７】 Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・・（１８）

【００７８】ここで、Ｑは、３以上の奇数の自然数であ
り、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦
（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２
であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２
の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の
和であり、ｃは、比例係数で、二焦点レンズの全体面積
に対する一方のレンズ部の面積の比の値であり、ｋは、
正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にす
るための値である。

【００７９】このような本発明の画像改質処理装置にお
いては、前述した本発明の画像改質処理方法で得られる
作用・効果をそのまま得ることができる。

【００８０】また、前述した画像改質処理装置におい
て、移動平均算出手段および画像補正手段は、デジタル
フィルタ回路を含んで構成されていることが望ましい。
このようにした場合には、移動平均算出手段および画像
補正手段による各処理をハードウェアで実現することが
できるので、計算処理時間を短くすることが可能とな
る。

【００８１】さらに、本発明は、二焦点レンズを構成す
る一方のレンズ部により形成されるピントの合った画像
と、他方のレンズ部により形成されるピントのぼけた画
像とが重なった画像から、ピントの合った画像を求める
画像改質処理装置として、コンピュータを機能させるた
めのプログラムであって、撮像素子の大きさをＭ画素×
Ｎ画素とし、被写体を二焦点レンズにより撮像して得ら
れた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）
としたとき、下式（１９）に基づき座標（ｈ，ｋ）を中
心とするＱ画素×Ｑ画素の単位画面内での各出力信号値
Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出する
移動平均算出手段と、この移動平均算出手段により算出
した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（２０）
に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号
値Ｚnew（ｈ，ｋ）を算出する画像補正手段とを備えた
ことを特徴とする画像改質処理装置として、コンピュー
タを機能させるためのものである。

【００８２】 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・・（１９）

【００８３】 Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・・（２０）

【００８４】ここで、Ｑは、３以上の奇数の自然数であ
り、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦
（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２
であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２
の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の
和であり、ｃは、比例係数で、二焦点レンズの全体面積
に対する一方のレンズ部の面積の比の値であり、ｋは、
正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にす
るための値である。

【００８５】なお、以上に述べたプログラムまたはその
一部は、例えば、光磁気ディスク（ＭＯ）、コンパクト
ディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−
ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライ
タブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディ
スク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−
ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモ
リ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（Ｆ
Ｄ）、磁気テープ、ハードディスク、読出し専用メモリ
（ＲＯＭ）、電気的消去および書換可能な読出し専用メ
モリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム
・アクセス・メモリ（ＲＡＭ）等の記録媒体に記録して
保存や流通等させることが可能であるとともに、例え
ば、ＬＡＮ、ＭＡＮ、ＷＡＮ、インターネット、イント
ラネット、エクストラネット等の有線ネットワーク、あ
るいは無線通信ネットワーク、さらにはこれらの組合せ
等の伝送媒体を用いて伝送することが可能であり、ま
た、搬送波に載せて搬送することも可能である。さら
に、以上に述べたプログラムは、他のプログラムの一部
分であってもよく、あるいは別個のプログラムと共に記
録媒体に記録されていてもよい。

【００８６】また、以上に述べた本発明のデータ記録媒
体としては、例えば、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、
ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、
磁気テープ、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、
フラッシュ・メモリ、ＲＡＭ、あるいはこれらの組合せ
等を採用することができる。

【００８７】さらに、以上に述べた本発明の各々の記載
（各請求項の記載）において、「ｃは、比例係数で、二
焦点レンズの全体面積に対する一方のレンズ部の面積の
比の値であり、」と定義されているが、この定義は厳密
な意味での定義ではなく、光の分割が面積に比例しない
場合もあるので、この定義の意味には、以下のようにし
てｃの値を求める場合も含まれている。すなわち、光の
量の分割比がレンズの面積比と一致しない場合には、ｃ
の値は、一方のレンズ部を通過して実際にセンサ（撮像
素子）に到達する光の量またはセンサの信号量と、レン
ズ全体（一方のレンズ部および他方のレンズ部を合わせ
た全体）を通過して実際にセンサに到達する光の量また
はセンサの信号量との比の値として求めてもよい。

【００８８】そして、以上に述べた本発明の各々の記載
（各請求項の記載）において定義されている各要素Ｗ
（ｘ，ｙ）の値には、次のような処理を行って定められ
る値も含まれる。すなわち、一方のレンズ部は、ピント
の合った画像を形成するものとされているが、実際に
は、この一方のレンズ部により形成される画像にも、収
差等によるボケが生じることがあるので、一方のレンズ
部により形成される画像は、Ｗ（０，０）の周囲に拡が
り、Ｗ（０，０）の周囲の要素も非零要素となり得る
（他方のレンズ部により形成されるピントのぼけた画像
を考慮しなくても、Ｗ（０，０）の周囲に、非零要素が
生じ得るということ）。従って、このような場合には、
Ｗ（０，０）の値およびＷ（０，０）の周囲に生じた非
零要素の値（但し、他方のレンズ部により形成される画
像がピンぼけして拡がる範囲は考慮せずに、一方のレン
ズ部により形成される画像がピンぼけして拡がる範囲内
の非零要素の値のみを考える。）を合計し、その合計値
をｃの値としてＷ（０，０）に入れ直すとともに、Ｗ
（０，０）の周囲に生じた非零要素の値（上記かっこ書
で述べた範囲内の非零要素の値のみ）をゼロにするとい
う修正作業を行い、これらの修正作業を経て作成された
各要素Ｗ（ｘ，ｙ）の値を用いて、畳み込み演算行列Ｑ
の各要素Ｑ（ｘ，ｙ）の値を算出すればよい。

【００８９】

【発明の実施の形態】以下に本発明の各実施形態を図面
に基づいて説明する。

【００９０】［第１実施形態］図１には、第１実施形態
の画像改質処理装置３０を含む撮像システム１０の全体
構成が示されている。また、図２には、画像改質処理装
置３０による処理対象となる画像を形成する二焦点レン
ズ２１の詳細構成が示されている。撮像システム１０
は、例えば、携帯電話機や携帯情報端末等の携帯型の情
報端末装置に設けられた撮像システム、あるいはパーソ
ナル・コンピュータおよびそれに接続されたカメラによ
り構成される撮像システム等である。

【００９１】図１において、撮像システム１０は、被写
体を撮像する撮像機構２０と、この撮像機構２０により
撮像された画像の質を改善する画像改質処理装置３０
と、この画像改質処理装置３０により質の改善を行った
画像を表示する表示手段４０とを備えている。

【００９２】撮像機構２０は、被写体を撮像する二焦点
レンズ２１と、この二焦点レンズ２１により形成された
画像を取り込む撮像素子２４とを含んで構成されてい
る。

【００９３】図２において、二焦点レンズ２１は、例え
ばガラス製の長焦点レンズ部２２と、例えばガラス製の
短焦点レンズ部２３とにより構成され、これらの長焦点
レンズ部２２および短焦点レンズ部２３は、同一の面に
配置されて一体化されている。長焦点レンズ部２２は、
例えば円形の正面形状を有し、中心に配置され、一方、
短焦点レンズ部２３は、例えば円環状（ドーナツ型）の
正面形状を有し、長焦点レンズ部２２の外側に長焦点レ
ンズ部２２の外縁部に接する状態で配置されている。そ
して、これらの長焦点レンズ部２２および短焦点レンズ
部２３は、両者の光軸が一致するように、すなわち同心
に配置されて一体化され、これにより二焦点レンズ２１
は、同心円型の二焦点レンズとなっている。また、これ
らの各レンズ部２２，２３が配置された面は、二焦点レ
ンズ２１の光軸に直交している。

【００９４】撮像素子２４としては、例えば、相補性金
属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxid
e Semiconductor）や電荷結合素子（ＣＣＤ：Charge Co
upled Device）等を採用することができる。撮像素子２
４の大きさは、縦方向Ｍ画素×横方向Ｎ画素であるもの
とする。

【００９５】画像改質処理装置３０は、撮像素子２４の
出力信号を引き出して記憶する出力信号記憶手段３１
と、後述する式（１−３３）または（１−３４）あるい
は（１−３７）に基づき予め算出された畳み込み演算行
列Ｑ（図７参照）の各要素Ｑ（ｘ，ｙ）の値のうちの少
なくとも一部を記憶する畳み込み演算行列記憶手段３２
と、被写体を再生する演算処理を行う再生演算手段３３
とを備えている。

【００９６】畳み込み演算行列記憶手段３２は、図７に
示された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値
のうちの少なくとも一部を、ｘ，ｙの並び順に従って表
の如く整列させて記憶するものである。少なくとも一部
であるから、全部を記憶しておいてもよいが、計算容量
およびメモリ容量を小さくするため、非零要素を含む行
列部分（図７の行列部分Ｈ）のみを記憶しておくことが
好ましい。従って、ここでは、非零要素を含む行列部分
Ｈのみを記憶するものとして説明を行う。

【００９７】再生演算手段３３は、畳み込み演算行列記
憶手段３２に記憶された畳み込み演算行列Ｑの各要素Ｑ
（ｘ，ｙ）の値（行列部分Ｈの各値）と、出力信号記憶
手段３１に記憶された画像の出力信号を示す行列Ｚの各
要素Ｚ（ｈ，ｋ）の値とを用い、後述する式（１−３
６）に基づき、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の
値を算出する処理を行うものである。なお、畳み込み演
算行列Ｑの各要素Ｑ（ｘ，ｙ）のうちの非零要素を含む
行列部分（図７の行列部分Ｈ）以外の部分、すなわち、
畳み込み演算行列記憶手段３２に記憶されない部分につ
いては、零要素であるので、計算は行われない。

【００９８】出力信号記憶手段３１および畳み込み演算
行列記憶手段３２としては、例えば、ハードディスク、
ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、
ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−
ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいは
これらの組合せ等を採用することができる。

【００９９】再生演算手段３３は、撮像システム１０を
構成する各種の情報端末装置（例えば、携帯電話機や携
帯情報端末等の携帯型の情報端末装置、あるいはカメラ
を接続したパーソナル・コンピュータ、監視カメラ装置
等）の内部に設けられた中央演算処理装置（ＣＰＵ）、
およびこのＣＰＵの動作手順を規定する一つまたは複数
のプログラムにより実現される。

【０１００】表示手段４０としては、例えば、液晶ディ
スプレイ、ＣＲＴディスプレイ、プロジェクタおよびス
クリーン、あるいはこれらの組合せ等を採用することが
できる。

【０１０１】以下には、畳み込み演算行列記憶手段３２
に記憶される畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）
の算出方法およびその根拠、並びに再生演算手段３３に
より行われる演算処理の根拠を説明する。

【０１０２】前提条件として、ここでは、標準的な距離
にある通常の被写体（例えば、人物や風景等）を二焦点
レンズ２１により撮像する場合、従って、内側の長焦点
レンズ部２２によりピントの合った画像が形成され、外
側の環状の短焦点レンズ部２３によりピントのぼけた画
像が形成される場合の説明を行うものとする。但し、本
発明の適用は、このような場合に限定されるものではな
い。

【０１０３】先ず、被写体と画像に関する基本的な事項
について説明を行う。図３は、被写体と、この被写体を
二焦点レンズ２１により撮像して得られる画像との関係
の説明図である。なお、レンズによって形成される像
は、一般には倒立像であるため、図３では、物体と像と
で座標軸の向きを逆にとることにより、互いに対応する
物体の位置と像の位置とが同じ座標になるようにしてい
る。

【０１０４】＜単一輝点の像による二焦点レンズ２１の
特性の表現＞図３に示すように、１点（座標（ｍ，
ｎ））のみに輝点のある被写体αmnを二焦点レンズ２１
で撮像すると、像Ｚmnが形成される。ここで、ｍおよび
ｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、但し、Ｍおよ
びＮは撮像素子２４の縦横の画素数である。また、座標
（ｍ，ｎ）とは、撮像素子２４上の座標（表示した画素
番号）（ｍ，ｎ）に投影される被写体上の対応する点を
意味する。さらに、αmnやＺmnは、Ｍ×Ｎ（Ｍ行Ｎ列）
の行列を表し、その要素は、Ｍ画素×Ｎ画素の撮像素子
２４上の対応する座標の輝度（明るさ）あるいは出力信
号の大きさを示す。

【０１０５】この像Ｚmnを、内側の長焦点レンズ部２２
により形成されるピントの合った像Ｂmnと、外側の環状
の短焦点レンズ部２３により形成される環状のボケ画像
Ｄmnとに分割すると、次の式（１−１）のように表すこ
とができる。

【０１０６】 Ｚmn＝Ｂmn＋Ｄmn ・・・・・・・・・・・・・・・・・・・（１−１）

【０１０７】ここで、Ｚmn、Ｂmn、Ｄmnは、撮像素子２
４上の像を表現するＭ行Ｎ列の行列であるが、撮像素子
２４上の座標（ｈ，ｋ）（ｈおよびｋは自然数、１≦ｈ
≦Ｍ、１≦ｋ≦Ｎ）に対応した画素の明るさは、Ｚmn
（ｈ，ｋ）、Ｂmn（ｈ，ｋ）、Ｄmn（ｈ，ｋ）のように
表現される。また、αmnは被写体を表すＭ行Ｎ列の行列
であるが、その座標（ｓ，ｔ）（ｓおよびｔは自然数、
１≦ｓ≦Ｍ、１≦ｔ≦Ｎ）における被写体の明るさは、
αmn（ｓ，ｔ）のように表現され、これらの各要素αmn
（ｓ，ｔ）の値は、次の式（１−２）のように表すこと
ができる。

【０１０８】 αmn（ｓ，ｔ）＝δs-m,t-n ・・・・・・・・・・・・・・（１−２）

【０１０９】ここで、δはクロネッカー（Kronecker）
のデルタで、δs-m,t-n＝１（ｓ＝ｍ，ｔ＝ｎの場
合）、δs-m,t-n＝０（ｓ＝ｍ，ｔ＝ｎ以外の場合）で
ある。

【０１１０】前記式（１−１）で示されるように、座標
（ｍ，ｎ）のみに輝点のある被写体αmnの二焦点レンズ
２１による像Ｚmnは、内側の長焦点レンズ部２２による
ピントの合った像Ｂmnと、外側の短焦点レンズ部２３に
よるリング状のボケ画像Ｄmnとの重なったものである
が、その様子が、図３の撮像素子２４上に示されてい
る。但し、図３は斜視図であるため、リング状のボケ画
像Ｄmnは、実際には楕円環状ではなく円環状である。

【０１１１】図３の撮像素子２４上において、Ｂmnは、
座標（ｍ，ｎ）にゼロでない要素（信号）があり、他の
要素はすべてゼロとなる行列であり、Ｄmnは、座標
（ｍ，ｎ）を中心としたドーナツ状あるいはリング状の
ピントのボケた画像、いわゆるピンぼけ画像を示す行列
になる。そして、このＤmnのドーナツの外径と内径は、
二焦点レンズ２１を構成する外側の短焦点レンズ部２３
の外径と内径に比例した大きさになる。なお、この検討
では、二焦点レンズ２１を構成する外側の短焦点レンズ
部２３により形成されるボケが広範囲に拡がり、Ｄmnの
要素の値は、Ｂmnに比べて十分小さいものとしている。

【０１１２】＜被写体全体の画像＞被写体の各点（ｓ，
ｔ）がそれぞれＡ（ｓ，ｔ）の明るさを持つとすると、
被写体の発する光の全体は、ｓ行ｔ列にＡ（ｓ，ｔ）の
値の要素を持つ行列Ａで表現される。これを被写体Ａと
いうように表現する。そうすると、被写体Ａは、αmn
（点（ｍ，ｎ）に輝点のある被写体）を用いて、次の式
（１−３）のように表すことができる。

【０１１３】 Ａ＝ΣmΣn［Ａ（ｍ，ｎ）αmn］ ・・・・・・・・・・・・（１−３）

【０１１４】ここで、Σmは、ｍ＝１〜Ｍの和、Σnは、
ｎ＝１〜Ｎの和を表す。以下においても同様である。

【０１１５】また、物体Ａと像Ｚとの変換関係と、αmn
と像Ｚmnとの変換関係とは、同じ一次元の写像と考えら
れるので、次の式（１−４）のように表すことができ
る。

【０１１６】 Ｚ＝ΣmΣn［Ａ（ｍ，ｎ）Ｚmn］ ・・・・・・・・・・・・（１−４）

【０１１７】さらに、ピントの合った画像Ｂとピンぼけ
画像Ｄとを別個に表現すれば、次の式（１−５）および
（１−６）のように表現することができる。

【０１１８】 Ｂ＝ΣmΣn［Ａ（ｍ，ｎ）Ｂmn］ ・・・・・・・・・・・・（１−５）

【０１１９】 Ｄ＝ΣmΣn［Ａ（ｍ，ｎ）Ｄmn］ ・・・・・・・・・・・・（１−６）

【０１２０】そして、被写体Ａの画像Ｚは、ピントの合
った画像Ｂとピンぼけ画像Ｄとの和になるので、次の式
（１−７）のようになる。

【０１２１】 Ｚ＝ΣmΣn［Ａ（ｍ，ｎ）Ｚmn］＝ΣmΣn［Ａ（ｍ，ｎ）（Ｂmn＋Ｄmn）］ ＝ΣmΣn［Ａ（ｍ，ｎ）Ｂmn］＋ΣmΣn［Ａ（ｍ，ｎ）Ｄmn］ ＝Ｂ＋Ｄ ・・・・・・・・・・・・・・・・・・・・・・（１−７）

【０１２２】＜巨大ベクトルによる物体や像の表現方法
＞以上の説明では、画像を撮像素子２４の画面の形（Ｍ
画素×Ｎ画素）に同形のＭ行Ｎ列の行列で表現するとと
もに、被写体もまた撮像素子２４の画面の相似形として
表現されるとして同じくＭ行Ｎ列の行列で表現してい
る。ところで、被写体Ａから画像Ｚを導く計算式は、後
述する式（１−３５）に示す形式で表現することがで
き、これは一般に畳み込み演算というものである。従っ
て、この計算式を逆に解くことができれば、二焦点レン
ズ２１で撮像された画像Ｚからピントの合った画像を計
算できるが、この計算式からでは直接に導くことができ
ないので、被写体および画像をＭ行Ｎ列の行列表現から
Ｍ×Ｎ個の要素を持つベクトル表現に変換する。この場
合の変換方法として、画像行列の各行（第１行〜第Ｍ
行）を一番上の行から順番に横一列に並べ、それを行列
演算しやすいように縦ベクトルにする。その具体例を例
えば画像Ｚについて以下に挙げる。このようにして形成
されたＭ×Ｎ個の要素を持つ画像表現ベクトルを巨大ベ
クトルと称することとする。

【０１２３】

【数１】

【０１２４】上記の行列：Ｚに対し、巨大ベクトル：Ｚ
は、次の式（１−８）のようになる。なお、式（１−
８）において、上付きのtは縦横の転置、つまり横ベク
トルから縦ベクトルへの変換を示す。

【０１２５】 巨大ベクトル：Ｚ＝ ^t[Z(1),Z(2),…,Z(N),Z(N+1),…,Z(2×N),…,Z((h-1)×N+1),…,Z(h×N), …,Z((M-1)×N+1),…,Z(M×N-1),Z(M×N)]・・・・・・・・・・（１−８）

【０１２６】以上の巨大ベクトル表現については、これ
まで出てきた被写体のＡやαmn、画像のＢ、ＤやＺmn、
Ｂmn、Ｄmnについても同様に適用することができる。

【０１２７】＜巨大行列による被写体からの画像形成の
表現＞以上の画像を表す巨大ベクトルを用いて、被写体
から画像を形成するための「被写体から画像への一次変
換（写影）」を表現する行列について検討する。被写
体、画像を表現する巨大ベクトルについては、例えば、
Ｚ、Ｚmnのように、行列表現の場合と同じ記号を用いる
ものとする。

【０１２８】理想的な二焦点レンズ２１を考える。座標
（ｍ，ｎ）における単一輝点被写体αmnのピントの合っ
た画像Ｂmnは、Ｕを（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を
持つ単位行列とすると、次の式（１−９）のように表す
ことができる。

【０１２９】 Ｂmn＝ｃＵαmn ・・・・・・・・・・・・・・・・・・・・（１−９）

【０１３０】ここで、ｃは比例係数で、二焦点レンズ２
１のピントの合った画像を形成する部分である長焦点レ
ンズ部２２の面積に比例する。この場合は、二焦点レン
ズ２１が理想レンズなのでこのように表現できる。な
お、光の量の分割比がレンズの面積比と一致しない場合
には、ｃの値は、面積比で定めるのではなく、二焦点レ
ンズ２１のピントの合った画像を形成する部分である長
焦点レンズ部２２を通過して実際に撮像素子２４に到達
する光の量または撮像素子２４の信号量と、二焦点レン
ズ２１の全体を通過して実際に撮像素子２４に到達する
光の量または撮像素子２４の信号量との比の値として求
めてもよい。

【０１３１】一方、ピントの合わない画像を形成する変
換処理の行列をΔ（（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を
持つ行列）とすると、次の式（１−１０）のように表現
できる。

【０１３２】 Ｄmn＝Δαmn ・・・・・・・・・・・・・・・・・・・・（１−１０）

【０１３３】従って、２つの画像が重なった画像Ｚmn
は、次の式（１−１１）のように表現できる。

【０１３４】 Ｚmn＝Ｂmn＋Ｄmn＝（ｃＵ＋Δ）αmn ・・・・・・・・・（１−１１）

【０１３５】上記の式（１−９）〜（１−１１）におけ
る行列Ｕ、Δは、（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持
ち、画像を表現するＭ行Ｎ列の行列に比べてＭ×Ｎ倍の
大きさ（要素数）を持つので、巨大行列と称して区別す
ることにする。前記式（１−４）に、式（１−１１）を
代入すると、次の式（１−１２）のようになり、被写体
と二焦点レンズ２１による画像との関係は、簡単な変換
式で表現される。

【０１３６】 Ｚ＝ΣmΣn［Ａ（ｍ，ｎ）Ｚmn］ ＝ΣmΣn［Ａ（ｍ，ｎ）（ｃＵ＋Δ）αmn］ ＝（ｃＵ＋Δ）ΣmΣn［Ａ（ｍ，ｎ）αmn］ ＝（ｃＵ＋Δ）Ａ ・・・・・・・・・・・・・・・・・（１−１２）

【０１３７】＜巨大行列の内容＞ここで、巨大行列の形
・内容を具体的に見てみる。先ず、巨大行列ｃＵは、対
角項がすべてｃとなるＭ×Ｎ行Ｍ×Ｎ列の行列である。
また、Δは部分的にｃに比べて十分小さな値の要素を持
つＭ×Ｎ行Ｍ×Ｎ列の行列である。その内容は、前記式
（１−１０）における巨大ベクトル（縦ベクトル）Ｄmn
を用いると、次の式（１−１３）のようになる。

【０１３８】 Δ＝｛Ｄ₁₁ Ｄ₁₂ … Ｄ_1N Ｄ₂₁ Ｄ₂₂ … Ｄ_2N … Ｄ_M1 Ｄ_M2 … Ｄ_MN｝ ・・・・・・・・・（１−１３）

【０１３９】ここで、上記式（１−１３）における巨大
ベクトル（縦ベクトル）Ｄmnに、前記式（１−８）の表
現を用いると、Δを次の式（１−１４）のように表すこ
とができる。

【０１４０】

【数２】

【０１４１】そして、上記式（１−１４）ように表され
たΔにｃＵを加えると、ｃＵが対角項のみにｃという値
の入った巨大行列であることを考慮すれば、（ｃＵ＋
Δ）は、次の式（１−１５）のように、Δの対角項にｃ
が加わった値を要素に持つ巨大行列になる。

【０１４２】

【数３】

【０１４３】この巨大行列（ｃＵ＋Δ）は、前記式（１
−１１）を考慮すると、次の式（１−１６）のようにも
表現できる。

【０１４４】

【数４】

【０１４５】つまり、式（１−１５）と式（１−１６）
との巨大行列（ｃＵ＋Δ）の要素を比較すると、次の式
（１−１７）が得られる。

【０１４６】 Ｚmn（ｊ）＝ｃ＋Ｄmn（ｊ） （ｊ＝（ｍ−１)×Ｎ＋ｎの場合） ＝Ｄmn（ｊ） （ｊ＝（ｍ−１)×Ｎ＋ｎ以外の場合） ・・・・・・・・・・・・・・・・・・・・（１−１７）

【０１４７】ここで、ｊは自然数で、１≦ｊ≦Ｍ×Ｎで
ある。上記式（１−１７）により、画像形成の一次変換
の巨大行列（ｃＵ＋Δ）の要素は、Δの要素Ｄmn（ｊ）
を求めることにより確定する。Δを構成する各列の縦ベ
クトルＤmnは、式（１−１４）から明らかなように任意
の位置にある単一輝点被写体によるドーナツ状のピンぼ
け画像を表す巨大ベクトルと等価であるから、ドーナツ
状のピンぼけ画像を求めることによりΔの各要素の値を
確定することができる。

【０１４８】次に、二焦点レンズ２１により形成される
ピントの合った画像とピンぼけ画像との重なった画像か
ら、被写体にピントの合った画像を求める方法について
説明する。

【０１４９】＜基本的な考え方＞画像改善の基本は、前
記式（１−１２）において、巨大行列（ｃＵ＋Δ）と、
撮影した画像Ｚとを既知として、被写体に相当する画像
Ａを求めることである。つまり、次の式（１−１８）に
示される逆行列（ｃＵ＋Δ）^-1を求めることに尽きる。

【０１５０】 Ａ＝（ｃＵ＋Δ）^-1Ｚ ・・・・・・・・・・・・・・・（１−１８）

【０１５１】巨大行列の大きさは、例えば、Ｍ＝６４０
画素、Ｎ＝４８０画素（３０万画素相当）として、Ｍ×
Ｎ＝３０７，２００となり、その大きさ（要素数）は、
（Ｍ×Ｎ）²≒９００万となる。従って、この逆行列を
求めることは相当の計算時間を要するため現実的ではな
い。

【０１５２】そこで、Δの各要素の値が、ｃに比べて十
分小さいという仮定をおく。この仮定は、ボケの大きさ
が直径１０画素以上であれば十分であり、二焦点レンズ
２１の口径比、レンズ口径、各レンズ部２２，２３の焦
点距離を設計上調整すればよい。このような前提条件を
おいて、式（１−１８）の逆行列を近似法で簡易に求め
る方法を説明する。先ず、一般論として、次の式（１−
１９）が成立する。

【０１５３】 (ｃＵ＋Δ)^-1＝(Ｕ＋Δ／ｃ)^-1／ｃ ＝Σp(−Δ／ｃ)^p-1／ｃ （ｐ＝１〜∞） ・・・・・・・・・・・・・・・（１−１９）

【０１５４】但し、行列のゼロ乗は単位行列Ｕになると
する。上記式（１−１９）において、Δ／ｃが十分小さ
いと仮定して、最初の３項までとり、以下の項を棄却す
ると、次の式（１−２０）のようになる。なお、詳細は
後述するが、これよりも高次の展開を必要とする場合も
ある。

【０１５５】 (ｃＵ＋Δ)^-1≒（Ｕ−Δ／ｃ＋Δ²／ｃ²）／ｃ ≒（Ｕ−Δ／ｃ）／ｃ （Δ／ｃがさらに小さいとき） ・・・・・・・・・・・・・・・（１−２０）

【０１５６】そして、上記の式（１−２０）を前記式
（１−１８）に代入すると、次の式（１−２１）が得ら
れる。

【０１５７】 Ａ＝（ｃＵ＋Δ）^-1Ｚ ≒（１／ｃ）（Ｕ−Δ／ｃ）Ｚ （＝ＴＺ） ・・・・・（１−２１）

【０１５８】＜被写体から画像への変換巨大行列の逆行
列＞逆行列の近似計算の結果として得られる巨大行列の
各要素の値を求める。逆行列を次のようにＴとおく。Ｔ
は、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆行列である。

【０１５９】 （ｃＵ＋Δ）^-1＝（１／ｃ）（Ｕ−Δ／ｃ）≡Ｔ

【０１６０】上記の巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）
の値を、前記式（１−１４）を用いて表示すると、次の
式（１−２２）のようになる。但し、ｉおよびｊは自然
数で、１≦ｉ≦Ｍ×Ｎ、１≦ｊ≦Ｍ×Ｎである。

【０１６１】

【数５】

【０１６２】ここで、Ｄmn（ｊ）（巨大ベクトル表現）
は、Ｄmn（ｈ，ｋ）（行列表現）が求まれば、機械的に
求めることができる。そして、Ｄmn（ｈ，ｋ）（行列表
現）は、以下に示すように二焦点レンズ２１の特性から
一義的に求めることができる。

【０１６３】＜Ｄmn（ｈ，ｋ）の値＞単一輝点の被写体
αmnにより形成されるピンぼけ画像Ｄmnの（ｈ，ｋ）要
素Ｄmn（ｈ，ｋ）（行列表現）は、以下のようにして求
めることができる。

【０１６４】二焦点レンズ２１の内側および外側の円の
撮像素子２４上での半径をそれぞれｒ_iおよびｒ_oとす
る。ｒ_iは、長焦点レンズ部２２の外径（半径）、すな
わち短焦点レンズ部２３の内径（半径）に対応し、ｒ_o
は、短焦点レンズ部２３の外径（半径）に対応する。ま
た、撮像素子２４の一つの画素の大きさをp×pとする。

【０１６５】ピンぼけ画像を形成するレンズ部が外側の
短焦点レンズ部２３であるとすると、αmnによるピンぼ
け画像Ｄmnは、（ｍ，ｎ）を中心とする半径ｒ_i／pから
ｒ_o／pまでのドーナツ状になる（図３参照）。画像Ｚmn
の全体の明るさの総量を１とすれば、ピントの合った画
像Ｂmnの明るさはｃとなり、ピンぼけ画像Ｄmnの明るさ
の総量は（１−ｃ）となり、次の式（１−２３）が成立
する。

【０１６６】 ｃ＝πｒ_i ²／πｒ_o ²＝ｒ_i ²／ｒ_o ² ・・・・・・・・・・（１−２３）

【０１６７】また、ピンぼけ画像Ｄmn中の画素当たりの
平均的な明るさεは、ピンぼけ画像Ｄmnの全体の明るさ
が（１−ｃ）なので、次の式（１−２４）のように表す
ことができる。

【０１６８】 ε＝（１−ｃ）×p²／（πｒ_o ²−πｒ_i ²） ・・・・・・（１−２４）

【０１６９】上記の式（１−２４）を用いると、Ｄmn
（ｈ，ｋ）の値は、次の式（１−２５）で表すことがで
きる。

【０１７０】 Ｄmn（ｈ，ｋ） ＝ε（（ｒ_i／ｐ）²≦（ｈ−ｍ）²＋（ｋ−ｎ）²≦（ｒ_o／ｐ）²の場合） ＝０（上記の範囲外） ・・・・・・・・・・・・・・・・・・・・・・・・・（１−２５）

【０１７１】ここで、撮像素子２４上での半径ｒ_iおよ
びｒ_oは、実験により求めることが好ましいが、二焦点
レンズ２１を構成する各レンズ部２２，２３の内外径、
各レンズ部２２，２３の焦点距離、および二焦点レンズ
２１と撮像素子２４との間の距離を用いて計算により求
めてもよい。

【０１７２】以上により、単一輝点の被写体αmnに対す
るピンぼけ画像Ｄmnの行列表現の各要素Ｄmn（ｈ，ｋ）
の値をすべて求めることができる。従って、この行列表
現の場合の各要素Ｄmn（ｈ，ｋ）の値から、巨大ベクト
ル表現をした場合のＤmnの各要素Ｄmn（ｊ）の値を容易
に求めることができるので、前記式（１−２２）に基づ
き巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）の値をすべて求め
ることができる。

【０１７３】＜畳み込み演算行列Ｗの導入＞ところで、
巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）は、以下のような別
の考え方をしても求めることができる。すなわち、先
ず、図４に示すように、（１，１）要素のみに輝点のあ
る被写体α₁₁により形成される画像Ｚ₁₁と、（１，Ｎ）
要素のみに輝点のある被写体α_1Nにより形成される画像
Ｚ_1Nと、（Ｍ，１）要素のみに輝点のある被写体α_M1に
より形成される画像Ｚ_M1と、（Ｍ，Ｎ）要素のみに輝点
のある被写体α_MNにより形成される画像Ｚ_MNとの４つの
画像行列を用いて構成される（２Ｍ−１）行（２Ｎ−
１）列の行列Ｗを考える。

【０１７４】図４において、行列Ｗは、右下部分に画像
行列Ｚ₁₁を配置し、左下部分に画像行列Ｚ_1Nを配置し、
右上部分に画像行列Ｚ_M1を配置し、左上部分に画像行列
Ｚ_MNを配置して構成されている。但し、各画像行列
Ｚ₁₁，Ｚ_1N，Ｚ_M1，Ｚ_MNは、１行分または１列分だけ重
なって配置されている。ここで、Ｗ（ｘ，ｙ）は、行列
Ｗの各要素であり、次の式（１−２６）のように規定さ
れ、ｘおよびｙは、正負のいずれの値もとる整数で、
（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−
１）である。なお、Ｗ（ｘ，ｙ）の各値は、これらの各
要素の値の総和が１になるように正規化されている。

【０１７５】 Ｗ（ｘ，ｙ）＝Ｚ₁₁（ｘ＋１，ｙ＋１） （ｘ≧０，ｙ≧０） ＝Ｚ_1N（ｘ＋１，ｙ＋Ｎ） （ｘ≧０，ｙ≦０） ＝Ｚ_M1（ｘ＋Ｍ，ｙ＋１） （ｘ≦０，ｙ≧０） ＝Ｚ_MN（ｘ＋Ｍ，ｙ＋Ｎ） （ｘ≦０，ｙ≦０） ・・・・・・・・・・・・・・・・・・・（１−２６）

【０１７６】また、行列Ｗは、別の表現をすれば、次の
ようになる。すなわち、行列Ｗは、単一輝点被写体αmn
によるＭ行Ｎ列の画像行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ
−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座
標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように
平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零
要素（図４中のｃやε）を含む行列部分Ｅを行列Ｗの中
央部に配置するとともに、中央部に配置された非零要素
を含む行列部分Ｅの外側部分を零要素で埋めることによ
り構成されている。

【０１７７】そして、非零要素を含む行列部分Ｅは、例
えば、３１画素×３１画素分に収まる程度の大きさ等で
ある。非零要素を含む行列部分Ｅに含まれるｃの値は、
例えば、ｃ＝０．８等であり、εの値は、例えば、ε＝
０．００１３等である。但し、これらの数値に限定され
るものではない。また、図４では、εは、１行または１
列分の幅で線状に記載されているが、実際には、複数行
または複数列の幅で帯状に配置される。例えば、Ｗ
（０，０）＝ｃを中心として、７行または７列分の幅で
零要素（Ｗ（ｘ，ｙ）＝０）が円環状に配置され、その
外側に８行または８列分の幅でε（Ｗ（ｘ，ｙ）＝ε）
が円環状に配置される等である。

【０１７８】次に、行列Ｗにおいて、Ｍ行Ｎ列の切出行
列Ｋを図４中の実線位置から点線位置のように１行また
は１列ずつ位置をずらしながら移動させることにより、
行列Ｗの各要素Ｗ（ｘ，ｙ）の中からＭ×Ｎ個の要素を
切り出せば、その切り出した要素により構成される各行
列Ｋ₁₁，Ｋ₁₂…Ｋ_MNは、画像行列Ｚmn（１≦ｍ≦Ｍ，１
≦ｎ≦Ｎ）と同じになる。例えば、Ｚ₁₁と同じになる切
出行列Ｋ₁₁は、次の式（１−２７）のようになる。

【０１７９】

【数６】

【０１８０】上記の式（１−２７）におけるＫ₁₁は、行
列表現であるが、これを巨大ベクトル表現にすると、次
の式（１−２８）のような縦ベクトルになる。

【０１８１】 巨大ベクトル：Ｋ₁₁＝ ^t｛W(0,0),W(0,1),W(0,2),…,W(0,N-1),W(1,0),W(1,1),W(1,2),…,W(1,N-1), …,W(M-1,0),W(M-1,1),W(M-1,2),…,W(M-1,N-1)｝・・・・・（１−２８）

【０１８２】同様にして、図４において、切出行列Ｋを
１列分だけ左方向に移動して切り出しを行うと、Ｚ₁₂と
同じになる切出行列Ｋ₁₂が、次の式（１−２９）のよう
に得られ、また、その巨大ベクトル表現が、次の式（１
−３０）のように得られる。

【０１８３】

【数７】

【０１８４】 巨大ベクトル：Ｋ₁₂＝ ^t｛W(0,-1),W(0,0),W(0,1),…,W(0,N-2),W(1,-1),W(1,0),W(1,1), …,W(1,N-2),…,W(M-1,-1),W(M-1,0),W(M-1,1),…,W(M-1,N-2)｝ ・・・・・・・・・・・・・・（１−３０）

【０１８５】このようにして切出行列Ｋを順次移動させ
てＫ₁₁，Ｋ₁₂…Ｋ_MNが得られれば、変換巨大行列（ｃＵ
＋Δ）は、これらの縦ベクトルＫ₁₁，Ｋ₁₂…Ｋ_MNを用い
て、次の式（１−３１）のように表すことができる。

【０１８６】 （ｃＵ＋Δ）＝｛Ｋ₁₁ Ｋ₁₂…Ｋ_1N Ｋ₂₁ Ｋ₂₂…Ｋ_2N…Ｋ_M1 Ｋ_M2…Ｋ_MN｝ ・・・・・・・・・・・・・（１−３１）

【０１８７】ここで、上記式（１−３１）における巨大
ベクトル（縦ベクトル）Ｋ₁₁，Ｋ₁₂…Ｋ_MNに、前記式
（１−２８）および（１−３０）の表現を用いると、
（ｃＵ＋Δ）を次の式（１−３２）のように表すことが
できる。

【０１８８】

【数８】

【０１８９】上記式（１−３２）において変換巨大行列
（ｃＵ＋Δ）の対角項は、全てＷ（０，０）となること
がわかる。これを具体的に表現してみると、図５のよう
になる。図５において、対角項は、Ｗ（０，０）＝ｃで
一定であり、対角項以外の部分には、ｃに比べて微小な
数値であるεが対角項と平行に現れている。これは、図
４と図５とを見比べることにより、理解することができ
る。

【０１９０】従って、前記式（１−２０）により、変換
巨大行列（ｃＵ＋Δ）の逆行列である巨大逆行列Ｔは、
具体的に表現すると、図６のようになる。図６におい
て、対角項は、１／ｃで一定であり、対角項以外の部分
には、ｃに比べて微小な数値である−ε／ｃ²が対角項
と平行に現れている。

【０１９１】＜畳み込み演算行列Ｑの導入＞ここで、図
４に示した（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各
要素Ｗ（ｘ，ｙ）を切出行列Ｋで切り出すことにより、
図５に示すような変換巨大行列（ｃＵ＋Δ）が得られる
ことを考えれば、図６に示すような巨大逆行列Ｔを構成
することができる（２Ｍ−１）行（２Ｎ−１）列の行列
Ｑを考えることができる。

【０１９２】このような行列Ｗに対応する行列Ｑは、図
７のようになる。これは、図６と図７とを見比べること
により、理解することができる。図７において、行列Ｑ
の中央部は、Ｑ（０，０）＝１／ｃを中心として、円環
状に−ε／ｃ²が配置された構成となっている。その他
の部分は、零要素である。つまり、Ｑ（ｘ，ｙ）は、次
の式（１−３３）のようになる。

【０１９３】 Ｑ（ｘ，ｙ）＝１／ｃ （ｘ＝０，ｙ＝０の場合） ＝−ε／ｃ² （（ｒ_i／ｐ）²≦ｘ²＋ｙ²≦（ｒ_o／ｐ）²の場合） ＝０ （上記以外の場合） ・・・・・・・・・・・・・・・・・・・（１−３３）

【０１９４】ここで、ｘおよびｙは整数で、（１−Ｍ）
≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であ
る。なお、図７の行列Ｑにおけるｃやεの値は、図４の
行列Ｗにおけるｃやεの値と同じである。

【０１９５】なお、本第１実施形態で説明を行っている
状況設定の場合（ピンぼけ画像Ｄmnが円環状になる場
合）に限らず、例えば、ピンぼけ画像Ｄmnが円形状や楕
円形状や多角形状になる場合等も含め、上記式（１−３
３）を一般化すると、次の式（１−３４）のようにな
る。なお、前述した式（１−２０）よりも高次の展開を
考慮した場合には、より一般的な形の式になるが、これ
についての詳細は後述する。

【０１９６】 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ² （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ² （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・（１−３４）

【０１９７】一方、画像行列Ｚの各要素Ｚ（ｈ，ｋ）の
値は、上述した行列Ｗを用いて、次の式（１−３５）に
基づき畳み込み演算を行うことにより、被写体の行列Ａ
の各要素Ａ（ｍ，ｎ）の値から算出することができる。
従って、行列Ｗは、畳み込み演算処理を行うための畳み
込み演算行列である。

【０１９８】 Ｚ（ｈ，ｋ）＝Σ_mΣ_nＷ（ｈ−ｍ，ｋ−ｎ）Ａ（ｍ，ｎ） ・・・・・・・・・・・・・・・・・・・（１−３５）

【０１９９】ここで、ｈおよびｋは自然数で、１≦ｈ≦
Ｍ、１≦ｋ≦Ｎであり、ｍおよびｎは自然数で、１≦ｍ
≦Ｍ、１≦ｎ≦Ｎであり、Σ_mは、ｍ＝１〜Ｍの和であ
り、Σ_nは、ｎ＝１〜Ｎの和である。

【０２００】これと同様に考えれば、被写体の行列Ａの
各要素Ａ（ｓ，ｔ）の値は、上述した行列Ｑを用いて、
次の式（１−３６）に基づき畳み込み演算を行うことに
より、画像行列Ｚの各要素Ｚ（ｈ，ｋ）の値から算出す
ることができる。従って、行列Ｑも、畳み込み演算処理
を行うための畳み込み演算行列である。

【０２０１】 Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・（１−３６）

【０２０２】ここで、ｓおよびｔは自然数で、１≦ｓ≦
Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ
≦Ｍ、１≦ｋ≦Ｎであり、Σ_hは、ｈ＝１〜Ｍの和であ
り、Σ_kは、ｋ＝１〜Ｎの和である。

【０２０３】以上により、畳み込み演算行列Ｑを用いて
畳み込み演算を行えば、被写体の行列Ａの各要素Ａ
（ｓ，ｔ）の値を再生する再生演算処理を行うことがで
きることがわかる。

【０２０４】ところで、以上の説明では、Ｃの値が、
０．５近傍（０．５も含む。以下、同様）以外の値のと
きについて成立し得る処理やその根拠について述べてき
た。一方、Ｃの値が、０．５に近づくと、式（１−２
０）に示された展開では不十分であり、より高次の展開
を必要とする。従って、式（１−３４）についても、よ
り高次の展開に対応した形にする必要がある。

【０２０５】しかし、式（１−２０）に比べ、より高次
の展開を行うことは計算式が複雑になり、処理の複雑化
や遅延化を招くことになるので好ましくない。そこで、
Ｃの値が、０．５近傍の値のときにも対応し得る形で、
式（１−３４）を簡易的に次の式（１−３７）のように
置き換える。なお、このような置き換えにより高次の展
開と同等な効果を得られることは、多くの演算を繰り返
した結果、本願出願人により見出された。

【０２０６】 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・（１−３７）

【０２０７】ここで、ｐｏｗｅｒの値は、ｃの値に応じ
て決定すればよい。この際、ｃの値が、０．５近傍のと
きには、ｐｏｗｅｒの値を２以外の値とする必要があ
る。より具体的には、ｃの値が、０．５近傍のときに
は、ｐｏｗｅｒの値を１以上２未満とし、より好ましく
は１とする。一方、ｃの値が、０．５近傍以外のときに
は、１以上２以下とする。

【０２０８】また、以上の説明では、二焦点レンズ２１
のピントの合った画像を形成する部分である長焦点レン
ズ部２２は、ボケの無い画像を形成するという前提で、
説明が行われている。従って、長焦点レンズ部２２によ
り形成される画像には、Ｗ（０，０）にのみ非零要素が
あり、その値はｃであるという仮定を置いている。

【０２０９】しかし、実際には、長焦点レンズ部２２に
より形成される画像には、収差等によるボケが生じるこ
とがあるので、長焦点レンズ部２２により形成される画
像は、Ｗ（０，０）の周囲に拡がり、Ｗ（０，０）の周
囲の要素も非零要素となり得る。例えば、Ｗ（ｘ，ｙ）
の中心では、Ｗ（０，０）＝０．４１となり、その周囲
の要素については、Ｗ（０，１）＝Ｗ（０，−１）＝Ｗ
（１，０）＝Ｗ（−１，０）＝０．０８、Ｗ（１，１）
＝Ｗ（１，−１）＝Ｗ（−１，１）＝Ｗ（−１，−１）
＝０．０２となり、それ以外の要素については、Ｗ
（ｘ，ｙ）＝０となる等である。

【０２１０】そこで、長焦点レンズ部２２により形成さ
れる画像に、収差等によるボケが生じ、Ｗ（０，０）以
外の要素も非零要素となる場合には、Ｗ（０，０）の値
およびＷ（０，０）の周囲に生じた非零要素の値を合計
し、その合計値をｃの値としてＷ（０，０）に入れ直す
とともに、Ｗ（０，０）の周囲に生じた非零要素の値を
ゼロにするという修正作業を行い、これらの修正作業を
経て作成された各要素Ｗ（ｘ，ｙ）の値を用いて、畳み
込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を算出すれば
よい。例えば、前述した具体的数値例の場合には、中心
の要素の値０．４１と、周囲の４要素の値０．０８×４
と、周囲の別の４要素の値０．０２×４とを合計する
と、０．８１になるので、Ｗ（０，０）＝ｃ＝０．８１
とするとともに、Ｗ（０，１）＝Ｗ（０，−１）＝Ｗ
（１，０）＝Ｗ（−１，０）＝Ｗ（１，１）＝Ｗ（１，
−１）＝Ｗ（−１，１）＝Ｗ（−１，−１）＝０とす
る。

【０２１１】このような第１実施形態においては、以下
のようにして画像改質処理装置３０により、二焦点レン
ズ２１を用いて被写体を撮像して得られた画像の質の改
善が図られる。

【０２１２】先ず、被写体の撮像を行う前に、式（１−
３３）または（１−３４）、あるいは（１−３７）に基
づき、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を
予め算出し、画像改質処理装置３０の畳み込み演算行列
記憶手段３２に記憶しておく。なお、記憶するのは、非
零要素を含む行列部分Ｈの各値のみでよい（図７参
照）。

【０２１３】次に、撮像機構２０により被写体を撮像す
る。この際、被写体から発せられた光は、二焦点レンズ
２１の各レンズ部２２，２３を通過して撮像素子２４に
至る。そして、被写体からの光を受けた撮像素子２４の
出力信号を引き出して画像改質処理装置３０に取り込
み、出力信号記憶手段３１に記憶する。

【０２１４】続いて、再生演算手段３３により、畳み込
み演算行列記憶手段３２に記憶された各要素Ｑ（ｘ，
ｙ）の値（図７の行列部分Ｈの各値）と、出力信号記憶
手段３１に記憶された画像の出力信号を示す行列Ｚの各
要素Ｚ（ｈ，ｋ）の値とを用い、式（１−３６）に基づ
き被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出す
る。

【０２１５】その後、求めた被写体の行列Ａの各要素Ａ
（ｓ，ｔ）の値を用い、撮像対象となった被写体を表示
手段４０の画面上に表示する。また、必要に応じ、図示
されないプリンター等の出力手段により、被写体の印刷
を行ってもよい。

【０２１６】このような第１実施形態によれば、次のよ
うな効果がある。すなわち、再生演算手段３３による演
算処理は、式（１−３３）または（１−３４）、あるい
は（１−３７）に基づき予め算出されて畳み込み演算行
列記憶手段３２に記憶された（２Ｍ−１）行（２Ｎ−
１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値
（本第１実施形態では、さらにその一部である非零要素
を含む行列部分Ｈの各値）を用いて行われるので、式
（１−２２）で示されるＭ×Ｎ行Ｍ×Ｎ列の巨大逆行列
Ｔを用いて演算処理を行う場合に比べ、非常に少ない計
算量で、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算
出することができる。

【０２１７】例えば、Ｍ＝３００画素、Ｎ＝４００画素
とすれば、巨大逆行列Ｔを用いる場合の計算量（Ｍ×
Ｎ）×（Ｍ×Ｎ）＝１．４４×１０¹⁰回に対し、畳み込
み演算行列Ｑを用いる場合の計算量は、（２Ｍ−１）×
（２Ｎ−１）＝約４８万回となり、さらに、畳み込み演
算行列Ｑの中の非零要素を含む行列部分Ｈのみを用いる
場合の計算量は、例えば３１×３１＝約１０００回程度
となる。

【０２１８】このため、短時間の処理で、ピントの合っ
た画像を求めて被写体を再生することができるので、二
焦点レンズ２１で撮像された画像の質を短時間の処理で
改善することができ、ピント合わせ機構を用いることな
く、標準的な距離にある通常の被写体およびこれよりも
近距離にある近接被写体のいずれもについても鮮明な画
像を得ることができる。

【０２１９】また、再生演算手段３３による演算処理が
非常に少ない計算量であることから、例えば携帯電話機
や携帯情報端末等の携帯型の情報端末装置に搭載されて
いる程度のＣＰＵの能力でも短時間の処理で実行するこ
とができる。従って、二焦点レンズ２１を備えた携帯型
の情報端末装置に本発明を適用すれば、情報端末装置の
使い勝手や性能の向上を図ることができる。

【０２２０】［第２実施形態］図８には、本発明の第２
実施形態の画像改質処理装置２３０を含む撮像システム
２００の全体構成が示されている。撮像システム２００
は、前記第１実施形態の撮像システム１０と画像改質処
理装置２３０の構成が異なるのみであるので、同一部分
には同一符号を付して詳しい説明は省略し、以下には異
なる部分のみを説明する。

【０２２１】図８において、画像改質処理装置２３０
は、出力信号記憶手段２３１と、畳み込み演算行列記憶
手段２３２と、再生演算手段２３３と、シェージング補
正行列記憶手段２３４と、シェージング補正手段２３５
とを備えている。これらのうち、出力信号記憶手段２３
１、畳み込み演算行列記憶手段２３２、および再生演算
手段２３３は、前記第１実施形態の出力信号記憶手段３
１、畳み込み演算行列記憶手段３２、および再生演算手
段３３と同じである。

【０２２２】シェージング補正行列記憶手段２３４は、
二焦点レンズ２１への光の入射角の不均一により画像周
辺部の受光量が減少するシェージングの影響を補正する
ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
（ｓ，ｔ）の値を記憶するものである。

【０２２３】ここで、シェージング補正行列Φの各要素
Φ（ｓ，ｔ）の値は、次のように求められる。先ず、均
一白色の被写体（フラットな被写体）を撮像して形成さ
れる画像の各要素の出力信号値をΨ（ｓ，ｔ）とする。
このΨ（ｓ，ｔ）の値は、実験により求めることが好ま
しいが、計算により求めてもよい。計算の場合には、二
焦点レンズ２１の中央部の法線から測った被写体上の点
の方位角θによる余弦値ｃｏｓθを用いて求めることが
できる。このとき、シェージング補正行列Φの各要素Φ
（ｓ，ｔ）の値は、次の式（２−１）のようになる。

【０２２４】 Φ（ｓ，ｔ）＝１／Ψ（ｓ，ｔ） ・・・・・・・・・・・・（２−１）

【０２２５】ここで、ｓおよびｔは自然数で、１≦ｓ≦
Ｍ、１≦ｔ≦Ｎである。なお、Ψ（ｓ，ｔ）の値は、最
大の明るさ（輝度）となる要素の出力信号値が１になる
ように正規化されている。

【０２２６】シェージング補正手段２３５は、シェージ
ング補正行列記憶手段２３４に記憶された各要素Φ
（ｓ，ｔ）の値と、再生演算手段２３３による処理を行
って得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値
とを用いて、次の式（２−２）に基づき、シェージング
補正を行った被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）
を算出する処理を行うものである。

【０２２７】 Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・（２−２）

【０２２８】シェージング補正行列記憶手段２３４は、
畳み込み演算行列記憶手段２３２と同様に、例えば、ハ
ードディスクやＲＯＭ等により実現される。

【０２２９】シェージング補正手段２３５は、再生演算
手段２３３と同様に、中央演算処理装置（ＣＰＵ）、お
よびこのＣＰＵの動作手順を規定する一つまたは複数の
プログラムにより実現される。

【０２３０】このような第２実施形態においては、以下
のようにして画像改質処理装置２３０により、二焦点レ
ンズ２１を用いて被写体を撮像して得られた画像の質の
改善が図られる。

【０２３１】先ず、シェージング補正行列Φの各要素Φ
（ｓ，ｔ）の値をシェージング補正行列記憶手段２３４
に記憶しておく。

【０２３２】次に、前記第１実施形態と同様な処理を行
い、再生演算手段２３３による処理を行った後に、シェ
ージング補正手段２３５により、各要素Φ（ｓ，ｔ）の
値と、再生演算手段２３３による処理で得られた被写体
の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて、式（２
−２）に基づき、シェージング補正を行った被写体の行
列Ａ^shの各要素Ａ^sh（ｓ，ｔ）の値を算出する。

【０２３３】このような第２実施形態によれば、前記第
１実施形態で得られる効果に加え、シェージング補正手
段２３５による処理を行うので、シェージングの影響が
排除されるため、画像の質を、より一層改善することが
できるという効果がある。

【０２３４】［第３実施形態］図９には、本発明の第３
実施形態の画像改質処理装置３３０を含む撮像システム
３００の全体構成が示されている。撮像システム３００
は、前記第１実施形態の撮像システム１０と画像改質処
理装置３３０の構成が異なるのみであるので、同一部分
には同一符号を付して詳しい説明は省略し、以下には異
なる部分のみを説明する。

【０２３５】図９において、画像改質処理装置３３０
は、出力信号記憶手段３３１と、畳み込み演算行列記憶
手段３３２と、再生演算手段３３３と、シェージング補
正行列記憶手段３３４と、シェージング補正手段３３５
とを備えている。これらのうち、出力信号記憶手段３３
１、畳み込み演算行列記憶手段３３２、および再生演算
手段３３３は、前記第１実施形態の出力信号記憶手段３
１、畳み込み演算行列記憶手段３２、および再生演算手
段３３と同じである。

【０２３６】シェージング補正行列記憶手段３３４は、
二焦点レンズ２１への光の入射角の不均一により画像周
辺部の受光量が減少するシェージングの影響を補正する
ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
（ｈ，ｋ）の値を記憶するものである。

【０２３７】ここで、シェージング補正行列Φの各要素
Φ（ｈ，ｋ）の値は、前記第２実施形態と同様にして、
Ψ（ｈ，ｋ）を用いて求められる。

【０２３８】シェージング補正手段３３５は、シェージ
ング補正行列記憶手段３３４に記憶された各要素Φ
（ｈ，ｋ）の値と、画像の出力信号の行列Ｚの各要素Ｚ
（ｈ，ｋ）の値とを用いて、次の式（３−１）に基づ
き、シェージング補正を行った画像の出力信号の行列Ｚ
^shの各要素Ｚ^sh（ｈ，ｋ）を算出し、得られたＺ
^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として再生演算
手段３３３による処理に使用されるようにする処理を行
うものである。

【０２３９】 Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・（３−１）

【０２４０】ここで、ｈおよびｋは自然数で、１≦ｈ≦
Ｍ、１≦ｋ≦Ｎである。

【０２４１】シェージング補正行列記憶手段３３４は、
畳み込み演算行列記憶手段３３２と同様に、例えば、ハ
ードディスクやＲＯＭ等により実現される。

【０２４２】シェージング補正手段３３５は、再生演算
手段３３３と同様に、中央演算処理装置（ＣＰＵ）、お
よびこのＣＰＵの動作手順を規定する一つまたは複数の
プログラムにより実現される。

【０２４３】このような第３実施形態においては、以下
のようにして画像改質処理装置３３０により、二焦点レ
ンズ２１を用いて被写体を撮像して得られた画像の質の
改善が図られる。

【０２４４】先ず、シェージング補正行列Φの各要素Φ
（ｈ，ｋ）の値をシェージング補正行列記憶手段３３４
に記憶しておく。

【０２４５】次に、再生演算手段３３３による処理を行
う前に、シェージング補正手段３３５により、各要素Φ
（ｈ，ｋ）の値と、画像の出力信号の行列Ｚの各要素Ｚ
（ｈ，ｋ）の値とを用いて、式（３−１）に基づき、シ
ェージング補正を行った画像の出力信号の行列Ｚ^shの各
要素Ｚ^sh（ｈ，ｋ）の値を算出した後、得られたＺ
^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）とする。

【０２４６】続いて、シェージング補正手段３３５によ
る処理を経たＺ（ｈ，ｋ）の値を用いて、前記第１実施
形態と同様に、再生演算手段３３３による処理およびそ
の後の処理を行う。

【０２４７】このような第３実施形態によれば、前記第
１実施形態で得られる効果に加え、シェージング補正手
段３３５による処理を行うので、シェージングの影響が
排除されるため、画像の質を、より一層改善することが
できるという効果がある。

【０２４８】［第４実施形態］図１０には、本発明の第
４実施形態の画像改質処理装置４３０の一部を構成する
デジタルフィルタ回路４３３の詳細構成が示されてい
る。前記第１、第２、第３実施形態では、各再生演算手
段３３，２３３，３３３は、中央演算処理装置（ＣＰ
Ｕ）およびこのＣＰＵの動作手順を規定する一つまたは
複数のプログラムにより実現されていたが、本第４実施
形態では、再生演算手段は、図１０に示すようなデジタ
ルフィルタ回路４３３により実現されている。その他の
構成は、前記第１、第２、第３実施形態と同様である。

【０２４９】デジタルフィルタ回路４３３は、再生演算
手段による処理、すなわち前記第１実施形態の式（１−
３６）に基づく畳み込み演算行列Ｑを用いた畳み込み演
算処理を、ハードウェアにより実現するものである。

【０２５０】なお、図１０では、説明を簡略化するため
に、前記第１実施形態の式（１−３３）または（１−３
４）、あるいは（１−３７）で規定される畳み込み演算
行列Ｑの各要素Ｑ（ｘ，ｙ）の値を３画素×３画素分だ
け用いる場合の回路が図示されている。しかし、実際に
は、図７の非零要素を含む行列部分Ｈの画素分（例えば
３１画素×３１画素分）だけＱ（ｘ，ｙ）の値が用いら
れるので、デジタルフィルタ回路４３３の大きさは、も
っと大きくなるが、各構成回路の配置方法は、図１０と
同様である。

【０２５１】図１０において、デジタルフィルタ回路４
３３は、順次入力されてくる画像の出力信号の行列Ｚの
各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素
Ｑ（ｘ，ｙ）の値を乗ずるための複数（図１０では、９
個）の乗算回路４０１〜４０９と、これらの乗算回路４
０１〜４０９からの出力信号を加算する複数（図１０で
は、８個）の加算回路４１１〜４１８と、順次入力され
る各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うた
めの複数（図１０では、８個）のディレイ回路４２１〜
４２８とを備えている。

【０２５２】乗算回路４０１，４０２，４０３，４０
４，４０５，４０６，４０７，４０８，４０９は、それ
ぞれＱ（−１，−１），Ｑ（−１，０），Ｑ（−１，
１），Ｑ（０，−１），Ｑ（０，０），Ｑ（０，１），
Ｑ（１，−１），Ｑ（１，０），Ｑ（１，１）の各値を
乗ずるための回路である。

【０２５３】ディレイ回路４２１〜４２６は、画素から
画素に移る時間だけ信号を遅らせる１クロックディレイ
を行うための回路であり、ディレイ回路４２７，４２８
は、行から行に移る時間だけ信号を遅らせる１Ｈディレ
イを行うための回路である。

【０２５４】このような第４実施形態によれば、前記第
１〜第３実施形態で得られる効果に加え、畳み込み演算
行列Ｑを用いた畳み込み演算処理を、ハードウェアによ
り実現することができるので、画像改質に要する処理時
間を、より一層短くすることができるという効果があ
る。

【０２５５】［第５実施形態］図１１には、本発明の第
５実施形態の画像改質処理装置５３０を含む撮像システ
ム５００の全体構成が示されている。撮像システム５０
０は、前記第１実施形態の撮像システム１０と画像改質
処理装置５３０の構成が異なるのみであるので、同一部
分には同一符号を付して詳しい説明は省略し、以下には
異なる部分のみを説明する。

【０２５６】図１１において、撮像システム５００は、
被写体を撮像する撮像機構２０と、この撮像機構２０に
より撮像された画像の質を改善する画像改質処理装置５
３０と、この画像改質処理装置５３０により質の改善を
行った画像を表示する表示手段４０とを備えている。こ
れらのうち撮像機構２０および表示手段４０の構成は、
前記第１実施形態の場合と同様である。

【０２５７】画像改質処理装置５３０は、出力信号記憶
手段５３１と、ディスクリート・コサイン変換処理手段
５３２と、ピンぼけ画像消去処理手段５３３と、量子化
処理手段５３４と、符号化処理手段５３５と、余弦値記
憶手段５３６とを含んで構成されている。

【０２５８】出力信号記憶手段５３１は、被写体を二焦
点レンズ２１により撮像して得られた画像の出力信号を
撮像素子２４から引き出して記憶するものである。

【０２５９】ディスクリート・コサイン変換処理手段
（ＤＣＴ処理手段）５３２は、出力信号記憶手段５３１
に記憶した撮像素子２４の各画素の出力信号をＱ画素×
Ｑ画素（ここでは、８画素×８画素として説明を行うも
のとする。）の単位画面分だけ取り出し、取り出した信
号レベルＳ_xyについて後述する式（５−１）に基づきデ
ィスクリート・コサイン変換処理（ＤＣＴ処理）を行う
ことにより各空間周波数に対応した信号レベルＳ^F _uvを
求める処理を行うものである。このＤＣＴ処理は、通常
のＪＰＥＧによる画像の圧縮処理で行うものと同様の処
理である。

【０２６０】ピンぼけ画像消去処理手段５３３は、ディ
スクリート・コサイン変換処理手段５３２による処理で
得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、二焦点レ
ンズ２１の全体面積に対するピントの合った画像を形成
するレンズ部（長焦点レンズ部２２または短焦点レンズ
部２３）の面積の割合を乗じ、この乗算により得られた
値を新たなＳ^F ₀₀の値とする処理を行うものである。

【０２６１】量子化処理手段５３４は、ピンぼけ画像消
去処理手段５３３による処理後の信号レベルＳ^F _uvにつ
いて量子化処理を行うものである。この量子化処理は、
通常のＪＰＥＧによる画像の圧縮処理で行うものと同様
の処理である。

【０２６２】符号化処理手段５３５は、量子化処理手段
５３４による処理で得られた量子化データを符号化する
処理を行うものである。この符号化処理は、通常のＪＰ
ＥＧによる画像の圧縮処理で行うものと同様の処理であ
る。

【０２６３】余弦値記憶手段５３６は、ＤＣＴ処理手段
５３２による演算処理で用いる後述する式（５−１）中
のcos（余弦）の値を、xとｕ、および、yとvの各組み合
わせについて格納して記憶するテーブルである。

【０２６４】出力信号記憶手段５３１および余弦値記憶
手段５３６としては、例えば、ハードディスク、ＲＯ
Ｍ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、Ｍ
Ｏ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ
ＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこ
れらの組合せ等を採用することができる。

【０２６５】ＤＣＴ処理手段５３２、ピンぼけ画像消去
処理手段５３３、量子化処理手段５３４、および符号化
処理手段５３５は、撮像システム５００を構成する各種
の情報端末装置（例えば、携帯電話機や携帯情報端末等
の携帯型の情報端末装置、あるいはカメラを接続したパ
ーソナル・コンピュータ、監視カメラ装置等）の内部に
設けられた中央演算処理装置（ＣＰＵ）、およびこのＣ
ＰＵの動作手順を規定する一つまたは複数のプログラム
により実現される。

【０２６６】以下には、画像改質処理装置５３０により
行われる各種演算処理の根拠を説明する。

【０２６７】前記第１実施形態の説明で述べたように、
光軸を共有する二焦点レンズ２１による撮像素子２４上
の画像は、内側に配置された長焦点レンズ部２２と、外
側に配置された短焦点レンズ部２３とのうちの、一方の
レンズ部によるピントの合った画像と、他方のレンズ部
によるピントの合わない画像（いわゆるピンぼけ画像）
との重ね合せになっている。

【０２６８】この際、ピントの合わない画像は、レンズ
部の口径および倍率を適切に選ぶことにより、被写体の
情報をほとんど失った、画面内の受光量の変動の少ない
画像になる。

【０２６９】以上のことを考慮すると、ピンぼけ画像を
適切な方法で消去できれば、ピントの合った画像の再生
を実現することができる。そして、画像改善処理時間
（計算量／処理能力）をできるだけ少なくすることがで
きる簡易な消去方法とすれば、携帯情報端末のＣＰＵの
能力の範囲内でも短時間に処理することができるように
なる。そこで、以下では、処理時間を極力短くする消去
方法について説明する。

【０２７０】先ず、ピンぼけ画像消去処理の基本的な考
え方を説明する。

【０２７１】＜画像改善処理の対象となる画像と消去処
理の基本的な方法＞二焦点レンズ２１により形成された
ピントの合った画像とピンぼけ画像との重なった画像
を、画像改善処理の対象とする。ピンぼけ画像は、画面
内でほぼ完全に被写体の情報を失っており、画面の各位
置の、すなわち撮像素子２４の画素毎の出力信号レベル
の変動も少ないものとする。この場合、二焦点レンズ２
１の画像から、ピンぼけ画像（の信号値）を差し引くこ
とでピントの合った画像を形成することができる。な
お、ピンぼけ画像の信号値を求める際には、被写体上に
おける任意の点の広がり範囲での平均値は、両方のレン
ズ部２２，２３の面積に比例すると考えてよい。

【０２７２】＜消去処理時間の短縮のための方法＞先
ず、撮像素子２４の出力信号データ（＝ビットマップデ
ータ）を適当な方法で圧縮する。ここでは、ＪＰＥＧデ
ータに変換することとする。ＪＰＥＧでは、各画素を８
×８画素の単位で分割して処理する。従って、ピンぼけ
画像消去もこの分割を利用して実行する。すなわち、Ｊ
ＰＥＧで各分割単位毎のディスクリート・コサイン変換
（ＤＣＴ）を実行し、その周波数成分を用いて、信号レ
ベルの平均値をとる。この平均値を、ピントの合ったデ
ータとピンぼけデータとの平均光量比により按分し、ピ
ンぼけ画像の信号の平均値相当分を元のデータから差し
引くことで、ピントの合った画像のみを残す。そして、
分割された８×８画素の単位画面で行う一連の処理を、
撮像素子２４の面上の全ての単位画面について繰り返し
て行う。

【０２７３】次に、実際のデータ処理について説明す
る。ここでは、ＪＰＥＧの圧縮処理の実行過程に、ピン
ぼけ画像消去処理も入れることとして、その実際的なア
ルゴリズムについて説明する。

【０２７４】＜ＤＣＴ処理＞前述したように８×８画素
を一単位として分割された単位画面内の各画素の信号レ
ベルをＳ_xy（ｘ，ｙは８×８画素の単位画面内の位置座
標を示し、それぞれ０〜７の値をとる。）とし、Ｓ_xyを
ＤＣＴ処理した各空間周波数成分の信号レベルをＳ^F _uv
（ｕ，ｖは空間周波数を示し、それぞれ０〜７の値をと
る。）とすると、次の式（５−１）が成立する。

【０２７５】 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・・（５−１）

【０２７６】ここで、Σ_xはｘ＝０〜７の和を示し、Σ_y
はｙ＝０〜７の和を示す。また、Ｃ _u，Ｃ_vは、次の式
（５−２）で示される値をとる。

【０２７７】 Ｃ_u，Ｃ_v＝１／（２^1/2）（ｕ，ｖ＝０のとき） ＝１ （ｕ，ｖ＝０以外のとき） ・・・・・・・・・・・・・・・・・・・・・（５−２）

【０２７８】一方、ＤＣＴ逆変換は、次の式（５−３）
のようになる。

【０２７９】 Ｓ_xy＝（１／４）×Σ_uΣ_vＣ_uＣ_vＳ^F _uv ×cos［(2x+1)uπ／16］cos［(2y+1)vπ／16］・・・・（５−３）

【０２８０】ここで、Σ_uはｕ＝０〜７の和を示し、Σ_v
はｖ＝０〜７の和を示す。しかし、実際には、量子化処
理によりゼロでないＳ^F _uvの数は６４個より遥かに少な
く、ほぼ１０個程度と考えられる。

【０２８１】＜ピンぼけ画像の消去処理＞ここで、前記
式（５−３）を用いて８×８画素に分割された単位画面
内の信号レベルＳ_xyの総和Ｓsumを求めると、次の式
（５−４）のようになる。

【０２８２】 Ｓsum ＝Σ_xΣ_yＳ_xy ＝（１／４）×Σ_uΣ_vＣ_uＣ_vＳ^F _uv ×Σ_xΣ_ycos［(2x+1)uπ／16］cos［(2y+1)vπ／16］ ＝１６Σ_uΣ_vＣ_uＣ_vＳ^F _uv ×Π_mcos(２^m-1uπ／16)Π_ncos(２^n-1vπ／16) ＝８Ｓ^F ₀₀ ・・・・・・・・・・・・・・・・・・・・・・・・（５−４）

【０２８３】ここで、Π_mはｍ＝１〜４の積を示し、Π_n
はｎ＝１〜４の積を示すが、ｕ＝０，ｖ＝０以外ではΣ
記号（あるいはΠ記号）の中はゼロになるので、最終的
には、Ｓsumは上記の式（５−４）の右辺の最後尾に示
すように８Ｓ^F ₀₀になる。従って、各画素の信号レベル
Ｓ_xyの平均値Ｓmeanは、次のように表すことができる。

【０２８４】 Ｓmean＝Ｓsum／６４＝Ｓ^F ₀₀／８

【０２８５】ピンぼけ画像の消去処理後の信号をＳp_xy
とし、また、ピンぼけ画像を生成する側のレンズ部を通
過する光量の割合は、両レンズ部２２，２３の開口面積
の按分比によって決まるので、その全光量に対する割合
をρとすると、次の式（５−５）が成立する。

【０２８６】 Ｓp_xy＝Ｓ_xy−ρ×Ｓmean ・・・・・・・・・・・・・・・（５−５）

【０２８７】上記の式（５−５）を前記式（５−１）に
代入すると、次の式（５−６）のようになる。

【０２８８】 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_y（Ｓp_xy＋ρ×Ｓmean） ×cos［(2x+1)uπ／16］cos［(2y+1)vπ／16］ ＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳp_xy ×cos［(2x+1)uπ／16］cos［(2y+1)vπ／16］ ＋（１／４）×ρ×Ｓmean×Ｃ_uＣ_v ×Σ_xΣ_ycos［(2x+1)uπ／16］cos［(2y+1)vπ／16］ ・・・・・・・・・・・・・・（５−６）

【０２８９】ここで、次の式（５−７）のようにおく
と、式（５−８）および式（５−９）が得られる。

【０２９０】 Ｓp^F _uv＝Ｓ^F _uv−Ｃ_uv ・・・・・・・・・・・・・・・・（５−７）

【０２９１】 Ｓp^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳp_xy ×cos［(2x+1)uπ／16］cos［(2y+1)vπ／16］・・（５−８）

【０２９２】 Ｃ_uv＝（１／４）×ρ×Ｓmean×Ｃ_uＣ_v ×Σ_xΣ_ycos［(2x+1)uπ／16］cos［(2y+1)vπ／16］ ＝１６×ρ×Ｓmean×Ｃ_uＣ_v ×Π_mcos(２^m-1uπ／16)Π_ncos(２^n-1vπ／16)・・・（５−９）

【０２９３】上記の式（５−９）において、Π_mはｍ＝
１〜４の積を示し、Π_nはｎ＝１〜４の積を示すが、ｕ
＝０，ｖ＝０以外ではΣ記号（あるいはΠ記号）の中は
ゼロになるので、結果として、次の式（５−１０）のよ
うになる。

【０２９４】 Ｃ_uv＝８×ρ×Ｓmean＝ρ×Ｓ^F ₀₀ （ｕ＝ｖ＝０のとき） ＝０ （ｕ＝ｖ＝０以外のとき）・・（５−１０）

【０２９５】従って、消去処理後の信号Ｓp^F _uvと、処理
前の信号Ｓ^F _uvとの関係は、式（５−７）および式（５
−１０）より、次のようになる。

【０２９６】 Ｓp^F ₀₀＝Ｓ^F ₀₀−Ｃ₀₀＝Ｓ^F ₀₀−ρ×Ｓ^F ₀₀＝（１−ρ）×Ｓ^F ₀₀ （ｕ＝ｖ＝０のとき） Ｓp^F _uv＝Ｓ^F _uv−Ｃ_uv＝Ｓ^F _uv−０＝Ｓ^F _uv （ｕ＝ｖ＝０以外のとき）

【０２９７】以上のように、ピンぼけ画像の消去処理で
は、ＤＣＴにおける空間周波数ゼロの成分のみその値を
（１−ρ）倍にすれば、消去処理は完了する。また、以
上の一連の処理は、８×８画素の単位画面内での処理で
あるが、この処理を撮像素子２４上に分割形成された単
位画面の数だけ実行すればよい。

【０２９８】このような第５実施形態においては、以下
のようにして画像改質処理装置５３０により、二焦点レ
ンズ２１を用いて被写体を撮像して得られた画像の質の
改善が図られる。

【０２９９】先ず、撮像機構２０により被写体を撮像す
る。この際、被写体から発せられた光は、二焦点レンズ
２１の各レンズ部２２，２３を通過して撮像素子２４に
至る。そして、被写体からの光を受けた撮像素子２４か
ら、画素数分の出力信号データを引き出して画像改質処
理装置５３０に取り込み、出力信号記憶手段５３１に記
憶する。

【０３００】続いて、ＤＣＴ処理手段５３２により、出
力信号記憶手段５３１記憶した画像データから８×８画
素の単位画面分のデータを読み込み、前記式（５−１）
に基づきＤＣＴの処理計算を行い、各空間周波数に対応
した信号レベルＳ^F _uvを求める。この際、式（５−１）
中のcos（余弦）の値は、余弦値記憶手段５３６に記憶
された値を読み込んで使用するため、その都度の計算は
行われない。

【０３０１】次に、ピンぼけ画像消去処理手段５３３に
より、Ｓ^F ₀₀（u＝０，v＝０）の値に、二焦点レンズ２
１の全体面積に対するピントの合った画像を形成するレ
ンズ部の面積の割合（１−ρ）をかけて得られる値を、
新しいＳ^F ₀₀とする処理を行う。つまり、前記式（５−
１０）により、消去処理後の信号Ｓp^F _uvと、処理前の信
号Ｓ^F _uvとが異なるのは、ｕ＝ｖ＝０のときだけである
から、Ｓ^F ₀₀にだけ（１−ρ）を乗じれば、ピンぼけ画
像の消去処理が完了する。

【０３０２】その後、ＤＣＴ処理手段５３２およびピン
ぼけ画像消去処理手段５３３による各処理を経たＳ^F _uv
について、量子化処理手段５３４による処理を行うな
ど、ＪＰＥＧの通常の処理を行うと、Ｓ^F _uvは高次のu、
vに対してほとんどゼロになるので、データ量は大幅に
圧縮される。

【０３０３】さらに、このようにして求められたＳ^F _uv
を、符号化処理手段５３５により、ｕ＋ｖの小さい順に
それまでのゼロ要素の数とセットにしてメモリに収容す
る（ＪＰＥＧの処理）。

【０３０４】そして、以上のＤＣＴ処理手段５３２、ピ
ンぼけ画像消去処理手段５３３、量子化処理手段５３
４、および符号化処理手段５３５による一連の処理を、
撮像素子２４上の全ての単位画面に対して繰り返す（Ｊ
ＰＥＧの処理）。これらの処理により、ピンぼけ画像を
消去した画像のＪＰＥＧ形式でのファイルを得ることが
できる。

【０３０５】このような第５実施形態によれば、次のよ
うな効果がある。すなわち、ピンぼけ画像消去処理手段
５３３による処理は、ＤＣＴ処理を行って得られたＳ^F
_uvのうちゼロの成分Ｓ^F ₀₀の値のみに（１−ρ）を乗
じ、この乗算により得られた値を新たなＳ^F ₀₀の値とす
るという簡単な処理を行うだけであり、残りの処理は、
通常のＪＰＥＧによる画像の圧縮処理と同様であるた
め、少ない計算量で一連の処理を実行することができ
る。

【０３０６】つまり、ＤＣＴを主体とするＪＰＥＧの圧
縮法を用いることにより、その処理途中にピンぼけ画像
の消去処理を簡単に盛込むことができるので、ＪＰＥＧ
処理とほとんど同程度の処理時間でピンぼけ画像の消去
処理を行うことができる。

【０３０７】このため、短時間の処理で、ピントのぼけ
た画像を消去してピントの合った画像を求め、画像の質
の改善を図ることができるうえ、計算量が少ないことか
ら、例えば携帯電話機や携帯情報端末等の携帯型の情報
端末装置に搭載されている程度のＣＰＵの能力でも短時
間の処理で実行することができる。従って、二焦点レン
ズ２１を備えた携帯型の情報端末装置に本発明を適用す
れば、情報端末装置の使い勝手や性能の向上を図ること
ができる。

【０３０８】［第６実施形態］図１２には、本発明の第
６実施形態の画像改質処理装置６３０を含む撮像システ
ム６００の全体構成が示されている。撮像システム６０
０は、前記第１実施形態の撮像システム１０と画像改質
処理装置６３０の構成が異なるのみであるので、同一部
分には同一符号を付して詳しい説明は省略し、以下には
異なる部分のみを説明する。

【０３０９】図１２において、撮像システム６００は、
被写体を撮像する撮像機構２０と、この撮像機構２０に
より撮像された画像の質を改善する画像改質処理装置６
３０と、この画像改質処理装置６３０により質の改善を
行った画像を表示する表示手段４０とを備えている。こ
れらのうち撮像機構２０および表示手段４０の構成は、
前記第１実施形態の場合と同様である。

【０３１０】画像改質処理装置６３０は、出力信号記憶
手段６３１と、移動平均算出手段６３２と、画像補正手
段６３３とを含んで構成されている。

【０３１１】出力信号記憶手段６３１は、被写体を二焦
点レンズ２１により撮像して得られた画像の各要素の出
力信号値Ｚ（ｈ，ｋ）を撮像素子２４から引き出して記
憶するものである。

【０３１２】移動平均算出手段６３２は、次の式（６−
１）に基づき、図１３に示すような座標（ｈ，ｋ）を中
心とするＱ画素×Ｑ画素の単位画面Ｆ内での各出力信号
値Ｚ（ｈ，ｋ）の平均値Ｚmean（ｈ，ｋ）を算出する処
理を行うものである。そして、Ｑ画素×Ｑ画素の単位画
面Ｆは、処理の対象となる出力信号値Ｚ（ｈ，ｋ）の移
動とともに移動するため、Ｚmean（ｈ，ｋ）は移動平均
値となる。

【０３１３】 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・（６−１）

【０３１４】ここで、Ｑは、３以上の奇数の自然数であ
り、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ
であり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦
（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２
であり、Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２
の和、Σ_yは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の
和である。

【０３１５】画像補正手段６３３は、移動平均算出手段
６３２により算出した移動平均値Ｚmean（ｈ，ｋ）を用
いて、次の式（６−２）に基づき、Ｚ（ｈ，ｋ）を画像
改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出す
る処理を行うものである。この処理は、ピンぼけ分の信
号を減算してから、減算後の信号を元の信号レベルに戻
していることに相当する。

【０３１６】 Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・（６−２）

【０３１７】ここで、ｃは、比例係数で、二焦点レンズ
２１の全体面積に対するピントの合った画像を形成する
レンズ部の面積の比の値であり、ｋは、正規化係数であ
り、Ｚnew（ｈ，ｋ）の最大値を１にするための値であ
る。なお、光の量の分割比がレンズの面積比と一致しな
い場合には、ｃの値は、面積比で定めるのではなく、二
焦点レンズ２１のピントの合ったレンズ部を通過して実
際に撮像素子２４に到達する光の量または撮像素子２４
の信号量と、二焦点レンズ２１の全体を通過して実際に
撮像素子２４に到達する光の量または撮像素子２４の信
号量との比の値として求めてもよい。

【０３１８】出力信号記憶手段６３１は、ＲＡＭやハー
ドディスク等により実現される。

【０３１９】移動平均算出手段６３２および画像補正手
段６３３は、中央演算処理装置（ＣＰＵ）およびこのＣ
ＰＵの動作手順を規定する一つまたは複数のプログラム
により実現してもよく、あるいはデジタルフィルタ回路
により実現してもよい。デジタルフィルタ回路とした場
合には、ハードウェアによる処理となるため、計算処理
時間を、より一層短くすることができる。この際、デジ
タルフィルタ回路は、乗算回路や加算回路等により構成
され、乗算回路で乗ずる値は、｛−（１−ｃ）／（ｃ×
Ｑ²）｝および｛（１／ｃ）−（１−ｃ）／（ｃ×
Ｑ²）｝である。

【０３２０】このような第６実施形態においては、以下
のようにして画像改質処理装置６３０により、二焦点レ
ンズ２１を用いて被写体を撮像して得られた画像の質の
改善が図られる。

【０３２１】先ず、被写体を撮像して得られた画像の各
要素の出力信号値Ｚ（ｈ，ｋ）を出力信号記憶手段６３
１に記憶する。

【０３２２】次に、移動平均算出手段６３２により、処
理対象となるＺ（ｈ，ｋ）について、式（６−１）に基
づき、座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単
位画面Ｆ内での各出力信号値Ｚ（ｈ，ｋ）の平均値Ｚme
an（ｈ，ｋ）を算出する。

【０３２３】続いて、画像補正手段６３３により、移動
平均算出手段６３２により算出した移動平均値Ｚmean
（ｈ，ｋ）を用いて、式（６−２）に基づき、Ｚ（ｈ，
ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，
ｋ）を算出する。なお、式（６−１）に基づく移動平均
算出手段６３２による処理と、式（６−２）に基づく画
像補正手段６３３による処理とは、１つの式で一体的に
行ってもよい。

【０３２４】そして、以上のような処理を各出力信号値
Ｚ（ｈ，ｋ）について繰り返す。この際、Ｚ（ｈ，ｋ）
の移動に伴って、平均をとる対象であるＱ画素×Ｑ画素
の単位画面Ｆも移動するので、Ｚmean（ｈ，ｋ）は移動
平均値をとっていることになる。

【０３２５】その後、求めたＺnew（ｈ，ｋ）の値を用
い、撮像対象となった被写体を表示手段４０の画面上に
表示する。また、必要に応じ、図示されないプリンター
等の出力手段により、被写体の印刷を行ってもよい。

【０３２６】このような第６実施形態によれば、次のよ
うな効果がある。すなわち、画像補正手段６３３による
処理が行われるので、ピンぼけ分の画像を除去すること
ができるため、画像の質を改善することができる。

【０３２７】また、移動平均をとって減ずるだけの簡単
な演算処理であるため、計算量が少なく、短時間で処理
することができる。このため、携帯型の情報端末装置等
にも好適に用いることができる。

【０３２８】［変形の形態］なお、本発明は前記各実施
形態に限定されるものではなく、本発明の目的を達成で
きる範囲内での変形等は本発明に含まれるものである。

【０３２９】すなわち、前記各実施形態では、撮像機構
２０を構成する二焦点レンズ２１は、内側に長焦点レン
ズ部２２が配置され、外側に短焦点レンズ部２３が配置
されていたが、本発明の画像改質処理の対象は、このよ
うな配置の二焦点レンズにより撮像された画像に限定さ
れるものではなく、例えば、逆の配置、すなわち内側に
短焦点レンズ部が配置され、外側に長焦点レンズ部が配
置された二焦点レンズによる画像であってもよい。

【０３３０】また、前記各実施形態では、二焦点レンズ
２１を構成する長焦点レンズ部２２と短焦点レンズ部２
３とは、同心に配置されているが、これに限定されるも
のではなく、本発明におけるピントの合った画像を形成
する一方のレンズ部と、ピントのぼけた画像を形成する
他方のレンズ部とは、同心に配置されていてもよく、同
心に配置されていなくてもよい。

【０３３１】また、前記第１実施形態では、外側に配置
されたレンズ部によりピンぼけ画像が形成される場合に
ついて説明されていたが、本発明は、内側に配置された
レンズ部によりピンぼけ画像が形成される場合について
も適用することができる。なお、この場合には、ピンぼ
け画像は、リング状ではなく、内側に配置されたレンズ
部の正面形状に従った円形、楕円形、多角形等の形状と
なる。

【０３３２】さらに、前記第１実施形態では、短焦点レ
ンズ部によりピンぼけ画像が形成される場合について説
明されていたが、本発明は、長焦点レンズ部によりピン
ぼけ画像が形成される場合についても適用することがで
きる。なお、この場合には、被写体は、例えば、２次元
バーコードや虹彩や文字等の近接被写体である。

【０３３３】そして、前記第５実施形態の説明では、ピ
ンぼけ画像の画面内では略完全に被写体の情報が失われ
ており、画面の受光量、すなわち撮像素子２４の画素毎
の出力信号レベルの変動も無視できるほど少ないものと
していたが、この条件は必ずしも必要ではなく、少なく
ともＪＰＥＧ処理をする際の単位画面の範囲で画素毎の
出力信号レベルの変動がなければ、本発明を好適に適用
することができる。

【０３３４】

【発明の効果】以上に述べたように本発明によれば、畳
み込み演算行列Ｑを用いて畳み込み演算を行い、あるい
は、ＪＰＥＧ処理またはこれに類似する処理を利用して
ピンぼけ画像の消去処理を行い、あるいは、移動平均を
とってピンぼけ分の信号を減ずる処理を行うので、二焦
点レンズで撮像された画像の質を短時間の処理で改善す
ることができ、ピント合わせ機構を用いることなく、標
準的な距離にある通常の被写体およびこれよりも近距離
にある近接被写体のいずれもについても鮮明な画像を得
ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１実施形態の画像改質処理装置を含
む撮像システムの全体構成図。

【図２】第１実施形態の画像改質処理装置による処理対
象となる画像を形成する二焦点レンズの詳細構成図。

【図３】第１実施形態における被写体とこの被写体を二
焦点レンズにより撮像して得られる画像との関係の説明
図。

【図４】第１実施形態の畳み込み演算行列Ｗの説明図。

【図５】第１実施形態の変換巨大行列（ｃＵ＋Δ）の説
明図。

【図６】第１実施形態の巨大逆行列Ｔの説明図。

【図７】第１実施形態の畳み込み演算行列Ｑの説明図。

【図８】本発明の第２実施形態の画像改質処理装置を含
む撮像システムの全体構成図。

【図９】本発明の第３実施形態の画像改質処理装置を含
む撮像システムの全体構成図。

【図１０】本発明の第４実施形態の画像改質処理装置の
一部を構成するデジタルフィルタ回路の詳細構成図。

【図１１】本発明の第５実施形態の画像改質処理装置を
含む撮像システムの全体構成図。

【図１２】本発明の第６実施形態の画像改質処理装置を
含む撮像システムの全体構成図。

【図１３】第６実施形態における移動平均をとる処理の
説明図。

【符号の説明】

２１ 二焦点レンズ ２２ 一方または他方のレンズ部に該当する長焦点レン
ズ部 ２３ 一方または他方のレンズ部に該当する短焦点レン
ズ部 ２４ 撮像素子 ３０，２３０，３３０，４３０，５３０，６３０ 画像
改質処理装置 ３２，２３２，３３２ 畳み込み演算行列記憶手段 ３３，２３３，３３３ 再生演算手段 ２３４，３３４ シェージング補正行列記憶手段 ２３５，３３５ シェージング補正手段 ４０１〜４０９ 乗算回路 ４１１〜４１８ 加算回路 ４２１〜４２８ ディレイ回路 ４３３ 再生演算手段であるデジタルフィルタ回路 ５３１ 出力信号記憶手段 ５３２ ディスクリート・コサイン変換処理手段（ＤＣ
Ｔ処理手段） ５３３ ピンぼけ画像消去処理手段 ５３４ 量子化処理手段 ５３５ 符号化処理手段 ６３２ 移動平均算出手段 ６３３ 画像補正手段 Ｅ，Ｈ 非零要素を含む行列部分 Ｍ 撮像素子の縦方向の画素数 Ｎ 撮像素子の横方向の画素数 Ｑ 畳み込み演算行列 Φ シェージング補正行列

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鐘ヶ江 正巳 東京都八王子市七国６丁目７番13号 (72)発明者 内海 京丈 東京都練馬区東大泉７丁目７番10号 Ｆターム(参考） 5B047 BC05 CB21 DC07 5C022 AA13 AC54 5C077 LL19 MM02 MP01 PP01 PP06 PP19 PP21 PP43 PP68 PQ12 PQ18 PQ25 RR21 SS03

Claims (17)

【特許請求の範囲】
1. 【請求項１】 二焦点レンズを構成する一方のレンズ部
   により形成されるピントの合った画像と、他方のレンズ
   部により形成されるピントのぼけた画像とが重なった画
   像から、ピントの合った画像を求める画像改質処理方法
   であって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発す
   る光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写
   体を前記二焦点レンズにより撮像して得られた画像の出
   力信号を示すＭ行Ｎ列の行列をＺとしたとき、 畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−
   １）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値
   のうち少なくとも非零要素を含む行列部分の値を下式
   （１）に基づき予め算出して畳み込み演算行列記憶手段
   に記憶しておき、 前記被写体を前記二焦点レンズにより撮像した際に、再
   生演算手段により、前記畳み込み演算行列記憶手段に記
   憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の
   値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）
   の値とを用いて下式（２）に基づき前記被写体の行列Ａ
   の各要素Ａ（ｓ，ｔ）の値を算出することを特徴とする
   画像改質処理方法。 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・・（１） Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・・・・（２） ここで、 ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、
   （１−Ｎ）≦ｙ≦（Ｎ−１）であり、 ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであ
   り、 ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
   り、 Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列
   Ｗの各要素の値であり、この行列Ｗは、端部を除く座標
   （ｍ，ｎ）で示される１点のみに輝点のある被写体を前
   記二焦点レンズで撮像したときに前記一方および前記他
   方のレンズ部により形成される画像の出力信号を示すＭ
   行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす
   座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
   （０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
   ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
   列部分を前記行列Ｗの中央部に配置するとともに、前記
   中央部に配置された前記非零要素を含む行列部分の外側
   部分を零要素で埋めることにより構成され、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
   る前記一方のレンズ部の面積の比の値であり、 ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗ
   ｅｒ≦２であり、 Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和
   である。
2. 【請求項２】 請求項１に記載の画像改質処理方法にお
   いて、 前記二焦点レンズへの光の入射角の不均一により画像周
   辺部の受光量が減少するシェージングの影響を補正する
   ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
   （ｓ，ｔ）の値をシェージング補正行列記憶手段に記憶
   しておき、 前記再生演算手段による処理を行った後に、シェージン
   グ補正手段により、前記シェージング補正行列記憶手段
   に記憶された各要素Φ（ｓ，ｔ）の値と前記被写体の行
   列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（３）に
   基づきシェージング補正を行った前記被写体の行列Ａ^sh
   の各要素Ａ^sh（ｓ，ｔ）を算出することを特徴とする画
   像改質処理方法。 Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・・・（３） ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦
   Ｎである。
3. 【請求項３】 請求項１に記載の画像改質処理方法にお
   いて、 前記二焦点レンズへの光の入射角の不均一により画像周
   辺部の受光量が減少するシェージングの影響を補正する
   ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
   （ｈ，ｋ）の値をシェージング補正行列記憶手段に記憶
   しておき、 前記再生演算手段による処理を行う前に、シェージング
   補正手段により、前記シェージング補正行列記憶手段に
   記憶された各要素Φ（ｈ，ｋ）の値と前記画像の出力信
   号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式
   （４）に基づきシェージング補正を行った前記画像の出
   力信号の行列Ｚ^shの各要素Ｚ^sh（ｈ，ｋ）を算出し、得
   られたＺ^sh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として
   前記式（２）に基づく前記再生演算手段による処理に使
   用することを特徴とする画像改質処理方法。 Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・・・（４） ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦
   Ｎである。
4. 【請求項４】 請求項１〜３のいずれかに記載の画像改
   質処理方法において、 前記式（２）に基づく前記再生演算手段による処理は、
   デジタルフィルタ回路により行われ、 このデジタルフィルタ回路には、前記画像の出力信号の
   行列Ｚの各要素Ｚ（ｈ，ｋ）の値に前記畳み込み演算行
   列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路
   と、これらの乗算回路からの出力信号を加算する複数の
   加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号
   の流れの速度調整を行うための複数のディレイ回路とが
   含まれていることを特徴とする画像改質処理方法。
5. 【請求項５】 二焦点レンズを構成する一方のレンズ部
   により形成されるピントの合った画像と、他方のレンズ
   部により形成されるピントのぼけた画像とが重なった画
   像から、ピントの合った画像を求める画像改質処理装置
   であって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発す
   る光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写
   体を前記二焦点レンズにより撮像して得られた画像の出
   力信号を示すＭ行Ｎ列の行列をＺとしたとき、 下式（５）に基づき算出された畳み込み演算処理を行う
   ための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行
   列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要
   素を含む行列部分の値を記憶する畳み込み演算行列記憶
   手段と、 この畳み込み演算行列記憶手段に記憶された各要素Ｑ
   （ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出
   力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下
   式（６）に基づき前記被写体の行列Ａの各要素Ａ（ｓ，
   ｔ）の値を算出する再生演算手段とを備えたことを特徴
   とする画像改質処理装置。 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・・（５） Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・・・・（６） ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−
   １）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、 ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであ
   り、 ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
   り、 Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列
   Ｗの各要素の値であり、この行列Ｗは、端部を除く座標
   （ｍ，ｎ）で示される１点のみに輝点のある被写体を前
   記二焦点レンズで撮像したときに前記一方および前記他
   方のレンズ部により形成される画像の出力信号を示すＭ
   行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす
   座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
   （０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
   ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
   列部分を前記行列Ｗの中央部に配置するとともに、前記
   中央部に配置された前記非零要素を含む行列部分の外側
   部分を零要素で埋めることにより構成され、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
   る前記一方のレンズ部の面積の比の値であり、 ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗ
   ｅｒ≦２であり、 Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和
   である。
6. 【請求項６】 請求項５に記載の画像改質処理装置にお
   いて、 前記二焦点レンズへの光の入射角の不均一により画像周
   辺部の受光量が減少するシェージングの影響を補正する
   ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
   （ｓ，ｔ）の値を記憶するシェージング補正行列記憶手
   段と、 このシェージング補正行列記憶手段に記憶された各要素
   Φ（ｓ，ｔ）の値と前記再生演算手段による処理を行っ
   て得られた前記被写体の行列Ａの各要素Ａ（ｓ，ｔ）の
   値とを用いて下式（７）に基づきシェージング補正を行
   った前記被写体の行列Ａ^shの各要素Ａ^sh（ｓ，ｔ）を算
   出するシェージング補正手段とを備えたことを特徴とす
   る画像改質処理装置。 Ａ^sh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ） ・・・・・・・・（７） ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦
   Ｎである。
7. 【請求項７】 請求項５に記載の画像改質処理装置にお
   いて、 前記二焦点レンズへの光の入射角の不均一により画像周
   辺部の受光量が減少するシェージングの影響を補正する
   ためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ
   （ｈ，ｋ）の値を記憶するシェージング補正行列記憶手
   段と、 このシェージング補正行列記憶手段に記憶された各要素
   Φ（ｈ，ｋ）の値と前記画像の出力信号の行列Ｚの各要
   素Ｚ（ｈ，ｋ）の値とを用いて下式（８）に基づきシェ
   ージング補正を行った前記画像の出力信号の行列Ｚ^shの
   各要素Ｚ^sh（ｈ，ｋ）を算出し、得られたＺ^sh（ｈ，
   ｋ）の値を新たなＺ（ｈ，ｋ）として前記式（６）に基
   づく前記再生演算手段による処理に使用されるようにす
   るシェージング補正手段とを備えたことを特徴とする画
   像改質処理装置。 Ｚ^sh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ） ・・・・・・・・（８） ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦
   Ｎである。
8. 【請求項８】 請求項５〜７のいずれかに記載の画像改
   質処理装置において、 前記再生演算手段は、前記式（６）に基づく演算処理を
   行うデジタルフィルタ回路により構成され、 このデジタルフィルタ回路には、前記画像の出力信号の
   行列Ｚの各要素Ｚ（ｈ，ｋ）の値に前記畳み込み演算行
   列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路
   と、これらの乗算回路からの出力信号を加算する複数の
   加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号
   の流れの速度調整を行うための複数のディレイ回路とが
   含まれていることを特徴とする画像改質処理装置。
9. 【請求項９】 二焦点レンズを構成する一方のレンズ部
   により形成されるピントの合った画像と、他方のレンズ
   部により形成されるピントのぼけた画像とが重なった画
   像から、ピントの合った画像を求める画像改質処理装置
   として、コンピュータを機能させるためのプログラムで
   あって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発す
   る光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写
   体を前記二焦点レンズにより撮像して得られた画像の出
   力信号を示すＭ行Ｎ列の行列をＺとしたとき、 下式（９）に基づき算出された畳み込み演算処理を行う
   ための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行
   列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要
   素を含む行列部分の値を記憶する畳み込み演算行列記憶
   手段と、 この畳み込み演算行列記憶手段に記憶された各要素Ｑ
   （ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出
   力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下
   式（１０）に基づき前記被写体の行列Ａの各要素Ａ
   （ｓ，ｔ）の値を算出する再生演算手段とを備えたこと
   を特徴とする画像改質処理装置として、コンピュータを
   機能させるためのプログラム。 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・・（９） Ａ（ｓ，ｔ）＝Σ_hΣ_kＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ） ・・・・・・・・・・・・・・・・・・・・・（１０） ここで、 ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、
   （１−Ｎ）≦ｙ≦（Ｎ−１）であり、 ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであ
   り、 ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
   り、 Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列
   Ｗの各要素の値であり、この行列Ｗは、端部を除く座標
   （ｍ，ｎ）で示される１点のみに輝点のある被写体を前
   記二焦点レンズで撮像したときに前記一方および前記他
   方のレンズ部により形成される画像の出力信号を示すＭ
   行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす
   座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
   （０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
   ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
   列部分を前記行列Ｗの中央部に配置するとともに、前記
   中央部に配置された前記非零要素を含む行列部分の外側
   部分を零要素で埋めることにより構成され、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
   る前記一方のレンズ部の面積の比の値であり、 ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗ
   ｅｒ≦２であり、 Σ_hは、ｈ＝１〜Ｍの和であり、Σ_kは、ｋ＝１〜Ｎの和
   である。
10. 【請求項１０】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理で
    使用されるデータを記録したコンピュータ読取り可能な
    データ記録媒体であって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発す
    る光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写
    体を前記二焦点レンズにより撮像して得られた画像の出
    力信号を示すＭ行Ｎ列の行列をＺとしたとき、 行列Ｚから行列Ａを算出するために用いる行列として下
    式（１１）に基づき算出された畳み込み演算処理を行う
    ための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行
    列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要
    素を含む行列部分の値を記録したコンピュータ読取り可
    能なデータ記録媒体。 Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃ^power （ｘ＝０，ｙ＝０の場合） ＝−Ｗ（ｘ，ｙ）／ｃ^power （ｘ＝０，ｙ＝０以外の場合） ・・・・・・・・・・・・・・・・・・・・・（１１） ここで、 ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、
    （１−Ｎ）≦ｙ≦（Ｎ−１）であり、 Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列
    Ｗの各要素の値であり、この行列Ｗは、端部を除く座標
    （ｍ，ｎ）で示される１点のみに輝点のある被写体を前
    記二焦点レンズで撮像したときに前記一方および前記他
    方のレンズ部により形成される画像の出力信号を示すＭ
    行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす
    座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ
    （０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動する
    ことにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行
    列部分を前記行列Ｗの中央部に配置するとともに、前記
    中央部に配置された前記非零要素を含む行列部分の外側
    部分を零要素で埋めることにより構成され、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
    る前記一方のレンズ部の面積の比の値であり、 ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗ
    ｅｒ≦２であり、 ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
    り、 ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎである
    が、被写体端部のｍ＝１、ｍ＝Ｍ、ｎ＝１、およびｎ＝
    Ｎの近傍の点は除かれる。
11. 【請求項１１】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理方
    法であって、 被写体を前記二焦点レンズにより撮像して得られた画像
    の出力信号を撮像素子から引き出して出力信号記憶手段
    に記憶した後、 この出力信号記憶手段に記憶した前記撮像素子の各画素
    の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出し
    てから、ディスクリート・コサイン変換処理手段によ
    り、これらの取り出した信号レベルＳ_xyについて下式
    （１２）に基づきディスクリート・コサイン変換処理を
    行うことにより各空間周波数に対応した信号レベルＳ^F
    _uvを求め、 続いて、ピンぼけ画像消去処理手段により、前記ディス
    クリート・コサイン変換処理を行って得られたＳ^F _uvの
    うちゼロの成分Ｓ^F ₀₀の値に、前記二焦点レンズの全体
    面積に対するピントの合った画像を形成する前記一方の
    レンズ部の面積の割合を乗じ、この乗算により得られた
    値を新たなＳ^F ₀₀の値とし、 その後、量子化処理手段により、前記ピンぼけ画像消去
    処理手段による処理後の信号レベルＳ^F _uvについて量子
    化処理を行い、 さらに、符号化処理手段により、前記量子化処理手段に
    よる処理で得られた量子化データを符号化し、 前記ディスクリート・コサイン変換処理手段、前記ピン
    ぼけ画像消去処理手段、前記量子化処理手段、および前
    記符号化処理手段による各処理を、区画された全ての画
    面について繰り返すことを特徴とする画像改質処理方
    法。 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・（１２） ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０
    ≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数、 Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ−
    １）の和である。
12. 【請求項１２】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理装
    置であって、 被写体を前記二焦点レンズにより撮像して得られた画像
    の出力信号を撮像素子から引き出して記憶する出力信号
    記憶手段と、 この出力信号記憶手段に記憶した前記撮像素子の各画素
    の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出し
    てこれらの取り出した信号レベルＳ_xyについて下式（１
    ３）に基づきディスクリート・コサイン変換処理を行う
    ことにより各空間周波数に対応した信号レベルＳ^F _uvを
    求めるディスクリート・コサイン変換処理手段と、 このディスクリート・コサイン変換処理手段による処理
    で得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、前記二
    焦点レンズの全体面積に対するピントの合った画像を形
    成する前記一方のレンズ部の面積の割合を乗じ、この乗
    算により得られた値を新たなＳ^F ₀₀の値とするピンぼけ
    画像消去処理手段と、 このピンぼけ画像消去処理手段による処理後の信号レベ
    ルＳ^F _uvについて量子化処理を行う量子化処理手段と、 この量子化処理手段による処理で得られた量子化データ
    を符号化する符号化処理手段とを備えたことを特徴とす
    る画像改質処理装置。 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・（１３） ここで、 ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦
    （Ｑ−１）、但し、Ｑは２以上の整数、 Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ−
    １）の和である。
13. 【請求項１３】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理装
    置として、コンピュータを機能させるためのプログラム
    であって、 被写体を前記二焦点レンズにより撮像して得られた画像
    の出力信号を撮像素子から引き出して記憶する出力信号
    記憶手段と、 この出力信号記憶手段に記憶した前記撮像素子の各画素
    の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出し
    てこれらの取り出した信号レベルＳ_xyについて下式（１
    ４）に基づきディスクリート・コサイン変換処理を行う
    ことにより各空間周波数に対応した信号レベルＳ^F _uvを
    求めるディスクリート・コサイン変換処理手段と、 このディスクリート・コサイン変換処理手段による処理
    で得られたＳ^F _uvのうちゼロの成分Ｓ^F ₀₀の値に、前記二
    焦点レンズの全体面積に対するピントの合った画像を形
    成する前記一方のレンズ部の面積の割合を乗じ、この乗
    算により得られた値を新たなＳ^F ₀₀の値とするピンぼけ
    画像消去処理手段と、 このピンぼけ画像消去処理手段による処理後の信号レベ
    ルＳ^F _uvについて量子化処理を行う量子化処理手段と、 この量子化処理手段による処理で得られた量子化データ
    を符号化する符号化処理手段とを備えたことを特徴とす
    る画像改質処理装置として、コンピュータを機能させる
    ためのプログラム。 Ｓ^F _uv＝（１／４）×Ｃ_uＣ_vΣ_xΣ_yＳ_xy ×cos［(2x+1)ｕπ／16］cos［(2y+1)ｖπ／16］・・（１４） ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０
    ≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数、 Σ_xはｘ＝０〜（Ｑ−１）の和、Σ_yはｙ＝０〜（Ｑ−
    １）の和である。
14. 【請求項１４】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理方
    法であって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を前記
    二焦点レンズにより撮像して得られた画像の座標（ｈ，
    ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、 下式（１５）に基づき座標（ｈ，ｋ）を中心とするＱ画
    素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）
    の移動平均値Ｚmean（ｈ，ｋ）を算出するとともに、 算出した前記移動平均値Ｚmean（ｈ，ｋ）を用いて下式
    （１６）に基づきＺ（ｈ，ｋ）を画像改質処理して得ら
    れる信号値Ｚnew（ｈ，ｋ）を算出することを特徴とす
    る画像改質処理方法。 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・・（１５） Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・・（１６） ここで、 Ｑは、３以上の奇数の自然数であり、 ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
    り、 ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−
    １）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であ
    り、 Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_y
    は、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
    る前記一方のレンズ部の面積の比の値であり、 ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を
    １にするための値である。
15. 【請求項１５】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理装
    置であって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を前記
    二焦点レンズにより撮像して得られた画像の座標（ｈ，
    ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１
    ７）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画
    素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平
    均値Ｚmean（ｈ，ｋ）を算出する移動平均算出手段と、 この移動平均算出手段により算出した前記移動平均値Ｚ
    mean（ｈ，ｋ）を用いて下式（１８）に基づきＺ（ｈ，
    ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，
    ｋ）を算出する画像補正手段とを備えたことを特徴とす
    る画像改質処理装置。 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・・（１７） Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・・（１８） ここで、 Ｑは、３以上の奇数の自然数であり、 ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
    り、 ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−
    １）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であ
    り、 Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_y
    は、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
    る前記一方のレンズ部の面積の比の値であり、 ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を
    １にするための値である。
16. 【請求項１６】 請求項１５に記載の画像改質処理装置
    において、 前記移動平均算出手段および前記画像補正手段は、デジ
    タルフィルタ回路を含んで構成されていることを特徴と
    する画像改質処理装置。
17. 【請求項１７】 二焦点レンズを構成する一方のレンズ
    部により形成されるピントの合った画像と、他方のレン
    ズ部により形成されるピントのぼけた画像とが重なった
    画像から、ピントの合った画像を求める画像改質処理装
    置として、コンピュータを機能させるためのプログラム
    であって、 撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を前記
    二焦点レンズにより撮像して得られた画像の座標（ｈ，
    ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、 下式（１９）に基づき座標（ｈ，ｋ）を中心とするＱ画
    素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）
    の移動平均値Ｚmean（ｈ，ｋ）を算出する移動平均算出
    手段と、 この移動平均算出手段により算出した前記移動平均値Ｚ
    mean（ｈ，ｋ）を用いて下式（２０）に基づきＺ（ｈ，
    ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，
    ｋ）を算出する画像補正手段とを備えたことを特徴とす
    る画像改質処理装置として、コンピュータを機能させる
    ためのプログラム。 Ｚmean（ｈ，ｋ）＝｛Σ_xΣ_yＺ（ｈ＋ｘ，ｋ＋ｙ）｝／Ｑ² ・・・・・・・・・・・・・・・・・・・（１９） Ｚnew（ｈ，ｋ） ＝ｋ×｛Ｚ（ｈ，ｋ）−Ｚmean（ｈ，ｋ）×（１−ｃ）｝／ｃ ・・・・・・・・・・・・・・・・・・・（２０） ここで、 Ｑは、３以上の奇数の自然数であり、 ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであ
    り、 ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−
    １）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であ
    り、 Σ_xは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σ_y
    は、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、 ｃは、比例係数で、前記二焦点レンズの全体面積に対す
    る前記一方のレンズ部の面積の比の値であり、 ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を
    １にするための値である。