JP2002300461A - 画像復元装置、画像復元方法、プログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 リンギングやノイズ強調が抑制されるうえ、
自然な復元画像を得ることができる画像復元装置を提供
する。 【解決手段】 受光素子配列体１０１における各画素と
各画素の近傍の画素との相違に基づいて画像の復元度合
が決定された画像を、その決定された復元度合いに応じ
て複数の領域に分割し、その領域毎に画像を前記決定さ
れた復元度合いに応じて復元する。これにより、リンギ
ングやノイズ強調を有効に抑制できることはもとより、
２種類領域に分割したもののような領域境界部での目立
ちも薄められ、自然な復元画像を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する分野】この発明は、デジタルカメラなど
において、画像データとして取得される画像の劣化を復
元する画像復元装置、画像復元方法、プログラム及び記
録媒体に関する。

【０００２】

【従来の技術】従来より、ＣＣＤに代表される受光素子
配列体を用いて画像データとして取得される画像に対
し、画像の劣化を復元する様々の技術が提案されてい
る。画像の劣化とは、撮像対象から得られるべき理想的
な画像に対して実際に得られた画像が劣化していること
をいい、たとえば、デジタルカメラを用いて得られる画
像は、絞り値、焦点距離、ピント位置などに依存する収
差により画像が劣化しており、さらに、偽解像を防止す
るための光学ローバスフィルタによっても劣化してい
る。また、撮影の際の手ぶれによっても画像が劣化す
る。

【０００３】このような劣化した画像に対して、従来よ
り、画像の劣化をモデル化することで取得された画像を
理想的な画像に近づける復元が行われてきた。たとえ
ば、画像の劣化は、各受光素子に入射すべき光束がガウ
ス分布に従って広がりながら生じるものと見做して画像
全体に復元関数を作用させたり、画像のエッジを強調す
るフィルタを画像全体に作用させる等して画像の復元が
行われてきた。

【０００４】

【発明が解決しようとする課題】しかしながら、画像の
劣化は必ずしも画像全体に生じているとは限らない。例
えば、幾何学的模様や背景が一色の被写体を撮影する場
合、あるいは文字認識用の原稿をスキャンする場合など
においては、劣化の影響を受けない領域が画像中に存在
する。

【０００５】一方、復元処理を画像全体に行う場合に
は、復元処理を必要としない領域にまで悪影響を与えて
しまう場合がある。例えば、ノイズやエッジの存在する
領域にて復元処理を行うと、リンギングやノイズ強調が
生じ、復元を必要としない領域にまで悪影響が及ぶ。

【０００６】そこで、すでに、特定の領域にのみ画像処
理を行うことにより、リンギングなどの影響を回避して
画像の復元を行う技術が提案されている。

【０００７】しかし、この技術では、復元領域と非復元
領域の２つに領域を分割しているので、前記２つの領域
の境界部分での不連続性が目立ち、復元画像が不自然に
なるという問題があった。

【０００８】この発明は、上記問題を解消するためにな
されたものであり、リンギングやノイズ強調が抑制され
るうえ、自然な復元画像を得ることができる画像復元装
置及び画像復元方法を提供し、さらには復元処理をコン
ピュータに実行させるためのプログラム及び記録媒体を
提供することを課題としている。

【０００９】

【課題を解決するための手段】上記課題は、画像の各部
分毎に、復元度合いを決定する復元度合い決定手段と、
前記画像の劣化特性を示す少なくとも１つの劣化関数を
用いて、各部分の画像を前記決定された復元度合いに応
じて復元する復元手段と、を備えていることを特徴とす
る画像復元装置によって解決される。

【００１０】この画像復元装置によれば、画像の各部分
毎に復元度合いが決定され、決定された復元度合いで各
部分毎に画像が復元される。このため、復元処理を必要
としない領域に復元処理を行う場合のリンギングやノイ
ズ強調が有効に抑制されることはもとより、復元処理を
行う領域と行わない領域の２種類領域に分割したものと
は違って、分割領域の境界部位の目立ちが少なくなり、
全体として自然な復元画像が得られる。

【００１１】前記復元装置において、復元度合い決定手
段は、各画素と各画素の近傍の画素との相違に基づい
て、各部分の前記復元度合いの決定を行うものとしても
良い。これにより、各部分の前記復元度合いの決定が的
確に行われる。

【００１２】また、前記復元手段によって復元された画
像に基づいて、各部分の復元度合いを再設定する第２の
復元度合い決定手段と、再設定された復元度合いに応じ
て再度前記画像を復元する第２の復元手段と、を備えて
いる構成であっても良い。

【００１３】この構成とすることにより、例えばコント
ラストが低すぎて復元領域に入らな状態でも、復元度合
いが再設定され、それに応じて画像が再度復元されるの
で、復元が精度よく行われる。

【００１４】この場合、前記復元手段によって復元され
た画像と、前記第２の復元手段によって復元された画像
とを合成する合成手段を備えていても良い。例えば取得
画像にノイズが重畳されていても、異なる復元度合いの
画像合成により、復元画像にノイズが強調されるのが有
効に抑止される。

【００１５】また、前記課題は、画像の各部分毎に、復
元度合いを決定する復元度合い決定ステップと、前記画
像の劣化特性を示す少なくとも１つの劣化関数を用い
て、各部分の画像を前記決定された復元度合いに応じて
復元する復元ステップと、を備えていることを特徴とす
る画像復元方法によっても解決される。

【００１６】この画像復元方法では、リンギングやノイ
ズ強調が有効に抑制されることはもとより、２種類領域
に分割したものとは違って分割領域境界での不連続状態
が少なくなり、自然な復元画像が得られる。

【００１７】また、前記課題は、画像の各部分毎に、復
元度合いを決定する復元度合い決定ステップと、前記画
像の劣化特性を示す少なくとも１つの劣化関数を用い
て、各部分の画像を前記決定された復元度合いに応じて
復元する復元ステップと、をコンピュータに実行させる
ためのプログラムや、このプログラムを記録した記録媒
体によっても解決される。

【００１８】これらのプログラムや記録媒体によれば、
画像の各部分毎に復元度合いを決定し、前記画像の劣化
特性を示す少なくとも１つの劣化関数を用いて、各部分
の画像を前記決定された復元度合いに応じて復元する処
理を、コンピュータに実行させることができる。

【００１９】

【発明の実施の形態】図１ないし図４は、この発明の第
１の実施形態にかかる画像復元装置が適用されたデジタ
ルカメラ１の外観を示すものであり、図１は正面図、図
２は背面図、図３は左側面図である。なお、図１および
図２では、メモリカード９１が装着される様子を示して
おり、図３では、メモリカード９１を図示していない。

【００２０】ここでのデジタルカメラ１の主な構成は、
通常のデジタルカメラと同様であり、図１に示すよう
に、正面には、被写体からの光をＣＣＤへと導くレンズ
ユニット２ならびに被写体に向けてフラッシュ光を発す
るフラッシュ１１が配置されており、また、レンズユニ
ット２の上方には、被写体の写し込み範囲を観察するた
めのファインダ１２が配置されている。

【００２１】また、上面には、撮影操作の際にシャッタ
ーボタン１３が配置され、左側面には、図３に示すよう
にメモリカード９１を装着するためのカードスロット１
４が設けられている。

【００２２】デジタルカメラ１の背面には、図２に示す
ように、撮影に取得された画像や操作メニューなどを表
示する液晶ディスプレイ（ＬＣＤ）１５，撮影モードと
再生モードとを切替えるための切替えスイッチ１６１、
操作者の選択入力を受け付ける４ウェイキー１６２など
が配置されている。

【００２３】図４は、デジタルカメラ１におけるレンズ
ユニット２の近傍の構造を示す縦断面図である。

【００２４】図４において、レンズユニット２は、複数
のレンズにより構成されているレンズ系２１ならびに絞
り２２を有しており、レンズユニット２の背後には、光
学ローパスフィルタ３１と２次元の受光配列体からなる
単板カラーＣＣＤ１０１とがこの順に配設されている。
すなわち、デジタルカメラ１では、レンズ系２１、絞り
２２および光学ローパスフィルタ３１が被写体からの光
をＣＣＤ１０１に導く光学系を構成している。

【００２５】図５は、デジタルカメラ１の動作に係る主
なる構成を示すブロック図である。なお、図５では、シ
ャッタボタン１３、切替えスイッチ１６１および４ウェ
イキー１６２を操作部１６としてある。

【００２６】図５において、ＣＰＵ４１、ＲＯＭ４２お
よびＲＡＭ４３は、デジタルカメラ１の全体動作を制御
する構成であり、それぞれバスに接続されている。ＣＰ
Ｕ４１がＲＡＭ４３を作業領域としてＲＯＭ４２に格納
された動作プログラム４２１に従って演算や制御を行う
ことにより、デジタルカメラ１の各部の動作の実行や画
像処理などが行われる。

【００２７】レンズユニット２には、前記レンズ系２１
および絞り２２の他に、これらを駆動するレンズ駆動部
２１１および絞り駆動部２２１が設けられており、測距
センサの出力や被写体の明るさに応じてレンズ系２１お
よび絞り２２がＣＰＵ４１により適宜制御される。

【００２８】ＣＣＤ１０１は、Ａ／Ｄ変換器３３に接続
されており、レンズ系２１、絞り２２および光学ローパ
スフィルタ３１を介して形成された披写体の像を画像信
号としてＡ／Ｄ変換器３３へと出力する。画像信号は、
Ａ／Ｄ変換器３３によりデータ信号（以下、画像データ
という）に変換された後、画像メモリ３４に記憶され
る。すなわち、光学系、ＣＣＤ１０１およびＡ／Ｄ変換
器３３により被写体の画像が画像データとして取得され
る。

【００２９】補正部４４は、画像メモリ３４の中の画像
データに対してホワイトバランス補正、ガンマ補正、ノ
イズ除去、色補正、色強調等の各種画像処理を施す。補
正後の画像データはＶＲＡＭ（ビデオＲＡＭ）１５１へ
と転送され、これにより、ディスプレイ１５に画像が表
示される。また、撮影者の操作により、必要に応じて画
像データがカードスロット１４を介してメモリカード９
１に記録される。

【００３０】また、デジタルカメラ１では、取得された
画像データに対して光学系の影響による劣化を復元する
処理が行われるようになっており、この復元処理は、Ｃ
ＰＵ４１がＲＯＭ４２に格納されている動作プログラム
４２１に従って演算処理を行うことにより実現される。
なお、デジタルカメラ１では、画像データを処理するこ
とにより実質的に画像の処理（補正や復元）が行われる
が、以下の発明では、処理対象である画像データを適
宜、単に「画像」という。

【００３１】つぎに、デジタルカメラ１における画像の
劣化について説明する。

【００３２】画像の劣化とは、デジタルカメラ１のＣＣ
Ｄ１０１、Ａ／Ｄ変換器３３などを介して取得される画
像が、理想的な画像とはならない現象をいう。このよう
な画像の劣化は、被写体上の一点から出た光線がＣＣＤ
１０１上にて一点に集まることなく広がりを有する分布
となるために生じる。換言すれば、理想的な画像が取得
される場合において、ＣＣＤ１０１の１つの受光素子
（すなわち、画素）に入射すべき光束が、広がりをもっ
て周囲の受光素子に入射するために画像の劣化が生じ
る．この実施形態のデジタルカメラ１では、レンズ系２
１、絞り２２、光学ローパスフィルタ３１により主とし
て構成される光学系による画像の劣化の復元が行われる
ようになっている。

【００３３】図６はレンズユニット２による画像の劣化
の説明図である。

【００３４】図６の符号７１は画像全体を示しており、
理想的な画像（すなわち、光学系の映像による劣化を受
けない画像をいい、理想画像という）としては符号７０
１にて示す領域が明るくなるものとすると、実際に得ら
れる画像（取得画像という）では、レンズ系２１の焦点
距離およぴピント位置（ズームレンズではレンズの繰り
出し量に相当する）ならびに絞り２２の絞り値に応じて
領域７０１よりも広がった領域７１１が明るくなる。す
なわち、理想的には領域７０１に対応するＣＣＤ１０１
上の領域に入射すべき光束が、実際には領域７１１に対
応する領域に広がって入射する。

【００３５】また、画像７１の周辺部においても、理想
画像の場合に符号７０２にて示す領域が明るいものとす
ると、取得画像については符号７１２で示すように略楕
円状に広がった領域が明るくなる。

【００３６】図７ないし図９は、レンズユニット２の光
学的影響による画像の劣化をＣＣＤ１０１の受光素子レ
ベルで説明するための模式図である。

【００３７】図７は、レンズユニット２の影響がない状
態（すなわち、理想画像が取得される状態）において、
３×３の受光素子配列体の中央の受光素子のみに強度１
の光束が入射する様子を示している。これに対し、図８
および図９は、レンズユニット２の影響により、図７に
示す状態が変化する様子を示している。

【００３８】図８は、ＣＣＤ１０１の中央近傍の様子の
一例を示しており、中央の受光素子に強度１／３の光が
入射し、上下左右の隣接する受光素子に強度１／６の光
が入射する様子を示している。すなわち、中央の受光素
子に入射すべき光束がレンズユニット２の影響により周
囲に広がって入射する様子を示している。図９は、ＣＣ
Ｄ１０１の周縁部の様子の一例を示しており、中央の受
光素子に強度１／４の光が入射しつつ左上から右下へと
広がりながら入射する様子を示している。

【００３９】このような画像の劣化特性は、理想画像の
各画素の画素値を図８や図９に例示する画素値の分布へ
と変換する関数（すなわち、点像分布に基づく２次元フ
ィルタ）として表現できることから、劣化関数（あるい
は、劣化フィルタ）と呼ばれる。

【００４０】レンズユニット２の影響による劣化特性を
表す劣化関数は、レンズ系２１による焦点距離、ピント
位置、および、絞り２２の絞り値に基づいて受光素子の
位置ごとに（すなわち、画素の位置毎に）予め求めるこ
とができる。そこで、デジタルカメラ１では、後述する
ように、レンズユニット２からレンズの配置に関する情
報および絞り値を得て画素の位置に応じた劣化関数を求
め、劣化関数に基づいて取得画像の復元を実現してい
る。

【００４１】なお、レンズユニット２に関する劣化関数
は、一般的には、焦点距離、ピント位置、絞り値、およ
びＣＣＤ１０１上の（すなわち、画像中の画素の）２次
元座標等をパラメータとする非線形関数となる。また、
図７ないし図９では、便宜上、画像の色については言及
していないが、カラー画像の場合には、ＲＧＢ各色に対
応した劣化関数、あるいは、各色の劣化関数をまとめた
劣化関数が求められる。ただし、処理を簡略化するため
に色収差を無視し、ＲＧＢ各色に対応する劣化関数が同
じであるとしてもよい。

【００４２】図１０は、光学ローパスフィルタ３１の影
響による劣化をＣＣＤ１０１の受光素子レベルで説明す
るための模式図である。光学ローパスフィルタ３２は複
屈折光学材料を用いて帯域制限を行うことにより偽解像
を防止するものであり、単板カラーＣＣＤの場合には、
図１０に示すように左上の受光素子に入射すべき光を、
まず、矢印７２１で示すように上下に分離し、さらに、
矢印７２２で示すように左右に分離する。

【００４３】単板カラーＣＣＤでは、互いに隣接する４
つの受光素子のうち、対角線上の２つの受光素子にグリ
ーン（Ｇ）のフィルタが形成され、残りの２つの受光素
子にレッド（Ｒ）とブルー（Ｂ）のフィルタが形成され
る。そして、各画素のＲＧＢ値は、周囲の画素から得ら
れる情報を参照しながら補間処理により求められる。

【００４４】しかしながら、単板カラーＣＣＤには、Ｇ
の画素がＲやＢの画素の倍だけ存在することから、ＣＣ
Ｄから得られるデータをそのまま用いると、Ｇの解像度
がＲやＢの解像度よりも高い画像が得られてしまい、Ｒ
やＢのフィルタが形成された受光素子では捉えることが
できない被写体象の高周波成分が偽解像として現れる。

【００４５】そこで、図１０に示すような特性を有する
光学ローパスフィルタ３１がＣＣＤ１０１の前面に設け
られるが、この光学ローパスフィルタ３１の影響によ
り、Ｇの受光素子から得られる画像の高周波成分が劣化
されてしまう。

【００４６】図１１は、図１０に示す特性を有する光学
ローパスフィルタ３１により中央の受光素子に入射すべ
き光束の分布を例示する図、すなわち、光学ローパスフ
ィルタ３１に対応した劣化関数の特性を模式的に示した
図である。

【００４７】図１１に示すように、光学ローパスフィル
タ３１は、中央の受光素子に入射すべき光束を２×２の
受光素子に分割する。そこで、デジタルカメラ１では、
後述するように、光学ローパスフィルタ３１に対応する
劣化関数を予め準備しておき、劣化関数に基づいて取得
画像の復元を実現している。

【００４８】なお、光学ローパスフィルタ３１に関する
劣化関数を用いる復元では、補間処理後のＲＧＢ値から
輝度成分を求め、この輝度成分に対して復元が行われ
る。また、他の復元方法として、Ｇ成分の補間処理後に
Ｇ成分に対して復元が行われ、復元されたＧ成分を用い
てＲ，Ｂ成分が補間されるようになっていてもよい。

【００４９】以上の説明では、画素ごとに劣化関数が求
められるものとして説明したが、劣化関数としては複数
画素の劣化関数をまとめたものや全画素分の劣化関数を
まとめたもの（すなわち、複数画素の劣化に相当する変
換列）が求められるようになっていてもよい。

【００５０】次に、画像復元について説明すると、画像
復元を行う際、画像をラスタ順序で画素値を縦に並べた
ベクトル、劣化関数を行列とみなして、連立一次方程式
の求解の問題に帰着されることが多い。すなわち、復元
したい画像をＸ、劣化行列をＨ、取得画像をＹとする
と、「数１」式の関係を満たすものとなる。

【００５１】

【数１】

【００５２】一般に、取得画像Ｙはノイズを含んだ画像
であり、劣化行列Ｈにも観測誤差や離散化誤差を含むの
が普通であり、「数２」式の評価関数Ｅを最小化する解
を求める。

【００５３】

【数２】

【００５４】この最小化問題を解くため、劣化行列Ｈが
大規模疎行列になることを利用して反復法がよく用いら
れる。

【００５５】しかし、画像全体、すなわち復元したい画
像Ｘのすべての成分を未知数にして反復を繰り返すと、
復元画像のエッジ近傍などでリンギングのようなノイズ
が発生する傾向にある。ノイズやエッジの存在する領域
で復元処理を行うと、リンギングやノイズ強調が生じ、
復元を必要としない領域にまで悪影饗を及ぼす。

【００５６】そこで、このような問題に対する対策例を
図１２および図１３を用いて説明する。

【００５７】図１２は、デジタルカメラ１の撮影に係わ
る機能構成を示したブロック図である。

【００５８】図１２において、デジタルカメラ１は、Ｃ
ＣＤ１０１と、劣化関数算出部１２０と、劣化関数記憶
部１０２と、復元部１０３と、領域分割部１０４と、復
元度合い決定部１０５と、補正部１０６を備えている。

【００５９】ＣＣＤ１０１は、受光素子配列体として被
写体画像を画像信号に変換する。

【００６０】劣化関数算出部１２０は、撮影時に、レン
ズ制御系および絞り制御系から送られてきたレンズ配置
に関する情報および絞り値等の劣化情報から、劣化関数
を求めるものである。また、劣化関数記憶部１０２は、
劣化関数算出部１２０で算出された劣化関数を記憶す
る。

【００６１】復元度合い決定部１０５は、ＣＣＤ１０１
で取得する画像における各画素と各画素の近傍の画素と
の相違、例えばコントラストの相違に基づいて、画像の
復元度合いを決定するものである。

【００６２】領域分割部１０４は、決定された復元度合
いに応じて画像を複数の領域に分割する。復元部１０３
は、前記画像の劣化特性を示す少なくとも１つの劣化関
数を用い、非復元領域以外の領域において、前記決定さ
れた復元度合いに応じて前記画像を復元する。補正部１
０６は、復元された画像に対して階調補正などを行う。

【００６３】つぎに、上記第１の実施形態に係るデジタ
ルカメラ１の撮影動作を、図１３のフローチャートで説
明する。なお、以下の説明ならびに図面では、ステップ
をＳと略記する。

【００６４】図１３において、シャッタボタン１３が押
されると、Ｓ１０１では、ＣＣＤ１０１上に被写体の像
を形成するために光学系の制御が行われる。すなわち、
レンズ制御部（図示せず）がレンズ駆動部２１１に制御
信号を与え、これにより、レンズ系２１を構成する複数
のレンズの配置間隔が制御される。さらに、絞り制御部
（図示せず）から絞り駆動部２２１に制御信号が印加さ
れ、絞り２２が制御される。

【００６５】Ｓ１０２では、前記レンズ制御部および絞
り制御部からレンズ配置に関する情報および絞り値が、
劣化関数を求めるための劣化情報として劣化関数算出部
１２０に送られる。その後、Ｓ１０３では、露光が行わ
れ、ＣＣＤ１０１などにより取得された被写体の画像が
画像データとして画像メモリ３４に記憶される。以後の
画像処理は、画像メモリ３４に記憶された画像データに
対して行われる。

【００６６】Ｓ１０４では、レンズ制御部および絞り制
御部から与えられた劣化情報を用いて、劣化関数算出部
１２０により、レンズ系２１および絞り２２の影響を考
慮した各画素の劣化関数が求められる。求められた劣化
関数は劣化関数記憶部１０２に記憶される。また、劣化
関数記憶部１０２には、予め光学ローパスフィルタ３１
に関する劣化関数が格納されている。

【００６７】なお、Ｓ１０４において、劣化関数がレン
ズユニット２の構成や特性毎に一旦個別に求められ、そ
の後、光学系全体を考慮した劣化関数が求められるよう
になっていてもよい。たとえば、レンズ系２１に関する
劣化関数、紋り２２に関する劣化関数、さらには、光学
ローパスフィルタ３１に関する劣化関数が個別に格納さ
れてもよく、さらに、レンズ系２１の劣化関数も焦点距
離に関する劣化関数ならびにピント位置に関する劣化関
数として分離して求められてもよい。

【００６８】また、画素毎の劣化関数を求める演算処理
を簡素化するため、画像中の代表的な画素の劣化関数を
求めておいて、他の画素の劣化関数が代表的な画像の劣
化関数補間して求められるようになっていてもよい。

【００６９】劣化関数が求められると、Ｓ１０５では、
復元部１０３により取得画像（劣化画像）の所定分割領
域に対して復元処理が行われる。これにより、取得画像
における光学系の影響による劣化が復元される。この復
元処理については後述する。

【００７０】復元後、Ｓ１０６で、復元後の画像につい
て、補正部１０６により、ホワイトバランス補正、ガン
マ補正、ノイズ除去、色補正、色強調などの各種画像処
理が施され、Ｓ１０７で、補正後の画像のデータが画像
メモリ３４に記憶される。さらに、画像メモリ３４内の
画像データは適宜、カードスロット１４を介してメモリ
カード９１に保存される。

【００７１】前記画像の復元処理（Ｓ１０５）のサブル
ーチンを図１４に示す。

【００７２】まず、Ｓ１１では、取得画像のコントラス
トに関する複数のしきい値を算出し、復元程度（度合
い）を決定する。

【００７３】ここで、コントラストとは、対象画素と近
傍画素の画素値の相違のことであり、取得画像を適当な
微分フィルタと畳み込み、画素毎に絶対値を計算するこ
とによって得ることができる（以後、この画像をグラデ
ィエント画像と呼ぶ）。つまり、グラディエントの値に
しきい値を設定し、復元度合いＶを決定する。

【００７４】たとえば、図１５に示すように５つのしき
い値（ｔ１〜ｔ５）を設定し、０〜ｔ１、ｔ１〜ｔ２、
ｔ２〜ｔ３、ｔ３〜ｔ４、ｔ４〜ｔ５、ｔ５より大、の
６つのレベルについて各復元度合いＶを設定する。ここ
でＶ＝０は全く復元処理を施さないことを表し、Ｖ＝１
は完全に復元することを意味している。他の４つの中間
値は大きさに応じた復元度合いを表していると考えられ
る。

【００７５】また、６つのグラディエントのレベルで復
元度合いＶを設定することについて述べたが、図１６に
示すように、全てのグラディエントの値に対して復元度
合いＶを設定するようにしても良い。

【００７６】ついで、Ｓ１２では、前記復元度合いＶを
用いて、取得画像を複数の領域に分割する。つまり、グ
ラディエント画像を用いて各画素毎に６つの復元度合い
Ｖの値の中、どの値に属するかを決定し、画像全体を６
つの領域に分割する。なお、以下の説明においては、対
角成分が復元度合いＶの値を表し、行列内での位置が画
素番号に対応した画素数の二乗の成分を持つ対角行列
を、改めて復元度合いＶで表すことにする。

【００７７】領域分割後、Ｓ１３では、決定された復元
度合いＶに応じて、劣化関数を用いて復元領域において
画像を復元する。これは、「数３」式の等号制約条件付
最小化問題（Ｐ）を解くことと同値である。

【００７８】

【数３】

【００７９】ここで、Ｖ^1/2は、Ｖの対角成分の平方根
を対角成分にもつ対角行列である。また、Ｘ⁰は劣化し
た取得画像を表しており、

【００８０】

【数４】

【００８１】はそのｉ成分を表している。

【００８２】問題（Ｐ）は、復元度合いを表す重み行列
Ｖの成分が０の画素については、取得画像Ｙの画素値を
そのまま用い、他はＶの値に応じて各画素の残差に重み
付けをしていると考えられる。

【００８３】問題（Ｐ）は、ノルムを展開すると、「数
５」式の２次計画問題（Ｐ’）と等価になる。

【００８４】

【数５】

【００８５】２次計画問題（Ｐ’）は、たとえば、「数
６」式のようなステップサイズ固定の最急降下法（Rich
ardson法）などの反復法を用いて解くことができる。

【００８６】

【数６】

【００８７】ここで、

【００８８】

【数７】

【００８９】はｎ回目の反復後の更新画像Ｘの第ｉ成分
を表し、ｋは適当に選択された定数を表している。

【００９０】収束は、残差ノルム‖ＨＸ−Ｙ‖、あるい
は重み付き残差ノルム‖Ｖ^1/2（ＨＸ−Ｙ）‖が所定の
値より小さくなったかで判断する。

【００９１】以上説明したように、デジタルカメラ１で
は、光学系による劣化特性を示す劣化関数を用いて光学
系の影響による画像劣化が復元されることから、リンギ
ングの発生やノイズの増加などの劣化に起因してない領
域への影響を抑制することができるうえ、復元度合いＶ
に応じて複数の領域に分割され、その領域毎に画像が前
記決定された復元度合いＶに応じて復元されるので、単
に２分割したものとは違って複数分割領域境界での不連
続状態が少なくなり、自然な復元画像を得ることができ
る。

【００９２】つぎに、この発明の第２の実施形態につい
て説明する。

【００９３】取得画像Ｙのコントラストを用いて復元領
域を決定する場合、完全に潰れてしまった領域ではコン
トラストが低くなり、この領域が復元領域に含まれなく
なってしまう。すなわち劣化関数は、特定の周波数成分
を消去あるいは減少させる特性を有し、たとえば、元画
像（理想画像）では縞模様であった領域のコントラスト
が取得画像Ｙでは、ほほ零になってしまうことがある。

【００９４】この不具合を解消するために、取得画像
（劣化画像）のコントラストと復元画像のコントラスト
に基づいて、画像の分割を修正する装置及び方法につい
て、図１７および図１８に基づいて説明する。

【００９５】図１７は、デジタルカメラ１の撮影に係わ
る機能構成を示したブロック図であり、図１２と同一部
所には、同一符号を付して説明を省略する。

【００９６】図１７において、デジタルカメラ１は、第
１および第２の復元度合い決定部１０５Ａ，１０５Ｂ
と、第１および第２の領域分割部１０４Ａ，１０４Ｂ
と、領域修正部１０７とを備えている。

【００９７】第１の復元度合い決定部１０５Ａは、ＣＣ
Ｄ１０１で取得する画像における各画素と各画素の近傍
の画素とのコントラストの相違に基づいて、画像の復元
度合いを決定する。第１の領域分割部１０４Ａは、決定
された復元度合いに応じて画像を複数の領域に分割す
る。復元部１０３は、第１実施形態と同様に、非復元領
域以外の領域において、前記決定された復元度合いに応
じて前記画像を復元する。

【００９８】第２の復元度合い決定部１０５Ｂは、復元
された画像（復元画像のコントラスト）と取得画像（取
得画像のコントラスト）に基づいて、復元度合いを再決
定する。第２の領域分割部１０４Ｂは、前記第２の復元
度合い決定部１０５Ｂによって決定された復元度合いに
応じて画像を複数の領域に再分割する。領域修正部１０
７は、前記復元部１０３による前記画像の復元を再度行
うために前記復元領域を修正するものである。

【００９９】第２の実施形態における前記復元処理（Ｓ
１０５）のサブルーチンを図１８に示す。

【０１００】まず、Ｓ２１で、第１の復元度合い決定部
１０５により、取得画像のコントラストに関する複数の
しきい値を算出し、復元度合いを決定する。この決定法
は、第１の実施形態の場合と同じであり、グラディエン
トの値にしきい値を設定し、復元度合いを決定する。

【０１０１】ついで、Ｓ２２は、前記決定された復元度
合いＶを用いて、前記第１の領域分割部１０４Ａによ
り、取得画像を複数の領域に分割する。この分割法も、
第１の実施形態の場合と同じであり、グラディエント画
像を用いて各画素毎に６つの復元度合いＶの値の中、ど
の値に属するかを決定し、画像全体を６つの領域に分割
する。領域分割後、Ｓ２３では、決定された復元度合い
Ｖに応じて、劣化関数を用いて復元領域において画像を
復元する。

【０１０２】Ｓ２４では、復元画像を得た後、第２の復
元度合い決定部１０５Ｂにより、取得画像のコントラス
トと復元画像のコントラストに基いて、復元度合いを再
決定し、第２の領域分割部１０４Ｂで再決定された復元
度合いに基づいて復元画像を再分割し、さらに、領域修
正部１０７により、復元領域を修正する。

【０１０３】いま、取得画像Ｙのコントラストに基づく
復元度合い重み行列をＶｏ 、復元画像のコントラスト
に基づく復元度合い重み行列をＶｒとする。たとえば、
画像全体を復元領域とした場合、Ｖｏは単位行列にな
る。

【０１０４】復元度合い重み行列Ｖｒの成分のうち、あ
るしきい値より小さいものを零とした行列をＶr’、残
りの成分に対応する復元度合い重み行列Ｖｏの成分を零
としたものをＶｏ’とすれば、新たな復元度合い重み行
列Ｖnは「数８」式で計算できる。

【０１０５】

【数８】

【０１０６】ついで、Ｓ２５では、新たな復元度合い重
み行列Ｖnを用いて復元を行う。

【０１０７】このように、復元画像を用いて領域修正を
行うので、復元精度が一層高められる。

【０１０８】つぎに、この発明の第３の実施形態につい
て説明する。

【０１０９】通常、取得画像や劣化関数にランダムノイ
ズが重畳されており、復元画像でノイズが強調されてし
まう場合がある。この不具合を解消するために、異なる
復元度合い重み行列を用いて復元した複数の復元画像を
合成する装置及び方法について、図１９および図２０に
基づいて説明する。

【０１１０】図１９は、デジタルカメラ１の撮影に係る
機能構成を示したブロック図であり、図１７と同一部所
には、同一符号を付して説明を省略する。

【０１１１】図１９において、デジタルカメラ１は、第
１、第２の領域分割部１０４Ａ、１０４Ｂ及び第１、第
２の復元度合い決定部１０５Ａ、１０５Ｂを備えるほ
か、合成部１０９を備え、さらに復元部１０３におい
て、第１の復元部１０３Ａ、第２の復元部１０３Ｂと、
記憶部１０３Ｃを備えている。

【０１１２】第１の復元部１０３Ａは、非復元領域以外
の領域において、前記第１の復元度合い決定部１０５Ａ
で決定された復元度合いに応じて画像を復元する。第２
の復元部１０３Ｂは、非復元領域以外の領域において、
前記第２の復元度合い決定部１０５Ｂで決定された復元
度合いに応じて画像を復元する。記憶部１０３ｃは、第
１の復元部１０３Ａによって復元された画像を一時記憶
する。合成部は１０９は、前記記憶部１０３ｃに記憶さ
れた第１の復元画像と前記第２の復元部１０３Ｂによっ
て復元された第２の復元画像を合成する。

【０１１３】第３の実施形態における復元処理（Ｓ１０
５）のサブルーチンを図２０に示す。

【０１１４】ここでは、２枚の復元画像を用いた場合を
例にする。

【０１１５】Ｓ３１では、復元度合い重み行列Ｖ₁によ
って画像を復元し、その画像をＩ₁とし、Ｓ３２で、復
元画像Ｉ₁を記憶部１０３ｃに一時記憶に記憶させる。

【０１１６】次に、Ｓ３３で、別の復元度合い重み行列
Ｖ₂によって画像を復元し、その画像をＩ₂とする。Ｓ３
４では、合成部１０９により、復元画像Ｉ₁と復元画像
Ｉ₂を適当な重みＶ（０≦Ｖi≦１）を用いて、「数９」
式で合成する。

【０１１７】

【数９】

【０１１８】このように複数の復元画像を合成すること
で、合成画像Ｉはノイズが軽減されたものとなる。

【０１１９】なお、以上の説明では、画像の復元をデジ
タルカメラ１０で行うものとして説明したが、デジタル
カメラ等で撮像した画像を、コンピュータ等の外部機器
により復元しても良い。この場合、各実施形態で説明し
た復元ルーチンをプログラムとする。そのプログラムが
ネットワークや記録媒体を介してコンピュータに読み込
まれ、コンピュータ上で実行される。

【０１２０】

【発明の効果】請求項１に係る発明によれば、画像の各
部分毎に復元度合いが決定され、決定された復元度合い
で各部分毎に画像が復元されるから、リンギングやノイ
ズ強調を極力抑制できるうえ、２種類領域に分割したも
のとは違って分割領域境界での不連続状態を少なくで
き、自然な復元画像を得ることができる。

【０１２１】請求項２に係る発明によれば、復元度合い
決定手段は、各画素と各画素の近傍の画素との相違に基
づいて、各部分の前記復元度合いの決定を行うから、前
記復元度合いの決定を的確に行うことができる。

【０１２２】請求項３に係る発明によれば、例えばコン
トラストが低すぎて復元領域に入らな状態でも、復元画
像で領域が修正されて復元されるので、復元を高精度に
行うことができる。

【０１２３】請求項４に係る発明によれば、異なる復元
度合いの画像を合成することにより、例えば復元画像に
ノイズが強調されるのを有効に抑止することができる。

【０１２４】請求項５に係る発明によれば、リンギング
やノイズ強調が有効に抑制できるとともに、２種類領域
に分割したものとは違って分割領域境界での不連続状態
が少なくなり、自然な復元画像が得られる。

【０１２５】請求項６に係る発明によれば、復元処理を
コンピュータに実行させることができる。

【０１２６】請求項７に係る発明によれば、同じく復元
処理をコンピュータに実行させることができる。

【図面の簡単な説明】

【図１】この発明の第１の実施形態に係る画像復元装置
が適用されたデジタルカメラを示す正面図である。

【図２】同じくデジタルカメラの背面図である。

【図３】同じくデジタルカメラの側面図である。

【図４】同じくデジタルカメラにおけるレンズユニット
近傍の縦断面図である。

【図５】同じくデジタルカメラの構成を示すブロック図
である。

【図６】レンズユニットによる画像劣化の説明図であ
る。

【図７】レンズユニットによる画像劣化の説明図であ
る。

【図８】レンズユニットによる画像劣化の説明図であ
る。

【図９】レンズユニットによる画像劣化の説明図であ
る。

【図１０】光学ローパスフィルタによる画像劣化の説明
図である。

【図１１】光学ローパスフィルタによる画像劣化の説明
図である。

【図１２】第１の実施形態におけるデジタルカメラの撮
影にかかる機能上の構成を示すブロック図である。

【図１３】デジタルカメラの撮影動作を示すフローチャ
ートである。

【図１４】第１の実施形態における復元処理（Ｓ１０
５）のサブルーチンを示すフローチャートである。

【図１５】取得画像のコントラストに関する複数のしき
い値設定の一例の説明図である。

【図１６】同じく取得画像のコントラストに関する連続
的なしきい値設定の一例の説明図である。

【図１７】第２の実施形態におけるデジタルカメラの撮
影にかかる機能上の構成を示すブロック図である。

【図１８】第２の実施形態における復元処理（Ｓ１０
５）のサブルーチンを示すフローチャートである。

【図１９】第３の実施形態におけるデジタルカメラの撮
影にかかる機能上の構成を示すブロック図である。

【図２０】第３の実施形態における復元処理（Ｓ１０
５）のサブルーチンを示すフローチャートである。

【符号の説明】

１０１・・・・・・・・・・・・・・・・・受光素子配
列体（ＣＣＤ） １０３・・・・・・・・・・・・・・・・・復元部 １０３Ａ・・・・・・・・・・・・・・・・第１の復元
部 １０３Ｂ・・・・・・・・・・・・・・・・第２の復元
部 １０４・・・・・・・・・・・・・・・・・領域分割部 １０４Ａ・・・・・・・・・・・・・・・・第１の領域
分割部 １０４Ｂ・・・・・・・・・・・・・・・・第２の領域
分割部 １０５・・・・・・・・・・・・・・・・・復元度合い
決定部 １０５Ａ・・・・・・・・・・・・・・・・第１の復元
度合い決定部 １０５Ｂ・・・・・・・・・・・・・・・・第２の復元
度合い決定部 １０７・・・・・・・・・・・・・・・・・領域修正部 １０９・・・・・・・・・・・・・・・・・合成部 １１０・・・・・・・・・・・・・・・・・記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 一睦 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE06 CH09 5C022 AB13 AB51 AC42 AC69 5C077 LL02 LL19 PP15 PQ12 TT09

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画像の各部分毎に、復元度合いを決定す
   る復元度合い決定手段と、 前記画像の劣化特性を示す少なくとも１つの劣化関数を
   用いて、各部分の画像を前記決定された復元度合いに応
   じて復元する復元手段と、 を備えていることを特徴とする画像復元装置。
2. 【請求項２】 復元度合い決定手段は、各画素と各画素
   の近傍の画素との相違に基づいて、各部分の前記復元度
   合いの決定を行う請求項１に記載の画像復元装置。
3. 【請求項３】 前記復元手段によって復元された画像に
   基づいて、各部分の復元度合いを再設定する第２の復元
   度合い決定手段と、 再設定された復元度合いに応じて再度前記画像を復元す
   る第２の復元手段と、 を備えている請求項１に記載の画像復元装置。
4. 【請求項４】 前記復元手段によって復元された画像
   と、前記第２の復元手段によって復元された画像とを合
   成する合成手段を備えている請求項３に記載の画像復元
   装置。
5. 【請求項５】 画像の各部分毎に、復元度合いを決定す
   る復元度合い決定ステップと、 前記画像の劣化特性を示す少なくとも１つの劣化関数を
   用いて、各部分の画像を前記決定された復元度合いに応
   じて復元する復元ステップと、 を備えていることを特徴とする画像復元方法。
6. 【請求項６】 画像の各部分毎に、復元度合いを決定す
   る復元度合い決定ステップと、 前記画像の劣化特性を示す少なくとも１つの劣化関数を
   用いて、各部分の画像を前記決定された復元度合いに応
   じて復元する復元ステップと、 をコンピュータに実行させるためのプログラム。
7. 【請求項７】 請求項６のプログラムを記録した記録媒
   体。