JP2003060916A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 対象となる画像に応じて適切な復元を行う。 【解決手段】 デジタルカメラ１は復元処理のための複
数の復元処理モードを有しており、復元処理モードには
それぞれの対象とする画像に適する処理内容が設定され
ている。撮影の際には、取得した画像の特性を解析し、
その特性に適する復元処理モードを選択する。その後、
選択された復元処理モードに応じて、復元領域、画素値
の制限値、演算終了条件を設定してから、復元処理を行
う。これにより、画像に応じて適切な復元を行うことが
実現される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、劣化した対象画像
から非劣化画像を復元する技術に関する。

【０００２】

【従来の技術】従来より、ＣＣＤに代表される受光素子
配列を用いて画像データとして取得される画像に対し、
画像の劣化を復元する様々な技術が提案されている。画
像の劣化とは、撮像対象から得られるべき理想的な画像
に対して実際に得られた画像が劣化していることをい
い、例えば、デジタルカメラを用いて得られる画像は、
絞り値、焦点距離、ピント位置等に依存する収差等によ
り画像が劣化する。

【０００３】このような劣化した画像に対して、従来よ
り、画像の劣化をモデル化することで取得された画像を
理想的な画像に近づける復元が行われてきた。例えば、
画像の劣化は各受光素子に入射すべき光束がガウス分布
に従って広がりながら入射することにより生じるものと
みなして画像全体に復元関数を作用させたり、画像のエ
ッジを強調するフィルタ（いわゆる、アパーチャ補正フ
ィルタ）を画像全体に作用させる等して画像の復元が行
われてきた。

【０００４】

【発明が解決しようとする課題】ところで、このような
復元の対象となる画像には、撮影対象が風景などの中間
調を含む画像や、撮影対象が原稿などの均一な下地上に
文字を含む画像等、種々の画像が存在している。

【０００５】しかしながら、このような種々の画像に対
して同様の処理内容で復元を行った場合には、それぞれ
の特性の相違に起因して、復元すべき領域が復元されな
い、復元によりノイズを強調してしまうなどの悪影響を
与えてしまうこととなっていた。

【０００６】本発明は、上記課題に鑑みてなされたもの
であり、対象となる画像に応じて適切な復元を行うこと
を目的としている。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、請求項１の発明は、画像処理装置であって、劣化し
た対象画像から非劣化画像を復元する復元処理のための
互いに相違する処理内容が設定された複数の処理モード
から少なくとも１つの処理モードを選択する選択手段
と、選択された前記少なくとも１つの処理モードに基づ
いて前記復元処理を行う復元手段と、を備えている。

【０００８】また、請求項２の発明は、請求項１に記載
の画像処理装置において、前記復元手段は、前記対象画
像中の前記復元処理の対象となる復元領域を設定する領
域設定手段を備え、前記処理内容には、前記領域設定手
段が前記復元領域を設定するための手法が含まれている
ことを特徴とする。

【０００９】また、請求項３の発明は、請求項１または
２に記載の画像処理装置において、前記復元手段は、前
記復元処理に伴う反復演算における拘束条件となる画素
値の制限値を設定する制限値設定手段を備え、前記処理
内容には、前記制限値設定手段が前記画素値の制限値を
設定するための手法が含まれている。

【００１０】また、請求項４の発明は、請求項１ないし
３のいずれかに記載の画像処理装置において、前記処理
内容には、前記復元処理に伴う反復演算における演算終
了条件が含まれている。

【００１１】また、請求項５の発明は、請求項１ないし
４のいずれかに記載の画像処理装置において、前記複数
の処理モードには、文書画像に適する処理内容が設定さ
れた処理モードが含まれている。

【００１２】また、請求項６の発明は、請求項１ないし
５のいずれかに記載の画像処理装置において、前記対象
画像の特性を解析する解析手段、をさらに備え、前記選
択手段は、解析された前記対象画像の特性に基づいて前
記複数の処理モードから前記少なくとも１つの処理モー
ドを選択することを特徴とする。

【００１３】また、請求項７の発明は、請求項１ないし
５のいずれかに記載の画像処理装置において、前記対象
画像の特性を解析する解析手段と、解析された前記対象
画像の特性に基づいて前記対象画像の領域を少なくとも
１つの特性領域に分類する手段と、をさらに備え、前記
選択手段は、前記複数の処理モードから前期特性領域の
それぞれに適した処理モードを領域処理モードとしてそ
れぞれ選択し、前記復元手段は、前記領域処理モードに
基づいて前記特性領域のそれぞれに対して前記復元処理
を行うことを特徴とする。

【００１４】また、請求項８の発明は、画像を処理する
方法であって、劣化した対象画像から非劣化画像を復元
する復元処理のための互いに相違する処理内容が設定さ
れた複数の処理モードから少なくとも１つの処理モード
を選択する選択工程と、選択された前記少なくとも１つ
の処理モードに基づいて前記復元処理を行う復元工程
と、を備えている。

【００１５】また、請求項９の発明は、プログラムであ
って、コンピュータを、劣化した対象画像から非劣化画
像を復元する復元処理のための互いに相違する処理内容
が設定された複数の処理モードから少なくとも１つの処
理モードを選択する選択手段と、選択された前記少なく
とも１つの処理モードに基づいて前記復元処理を行う復
元手段と、を備える画像処理装置として機能させる。

【００１６】また、請求項１０の発明は、コンピュータ
読み取り可能な記録媒体であって、請求項９に記載のプ
ログラムを記録している。

【００１７】なお、この発明における「選択手段」は、
前記複数の処理モードから前記少なくとも１つの処理モ
ードを選択する選択指示を操作者から受け付ける手段
と、前記複数の処理モードから前記少なくとも１つの処
理モードを自動的に選択する手段と、の両者の概念を含
む用語である。

【００１８】

【発明の実施の形態】以下、図面を参照しつつ本発明の
実施の形態について説明する。

【００１９】＜１．第１の実施の形態＞ ＜１−１．デジタルカメラの構成＞図１ないし図３はこ
の発明の第１の実施の形態に係るデジタルカメラ１の外
観を示す図であり、図１は正面図、図２は背面図、図３
は左側面図である。なお、図１および図２ではメモリカ
ード９１が装着される様子を図示しており、図３ではメ
モリカード９１を図示していない。

【００２０】デジタルカメラ１の主な構成は通常のデジ
タルカメラと同様であり、図１に示すように正面には被
写体からの光をＣＣＤへと導くレンズユニット２、およ
び、被写体に向けてフラッシュ光を発するフラッシュ１
１が配置され、レンズユニット２の上方には被写体を捉
えるためのファインダ１２が配置される。

【００２１】また、上面には撮影操作の際に押されるシ
ャッタボタン１３が配置され、図３に示すように左側面
にはメモリカード９１を装着するためのカードスロット
１４が設けられる。

【００２２】デジタルカメラ１の背面には図２に示すよ
うに、撮影により取得された画像や操作画面を表示する
ための液晶ディスプレイ１５、撮影モードと再生モード
とを切り替える切替スイッチ１６１、操作者の選択入力
を受け付ける操作ボタン１６２等が配置される。

【００２３】図４はレンズユニット２近傍におけるデジ
タルカメラ１の内部構造を示す縦断面図である。レンズ
ユニット２は複数のレンズにより構成されるレンズ系２
１および絞り２２を内蔵しており、レンズユニット２の
背後には２次元の受光素子配列を有する単板カラーＣＣ
Ｄ３２が配置される。すなわち、デジタルカメラ１で
は、レンズ系２１および絞り２２が被写体からの光をＣ
ＣＤ３２へと導く光学系を構成している。

【００２４】図５はデジタルカメラ１の動作に係る主な
構成を示すブロック図である。なお、図５では、シャッ
タボタン１３、切替スイッチ１６１および操作ボタン１
６２を操作部１６として図示している。

【００２５】図５に示すＣＰＵ４１、ＲＯＭ４２および
ＲＡＭ４３は、デジタルカメラ１の全体の動作を制御す
る構成であり、ＣＰＵ４１、ＲＯＭ４２およびＲＡＭ４
３とともに各種構成が適宜バスラインに接続される。そ
して、ＣＰＵ４１がＲＡＭ４３を作業領域としつつＲＯ
Ｍ４２内のプログラム４２１に従って演算処理を行うこ
とにより、デジタルカメラ１の各部の動作や画像処理が
行われる。

【００２６】レンズユニット２にはレンズ系２１および
絞り２２とともにこれらを駆動するレンズ駆動部２１１
および絞り駆動部２２１が設けられており、測距センサ
の出力や被写体の明るさに応じてレンズ系２１および絞
り２２がＣＰＵ４１により適宜制御される。

【００２７】ＣＣＤ３２はＡ／Ｄ変換器３３に接続され
ており、レンズ系２１および絞り２２を介して形成され
た被写体の像を画像信号としてＡ／Ｄ変換器３３へと出
力する。画像信号はＡ／Ｄ変換器３３にて例えば８ビッ
トのデジタル信号（以下、「画像データ」といい、適
宜、単に「画像」ともいう。）に変換された後、画像メ
モリ３４に記憶される。すなわち、光学系、ＣＣＤ３２
およびＡ／Ｄ変換器３３により被写体の画像が画像デー
タとして取得される。

【００２８】補正部４４は、画像メモリ３４中の画像デ
ータに対してホワイトバランス補正、ガンマ補正、ノイ
ズ除去、色補正、色強調等の各種画像処理を施す。補正
後の画像データはＶＲＡＭ（ビデオＲＡＭ）１５１へと
転送され、これにより、液晶ディスプレイ１５に画像が
表示される。また、操作者の操作により、必要に応じて
画像データがカードスロット１４を介してメモリカード
９１に記録される。

【００２９】また、デジタルカメラ１では、取得された
画像データに対して光学系の影響による劣化を復元する
処理が行われるようになっている。復元処理は、ＣＰＵ
４１がＲＯＭ４２内のプログラム４２１に従って演算処
理を行うことにより実現される。

【００３０】デジタルカメラ１は、この復元処理のため
の複数の復元処理モードを有しており、復元処理モード
にはそれぞれの対象とする画像データに適する処理内容
が設定されている。復元処理モードに設定された処理内
容はＲＯＭ４２に予め記憶されている。

【００３１】復元処理モードには、均一な下地上に文字
や図形などがある原稿等を被写体とした画像データ（以
下、「文書画像」という。）を対象とする「文書画像モ
ード」と、風景などを被写体とした中間調を含む画像デ
ータ（以下、「中間調画像」という。）を対象としたモ
ードとが含まれている。さらに、中間調画像を対象とし
たモードにはビルなどの建物を被写体とした画像データ
（以下、「建物画像」という。）を対象とする「建物画
像モード」と、建物以外を被写体とした画像データ（以
下、「一般画像」という。）を対象とする「一般画像モ
ード」とが含まれている。

【００３２】つまり、本実施の形態においては、復元処
理の対象とする画像データの特性により、画像データの
種別を大まかに文書画像と中間調画像とに分類し、さら
に中間調画像の種別を建物画像と一般画像とに分類して
おり、デジタルカメラ１はこれらの画像データの種別そ
れぞれに適する復元処理モードを備えている。

【００３３】操作者は、これらの復元処理モードから画
像データに適した一の復元処理モードを操作ボタン１６
２を介して手動で選択することが可能であるが、デジタ
ルカメラ１に対象とする画像データを解析させて復元処
理モードを自動的に選択させることも可能となってい
る。復元処理モードの選択を自動選択とするか、手動選
択とするかは操作ボタン１６２の操作により切り換える
ことができる。手動選択である場合、操作ボタン１６２
は操作者からの復元処理モードの選択を受け付ける手段
となり、操作者は所望の復元処理モードを選択すること
により、種々の被写体（すなわち取得する画像データの
特性）に応じた復元を行わせることができる。手動選択
の場合は、撮影を行う前に予め復元処理モードが選択さ
れ、選択された復元処理モードはＲＡＭ４３に記憶され
る。

【００３４】＜１−２．劣化関数＞次に、デジタルカメ
ラ１における画像の劣化について説明する。画像の劣化
とは、デジタルカメラ１のＣＣＤ３２、Ａ／Ｄ変換器３
３等を介して取得される画像が、理想的な画像とはなら
ない現象をいう。このような画像の劣化は、被写体上の
一点から出た光線がＣＣＤ３２上にて一点に集まること
なく広がりを有する分布となるために生じる。換言すれ
ば、理想的な画像が取得される場合においてＣＣＤ３２
の１つの受光素子（すなわち、画素）に入射すべき光束
が、広がりをもって周囲の受光素子に入射するために画
像の劣化が生じる。

【００３５】デジタルカメラ１では、レンズ系２１、絞
り２２により主として構成される光学系による画像の劣
化の復元が行われるようになっている。

【００３６】図６は光学系による画像の劣化を説明する
ための図である。図６の符号７１は画像全体を示してお
り、理想的な画像ないしは非劣化画像（すなわち、光学
系の影響による劣化を受けない画像をいい、以下、「理
想画像」という。）としては符号７０１にて示す領域が
明るくなるものとすると、実際に得られる画像（以下、
「取得画像」という。）では、レンズ系２１の焦点距離
およびピント位置（ズームレンズではレンズの繰り出し
量に相当する。）、並びに、絞り２２の絞り値に応じて
領域７０１よりも広がった領域７１１が明るくなる。す
なわち、理想的には領域７０１に対応するＣＣＤ３２上
の領域に入射すべき光束が、実際には領域７１１に対応
する領域に広がって入射する。

【００３７】また、画像７１の周辺部においても、理想
画像の場合に符号７０２にて示す領域が明るいものとす
ると、取得画像においては符号７１２にて示すように略
楕円状に広がった領域が明るくなる。

【００３８】図７ないし図９はレンズユニット２の光学
的影響による画像の劣化をＣＣＤ３２の受光素子レベル
で説明するための模式図である。図７はレンズユニット
２の影響がない状態（すなわち、理想画像が取得される
状態）において、３×３の受光素子配列の中央の受光素
子のみに強度１の光束が入射する様子を示している。こ
れに対し、図８および図９はレンズユニット２の影響に
より図７に示す状態が変化する様子を示している。

【００３９】図８はＣＣＤ３２の中央近傍の様子の一例
を示しており、中央の受光素子に強度１／３の光が入射
し、上下左右の隣接する受光素子に強度１／６の光が入
射する様子を示している。すなわち、中央の受光素子に
入射すべき光束がレンズユニット２の影響により周囲に
広がって入射する様子を示している。図９はＣＣＤ３２
の周縁部の様子の一例を示しており、中央の受光素子に
強度１／４の光が入射しつつ左上から右下へと広がりを
もって光が入射する様子を示している。

【００４０】このような画像の劣化特性は、理想画像の
各画素の画素値を図８や図９に例示する画素値の分布へ
と変換する関数（すなわち、点像分布に基づく２次元フ
ィルタ）として表現できることから、劣化関数（あるい
は、劣化フィルタ）と呼ばれる。

【００４１】光学系の影響による劣化特性を示す劣化関
数は、レンズ系２１による焦点距離、ピント位置、およ
び、絞り２２の絞り値に基づいて受光素子の位置ごとに
（すなわち、画素の位置ごとに）予め求めることができ
る。そこで、デジタルカメラ１では、レンズユニット２
からレンズの配置に関する情報および絞り値を得て画素
の位置に応じた劣化関数を求め、この劣化関数に基づい
て取得画像の復元を実現している。

【００４２】このような劣化関数は、一般的には、焦点
距離、ピント位置、絞り値、および、ＣＣＤ３２上の
（すなわち、画像中の画素の）２次元座標等をパラメー
タとする非線形関数となる。

【００４３】なお、以上の説明では、画素ごとに劣化関
数が求められるものとして説明したが、劣化関数として
は複数画素の劣化関数をまとめたものや全画素分の劣化
関数をまとめたもの（すなわち、複数画素の劣化に相当
する変換行列）が求められるようになっていてもよい。

【００４４】＜１−３．画像復元＞次に、劣化関数を用
いた取得画像の復元について説明する。取得画像は、理
想画像の各画素に劣化関数を作用させた劣化画像である
と考えられる。このため、理想画像の画素値の配列をベ
クトルＸ、取得画像の画素値の配列をベクトルＹ、各画
素の劣化関数を全画素についてまとめた理想画像全体に
作用させる劣化関数（以下「画像劣化関数」という。）
を行列Ｈとすると、ベクトルＸとベクトルＹとはＹ＝Ｈ
Ｘの関係を満たすものと想定することができる。

【００４５】ここで、取得画像であるベクトルＹと画像
劣化関数である行列Ｈは既知となるため、連立一次方程
式Ｙ＝ＨＸを解くことによりベクトルＸが求められ、求
められたベクトルＸが劣化前の非劣化画像（すなわち、
復元後の画像）となるわけである。

【００４６】本実施の形態では、この連立一次方程式Ｙ
＝ＨＸを解くために反復法を用いる。図１０は、この反
復法を用いた復元処理の流れを示す図である。この復元
処理は、劣化前の画像を推定し（以下、推定された画像
を「推定画像」という。）、この推定画像を反復的に順
次更新していくことで劣化前の非劣化画像を求めるよう
になっている。

【００４７】具体的にはまず、初期状態の推定画像とし
て取得画像が用いられる（ステップＳ１）。次に、推定
画像に劣化関数（正確には、画像劣化関数である行列
Ｈ）を作用させ（ステップＳ２）、得られた画像と取得
画像との相違が残差Ｄとして求められる。残差Ｄは、推
定画像の画素値の配列をベクトルＸとし、Ｗを重み行列
（単位行列であってもよい）とすると次の数１により求
められる（ステップＳ３）。すなわち、残差Ｄは取得画
像（ベクトルＹ）と推定画像を劣化させた画像（ベクト
ルＨＸ）との各画素の画素値の差の２乗和（または、荷
重２乗和）である。

【００４８】

【数１】

【００４９】次に、この残差Ｄに基づいて推定画像の画
素値の修正量が求められ（ステップＳ５）、この修正量
と各画素に設定される更新度合いとを乗算することによ
り各画素の更新量が求められる（ステップＳ６）。そし
て、各画素の更新量を推定画像に適用することにより推
定画像の更新が行われる（ステップＳ７）。

【００５０】その後、予め設定された演算終了条件とな
るまで（ステップＳ４）推定画像の更新を繰り返す反復
演算が行われ、最終的に得られる推定画像が復元後の画
像となる。

【００５１】なお、この復元方法の詳細について言及さ
れた文献としては、例えば、"RESTORATION OF A SINGLE
SUPER-RESOLUTION IMAGE FROM SEVERAL BLURRED, NOIS
Y AND UNDER-SAMPLED MEASURED IMAGES"(M.Elad and A.
Feuer, IEEE Trans., On Image Processing, Vol.6 No.
12 pp1646-1658 Dec/1997) が挙げられる。また、反復
法の細部については様々な他の手法を利用することもも
ちろん可能である。

【００５２】なお、ステップＳ７における更新度合いと
は求められた画素値の修正量をどれだけ更新量に反映さ
せるかの割合であり、デジタルカメラ１では画素ごとに
この更新度合いを予め設定している。更新度合いが０と
なる画素は更新されず、更新度合いが０以外の画素のみ
が更新されるため、更新度合いは反復演算の拘束条件と
なり解の収束安定性の向上に貢献する。本明細書におい
ては、更新される画素が含まれる領域、すなわち復元さ
れる領域を「復元領域」ともいう。デジタルカメラ１
は、復元領域の設定手法（すなわち、更新度合いの設定
手法）を復元処理モードごとに相違させ、復元を行う画
像に応じて適切な復元領域を設定するようにしている。

【００５３】また、デジタルカメラ１では、推定画像の
画素値がとりうる範囲を制限値（上限値と下限値）で予
め設定し、反復演算中に更新された推定画像の画素値が
制限値で設定した範囲を外れた場合は、当該画素値を強
制的に制限値にするようにしている。この制限値は反復
演算の拘束条件となり解の収束安定性を向上させるとと
もに、制限値の設定により画素値が異常値となることを
防ぐことができる。なお、デジタルカメラ１では、制限
値の設定手法においても復元処理モードごとに相違させ
ており、復元を行う画像に応じて適切な制限値を設定す
るようにしている。

【００５４】また、一般的に、反復演算による復元処理
は取得画像に含まれるノイズを強調する特性がある。こ
のため、反復演算の反復回数を増やせば復元度は増加す
るがノイズが強調され、逆に、反復演算の反復回数を減
らせばノイズが抑制されるが復元度は低下することとな
る。このため、デジタルカメラ１では、復元処理モード
ごとに相違する演算終了条件（ステップＳ４）を設定
し、復元を行う画像に応じて復元度およびノイズ抑制の
いずれかを優先させて、画像に応じて最適な復元を行う
ようにしている。なお、これらの復元処理モードごとの
設定についてはさらに後述する。

【００５５】＜１−４．デジタルカメラの動作＞次に、
画像の復元を行うデジタルカメラ１の動作について説明
する。図１１は撮影の際のデジタルカメラ１の動作の流
れを示す図であり、図１２は復元の際のデジタルカメラ
１の動作の流れを示す図であり、図１３はデジタルカメ
ラ１の撮影に係る機能構成を示すブロック図である。図
１３において、劣化関数算出部４０３、復元部４０５
（復元領域設定部４１１、制限値設定部４１２、終了条
件設定部４１３および反復演算部４１４を含む）、モー
ド決定部４０６および画像解析部４０７は、ＣＰＵ４１
がＲＯＭ４２内のプログラム４２１に基づいて演算処理
を実行することによりＣＰＵ４１、ＲＯＭ４２、ＲＡＭ
４３等により実現される機能を示している。

【００５６】シャッタボタン１３が押されると、ＣＣＤ
３２上に被写体の像を形成すべくデジタルカメラ１の光
学系の制御が行われる（ステップＳ１１）。すなわち、
ＣＰＵ４１によりレンズ駆動部２１１および絞り駆動部
２２１に制御信号が与えられ、レンズ系２１を構成する
複数のレンズの配置が制御されるとともに、絞り２２が
制御される。

【００５７】一方、レンズ駆動部２１１および絞り駆動
部２２１からは、レンズ配置に関する情報および絞り値
が劣化関数を求めるための劣化情報として劣化関数算出
部４０３へと送られる（ステップＳ１２）。その後、露
光が行われ（ステップＳ１３）、ＣＣＤ３２等により取
得された被写体の画像が画像データとして画像メモリ３
４に記憶される。以後の画像処理は画像メモリ３４に記
憶された画像データに対して行われる。

【００５８】劣化関数算出部４０３では、レンズ駆動部
２１１および絞り駆動部２２１から与えられた劣化情報
を用いて、レンズ系２１および絞り２２の影響を考慮し
た各画素の劣化関数が求められる（ステップＳ１４）。
求められた劣化関数は、復元部４０５が扱えるようにＲ
ＡＭ４３に記憶される。

【００５９】劣化関数が求められると、モード決定部４
０６により復元処理モードが決定され、決定された復元
処理モードに基づいて復元部４０５により取得画像の復
元処理が行われる（ステップＳ１５）。これにより、復
元処理モードに応じて、取得画像における光学系の影響
による劣化が復元される。

【００６０】画像の復元の際には、図１２に示すよう
に、まず、モード決定部４０６により復元処理モードの
選択が自動選択であるか、手動選択であるが判定される
（ステップＳ１０１）。手動選択である場合は、モード
決定部４０６は操作者の操作部１６の操作により予め選
択されてＲＡＭ４３に記憶されている復元処理モードを
読み込み、復元処理に用いる復元処理モードを決定する
（ステップＳ１０４）。

【００６１】一方、自動選択である場合は、画像解析部
４０７が取得画像の特性を解析して取得画像の種別を判
定し（ステップＳ１０２）、その結果に基づいてモード
決定部４０６が取得画像に最適な復元処理モードを自動
選択して復元処理に用いる復元処理モードを決定する
（ステップＳ１０３）。

【００６２】具体的には、まず、画像解析部４０７が取
得画像のヒストグラムを解析して、取得画像が文書画像
であるか中間調画像であるかを判定する。図１４は取得
画像が文書画像である場合のヒストグラムの例を示す図
であり、図１５は取得画像が中間調画像である場合にお
けるヒストグラムの例を示す図である。文書画像はその
大部分の画素が下地となる画素であるため、そのヒスト
グラムにおいては図１４に示すように顕著なピークが存
在し、最大ピークにおける画素値の周辺に画素が集中す
る。一方、中間調画像のヒストグラムにおいては、図１
５に示すようにピークは存在するがそのピークは顕著で
はなく、低域から高域まで幅広い範囲に画素が存在する
こととなる。

【００６３】このため、画像解析部４０７は、取得画像
のヒストグラムにおける最大ピークの画素値から所定範
囲内にある画素値となる画素が、画像全体の画素の一定
割合以上の場合は文書画像であると判定を行い、それ以
外の場合は中間調画像であると判定する。

【００６４】取得画像が中間調画像であると判定した場
合は、さらに画像解析部４０７は取得画像が建物画像で
あるかそれ以外の一般画像であるかを判定する。一般
に、建物画像は、自然の風景や人物等を被写体とする一
般画像よりも明瞭なエッジが多い。このため、画像解析
部４０７は取得画像をフーリエ変換し、高周波成分（エ
ッジ）が所定より多い場合は建物画像であると判定し、
それ以外の場合は一般画像であると判定する。また、建
物を撮影する場合、被写体である建物は比較的遠景にな
ると推定できる。このため、測距センサ等から得られる
撮影距離が一定以上になることを建物画像を判定する条
件に追加してもよく、これによればより正確に建物画像
を判定することができる。

【００６５】取得画像の種別の判定結果はモード決定部
４０６に送られ、文書画像と判定された場合は「文書画
像モード」が、建物画像であると判定された場合は「建
物画像モード」が、その他の一般画像であると判定され
た場合は「一般画像モード」が、それぞれモード決定部
４０６により選択されて復元処理に用いる復元処理モー
ドとして決定される。

【００６６】復元処理に用いる復元処理モードが決定す
ると、次に、この復元処理モードに基づいて（ステップ
Ｓ１０５）、復元領域設定部４１１が復元領域を設定し
（ステップＳ１０６，Ｓ１０９）、制限値設定部４１２
が反復演算の画素値の制限値を設定し（ステップＳ１０
７，Ｓ１１０）、終了条件設定部４１３が反復演算の演
算終了条件を設定する（ステップＳ１０８，Ｓ１１
１）。

【００６７】まず、復元領域設定部４１１が復元領域を
設定する手法について説明する。既述のように、画像の
劣化はある画素に入射すべき光束が周囲の画素に広がり
をもって入射することにより発生することから、ある画
素とその近傍の画素との画素値が同一である場合は画像
の劣化は発生しない。つまり、理想画像において位置的
に画素値が変化する領域においてのみ画像の劣化が発生
することとなるため、この領域に対応する取得画像の領
域を復元すべき復元領域として設定する。

【００６８】文書画像においては、その大部分を占める
無地の下地領域と、文字や図形などのインク領域とが存
在するが、このうち下地領域は画素値が均一となるため
劣化は発生しない。つまり、取得画像において下地領域
は復元する必要はなく、インク領域のみを復元すべき復
元領域とすればよいこととなる。

【００６９】このため、復元処理モードが「文書画像モ
ード」の場合は、取得画像の画素値に基づいて復元領域
の設定を行って（ステップＳ１０６）、下地領域の画素
値（以下、「下地画素値」という。）となる画素値を有
する画素は非復元領域とし、下地画素値以外の画素値を
有する画素は復元領域とする。ここで、下地画素値は、
取得画像のヒストグラム（図１４参照）の最大ピークを
判定することにより容易に取得することができる。

【００７０】図１６は、取得画像中の劣化が発生してい
る領域の画素の画素値の例を示している。図１６中、符
号ＳＶは下地画素値を示し、波線は劣化前の状態を示し
ている。取得画像のヒストグラムから下地画素値が求め
られると、下地画素値に基づいて画素値に対する閾値が
図１６の如く設定される。この閾値ＴＡと各画素の画素
値とが比較されることにより、画素値に基づいて画素が
分類され、分類された画素ごとに更新度合いがそれぞれ
設定される。閾値ＴＡの数はいくつであってもよく、閾
値ＴＡの数を増やすことで更新度合いの設定をきめ細か
く行うことができる。

【００７１】下地画素値がインク領域の画素値より高い
場合には、最大の閾値（図１６では、閾値ＴＡ１）以上
となる画素は下地領域であると判定され、更新度合いが
０に設定される（非復元領域とされる）。逆に、下地画
素値がインク領域の画素値より低い場合には、最小の閾
値以下となる画素は下地領域であると判定され、更新度
合いが０に設定される。

【００７２】このように、「文書画像モード」において
は、画素値に基づいて復元領域の設定を行うことで、復
元すべき領域を確実に復元領域とすることができるとと
もに、例えば、白い下地のように復元が不必要な領域を
確実に非復元領域とすることができる。

【００７３】一方、中間調画像中には文書画像の下地領
域のように画素値が均一な領域が存在しているわけでは
ないため、文書画像のように画素値のみで復元領域を判
断することができない。このため、復元処理モードが
「建物画像モード」または「一般画像モード」である場
合は、取得画像の画素勾配に基づいて復元領域の設定が
行われる（ステップＳ１０９）。

【００７４】ここで画素勾配とは、対象となる画素（以
下、「対象画素」という。）と近傍の画素との画素値の
相違をいう。取得画像における各画素の画素勾配を求め
る手法としてはどのような手法が用いられてもよいが、
例えば、対象画素と近傍の画素との画素値の差の総和を
用いることができる。また、対象画素と近傍の画素との
画素値の差の２乗の総和や両画素値の比の総和を画素勾
配として用いることも可能である。

【００７５】図１７は、取得画像中の劣化が発生してい
る領域の画素の画素勾配の例を示している。各画素の画
素勾配が求められると、画像全体の明るさに基づいて画
素勾配に対する閾値ＴＢが図１７の如く設定される。こ
の閾値ＴＢと各画素の画素勾配とが比較されることによ
り、画素勾配に基づいて画素が分類され、分類された画
素ごとに更新度合いがそれぞれ設定される。このとき、
各画素の画素勾配が高いものほど更新度合いが高く設定
される。また、最小の閾値（図１７の例では、閾値ＴＢ
３）以下となる画素は、更新度合いが０に設定されて非
復元領域とされる。閾値ＴＢの数はいくつであってもよ
く、閾値ＴＢの数を増やすことで更新度合いの設定をき
め細かく行うことができる。

【００７６】なお、一般に、建物画像はエッジが一般画
像よりも明瞭であるため、復元領域を限定することがで
きることから、「建物画像モード」の閾値ＴＢは「一般
画像モード」における閾値ＴＢよりも高い基準に設定さ
れる。つまり、「一般画像モード」より高い範囲の画素
勾配を有する画素が復元領域として設定される。

【００７７】このように、復元処理モードごとに復元領
域を設定する手法を相違させることにより、復元の対象
となる画像に応じて、復元が必要となる領域を適切に復
元領域として設定することができる。

【００７８】次に、制限値設定部４１２が画素値の制限
値を設定する手法について説明する。既述のように、画
素値の制限値は反復演算中における拘束条件として設定
するものである。具体的には、画素値が理論上とりうる
範囲の上限値と下限値とを設定する。

【００７９】文書画像は無地の下地領域とインク色の混
色で再現されるインク領域とから構成されるため、その
画素値は下地画素値とインク領域の画素値（以下、「イ
ンク画素値」という。）との間の範囲に限定される。こ
のため、復元処理モードが「文書画像モード」の場合
は、取得画像のヒストグラム（図１４参照）のピーク値
から下地画素値とインク画素値を取得し、これらのうち
高い画素値が上限値、低い画素値が下限値として設定さ
れる（ステップＳ１０７）。

【００８０】一方、中間調画像は自然界の種々のものが
被写体とされる画像であるため、その画素値は０以上の
どのような値ともなりうる。このため、復元処理モード
が「建物画像モード」または「一般画像モード」の場合
は、画素値を上限値により制限することはできないた
め、下限値に０を設定するのみとする（ステップＳ１１
０）。なお、あくまで反復演算中における画素値の上限
値を制限しないことであり、例えば画素値が８ビットで
表される場合に、反復演算中に画素値が２５５を越える
値となった場合でも、反復演算の終了後には当該画素値
は２５５とされる。

【００８１】このように、復元処理モードごとに画素値
の制限値を設定する手法を相違させることにより、復元
の対象となる画像に応じて適切な制限値を設定すること
ができ、反復演算の解の収束安定性を向上させることが
できる。

【００８２】次に、終了条件設定部４１３が設定する反
復演算の演算終了条件について説明する。演算終了条件
は、換言すれば、反復演算において解が収束したとみな
すための条件である。この解が収束したとみなす方法
（以下、「収束判定方法」という。）としては種々のも
のが考えられるが、以下、３つの具体例を説明する。デ
ジタルカメラ１ではいずれの収束判定方法が採用されて
もよい。

【００８３】第１の収束判定方法は、反復演算の回数が
所定の回数に達した場合に解が収束したものとみなす方
法である。この方法が採用される場合は、演算終了条件
として反復演算の反復回数が設定される。

【００８４】また、第２の収束判定方法は、反復演算中
に算出される残差（既述した、推定画像に劣化関数を作
用させた画像と取得画像との残差Ｄ）が所定の閾値以下
となった場合に解が収束したものとみなす方法である。
この方法が採用される場合は、演算終了条件として残差
に対する閾値が設定される。

【００８５】また、第３の収束判定方法は、前回の残差
と算出された残差との変化率が所定の閾値以下となった
場合に解が収束したとみなす方法である。この方法が採
用される場合は、演算終了条件として残差の変化率に対
する閾値が設定される。

【００８６】既述のように、反復演算をする回数を増や
せば復元度は増加するがノイズが強調され、逆に、反復
演算をする回数を減らせばノイズが抑制されるが復元度
は低下する。つまり、演算終了条件を変更することによ
り、復元度を優先させるか、ノイズ抑制を優先するかを
調節することができる。

【００８７】文書画像においては、ノイズの目立ちやす
い下地領域は非復元領域として設定されるため、ノイズ
が強調されても復元後の画像へあまり影響を与えること
はない。また、復元により画像中のエッジを強調するほ
ど、文字などを認識しやすくなる。このため、復元処理
モードが「文書画像モード」である場合は復元度を優先
するように演算終了条件を設定する（ステップＳ１１
０）。

【００８８】また、一般画像においては、画素勾配によ
り復元領域を設定していることから、ノイズが発生して
いる領域を復元すべき復元領域であるとして誤って設定
してしまうことが多い。このことから、復元度を優先す
るとノイズが目立ってしまい、却って画質を低下させる
ことにつながる。このため、復元処理モードが「一般画
像モード」である場合は、ノイズ抑制を優先するように
演算終了条件を設定する（ステップＳ１１１）。なお、
建物画像は文書画像と一般画像の中間的な特性を有する
ため、復元処理モードが「建物画像モード」である場合
は、復元度とノイズ抑制とのバランスを考慮した演算終
了条件を設定する。

【００８９】具体的には、第１の収束判定方法が採用さ
れる場合は、「文書画像モード」では比較的多い反復回
数が、「一般画像モード」では比較的少ない反復回数
が、「建物画像モード」では「文書画像モード」と「一
般画像モード」との中間的な反復回数がそれぞれ演算終
了条件として設定される。また、第２または第３の収束
判定方法が採用される場合は、「文書画像モード」では
比較的小さい閾値が、「一般画像モード」では比較的大
きい閾値が、「建物画像モード」では「文書画像モー
ド」と「一般画像モード」との中間的な閾値がそれぞれ
演算終了条件として設定される。これらの演算終了条件
として設定される値は、予め統計的に求められてＲＡＭ
４３に記憶されている。

【００９０】このように、デジタルカメラ１では、復元
処理モードごとに演算終了条件を相違させるため、復元
の対象となる画像中の被写体にとって好ましい画質とな
る復元後の画像を得ることができる。

【００９１】以上のようにして、復元処理モードに基づ
いて、復元領域、画素値の制限値、演算終了条件がそれ
ぞれ設定されると、これらに基づいて反復演算部４１４
が既述の反復演算（図１０参照）により、画像の復元処
理を行う（ステップＳ１１２）。

【００９２】復元後の画像は補正部４４により、ホワイ
トバランス補正、ガンマ補正、ノイズ除去、色補正、色
強調等の各種画像処理が施され（図１１：ステップＳ１
６）、補正後の画像のデータが画像メモリ３４に記憶さ
れる。さらに、画像メモリ３４内の画像データは適宜、
カードスロット１４を介してメモリカード９１に保存さ
れる（ステップＳ１７）。

【００９３】以上説明してきたように、本実施の形態の
デジタルカメラ１では光学系の影響による画像の劣化
を、選択された復元処理モードに基づいて復元すること
から、復元の対象となる画像に最適な復元を行うことが
できる。

【００９４】＜２．第２の実施の形態＞次に、本発明の
第２の実施の形態について説明する。第１の実施の形態
においては１枚の取得画像の全体に対して同様の復元処
理を行っていたが、第２の実施の形態では１枚の取得画
像の領域をその特性によって分類し、分類されたそれぞ
れの領域の特性に適した復元処理を行う。

【００９５】第２の実施の形態におけるデジタルカメラ
１は図１ないし図５に示した構成と同様であり、基本動
作も図１１と同様であるため、適宜、同符号を用いて説
明する。

【００９６】図１８は、本実施の形態におけるデジタル
カメラ１の動作のうち、図１１に示すステップＳ１５の
内容を示す図である。また、図１９は本実施の形態にお
けるデジタルカメラ１の機能構成を示すブロック図であ
り、第１の実施の形態の機能構成（図１３参照）に対し
て特性領域分類部４０８が追加された構成となってい
る。なお、特性領域分類部４０８もＣＰＵ４１、ＲＯＭ
４２、ＲＡＭ４３等により実現される機能である。

【００９７】図２０は、デジタルカメラ１によって取得
された取得画像の例を示す図である。図２０に示す取得
画像７２中には、均一な背景に文字等がある領域（以
下、「文字領域」という。）７２１と、自然の風景等の
中間調の領域（以下、「中間調領域」という。）７２２
が混在している。このような取得画像７２の場合には、
文字領域７２１に対しては「文書画像モード」の処理内
容に基づく復元処理を行うことが好ましく、中間調領域
７２２に対しては「一般画像モード」の処理内容に基づ
く復元処理を行うことが好ましい。つまり、１枚の取得
画像の中に特性が異なる領域が混在している場合は、そ
の領域の特性に適した復元処理モードに基づいて復元処
理を行うことが好ましい。

【００９８】このため、第２の実施の形態に係るデジタ
ルカメラ１では、取得画像を復元する際に、まず、画像
解析部４０７が取得画像の特性の解析を行って、この解
析結果に基づいて特性領域分類部４０８がその特性ごと
に取得画像中の領域を分類するようにしている。

【００９９】具体的には、画像解析部４０７が、取得画
像を例えば１０×１０画素の単位領域に分割し、分割し
た単位領域ごとに第１の実施の形態における取得画像の
種別の判定と同様の処理を行う。すなわち、単位領域ご
とにそのヒストグラムを解析して、文字領域であるか中
間調領域であるかを判定する。さらに、中間調領域と判
定した単位領域ごとにフーリエ変換を行って、ビルなど
の建物がある領域（以下、「建物領域」という。）であ
るか、その他の自然風景などの領域（以下、「一般領
域」という。）であるかを判定する（ステップＳ２０
１）。

【０１００】単位領域ごとにその特性が判定されると、
特性領域分類部４０８が判定された特性ごとに単位領域
を分類する。すなわち、文字領域と判定された全ての単
位領域をまとめて１つの文字領域とし、建物領域として
判定された全ての単位領域をまとめて１つの建物領域と
し、さらに、一般領域として判定された全ての単位領域
をまとめて１つの一般領域として分類する。これによ
り、取得画像の領域全体が、少なくとも１つの特性ごと
の領域（以下、「特性領域」という。）に分類されるこ
ととなる（ステップＳ２０２）。分類された特性領域ご
との特性などの情報は、モード決定部４０６および復元
部４０５に送られる。

【０１０１】次に、復元部４０５により一の特性領域が
復元処理の処理内容を設定する対象領域（以下、「注目
特性領域」という。）として決定される（ステップＳ２
０３）。そして、特性領域分類部４０８からの情報に基
づいてモード決定部４０６が注目特性領域に適する復元
処理モードを選択し、注目特性領域に対する復元処理の
復元処理モードを決定する（ステップＳ２０４）。

【０１０２】次に、注目特性領域に対して決定された復
元処理モードに基づいて、復元領域設定部４１１が復元
領域を設定し（ステップＳ２０５）、制限値設定部４１
２が反復演算の画素値の制限値を設定し（ステップＳ２
０６）、終了条件設定部４１３が反復演算の演算終了条
件を設定する（ステップＳ２０７）。これらの復元領
域、画素値の制限値および演算終了条件は、第１の実施
の形態と同様に、復元処理モードに応じて設定される。

【０１０３】一の注目特性領域に対して、復元領域、画
素値の制限値、演算終了条件の設定が完了すると、他の
特徴領域がある場合（ステップＳ２０８）は、次の注目
特性領域が決定されて（ステップＳ２０３）、再度、注
目特性領域の復元処理モードに基づいて復元領域、画素
値の制限値、演算終了条件が設定される。

【０１０４】このようにして、全ての特徴領域に対して
それぞれ復元処理モードが決定されて、この復元処理モ
ードに応じた復元領域、画素値の制限値、演算終了条件
の設定がされる。

【０１０５】次に、反復演算部４１４が既述の反復演算
（図１０参照）により、画像の復元処理が行われる（ス
テップＳ２０９）。この復元処理は、特性領域のそれぞ
れに設定された復元領域、画素値の制限値、演算終了条
件に基づいて、画像全体（特性領域のすべて）に対して
同時に行われる。なお、演算終了条件は特性領域ごとに
相違することとなるが、演算が終了した（すなわち、収
束したとみなされた）特性領域は、更新度合いを０に設
定して以降の反復演算においてその画素値が更新されな
いようにすればよい。

【０１０６】以上説明してきたように、本実施の形態の
デジタルカメラ１では、取得画像の領域をその特性に基
づいて特性領域に分類し、この特性領域に最適な復元処
理モードに基づいて復元することから、一つの対象画像
において特性が異なる領域が混在している場合において
も、それぞれの特性領域の特性に最適な復元処理を行う
ことができる。

【０１０７】＜３．第３の実施の形態＞次に、本発明の
第３の実施の形態について説明する。図２１は本発明の
第３の実施の形態に係る全体構成を示す図である。第１
および第２の実施の形態では、デジタルカメラ１にて画
像の復元が行われるようになっているが、第３の実施の
形態では、コンピュータ５にて画像の復元が行われるよ
うになっている。すなわち、画像復元機能を有しないデ
ジタルカメラ１からコンピュータ５にデータを転送する
ことにより、デジタルカメラ１にて取得された画像をコ
ンピュータ５にて復元するようになっている。

【０１０８】本実施の形態に係るデジタルカメラ１は、
画像の復元を行わないという点を除いて、第１の実施の
形態のデジタルカメラ１と同様である。すなわち、図１
ないし図５に示した構成と同様であり、図１３に示す機
能構成のうち復元部４０５、モード決定部４０６及び画
像解析部４０７を除いた構成を有している。

【０１０９】デジタルカメラ１からのデータはメモリカ
ード９１を介してコンピュータ５へとデータが転送され
るが、デジタルカメラ１とコンピュータ５とを接続する
通信ケーブル９２などを介して転送されるようになって
いてもよい。

【０１１０】図２２は、メモリカード９１に記録される
データの構造を示す模式図である。デジタルカメラ１で
は、通常のデジタルカメラ１と同様の手法にて画像を画
像データとして取得するが、同時に、光学系が画像に与
える劣化特性を示す劣化関数も求めるようになってお
り、画像データ９１１と劣化関数９１２とが組み合わさ
れてメモリカード９１へと出力される。

【０１１１】コンピュータ５は、ＣＰＵ、ＲＯＭ、ＲＡ
Ｍ、固定ディスク、ディスプレイ、カードスロット等を
備えた汎用のコンピュータで構成される。コンピュータ
５には予め磁気ディスク、光ディスク、光磁気ディスク
等の記録媒体８を介して復元処理を行うプログラムが固
定ディスクに記憶されており、コンピュータ５内のＣＰ
ＵがＲＡＭを作業領域としてプログラムに従った処理を
行うことにより、コンピュータ５内にて画像の復元処理
が実行される。

【０１１２】コンピュータ５は、第１および第２の実施
の形態における復元処理のいずれの動作にも利用可能で
ある。例えば、第１の実施の形態の復元処理に利用する
場合には、図１３に示す復元部４０５、モード決定部４
０６及び画像解析部４０７がＣＰＵ、ＲＡＭ等により実
現される。また、第２の実施の形態の復元処理に利用す
る場合には、図１９に示す復元部４０５、モード決定部
４０６、画像解析部４０７及び特性領域分類部４０９が
ＣＰＵ、ＲＡＭ等により実現される。復元処理モードご
との処理内容は復元処理を行うプログラムと同様に固定
ディスクに予め記憶される。

【０１１３】デジタルカメラ１にて撮影が行われる際に
は、図１１に示す動作のうちステップＳ１５の動作を除
いた動作が行われる。これにより、レンズ系２１および
絞り２２の影響を考慮した各画素の劣化関数と、撮影さ
れて補正処理が行われた画像データが取得される。その
後、図２２に示すように画像データおよび劣化関数がカ
ードスロット１４を介してメモリカード９１に出力され
る。

【０１１４】メモリカード９１に画像データおよび劣化
関数が保存されると、メモリカード９１がコンピュータ
５のカードスロットに装着され、コンピュータ５が画像
データおよび劣化関数を読み込んで復元処理に必要なデ
ータを準備する。

【０１１５】その後、コンピュータ５が第１の実施の形
態の復元処理を行う場合には、画像解析部４０７が画像
の種別を判定し、モード決定部４０６が復元処理モード
を決定し、復元部４０５が復元処理モードに基づいて復
元領域、画素値の制限値及び演算終了条件を設定して復
元処理を行う。これらの動作は図１２に示す動作と同様
である。

【０１１６】また、コンピュータ５が第２の実施の形態
の復元処理を行う場合には、画像解析部４０７が画像を
解析し、特性領域分類部４０８が画像を特性領域に分類
し、モード決定部４０６が特性領域それぞれの復元処理
モードを決定し、この復元処理モードに基づいて復元部
４０５が特性領域のそれぞれに対して復元領域、画素値
の制限値及び演算終了条件を設定して復元処理を行う。
これらの動作は、図１８に示す動作と同様である。画像
の復元が完了すると、復元後の画像が固定ディスクに保
存される。

【０１１７】以上のように、本実施の形態では、デジタ
ルカメラ１が画像データとともに劣化関数を外部へ出力
するようになっており、コンピュータ５が復元処理モー
ドに基づいた復元処理を行うようになっている。これに
より、デジタルカメラ１が行うべき処理量の低減を図る
ことができる。

【０１１８】＜４．変形例＞以上、本発明の実施の形態
について説明してきたが、本発明は上記実施の形態に限
定されるものではなく様々な変形が可能である。

【０１１９】例えば、上記実施の形態では、劣化関数と
して、レンズ系２１および絞り２２の影響による劣化関
数について説明したが、光学ローパスフィルタに係る劣
化関数や、手ぶれに係る劣化関数など他の種類の劣化関
数が求められる（または、予め準備される）ようになっ
ていてもよい。また、レンズ系２１の劣化関数のみ、あ
るいは、絞り２２に関する劣化関数のみなど、１種類の
劣化関数のみを用いて画像の特定種類の劣化のみが復元
されるようになっていてもよい。

【０１２０】また、上記実施の形態では、復元処理モー
ドとして「文書画像モード」、「建物画像モード」及び
「一般画像モード」があるものとして説明したが、人物
画像に適したモードや、スポーツシーンに適したモード
など他の復元処理モードが予め準備されていてもよい。

【０１２１】また、上記実施の形態では、ＣＰＵがプロ
グラムに従って演算を行うことにより、各種機能が実現
されると説明したが、演算処理の全部または一部は専用
の電気的回路により実現されてもよい。特に、反復演算
を行う箇所をロジック回路にて構築することにより、高
速な演算が実現される。

【０１２２】また、デジタルカメラ１による画像の復元
に係るプログラム４２１は、予めメモリカード９１等の
記録媒体を介してデジタルカメラ１にインストールされ
るようになっていてもよい。

【０１２３】さらに、この発明は、デジタルカメラ１に
より取得される画像の復元に限定されるものではなく、
受光素子配列を用いて画像を取得する他の撮像装置、例
えば、電子顕微鏡やフィルムスキャナ等により取得され
る画像の復元にも利用される。もちろん、受光素子配列
は２次元配列に限定されるものではなく、スキャナのよ
うに１次元配列であってもよい。

【０１２４】

【発明の効果】以上、説明したように、請求項１ないし
１０の発明によれば、処理モードごとに復元処理の処理
内容を相違させるため、対象画像に適する処理モードを
選択することにより、対象画像に応じて適切な復元を行
うことができる。

【０１２５】また、請求項２の発明によれば、処理モー
ドごとに復元領域を設定する手法を相違させるため、対
象画像に応じた復元領域を設定することができ、対象画
像に適切な復元を行うことができる。

【０１２６】また、請求項３の発明によれば、反復演算
における拘束条件となる画素値の制限値を設定する手法
を処理モードごとに相違させるため、対象画像に応じて
適切な拘束条件を設定することができ、より解の収束安
定性を向上させることができる。

【０１２７】また、請求項４の発明によれば、復元処理
において反復演算を繰り返すほど、より画像が復元され
ることとなる一方、ノイズが多くなるといった弊害も発
生するが、処理モードごとに反復演算の演算終了条件を
相違させるため、対象画像中の被写体にとって好ましい
画質となる復元後の画像を得ることができる。

【０１２８】また、請求項５の発明によれば、文書画像
に適する処理内容が設定された処理モードが含まれてい
るため、文書画像に最適な復元を行うことができる。

【０１２９】また、請求項６の発明によれば、処理モー
ドが自動的に選択されるため、操作者に意識されること
なく、対象画像の特性に基づいて対象画像に適切な復元
を行うことができる。

【０１３０】また、請求項７の発明によれば、対象画像
において特性が異なる領域が混在している場合において
も、それぞれの領域の特性に基づいて適切な復元を行う
ことができる。

【図面の簡単な説明】

【図１】第１の実施の形態におけるデジタルカメラの正
面図である。

【図２】デジタルカメラの背面図である。

【図３】デジタルカメラの側面図である。

【図４】レンズユニット近傍の縦断面図である。

【図５】デジタルカメラの構成を示すブロック図であ
る。

【図６】レンズユニットによる画像の劣化を説明するた
めの図である。

【図７】レンズユニットによる画像の劣化を説明するた
めの図である。

【図８】レンズユニットによる画像の劣化を説明するた
めの図である。

【図９】レンズユニットによる画像の劣化を説明するた
めの図である。

【図１０】画像復元における演算処理の流れを示す図で
ある。

【図１１】撮影の際のデジタルカメラの動作の流れを示
す図である。

【図１２】第１の実施の形態における復元処理の流れを
示す図である。

【図１３】第１の実施の形態のデジタルカメラの機能構
成を示すブロック図である。

【図１４】文書画像のヒストグラムの例を示す図であ
る。

【図１５】中間調画像のヒストグラムの例を示す図であ
る。

【図１６】劣化が発生している領域の画素の画素値の例
を示す図である。

【図１７】劣化が発生している領域の画素の画素勾配の
例を示す図である。

【図１８】第２の実施の形態における復元処理の流れを
示す図である。

【図１９】第２の実施の形態のデジタルカメラの機能構
成を示す図である。

【図２０】特性の異なる領域が存在する画像データの例
を示す図である。

【図２１】第３の実施の形態に係る全体構成を示す図で
ある。

【図２２】メモリカード内のデータ構造を示す模式図で
ある。

【符号の説明】

１ デジタルカメラ ５ コンピュータ ８ 記録媒体 １６ 操作部 ２１ レンズ系 ２２ 絞り ９１ メモリカード １６２ 操作ボタン ４０５ 復元部 ４０６ モード決定部 ４０７ 画像解析部 ４０８ 特性領域分類部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 BA02 CA01 CA02 CA08 CA12 CA16 CB01 CB02 CB08 CB12 CB16 CC01 CE02 CE11 CE17 CH08 5C022 AA13 AB51 AC42 AC69 5C077 LL01 MP01 MP08 PP02 PP15 PP37 PQ08 PQ12 PQ19 TT09

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像処理装置であって、 劣化した対象画像から非劣化画像を復元する復元処理の
   ための互いに相違する処理内容が設定された複数の処理
   モードから少なくとも１つの処理モードを選択する選択
   手段と、 選択された前記少なくとも１つの処理モードに基づいて
   前記復元処理を行う復元手段と、を備えることを特徴と
   する画像処理装置。
2. 【請求項２】 請求項１に記載の画像処理装置におい
   て、 前記復元手段は、前記対象画像中の前記復元処理の対象
   となる復元領域を設定する領域設定手段を備え、 前記処理内容には、前記領域設定手段が前記復元領域を
   設定するための手法が含まれていることを特徴とする画
   像処理装置。
3. 【請求項３】 請求項１または２に記載の画像処理装置
   において、 前記復元手段は、前記復元処理に伴う反復演算における
   拘束条件となる画素値の制限値を設定する制限値設定手
   段を備え、 前記処理内容には、前記制限値設定手段が前記画素値の
   制限値を設定するための手法が含まれていることを特徴
   とする画像処理装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の画
   像処理装置において、 前記処理内容には、前記復元処理に伴う反復演算におけ
   る演算終了条件が含まれていることを特徴とする画像処
   理装置。
5. 【請求項５】 請求項１ないし４のいずれかに記載の画
   像処理装置において、 前記複数の処理モードには、文書画像に適する処理内容
   が設定された処理モードが含まれていることを特徴とす
   る画像処理装置。
6. 【請求項６】 請求項１ないし５のいずれかに記載の画
   像処理装置において、 前記対象画像の特性を解析する解析手段、をさらに備
   え、 前記選択手段は、解析された前記対象画像の特性に基づ
   いて前記複数の処理モードから前記少なくとも１つの処
   理モードを選択することを特徴とする画像処理装置。
7. 【請求項７】 請求項１ないし５のいずれかに記載の画
   像処理装置において、 前記対象画像の特性を解析する解析手段と、 解析された前記対象画像の特性に基づいて前記対象画像
   の領域を少なくとも１つの特性領域に分類する手段と、
   をさらに備え、前記選択手段は、前記複数の処理モード
   から前期特性領域のそれぞれに適した処理モードを領域
   処理モードとしてそれぞれ選択し、 前記復元手段は、前記領域処理モードに基づいて前記特
   性領域のそれぞれに対して前記復元処理を行うことを特
   徴とする画像処理装置。
8. 【請求項８】 画像を処理する方法であって、 劣化した対象画像から非劣化画像を復元する復元処理の
   ための互いに相違する処理内容が設定された複数の処理
   モードから少なくとも１つの処理モードを選択する選択
   工程と、 選択された前記少なくとも１つの処理モードに基づいて
   前記復元処理を行う復元工程と、を備えることを特徴と
   する画像処理方法。
9. 【請求項９】 コンピュータを、 劣化した対象画像から非劣化画像を復元する復元処理の
   ための互いに相違する処理内容が設定された複数の処理
   モードから少なくとも１つの処理モードを選択する選択
   手段と、 選択された前記少なくとも１つの処理モードに基づいて
   前記復元処理を行う復元手段と、 を備える画像処理装置として機能させるためのプログラ
   ム。
10. 【請求項１０】 請求項９に記載のプログラムを記録し
    たコンピュータ読み取り可能な記録媒体。