JP2002300460A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】 画質の劣化を迅速に除去することが可能な画
像処理装置、および不必要な劣化除去処理を行わない画
像処理装置を提供する。 【解決手段】 デジタルカメラにおいて、撮影光学系の
特性に起因する静的な劣化と、主被写体の移動または手
ぶれに起因する動的な劣化を分けて劣化を除去する。ま
た、劣化検出の対象として主被写体と背景とを選択可能
とし、主被写体を劣化検出の対象としたときは、劣化除
去処理を施す対象として主被写体と画像全体とを選択可
能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像を表す画像デー
タを処理するデジタルカメラ等の画像処理装置およびそ
のプログラムに関し、特に、撮影時に生じた画質の劣化
を除去する処理を画像データに施す画像処理装置および
プログラムに関する。

【０００２】

【従来の技術】デジタルカメラは、撮影対象からの光を
撮像素子によって電気信号に変換することにより画像を
撮影し、撮像素子の出力信号に所定の処理を施して撮影
した画像を表す画像データを生成する。画像データは、
使用者の指示に応じて記録媒体に記録され、また、デジ
タルカメラに設けられた表示部に与えられて画像の表示
に用いられる。画像の撮影と画像データの生成を繰り返
し行い、生成した画像データが表す画像を直ちに表示す
ることで、ライブビューを提供するようにしたデジタル
カメラも多い。

【０００３】画像の撮影においては、撮影対象のうちの
主要部分である主被写体の移動、カメラを保持する使用
者の手のぶれ等に起因して、画質の劣化が生じることが
ある。画質の劣化を防止または軽減する一法として、撮
影時に手ぶれを検出し、手ぶれの方向と量に応じて撮影
光学系を変位させることが従来より行われてきた。この
方法では、撮影光学系の変位により手ぶれを補償するこ
とができて劣化が生じ難くなり、得られた画像データが
表す画像は質の高いものとなる。しかし、この方法は主
被写体の移動に起因するぶれには適用することができな
い。また、手ぶれ補正を行うための光学系とその光学系
を駆動するためのアクチュエータが必要であり、カメラ
の大型化、コストアップを招くことになる。

【０００４】そこで、本出願人は、特願２０００−４９
４１において、得られた画像データに撮影時に生じた画
質の劣化を除去する処理を施して、画質の向上した画像
を表す画像データを生成するデジタルカメラを提案し
た。これは、連続して撮影した複数の画像にわたって現
れるぶれの方向と量を検出し、検出されたぶれの逆処理
を画像データに施すことによって、劣化を除去するもの
である。このように一旦得られた画像データに処理を施
して劣化を除去することは、劣化の原因にかかわらず実
施することが可能であり、手ぶれに起因する劣化の除去
と主被写体の移動に起因する劣化の除去の双方に有用で
ある。

【０００５】

【発明が解決しようとする課題】ところが、上記出願の
デジタルカメラでは、撮影した画像を複数の領域に区分
けし、領域ごとに画質の劣化を検出して、各領域にその
領域で検出した劣化を除去する処理を施すようにしてい
る。このため、劣化を検出するために領域の数に応じた
時間を要し、処理の高速化に限界が生じる。

【０００６】また、全ての領域に劣化除去処理を施すた
め、主被写体の動きをぶれによって表現したいと使用者
が望む場合でも、主被写体のぶれが除去されてしまい、
使用者の作画意図が反映されなくなる。

【０００７】さらに、主被写体の移動と手ぶれが画質の
劣化の主たる原因ではあるものの、カメラの構成要素の
特性に起因する画質の劣化も存在する。しかし、上記出
願では主被写体の移動と手ぶれに起因する劣化の除去に
ついてのみ言及しており、他の劣化原因については考慮
していない。

【０００８】本発明はこのような現状に鑑みてなされた
もので、画質の劣化を迅速に除去することが可能な画像
処理装置およびプログラム、ならびに不必要な劣化除去
処理を行わない画像処理装置およびプログラムを提供す
ることを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、画像を表す画像データに撮影時に生じ
た画質の劣化を除去する処理を施して、画質の向上した
画像を表す画像データを生成する画像処理装置は、画像
のうち一部分について画質の劣化を検出し、画像全体を
表す画像データに検出した劣化を除去する処理を施すも
のとする。

【００１０】この画像処理装置では、画像の全体ではな
く一部分のみについて画質の劣化を検出するから、劣化
検出に要する時間が短縮され、したがって、劣化除去処
理を施した画像データを速やかに得ることができる。な
お、この画像処理装置は、デジタルカメラ等の画像を撮
影する画像撮影装置そのものとすることもできるし、画
像撮影装置から画像データを与えられて処理するパーソ
ナルコンピュータ等の画像撮影装置以外の装置とするこ
ともできる。

【００１１】ここで、画像のうち背景の部分について画
質の劣化を検出するようにするとよい。背景は通常移動
しないから、このようにすると、画像全体に劣化をもた
らす手ぶれを除去することが可能である。

【００１２】画像のうち主被写体の部分について画質の
劣化を検出するようにしてもよい。このようにすると、
主被写体の移動と手ぶれの双方に起因する劣化を除去す
ることができる。この場合、主被写体の移動を除去する
影響が背景に及ぶことになるが、撮影時の絞り値（Ｆ
数）が小さく背景がぼけていると、主被写体の移動を除
去する影響は背景にほとんど現れない。

【００１３】撮影時の手ぶれに起因する画質の劣化を検
出するようにしてもよい。画像全体現れる劣化を除去す
ることができる

【００１４】上記目的を達成するために、本発明ではま
た、画像を表す画像データに撮影時に生じた画質の劣化
を除去する処理を施して、画質の向上した画像を表す画
像データを生成する画像処理装置は、画像のうち複数の
部分について画質の劣化を検出し、検出した劣化のいず
れかを選択して、画像データに選択した劣化を除去する
処理を施すものとする。

【００１５】このデジタルカメラでは、画像のうち一部
分で検出された劣化を除去するが、どの部分で検出され
た劣化を除去するかを選択することができるため、劣化
除去の機能を柔軟に利用することができる。劣化除去処
理は、その劣化を検出した部分を表す画像データのみに
施してもよいし、その部分と他の部分を表す画像データ
に施してもよいし、さらに、画像全体を表す画像データ
に施してもよい。画像のどの部分に処理を施すかによっ
て、機能利用の柔軟性がさらに高まる。

【００１６】上記目的を達成するために、本発明ではさ
らに、画像を表す画像データに撮影時に生じた画質の劣
化を除去する処理を施して、画質の向上した画像を表す
画像データを生成する画像処理装置は、画像のうち一部
分について画質の劣化を検出し、劣化を検出した部分を
表す画像データのみに検出した劣化を除去する処理を施
すものとする。

【００１７】この画像処理装置では、画像の一部のみに
ついて劣化を検出するため、劣化を速やかに検出するこ
とができる。しかも、劣化を検出した部位を表す画像デ
ータのみに劣化除去処理を施すため、劣化の除去に要す
る時間も短縮される上、不必要な部分に劣化除去処理を
施すことを避けることができる。

【００１８】上記目的を達成するために、本発明ではさ
らにまた、画像を表す画像データに撮影時に生じた画質
の劣化を除去する処理を施して、画質の向上した画像を
表す画像データを生成する画像処理装置は、画質の劣化
のうち所定の原因によるもののみを除去するものとす
る。

【００１９】所定の原因とは、例えば、主被写体の移
動、手ぶれ、画像撮影装置の構成要素の特性である。全
ての劣化ではなく所定の原因による劣化のみを除去する
ことで、使用者の作画意図を画像に反映させることが容
易になる。

【００２０】ここで、撮影時の手ぶれに起因する画質の
劣化のみを除去するようにするとよい。画像全体にわた
る劣化を除去することができる。

【００２１】本発明ではまた、画像を表す画像データに
撮影時に生じた画質の劣化を除去する処理を施して、画
質の向上した画像を表す画像データを生成する画像処理
方法は、画像のうち一部分について画質の劣化を検出
し、画像全体を表す画像データに検出した劣化を除去す
る処理を施すものとする。

【００２２】本発明ではさらに、画像を表す画像データ
に撮影時に生じた画質の劣化を除去する処理を施して、
画質の向上した画像を表す画像データを生成するプログ
ラムは、画像のうち一部分について画質の劣化を検出
し、画像全体を表す画像データに検出した劣化を除去す
る処理を施すものとする。

【００２３】また、上記のプログラムを記録媒体に記録
しておく。

【００２４】

【発明の実施の形態】本発明の第１の実施形態であるデ
ジタルカメラについて図面を参照しながら説明する。本
実施形態のデジタルカメラ１の外観を図１および図２に
模式的に示す。デジタルカメラ１は、前面に撮影レンズ
１１、撮影対象の明るさを検出する測光センサ１２、撮
影対象までの距離を検出する測距センサ１３、フラッシ
ュ発光部１４、および光学ファインダ１５を、上面にレ
リーズボタン１６を、背面に液晶表示器より成る表示部
１７を備えている。背面には、スライド式の操作スイッ
チ１８、および押しボタン式の４つの操作スイッチ１９
も設けられている。

【００２５】撮影レンズ１１後方の内部には撮像素子２
０（図３参照）が配置されている。デジタルカメラ１
は、撮影対象からの光を撮影レンズ１１により撮像素子
２０上に結像させ、撮像素子２０により光を電気信号に
変換することによって画像を撮影する。撮像素子２０は
多数の画素が２次元に配列されたカラーエリアセンサで
あり、撮像素子２０の各画素が出力する信号に所定の処
理を施すことによって、撮影された画像を表す画像デー
タが生成される。

【００２６】撮像素子２０の各画素はＣＭＯＳ型であ
り、信号を出力した後も光電変換によって蓄積した電荷
を保持することができる。したがって、同一信号を何度
でも出力することが可能であり、また、光電変換の途中
で信号を出力しても、それまでの蓄積電荷に加えて電荷
を蓄積することが可能である。

【００２７】デジタルカメラ１は、画像の撮影を行う撮
影モードと、記録している画像データが表す画像を再生
表示する再生モードとを有する。撮影モードにおいて
は、画像の撮影と画像データの生成を所定の周期（例え
ば１／３０秒）で繰り返しつつ、その間にレリーズボタ
ン１６の操作によって与えられる記録指示に応じて、記
録用の画像を撮影しその画像を表す画像データを生成し
て、生成した画像データを着脱可能なカード状の記録媒
体Ｍに記録する。

【００２８】記録指示がある前に生成された画像データ
は順次表示部１７に与えられ、各画像データの表す画像
が表示部１７に表示される。これによりライブビューが
提供される。記録媒体Ｍに記録される画像データも表示
部１７に与えられ、その画像が表示される。この画像は
他の画像よりも長時間表示され、記録する画像データの
確認に利用される。

【００２９】再生モードにおいては、記録媒体Ｍに記録
されている画像データを読み出して表示部１７に与え、
その画像データが表す画像を表示する。表示モードと再
生モードは、操作スイッチ１８の設定により切り替えら
れる。なお、図１、２においては、装着途中の記録媒体
Ｍを表しており、装着された記録媒体Ｍは全体がデジタ
ルカメラ１内に収まる。

【００３０】測距センサ１３は、撮影対象範囲を複数の
領域に区分けして、領域ごとに撮影対象までの距離を測
定する多分割センサである。これにより、主たる撮影対
象である主被写体までの距離と背景までの距離が個別に
得られ、また、撮影対象範囲内のどの部位が主被写体
で、どの部位が背景であるかも判る。

【００３１】デジタルカメラ１の回路構成の概略を図３
に示す。デジタルカメラ１は、撮像部２１、Ａ／Ｄコン
バータ２２、ホワイトバランス（ＷＢ）調整部２３、画
像メモリ２４、記録部２５、および制御部２６を備えて
いる。撮像部２１は、撮像素子２０を含み、撮像素子２
０の出力するアナログ信号に相関二重サンプリング（Ｃ
ＤＳ）および自動ゲイン制御（ＡＧＣ）を施す。また、
撮像部２１には、撮像素子２０の直前に配置され、高周
波成分を除去するローパスフィルタ（ＬＰＦ）２１ａが
設けられている。Ａ／Ｄコンバータ２２は、撮像部２１
からのアナログ信号を１０ビットのデジタル信号に変換
する。

【００３２】ＷＢ調整部２３は、Ａ／Ｄコンバータ２２
からのデジタル信号にホワイトバランス調整、色補間、
γ補正等の諸処理を施して、撮像素子２０が撮影した画
像を表す画像データを生成する。画像メモリ２４は、Ｗ
Ｂ調整部２３が生成した画像データを記憶する。記録部
２５は、記録媒体Ｍの入出力を司るインターフェースを
備えており、画像データの記録および読み出しを行う。

【００３３】制御部２６はデジタルカメラ１の全体を制
御する。制御部２６は、レリーズボタン１６および操作
スイッチ１８、１９を含む操作部２７に接続されてお
り、操作部２７を介して使用者より与えられる指示を制
御に反映する。また、制御部２６は、測光センサ１２お
よび測距センサ１３に接続されており、撮像素子２０の
露光調節および撮影レンズ１１の焦点調節に、それらの
出力を利用する。

【００３４】デジタルカメラ１は、生成した画像データ
に撮影時のぶれに起因する劣化を除去するための処理を
施して、画質を向上させる機能を有している。測距セン
サ１３の出力は、劣化除去処理においても利用される。

【００３５】劣化除去処理は次のように行う。まず、劣
化が生じなかった場合の画像を仮に設定する（仮に設定
した画像を推定画像という）。推定画像の初期値として
は、実際に撮影された画像（撮影画像という）に類似す
る画像または撮影画像自体とする。その推定画像に対し
て、撮影画像に生じた劣化と同じ劣化を施した画像を生
成する（この画像を推定劣化画像という）。推定画像が
正しければ、この推定劣化画像は撮影画像と同じ画像に
なるはずであるが、実際には誤差が存在する。その誤差
に基づいて推定画像を修正し、上記の処理を繰り返す。

【００３６】この繰り返しにより徐々に誤差が小さくな
り、推定画像が劣化の生じなかった場合の真の画像に収
束する。繰り返しは、誤差が所定値よりも小さくなった
時点で終了すればよい。その時点での推定画像が劣化の
除去された画像である。

【００３７】劣化は画像全体に均等に生じるわけではな
く、部位ごとに相違する。例えば、手ぶれは画像全体に
ほぼ均等に影響するが、主被写体の移動は画像の一部の
みに影響する。また、撮影レンズ１１やローパスフィル
タ２１ａの特性も劣化の原因となり、その影響は画像全
体に及ぶ。したがって、画像全体にわたる共通の劣化関
数Ｄを求めて画像全体の劣化を一律に除去するというこ
とはしない。

【００３８】デジタルカメラ１では、劣化関数Ｄの設定
に関して、次のＡ１、Ａ２を選択することができる。 Ａ１：撮影レンズ１１およびローパスフィルタ２１ａを
含む光学系の特性に起因する劣化（以下、静的劣化とい
う）のみを除去する。 Ａ２：主被写体の動きおよび手ぶれに起因する劣化（以
下、動的劣化という）と静的劣化の双方を除去する。

【００３９】静的劣化と動的劣化は原因が異なり、画像
に現れる影響も相違する。静的劣化は画像のぼけとして
現れ、動的劣化は画像のぶれとして現れる。Ａ１によれ
ばぼけのみを除去することができ、Ａ２によればぼけと
共にぶれを除去することができる。

【００４０】光学系の特性に依存する静的劣化は、絞り
値等の撮影時の設定条件さえ判れば一意に定まる。制御
部２６は、撮影レンズ１１、ローパスフィルター２１ａ
等の光学系の特性を記憶しており、これと撮影時の絞り
値等を用いて静的劣化を表す劣化関数Ｄｓを求める。一
方、動的劣化は撮影される画像ごとに相違し、実際に撮
影された複数の画像から求める必要がある。

【００４１】動的劣化を表す劣化関数Ｄｄは、連続して
撮影された画像を表す複数の画像データを比較して、ぶ
れの方向および量を検出することにより求める。具体的
には、画像データの一部に劣化を検出するための領域
（以下、検出領域という）を設定し、その領域について
複数の画像データの信号強度の２次元相関を算出するこ
とにより求める。なお、複数の画像データは、撮像素子
２０を１回露光する間に、撮像素子２０より信号を複数
回出力させて、各回の出力信号から個別に生成する。最
後の出力信号から生成された画像データが、劣化除去処
理の対象となる。

【００４２】動的劣化を検出するために、デジタルカメ
ラ１には、ぶれ検出部２８が設けられている。ぶれ検出
部２８は、画像メモリ２４から複数の画像データを読み
出して、検出領域における画像の軌跡を算出する。そし
て、算出した軌跡に基づいて劣化関数Ｄｄを求める。

【００４３】デジタルカメラ１では、動的劣化を除去す
る場合、撮影対象のうち劣化関数Ｄを求める部分とし
て、次のＢ１、Ｂ２を選択することができる。 Ｂ１：主被写体の部分について劣化関数Ｄを求める。 Ｂ２：背景の部分について劣化関数Ｄを求める。 なお、主被写体と背景の識別は、測距センサ１３による
測距結果に基づいて行う。

【００４４】劣化除去処理のために、デジタルカメラ１
には、劣化除去部２９が設けられている。劣化除去部２
９は、画像メモリ２４から読み出した最後の画像データ
（推定画像の初期値の画像データ）に劣化関数を作用さ
せて推定劣化画像の画像データを生成し、画像メモリ２
４から読み出した最後の画像データ（撮影画像の画像デ
ータ）との誤差を求めて、誤差が小さくなるように推定
画像の画像データを修正する処理を繰り返す。

【００４５】デジタルカメラ１では、劣化関数を求める
部分についてＢ１が選択されたときは、画像のどの部分
に劣化除去処理を施すかについて、次のＣ１、Ｃ２を選
択することができる。 Ｃ１：主被写体を表す画像データのみに劣化除去処理を
施す。 Ｃ２：画像データ全体に劣化除去処理を施す。 なお、劣化関数の設定に関してＡ１が選択されたとき
と、劣化関数を求める部分に関してＢ２が選択されたと
きは、画像データ全体に劣化除去処理を施す。

【００４６】このように、劣化原因、劣化検出対象部
分、および劣化除去対象部分を選択し得るようにするこ
とで、使用者が作画意図を画像に反映させることが容易
になる。Ａ１、Ａ２の選択、Ｂ１、Ｂ２の選択、Ｃ１、
Ｃ２の選択は、操作スイッチ１９の操作によって行う。

【００４７】デジタルカメラ１における劣化除去の処理
の流れについて、図４〜図９のフローチャートを参照し
て説明する。まず、測距センサ１３の複数の領域で撮影
対象までの距離を測定し（図４、ステップＳ１０５）、
主被写体を判別する（Ｓ１１０）。具体的には、測距セ
ンサ１３の各領域で測定された距離のうち、最短となっ
た距離が測定された領域に主被写体が位置し、その最短
距離から所定範囲内の距離が測定された領域にも主被写
体が位置するものとして扱う。これで簡単に主被写体を
判別することができる。次いで、主被写体に対して焦点
が合うように撮影レンズ１１の焦点を調節し（Ｓ１１
５）、レリーズボタン１６の操作により画像の記録指示
が与えられたか否かを判別する（Ｓ１２０）。記録指示
がないときには、ステップＳ１０５に戻る。

【００４８】記録指示が与えられたときは、劣化関数の
設定に関するＡ１、Ａ２のいずれが選択されているかを
判定する（Ｓ１２５）。Ａ１が選択されているときは、
撮像素子２０の露光を開始し（Ｓ１３０）、電子シャッ
ター速度である所定時間が経過した時点で露光を終了す
る（Ｓ１３５）。これで画像が撮影され、撮影した画像
を表す画像データが生成される。次いで、静的劣化を表
す劣化関数Ｄｓを設定する（Ｓ１４０）。この劣化関数
Ｄｓは、上述のように、撮影した画像に関わらず、光学
系の特性のみに基づいて設定する。

【００４９】ステップＳ１２５の判定でＡ２が選択され
ているときは、撮像素子２０の露光を開始し（Ｓ１４
５）、電子シャッター速度の数分の１に相当する時間が
経過した時点で露光を終了する（Ｓ１５０）。これで、
画像が撮影され、その画像データが生成されるが、この
画像は記録する画像そのものではなく、記録する画像の
一時点を表すにすぎない。ステップＳ１５０の露光終了
時には、光電変換によって蓄積した電荷を表す信号を撮
像素子２０から出力させるにとどまり、蓄積電荷は撮像
素子２０に保持させておく。ここで生成した画像データ
は、劣化関数Ｄｄを求めるために記憶しておく（Ｓ１５
５）。

【００５０】次いで、露光回数が所定回数に達したか否
かを判定し（Ｓ１６０）、所定回数に達していなければ
ステップＳ１４５に戻る。この所定回数とステップＳ１
４５からＳ１５０までの時間との積が記録する画像の電
子シャッター速度であり、最後に生成した画像データが
記録用の画像を表すものとなる。

【００５１】露光回数が所定回数に達しているときは、
撮影した画像に劣化関数を求める検出領域を設定する
（Ｓ１６５）。この検出領域の設定は、前述のＢ１、Ｂ
２のいずれが選択されているかに応じて、図５または図
６に示した処理により行う。図５のステップＳ２０５と
図６のステップＳ３０５のいずれにおいても、画像のう
ち、ステップＳ１１０で主被写体と判定した部分を主被
写体領域とする。通常、主被写体領域は複数になる。な
お、測距センサ１３の領域数があまり多くない場合は、
撮影した画像から主被写体の輪郭（背景との境界）を検
出して、輪郭内の部分を主被写体領域とするようにして
もよい。

【００５２】図６の処理では背景の部分が検出領域とな
る。背景は遠くに位置するため画像内での動きは小さ
く、したがって、背景の部分のぶれは手ぶれによるもの
とみなすことができる。手ぶれは画像全体に影響するか
ら、背景の部分を検出領域として画像データ全体に劣化
除去処理を施すことで、画像全体の画質が向上する。

【００５３】検出領域を設定した後、ステップＳ１５５
で記憶した所定数の画像データ間で検出領域を対応付け
（Ｓ１７０）、検出領域における撮影対象の軌跡を算出
して（Ｓ１７５）、算出した軌跡から動的劣化を表す劣
化関数Ｄｄを設定する（Ｓ１８０）。この劣化関数Ｄｄ
の設定については後述する。動的劣化を表す劣化関数Ｄ
ｄの設定後、ステップＳ１４０と同様に静的劣化を表す
劣化関数Ｄｓを設定し、劣化関数Ｄｄと劣化関数Ｄｓを
合成して劣化関数Ｄを得る（Ｓ１８５）。

【００５４】ステップＳ１４０で劣化関数Ｄ（Ｄｓ）を
設定した後、またはステップＳ１８５で劣化関数Ｄ（Ｄ
ｄ＋Ｄｓ）を設定した後、その劣化関数Ｄを用いて画像
データに劣化除去処理を施す（Ｓ１９０）。そして、処
理後の画像データを記録媒体Ｍに記録する（Ｓ１９
５）。これで、撮影時に生じた劣化が除去され画質の向
上した画像が保存されることになる。

【００５５】ステップＳ１８０での劣化関数Ｄｄの設定
は、図７のフローチャートに従って行う。まず、ステッ
プＳ１６５で設定した検出領域に含まれる複数の主被写
体領域ごとの軌跡（主被写体の各部の軌跡）を表すデー
タを作成し、軌跡データが１個であるか否か（全ての軌
跡データが略同一であるか否か）を判定する（ステップ
Ｓ４０５）。軌跡データが１個でないとき、すなわち検
出領域内に他と異なる動きをする部分があるときは、平
均軌跡との差が大きいものを除外する（Ｓ４１０）。そ
して、除外しなかった軌跡データの平均を求めて（Ｓ４
１５）、これに基づいて劣化関数Ｄｄを設定する（Ｓ４
２０）。ステップＳ４０５の判定で軌跡データが１個の
ときは、その軌跡データに基づいて劣化関数Ｄｄを設定
する。

【００５６】この処理により、検出領域内に他とは大き
く異なる動きをする主被写体の部分が含まれているとき
でも、その影響が劣化関数Ｄｄに及ぶのを避けることが
できる。例えば、主被写体が人物であって一定方向に歩
行しているとき、その人物の手の動きが、劣化関数Ｄｄ
が歩行を正しく表現する妨げとなるのをの避けることが
できる。

【００５７】ステップＳ１１０における主被写体の判別
は簡単に行うことができるが、動的劣化を検出するため
にはより精度よく主被写体を判別することが好ましい。
これを実現する処理の流れを図８に示す。なお、この処
理はステップＳ１６０とＳ１６５の間に挿入される。

【００５８】ステップＳ１６０の判定で露光回数が所定
回数に達したとき、まず、撮影レンズ１１の焦点を遠景
に対して合わせる（Ｓ５０５）。次いで、撮像素子２０
の露光を開始し（Ｓ５１０）、電子シャッター速度また
はそれ以下の所定時間が経過した時点で露光を終了する
（Ｓ５１５）。これで、主被写体ではなく概ね背景に焦
点の合った画像が撮影され、その画像データが生成され
る。なお、露光時間を電子シャッター速度以下とするの
は、この画像は主被写体の判別に用いるためのものであ
って、記録用ではないからである。

【００５９】そして、生成した画像データを記憶し（Ｓ
５２０）、この画像データとステップＳ１５５で最後に
記憶した画像データを比較して、主被写体領域を見い出
す（Ｓ５２５）。その際、主被写体と背景との境界を検
出して、境界内の部分を主被写体領域とする。主被写体
に対して焦点の合った画像と背景に対して焦点の合った
画像の双方が存在するから、境界の検出は容易であり、
しかも検出精度が高くなる。

【００６０】前述のように、主被写体について劣化を検
出するときは、主被写体に対してのみ劣化除去処理を施
す（Ｃ１）こともできるし、画像全体に劣化除去処理を
施す（Ｃ２）こともできる。ステップＳ１９０において
主被写体のみに劣化を除去する処理を施すときの流れを
図９に示す。

【００６１】まず、画像データ全体の中から主被写体を
表す部分を切り出す（Ｓ６０５）。次いで、切り出した
画像データに劣化除去処理を施す（Ｓ６１０）。そし
て、画像データのうちステップＳ６０５の切り出しで残
した部分と、処理後の画像データを合成して、画像全体
を表す画像データとする（Ｓ６１５）。

【００６２】上記のように、劣化の原因を静的劣化と動
的劣化とで選択して、また、劣化検出領域を主被写体と
背景とで選択して、さらに、劣化除去処理を施す部分を
主被写体の部分と画像全体とで選択して、画質の劣化除
去処理を施すようにしたデジタルカメラ１では、使用者
の作画意図を容易に画像に反映させることができる。ま
た、劣化を検出する領域を画像全体とはせず、画像の一
部分または複数部分に限ることで、劣化検出に要する時
間が短縮され、速やかに劣化除去処理を施すことができ
る。

【００６３】なお、ここでは、測距センサ１３によって
撮影対象まで距離を測定し、主としてその測定結果に基
づいて主被写体を識別するようにしているが、測距セン
サ１３を省略し、撮像素子２０によって撮影された画像
のみから主被写体を判別するようにしてもよい。ただ
し、測距センサ１３を備えておけば、静的劣化を除去す
るときの処理時間を短縮することができる。

【００６４】上記の実施形態では、劣化除去処理をデジ
タルカメラ１内で行うようにしているが、外部装置で劣
化除去処理を施すようにすることも可能である。劣化除
去処理をパーソナルコンピュータで行う第２の実施形態
について説明する。デジタルカメラでは、図４のステッ
プＳ１４５〜Ｓ１６０で撮影された複数の画像を表す複
数の画像データ、またはステップＳ１３０、Ｓ１３５で
撮影された画像を表す画像データを記録媒体Ｍに記録し
ておく。パーソナルコンピュータ（以下、単にコンピュ
ータという）では、記録媒体Ｍから画像データを読み出
して、読み出した画像データに劣化除去処理を施す。

【００６５】劣化除去処理を記したコンピュータのプロ
グラムの処理の流れを図１０に示す。このプログラム
は、磁気ディスク、光ディスク等の記録媒体に記録され
た形態で、あるいはネットワークを介してオンラインで
提供され、コンピュータの不揮発性メモリに記憶されて
いる。

【００６６】まず、劣化関数の設定に関する前述のＡ
１、Ａ２のいずれが選択されたかを判定する（ステップ
Ｓ７０５）。Ａ１すなわち静的劣化のみの除去が選択さ
れたときは、記録媒体Ｍから画像データを読み出す（Ｓ
７１０）。そして、静的劣化を表す劣化関数Ｄｓを設定
する（Ｓ７１５）。これは、デジタルカメラが、画像デ
ータの記録に際して、撮影条件に対する劣化関数を画像
データのタグに記録しておき、コンピュータがこの劣化
関数を画像データと共に読み出すようにすることで、実
現される。なお、ローパスフィルタ２１ａによる劣化を
表す劣化関数は、撮影条件によらず固定であるので、こ
の劣化のみを除去する場合は、劣化関数をデジタルカメ
ラで記録しコンピュータで読み出すことは不要である。

【００６７】Ａ２すなわち動的劣化と静的劣化の双方の
除去が選択されたときは、記録媒体Ｍから複数の画像デ
ータを読み出し（Ｓ７２０、Ｓ７２５）、劣化関数を求
めるための検出領域を設定する（Ｓ７３０）。検出領域
は、前述のＢ１、Ｂ２のいずれが選択されたかによっ
て、図５または図６のいずれかに従って設定する。この
とき必要となる主被写体領域は、デジタルカメラが、画
像データの記録に際して、主被写体の位置に関する情報
を画像データのタグに記録しておき、コンピュータがそ
の情報を画像データと共に、またはこのステップＳ７３
０で読み出すようにすることで得られる。また、画像の
各部分のコントラストにより合焦領域を判定し、その領
域を主被写体領域とするようにしてもよい。さらに、図
８に示した遠景撮影を行った場合は、その画像データも
記録しておき、これを読み出してステップＳ５２５の主
被写体領域検出処理を行うようにしてもよい。

【００６８】次いで、画像間での検出領域の対応付け
（Ｓ７３５）、軌跡の算出（Ｓ７４０）、動的劣化を表
す劣化関数Ｄｄの設定（Ｓ７４５）、ステップＳ７１１
と同様にして設定した静的劣化を表す劣化関数Ｄｓと劣
化関数Ｄｄの合成（Ｓ７５０）の各処理を行う。なお、
ステップＳ７３５〜Ｓ７５０の処理は図４のステップＳ
１７０〜Ｓ１８５と同様であるので、詳細な説明は省略
する。

【００６９】ステップＳ７１５で劣化関数Ｄ（Ｄｓ）を
設定した後、またはステップＳ７５０で劣化関数Ｄ（Ｄ
ｄ＋Ｄｓ）を設定した後、その劣化関数Ｄを用いて画像
データに劣化除去処理を施す（Ｓ７５５）。これで、撮
影時に生じた劣化が除去され画質の向上した画像が得ら
れたことになる。

【００７０】

【発明の効果】画像のうち一部分について画質の劣化を
検出し、画像全体を表す画像データに検出した劣化を除
去する処理を施すようにした本発明の画像処理装置で
は、劣化検出に要する時間が短縮され、劣化除去処理を
施した画像データを速やかに得ることができる。

【００７１】特に、画像のうち背景の部分について画質
の劣化を検出するようにすると、画像全体に劣化をもた
らす手ぶれを除去することが可能になる。また、画像の
うち主被写体の部分について画質の劣化を検出するよう
にすると、主被写体の移動と手ぶれの双方に起因する劣
化を除去することができる。さらに、撮影時の手ぶれに
起因する画質の劣化を検出するようすると、画像全体に
現れる劣化を除去することができる

【００７２】画像のうち複数の部分について画質の劣化
を検出し、検出した劣化のいずれかを選択して、画像デ
ータに選択した劣化を除去するようにした本発明の画像
処理装置では、どの部分で検出された劣化を除去するか
を選択することができるため、劣化除去の機能を柔軟に
利用することができる。画像のどの部分に劣化除去処理
を施すかによって、機能利用の柔軟性をさらに高めるこ
ともできる。

【００７３】画像のうち一部分について画質の劣化を検
出し、劣化を検出した部分を表す画像データのみに検出
した劣化を除去する処理を施すようにした本発明の画像
処理装置では、劣化を速やかに検出することができる
上、劣化の除去に要する時間も短縮され、さらに、不必
要な部分に劣化除去処理を施すことを避けることができ
る。

【００７４】画質の劣化のうち所定の原因に起因するも
ののみを除去するようにした本発明の画像処理装置で
は、使用者の作画意図を画像に反映させることが容易で
ある。

【００７５】特に、撮影時の手ぶれに起因する画質の劣
化のみを除去するようにすると、画像全体にわたる劣化
を除去することができる。

【００７６】本発明の画像処理方法、プログラムおよび
記録媒体も、前述の効果を奏するものとなる。

【図面の簡単な説明】

【図１】 本発明の第１の実施形態のデジタルカメラの
正面図。

【図２】 上記デジタルカメラの背面図。

【図３】 上記デジタルカメラの回路構成を示すブロッ
ク図。

【図４】 上記デジタルカメラにおける画質の劣化除去
に関する処理の全体の流れの概略を示すフローチャー
ト。

【図５】 上記デジタルカメラにおける劣化検出部分の
設定の処理を示すフローチャート。

【図６】 上記デジタルカメラにおける劣化検出部分の
設定の他の処理を示すフローチャート。

【図７】 上記デジタルカメラにおける動的劣化を表す
劣化関数の設定の処理を示すフローチャート。

【図８】 上記デジタルカメラにおける主被写体を高精
度で判別する処理の一部を示すフローチャート。

【図９】 上記デジタルカメラにおける主被写体のみの
劣化を除去する処理を示すフローチャート。

【図１０】 本発明の第２の実施形態のマイクロコンピ
ュータにおける画質の劣化除去に関する処理の全体の流
れの概略を示すフローチャート。

【符号の説明】

１ デジタルカメラ １１ 撮影レンズ １２ 測光センサ １３ 測距センサ １４ フラッシュ発光部 １５ 光学ファインダ １６ レリーズボタン １７ 表示部 １８、１９ 操作スイッチ ２０ 撮像素子 ２１ 撮像部 ２１ａ ローパスフィルタ ２２ Ａ／Ｄコンバータ ２３ ホワイトバランス調整部 ２４ 画像メモリ ２５ 記録部 ２６ 制御部 ２７ 操作部 ２８ ぶれ検出部 ２９ 劣化除去部

フロントページの続き (72)発明者 山中 睦裕 大阪市中央区安土町二丁目３番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 墨友 博則 大阪市中央区安土町二丁目３番13号 大阪 国際ビル ミノルタ株式会社内 (72)発明者 中野 雄介 大阪市中央区安土町二丁目３番13号 大阪 国際ビル ミノルタ株式会社内 Ｆターム(参考） 5B047 BB04 BB06 CB30 DA10 5B057 BA02 BA11 CE02 CE06 CH01 CH11 5C022 AA13 AB17 AB55 AC32 AC52 5C077 LL02 LL18 LL19 PP21 PP43 PQ08 TT09

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像を表す画像データに撮影時に生じた
   画質の劣化を除去する処理を施して、画質の向上した画
   像を表す画像データを生成する画像処理装置において、 画像のうち一部分について画質の劣化を検出し、画像全
   体を表す画像データに検出した劣化を除去する処理を施
   すことを特徴とする画像処理装置。
2. 【請求項２】 画像のうち背景の部分について画質の劣
   化を検出することを特徴とする請求項１に記載の画像処
   理装置。
3. 【請求項３】 画像のうち主被写体の部分について画質
   の劣化を検出することを特徴とする請求項１に記載の画
   像処理装置。
4. 【請求項４】 撮影時の手ぶれによる画質の劣化を検出
   することを特徴とする請求項１に記載の画像処理装置。
5. 【請求項５】 画像を表す画像データに撮影時に生じた
   画質の劣化を除去する処理を施して、画質の向上した画
   像を表す画像データを生成する画像処理装置において、 画像のうち複数の部分について画質の劣化を検出し、検
   出した劣化のいずれかを選択して、画像データに選択し
   た劣化を除去する処理を施すことを特徴とする画像処理
   装置。
6. 【請求項６】 画像を表す画像データに撮影時に生じた
   画質の劣化を除去する処理を施して、画質の向上した画
   像を表す画像データを生成する画像処理装置において、 画像のうち一部分について画質の劣化を検出し、劣化を
   検出した部分を表す画像データのみに検出した劣化を除
   去する処理を施すことを特徴とする画像処理装置。
7. 【請求項７】 画像を表す画像データに撮影時に生じた
   画質の劣化を除去する処理を施して、画質の向上した画
   像を表す画像データを生成する画像処理装置において、 画質の劣化のうち所定の原因によるもののみを除去する
   ことを特徴とする画像処理装置。
8. 【請求項８】 撮影時の手ぶれによる画質の劣化のみを
   除去することを特徴とする請求項７に記載の画像処理装
   置。
9. 【請求項９】 画像を表す画像データに撮影時に生じた
   画質の劣化を除去する処理を施して、画質の向上した画
   像を表す画像データを生成する画像処理方法において、 画像のうち一部分について画質の劣化を検出し、画像全
   体を表す画像データに検出した劣化を除去する処理を施
   すことを特徴とする画像処理方法。
10. 【請求項１０】 画像を表す画像データに撮影時に生じ
    た画質の劣化を除去する処理を施して、画質の向上した
    画像を表す画像データを生成するプログラムにおいて、 画像のうち一部分について画質の劣化を検出し、画像全
    体を表す画像データに検出した劣化を除去する処理を施
    すことを特徴とするプログラム。
11. 【請求項１１】 請求項１０に記載のプログラムを記録
    していることを特徴とする記録媒体。