JP2003178289A - 画像処理装置、画像評価装置、画像処理方法、画像評価方法および画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 実写画像の内容を適切に評価した上で各種の
画像処理を行なう。 【解決手段】 コンピュータ２１は、入力された実写画
像を構成する画素の画像データに対してエッジ画素サン
プリング，均等サンプリングを行ない（ステップＳ１２
０，Ｓ１４０）、各サンプリングによる集計結果Ｄｉｓ
ｔ＿ｅｄｇ，Ｄｉｓｔ＿ａｖｅを求める。次に、画像評
価オプションにより重み付け係数ｋを決定し（ステップ
Ｓ１９２〜Ｓ１９６）、この重み付け係数ｋを用いて二
つの集計結果Ｄｉｓｔ＿ｅｄｇ，Ｄｉｓｔ＿ａｖｅに対
する重み付けを行ないつつ、集計結果Ｄｉｓｔ＿ｅｄｇ
と集計結果Ｄｉｓｔ＿ａｖｅとを合算する。この合算に
より求められた集計結果Ｄｉｓｔ＿Ｓｕｍに基づいて画
像データに対するコントラストの拡大幅等が決定され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル写真画像
のような実写画像を評価し、該実写画像に所定の画像処
理を行なう技術に関する。

【０００２】

【従来の技術】ディジタル写真画像のような実写の画像
データに対して各種の画像処理が行われている。例え
ば、コントラストを強調するとか、色調を補正すると
か、明るさを補正するといった画像処理である。これら
の画像処理は、通常、マイクロコンピュータで実行可能
となっており、操作者がモニタ上で画像を確認して必要
な画像処理を選択したり、画像処理のパラメータなどを
決定している。すなわち、画像の特徴を操作者が判定し
て各種の操作を選択したり実行している。

【０００３】

【発明が解決しようとする課題】近年、画像処理の技法
については各種のものが提案され、実際に効果を発揮し
ている。しかしながら、どの技法でどの程度の処理を行
うかとなると、依然、人間が関与しなければならない。
これは、画像処理の対象となるディジタル画像データに
おいて、どこが重要であるのかを判断することができな
かったためである。

【０００４】例えば、明るさを補正する画像処理を考え
た場合、画面全体の平均が暗ければ明るく補正し、逆に
平均が明るければ暗く補正するという自動処理を考えた
とする。ここで、夜間撮影した人物像の実写の画像デー
タがあるとする。背景は殆ど真っ暗に近いものの、人物
自体は良好に撮影できていたとする。この実写の画像デ
ータを自動補正すると、背景が真っ暗であるがために明
るく補正しようとしてしまい、昼間の画像のようになっ
てしまうことになる。

【０００５】この場合、人間が関与していれば人物像の
部分だけに注目する。そして、人物像が暗ければ少し明
るく補正するし、逆に、フラッシュなどの効果で明る過
ぎれば暗くする補正を選択する。

【０００６】本出願人は、このような課題に鑑みて特願
平９−１５１４１３号にて画像の中での重要な部分を判
断する発明を提案した。同発明においては、画像のシャ
ープな部分に本来の被写体（オブジェクト）が存在して
いるはずであると考え、各画素での画像の変化度合いに
着目して同変化度合いの大きな画素をオブジェクトと判
断している。

【０００７】しかしながら、画像のシャープな部分があ
るにしても同部分の面積は小さく背景部分を基準にした
画像処理が好ましい場合もあり、一つの評価基準だけで
は偏りが生じる可能性があった。また、いずれの評価基
準を採用すべきかを判定する必要性は依然として残った
ままであった。

【０００８】本発明は、上記課題にかんがみてなされた
もので、画像処理の前提として画像を評価するにあた
り、柔軟に対応して画像評価結果を利用しやすくするこ
とが可能な画像評価技術の提供を目的とする。

【０００９】

【課題を解決するための手段およびその作用・効果】上
記目的を達成するため、本発明の画像処理装置は、複数
の画素からなる実写画像を予め評価してから、該実写画
像に所定の画像処理を行なう画像処理装置であって、実
写画像を構成する少なくとも一部の画素の画像データを
入力し、該画像データに対して異なる複数の手法で個別
に集計処理を行なうと共に、該集計処理の結果を当該複
数の手法毎に重み付けを行なって合算する合算手段と、
該合算された結果に基づいて、前記実写画像を評価する
評価手段と、該評価に従って前記所定の画像処理を行な
う処理手段とを備えたことを要旨としている。

【００１０】また、本発明の画像評価装置は、複数の画
素からなる実写画像に対する画像処理に先立って、該実
写画像の評価を行なう画像評価装置であって、実写画像
を構成する少なくとも一部の画素の画像データを入力
し、該画像データに対して異なる複数の手法で個別に集
計処理を行なうと共に、該集計処理の結果を当該複数の
手法毎に重み付けを行なって合算する合算手段と、該合
算された結果に基づいて、前記実写画像を評価する評価
手段とを備えたことを要旨としている。

【００１１】上記した装置の発明では、合算手段が、実
写画像を構成する画像データに対して異なる複数の手法
で個別に集計処理を行なうと共に、該集計処理の結果を
当該複数の手法毎に重み付けを行なって合算し、該合算
された結果に基づいて、評価手段が、実写画像を評価す
る。例えば、ポートレートのように画像のシャープな被
写体をオブジェクトとして当該画像を評価するのに適当
な集計処理もあれば、背景を重要なオブジェクトとして
当該画像を評価するのに適当な集計処理もあり、これら
の複数の手法による集計処理を並行して実行すると共
に、この集計処理の結果を当該複数の手法毎に重み付け
を行なって合算し、合算された結果に基づいて実写画像
を総合的に評価する。従って、画像の特徴を判定するに
あたって柔軟に対応することが可能な装置を提供するこ
とができる。

【００１２】なお、この集計処理の結果は画像の特徴な
どを判定するのに使用可能なものであればよく、具体的
に画像の種類を特定するような結果が得られる必要はな
い。例えば、画像を明るいと判定するか暗いと判定する
かといった場合の輝度のヒストグラムなどといった指標
も含むものであり、明るい画像であるとか暗い画像であ
るといった判定結果が得られる必要はない。むろん、明
暗以外にも画像がシャープであるか否かの指標であると
か、鮮やかさを判断する際の指標であってもよい。

【００１３】合算手段によって行われる複数の手法によ
る集計処理に、各画素における隣接画素との間の画像デ
ータの変化の度合いが大きい画素について、その画像デ
ータを集計する処理である変化部集計処理を含むこと
も、各画素における隣接画素との変化度合いを検出する
ことができる点で好適である。

【００１４】加えて、変化部集計処理による集計処理の
結果に、他の手法による集計処理よりも重い重み付けを
行なって合算する構成としてもよい。この構成では、結
果的に、変化度合いの大きいはっきりした画像部分を評
価する集計処理を採用したことになる。

【００１５】この構成によれば、画像の変化度合いが大
きい部分はフォーカスのはっきりした被写体部分である
ことが多いため、このような重要画素に重きをおいた画
像評価が可能となる。こうして合算された結果によれ
ば、実写画像のシャープな部分に重きをおいて評価する
ことが可能となるので、人物像などの画像を判定するの
に好適なことはいうまでもない。ここで変化度合いが大
きい画像に評価の重きをおく手法は、集計しながら重み
付けを代えるものであってもよいし、変化度合いの大き
い画素だけについて集計するといったものでもよい。

【００１６】合算手段における変化部集計処理を、実写
画像を構成する画素の画像データとこれに少なくとも縦
横いずれかの方向に隣接する２つの画素の画像データと
の差分を縦横成分とするベクトルの大きさが所定以上の
画素を画像データの変化の度合いが大きい画素であると
判断して、画像データを集計する処理としてもよい。

【００１７】異なる複数の手法で行なわれた集計処理の
結果を当該複数の手法毎に重み付けを行なって合算する
ためには、実質的に同様の目的を達するさまざまな手法
を採用可能である。例えば、異なる複数の手法による集
計処理を全画素について行ない、各集計処理の結果を当
該複数の手法毎に重み付けを行なって合算することもそ
の一例である。但し、全画素について集計すると処理量
が多くなるので、そのような状況に対して好適な一例と
して、合算手段によって行われる複数の手法による集計
処理に、実写画像を構成する全画素から所定の基準で間
引いて選択した画素について、その画像データを集計す
る処理である間引き集計処理を含む構成を考えることが
できる。

【００１８】上記の構成では、画素の間引き方の基準を
変えることにより、結果的に複数の手法による集計処理
を採用することが可能となる。さらに、それぞれの集計
結果の重み付けを調整して合算することにより、結果的
に複数の集計処理の結果に対してそれぞれ重み付けを持
たせて評価したことに対応する。従って、画像データに
ついてサンプリングして処理を行うため、画素の間引き
方に応じて複数通りの集計処理を採用可能であるととも
に、処理量を低減させることができる。

【００１９】合算手段によって行われる間引き集計処理
を、実写画像の全体に対して、均等にサンプリングして
集計する処理とすることも望ましい。こうすれば、画像
データが均等に間引かれて、画像を全体的に捉えること
になるので、処理量を低減させつつ、風景などの実写画
像について好適な評価を行なうことができる。

【００２０】合算手段によって行われる間引き集計処理
において、実写画像を構成する画素からサンプリングさ
れる画素の数Ｎが、サンプリングにより生じる誤差とし
て許容される上限をＥ％としたとき、Ｅ≦１００／√
（Ｎ）を満たすよう選択されていることも好適である。

【００２１】合算手段における重み付けは必ずしも固定
的でなければならないわけではなく、この重み付けを、
複数の集計処理の少なくとも一つにおいて変更可能に構
成してもよい。

【００２２】上記の構成によれば、それぞれの集計処理
に対する重み付けを変更することにより、画像に対応し
た総合評価結果を導き出すことが可能となり、より柔軟
な評価を行なうことができる。

【００２３】この場合、それぞれの集計処理に対する重
み付けを個別に変更するものであるとか、複数の組合せ
を予め用意しておき、その組合せを選択するというもの
など各種の態様が含まれる。

【００２４】このような重み付けの変更は、変更自体を
操作者が行うもののみならず、画像データに基づいて実
現するものも含まれる。その一例として、異なる複数の
手法で行なわれた各集計処理の結果に基づいて重み付け
を変化させる構成を考えることができる。

【００２５】上記の構成では、画像データに対して異な
る複数の手法で集計処理を行なうことにより集計処理の
結果を得て、この集計処理の結果の内容を勘案して各集
計処理の結果に付与される重み付けを変化させる。この
ように集計処理の結果を利用して重み付けを変化させる
ことで、評価の手間を軽減させることができる。

【００２６】集計処理の結果を利用して重み付けを変え
る際にもさまざまな手法を採用可能であり、例えば、あ
る集計処理において各画素の画像データをサンプリング
の対象とするか否かを判断する構成とした場合には、サ
ンプリングされた画素数を一つの基準とし、画素数が多
い場合に重み付けを重くするといったことも含まれる。

【００２７】この一例として、上記の合算手段が、前記
重み付けを、前記画像データの変化の度合いの大きな画
素数と前記所定の基準で間引いて選択した画素数との比
により設定する手段を備えた構成を考えることができ
る。また、合算手段が、前記重み付けを、前記実写画像
の種類を指定することにより設定する手段を備えること
としてもよい。

【００２８】合算手段が、集計処理の一つとして、画像
データに含まれる輝度または彩度について、各画素の画
像データが属する範囲の度数を集計してヒストグラムを
作成する処理を行なうこととしてもよい。

【００２９】合算手段を、前記画像データに含まれる彩
度について、異なる複数の手法で個別に集計処理を行な
い、該集計処理の結果を当該複数の手法毎に重み付けを
行なって合算する手段とした場合には、合算手段により
合算された結果に基づいて、決定手段が、前記実写画像
の輝度が保存されるように、前記実写画像に対する彩度
強調度合いを決定し、該決定された彩度強調度合いに基
づいて前記実写画像を評価し、該評価に従って彩度強調
処理を行なうこととしても差し支えない。こうすれば、
彩度の強調に伴って実写画像が全体的に明るくなってし
まうといった事態を防止することができる。

【００３０】むろん、上記のような画像処理装置や画像
評価装置は単独で存在する場合もあるし、画像処理装置
や画像評価装置に組み込まれた状態で利用されることも
あるなど、適宜変更可能である。

【００３１】以上のような画像を評価する手法は、必ず
しも実体のある装置に限られる必要もなく、その一例と
して、本発明の画像評価方法は、複数の画素からなる実
写画像に対する画像処理に先立って、該実写画像の評価
を行なう画像評価方法であって、実写画像を構成する少
なくとも一部の画素の画像データを入力し、各画素の画
像データを異なる複数の手法で個別に集計処理すると共
に、当該複数の手法毎に重み付けを行なって合算し、該
合算された結果に基づいて、前記実写画像を評価するこ
とを要旨としている。

【００３２】また、本発明の画像処理方法は、複数の画
素からなる実写画像に対する画像処理に先立って、該実
写画像の評価を行ない、該評価に基づいて画像を処理す
る方法であって、実写画像を構成する少なくとも一部の
画素の画像データを入力し、該画像データに対して異な
る複数の手法で個別に集計処理を行なうと共に、該集計
処理の結果を当該複数の手法毎に重み付けを行なって合
算し、該合算された結果に基づいて、前記実写画像を評
価し、該評価に従って、前記実写画像に対する所定の処
理を行なうことを要旨としている。

【００３３】上記の方法の発明によれば、前記装置の発
明と同様に、画像の特徴を判定するにあたって柔軟に対
応することができる。

【００３４】以上のような手法で画像を評価する発明の
思想は、各種の態様を含むものである。すなわち、ハー
ドウェアで実現されたり、ソフトウェアで実現されるな
ど、適宜、変更可能である。

【００３５】発明の思想の具現化例として画像処理する
ソフトウェアとなる場合には、かかるソフトウェアを記
録したソフトウェア記録媒体上においても当然に存在
し、利用されるといわざるをえない。

【００３６】その一例として、本発明の記録媒体は、複
数の画素からなる実写画像に対する画像処理に先立っ
て、該実写画像の評価を行ない、該評価に基づいて画像
を処理するプログラムを、コンピュータにより読み取り
可能に記録した記録媒体であって、実写画像を構成する
少なくとも一部の画素の画像データを入力し、該画像デ
ータに対して異なる複数の手法で個別に集計処理を行な
う機能と、当該複数の手法毎に重み付けを行なって、前
記集計処理の結果を合算する機能と、該合算された結果
に基づいて、前記実写画像を評価する機能と、該評価に
従って、前記実写画像に対する所定の処理を行なう機能
とをコンピュータにより実現するプログラムを記録した
ことを要旨としている。

【００３７】上記の記録媒体の発明によれば、同様にし
て画像の特徴を判定するにあたって柔軟に対応すること
が可能な画像評価プログラムを記録した媒体を提供する
ことができる。

【００３８】むろん、その記録媒体は、磁気記録媒体で
あってもよいし光磁気記録媒体であってもよいし、今後
開発されるいかなるソフトウェア記録媒体においても全
く同様に考えることができる。また、一次複製品、二次
複製品などの複製段階については全く問う余地無く同等
である。その他、供給方法として通信回線を利用して行
う場合でも本発明が利用されていることには変わりない
し、半導体チップに書き込まれたようなものであっても
同様である。

【００３９】さらに、一部がソフトウェアであって、一
部がハードウェアで実現されている場合においても発明
の思想において全く異なるものはなく、一部をソフトウ
ェア記録媒体上に記憶しておいて必要に応じて適宜読み
込まれるような形態のものとしてあってもよい。

【００４０】

【発明の実施の形態】以下、図面にもとづいて本発明の
実施形態を説明する。

【００４１】図１は、本発明の一実施形態にかかる画像
評価方法を実行して画像処理する画像処理システムをブ
ロック図により示しており、図２は具体的ハードウェア
構成例を概略ブロック図により示している。

【００４２】図１において、画像入力装置１０は写真な
どをドットマトリクス状の画素として表した実写の画像
データを画像処理装置２０へ出力し、同画像処理装置２
０は所定の処理を経て画像データを集計すると共に、こ
の集計結果を用いて画像を評価し、同評価結果に基づい
て画像処理の内容と程度を決定してから画像処理を実行
する。同画像処理装置２０は画像処理した画像データを
画像出力装置３０へ出力し、画像出力装置は画像処理さ
れた画像をドットマトリクス状の画素で出力する。

【００４３】画像処理装置２０は、予め画像データを集
計して当該画像に対する評価結果を求めている。この
際、異なる複数の手法で個別に画像データの集計を行な
い、この集計の結果を当該複数の手法毎に重み付けを行
なって合算し、該合算された結果に基づいて画像を評価
している。従って、画像処理装置２０は、合算手段，評
価手段，処理手段を構成する。

【００４４】画像入力装置１０の具体例は図２における
スキャナ１１やデジタルスチルカメラ１２あるいはビデ
オカメラ１４などが該当し、画像処理装置２０の具体例
はコンピュータ２１とハードディスク２２とキーボード
２３とＣＤ−ＲＯＭドライブ２４とフレキシブルディス
クドライブ２５とモデム２６などからなるコンピュータ
システムが該当し、画像出力装置３０の具体例はプリン
タ３１やディスプレイ３２等が該当する。本実施形態の
場合、画像の不具合等を修正すべく等該画像を評価する
ため、画像データとしては写真などの実写データが好適
である。なお、モデム２６については公衆通信回線に接
続され、外部のネットワークに同公衆通信回線を介して
接続し、ソフトウェアやデータをダウンロードして導入
可能となっている。

【００４５】本実施形態においては、画像入力装置１０
としてのスキャナ１１やデジタルスチルカメラ１２が画
像データとしてＲＧＢ（緑、青、赤）の階調データを出
力するとともに、画像出力装置３０としてのプリンタ３
１は階調データとしてＣＭＹ（シアン、マゼンダ、イエ
ロー）あるいはこれに黒を加えたＣＭＹＫの二値データ
を入力として必要とするし、ディスプレイ３２はＲＧＢ
の階調データを入力として必要とする。一方、コンピュ
ータ２１内ではオペレーティングシステム２１ａが稼働
しており、プリンタ３１やディスプレイ３２に対応した
プリンタドライバ２１ｂやディスプレイドライバ２１ｃ
が組み込まれている。また、画像処理アプリケーション
２１ｄはオペレーティングシステム２１ａにて処理の実
行を制御され、必要に応じてプリンタドライバ２１ｂや
ディスプレイドライバ２１ｃと連携して所定の画像処理
を実行する。

【００４６】従って、画像処理装置２０としてのこのコ
ンピュータ２１の具体的役割は、ＲＧＢの階調データを
入力して画像を評価しつつ最適な画像処理を施したＲＧ
Ｂの階調データを作成し、ディスプレイドライバ２１ｃ
を介してディスプレイ３２に表示させるとともに、プリ
ンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹ
Ｋ）の二値データに変換してプリンタ３１に印刷させる
ことになる。

【００４７】このように、本実施形態においては、画像
の入出力装置の間にコンピュータシステムを組み込んで
画像評価と画像処理を行うようにしているが、必ずしも
かかるコンピュータシステムを必要とするわけではな
く、画像データに対して各種の画像処理を行うシステム
に適用可能である。例えば、図３に示すようにデジタル
スチルカメラ１２ａ内に画像評価して画像処理する画像
処理装置を組み込み、変換した画像データを用いてディ
スプレイ３２ａに表示させたりプリンタ３１ａに印字さ
せるようなシステムであっても良い。また、図４に示す
ように、コンピュータシステムを介することなく画像デ
ータを入力して印刷するプリンタ３１ｂにおいては、ス
キャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモ
デム２６ｂ等を介して入力される画像データから画像評
価して画像処理するように構成することも可能である。

【００４８】上述した画像評価とそれに伴う画像処理
は、具体的には上記コンピュータ２１内にて図５などに
示すフローチャートに対応した画像処理プログラムで行
っている。同図に示すフローチャートは画像処理プログ
ラムにおける画像評価の前段部分に該当し、画像データ
を複数の評価基準で集計して所定の評価結果を得る処理
を実行する。

【００４９】ここで本実施形態において採用する二つの
評価基準について説明する。共通するのはいずれも全画
素を対象とするのではなく、所定の基準に従って画素を
間引くとともに、サンプリングした画素について輝度を
集計する点である。また、相違するのは、一方が均等に
画素をサンプリングするのに対し、他方がエッジ画素を
選択してサンプリングする点である。輝度の集計結果に
ついては後述するが、このようにしていわゆるサンプリ
ング手法を変えることにより、画像の評価を変えること
ができる。均等に画素をサンプリングするというのは画
像全体の画素について輝度を集計することに他ならず、
画像全体としての画像データの輝度の分布を評価するこ
とになるから、風景写真が全体的に暗いとかコントラス
トが狭いといった評価の参考となる。

【００５０】一方、エッジ画素は画像のシャープな部分
であるから、画像の中でも本来の被写体に関わる画素に
ついて輝度を集計することになり、たとえ背景が暗くて
も被写体が十分な明るさを持っていれば画像の明るさは
十分であるといった評価結果が得られることになる。本
実施形態においては、操作者による選択あるいは自動処
理によってこれら二つの評価基準を適宜組み合わせて画
像の判定を行うようにしている。

【００５１】図５に示すフローチャートを参照すると、
この画像評価処理では、図６に示すようにドットマトリ
クス状の画素からなる画像データについて対象画素を水
平方向に主走査しつつ垂直方向に副走査して移動させ、
各画素についてサンプリング対象であるか否かを判断し
て集計している。

【００５２】画像データがドットマトリクス状の画素か
ら構成されている場合には、各画素ごとに上述したＲＧ
Ｂの輝度を表す階調データで表されており、画像のエッ
ジ部分では隣接する画素間での同データの差分は大きく
なる。この差分は輝度勾配であり、これをエッジ度と呼
ぶことにし、ステップＳ１１０では各画素でのエッジ度
を判定する。図７に示すようなＸＹ直交座標を考察する
場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ
軸方向成分とをそれぞれ求めれば演算可能となる。

【００５３】ドットマトリクス状の画素からなるディジ
タル画像においては、図８に示すように縦軸方向と横軸
方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）
で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの
各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，
ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であ
ってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，
ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ
（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを
参照しなければ変換不能であるが、後述するようにして
簡易な対応関係を利用するようにしても良い。

【００５４】図８に示すものにおいて、Ｘ方向の差分値
ｆｘとＹ方向の差分値ｆｙは、

【００５５】

【数１】

【００５６】のように表される。従って、これらを成分
とするベクトルの大きさ｜ｇ（ｘ，ｙ）｜は、

【００５７】

【数２】

【００５８】のように表される。むろん、エッジ度はこ
の｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図
９に示すように縦横に升目状に配置されており、中央の
画素に注目すると八つの隣接画素がある。従って、同様
にそれぞれの隣接する画素との画像データの差分をベク
トルで表し、このベクトルの和を画像の変化度合いと判
断しても良い。

【００５９】以上のようにして各画素についてエッジ度
が求められるので、あるしきい値と比較してエッジ度の
方が大きい画素はエッジ画素と判断すればよい。なお、
経験的事実から考察すると、フォーカスが集中する被写
体は構図の中央部分に位置することが多い。従って、中
央部分から多くの画素が抽出されるような仕組みとする
ことにより、画像処理の判断に利用したときにより好ま
しい効果を得られる。

【００６０】このため、図１０に示すように、画像の中
の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を
異ならせておくようにしてもよい。むろん、この例で
は、

【００６１】

【数３】

【００６２】なる関係があり、中央に近い部分ほどしき
い値は低く、エッジ度が比較的低くてもフォーカスが集
中していると判断されるようになる。

【００６３】ステップＳ１２０ではエッジ度と同しきい
値とを比較して変化度合いが大きいか否かを判断する。
比較の結果、エッジ度の方が大きければこの画素はエッ
ジ画素であると判断し、ステップＳ１３０にてその画素
の画像データをサンプリングしてワークエリアに保存す
る。ワークエリアはコンピュータ２１内のＲＡＭであっ
てもよいしハードディスク２２であってもよい。

【００６４】一方、このようなエッジ度の判定と並行し
てステップＳ１４０では当該対象画素が均等サンプリン
グの対象画素であるか否かを判断する。均等にサンプリ
ングするといっても、ある誤差の範囲内となる程度にサ
ンプリングする必要がある。統計的誤差によれば、サン
プル数Ｎに対する誤差は概ね１／（Ｎ**（１／２））と
表せる。ただし、**は累乗を表している。従って、１％
程度の誤差で処理を行うためにはＮ＝１００００とな
る。

【００６５】ここにおいて、図６に示すビットマップ画
面は（ｗｉｄｔｈ）×（ｈｅｉｇｈｔ）の画素数とな
り、サンプリング周期ｒａｔｉｏは、

【００６６】

【数４】

【００６７】とする。ここにおいて、ｍｉｎ（ｗｉｄｔ
ｈ，ｈｅｉｇｈｔ）はｗｉｄｔｈとｈｅｉｇｈｔのいず
れか小さい方であり、Ａは定数とする。また、ここでい
うサンプリング周期ｒａｔｉｏは何画素ごとにサンプリ
ングするかを表しており、図１１の○印の画素はサンプ
リング周期ｒａｔｉｏ＝２の場合を示している。すなわ
ち、縦方向及び横方向に二画素ごとに一画素のサンプリ
ングであり、一画素おきにサンプリングしている。Ａ＝
２００としたときの１ライン中のサンプリング画素数は
図１２に示すようになる。

【００６８】同図から明らかなように、サンプリングし
ないことになるサンプリング周期ｒａｔｉｏ＝１の場合
を除いて、２００画素以上の幅があるときには最低でも
サンプル数は１００画素以上となることが分かる。従っ
て、縦方向と横方向について２００画素以上の場合には
（１００画素）×（１００画素）＝（１００００画素）
が確保され、誤差を１％以下にできる。

【００６９】ここにおいてｍｉｎ（ｗｉｄｔｈ，ｈｅｉ
ｇｈｔ）を基準としているのは次のような理由による。
例えば、図１３（ａ）に示すビットマップ画像のよう
に、ｗｉｄｔｈ＞＞ｈｅｉｇｈｔであるとすると、長い
方のｗｉｄｔｈでサンプリング周期ｒａｔｉｏを決めて
しまった場合には、同図（ｂ）に示すように、縦方向に
は上端と下端の２ラインしか画素を抽出されないといっ
たことが起こりかねない。しかしながら、ｍｉｎ（ｗｉ
ｄｔｈ，ｈｅｉｇｈｔ）として、小さい方に基づいてサ
ンプリング周期ｒａｔｉｏを決めるようにすれば同図
（ｃ）に示すように少ない方の縦方向においても中間部
を含むような間引きを行うことができるようになる。す
なわち、所定の抽出数を確保したサンプリングが可能と
なる。

【００７０】ステップＳ１４０では、このような均等な
サンプリング手法を採用しつつ、当該対象画素がそのサ
ンプリング対象となっているか否かを判断し、対象であ
ればステップＳ１５０にて画像データをサンプリングす
る。

【００７１】ステップＳ１３０，Ｓ１５０で画像データ
をサンプリングするというのは、同画像データに基づい
て輝度を集計することを意味する。上述したように、本
実施形態においてはコンピュータ２１が扱うのはＲＧＢ
の階調データであり、直接には輝度の値を持っていな
い。輝度を求めるためにＬｕｖ表色空間に色変換するこ
とも可能であるが、演算量などの問題から得策ではな
い。このため、テレビジョンなどの場合に利用されてい
るＲＧＢから輝度を直に求める次式の変換式を利用す
る。

【００７２】

【数５】

【００７３】輝度はヒストグラムとして集計し、むろ
ん、ステップＳ１３０の集計エリアとステップＳ１５０
の集計エリアは別個である。なお、輝度の集計とともに
集計対象となった画素数についても集計しておく。

【００７４】以上のような処理を画像データの各画素に
ついて行うため、ステップＳ１６０にて処理の対象画素
を移動させ、ステップＳ１７０にて全画素について終了
したと判断されるまで処理を繰り返す。

【００７５】それぞれのサンプリング手法で対象となる
画素について輝度の集計を行ったら、ステップＳ１８０
では画像評価オプションを入力する。図１４はディスプ
レイ３２上に表示される画像評価オプション入力画面を
示しており、選択肢としてポートレートと風景写真と自
動設定という三つが用意されている。

【００７６】図１５に示すように均等サンプリングで得
られた輝度のヒストグラムと、エッジ画素のサンプリン
グで得られた輝度のヒストグラムとを合算して当該画像
を評価するためのヒストグラムを生成するにあたり、そ
れぞれの重み付けを調整する必要がある。ここで重み付
け係数ｋを採用すると、均等サンプリングの集計結果Ｄ
ｉｓｔ＿ａｖｅとエッジ画素サンプリングでの集計結果
Ｄｉｓｔ＿ｅｄｇから、評価用の集計結果Ｄｉｓｔ＿Ｓ
ｕｍは、

【００７７】

【数６】

【００７８】となる。そして、この重み付け係数ｋは、
「０」に近づくほど全体重視となり、「１」に近づくほ
ど被写体重視といえる。このため、図１４に示す画像評
価オプション入力画面でオプションを選択した後、ステ
ップＳ１９０にて同オプションに基づいて分岐し、ポー
トレートを選択したときにはステップＳ１９２にて「ｋ
＝０．８」と設定し、風景写真を選択したときにはステ
ップＳ１９４にて「ｋ＝０．２」と設定する。

【００７９】オプション選択の残る一つの選択肢は自動
設定である。この自動設定では先に述べたようにサンプ
リングしたエッジ画素数に基づき、当該エッジ画素数が
少ない場合には風景写真と考えて重み付け係数ｋを
「０」に近づけるし、当該エッジ画素数が多い場合には
ポートレートと考えて重み付け係数ｋを「１」に近づけ
る。エッジ画素のサンプリング数ｘ＿ｅｄｇと均等サン
プリング数ｘ＿ａｖｅを使用し、ステップＳ１９６にて
重み付け係数を

【００８０】

【数７】

【００８１】として算出して評価用の集計結果Ｄｉｓｔ
＿Ｓｕｍを得る。

【００８２】このようにして評価用の集計結果Ｄｉｓｔ
＿Ｓｕｍを得ることにより画像の評価を行ったことにな
る。むろん、この集計結果を用いてさらなる判定を行っ
ても良いが、基本的にはかかる集計結果を利用する画像
処理に応じて適宜変更すればよい。

【００８３】この後、同集計結果に基づいて最適な画像
処理を決定し、実行する。図１６は、その一例としてコ
ントラストの強調と明度の補正の画像処理を実行するた
めのフローチャートを示している。

【００８４】本実施形態でのコントラストを強調するた
めの基本的な手法は、画像データに基づいて輝度分布を
求め、この輝度分布が本来の階調幅（２５５階調）の一
部分しか利用していないのであれば分布を拡大するとい
うものである。

【００８５】従って、ステップＳ３１０では上述した重
み付け係数ｋから集計結果Ｄｉｓｔ＿Ｓｕｍとしての輝
度分布のヒストグラムを作成し、ステップＳ３２０では
拡大する幅を決定する。拡大幅を決定するにあたり、輝
度分布の両端を求めることを考える。写真画像の輝度分
布は図１７に示すように概ね山形に表れる。むろん、そ
の位置、形状についてはさまざまである。輝度分布の幅
はこの両端をどこに決めるかによって決定されるが、単
に裾野が延びて分布数が「０」となる点を両端とするこ
とはできない。裾野部分では分布数が「０」付近で変移
する場合があるし、統計的に見れば限りなく「０」に近
づきながら推移していくからである。

【００８６】このため、分布範囲において最も輝度の大
きい側と小さい側からある分布割合だけ内側に経た部分
を分布の両端とする。本実施形態においては、同図に示
すように、この分布割合を０．５％に設定している。む
ろん、この割合については、適宜、変更することが可能
である。このように、ある分布割合だけ上端と下端をカ
ットすることにより、ノイズなどに起因して生じている
白点や黒点を無視することもできる。すなわち、このよ
うな処理をしなければ一点でも白点や黒点があればそれ
が輝度分布の両端となってしまうので、２５５階調の輝
度値であれば、多くの場合において最下端は階調「０」
であるし、最上端は階調「２５５」となってしまうが、
上端部分から０．５％の画素数だけ内側に入った部分を
端部とすることにより、このようなことが無くなる。

【００８７】実際の処理ではサンプリングした画素数に
対する０．５％を演算し、再現可能な輝度分布における
上端の輝度値及び下端の輝度値から順番に内側に向かい
ながらそれぞれの分布数を累積し、０．５％の値となっ
た輝度値を求める。以後、この上端側をｙｍａｘと呼
び、下端側をｙｍｉｎと呼ぶ。

【００８８】再現可能な輝度の範囲を「０」〜「２５
５」としたときに、変換前の輝度ｙと輝度の分布範囲の
最大値ｙmaxと最小値ｙminから変換先の輝度Ｙを次式に
基づいて求める。

【００８９】

【数８】

【００９０】ただし

【００９１】

【数９】

【００９２】また、上記変換式にてＹ＜０ならばＹ＝０
とし、Ｙ＞２５５ならばＹ＝２５５とする。ここにおけ
る、ａは傾きであり、ｂはオフセットといえる。この変
換式によれば、図１８に示すように、あるせまい幅を持
った輝度分布を再現可能な範囲まで広げることができ
る。ただし、再現可能な範囲を最大限に利用して輝度分
布の拡大を図った場合、ハイライト部分が白く抜けてし
まったり、ハイシャドウ部分が黒くつぶれてしまうこと
が起こる。これを防止するため本実施形態においては、
再現可能な範囲を制限している。すなわち、再現可能な
範囲の上端と下端に拡大しない範囲として輝度値で
「５」だけ残している。この結果、変換式のパラメータ
は次式のようになる。

【００９３】

【数１０】

【００９４】そして、この場合にはｙ＜ｙminと、ｙ＞
ｙmaxの範囲においては変換を行わないようにする。

【００９５】ただし、このままの拡大率（ａに対応）を
適用してしまうと、非常に大きな拡大率が得られる場合
も生じてしまう。例えば、夕方のような薄暮の状態では
最も明るい部分から暗い部分までのコントラストの幅が
狭くて当然であるのに、この画像についてコントラスト
を大きく拡大しようとする結果、昼間の画像のように変
換されてしまいかねない。このような変換は希望されな
いので、拡大率には制限を設けておき、ａが１．５（〜
２）以上とはならないように制限する。これにより、薄
暮は薄暮なりに表現されるようになる。なお、この場合
は輝度分布の中心位置がなるべく変化しないような処理
を行っておく。

【００９６】ところで、輝度の変換時に、毎回、上記変
換式（Ｙ＝ａｙ＋ｂ）を実行するのは非合理的である。
というのは、輝度ｙの取りうる範囲が「０」〜「２５
５」でしかあり得ないため、予め輝度ｙが取りうる全て
の値に対応して変換後の輝度Ｙを求めておくことも可能
である。従って、図１９に示すようなテーブルとして記
憶しておく。

【００９７】このような変換テーブルを形成することが
ステップＳ３２０の拡大幅決定処理に該当し、画像デー
タを変更することが可能になる。しかし、このような輝
度の範囲の拡大によってコントラストを強調するだけで
なく、合わせて明るさを調整することも極めて有効であ
るため、ステップＳ３３０にて画像の明るさを判断し、
補正のためのパラメータを生成する。

【００９８】例えば、図２０にて実線で示すように輝度
分布の山が全体的に暗い側に寄っている場合には波線で
示すように全体的に明るい側に山を移動させると良い
し、逆に、図２１にて実線で示すように輝度分布の山が
全体的に明るい側に寄っている場合には波線で示すよう
に全体的に暗い側に山を移動させると良い。

【００９９】各種の実験を行った結果、本実施形態にお
いては、輝度分布におけるメジアンｙｍｅｄを求め、同
メジアンｙｍｅｄが「８５」未満である場合に暗い画像
と判断して以下のγ値に対応するγ補正で明るくする。

【０１００】

【数１１】

【０１０１】あるいは、

【０１０２】

【数１２】

【０１０３】とする。

【０１０４】この場合、γ＜０．７となっても、γ＝
０．７とする。このような限界を設けておかないと夜の
画像が昼間のようになってしまうからである。なお、明
るくしすぎると全体的に白っぽい画像になってコントラ
ストが弱い画像になりやすいため、彩度を合わせて強調
するなどの処理が好適である。

【０１０５】一方、メジアンｙｍｅｄが「１２８」より
大きい場合に明るい画像と判断して以下のγ値に対応す
るγ補正で暗くする。

【０１０６】

【数１３】

【０１０７】あるいは、

【０１０８】

【数１４】

【０１０９】とする。この場合、γ＞１．３となって
も、γ＝１．３として暗くなり過ぎないように限界を設
けておく。

【０１１０】なお、このγ補正は変換前の輝度分布に対
して行っても良いし、変換後の輝度分布に対して行って
も良い。γ補正をした場合における対応関係を図２２に
示しており、γ＜１であれば上方に膨らむカーブとな
り、γ＞１であれば下方に膨らむカーブとなる。むろ
ん、かかるγ補正の結果も図１９に示すテーブル内に反
映させておけばよく、テーブルデータに対して同補正を
行っておく。

【０１１１】最後に、ステップＳ３４０にてコントラス
ト補正と明度補正が必要であるか否かを判断する。この
判断は上述した拡大率（ａ）とγ値について適当なしき
い値と比較し、拡大率の方が大きかったりγ値が所定範
囲を超えていたら必要性有りと判断する。そして、必要
性有りと判断されれば画像データの変換を行う。

【０１１２】画像処理が必要であると判断された場合、
（９）式に基づく変換を行うが、同式の変換式は、ＲＧ
Ｂの成分値との対応関係においても当てはめることがで
き、変換前の成分値（Ｒ0，Ｇ0，Ｂ0）に対して変換後
の成分値（Ｒ，Ｇ，Ｂ）は、

【０１１３】

【数１５】

【０１１４】として求めることもできる。ここで、輝度
ｙ，Ｙが階調「０」〜階調「２５５」であるのに対応し
てＲＧＢの各成分値（Ｒ0，Ｇ0，Ｂ0），（Ｒ,Ｇ,Ｂ）
も同じ範囲となっており、上述した輝度ｙ，Ｙの変換テ
ーブルをそのまま利用すればよいといえる。

【０１１５】従って、ステップＳ３５０では全画素の画
像データ（Ｒ0，Ｇ0，Ｂ0）について（１８）〜（２
０）式に対応する変換テーブルを参照し、変換後の画像
データ（Ｒ,Ｇ,Ｂ）を得るという処理を繰り返すことに
なる。

【０１１６】ところで、この場合は輝度の集計結果を画
像の判定に利用する評価基準として使用し、コントラス
ト補正と明度補正を行うようにしているが、画像処理の
具体例はこれに限られるものではなく、従って評価基準
として使用する集計内容も様々である。

【０１１７】図２３は彩度強調のための画像処理を実行
する場合のフローチャートを示している。

【０１１８】まず、画素データがその成分要素として彩
度を持っていればその彩度の値を用いて分布を求めるこ
とが可能であるが、ＲＧＢの成分値しか持っていないた
め、本来的には彩度値が直接の成分値となっている表色
空間への変換を行なわなければ彩度値を得ることができ
ない。例えば、標準表色系としてのＬｕｖ空間において
は、Ｌ軸が輝度（明度）を表し、Ｕ軸及びＶ軸で色相を
表している。ここにおいて、Ｕ軸及びＶ軸においては両
軸の交点からの距離が彩度を表すため、実質的に（Ｕ**
２＋Ｖ**２）**（１／２）が彩度となる。

【０１１９】このような異なる表色空間の間での色変換
は対応関係を記憶した色変換テーブルを参照しつつ、補
間演算を併用しなければならず、演算処理量は膨大とな
ってくる。このような状況に鑑み、本実施形態において
は、画像データとして標準的なＲＧＢの階調データを直
に利用して彩度の代替値Ｘを次のようにして求めてい
る。

【０１２０】

【数１６】

【０１２１】本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に
「０」となり、ＲＧＢの単色あるいはいずれか二色の所
定割合による混合時において最大値となる。この性質か
ら直に彩度を適切に表すのは可能であるものの、簡易な
（２１）式によっても赤の単色および緑と青の混合色で
ある黄であれば最大値の彩度となり、各成分が均一の場
合に「０」となる。また、緑や青の単色についても最大
値の半分程度には達している。むろん、

【０１２２】

【数１７】

【０１２３】という式にも代替可能である。

【０１２４】ステップＳ４１０では、上述した均等サン
プリングとエッジ画素サンプリングの手法を採用しつつ
それぞれ別個に彩度の代替値Ｘについてのヒストグラム
の分布を求める。（２１）式においては、彩度が最低値
「０」〜最大値「５１１」の範囲で分布し、概略的には
図２４に示すような分布となる。次なるステップＳ４２
０では、集計された彩度分布に基づいてこの画像につい
ての彩度指数というものを決定する。但し、この場合も
均等サンプリングの集計結果とエッジ画素サンプリング
の集計結果から個別に彩度指数を導出し、上述した重み
付け係数ｋを利用して合算せしめた彩度指数を算出す
る。

【０１２５】彩度指数を導出するにあたり、本実施形態
においては、サンプリングされた画素数の範囲で、分布
数として上位の「１６％」が占める範囲を求める。そし
て、この範囲内での最低の彩度「Ａ」がこの画像の彩度
を表すものとして次式に基づいて彩度強調指数Ｓを決定
する。

【０１２６】すなわち、

【０１２７】

【数１８】

【０１２８】とする。図２５は、この彩度「Ａ」と彩度
強調指数Ｓとの関係を示している。図に示すように、彩
度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度
「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいと
きに小さくなるように徐々に変化していくことになる。

【０１２９】彩度強調指数Ｓに基づいて彩度を強調する
にあたり、上述したように画像データが彩度のパラメー
タを備えているものであれば同パラメータを変換すれば
よいものの、ＲＧＢの表色空間を採用している場合に
は、一旦、標準表色系であるＬｕｖ空間に変換し、Ｌｕ
ｖ空間内で半径方向へ変移させなければならないといえ
る。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕ
ｖ空間内の画像データに変換し、彩度強調後に再びＲＧ
Ｂに戻すといった作業が必要となり、演算量が多くなら
ざるを得ない。従って、ＲＧＢの階調データをそのまま
利用して彩度強調することにする。

【０１３０】ＲＧＢ表色空間のように各成分が概略対等
な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ
＝Ｂであればグレイであって無彩度となる。従って、Ｒ
ＧＢの各成分における最小値となる成分については各画
素の色相に影響を与えることなく単に彩度を低下させて
いるにすぎないと考えれば、各成分における最小値をす
べての成分値から減算し、その差分値を拡大することに
よって彩度を強調できるといえる。

【０１３１】まず、上述した彩度強調指数Ｓから演算に
有利な彩度強調パラメータＳratioを、

【０１３２】

【数１９】

【０１３３】として求める。この場合、彩度強調指数Ｓ
＝０のときに彩度強調パラメータＳratio＝１となって
彩度強調されない。次に、ＲＧＢ階調データの各成分
（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であ
ったとすると、この彩度強調パラメータＳratioを使用
して次のように変換する。

【０１３４】

【数２０】

【０１３５】この結果、ＲＧＢ表色空間とＬｕｖ空間と
の間で一往復する二度の色変換が不要となるため、演算
時間の低減をはかることができる。この実施形態におい
ては、無彩度の成分について単純に最小値の成分を他の
成分値から減算する手法を採用しているが、無彩度の成
分を減算するにあたっては別の変換式を採用するもので
あっても構わない。ただし、（２９）〜（３１）式のよ
うに最小値を減算するだけの場合には乗除算が伴わない
ので演算量が容易となるという効果がある。

【０１３６】（２５）〜（２７）式を採用する場合で
も、良好な変換が可能であるものの、この場合には彩度
を強調すると輝度も向上して全体的に明るくなるという
傾向がある。従って、各成分値から輝度の相当値を減算
した差分値を対象として変換を行うことにする。

【０１３７】まず、輝度を求めるために、上述したＬｕ
ｖ空間に色変換したのでは演算量が多大となってしまう
ため、テレビジョンなどの場合に利用されているＲＧＢ
から輝度を直に求める次式の変換式を利用する。

【０１３８】輝度Ｙは、

【０１３９】

【数２１】

【０１４０】一方、彩度強調は、

【０１４１】

【数２２】

【０１４２】とする。この加減値ΔＲ，ΔＧ，ΔＢは輝
度との差分値に基づいて次式のように求める。すなわ
ち、

【０１４３】

【数２３】

【０１４４】となり、この結果、

【０１４５】

【数２４】

【０１４６】として変換可能となる。なお、輝度の保存
は次式から明らかである。

【０１４７】

【数２５】

【０１４８】また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のとき
には、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値ΔＲ＝Δ
Ｇ＝ΔＢ＝０となり、無彩色に色が付くこともない。
（３９）式〜（４１）式を利用すれば輝度が保存され、
彩度を強調しても全体的に明るくなることはない。

【０１４９】以上のようにして彩度強調指数Ｓratioを
求めたら、ステップＳ４３０にて所定のしきい値と比較
し、彩度強調が必要な画像であるかを判断する。そし
て、必要であればステップＳ４４０にて（３９）式〜
（４１）式に基づいて全画素について画像データを変換
する。

【０１５０】従って、ステップＳ４１０，Ｓ４２０にて
複数の評価基準に基づいて画像データを評価しつつ、そ
れぞれの評価結果に対して所定の重み付けを持たせて合
算しており、これらを実行するハードウェア構成とソフ
トウェアとによって合算手段を構成することになる。

【０１５１】また、他の画像の評価基準としてエッジ強
調処理の画像処理を前提としたエッジ度の評価に適用す
ることもできる。図２６は、このエッジ強調処理のフロ
ーチャートを示している。エッジ度は上述した手法にて
算出するものとし、ステップＳ５１０では対象画素を移
動させながら均等サンプリングとエッジ画素サンプリン
グの手法で別々にエッジ度を集計する。そして、積算さ
れたエッジ度を画素数で除算することにより、それぞれ
の評価基準に基づくエッジ度の平均値を算出する。すな
わち、この画像のシャープ度合いＳＬは、画素数をＥ
（Ｉ）ｐｉｘとすると、

【０１５２】

【数２６】

【０１５３】のようにして演算することができる。この
場合、ＳＬの値が小さい画像ほどシャープネスの度合い
が低い（見た目にぼけた）と判断できるし、ＳＬの値が
大きい画像ほどシャープネスの度合いが高い（見た目に
はっきりとしたもの）と判断できる。

【０１５４】次に、ステップＳ５１５では画像評価オプ
ションを入力するなどして重み付け係数ｋを決定し、そ
れぞれのサンプリング手法に基づくエッジ度を重み付け
加算して合算する。

【０１５５】一方、画像のシャープさは感覚的なもので
あるため、実験的に得られた最適なシャープ度合いの画
像データについて同様にしてシャープ度合いＳＬを求
め、その値を理想のシャープ度合いＳＬｏｐｔと設定す
るとともに、ステップＳ５２０においてエッジ強調度Ｅ
enhanceを、

【０１５６】

【数２７】

【０１５７】として求める。ここにおいて、係数ｋｓは
画像の大きさに基づいて変化するものであり、上述した
ように画像データが縦横方向にそれぞれｈｅｉｇｈｔド
ットとｗｉｄｔｈドットからなる場合、

【０１５８】

【数２８】

【０１５９】のようにして求めている。ここにおいて、
ｍｉｎ（ｈｅｉｇｈｔ，ｗｉｄｔｈ）はｈｅｉｇｈｔド
ットとｗｉｄｔｈドットのうちのいずれか小さい方を指
し、Ａは定数で「７６８」としている。むろん、これら
は実験結果から得られたものであり、適宜変更可能であ
ることはいうまでもない。ただし、基本的には画像が大
きいものほど強調度を大きくするということで良好な結
果を得られている。

【０１６０】このようにしてエッジ強調度Ｅenhanceを
求めたら、ステップＳ５３０にて所定のしきい値と比較
してエッジ強調が必要であるか判断し、必要であると判
断されればステップＳ５４０にて全画素についてエッジ
強調処理を実行する。

【０１６１】エッジ強調処理は、強調前の各画素の輝度
Ｙに対して強調後の輝度Ｙ’が、

【０１６２】

【数２９】

【０１６３】として演算される。ここで、Ｙunsharpは
各画素の画像データに対してアンシャープマスク処理を
施したものであり、ここでアンシャープマスク処理につ
いて説明する。図２７は一例として５×５画素のアンシ
ャープマスク４１を示している。このアンシャープマス
ク４１は、中央の「１００」の値をマトリクス状の画像
データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けと
し、その周縁画素に対して同マスクの升目における数値
に対応した重み付けをして積算するのに利用される。こ
のアンシャープマスク４１を利用する場合、

【０１６４】

【数３０】

【０１６５】なる演算式に基づいて積算する。（４８）
式において、「３９６」とは重み付け係数の合計値であ
り、サイズの異なるアンシャープマスクにおいては、そ
れぞれ升目の合計値となる。また、Ｍｉｊはアンシャー
プマスクの升目に記載されている重み係数であり、Ｙ
（ｘ，ｙ）は各画素の画像データである。なお、ｉｊに
ついてはアンシャープマスク４１に対して横列と縦列の
座標値で示している。

【０１６６】（４７）式に基づいて演算されるエッジ強
調演算の意味するところは次のようになる。Ｙunsharp
（ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低
くして加算したものであるから、いわゆる「なまった
（アンシャープ）」画像データとしていることになる。
このようにしてなまらせたものはいわゆるローパスフィ
ルタをかけたものと同様の意味あいを持つ。従って、
「Ｙ（ｘ，ｙ）−Ｙunsharp（ｘ，ｙ）」とは本来の全
成分から低周波成分を引いたことになってハイパスフィ
ルタをかけたものと同様の意味あいを持つ。そして、ハ
イパスフィルタを通過したこの高周波成分に対してエッ
ジ強調度Ｅenhanceを乗算して「Ｙ（ｘ，ｙ）」に加え
れば同エッジ強調度Ｅenhanceに比例して高周波成分を
増したことになり、エッジが強調される結果となる。

【０１６７】なお、エッジ強調が必要になる状況を考え
るといわゆる画像のエッジ部分であるから、隣接する画
素との間で画像データの差が大きな場合にだけ演算する
ようにしてもよい。このようにすれば、殆どのエッジ部
分でない画像データ部分でアンシャープマスクの演算を
行う必要がなくなり、処理が激減する。

【０１６８】なお、実際の演算は、強調後の輝度Ｙ’と
強調前の輝度Ｙから、

【０１６９】

【数３１】

【０１７０】と置き換えれば、変換後のＲ’Ｇ’Ｂ’
は、

【０１７１】

【数３２】

【０１７２】のように演算可能となる。

【０１７３】従って、このエッジ強調処理では、ステッ
プＳ５１０，Ｓ５１５にて、複数の評価基準に基づいて
画像のエッジ度を評価しつつ、それぞれの評価結果に対
して所定の重み付けを持たせて合算しており、これらを
実行するハードウェア構成とソフトウェアとによって合
算手段を構成することになる。

【０１７４】なお、上述したコントラスト補正、明度補
正、彩度強調、エッジ強調のそれぞれについて、画像処
理を行うかを判断している。しかし、必ずしも画像処理
を行うか否かの二者択一の判断を行う必要はない。すな
わち、それぞれにおいて強調程度を設定しており、この
ようにして設定した強調程度で画像処理を行うようにし
ても良い。

【０１７５】次に、上記構成からなる本実施形態の動作
を説明する。

【０１７６】写真画像をスキャナ１１で読み込み、プリ
ンタ３１にて印刷する場合を想定する。すると、まず、
コンピュータ２１にてオペレーティングシステム２１ａ
が稼働しているもとで、画像処理アプリケーション２１
ｄを起動させ、スキャナ１１に対して写真の読み取りを
開始させる。読み取られた画像データが同オペレーティ
ングシステム２１ａを介して画像処理アプリケーション
２１ｄに取り込まれたら、処理対象画素を初期位置に設
定する。続いて、ステップＳ１１０にて（１）式〜
（３）式に基づいてエッジ度を判定し、ステップＳ１２
０ではしきい値と同エッジ度とを比較する。そして、エ
ッジ度の方が大きい場合には処理対象画素がエッジ画素
であると判断し、ステップＳ１３０にて当該画素の画像
データをワークエリアに保存する。また、ステップＳ１
４０では当該処理対象画素が均等サンプリングの対象で
あるか否かを判断し、対象である場合はステップＳ１５
０で当該画素の画像データを別のワークエリアに保存す
る。

【０１７７】以上の処理をステップＳ１６０にて処理対
象画素を移動させながらステップＳ１７０にて全画素に
ついて実行したと判断されるまで繰り返す。

【０１７８】全画素について実行し終えたら、それぞれ
のワークエリアには異なる評価基準でサンプリングされ
た画像データが保存されていることになり、ステップＳ
１８０では画像評価のためのオプションを入力する。操
作者が画像を見てポートレートであるか風景写真である
かが判断できればいずれかを選択すればよいし、判断で
きない場合や全てを自動化したい場合には自動設定を選
択する。ポートレートを選択した場合には重み付け係数
ｋが「０．８」となってエッジ画素についての集計結果
に重きを置かれるし、風景写真を選択した場合には重み
付け係数ｋが「０．２」となって均等にサンプリングし
た集計結果に重きを置かれ、自動設定を選択した場合に
はエッジ画素の割合に応じた重み付け係数ｋがセットさ
れる。ただし、どの場合においても重み付け係数ｋを使
用して複数の評価基準を採用することになり、一つだけ
の評価基準にとらわれない柔軟な評価が可能となる。

【０１７９】本実施形態においては、ワークエリアに画
像データそのものを保存するようにしたが、メモリ容量
や処理時間の面から考えると必ずしも画像データをその
ものをワークエリアに保存しておく必要はない。すなわ
ち、最終的にはサンプリング対象の画素について輝度分
布や彩度代替値分布のヒストグラムを作成することにな
るので、予めステップＳ１２０，Ｓ１５０にてヒストグ
ラムの情報を蓄積していくようにすればよい。

【０１８０】自動的にコントラスト補正と明度補正を実
行する場合は、重み付け係数を使用してステップＳ１２
０，Ｓ１５０，Ｓ３１０にて輝度分布のヒストグラムを
求め、ステップＳ３２０にて（１２）（１３）式に基づ
いて拡大処理のためのパラメータを決定するとともに、
ステップＳ３３０にて（１４）〜（１７）式に基づいて
明度補正のためのパラメータを決定する。そして、ステ
ップＳ３４０ではこれらのパラメータを所定のしきい値
と比較し、画像処理すべきと判断すればステップＳ３５
０にて上記パラメータに基づいて輝度変換する。この場
合、演算量を減らすために最初に図１９に示す輝度の変
換テーブルを作成しておき、（１８）〜（２０）式に基
づいて画像データを変換する。

【０１８１】この後、画像処理された画像データをディ
スプレイドライバ２１ｃを介してディスプレイ３２に表
示し、良好であればプリンタドライバ２１ｂを介してプ
リンタ３１にて印刷させる。すなわち、同プリンタドラ
イバ２１ｂはエッジ強調されたＲＧＢの階調データを入
力し、所定の解像度変換を経てプリンタ３１の印字ヘッ
ド領域に対応したラスタライズを行なうとともに、ラス
タライズデータをＲＧＢからＣＭＹＫへ色変換し、その
後でＣＭＹＫの階調データから二値データへ変換してプ
リンタ３１へ出力する。

【０１８２】以上の処理により、スキャナ１１を介して
読み込まれた写真の画像データは自動的に最適なコント
ラスト補正と明度補正を施されてディスプレイ３２に表
示された後、プリンタ３１にて印刷される。すなわち、
複数の評価基準を採用してより柔軟に画像を判定し、そ
の評価結果に基づいてコントラスト補正や明度補正とい
う最適な画像処理を実現することができる。

【０１８３】一方、このようなコントラスト補正や明度
補正に限らず、彩度強調やエッジ強調の場合にも、複数
の評価基準で彩度やエッジ度をサンプリングして集計す
るとともに重み付け係数を調整して合算するようにした
ため、単一の評価基準だけにとらわれない柔軟な判定を
経て画像処理を実行することになる。

【０１８４】このように、画像処理の中枢をなすコンピ
ュータ２１はステップＳ１２０，Ｓ１４０にて異なる評
価基準で画素の画像データをサンプリングしておくとと
もに、ステップＳ１８０にて入力される画像評価オプシ
ョンに基づいてステップＳ１９２〜Ｓ１９６にて重み付
け係数ｋを決定し、この決定した重み付け係数ｋを使用
してステップＳ３１０にて集計結果を合算して輝度分布
ヒストグラムを生成することにより、複数の評価基準を
合算した総合的な集計結果に基づいて画像を評価し、ス
テップＳ３１０〜Ｓ３５０にて最適な画像処理を実行す
ることができる。

【図面の簡単な説明】

【図１】 本発明の一実施形態にかかる画像処理装置を
適用した画像処理システムのブロック図である。

【図２】 同画像処理装置の具体的ハードウェアのブロ
ック図である。

【図３】 本発明の画像処理装置の他の適用例を示す概
略ブロック図である。

【図４】 本発明の画像処理装置の他の適用例を示す概
略ブロック図である。

【図５】 本発明の画像処理装置における画像評価処理
部分を示すフローチャートである。

【図６】 画像データの大きさと処理対象画素を移動さ
せていく状態を示す図である。

【図７】 画像の変化度合いを直交座標の各成分値で表
す場合の説明図である。

【図８】 画像の変化度合いを縦軸方向と横軸方向の隣
接画素における差分値で求める場合の説明図である。

【図９】 隣接する全画素間で画像の変化度合いを求め
る場合の説明図である。

【図１０】 しきい値を変化させる領域を示す図であ
る。

【図１１】 サンプリング周期を示す図である。

【図１２】 サンプリング画素数を示す図である。

【図１３】 変換元の画像とサンプリングされる画素の
関係を示す図である。

【図１４】 画像評価オプションの入力画面を示す図で
ある。

【図１５】 個別のサンプリング結果を重み付けを変え
て合算する状況を示す図である。

【図１６】 画像評価処理の後段と画像処理部分を示す
フローチャートである。

【図１７】 輝度分布の端部処理と端部処理にて得られ
る端部を示す図である。

【図１８】 輝度分布の拡大と再現可能な輝度の範囲を
示す図である。

【図１９】 輝度分布を拡大する際の変換テーブルを示
す図である。

【図２０】 γ補正で明るくする概念を示す図である。

【図２１】 γ補正で暗くする概念を示す図である。

【図２２】 γ補正で変更される輝度の対応関係を示す
図である。

【図２３】 彩度強調する場合のフローチャートであ
る。

【図２４】 彩度分布の集計状態の概略図である。

【図２５】 彩度Ａと彩度強調指数Ｓとの関係を示す図
である。

【図２６】 エッジ強調する場合のフローチャートであ
る。

【図２７】 ５×５画素のアンシャープマスクを示す図
である。

【符号の説明】

１０…画像入力装置 ２０…画像処理装置 ２１…コンピュータ ２１ａ…オペレーティングシステム ２１ｂ…プリンタドライバ ２１ｃ…ディスプレイドライバ ２１ｄ…画像処理アプリケーション ２２…ハードディスク ２３…キーボード ２４…ＣＤ−ＲＯＭドライブ ２５…フレキシブルディスクドライブ ２６…モデム ３０…画像出力装置

フロントページの続き Ｆターム(参考） 5B057 AA12 CE17 CH01 CH11 CH18 DB06 DB09 DC16 DC23 DC25 5C021 PA17 PA66 PA77 PA78 RB08 RB09 5C066 BA13 EA05 GA01 GA05 KE02 KE03 KE07

Claims (15)

【特許請求の範囲】
1. 【請求項１】 複数の画素からなる実写画像を予め評価
   してから、該実写画像に所定の画像処理を行なう画像処
   理装置であって、 実写画像を構成する少なくとも一部の画素の画像データ
   を入力し、該画像データに対して異なる複数の手法で個
   別に集計処理を行なうと共に、該集計処理の結果を当該
   複数の手法毎に重み付けを行なって合算する合算手段
   と、 該合算された結果に基づいて、前記実写画像を評価する
   評価手段と、 該評価に従って前記所定の画像処理を行なう処理手段と
   を備えた画像処理装置。
2. 【請求項２】 前記合算手段によって行われる前記複数
   の手法による集計処理には、各画素における隣接画素と
   の間の画像データの変化の度合いが大きい画素につい
   て、その画像データを集計する処理である変化部集計処
   理が含まれる請求項１に記載の画像処理装置。
3. 【請求項３】 前記合算手段によって行われる前記複数
   の手法による集計処理には、前記実写画像を構成する全
   画素から所定の基準で間引いて選択した画素について、
   その画像データを集計する処理である間引き集計処理が
   含まれる請求項１または２に記載の画像処理装置。
4. 【請求項４】 前記合算手段によって行われる間引き集
   計処理は、前記実写画像の全体に対して、均等にサンプ
   リングして集計する処理である請求項３に記載の画像処
   理装置。
5. 【請求項５】 請求項４に記載の画像処理装置であっ
   て、 前記合算手段によって行われる間引き集計処理におい
   て、前記実写画像を構成する画素からサンプリングされ
   る画素の数Ｎが、サンプリングにより生じる誤差として
   許容される上限をＥ％としたとき、 Ｅ≦１００／√（Ｎ） を満たすよう選択された画像処理装置。
6. 【請求項６】 前記合算手段における前記重み付けを、
   前記複数の集計処理の少なくとも一つにおいて変更可能
   に構成した請求項１ないし５のいずれかに記載の画像処
   理装置。
7. 【請求項７】 前記合算手段は、前記重み付けを、前記
   画像データの変化の度合いの大きな画素数と前記所定の
   基準で間引いて選択した画素数との比により設定する手
   段を備えた請求項１ないし６のいずれかに記載の画像処
   理装置。
8. 【請求項８】 前記合算手段は、前記重み付けを、前記
   実写画像の種類を指定することにより設定する手段を備
   えた請求項１ないし６のいずれかに記載の画像処理装
   置。
9. 【請求項９】 前記合算手段における前記変化部集計処
   理は、前記実写画像を構成する画素の画像データとこれ
   に少なくとも縦横いずれかの方向に隣接する２つの画素
   の画像データとの差分を縦横成分とするベクトルの大き
   さが所定以上の画素を前記画像データの変化の度合いが
   大きい画素であると判断して、前記画像データを集計す
   る処理である請求項２に記載の画像処理装置。
10. 【請求項１０】 前記合算手段は、前記集計処理の一つ
    として、画像データに含まれる輝度または彩度につい
    て、各画素の画像データが属する範囲の度数を集計して
    ヒストグラムを作成する処理を行なう請求項１ないし９
    のいずれかに記載の画像処理装置。
11. 【請求項１１】 請求項１ないし１０のいずれかに記載
    の画像処理装置であって、 前記合算手段は、前記画像データに含まれる彩度につい
    て、異なる複数の手法で個別に集計処理を行ない、該集
    計処理の結果を当該複数の手法毎に重み付けを行なって
    合算する手段であり、 前記合算手段により合算された結果に基づいて、前記実
    写画像の輝度が保存されるように、前記実写画像に対す
    る彩度強調度合いを決定する決定手段を備え、 前記評価手段は、該決定された彩度強調度合いに基づい
    て前記実写画像を評価する手段であり、 前記処理手段は、該評価に従って彩度強調処理を行なう
    手段である画像処理装置。
12. 【請求項１２】 複数の画素からなる実写画像に対する
    画像処理に先立って、該実写画像の評価を行なう画像評
    価装置であって、 実写画像を構成する少なくとも一部の画素の画像データ
    を入力し、該画像データに対して異なる複数の手法で個
    別に集計処理を行なうと共に、該集計処理の結果を当該
    複数の手法毎に重み付けを行なって合算する合算手段
    と、 該合算された結果に基づいて、前記実写画像を評価する
    評価手段とを備えた画像評価装置。
13. 【請求項１３】 複数の画素からなる実写画像に対する
    画像処理に先立って、該実写画像の評価を行なう画像評
    価方法であって、 実写画像を構成する少なくとも一部の画素の画像データ
    を入力し、各画素の画像データを異なる複数の手法で個
    別に集計処理すると共に、当該複数の手法毎に重み付け
    を行なって合算し、 該合算された結果に基づいて、前記実写画像を評価する
    画像評価方法。
14. 【請求項１４】 複数の画素からなる実写画像に対する
    画像処理に先立って、該実写画像の評価を行ない、該評
    価に基づいて画像を処理する方法であって、 実写画像を構成する少なくとも一部の画素の画像データ
    を入力し、該画像データに対して異なる複数の手法で個
    別に集計処理を行なうと共に、該集計処理の結果を当該
    複数の手法毎に重み付けを行なって合算し、 該合算された結果に基づいて、前記実写画像を評価し、 該評価に従って、前記実写画像に対する所定の処理を行
    なう画像処理方法。
15. 【請求項１５】 複数の画素からなる実写画像に対する
    画像処理に先立って、該実写画像の評価を行ない、該評
    価に基づいて画像を処理するプログラムを、コンピュー
    タにより読み取り可能に記録した記録媒体であって、 実写画像を構成する少なくとも一部の画素の画像データ
    を入力し、該画像データに対して異なる複数の手法で個
    別に集計処理を行なう機能と、 当該複数の手法毎に重み付けを行なって、前記集計処理
    の結果を合算する機能と、 該合算された結果に基づいて、前記実写画像を評価する
    機能と、 該評価に従って、前記実写画像に対する所定の処理を行
    なう機能とをコンピュータにより実現するプログラムを
    記録した記録媒体。