JP2006313465A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】 画像の種類をとわず、シャドウ部を良好に再現でき、かつコントラストを保つことが可能な画像処理方法及び画像処理装置を提供すること。
【解決手段】 画像についてシャドウ閾値及びシャドウ比率閾値を決め、各画素の輝度について前記各画素がシャドウかシャドウでないかを判定し、シャドウと判定された画素の比率により空間一致処理を施すか、空間変化処理を施すかを選択する。または各画素についてシャドウかシャドウでないかにより空間一致処理を施すか、空間変化処理を施すかを選択する。または各画素について空間一致処理と空間変化処理を施した上、シャドウかシャドウでないかにより空間一致処理と空間変化処理の重み付けを変える。
【選択図】 図１

Description

本発明は画像処理方法及び画像処理装置に関し、特に階調範囲の広い画像の画像データを画質を損なわずに画像データの階調範囲を圧縮する方法及び装置に関する。

カラー写真や医用画像の分野において、画像をデジタルカメラや原稿読みとり装置を用いて読みこみ、デジタル化された画像データとして記憶装置に保存し、適切な画像処理を施した上でフィルムや印画紙にハードコピーとして記録したり、また表示装置に表示して可視化することは、近年のコンピュータの性能向上と記憶装置の大容量化、低コスト化により広く普及してきている。

近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像素子の性能向上やそれらの利用技術の進歩により、フィルムのような透過型記録媒体に匹敵する広い階調範囲（以下、ダイナミックレンジともいう。）を有する画像信号を得られるようになってきている。

一方、画像の記録に関しては、記録媒体が印画紙や普通紙などの反射型記録媒体の場合、再現できるダイナミックレンジは前述のような透過型記録媒体には及ばない。画像の表示に関しても、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶を用いた表示装置が再現できるダイナミックレンジは、それらが置かれた環境の照明条件にもよるが、透過型記録媒体のダイナミックレンジに匹敵するものを得るのは難しい。

このような限られたダイナミックレンジの記録装置あるいは表示装置でも、ダイナミックレンジの再現を良好に行う目的で、元の画像データの各画素の輝度に対して種々の演算を行ってダイナミックレンジを圧縮して、画像を記録または表示するために適した画像データに変換することが行われている。

そして画像データのダイナミックレンジを圧縮してもコントラストをできるだけ保ち、シャドウ部すなわち輝度の小さい部分についても、またシャドウ部以外の中間領域やハイライト部についても、再現性良く出力するために様々な工夫が行われている。以後の説明で中間領域及びハイライト部を非シャドウ部と呼ぶ。

また画像データの各画素の輝度を予め定めた輝度または所定の方法で設定した輝度と比較して、小さい場合はシャドウと判定し、大きい場合はシャドウではないと判定することは各種の画像処理で広く行われている。前述のような予め定めた輝度または所定の方法で設定した輝度を、ここではシャドウ閾値と呼ぶ。また前記シャドウ閾値と比較してシャドウと判定された画素の全画像中に占める比率を、予め定めた比率または所定の方法で設定した比率と比較して前記画像データがシャドウ比率が大きい画像かを判定することも、各種の画像処理やその前工程において広く行われている。前述のような予め定めた比率または所定の方法で設定した比率をここではシャドウ比率閾値と呼ぶ。

前述の、シャドウ部からハイライト部まで再現性良く出力するための様々な工夫を用いた画像処理手法は、大きく分けて２種類に分けることができる。第１の画像処理手法は、画像データの各画素の輝度が同じであればその画素の画像中の位置に依存しない画像処理を行い、従って画像処理の結果得られる輝度も同一になる画像処理手法である。

第２の画像処理手法は、画像データの各画素の輝度が同じであってもその画素の周辺の画素の輝度に依存する画像処理、従って画素の画像中の位置に依存する画像処理を行うので、画像処理の結果得られる輝度は必ずしも同一にならない画像処理手法である。

以後の説明で、前者を空間一致処理、後者を空間変化処理と呼ぶ。これらの手法については非特許文献１に説明されている。

空間一致処理は同じ輝度の画素には同じ処理を行うので、画素値の大小関係が保たれ、画像全体のコントラストを崩さないが、シャドウ部の再現効果が小さい。また、空間変化処理は同じ輝度の画素でも画像中におけるその画素の位置によって異なる処理を行うことにより、シャドウ部を良好に再現することができるが、画素値の大小関係が必ずしも保たれないため、画像の輝度分布によってはコントラストが低下してしまうか、または逆に強調されすぎることがある。

空間一致処理手法の例としては、ヒストグラム変換やガンマ補正がある。例えば非特許文献２には画像のヒストグラムを調整してダイナミックレンジの広い画像のダイナミックレンジを圧縮する手法が開示されている。

空間変化処理手法の例としては、例えば非特許文献３に開示されている、色空間モデルｉＣＡＭを用いたダイナミックレンジ圧縮方法がある。よく知られたアンシャープマスクを用いることによって画像のエッジを強調する画像処理手法も空間変化処理に含まれるものである。
Ｋａｔｅ Ｄｅｖｌｉｎ "Ａ ｒｅｖｉｅｗ ｏｆ ｔｏｎｅ ｒｅｐｒｏｄｕｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ" Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＳＴＲ−０２−００５，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｂｒｉｓｔｏｌ Ｎｏｖｅｍｂｅｒ ２００２ Ｇｒｅｇ Ｗａｒｄ，Ｈｏｌｌｙ Ｒｕｓｈｍｅｉｅｒ，Ｃｈｒｉｓｔｉｎｅ Ｐｉａｔｋｏ，"Ａ Ｖｉｓｉｂｉｌｉｔｙ Ｍａｔｃｈｉｎｇ Ｔｏｎｅ Ｒｅｐｒｏｄｕｃｔｉｏｎ Ｏｐｅｒａｔｏｒ ｆｏｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｓｃｅｎｅｓ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， Ｖｏｌ．３，Ｎｏ．４，Ｄｅｃｅｍｂｅｒ １９９７． Ｍａｒｋ Ｄ．Ｆａｉｒｃｈｉｌｄ，Ｇａｒｒｅｔｔ Ｍ．Ｊｏｈｎｓｏｎ："Ｒｅｎｄｅｒｉｎｇ ＨＤＲ Ｉｍａｇｅｓ，" ＩＳ＆Ｔ／ＳＩＤ １１ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ，ｐｐ３８−４１（２００３）

シャドウ部と非シャドウ部の割合は画像によって様々であり、前記２種類の画像処理手法中、一方のみを用いることで全ての画像に最良の処理結果を得ることは難しい。

この点について、本願発明者はコンピュータを用いた画像処理のシミュレーションを行った。このシミュレーション結果の一例を図５に示す。図５は対象とする画像をそれぞれ輝度を有する微小な画素からなる画像データの集合として扱い、横軸を輝度Ｌ、縦軸をその輝度の画素の出現頻度Ｎとした画像のヒストグラムである。右側ほど輝度Ｌが大きく左側ほど輝度Ｌが小さい。

なお、画像の明暗を表す単位として輝度以外に濃度も良く用いられ、フィルム、印画紙及び普通紙等にハードコピーとして記録された画像については濃度が用いられることが多いが、これらの画像を画像読みとり装置によって読みとる場合も、目視で観察する場合も、画像を一定の照明条件で照明すれば、その画像の各画素の輝度は濃度と一定の関係を有するので、ここでは画像の明暗を輝度で説明する。デジタルカメラ等で被写体を撮影する場合の被写体の輝度を扱う場合も照明条件を一定にすることが必要である。前述のＣＲＴや液晶を用いた表示装置について輝度を扱う場合も、これらの動作条件を一定に定めることが必要であり、以降の説明では前述のような照明条件や動作条件は一定に定められたものとして、画像の明暗を輝度で表す。

図５において、シャドウ閾値をＬｔで示しＬｔより左側のシャドウ部をＳＨ、Ｌｔより右側の非シャドウ部をＮＳＨで示す。

またコントラストの再現については、代替の指標として原画像の画像データ及び処理後の画像データのヒストグラムで、輝度の分布範囲を両側矢印の線で示し、原画像についてはＣｏ、空間変化処理後についてはＣｈ、空間一致処理後についてはＣｉの記号を付す。

図５（ａ）はシャドウ部ＳＨの割合が比較的多い原画像の輝度ヒストグラムであり、図５（ｂ）は空間変化処理の一例である非特許文献３に記載の画像処理方法を該原画像に適用した結果の輝度ヒストグラムであり、図５（ｃ）は空間一致処理の一例である非特許文献２に記載の画像処理方法を該原画像に適用した結果の輝度ヒストグラムである。

図５（ｂ）の輝度ヒストグラムからシャドウ部ＳＨが非シャドウ部ＮＳＨに移ることで明暗の差が判明しやすくなるという点で改善されているが、ヒストグラムの分布範囲がＣｏからＣｈになり、コントラストが低下していることが判る。図５（ａ）で見られる３個の明瞭なピークが図５（ｂ）では不明瞭になっていることからも、コントラストが保たれていないことが判る。

空間一致処理の結果である図５（ｃ）の輝度ヒストグラムでは、ヒストグラムの分布範囲は保たれているものの、シャドウ部ＳＨの２個のピークがさらにシャドウ部側に移っていて、シャドウ部が劣化していることが判る。

なお、原画像の画像データのヒストグラムである図５（ａ）に対して、画像処理後のヒストグラムである図５（ｂ）及び図５（ｃ）ではダイナミックレンジが圧縮されているので、横軸である輝度Ｌの範囲は大幅に異なっているが、判りやすくするために略同じ大きさで示している。後述の図６乃至図８についても、原画像と画像処理後で、ヒストグラムの横軸の輝度Ｌの範囲が異なることは同様である。

本発明は以上説明してきた問題に鑑み、画像の種類をとわずシャドウ部を良好に再現でき、かつコントラストを保つことが可能な画像処理方法及び画像処理装置を提供することを目的とする。

上記目的は以下の方法と構成によって達成することができる。

（請求項１）
複数の画素で構成された画像データの画像処理方法において、
前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定工程と、
前記シャドウ判定工程で、輝度が前記シャドウ閾値よりも小さいと判定されたシャドウ画素の前記画像データに占める比率をシャドウ比率閾値と比較するシャドウ比率判定工程とを含み、
前記シャドウ比率判定工程での判定結果に基づいて、前記画像データの各画素に対して該画素の空間的位置に依存しない第１の画像処理または前記画像データの各画素に対して該画素の空間的位置に依存する第２の画像処理を施す画像処理工程とを含むことを特徴とする画像処理方法。

（請求項２）
前記画像処理工程は、
前記シャドウ比率判定工程で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも小さいと判定された場合に前記画像データの各画素に対して前記第１の画像処理を施し、
前記シャドウ比率判定工程で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも大きいと判定された場合に前記画像データの各画素に対して前記第２の画像処理を施すことを特徴とする請求項１に記載の画像処理方法。

（請求項３）
複数の画素で構成された画像データの画像処理方法において、
前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定工程と、
前記シャドウ判定工程で、輝度が前記シャドウ閾値以上と判定された画素に対して該画素の空間的位置に依存しない第１の画像処理を施し、
前記シャドウ判定工程で、輝度が前記シャドウ閾値よりも小さいと判定された画素に対して該画素の空間的位置に依存する第２の画像処理を施す画像処理工程を含むことを特徴とする画像処理方法。

（請求項４）
複数の画素で構成された画像データの画像処理方法において、
前記画像データの各画素について該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理工程と、
前記画像データの各画素について該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理工程と、
前記各画素について、前記第１の画像処理工程及び前記第２の画像処理工程で画像処理を施された結果から判定用輝度を演算する判定用輝度演算工程と、
前記各画素について、前記判定用輝度演算工程で算出された判定用輝度をシャドウ閾値と比較するシャドウ判定工程と、
前記各画素について、前記シャドウ判定工程での判定結果に基づいて画像処理の重み付けを行う重み付け工程と、
前記重み付けと、前記第１及び第２の画像処理工程での結果に基づいて、前記各画素の輝度とする画像処理工程とを含むことを特徴とする画像処理方法。

（請求項５）
前記重み付け工程は、前記シャドウ判定工程で判定用輝度が前記シャドウ閾値以上と判定された画素に対して、前記第１の画像処理工程の結果の重み付けを前記第２の画像処理工程の結果より大きくし、
前記シャドウ判定工程で判定用輝度が前記シャドウ閾値よりも小さいと判定された画素に対して、前記第２の画像処理工程の結果の重み付けを前記第１の画像処理工程の結果よりも大きくすることを特徴とする請求項４に記載の画像処理方法。

（請求項６）
複数の画素で構成された画像データを処理する画像処理装置であり、
前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定手段と、
前記シャドウ判定手段で、輝度が前記シャドウ閾値よりも小さいと判定されたシャドウ画素の前記画像データに占める比率と、シャドウ比率閾値とを比較するシャドウ比率判定手段とを有し、
前記シャドウ比率判定手段での判定結果に基づいて、前記画像データの各画素に対して該画素の空間的位置に依存しない第１の画像処理または前記画像データの各画素に対して該画素の空間的位置に依存する第２の画像処理を施す画像処理手段を有することを特徴とする画像処理装置。

（請求項７）
前記画像処理手段は、
前記シャドウ比率判定手段で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも小さいと判定された場合に前記画像データの各画素に対して前記第１の画像処理を施し、
前記シャドウ比率判定手段で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも大きいと判定された場合に前記画像データの各画素に対して前記第２の画像処理を施すことを特徴とする請求項６に記載の画像処理装置。

（請求項８）
複数の画素で構成された画像データを処理する画像処理装置であり、
前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定手段と、
前記シャドウ判定手段で、輝度が前記シャドウ閾値以上と判定された画素に対して該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理手段と、
前記シャドウ判定手段で、輝度が前記シャドウ閾値よりも小さいと判定された画素に対して該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理手段とを有することを特徴とする画像処理装置。

（請求項９）
複数の画素で構成された画像データを処理する画像処理装置であり、
前記画像データの各画素について該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理手段と、
前記画像データの各画素について該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理手段とを有し、
前記各画素について、前記第１の画像処理手段及び前記第２の画像処理手段で画像処理を施された結果から判定用輝度を演算する判定用輝度演算手段と、
前記各画素について、前記判定用輝度演算手段で算出された判定用輝度をシャドウ閾値と比較するシャドウ判定手段と、
前記各画素について、前記シャドウ判定手段での判定結果に基づいて画像処理の重み付けを行う重み付け手段と、
前記重み付けと、前記第１及び第２の画像処理手段で画像処理を施された結果に基づいて、前記各画素の輝度とすることを特徴とする画像処理装置。

（請求項１０）
前記重み付け手段は、前記シャドウ判定手段で判定用輝度が前記シャドウ閾値以上の画素に対して、前記第１の画像処理手段の結果の重み付けを前記第２の画像処理手段の結果より大きくし、
前記シャドウ判定手段で判定用輝度が前記シャドウ閾値よりも小さい画素に対して、前記第２の画像処理手段の結果の重み付けを前記第１の画像処理手段の結果よりも大きくすることを特徴とする請求項９に記載の画像処理装置。

請求項１の発明によれば、対象になる画像のシャドウ比率の大小によって空間一致処理と空間変化処理を使い分けることにより、多くの画像に対して良好な階調再現を可能とする画像処理方法が提供される。

請求項２の発明によれば、請求項１の発明において対象になる画像のシャドウ比率が小さいと判定された場合に空間一致処理を用い、シャドウ比率が大きいと判定された場合に空間変化処理を用いることにより、多くの画像に対して良好な階調再現を可能とする画像処理方法が提供される。

請求項３の発明によれば、対象になる画像のシャドウ閾値を決め、該画像の各画素の輝度を前記シャドウ閾値と比較して前記各画素がシャドウかシャドウでないかを判定して、シャドウでないと判定された場合に空間一致処理を施し、シャドウと判定された場合に空間変化処理を施すことにより、良好な画像再現を可能とする画像処理方法が提供される。

請求項４の発明によれば、対象になる画像のシャドウ閾値を決め、該画像の各画素についてそれぞれ空間一致処理及び空間変化処理を施し、前記空間一致処理及び前記空間変化処理の結果から演算された判定用輝度と前記シャドウ閾値とを比較して、前記各画素がシャドウかシャドウでないかを判定し、
シャドウと判定した場合とシャドウでないと判定した場合で、空間一致処理により求められた輝度と、空間変化処理の結果求められた輝度に与える重みを変えて最終的な輝度とすることにより、画像に対して良好な階調再現を可能とする画像処理方法が提供される。

請求項５の発明によれば、請求項４の発明においてシャドウと判定した場合は、空間変化処理の結果求められた輝度に空間一致処理により求められた輝度より大きな重みを与えて最終的な輝度とし、シャドウでないと判定した場合は、空間一致処理の結果求められた輝度に空間変化処理より求められた輝度より大きな重みを与えて最終的な輝度とすることにより、画像に対して良好な階調再現を可能とする画像処理方法が提供される。

請求項６の発明によれば、画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定手段と、シャドウ画素が画像データに占める比率とシャドウ比率閾値とを比較するシャドウ比率判定手段とを有し、シャドウ比率判定手段での判定結果に基づいて、画素の空間的位置に依存しない第１の画像処理または画素の空間的位置に依存する第２の画像処理を施す画像処理手段を有することによって画像に対して良好な階調再現を可能とする画像処理装置が提供される。

請求項７の発明によれば、請求項６の発明において、シャドウ画素の比率がシャドウ比率閾値よりも小さいと判定された場合に第１の画像処理を施し、シャドウ画素の比率がシャドウ比率閾値よりも大きいと判定された場合に第２の画像処理を施すことにより、画像に対して良好な階調再現を可能とする画像処理装置が提供される。

請求項８の発明によれば、画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定手段と、輝度がシャドウ閾値以上と判定された画素に対して画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理手段と、輝度が前記シャドウ閾値よりも小さいと判定された画素に対して画素の空間的位置に依存する第２の画像処理を施す第２の画像処理手段とを有することにより、画像に対して良好な階調再現を可能とする画像処理装置が提供される。

請求項９の発明によれば、画像データの各画素について該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理手段と、画像データの各画素について該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理手段と、各画素について、判定用輝度を演算する判定用輝度演算手段と、判定用輝度をシャドウ閾値と比較するシャドウ判定手段と、各画素について、前記シャドウ判定手段での結果に基づいて画像処理の重み付けを行う手段とを有し、重み付けと第１及び第２の画像処理手段で画像処理を施された結果に基づいて、各画素の輝度とすることにより、画像に対して良好な階調再現を可能とする画像処理装置が提供される。

請求項１０の発明によれば、重み付けを行う手段で、シャドウ判定手段で判定用輝度が前記シャドウ閾値以上の画素に対して、前記第１の画像処理手段の結果の重み付けを前記第２の画像処理手段の結果より大きくし、シャドウ判定手段で判定用輝度が前記シャドウ閾値よりも小さい画素に対して、前記第２の画像処理手段の結果の重み付けを前記第１の画像処理手段の結果よりも大きくすることにより画像に対して良好な階調再現を可能とする画像処理装置が提供される。

先ず本発明を実施するための構成の一例を図１を用いて説明する。図１は本発明の画像処理方法を実施する画像処理装置１００を示す図であり、画像処理装置１００は、入力側インターフェース８（以下入力側Ｉ／Ｆ８ともいう。）を通して不図示の外部の原稿読みとり装置やデジタルカメラ等、画像をデジタルデータ化する装置から画像データを取り込む。また取りこまれた画像データを記憶する入力側画像メモリ１、画像データの各画素が輝度の小さいシャドウであるか、輝度の大きい非シャドウであるかを判定するためのシャドウ閾値や、該画像データがシャドウ部が多い画像であるか否かを判定するためのシャドウ比率閾値を設定する手段である閾値設定部２を有する。すなわち閾値設定部２はシャドウ閾値を設定する手段やシャドウ比率閾値を設定する手段を有する。なお、シャドウ閾値やシャドウ比率閾値は固定された値であっても良く、その場合はこれらの値は画像処理装置１００のうち例えば制御部７のＲＯＭ（リードオンリーメモリ）に書き込まれた値を用いれば良く、閾値設定部２は必ずしも必要ではない。

閾値を設定する場合の設定方法については本願発明では特に制限は無く、様々な方法が可能であり、シャドウ閾値に関しては例えば風景写真、肖像写真、医療用のレントゲン写真といった画像の種類によってシャドウ閾値を設定しても良いし、画像を読み込んだ上でそのヒストグラムに依存する設定方法でも良い。撮影条件が異なることが判っている画像の場合には、その撮影条件に依存する設定方法でも良い。シャドウ比率閾値の設定についても同様である。

また、前記画像データの各画素の輝度を前記シャドウ閾値と比較して該画素がシャドウであるか否かを判定したり、シャドウであると判定された画素の数の全画素数に対する比率を前記シャドウ比率閾値と比較して該画像データがシャドウ部が多い画像データであるか否かを判定する手段である画像判定部３を有する。すなわち画像判定部３はシャドウ判定手段とシャドウ比率判定手段を含む。

また、画像処理装置１００は、画像データの各画素に対して画素の空間的位置に依存しない画像処理を行う空間一致処理部４、各画素に対して画素の空間的位置に依存する画像処理を行う空間変化処理部５、空間一致処理部４や空間変化処理部５によって処理された画像データを表示したり記録するために画像データを記憶するための出力側画像メモリ６、画像処理装置１００の各構成要素間の画像データの流れを制御し、また各種の演算を行う制御部７を有する。

不図示の外部の画像記録装置や画像表示装置に画像データを送出することは、出力側インターフェース９（以下出力側Ｉ／Ｆ９ともいう。）を通して行う。

入力側画像メモリ１と出力側画像メモリ６は一体のメモリ装置を制御部７によりまたは多の手段で制御することにより使い分けても良い。またその他の構成要素については、その機能をハードウェアにより実現するものであっても、ソフトウェアにより実現するものであっても良く、さらに両者を複合することにより実現するものであっても良い。また制御部７に組み込まれたソフトウェアによりその機能を実現するものであっても良い。以下本発明の実施形態について図面を用いて説明する。

（実施形態１）
図２を用いて本発明の実施形態１について説明する。図２は実施形態１で行われる画像処理方法の一例を説明するフローチャートであり、図１に示す画像処理装置１００を用いて実行することができる。

ステップＳ１０１により入力側画像メモリ１に画像が読み込まれる。次にステップＳ１０２で該画像の画像データの各画素がシャドウか非シャドウかを判定するシャドウ閾値Ｌｔが設定されるともに、該画像データがシャドウ比率が大きい画像か否かを判定するシャドウ比率閾値Ｋが設定される。

ステップＳ１０３で、該画像データの各画素の輝度Ｌｎを前記シャドウ閾値Ｌｔと比較する工程が繰り返され、前記各画素の輝度がＬｔより小さくてシャドウと判定された画素の数及びそれ以外の画素の数が計数される。

ステップＳ１０４でステップＳ１０３の計数結果から該画像データのシャドウ比率が算出される。

ステップＳ１０５でステップＳ１０４で算出されたシャドウ比率とステップＳ１０２で設定されたシャドウ比率閾値Ｋから、該画像データがシャドウ比率が大きい画像データか否かが判定される。シャドウ比率が大きい画像データと判定された場合はステップＳ１０６に進んで該画像データの各画素に空間変化処理の一例である非特許文献３に記載の画像処理方法を適用し、シャドウ比率が高くない画像データと判定された場合はステップＳ１０７に進んで該画像データの各画素に空間一致処理の一例である非特許文献２に記載の画像処理方法を適用して画像処理を終了する。それぞれの処理の結果得られた輝度Ｌｎｆは出力側画像メモリ６に送られて記憶される。

以上説明した実施形態１の画像処理方法を適用した一例を図６に示す。図６は横軸に前記の輝度、縦軸にその輝度の画素の出現頻度をとった輝度ヒストグラムである。シャドウ閾値Ｌｔ、シャドウ部ＳＨ、非シャドウ部ＮＳＨ及びヒストグラムの分布範囲を示す記号は図５と同様である。

図６（ａ）はシャドウ部の比率が予め定めたシャドウ比率閾値Ｋよりも小さい画像データの輝度ヒストグラムであり、図６（ｂ）は該画像データに対して前記の空間一途処理を施して得られた画像データの輝度ヒストグラムである。図６は前述の図５と同じで横軸に輝度Ｌ、縦軸に出現頻度Ｎをとっている。以下図７及び図７についても同様である。図６（ｃ）はシャドウ部の割合が予め定めたシャドウ比率閾値Ｋよりも大きい画像データの輝度ヒストグラムであり、図６（ｄ）は該画像データに対して前記の空間変化処理を施して得られた画像データの輝度ヒストグラムである。図６（ｂ）の輝度ヒストグラムから、画像データのヒストグラムの分布範囲はＣｏからＣｉとなり良好に保たれる一方、シャドウの再現が不充分という空間一致処理の問題点についても、原画像のシャドウ比率が元々小さいので、影響が少ないことが判る。図６（ｄ）の輝度ヒストグラムから図６（ｃ）ではシャドウ部ＳＨに偏っていたヒストグラムの分布範囲がシャドウ部ＳＨから非シャドウ部ＮＳＨの全体に広がり、シャドウ部の再現とコントラストを保つことが良好に行われていることが判る。

このように使い分けることにより、シャドウ部の比率が大きい画像データにもシャドウ部の比率が小さい画像データにも適切な画像処理が施され、シャドウ部を良好に再現することとコントラストを保つことが両立する。

（実施形態２）
次に図３を用いて本発明の実施形態２について説明する。図３は実施形態２で行われる画像処理方法の一例を説明するフローチャートであり、図１に示す画像処理装置１００を用いて実行することができる。

ステップＳ２０１で入力側画像メモリ１に画像が読み込まれる。次にステップＳ２０２で該画像の画像データの各画素がシャドウか非シャドウかを判定するシャドウ閾値Ｌｔが設定される。

ステップＳ２０３で、該画像データの各画素の輝度Ｌｎを前記シャドウ閾値Ｌｔと比較する工程が全画素について行われ、輝度Ｌｎが前記シャドウ閾値より小さい画素についてはステップＳ２０４に進んで空間変化処理が適用され、それ以外の画素についてはステップＳ２０５に進んで空間一致処理が適用される。ステップＳ２０４及びステップＳ２０５の両方が終了すると画像処理を終了する。それぞれの処理の結果得られた各画素の輝度Ｌｎｆは出力側画像メモリ６に送られて記憶される。

以上説明した実施形態２の画像処理方法を適用した一例を図７に示す。図７は横軸に前記の輝度、縦軸にその輝度の画素の出現頻度をとった輝度ヒストグラムである。シャドウ閾値Ｌｔ、シャドウ部ＳＨ、非シャドウ部ＮＳＨ及びヒストグラムの分布範囲を示す記号は図６と同様である。図７（ｄ）の本発明の画像処理を適用した結果のヒストグラムの分布範囲は、Ｃｊで示す。

図７（ａ）はシャドウ部から非シャドウ部まで広がりのある原画像の画像データの輝度ヒストグラムであり、図７（ｂ）は該画像データに実施形態１で説明した画像処理と同じ空間一致処理を施して得られた画像データの輝度ヒストグラムである。図７（ｃ）は該原画像の画像データに対して実施形態１で説明した画像処理と同じ空間変化処理を施して得られた画像データの輝度ヒストグラムである。図７（ｄ）は該原画像の画像データに対して実施形態２の画像処理方法を施して得られた画像データの輝度ヒストグラムである。

図７（ｂ）、図７（ｃ）の各輝度ヒストグラムに対して図７（ｄ）の輝度ヒストグラムを比べると、図７（ｂ）ではシャドウ部の改善が不充分であり図７（ｃ）ではシャドウ部は改善されているものの、ヒストグラムの分布範囲がＣｏからＣｈにやや縮小している。一方図７（ｄ）ではシャドウ部を良く再現するとともに、ヒストグラムの分布範囲の縮小も見られず画像全体のコントラストの再現効果が比較的に安定していることが判る。

このようにシャドウ部には空間変化処理を、非シャドウ部には空間一致処理を適用することで、シャドウ部から非シャドウ部まで広がりのある画像に対しても、良好なダイナミックレンジ圧縮が施されることが判る。

（実施形態３）
図４を用いて本発明の実施形態３について説明する。図４は実施形態３で行われる画像処理方法の一例を説明するフローチャートであり、図１に示す画像処理装置１００を用いて実行することができる。

ステップＳ３０１で入力側画像メモリ１に画像が読み込まれる。次にステップＳ３０２で該画像の画像データの各画素がシャドウか非シャドウかを判定するシャドウ閾値が設定されるかまたは予め定められたシャドウ閾値Ｌｔが読み込まれる。

ステップＳ３０３で、画像データの各画素に対して実施形態１で説明した空間一致処理を適用し、各画素の輝度ＬｎがＬｎｃに変換される。

ステップＳ３０４で、画像データの各画素に対して実施形態１で説明した空間変化処理を適用し、各画素の輝度ＬｎがＬｎｖに変換される。

ステップＳ３０５でステップＳ３０３及びステップＳ３０４で算出されたそれぞれＬｎｃ及びＬｎｖの値から判定用処理値Ｌｎｐを予め定められた所定の演算により算出する。Ｌｎｐとして例えばＬｎｃとＬｎｖの算術平均値をとっても良いし幾何平均値をとっても良い。あるいは両者の大きい方または小さい方をとっても良い。このような演算は制御部７により実行されるが、必要に応じて別途演算手段を設けても良い。

ステップＳ３０６でステップＳ３０５で求められた判定用処理値ＬｎｐをステップＳ３０２で設定されたシャドウ閾値と比較して各画素がシャドウか非シャドウかを判定する。

ステップＳ３０６でシャドウと判定された画素についてはステップＳ３０７に進み、前記画像データの各画素の前記空間一致処理の結果求められた輝度Ｌｎｃに重みＪを乗じ、前記空間変化処理により求められた輝度Ｌｎｖに重み（１−Ｊ）を乗じ、それぞれの乗じられた値を加算して本実施形態の画像処理の結果の輝度Ｌｎｆとする。Ｊは１より小さく０．５より大きい値である。

ステップＳ３０６でシャドウでないと判定された場合は、ステップＳ３０８に進み、前記画像データの各画素の前記空間変化処理の結果求められた輝度Ｌｎｖに重みＭを乗じ、前記空間一致処理の結果求められた輝度Ｌｎｃに重み（１−Ｍ）を乗じ、それぞれの乗じられた値を加算して本実施形態の画像処理の結果の輝度Ｌｎｆとする。Ｍは１より小さく０．５より大きい値である。

ステップＳ３０７及びステップＳ３０８の両方が終了すると画像処理を終了する。それぞれの処理の結果得られた各画素の輝度Ｌｎｆは出力側画像メモリ６に送られて記憶される。

以上説明した実施形態３の画像処理方法を適用した一例を図８に示す。図８は横軸に前記の輝度、縦軸にその輝度の画素の出現頻度をとったヒストグラムである。シャドウ閾値Ｌｔ、シャドウ部ＳＨ、非シャドウ部ＮＳＨ及びヒストグラムの分布範囲を示す記号は図７と同様である。

図８（ａ）はシャドウ部から非シャドウ部まで広がりのある原画像の画像データの輝度ヒストグラムであり、図８（ｂ）は該原画像の画像データに実施形態１で説明した画像処理と同じ空間一致処理を施して得られた画像の輝度ヒストグラムである。図８（ｃ）は該原画像の画像データに対して実施形態１で説明した画像処理と同じ空間変化処理を施して得られた画像データの輝度ヒストグラムである。図８（ｄ）は該原画像の画像データに対して実施形態３の画像処理方法を施して得られた画像データの輝度ヒストグラムである。

図８（ｂ）、図８（ｃ）の各輝度ヒストグラムに対して図８（ｄ）の輝度ヒストグラムを比べると、図８（ｂ）ではシャドウ部の改善が不充分であり図８（ｃ）ではヒストグラムの分布範囲がＣｈが図８（ｄ）に比べて小さい。それに対し図８（ｄ）ではシャドウ部を良く再現するとともに、ヒストグラムの分布範囲がＣｊで示されるようにシャドウ部から非シャドウ部まで広がっていて、画像全体のコントラストの再現効果が比較的に安定していることが判る。

以上説明した各実施形態においては、シャドウ閾値やシャドウ比率閾値は各フローチャートのそれぞれのステップで設定したが、前述のように予め定められた値を用いても良い。それぞれのステップで設定する場合の方法も前述のように、様々な方法が可能である。

また以上説明した空間一致処理と空間変化処理を使い分けるためのパラメータとして、シャドウか非シャドウかでなく、ほかのパラメータに基づき画像処理方法を選択しても良く、それによって、多様な画像処理が可能になり画像処理の様々な目的に対応することができる。

本発明に係る画像処理方法を実行する画像処理装置の適用例として、撮像装置や記録装置及び表示装置を本発明の画像処理装置１００に接続した画像入出力システムを例に説明する。図９は、図１に示した画像処理装置１００が適用された画像入出力システム２００の機能ブロック図である。画像処理装置１００の内部構成は図１に示したとおりであるが、図９には入力Ｉ／Ｆ８と出力Ｉ／Ｆ９のみ図示した。

撮像装置であるデジタルカメラ２０１は画像処理装置１００の入力Ｉ／Ｆ８に接続されている。表示装置である液晶モニタ２０２は画像処理装置１００の出力Ｉ／Ｆ９に接続されている。記録装置であるインクジェットプリンタ２０３は画像処理装置１００の出力Ｉ／Ｆ９に接続されている。液晶モニタ２０２には、画像処理装置１００に入力された段階の画像から前述のような画像処理を終了した段階の画像またそれらの途中の段階の画像を表示することが可能なように構成されている。

操作部２０４は画像処理装置１００に接続され、画像入出力システム２００全体を操作する手段として用いられる。

デジタルカメラは近年のＣＣＤイメージセンサやＣＭＯＳイメージセンサの性能向上やデジタルカメラ自体の画像処理性能の向上により、輝度の範囲が最大対最小で１０００：１を越えるものも実用的になってきている。一方液晶モニタの表示できる輝度範囲を、前述のように広い範囲にすることは難しく、また表示装置においては使用環境を暗室にしない限り、使用環境で用いられている照明光が表示装置の表面で反射して、実効的な輝度範囲を狭める要因になり、撮像装置に匹敵する輝度範囲を得ることは難しい。

また、インクジェットプリンタのような記録装置を用いた画像記録においては、用いられる記録用紙や染料または顔料の品質にも依存するが、一定の照明条件において輝度最小すなわち黒色にプリントされた部分においても、光の反射率を１％より充分に小さくすることは容易ではない。従って、前述の照明条件において輝度最大すなわち白紙部分の光の反射率が、黒色にプリントされた部分の光の反射率に対して１００：１を大幅に越えることは難しい。

本発明の画像処理装置１００により、デジタルカメラ２０１で撮像され画像処理装置１００に入力された画像を、シャドウ部の再現性とコントラストを保つことを両立させてダイナミックレンジを圧縮し、液晶モニタ２０２に表示しまたインクジェットプリンタ２０３に出力することができる。

なお、本実施の形態において、画像処理装置が適用された例として撮像装置としてはデジタルカメラを例にとり説明したが、ＣＣＤラインセンサを用いた原稿読みとり装置や印刷用の製版装置に用いられるドラム回転式で光電子増倍管を用いた画像入力装置にも適用可能である。表示装置としては液晶モニタに限らずプラズマディスプレイ装置等の画像表示装置にも適用可能である。記録装置としてはインクジェットプリンタに限らず、レーザプリンタや熱転写プリンタにも適用可能である。また表示装置や記録装置に限らず、本発明の画像処理装置によりダイナミックレンジを圧縮された画像を、ハードディスクドライブ装置などの大容量記憶装置に送出する用に構成することもできる。

また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置の制御部であるコンピュータ（ＣＰＵ若しくはＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム及び該プログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えばフロッピー（登録商標）ディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

その他、本発明に係る画像処理装置を構成する各構成の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明の画像処理方法を実施する画像処理装置の一例である。 本発明の第１の実施形態を説明するフローチャートである。 本発明の第２の実施形態を説明するフローチャートである。 本発明の第３の実施形態を説明するフローチャートである。 画像及び画像に対してそれぞれ従来知られた空間一致処理及び空間変化処理を施して得られた画像の輝度ヒストグラムを示す図である。 本発明の第１の実施形態を施した結果を説明するための輝度ヒストグラムである。 本発明の第２の実施形態を施した結果を説明するための輝度ヒストグラムである。 本発明の第３の実施形態を施した結果を説明するための輝度ヒストグラムである。 本発明の画像処理方法を実施する画像処理装置を、撮像装置や表示装置及び記録装置と接続して構成した画像入出力システムを示す図である。

符号の説明

１ 入力側画像メモリ
２ 閾値設定部
３ 画素判定部
４ 空間一致処理部
５ 空間変化処理部
６ 出力側画像メモリ
７ 制御部
８ 入力側インターフェース
９ 出力側インターフェース
１００ 画像処理装置
２００ 画像入出力システム
２０１ デジタルカメラ
２０２ 液晶モニタ
２０３ インクジェットプリンタ
２０４ 操作部

Claims (10)

1. 複数の画素で構成された画像データの画像処理方法において、
   前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定工程と、
   前記シャドウ判定工程で、輝度が前記シャドウ閾値よりも小さいと判定されたシャドウ画素の前記画像データに占める比率をシャドウ比率閾値と比較するシャドウ比率判定工程とを含み、
   前記シャドウ比率判定工程での判定結果に基づいて、前記画像データの各画素に対して該画素の空間的位置に依存しない第１の画像処理または前記画像データの各画素に対して該画素の空間的位置に依存する第２の画像処理を施す画像処理工程とを含むことを特徴とする画像処理方法。
2. 前記画像処理工程は、
   前記シャドウ比率判定工程で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも小さいと判定された場合に前記画像データの各画素に対して前記第１の画像処理を施し、
   前記シャドウ比率判定工程で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも大きいと判定された場合に前記画像データの各画素に対して前記第２の画像処理を施すことを特徴とする請求項１に記載の画像処理方法。
3. 複数の画素で構成された画像データの画像処理方法において、
   前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定工程と、
   前記シャドウ判定工程で、輝度が前記シャドウ閾値以上と判定された画素に対して該画素の空間的位置に依存しない第１の画像処理を施し、
   前記シャドウ判定工程で、輝度が前記シャドウ閾値よりも小さいと判定された画素に対して該画素の空間的位置に依存する第２の画像処理を施す画像処理工程を含むことを特徴とする画像処理方法。
4. 複数の画素で構成された画像データの画像処理方法において、
   前記画像データの各画素について該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理工程と、
   前記画像データの各画素について該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理工程と、
   前記各画素について、前記第１の画像処理工程及び前記第２の画像処理工程で画像処理を施された結果から判定用輝度を演算する判定用輝度演算工程と、
   前記各画素について、前記判定用輝度演算工程で算出された判定用輝度をシャドウ閾値と比較するシャドウ判定工程と、
   前記各画素について、前記シャドウ判定工程での判定結果に基づいて画像処理の重み付けを行う重み付け工程と、
   前記重み付けと、前記第１及び第２の画像処理工程での結果に基づいて、前記各画素の輝度とする画像処理工程とを含むことを特徴とする画像処理方法。
5. 前記重み付け工程は、前記シャドウ判定工程で判定用輝度が前記シャドウ閾値以上と判定された画素に対して、前記第１の画像処理工程の結果の重み付けを前記第２の画像処理工程の結果より大きくし、
   前記シャドウ判定工程で判定用輝度が前記シャドウ閾値よりも小さいと判定された画素に対して、前記第２の画像処理工程の結果の重み付けを前記第１の画像処理工程の結果よりも大きくすることを特徴とする請求項４に記載の画像処理方法。
6. 複数の画素で構成された画像データを処理する画像処理装置であり、
   前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定手段と、
   前記シャドウ判定手段で、輝度が前記シャドウ閾値よりも小さいと判定されたシャドウ画素の前記画像データに占める比率と、シャドウ比率閾値とを比較するシャドウ比率判定手段とを有し、
   前記シャドウ比率判定手段での判定結果に基づいて、前記画像データの各画素に対して該画素の空間的位置に依存しない第１の画像処理または前記画像データの各画素に対して該画素の空間的位置に依存する第２の画像処理を施す画像処理手段を有することを特徴とする画像処理装置。
7. 前記画像処理手段は、
   前記シャドウ比率判定手段で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも小さいと判定された場合に前記画像データの各画素に対して前記第１の画像処理を施し、
   前記シャドウ比率判定手段で、前記画像データに占めるシャドウ画素の比率が前記シャドウ比率閾値よりも大きいと判定された場合に前記画像データの各画素に対して前記第２の画像処理を施すことを特徴とする請求項６に記載の画像処理装置。
8. 複数の画素で構成された画像データを処理する画像処理装置であり、
   前記画像データの各画素の輝度をシャドウ閾値と比較するシャドウ判定手段と、
   前記シャドウ判定手段で、輝度が前記シャドウ閾値以上と判定された画素に対して該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理手段と、
   前記シャドウ判定手段で、輝度が前記シャドウ閾値よりも小さいと判定された画素に対して該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理手段とを有することを特徴とする画像処理装置。
9. 複数の画素で構成された画像データを処理する画像処理装置であり、
   前記画像データの各画素について該画素の空間的位置に依存しない第１の画像処理を施す第１の画像処理手段と、
   前記画像データの各画素について該画素の空間的位置に依存する第２の画像処理を施す第２の画像処理手段とを有し、
   前記各画素について、前記第１の画像処理手段及び前記第２の画像処理手段で画像処理を施された結果から判定用輝度を演算する判定用輝度演算手段と、
   前記各画素について、前記判定用輝度演算手段で算出された判定用輝度をシャドウ閾値と比較するシャドウ判定手段と、
   前記各画素について、前記シャドウ判定手段での判定結果に基づいて画像処理の重み付けを行う重み付け手段と、
   前記重み付けと、前記第１及び第２の画像処理手段で画像処理を施された結果に基づいて、前記各画素の輝度とすることを特徴とする画像処理装置。
10. 前記重み付け手段は、前記シャドウ判定手段で判定用輝度が前記シャドウ閾値以上の画素に対して、前記第１の画像処理手段の結果の重み付けを前記第２の画像処理手段の結果より大きくし、
    前記シャドウ判定手段で判定用輝度が前記シャドウ閾値よりも小さい画素に対して、前記第２の画像処理手段の結果の重み付けを前記第１の画像処理手段の結果よりも大きくすることを特徴とする請求項９に記載の画像処理装置。

Images