JP2004295410A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2004295410A JP2004295410A JP2003086008A JP2003086008A JP2004295410A JP 2004295410 A JP2004295410 A JP 2004295410A JP 2003086008 A JP2003086008 A JP 2003086008A JP 2003086008 A JP2003086008 A JP 2003086008A JP 2004295410 A JP2004295410 A JP 2004295410A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- color component
- image
- color
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】従来の技術においては、色成分値の圧縮で色が変動することによって画像処理時に処理操作者に違和感を与えるという問題があった
【解決手段】ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データを取得し、同第1画像データを変換して所定の表示装置で使用される第2の表色系で各画素の色を表現した第2画像データとし、同第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮し、同圧縮後の画像データが示す画像を上記表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、上記圧縮後の画像データに対して指示にかかる画像処理を実施する。
【選択図】 図7
【解決手段】ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データを取得し、同第1画像データを変換して所定の表示装置で使用される第2の表色系で各画素の色を表現した第2画像データとし、同第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮し、同圧縮後の画像データが示す画像を上記表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、上記圧縮後の画像データに対して指示にかかる画像処理を実施する。
【選択図】 図7
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【0002】
【従来の技術】
表示装置においてある表色系を利用して画像データの色を表現する際に、各色成分値には所定の色成分値域が存在し、この表示装置における各色成分のダイナミックレンジはこの色成分値域の最小値および最大値における表示装置の出力色によって規定される。他の表色系についてもコンピュータで扱う際には各色成分毎に色成分値域が存在し、各成分の色成分値域の最小値および最大値によってその表色系で表現可能な色が決まる。
【0003】
一方、他の表色系で表現される色と表示装置で使用される表色系で表現される色とは相互に変換して対応づけることができるが、各表色系を変換した際に必ずしも一方の表色系の色成分値域内の値が他の表色系の色成分値域内の値と一致するとは限らない。従って、表示装置にて画像を表示するために上記他の表色系で表現された色を表示装置での表色系に変換すると上記表示装置で扱う画像データの色成分値域外の値になることもある。このとき、表示装置で扱う画像データの色成分値域外の値を総て切り捨ててしまうと、第1の表色系では存在していた一部の色が存在しなくってしまう。そこで、色成分値を圧縮し、表示装置で扱う画像データの色成分値域内に含まれるようにする工夫もなされている。(例えば、特許文献1参照。)
【0004】
【特許文献1】
特願2002−6289号公報
【0005】
【発明が解決しようとする課題】
上述した従来の技術においては、色が変動することによって画像処理時に処理操作者に違和感を与えるという問題があった。すなわち、異なる表色系での変換後に色成分値域を調整するために単に線形圧縮を行うのみでは、特定の色成分値で表現される色を含めて圧縮前後で色が変わってしまう。具体的には、各表色系での色成分値域の最大値同士の差と色成分値域の最小値同士の差とが一般的には異なっており、線形圧縮前後で色成分値の相互関係がずれることになる。明度の中央時など、特定の色を含めて総ての色が変わってしまうと圧縮により元の画像より明るくあるいは暗くなっていたり、元の画像の彩度や色相が変わってしまうなどして画像処理を行う上で不都合が生じる。
本発明は、上記課題にかんがみてなされたもので、色変換による調整によって画像の印象が変動することを抑えることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【0006】
【課題を解決するための手段および発明の効果】
上記目的を達成するため、本発明では画像データにおける色成分値の圧縮あるいは伸張に際して、特定の色成分値は変動させず、他の色成分値を圧縮あるいは伸張して表示装置で扱う画像データの色成分値域を調整している。すなわち、特定の色成分値を維持しながら第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮すれば、圧縮した画像データに基づいて画像処理を行う際に不都合を生じさせないようにすることができる。より具体的には、画像処理に当たり、通常は画像データに基づく画像を表示装置に表示するが、特定の色成分値を維持することなく圧縮すれば画像の明度や彩度、色相等の色彩値が元の第1画像データと比較して変動し、大きな色彩値の変動は表示画像を視認する利用者に違和感を与える。
【0007】
すなわち、圧縮により元の画像より明るくあるいは暗くなっていたり、元の画像の彩度や色相が変わっていると、画像処理を実施する以前に利用者が違和感を感じ、画像処理をすべきか否かの判断にも影響を与えてしまう。そこで、特定の色成分値を維持すれば、少なくとも当該特定の色成分値で表現される色については圧縮前後で色の変動はないし、その周囲の色についても色の変動を抑えることができ、利用者に違和感を与えないようにすることができる。特定の色成分値として上記表示装置で表現可能な明度の中央値を採用すれば、多くの画像において圧縮によって画像全体の明るさが変動することを抑えることができる。上記表示装置で表現可能な明度の中央値としては、明度値域の略中央を与える色成分値であれば良く、各色成分値域の中央値等を採用することができる。
【0008】
むろん、特定の色成分値としては上記明度の中央値に限定されることはなく、他にも種々の値を採用することができる。例えば、画像毎に異なる色成分値を採用することもでき、各画素の色成分値が偏っている場合に画像のヒストグラムを計測し、当該ヒストグラムの中央値、最頻値、正規分布としてフィッティングした場合の分布平均値等を維持する構成としても良い。この構成を採用すれば、夕焼けの画像や夜景など明るさに偏りのある画像であっても明るさが変動することを抑えることができる。
【0009】
本発明においては、画像処理を行う際に上記表示装置で画像を扱えるように上記圧縮を行っているので、画像処理を行った後にそのデータを再度第2画像データや第1画像データに戻したい場合もある。このためには、上記特定の色成分値として採用する値が分かるようにしておけばよい。例えば、各画像データのヘッダ等、事後的に参照できるようにこの値を書き込んでおけば、圧縮後の画像データ,第1画像データ,第2画像データのいずれの段階であっても相互に変換することができる。
【0010】
ここで、第1画像データは上記表示装置の第2の表色系とは異なる第1の表色系の各色成分値によって色を表現したデータであれば良く、種々の表色系を採用可能である。例えば、JPEGフォーマットで使用されるYCbCr(Yは輝度成分、Cbは青色差成分、Crは赤色差成分)表色系を採用可能である。第2の表色系としてsRGBを採用した場合、公知のマトリクス変換によってYCbCrデータをsRGBデータに変換可能であり、RGBの各値が負の値になったり255以上になったりする。従って、sRGBデータを表示装置で利用するためには上述の圧縮が必要になる。むろん、YCbCrの他にもXYZ表色系,Lab表色系、CMYK表色系等、種々の表色系を採用可能である。
【0011】
第2の表色系としても表示装置で使用される表色系であれば良く、上記RGB表色系を採用可能であるが、むろん、他の表色系、例えば、XYZ表色系,Lab表色系、CMYK表色系等であっても良い。本発明では、少なくとも第1の表色系と第2の表色系とが異なり、相互に色変換可能であって色変換後に第2画像データが表示装置で利用される階調値域外のデータをとり得る状況であればよい。
【0012】
画像処理手段においては、圧縮後の画像データに対して指示通りの画像処理を実行することができればよい。画像処理としては、種々のものが採用であるが、上述の圧縮によって色成分値を元の値から変更した状態で画像処理を行うため、画像内の赤目除去処理、画像解像度の変更等、画像データの大きな変更を伴わない簡易的な画像処理であることが好ましい。むろん、他にもコントラスト変更やエッジ検出、アンシャープマスキング等種々の画像処理に適用することは可能である。
【0013】
色成分値圧縮手段においては、特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮することができれば良く、種々の手法によって圧縮を行うことができる。例えば、上記第2の表色系の各色成分値に所定の最大値と最小値を規定することによって当該最大値より大きな色成分値および当該最小値より小さな色成分値を除外する。これにより、第2の表色系で色成分値を有する色であって、有意な色を示す値のみを抽出することができる。
【0014】
すなわち、第2の表色系で値を有するとしても総ての色成分値が有意であるとは限らない。例えば、画像を印刷装置で印刷することを想定すると、一般に印刷装置の色域が表示装置の色域より広い部位(例えば、高彩度のシアンや緑)が存在し、圧縮を行わずに表示装置の階調値域以外を切り捨てるとこの部位の色を利用できないが、逆に過大な色成分値であると印刷装置の色域を超えてしまい、色の情報として意味を持たない。そこで、画像データの使用目的や使用対象に応じて有意な色を示す値のみを抽出するのが好ましい。
【0015】
このように有意な色を示す色成分値のみを抽出する場合に、上記所定の最大値と最小値とが上記表示装置の色成分値域から同じ値だけ離れているとは限らない。すなわち、所定の最大値と最小値との中央の値は表示装置の色成分値域の中央の値と一致しないことが多い。このとき、単に線形圧縮を行うと第2画像データの色成分値であって、表示装置の色成分値域の中央の値に相当する値が大きな値あるいは小さな値となって画像全体の明度のバランスが変化する。そこで、最大値を上記表示装置で扱う各色成分の値域の最大値に変換し上記最小値を上記表示装置で扱う各色成分の値域の最小値に変換するとともに上記特定の色成分値を維持することにより、画像の色のバランスを極力損なうことなく圧縮を行うことができる。
【0016】
このように、特定の色成分値を維持するとともに他の色成分値を圧縮する具体的手法としては種々の手法を採用可能である。例えば、入出力関係を規定するトーンカーブにおいて第2画像データの色成分値を入力とし、出力値を圧縮後の画像データとすればよい。トーンカーブとしてS字カーブを採用し、S字カーブの変曲点で入出力値が同値かつ上記特定の色成分値になるように構成すればS字カーブのみで圧縮を行うことができる。
【0017】
むろん、変曲点を持たないγカーブ等を利用しても良い。この場合、一定の圧縮率で均等に色成分値を圧縮する線形圧縮処理と組み合わせることにより上記特定の色成分値を維持することができる。すなわち、線形圧縮処理を行って特定の色成分値が圧縮前後で変動したとしても、その後γカーブによる変換を行って元の特定の色成分値に合致させることができる。また、γカーブによる処理を行って特定の色成分値が圧縮前後で変動したとしても、その後線形圧縮を行って元の特定の色成分値に合致させることができる。
【0018】
前者においては、線形圧縮後にγカーブによる変換を行うので、線形圧縮を行う仕組みが既に備えられている装置、プログラムに対してγカーブによる変換を実現する仕組みを付加するのみで本発明を実現することができる。後者においては、線形圧縮の前にγカーブによる変更を行うので、第2画像データの色成分値をどのように変更するのか、全体の傾向が直感的に分かりやすく、画質を低下させないような圧縮処理を容易に実現することができる。
【0019】
上述の説明は、主に圧縮変換前後で特定の色成分値を維持する発明についての説明であるが、むろん、逆に伸張変換前後で特定の色成分値を維持する構成も可能である。すなわち、第2の表色系で色が表現された画像であって表示装置で使用する色成分値域の画像データを使用して画像処理を行い、この画像データを伸張して第2画像データとする際に適用することができる。この第2画像データをさらに第1画像データに変換することにより、画像処理対象の画像を第1表色系の第1画像データに変換することができる。
【0020】
このように第1の表色系の第1画像データを生成すると、当該第1画像データでは上記表示装置の色成分値域内で表現できる色域より外に位置する色を表現することができる。従って、表示装置によって画像処理を行いつつもこの表示装置の色域の制限を受けず第1の表色系で表現可能な色を有効に利用することができ、高彩度の色等を利用して画像の色調を豊かにすることができる。この構成は、特に上記請求項1〜請求項4にかかる発明と組み合わせて利用すると好ましい。
【0021】
すなわち、第1画像データを第2画像データに変換した後に圧縮し圧縮した状態で画像処理を行った場合には、画像処理後のデータを伸張し伸張後のデータを第1表色系に変換すれば、表示装置において違和感を与えない画像を表示しながら画像処理を行い、処理後の画像について表示装置より豊かな色調表現が可能な第1画像データにすることができる。
【0022】
より具体的には、画素の色をYCbCr表色系で表現した画像について画像処理を行うに当たり、まず、この画像を示す第1画像データをRGB表色系の第2画像データに変換して表示装置で扱える表色系とする。さらに、表示装置で画像を表示できるように当該表示装置で扱える色成分値域に圧縮する。ここでさらにγカーブによる変換を実施して、線形圧縮前に上記表示装置で扱う各色成分値域の中央値に相当していた色成分値が当該中央値に戻す。従って、これらの処理後の画像を表示装置で表示したときには画像全体の明るさが大きくずれることはないが、表示装置の色成分値域より広い所定値域内に存在する色成分値の情報を含む状態で画像処理を行うことができる。
【0023】
画像処理を行った後には、この逆処理、すなわち、逆γカーブによる補正と線形伸張を行って第2画像データを生成し、さらに元の第1画像データに戻す。従って、表示装置を利用して画像処理を行いつつも、表示装置の色域外の色をも含む画像処理後第1画像データを得ることができる。YCbCr表色系を採用する第1画像データとしてはJPEGフォーマット等があるが、このJPEGフォーマットの画像データについて本発明を適用すれば、表示装置の色域に影響を受けない汎用的な画像データを提供することができる。
【0024】
ところで、上述した画像処理装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。また、上述した画像処理の手法は、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。したがって、本発明は方法としても適用可能であり、請求項7,請求項8にかかる発明においても、基本的には同様の作用となる。
【0025】
本発明を実施しようとする際に、画像処理装置にて所定のプログラムを実行させる場合もある。そこで、そのプログラムとしても本発明を実施可能であり、請求項9,請求項10にかかる発明においても、基本的には同様の作用となる。むろん、請求項2〜請求項4,請求項6に記載された構成を上記方法やプログラムに対応させることも可能である。また、いかなる記憶媒体もプログラムを提供するために使用可能である。例えば、磁気記録媒体や光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウェアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階については全く問う余地なく同等である。
【0026】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
(1)画像処理装置の構成:
(2)画像処理プログラムの構成および処理:
(3)圧縮処理および伸張処理の動作:
(4)他の実施形態:
【0027】
(1)画像処理装置の構成:
図1は、本発明の第一の実施形態にかかる画像処理装置の概略構成を示している。PC10は演算処理の中枢をなすCPU11を備えており、このCPU11はシステムバス10aを介してPC10全体の制御を行う。同システムバス10aには、ROM12、RAM13、ハードディスクドライブ14やCD−ROMドライブ15、入力インターフェイス(入力I/F)16、CRTインターフェイス(CRTI/F)17、MCI/F18、プリンタインターフェイス(プリンタI/F)19等が接続されている。
【0028】
本実施形態のPC10はいわゆるデスクトップ型PCであり、構成を簡略化して説明している。むろん、PC10にはコンピュータとして一般的な構成を有するものを採用することができ、ノート型であるとか、モバイル対応のものであってもよい。また、画像処理装置に適用可能なコンピュータは、PCに限定されるものではないし、複数のコンピュータによる分散処理を行う構成であっても良い。
【0029】
ハードディスクドライブ14には、ソフトウェアとしてオペレーティングシステム(OS)や画像処理および印刷を行うための画像処理プログラム等が格納されており、これらのソフトウェアは、実行時にCPU11によって適宜RAM13に転送される。そして、CPU11は、RAM13を一時的なワークエリアとして適宜アクセスしながら種々のプログラムを実行することになる。
【0030】
入力I/F16には、キーボード16aやマウス16bが操作用入力機器として接続される。また、CRTI/F17には、表示用のディスプレイ17aが接続されている。さらに、プリンタI/F19には、パラレルI/Fケーブルを介してプリンタ20が接続されている。むろん、プリンタ20との接続I/FはパラレルI/Fに限られる必要もなく、シリアルI/FやSCSI、USB接続など種々の接続態様を採用可能であるし、今後開発されるいかなる接続態様であっても同様である。
【0031】
MCI/F18は、EEPROM等によって構成されたメモリカードMCのスロットを備えており、CPU11は当該メモリカードMCがスロットに装着された状態でシステムバス10aを介して当該メモリカードMC内に記憶されたデータを読み出すことができる。メモリカードMCはデジタルスチルカメラ25等の画像機器に対しても挿入可能であり、デジタルスチルカメラ25の撮像画像を示す画像データ等を書き込むことができる。従って、メモリカードMCを介して画像データをPC10内に取り込むことができる。
【0032】
本実施形態においてメモリカードMCに記録される画像データはJPEGフォーマットの画像データをベースとしたExifフォーマットの画像データであり、各画素の色はYCbCr表色系で記述されている。従って、Exifフォーマットのデータに記述されたYCbCr画像データが上記第1画像データに該当する。尚、本実施形態においてはYCbCr画像データをPC10内に取り込むことができれば良く、むろん、メモリカードMCを介してYCbCr画像データを転送することが必須というわけではない。例えば、IEEE1394規格準拠のケーブルやUSBケーブル等のケーブルを介してYCbCr画像データを転送しても良いし、ブルートゥース(ブルートゥースSIGインコーポレイテッドの登録商標)等の無線通信によってYCbCr画像データを転送しても良い。
【0033】
尚、本発明の画像処理プログラムを記憶したハードディスクドライブ14は画像処理プログラムを記録した媒体となるが、画像処理プログラムを格納可能な記録媒体はハードディスクに限定されるものではない。例えば、CD−ROMやフレキシブルディスクであってもよい。これらの記録媒体に記録されたソフトウェアはCD−ROMドライブ15や図示しないフレキシブルディスクドライブを介して読み込まれ、ハードディスクドライブ14にインストールされて、CPU11によってRAM13上に読み込まれて各種処理が実行されることになる。また、記録媒体は、これらに限定されず、光磁気ディスクや半導体デバイスである不揮発性メモリなどであってもよい。さらに、インターネット網等のネットワークを介してサーバに接続し、種々のプログラムを格納したサーバにアクセスして本画像処理プログラムをダウンロードすることも可能である。
【0034】
本実施形態で使用するプリンタ20は、インクジェットプリンタであり、カラー印刷時に、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)、の計4色の色インクを使用することができる。むろん、ライトシアン(lc)やライトマゼンタ(lm)を使用して6色にすることもできるし、さらにダークイエロー(DY)を加えて7色にすることもできる。また、複数色のカラートナーを使用するレーザープリンタを使用することもできる。いずれにしても、PC10ではプリンタ20にて解釈可能な印刷データを作成し、プリンタI/F19を介して出力する。プリンタ20では当該印刷データに基づいて画像を構成する各画素についてインクを記録することによって画像を印刷する。
【0035】
PC10では、以上のハードウェアを基礎としてバイオスが実行され、その上層にてOSと各種プログラムとが実行される。基本的には、OSがバイオスを介してハードウェアとアクセスするかあるいは直接ハードウェアとアクセスし、各種プログラムはOSを介してハードウェアとデータなどのやりとりを行う。OSにはハードウェアを制御するための後述する各種ドライバ類が組み込まれ、OSと連携して各種の制御を実行する。このドライバ類は、CRTI/F17でのデータ授受を制御するディスプレイドライバ(DSPDRV)30、入力I/F16でのデータ授受を制御する入力装置ドライバ31、プリンタI/F19でのデータ授受を制御するプリンタドライバ32等である。
【0036】
(2)画像処理プログラムの構成および処理:
本実施形態においては上記各種プログラムの一つとして画像処理プログラムが実行可能にインストールしてあり、図2は当該画像処理プログラムの概略構成を模式的に示している。画像処理プログラム40は、画像データ取得部41とYCbCr/RGB変換部42と色成分値圧縮部43と画像処理部44と色成分値伸張部45と印刷処理部46とを備えており、各部の処理によって画像処理および画像の印刷処理を実施する。すなわち、上記メモリカードMCからYCbCr画像データを取得して表示装置たるディスプレイ17aに画像を表示しつつ画像処理指示に従った画像処理を行い、画像処理後の画像を示すYCbCr画像データを保存する。また、画像処理後の画像の印刷を実行する。
【0037】
画像処理プログラム40では、図3に示すフローに従って印刷を行う。YCbCr画像データが記録されたメモリカードMCを上記図示しないメモリスロットに装着した状態で画像処理プログラム40を起動すると、画像データ取得部41は、ハードディスクドライブ14に記録されたYCbCr画像データを取得する(ステップS100)。当該YCbCr画像データは上記メモリカードMCに記録されているExifフォーマットの画像部分のデータであり、図4に示す構造を有している。尚、Exifフォーマットの仕様は、電子情報技術産業協会(JEITA)によって定められている。
【0038】
同図は、Exifフォーマットの概略的な内部構造を示す説明図である。このExifフォーマットにおいてはJPEGフォーマットの画像データを格納するJPEG画像データ格納領域100と、当該JPEG画像データに関する各種付属情報を格納する付属情報格納領域110とを備えている。付属情報格納領域110には、撮影時色空間(本実施形態ではYCbCrを示す情報)、撮影日時、露出、シャッター速度等といったJPEG画像の撮影条件に関する撮影時情報およびJPEG画像のサムネイル画像データがTIFF形式にて格納されている。
【0039】
付属情報は画像データがメモリカードMCに書き込まれる際に自動的に付属情報格納領域110に格納される。本実施例では、付属情報格納領域110には、PC10において自動で印刷する場合の画像処理等を制御するための画像処理制御情報を格納する画像処理制御情報格納領域120が備えられている。同画像処理制御情報には本発明にかかる処理を行うか否かを示す情報、すなわち、sRGB色空間の色成分値域を超える色成分値を圧縮するか否かを示す情報も含まれている。
【0040】
YCbCr/RGB変換部42は、画像データの表色系をYCbCrとRGBとで相互に変換するモジュールであり、上記画像データ取得部41がYCbCr画像データを取得すると、まず上記付属情報格納領域110の画像処理制御情報を参照し、取得したデータがPrint Image Matching(PIM:PIMはセイコーエプソン株式会社の登録商標)あるいはExif Print(Exifは電子情報技術産業協会の登録商標)に対応しているか否かを判別する(ステップS105)。すなわち、本実施形態では上記PIMあるいはExif Printに対応していることが、sRGB色空間の色成分値域を超える色成分値を圧縮することを示している。
【0041】
尚、上記PIMあるいはExif Printはデジタルスチルカメラの撮影条件等をExifデータに記録することによって撮影された写真になるべく近い状態で印刷したり、ディスプレイ17aの色域より広い色域を利用して印刷をしたりする際に使用される規格である。いずれにしても、上記PIMあるいはExif Printに対応しているとその画像データに対して本発明を適用することができる。
【0042】
そこで、ステップS105の判別により、YCbCr画像データの元となるExifフォーマットのデータが、上記PIMあるいはExif Printに対応しているとされたときには、YCbCr表色系をRGB表色系に変換し、RAM13にeRGB画像データ13aとして記録する(ステップS110)。ここで、表色系の変換は例えば以下の式によって実施される。
Y=0.299*R+0.587*G+0.114*B
Cb=−0.172*R−0.339*G+0.511*B
Cr=0.511*R−0.428*G−0.083*B
R=Y+1.371*Cr
G=Y−0.336*Cb−0.698*Cr
B=Y+1.732*Cb
ここで、YCbCrの各色成分値の値域は0〜255である。ステップS110における変換ではこの式の逆変換を利用しているが、YCbCr表色系からRGB表色系への変換において、RGBの各色成分値は0〜255の範囲内になるとは限らない。
【0043】
一方、sRGB規格では各色成分値の値域は0〜255である。そこで、本明細書では、RGB表色系ではあるが0〜255の値域外のデータをも含む画像データをeRGB画像データと呼ぶ。尚、本実施形態においてはこのeRGB画像データ13aが上記第2画像データに該当する。色成分値圧縮部43は、sRGB規格での色成分値の中央値”128”を変換前後で維持しながらeRGB画像データ13aの各色成分値が0〜255の値域内になるようにRGB各色成分値を圧縮するモジュールであり、線形圧縮部43aとγ補正部43bとを備えている。
【0044】
色成分値圧縮部43はこの圧縮処理のため、まず上記eRGB画像データ13aの各色成分値から有意な色成分値のみを抽出する。すなわち、eRGB画像データ13aでの各色成分値域は非常に広く、”−200”や”400”といった値もとり得るが、プリンタ20にて印刷を実行する意味ではその色域外の色を採用しても意味がない。そこで、ディスプレイ17aの色域外であるがプリンタ20の色域内の色を加味するため、プリンタ20の色域外となる色は予め切り捨てており、本実施形態においては、各色成分値を”−70〜365”とする(ステップS115)。尚、色成分値を切り捨てると行ってもその色成分値を有する画素に色がなくなるわけではないので、”−70”より小さな色成分値を総て”−70”とみなし、”365”より大きな階調値を総て”365”とみなしたり、マッピングする等、具体的には種々の切り捨てを採用可能である。
【0045】
線形圧縮部43aはこの切り捨てがなされた各色成分値を線形圧縮し、γ補正部43bはこの線形圧縮後の各色成分値にγ補正を施してsRGB画像データを生成する。図5は、線形圧縮部43aとγ補正部43bとによる処理を説明する説明図である。線形圧縮部43aは上記eRGB画像データ13aの各色成分値における”−70”を”0”、”365”を”255”に該当させつつ”−70〜365”の色成分値が”0〜255”に相当するように線形変換する(ステップS120)。具体的には、図5の上部に示すグラフのような入出力関数によって変換を行っている。
【0046】
同グラフでは、入力値を横軸,出力値を縦軸として入出力の対応関係を示しており、入出力の対応関係が直線になることから線形圧縮と呼んでいる。同グラフの例では、入力値”−70”のとき出力値が”0”,となり入力値”365”のとき出力値が”255”となる。また、入力値”128”のとき出力値が”116”となる。sRGB規格における色成分値”128”は、色成分値域の中央値であり、上記YCbCr表色系とRGB表色系との変換式から分かるようにRGBの各色成分値に”128”を代入すると明度成分値Yの値も”128”となり、この値は明度成分の中央値である。従って、eRGB画像データ13aにおいても各色成分値の”128”は各色成分値の中間的な明度を示すはずである。
【0047】
しかし、上述の線形圧縮においては、入力値”128”が出力値”116”となっており、明度が低下することになる。従って、この線形圧縮後の画像データに基づいて画像をディスプレイ17a上に表示すると、画像は本来の明るさより全体的に暗く見えてしまう。そこで、本実施形態においてはγ補正部43bによって線形圧縮後の色成分値”116”が再び色成分値”128”に戻るように補正を行っている。図5の下部に示すグラフはこのγ補正における入出力の対応関係を示しており、入力値を横軸,出力値を縦軸として示している。尚、同グラフに示す破線は入力値と出力値とが等値の関係を示している。
【0048】
γ補正での入出力対応関係は同グラフに示す上に凸の曲線に相当する。すなわち、入力値をそれより大きな値に変換しており、入力値”116”が出力値”128”に相当する。従って、eRGB画像データ13aでの色成分値”128”はγ補正を経て再び色成分値”128”に戻される。さらに、同グラフに示すように入力値”0”に出力値”0”が対応し、入力値”255”に出力値”255”が対応する。従って、上記線形圧縮によって”0〜255”の値域とされた色成分値はこの色成分値域内に変換される。そこで、本実施形態においてはγ補正後の画像データをsRGB画像データとしており、γ補正部43bは変換後の画像データをsRGB画像データ13bとしてRAM13に記録する(ステップS125)。
【0049】
本実施形態における画像処理はこのsRGB画像データ13bに基づいて行われる。すなわち、このsRGB画像データ13bがsRGB規格による画像であるとしてディスプレイ17a上に画像を表示し、画像処理指示に従ってsRGB画像データ13bを修正する。この処理は画像処理部44が担っており、同画像処理部44は、まずDSPDRV30を制御してRAM13に記録されたsRGB画像データ13bに基づく画像をディスプレイ17a上に表示させる(ステップS130)。そして、同ディスプレイ17a上に図示しないUIを表示させつつ入力装置DRV31を制御してキーボード16aやマウス16bによる操作入力処理を受け付ける。
【0050】
本実施形態における画像処理としては、画像内の赤目除去処理、画像解像度の変更等、画像データの大きな変更を伴わない簡易的な画像処理が用意されており、利用者はディスプレイ17aを視認しつつこれらの画像処理を行うよう指示することができる。画像処理部44がこの指示を受け付けると、その指示通りの画像処理を行う(ステップS135)。すなわち、赤目として指定された部位を黒色に置換したり、補間処理によって画素数を増減させるなどの処理を行う。この画像処理結果は逐次sRGB画像データ13bに反映され、sRGB画像データ13bは画像処理後の画像を示すことになる。
【0051】
尚、本実施形態においては、元のYCbCr表色系に含み、sRGB表色系では表現できない色の情報をsRGB画像データ13b内に含ませつつ画像処理を行っているので、画像処理としては画像データにおける色成分値を大きく変動させない簡易的な画像処理であることが好ましいが、むろん、エッジ強調等、他の画像処理を行う構成を採用しても良い。
【0052】
本実施形態では、さらにこの画像処理後のsRGB画像データ13bについて表色系を再びYCbCr表色系に戻している。すなわち、sRGB画像データ13bにはsRGB表色系で表現できない色の情報を含んでいるといっても階調値域が”0〜255”であれば、sRGB表色系で表現不可能な色がどの色であるのか一義的に明らかではないし、他の画像機器で利用する場合に汎用的に用いることができない。そこで、色成分値伸張部45によって上記色成分値圧縮部43での処理の逆処理を行っている。
【0053】
具体的には、色成分値伸張部45は逆γ補正部45aと線形伸張部45bとを備えており、逆γ補正部45aにて図6の上部に示すグラフのような入出力関数によって変換を行っている(ステップS140)。すなわち、逆γ補正での入出力対応関係は同グラフに示す下に凸の曲線に相当し、入力値をそれより小さな値に変換するとともに入力値”128”を出力値”116”に変換する。また、同グラフに示すように入力値”0”を出力値”0”に変換し、入力値”255”を出力値”255”に変換する。尚、同グラフに示す破線は入力値と出力値とが等値の関係を示しており、入力値を横軸,出力値を縦軸として示している。
【0054】
逆γ補正部45aは、上記sRGB画像データ13bを取得し、図6の上部に示す逆γ補正曲線によって変換を行い、各色成分値の値は変更しつつも値域を”0〜255”に維持する。線形伸張部45bでは、逆γ補正部45aによる補正後の画像データに対して図6の下部に示すグラフのような入出力関数によって変換を行っている(ステップS145)。すなわち、入力値”0”のとき出力値が”−70”,となり、入力値”255”のとき出力値が”365”となり、入力値”116”のとき出力値が”128”となる直線によって、階調値域の拡張および明度中央値の変換を行っている。変換後の画像データはeRGB画像データ13cとしてRAM13に記録される。
【0055】
この結果、画像処理後のsRGB画像データ13bの色成分値域が上記eRGB画像データ13aと同じ色成分値域に拡張される。また、明度の中央値が色成分値”128”になる。従って、eRGB画像データ13cの表色系をYCbCr表色系に変換すれば、ディスプレイ17aの色域より広い領域の色について有意な情報を含む形でYCbCr画像データを得ることができる。そこで、上記YCbCr/RGB変換部42はRAM13に記録されたeRGB画像データ13cを取得し、表色系をYCbCr表色系に変換して画像処理後のYCbCr画像データを生成し(ステップS150)、YCbCr画像データ14aとしてハードディスクドライブ14に保存する(ステップS155)。
【0056】
以上のように、本実施形態における画像処理プログラム40によれば、YCbCr表色系において有意なデータを維持しつつsRGB規格に準拠した画像データによってディスプレイ17aに画像を表示して画像処理を行うことができ、さらに、画像処理後の画像を示すYCbCr画像データを得ることができる。本実施形態では、上述のように付属情報格納領域110に上記PIMあるいはExif Printに対応していることを示す情報が格納されているExifフォーマットのデータに対して以上の処理を適用することができる。
【0057】
一方、本実施形態では付属情報格納領域110に上記PIMあるいはExif Printに対応していることを示す情報が格納されていない場合の画像処理も担保している。すなわち、上記ステップS105にてExifフォーマットの画像データが上記PIMあるいはExif Printに対応していると判別されないときには、ステップS160以降の処理を行う。まず、YCbCr/RGB変換部42が画像データの表色系をYCbCr表色系からsRGB表色系に変換する(ステップS160)。このとき、RGBの各色成分値域を”0〜255”としてこの値域外の色成分値を切り捨てる。これにより得られたRGB各色成分値をsRGB画像データの色成分値としてRAM13に記録する。従って、この段階で画像データによって表現される色はディスプレイ17aの色域内の色に限られる。
【0058】
次に、同画像処理部44がDSPDRV30を制御してRAM13に記録されたsRGB画像データに基づく画像をディスプレイ17a上に表示させる(ステップS165)。そして、同ディスプレイ17a上に図示しないUIを表示させつつ入力装置DRV31を制御してキーボード16aやマウス16bによる操作入力処理を受け付ける。この指示としては上述の画像処理と同様の指示を行うことができ、画像処理部44がこの指示を受け付けるとその指示通りの画像処理を行う(ステップS170)。この画像処理結果は逐次sRGB画像データに反映される。
【0059】
さらに、YCbCr/RGB変換部42はRAM13に記録されたこのsRGB画像データを取得し、表色系をYCbCr表色系に変換して画像処理後のYCbCr画像データを生成する。(ステップS175)。そして、YCbCr画像データ14aとしてハードディスクドライブ14に保存する(ステップS155)。尚、このとき、後の使用に備えて上記付属情報格納領域110を含むExifフォーマットのデータとしても良い。このように、上記Exifフォーマットの画像データが上記PIMあるいはExif Printに対応していない場合であっても、ディスプレイ17a上に画像を表示して画像処理を行い、得られた結果を反映したYCbCr画像データを取得することができる。
【0060】
印刷処理部46は、以上のようにして生成されたYCbCr画像データに基づいてその画像を印刷するための制御を行う。すなわち、上記ハードディスクドライブ14に保存されたYCbCr画像データを取得して印刷媒体に対する割付や印刷媒体の選択等を行って、これらを指示する情報とともにYCbCr画像データをPRTDRV32に出力する。PRTDRV32においては、YCbCr画像データをインク色に対応したCMYKやCMYKlclm画像データに変換する。ここで、YCbCr画像データには、ディスプレイ17aの色域外であるがプリンタ20の色域内の色を含んでいるので、この色を含めた画像データに変換する。
【0061】
そして、この画像データに対してハーフトーン処理を施し、プリンタ20における各画素でのインク記録率を示すハーフトーンデータを取得する。これらのハーフトーンデータはプリンタ20で使用される順番に並べ替えられ、プリンタ20に出力される。この結果、プリンタ20では上記画像処理後のYCbCr画像データ14aに基づく画像を印刷することができる。この画像は、ディスプレイ17aの色域外の色を含むため、高彩度の色を含み非常に階調豊かな画像であるし、上記赤目除去等のなされた画像である。また、PRTDRV32における色変換時には、上記付属情報格納領域110の情報を参照し、画像の撮影時の状況をできるだけ再現するように画像処理を行って印刷を行っても良い。この画像処理を行うに際しては、ディスプレイ17aの色域に限定されず、それよりプリンタ20の方が広い色域となっている部位の色をも使用することができるので、画像処理の自由度がより広くなり、好ましい。
【0062】
(3)圧縮処理および伸張処理の動作:
次に、以上の構成における圧縮処理および伸張処理の一連の動作を説明する。図7は、各処理段階における色成分値域を模式的に示す図である。同図最上段にはeRGB画像データ13aの色成分値域を示している。同図に示すようにeRGB画像データ13aにおいては、YCbCr表色系をRGB表色系に変換して得られた各色成分値の大小の端を切り捨てており、値域は”−70〜365”となっている。このeRGB画像データ13aに対して線形圧縮部43aが線形圧縮を行うと、色成分値域が”0〜255”になる。
【0063】
図7の上から2段目にはこの線形圧縮後のRGB色成分値の値域を模式的に示している。このとき、上記色成分値”128”は”116”に変換されるので、この線形圧縮後の画像データが示す画像をディスプレイ17aに表示すると、元のYCbCr画像データが示す画像本来の色より全体として暗くなった画像が表示される。そこで、γ補正部43bはこの線形圧縮後の画像データに対して上に凸の曲線に相当する入出力関係の変換を行い、色成分値”116”が”128”に変換されるようにしつつ入力値が大きな出力値になるよう変換する。この画像データがsRGB画像データ13bとしてRAM13に記録される。図7の上から3段目にはこのγ補正後のRGB色成分値の値域を模式的に示している。
【0064】
画像処理部44はこのsRGB画像データ13bに基づいてディスプレイ17a上に画像を表示させ、画像処理の指示を受け付けて画像処理を実施する。このとき、sRGB画像データ13bの各色成分値のいずれかが変動するが色成分値域は変動しない。逆γ補正部45aは、この画像処理後のsRGB画像データ13bに対してて下に凸の曲線に相当する入出力関係の変換を行い、色成分値”128”が”116”に変換されるようにしつつ入力値が小さな出力値になるよう変換する。図7の下から2段目にはこの逆γ補正後のRGB色成分値の値域を模式的に示している。
【0065】
線形伸張部45bはこの逆γ補正後のRGB色成分値に対して線形伸張を行い、値域を再び”−70〜365”とする。このとき、色成分値”116”は”128”となる。以上のように、線形圧縮,γ補正,逆γ補正,線形伸張によって、sRGB規格の色成分値域外の値を含むeRGB画像データ13aを一旦sRGB画像データ13bとし、ディスプレイ17a上に表示して画像処理を行い、画像処理後の画像データをsRGB規格の色成分値域外の値を含むeRGB画像データ13cとすることができる。このとき、線形圧縮とγ補正の組み合わせによって明度の中央値を示す”128”は、eRGB画像データ13aとsRGB画像データ13bとで維持されるので、画像処理に際して画像の明るさが変動せず、利用者に違和感を与えずに画像処理を実施させることができる。
【0066】
(4)他の実施形態:
上記実施形態は本発明にかかる画像処理装置、画像処理方法および画像処理プログラムを実現する一例であり、むろん他の構成を採用することも可能である。例えば、上記色成分値圧縮部43や色成分値伸張部45の構成は上記構成に限られない。色成分値圧縮部43では第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮することができればよい。そこで、線形圧縮の後にγ補正を行う構成と異なる構成として、γ補正の後に線形圧縮を行う構成を採用しても良い。
【0067】
この場合、γ補正によって色成分値”128”がそれより大きい値αに変換され、線形圧縮によって値αが色成分値”128”に戻るようにγ補正の曲線を調整する。このように先にγ補正を実施する構成によれば、”−70〜365”の全色成分値域の変化度合を予め調整することができる。同様に、色成分値伸張部45においても線形伸張を行った後に逆γ補正を実施する構成にすることが可能である。この場合、線形伸張で色成分値”128”がそれより小さい値βに変換され、その後の逆γ補正によって値βが色成分値”128”に戻るようにする。むろん、色成分値圧縮部43と色成分値伸張部45とのいずれか一方において処理の順番を上記図3と異なるようにすることもできる。
【0068】
さらに、線形変換とγ変換との組み合わせにすることが必須というわけではない。例えば、上記入出力の対応関係を示す曲線としてS字カーブを採用することもできる。S字カーブはある特定の点に変曲点を有する曲線であり、入出力値が”128”の点を変曲点とし、eRGB画像データの色成分値域の最大値および最小値をsRGB画像データの最大値および最小値に対応させる曲線であればよい。この構成によれば、2段階の変換を経ずに一回の変換でeRGB画像データとsRGB画像データとを相互に変換することができる。
【0069】
さらに、上記実施形態ではYCbCr画像データを取得してsRGB画像データとして画像処理を行い、再びYCbCr画像データに戻していたが、本発明の適用対象はこの一連の処理を行う装置に限られない。例えば、画像処理を行うためにYCbCr画像データからsRGB規格の色域外の色を含む状態のsRGB画像データを生成して画像処理を行う構成としても発明を利用しているし、sRGB画像データについて画像処理を行った後に、本発明にかかる伸張処理を行ってsRGB規格の色域外の色を含むYCbCr画像データを生成する構成であっても発明を利用していると言える。
【0070】
さらに、上記実施形態では、プリンタ20が接続されたPC10にて画像処理プログラムを実行可能に構成することによって発明を実現していたが、むろん、プリンタ20単体で画像処理プログラムを実行可能に構成しても良い。例えば、プリンタ20に液晶表示装置を搭載し、デジタルスチルカメラ25からメモリカードMCや無線通信を介してYCbCr画像データを取得する構成とする。そして、プリンタ20内に画像処理プログラム40を実行可能なプログラム実行環境を構築する。かかる構成によれば、液晶表示装置を搭載したプリンタ20にて画像の明るさについて違和感を与えない状況で画像処理を行い、また、その画像処理後の画像を印刷することができる。
【図面の簡単な説明】
【図1】画像処理装置の概略構成図である。
【図2】画像処理プログラムの概略構成図である。
【図3】画像処理プログラムのフローチャートである。
【図4】Exifフォーマットのデータ構造を示す図である。
【図5】線形圧縮部とγ補正部の処理を説明する説明図である。
【図6】逆γ補正部と線形伸張部の処理を説明する説明図である。
【図7】各処理段階における色成分値域を模式的に示す図である。
【符号の説明】
10…PC、13a…eRGB画像データ、13b…sRGB画像データ、13c…eRGB画像データ、14a…YCbCr画像データ、20…プリンタ、25…デジタルスチルカメラ、40…画像処理プログラム、41…画像データ取得部、42…YCbCr/RGB変換部、43…色成分値圧縮部、43a…線形圧縮部、43b…γ補正部、44…画像処理部、45…色成分値伸張部、45a…逆γ補正部、45b…線形伸張部、46…印刷処理部
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【0002】
【従来の技術】
表示装置においてある表色系を利用して画像データの色を表現する際に、各色成分値には所定の色成分値域が存在し、この表示装置における各色成分のダイナミックレンジはこの色成分値域の最小値および最大値における表示装置の出力色によって規定される。他の表色系についてもコンピュータで扱う際には各色成分毎に色成分値域が存在し、各成分の色成分値域の最小値および最大値によってその表色系で表現可能な色が決まる。
【0003】
一方、他の表色系で表現される色と表示装置で使用される表色系で表現される色とは相互に変換して対応づけることができるが、各表色系を変換した際に必ずしも一方の表色系の色成分値域内の値が他の表色系の色成分値域内の値と一致するとは限らない。従って、表示装置にて画像を表示するために上記他の表色系で表現された色を表示装置での表色系に変換すると上記表示装置で扱う画像データの色成分値域外の値になることもある。このとき、表示装置で扱う画像データの色成分値域外の値を総て切り捨ててしまうと、第1の表色系では存在していた一部の色が存在しなくってしまう。そこで、色成分値を圧縮し、表示装置で扱う画像データの色成分値域内に含まれるようにする工夫もなされている。(例えば、特許文献1参照。)
【0004】
【特許文献1】
特願2002−6289号公報
【0005】
【発明が解決しようとする課題】
上述した従来の技術においては、色が変動することによって画像処理時に処理操作者に違和感を与えるという問題があった。すなわち、異なる表色系での変換後に色成分値域を調整するために単に線形圧縮を行うのみでは、特定の色成分値で表現される色を含めて圧縮前後で色が変わってしまう。具体的には、各表色系での色成分値域の最大値同士の差と色成分値域の最小値同士の差とが一般的には異なっており、線形圧縮前後で色成分値の相互関係がずれることになる。明度の中央時など、特定の色を含めて総ての色が変わってしまうと圧縮により元の画像より明るくあるいは暗くなっていたり、元の画像の彩度や色相が変わってしまうなどして画像処理を行う上で不都合が生じる。
本発明は、上記課題にかんがみてなされたもので、色変換による調整によって画像の印象が変動することを抑えることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【0006】
【課題を解決するための手段および発明の効果】
上記目的を達成するため、本発明では画像データにおける色成分値の圧縮あるいは伸張に際して、特定の色成分値は変動させず、他の色成分値を圧縮あるいは伸張して表示装置で扱う画像データの色成分値域を調整している。すなわち、特定の色成分値を維持しながら第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮すれば、圧縮した画像データに基づいて画像処理を行う際に不都合を生じさせないようにすることができる。より具体的には、画像処理に当たり、通常は画像データに基づく画像を表示装置に表示するが、特定の色成分値を維持することなく圧縮すれば画像の明度や彩度、色相等の色彩値が元の第1画像データと比較して変動し、大きな色彩値の変動は表示画像を視認する利用者に違和感を与える。
【0007】
すなわち、圧縮により元の画像より明るくあるいは暗くなっていたり、元の画像の彩度や色相が変わっていると、画像処理を実施する以前に利用者が違和感を感じ、画像処理をすべきか否かの判断にも影響を与えてしまう。そこで、特定の色成分値を維持すれば、少なくとも当該特定の色成分値で表現される色については圧縮前後で色の変動はないし、その周囲の色についても色の変動を抑えることができ、利用者に違和感を与えないようにすることができる。特定の色成分値として上記表示装置で表現可能な明度の中央値を採用すれば、多くの画像において圧縮によって画像全体の明るさが変動することを抑えることができる。上記表示装置で表現可能な明度の中央値としては、明度値域の略中央を与える色成分値であれば良く、各色成分値域の中央値等を採用することができる。
【0008】
むろん、特定の色成分値としては上記明度の中央値に限定されることはなく、他にも種々の値を採用することができる。例えば、画像毎に異なる色成分値を採用することもでき、各画素の色成分値が偏っている場合に画像のヒストグラムを計測し、当該ヒストグラムの中央値、最頻値、正規分布としてフィッティングした場合の分布平均値等を維持する構成としても良い。この構成を採用すれば、夕焼けの画像や夜景など明るさに偏りのある画像であっても明るさが変動することを抑えることができる。
【0009】
本発明においては、画像処理を行う際に上記表示装置で画像を扱えるように上記圧縮を行っているので、画像処理を行った後にそのデータを再度第2画像データや第1画像データに戻したい場合もある。このためには、上記特定の色成分値として採用する値が分かるようにしておけばよい。例えば、各画像データのヘッダ等、事後的に参照できるようにこの値を書き込んでおけば、圧縮後の画像データ,第1画像データ,第2画像データのいずれの段階であっても相互に変換することができる。
【0010】
ここで、第1画像データは上記表示装置の第2の表色系とは異なる第1の表色系の各色成分値によって色を表現したデータであれば良く、種々の表色系を採用可能である。例えば、JPEGフォーマットで使用されるYCbCr(Yは輝度成分、Cbは青色差成分、Crは赤色差成分)表色系を採用可能である。第2の表色系としてsRGBを採用した場合、公知のマトリクス変換によってYCbCrデータをsRGBデータに変換可能であり、RGBの各値が負の値になったり255以上になったりする。従って、sRGBデータを表示装置で利用するためには上述の圧縮が必要になる。むろん、YCbCrの他にもXYZ表色系,Lab表色系、CMYK表色系等、種々の表色系を採用可能である。
【0011】
第2の表色系としても表示装置で使用される表色系であれば良く、上記RGB表色系を採用可能であるが、むろん、他の表色系、例えば、XYZ表色系,Lab表色系、CMYK表色系等であっても良い。本発明では、少なくとも第1の表色系と第2の表色系とが異なり、相互に色変換可能であって色変換後に第2画像データが表示装置で利用される階調値域外のデータをとり得る状況であればよい。
【0012】
画像処理手段においては、圧縮後の画像データに対して指示通りの画像処理を実行することができればよい。画像処理としては、種々のものが採用であるが、上述の圧縮によって色成分値を元の値から変更した状態で画像処理を行うため、画像内の赤目除去処理、画像解像度の変更等、画像データの大きな変更を伴わない簡易的な画像処理であることが好ましい。むろん、他にもコントラスト変更やエッジ検出、アンシャープマスキング等種々の画像処理に適用することは可能である。
【0013】
色成分値圧縮手段においては、特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮することができれば良く、種々の手法によって圧縮を行うことができる。例えば、上記第2の表色系の各色成分値に所定の最大値と最小値を規定することによって当該最大値より大きな色成分値および当該最小値より小さな色成分値を除外する。これにより、第2の表色系で色成分値を有する色であって、有意な色を示す値のみを抽出することができる。
【0014】
すなわち、第2の表色系で値を有するとしても総ての色成分値が有意であるとは限らない。例えば、画像を印刷装置で印刷することを想定すると、一般に印刷装置の色域が表示装置の色域より広い部位(例えば、高彩度のシアンや緑)が存在し、圧縮を行わずに表示装置の階調値域以外を切り捨てるとこの部位の色を利用できないが、逆に過大な色成分値であると印刷装置の色域を超えてしまい、色の情報として意味を持たない。そこで、画像データの使用目的や使用対象に応じて有意な色を示す値のみを抽出するのが好ましい。
【0015】
このように有意な色を示す色成分値のみを抽出する場合に、上記所定の最大値と最小値とが上記表示装置の色成分値域から同じ値だけ離れているとは限らない。すなわち、所定の最大値と最小値との中央の値は表示装置の色成分値域の中央の値と一致しないことが多い。このとき、単に線形圧縮を行うと第2画像データの色成分値であって、表示装置の色成分値域の中央の値に相当する値が大きな値あるいは小さな値となって画像全体の明度のバランスが変化する。そこで、最大値を上記表示装置で扱う各色成分の値域の最大値に変換し上記最小値を上記表示装置で扱う各色成分の値域の最小値に変換するとともに上記特定の色成分値を維持することにより、画像の色のバランスを極力損なうことなく圧縮を行うことができる。
【0016】
このように、特定の色成分値を維持するとともに他の色成分値を圧縮する具体的手法としては種々の手法を採用可能である。例えば、入出力関係を規定するトーンカーブにおいて第2画像データの色成分値を入力とし、出力値を圧縮後の画像データとすればよい。トーンカーブとしてS字カーブを採用し、S字カーブの変曲点で入出力値が同値かつ上記特定の色成分値になるように構成すればS字カーブのみで圧縮を行うことができる。
【0017】
むろん、変曲点を持たないγカーブ等を利用しても良い。この場合、一定の圧縮率で均等に色成分値を圧縮する線形圧縮処理と組み合わせることにより上記特定の色成分値を維持することができる。すなわち、線形圧縮処理を行って特定の色成分値が圧縮前後で変動したとしても、その後γカーブによる変換を行って元の特定の色成分値に合致させることができる。また、γカーブによる処理を行って特定の色成分値が圧縮前後で変動したとしても、その後線形圧縮を行って元の特定の色成分値に合致させることができる。
【0018】
前者においては、線形圧縮後にγカーブによる変換を行うので、線形圧縮を行う仕組みが既に備えられている装置、プログラムに対してγカーブによる変換を実現する仕組みを付加するのみで本発明を実現することができる。後者においては、線形圧縮の前にγカーブによる変更を行うので、第2画像データの色成分値をどのように変更するのか、全体の傾向が直感的に分かりやすく、画質を低下させないような圧縮処理を容易に実現することができる。
【0019】
上述の説明は、主に圧縮変換前後で特定の色成分値を維持する発明についての説明であるが、むろん、逆に伸張変換前後で特定の色成分値を維持する構成も可能である。すなわち、第2の表色系で色が表現された画像であって表示装置で使用する色成分値域の画像データを使用して画像処理を行い、この画像データを伸張して第2画像データとする際に適用することができる。この第2画像データをさらに第1画像データに変換することにより、画像処理対象の画像を第1表色系の第1画像データに変換することができる。
【0020】
このように第1の表色系の第1画像データを生成すると、当該第1画像データでは上記表示装置の色成分値域内で表現できる色域より外に位置する色を表現することができる。従って、表示装置によって画像処理を行いつつもこの表示装置の色域の制限を受けず第1の表色系で表現可能な色を有効に利用することができ、高彩度の色等を利用して画像の色調を豊かにすることができる。この構成は、特に上記請求項1〜請求項4にかかる発明と組み合わせて利用すると好ましい。
【0021】
すなわち、第1画像データを第2画像データに変換した後に圧縮し圧縮した状態で画像処理を行った場合には、画像処理後のデータを伸張し伸張後のデータを第1表色系に変換すれば、表示装置において違和感を与えない画像を表示しながら画像処理を行い、処理後の画像について表示装置より豊かな色調表現が可能な第1画像データにすることができる。
【0022】
より具体的には、画素の色をYCbCr表色系で表現した画像について画像処理を行うに当たり、まず、この画像を示す第1画像データをRGB表色系の第2画像データに変換して表示装置で扱える表色系とする。さらに、表示装置で画像を表示できるように当該表示装置で扱える色成分値域に圧縮する。ここでさらにγカーブによる変換を実施して、線形圧縮前に上記表示装置で扱う各色成分値域の中央値に相当していた色成分値が当該中央値に戻す。従って、これらの処理後の画像を表示装置で表示したときには画像全体の明るさが大きくずれることはないが、表示装置の色成分値域より広い所定値域内に存在する色成分値の情報を含む状態で画像処理を行うことができる。
【0023】
画像処理を行った後には、この逆処理、すなわち、逆γカーブによる補正と線形伸張を行って第2画像データを生成し、さらに元の第1画像データに戻す。従って、表示装置を利用して画像処理を行いつつも、表示装置の色域外の色をも含む画像処理後第1画像データを得ることができる。YCbCr表色系を採用する第1画像データとしてはJPEGフォーマット等があるが、このJPEGフォーマットの画像データについて本発明を適用すれば、表示装置の色域に影響を受けない汎用的な画像データを提供することができる。
【0024】
ところで、上述した画像処理装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。また、上述した画像処理の手法は、所定の手順に従って処理を進めていくうえで、その根底にはその手順に発明が存在するということは当然である。したがって、本発明は方法としても適用可能であり、請求項7,請求項8にかかる発明においても、基本的には同様の作用となる。
【0025】
本発明を実施しようとする際に、画像処理装置にて所定のプログラムを実行させる場合もある。そこで、そのプログラムとしても本発明を実施可能であり、請求項9,請求項10にかかる発明においても、基本的には同様の作用となる。むろん、請求項2〜請求項4,請求項6に記載された構成を上記方法やプログラムに対応させることも可能である。また、いかなる記憶媒体もプログラムを提供するために使用可能である。例えば、磁気記録媒体や光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一部がソフトウェアであって、一部がハードウェアで実現される場合においても本発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む形態のものも含まれる。さらに、一次複製品、二次複製品などの複製段階については全く問う余地なく同等である。
【0026】
【発明の実施の形態】
以下、下記の順序に従って本発明の実施形態を説明する。
(1)画像処理装置の構成:
(2)画像処理プログラムの構成および処理:
(3)圧縮処理および伸張処理の動作:
(4)他の実施形態:
【0027】
(1)画像処理装置の構成:
図1は、本発明の第一の実施形態にかかる画像処理装置の概略構成を示している。PC10は演算処理の中枢をなすCPU11を備えており、このCPU11はシステムバス10aを介してPC10全体の制御を行う。同システムバス10aには、ROM12、RAM13、ハードディスクドライブ14やCD−ROMドライブ15、入力インターフェイス(入力I/F)16、CRTインターフェイス(CRTI/F)17、MCI/F18、プリンタインターフェイス(プリンタI/F)19等が接続されている。
【0028】
本実施形態のPC10はいわゆるデスクトップ型PCであり、構成を簡略化して説明している。むろん、PC10にはコンピュータとして一般的な構成を有するものを採用することができ、ノート型であるとか、モバイル対応のものであってもよい。また、画像処理装置に適用可能なコンピュータは、PCに限定されるものではないし、複数のコンピュータによる分散処理を行う構成であっても良い。
【0029】
ハードディスクドライブ14には、ソフトウェアとしてオペレーティングシステム(OS)や画像処理および印刷を行うための画像処理プログラム等が格納されており、これらのソフトウェアは、実行時にCPU11によって適宜RAM13に転送される。そして、CPU11は、RAM13を一時的なワークエリアとして適宜アクセスしながら種々のプログラムを実行することになる。
【0030】
入力I/F16には、キーボード16aやマウス16bが操作用入力機器として接続される。また、CRTI/F17には、表示用のディスプレイ17aが接続されている。さらに、プリンタI/F19には、パラレルI/Fケーブルを介してプリンタ20が接続されている。むろん、プリンタ20との接続I/FはパラレルI/Fに限られる必要もなく、シリアルI/FやSCSI、USB接続など種々の接続態様を採用可能であるし、今後開発されるいかなる接続態様であっても同様である。
【0031】
MCI/F18は、EEPROM等によって構成されたメモリカードMCのスロットを備えており、CPU11は当該メモリカードMCがスロットに装着された状態でシステムバス10aを介して当該メモリカードMC内に記憶されたデータを読み出すことができる。メモリカードMCはデジタルスチルカメラ25等の画像機器に対しても挿入可能であり、デジタルスチルカメラ25の撮像画像を示す画像データ等を書き込むことができる。従って、メモリカードMCを介して画像データをPC10内に取り込むことができる。
【0032】
本実施形態においてメモリカードMCに記録される画像データはJPEGフォーマットの画像データをベースとしたExifフォーマットの画像データであり、各画素の色はYCbCr表色系で記述されている。従って、Exifフォーマットのデータに記述されたYCbCr画像データが上記第1画像データに該当する。尚、本実施形態においてはYCbCr画像データをPC10内に取り込むことができれば良く、むろん、メモリカードMCを介してYCbCr画像データを転送することが必須というわけではない。例えば、IEEE1394規格準拠のケーブルやUSBケーブル等のケーブルを介してYCbCr画像データを転送しても良いし、ブルートゥース(ブルートゥースSIGインコーポレイテッドの登録商標)等の無線通信によってYCbCr画像データを転送しても良い。
【0033】
尚、本発明の画像処理プログラムを記憶したハードディスクドライブ14は画像処理プログラムを記録した媒体となるが、画像処理プログラムを格納可能な記録媒体はハードディスクに限定されるものではない。例えば、CD−ROMやフレキシブルディスクであってもよい。これらの記録媒体に記録されたソフトウェアはCD−ROMドライブ15や図示しないフレキシブルディスクドライブを介して読み込まれ、ハードディスクドライブ14にインストールされて、CPU11によってRAM13上に読み込まれて各種処理が実行されることになる。また、記録媒体は、これらに限定されず、光磁気ディスクや半導体デバイスである不揮発性メモリなどであってもよい。さらに、インターネット網等のネットワークを介してサーバに接続し、種々のプログラムを格納したサーバにアクセスして本画像処理プログラムをダウンロードすることも可能である。
【0034】
本実施形態で使用するプリンタ20は、インクジェットプリンタであり、カラー印刷時に、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)、の計4色の色インクを使用することができる。むろん、ライトシアン(lc)やライトマゼンタ(lm)を使用して6色にすることもできるし、さらにダークイエロー(DY)を加えて7色にすることもできる。また、複数色のカラートナーを使用するレーザープリンタを使用することもできる。いずれにしても、PC10ではプリンタ20にて解釈可能な印刷データを作成し、プリンタI/F19を介して出力する。プリンタ20では当該印刷データに基づいて画像を構成する各画素についてインクを記録することによって画像を印刷する。
【0035】
PC10では、以上のハードウェアを基礎としてバイオスが実行され、その上層にてOSと各種プログラムとが実行される。基本的には、OSがバイオスを介してハードウェアとアクセスするかあるいは直接ハードウェアとアクセスし、各種プログラムはOSを介してハードウェアとデータなどのやりとりを行う。OSにはハードウェアを制御するための後述する各種ドライバ類が組み込まれ、OSと連携して各種の制御を実行する。このドライバ類は、CRTI/F17でのデータ授受を制御するディスプレイドライバ(DSPDRV)30、入力I/F16でのデータ授受を制御する入力装置ドライバ31、プリンタI/F19でのデータ授受を制御するプリンタドライバ32等である。
【0036】
(2)画像処理プログラムの構成および処理:
本実施形態においては上記各種プログラムの一つとして画像処理プログラムが実行可能にインストールしてあり、図2は当該画像処理プログラムの概略構成を模式的に示している。画像処理プログラム40は、画像データ取得部41とYCbCr/RGB変換部42と色成分値圧縮部43と画像処理部44と色成分値伸張部45と印刷処理部46とを備えており、各部の処理によって画像処理および画像の印刷処理を実施する。すなわち、上記メモリカードMCからYCbCr画像データを取得して表示装置たるディスプレイ17aに画像を表示しつつ画像処理指示に従った画像処理を行い、画像処理後の画像を示すYCbCr画像データを保存する。また、画像処理後の画像の印刷を実行する。
【0037】
画像処理プログラム40では、図3に示すフローに従って印刷を行う。YCbCr画像データが記録されたメモリカードMCを上記図示しないメモリスロットに装着した状態で画像処理プログラム40を起動すると、画像データ取得部41は、ハードディスクドライブ14に記録されたYCbCr画像データを取得する(ステップS100)。当該YCbCr画像データは上記メモリカードMCに記録されているExifフォーマットの画像部分のデータであり、図4に示す構造を有している。尚、Exifフォーマットの仕様は、電子情報技術産業協会(JEITA)によって定められている。
【0038】
同図は、Exifフォーマットの概略的な内部構造を示す説明図である。このExifフォーマットにおいてはJPEGフォーマットの画像データを格納するJPEG画像データ格納領域100と、当該JPEG画像データに関する各種付属情報を格納する付属情報格納領域110とを備えている。付属情報格納領域110には、撮影時色空間(本実施形態ではYCbCrを示す情報)、撮影日時、露出、シャッター速度等といったJPEG画像の撮影条件に関する撮影時情報およびJPEG画像のサムネイル画像データがTIFF形式にて格納されている。
【0039】
付属情報は画像データがメモリカードMCに書き込まれる際に自動的に付属情報格納領域110に格納される。本実施例では、付属情報格納領域110には、PC10において自動で印刷する場合の画像処理等を制御するための画像処理制御情報を格納する画像処理制御情報格納領域120が備えられている。同画像処理制御情報には本発明にかかる処理を行うか否かを示す情報、すなわち、sRGB色空間の色成分値域を超える色成分値を圧縮するか否かを示す情報も含まれている。
【0040】
YCbCr/RGB変換部42は、画像データの表色系をYCbCrとRGBとで相互に変換するモジュールであり、上記画像データ取得部41がYCbCr画像データを取得すると、まず上記付属情報格納領域110の画像処理制御情報を参照し、取得したデータがPrint Image Matching(PIM:PIMはセイコーエプソン株式会社の登録商標)あるいはExif Print(Exifは電子情報技術産業協会の登録商標)に対応しているか否かを判別する(ステップS105)。すなわち、本実施形態では上記PIMあるいはExif Printに対応していることが、sRGB色空間の色成分値域を超える色成分値を圧縮することを示している。
【0041】
尚、上記PIMあるいはExif Printはデジタルスチルカメラの撮影条件等をExifデータに記録することによって撮影された写真になるべく近い状態で印刷したり、ディスプレイ17aの色域より広い色域を利用して印刷をしたりする際に使用される規格である。いずれにしても、上記PIMあるいはExif Printに対応しているとその画像データに対して本発明を適用することができる。
【0042】
そこで、ステップS105の判別により、YCbCr画像データの元となるExifフォーマットのデータが、上記PIMあるいはExif Printに対応しているとされたときには、YCbCr表色系をRGB表色系に変換し、RAM13にeRGB画像データ13aとして記録する(ステップS110)。ここで、表色系の変換は例えば以下の式によって実施される。
Y=0.299*R+0.587*G+0.114*B
Cb=−0.172*R−0.339*G+0.511*B
Cr=0.511*R−0.428*G−0.083*B
R=Y+1.371*Cr
G=Y−0.336*Cb−0.698*Cr
B=Y+1.732*Cb
ここで、YCbCrの各色成分値の値域は0〜255である。ステップS110における変換ではこの式の逆変換を利用しているが、YCbCr表色系からRGB表色系への変換において、RGBの各色成分値は0〜255の範囲内になるとは限らない。
【0043】
一方、sRGB規格では各色成分値の値域は0〜255である。そこで、本明細書では、RGB表色系ではあるが0〜255の値域外のデータをも含む画像データをeRGB画像データと呼ぶ。尚、本実施形態においてはこのeRGB画像データ13aが上記第2画像データに該当する。色成分値圧縮部43は、sRGB規格での色成分値の中央値”128”を変換前後で維持しながらeRGB画像データ13aの各色成分値が0〜255の値域内になるようにRGB各色成分値を圧縮するモジュールであり、線形圧縮部43aとγ補正部43bとを備えている。
【0044】
色成分値圧縮部43はこの圧縮処理のため、まず上記eRGB画像データ13aの各色成分値から有意な色成分値のみを抽出する。すなわち、eRGB画像データ13aでの各色成分値域は非常に広く、”−200”や”400”といった値もとり得るが、プリンタ20にて印刷を実行する意味ではその色域外の色を採用しても意味がない。そこで、ディスプレイ17aの色域外であるがプリンタ20の色域内の色を加味するため、プリンタ20の色域外となる色は予め切り捨てており、本実施形態においては、各色成分値を”−70〜365”とする(ステップS115)。尚、色成分値を切り捨てると行ってもその色成分値を有する画素に色がなくなるわけではないので、”−70”より小さな色成分値を総て”−70”とみなし、”365”より大きな階調値を総て”365”とみなしたり、マッピングする等、具体的には種々の切り捨てを採用可能である。
【0045】
線形圧縮部43aはこの切り捨てがなされた各色成分値を線形圧縮し、γ補正部43bはこの線形圧縮後の各色成分値にγ補正を施してsRGB画像データを生成する。図5は、線形圧縮部43aとγ補正部43bとによる処理を説明する説明図である。線形圧縮部43aは上記eRGB画像データ13aの各色成分値における”−70”を”0”、”365”を”255”に該当させつつ”−70〜365”の色成分値が”0〜255”に相当するように線形変換する(ステップS120)。具体的には、図5の上部に示すグラフのような入出力関数によって変換を行っている。
【0046】
同グラフでは、入力値を横軸,出力値を縦軸として入出力の対応関係を示しており、入出力の対応関係が直線になることから線形圧縮と呼んでいる。同グラフの例では、入力値”−70”のとき出力値が”0”,となり入力値”365”のとき出力値が”255”となる。また、入力値”128”のとき出力値が”116”となる。sRGB規格における色成分値”128”は、色成分値域の中央値であり、上記YCbCr表色系とRGB表色系との変換式から分かるようにRGBの各色成分値に”128”を代入すると明度成分値Yの値も”128”となり、この値は明度成分の中央値である。従って、eRGB画像データ13aにおいても各色成分値の”128”は各色成分値の中間的な明度を示すはずである。
【0047】
しかし、上述の線形圧縮においては、入力値”128”が出力値”116”となっており、明度が低下することになる。従って、この線形圧縮後の画像データに基づいて画像をディスプレイ17a上に表示すると、画像は本来の明るさより全体的に暗く見えてしまう。そこで、本実施形態においてはγ補正部43bによって線形圧縮後の色成分値”116”が再び色成分値”128”に戻るように補正を行っている。図5の下部に示すグラフはこのγ補正における入出力の対応関係を示しており、入力値を横軸,出力値を縦軸として示している。尚、同グラフに示す破線は入力値と出力値とが等値の関係を示している。
【0048】
γ補正での入出力対応関係は同グラフに示す上に凸の曲線に相当する。すなわち、入力値をそれより大きな値に変換しており、入力値”116”が出力値”128”に相当する。従って、eRGB画像データ13aでの色成分値”128”はγ補正を経て再び色成分値”128”に戻される。さらに、同グラフに示すように入力値”0”に出力値”0”が対応し、入力値”255”に出力値”255”が対応する。従って、上記線形圧縮によって”0〜255”の値域とされた色成分値はこの色成分値域内に変換される。そこで、本実施形態においてはγ補正後の画像データをsRGB画像データとしており、γ補正部43bは変換後の画像データをsRGB画像データ13bとしてRAM13に記録する(ステップS125)。
【0049】
本実施形態における画像処理はこのsRGB画像データ13bに基づいて行われる。すなわち、このsRGB画像データ13bがsRGB規格による画像であるとしてディスプレイ17a上に画像を表示し、画像処理指示に従ってsRGB画像データ13bを修正する。この処理は画像処理部44が担っており、同画像処理部44は、まずDSPDRV30を制御してRAM13に記録されたsRGB画像データ13bに基づく画像をディスプレイ17a上に表示させる(ステップS130)。そして、同ディスプレイ17a上に図示しないUIを表示させつつ入力装置DRV31を制御してキーボード16aやマウス16bによる操作入力処理を受け付ける。
【0050】
本実施形態における画像処理としては、画像内の赤目除去処理、画像解像度の変更等、画像データの大きな変更を伴わない簡易的な画像処理が用意されており、利用者はディスプレイ17aを視認しつつこれらの画像処理を行うよう指示することができる。画像処理部44がこの指示を受け付けると、その指示通りの画像処理を行う(ステップS135)。すなわち、赤目として指定された部位を黒色に置換したり、補間処理によって画素数を増減させるなどの処理を行う。この画像処理結果は逐次sRGB画像データ13bに反映され、sRGB画像データ13bは画像処理後の画像を示すことになる。
【0051】
尚、本実施形態においては、元のYCbCr表色系に含み、sRGB表色系では表現できない色の情報をsRGB画像データ13b内に含ませつつ画像処理を行っているので、画像処理としては画像データにおける色成分値を大きく変動させない簡易的な画像処理であることが好ましいが、むろん、エッジ強調等、他の画像処理を行う構成を採用しても良い。
【0052】
本実施形態では、さらにこの画像処理後のsRGB画像データ13bについて表色系を再びYCbCr表色系に戻している。すなわち、sRGB画像データ13bにはsRGB表色系で表現できない色の情報を含んでいるといっても階調値域が”0〜255”であれば、sRGB表色系で表現不可能な色がどの色であるのか一義的に明らかではないし、他の画像機器で利用する場合に汎用的に用いることができない。そこで、色成分値伸張部45によって上記色成分値圧縮部43での処理の逆処理を行っている。
【0053】
具体的には、色成分値伸張部45は逆γ補正部45aと線形伸張部45bとを備えており、逆γ補正部45aにて図6の上部に示すグラフのような入出力関数によって変換を行っている(ステップS140)。すなわち、逆γ補正での入出力対応関係は同グラフに示す下に凸の曲線に相当し、入力値をそれより小さな値に変換するとともに入力値”128”を出力値”116”に変換する。また、同グラフに示すように入力値”0”を出力値”0”に変換し、入力値”255”を出力値”255”に変換する。尚、同グラフに示す破線は入力値と出力値とが等値の関係を示しており、入力値を横軸,出力値を縦軸として示している。
【0054】
逆γ補正部45aは、上記sRGB画像データ13bを取得し、図6の上部に示す逆γ補正曲線によって変換を行い、各色成分値の値は変更しつつも値域を”0〜255”に維持する。線形伸張部45bでは、逆γ補正部45aによる補正後の画像データに対して図6の下部に示すグラフのような入出力関数によって変換を行っている(ステップS145)。すなわち、入力値”0”のとき出力値が”−70”,となり、入力値”255”のとき出力値が”365”となり、入力値”116”のとき出力値が”128”となる直線によって、階調値域の拡張および明度中央値の変換を行っている。変換後の画像データはeRGB画像データ13cとしてRAM13に記録される。
【0055】
この結果、画像処理後のsRGB画像データ13bの色成分値域が上記eRGB画像データ13aと同じ色成分値域に拡張される。また、明度の中央値が色成分値”128”になる。従って、eRGB画像データ13cの表色系をYCbCr表色系に変換すれば、ディスプレイ17aの色域より広い領域の色について有意な情報を含む形でYCbCr画像データを得ることができる。そこで、上記YCbCr/RGB変換部42はRAM13に記録されたeRGB画像データ13cを取得し、表色系をYCbCr表色系に変換して画像処理後のYCbCr画像データを生成し(ステップS150)、YCbCr画像データ14aとしてハードディスクドライブ14に保存する(ステップS155)。
【0056】
以上のように、本実施形態における画像処理プログラム40によれば、YCbCr表色系において有意なデータを維持しつつsRGB規格に準拠した画像データによってディスプレイ17aに画像を表示して画像処理を行うことができ、さらに、画像処理後の画像を示すYCbCr画像データを得ることができる。本実施形態では、上述のように付属情報格納領域110に上記PIMあるいはExif Printに対応していることを示す情報が格納されているExifフォーマットのデータに対して以上の処理を適用することができる。
【0057】
一方、本実施形態では付属情報格納領域110に上記PIMあるいはExif Printに対応していることを示す情報が格納されていない場合の画像処理も担保している。すなわち、上記ステップS105にてExifフォーマットの画像データが上記PIMあるいはExif Printに対応していると判別されないときには、ステップS160以降の処理を行う。まず、YCbCr/RGB変換部42が画像データの表色系をYCbCr表色系からsRGB表色系に変換する(ステップS160)。このとき、RGBの各色成分値域を”0〜255”としてこの値域外の色成分値を切り捨てる。これにより得られたRGB各色成分値をsRGB画像データの色成分値としてRAM13に記録する。従って、この段階で画像データによって表現される色はディスプレイ17aの色域内の色に限られる。
【0058】
次に、同画像処理部44がDSPDRV30を制御してRAM13に記録されたsRGB画像データに基づく画像をディスプレイ17a上に表示させる(ステップS165)。そして、同ディスプレイ17a上に図示しないUIを表示させつつ入力装置DRV31を制御してキーボード16aやマウス16bによる操作入力処理を受け付ける。この指示としては上述の画像処理と同様の指示を行うことができ、画像処理部44がこの指示を受け付けるとその指示通りの画像処理を行う(ステップS170)。この画像処理結果は逐次sRGB画像データに反映される。
【0059】
さらに、YCbCr/RGB変換部42はRAM13に記録されたこのsRGB画像データを取得し、表色系をYCbCr表色系に変換して画像処理後のYCbCr画像データを生成する。(ステップS175)。そして、YCbCr画像データ14aとしてハードディスクドライブ14に保存する(ステップS155)。尚、このとき、後の使用に備えて上記付属情報格納領域110を含むExifフォーマットのデータとしても良い。このように、上記Exifフォーマットの画像データが上記PIMあるいはExif Printに対応していない場合であっても、ディスプレイ17a上に画像を表示して画像処理を行い、得られた結果を反映したYCbCr画像データを取得することができる。
【0060】
印刷処理部46は、以上のようにして生成されたYCbCr画像データに基づいてその画像を印刷するための制御を行う。すなわち、上記ハードディスクドライブ14に保存されたYCbCr画像データを取得して印刷媒体に対する割付や印刷媒体の選択等を行って、これらを指示する情報とともにYCbCr画像データをPRTDRV32に出力する。PRTDRV32においては、YCbCr画像データをインク色に対応したCMYKやCMYKlclm画像データに変換する。ここで、YCbCr画像データには、ディスプレイ17aの色域外であるがプリンタ20の色域内の色を含んでいるので、この色を含めた画像データに変換する。
【0061】
そして、この画像データに対してハーフトーン処理を施し、プリンタ20における各画素でのインク記録率を示すハーフトーンデータを取得する。これらのハーフトーンデータはプリンタ20で使用される順番に並べ替えられ、プリンタ20に出力される。この結果、プリンタ20では上記画像処理後のYCbCr画像データ14aに基づく画像を印刷することができる。この画像は、ディスプレイ17aの色域外の色を含むため、高彩度の色を含み非常に階調豊かな画像であるし、上記赤目除去等のなされた画像である。また、PRTDRV32における色変換時には、上記付属情報格納領域110の情報を参照し、画像の撮影時の状況をできるだけ再現するように画像処理を行って印刷を行っても良い。この画像処理を行うに際しては、ディスプレイ17aの色域に限定されず、それよりプリンタ20の方が広い色域となっている部位の色をも使用することができるので、画像処理の自由度がより広くなり、好ましい。
【0062】
(3)圧縮処理および伸張処理の動作:
次に、以上の構成における圧縮処理および伸張処理の一連の動作を説明する。図7は、各処理段階における色成分値域を模式的に示す図である。同図最上段にはeRGB画像データ13aの色成分値域を示している。同図に示すようにeRGB画像データ13aにおいては、YCbCr表色系をRGB表色系に変換して得られた各色成分値の大小の端を切り捨てており、値域は”−70〜365”となっている。このeRGB画像データ13aに対して線形圧縮部43aが線形圧縮を行うと、色成分値域が”0〜255”になる。
【0063】
図7の上から2段目にはこの線形圧縮後のRGB色成分値の値域を模式的に示している。このとき、上記色成分値”128”は”116”に変換されるので、この線形圧縮後の画像データが示す画像をディスプレイ17aに表示すると、元のYCbCr画像データが示す画像本来の色より全体として暗くなった画像が表示される。そこで、γ補正部43bはこの線形圧縮後の画像データに対して上に凸の曲線に相当する入出力関係の変換を行い、色成分値”116”が”128”に変換されるようにしつつ入力値が大きな出力値になるよう変換する。この画像データがsRGB画像データ13bとしてRAM13に記録される。図7の上から3段目にはこのγ補正後のRGB色成分値の値域を模式的に示している。
【0064】
画像処理部44はこのsRGB画像データ13bに基づいてディスプレイ17a上に画像を表示させ、画像処理の指示を受け付けて画像処理を実施する。このとき、sRGB画像データ13bの各色成分値のいずれかが変動するが色成分値域は変動しない。逆γ補正部45aは、この画像処理後のsRGB画像データ13bに対してて下に凸の曲線に相当する入出力関係の変換を行い、色成分値”128”が”116”に変換されるようにしつつ入力値が小さな出力値になるよう変換する。図7の下から2段目にはこの逆γ補正後のRGB色成分値の値域を模式的に示している。
【0065】
線形伸張部45bはこの逆γ補正後のRGB色成分値に対して線形伸張を行い、値域を再び”−70〜365”とする。このとき、色成分値”116”は”128”となる。以上のように、線形圧縮,γ補正,逆γ補正,線形伸張によって、sRGB規格の色成分値域外の値を含むeRGB画像データ13aを一旦sRGB画像データ13bとし、ディスプレイ17a上に表示して画像処理を行い、画像処理後の画像データをsRGB規格の色成分値域外の値を含むeRGB画像データ13cとすることができる。このとき、線形圧縮とγ補正の組み合わせによって明度の中央値を示す”128”は、eRGB画像データ13aとsRGB画像データ13bとで維持されるので、画像処理に際して画像の明るさが変動せず、利用者に違和感を与えずに画像処理を実施させることができる。
【0066】
(4)他の実施形態:
上記実施形態は本発明にかかる画像処理装置、画像処理方法および画像処理プログラムを実現する一例であり、むろん他の構成を採用することも可能である。例えば、上記色成分値圧縮部43や色成分値伸張部45の構成は上記構成に限られない。色成分値圧縮部43では第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮することができればよい。そこで、線形圧縮の後にγ補正を行う構成と異なる構成として、γ補正の後に線形圧縮を行う構成を採用しても良い。
【0067】
この場合、γ補正によって色成分値”128”がそれより大きい値αに変換され、線形圧縮によって値αが色成分値”128”に戻るようにγ補正の曲線を調整する。このように先にγ補正を実施する構成によれば、”−70〜365”の全色成分値域の変化度合を予め調整することができる。同様に、色成分値伸張部45においても線形伸張を行った後に逆γ補正を実施する構成にすることが可能である。この場合、線形伸張で色成分値”128”がそれより小さい値βに変換され、その後の逆γ補正によって値βが色成分値”128”に戻るようにする。むろん、色成分値圧縮部43と色成分値伸張部45とのいずれか一方において処理の順番を上記図3と異なるようにすることもできる。
【0068】
さらに、線形変換とγ変換との組み合わせにすることが必須というわけではない。例えば、上記入出力の対応関係を示す曲線としてS字カーブを採用することもできる。S字カーブはある特定の点に変曲点を有する曲線であり、入出力値が”128”の点を変曲点とし、eRGB画像データの色成分値域の最大値および最小値をsRGB画像データの最大値および最小値に対応させる曲線であればよい。この構成によれば、2段階の変換を経ずに一回の変換でeRGB画像データとsRGB画像データとを相互に変換することができる。
【0069】
さらに、上記実施形態ではYCbCr画像データを取得してsRGB画像データとして画像処理を行い、再びYCbCr画像データに戻していたが、本発明の適用対象はこの一連の処理を行う装置に限られない。例えば、画像処理を行うためにYCbCr画像データからsRGB規格の色域外の色を含む状態のsRGB画像データを生成して画像処理を行う構成としても発明を利用しているし、sRGB画像データについて画像処理を行った後に、本発明にかかる伸張処理を行ってsRGB規格の色域外の色を含むYCbCr画像データを生成する構成であっても発明を利用していると言える。
【0070】
さらに、上記実施形態では、プリンタ20が接続されたPC10にて画像処理プログラムを実行可能に構成することによって発明を実現していたが、むろん、プリンタ20単体で画像処理プログラムを実行可能に構成しても良い。例えば、プリンタ20に液晶表示装置を搭載し、デジタルスチルカメラ25からメモリカードMCや無線通信を介してYCbCr画像データを取得する構成とする。そして、プリンタ20内に画像処理プログラム40を実行可能なプログラム実行環境を構築する。かかる構成によれば、液晶表示装置を搭載したプリンタ20にて画像の明るさについて違和感を与えない状況で画像処理を行い、また、その画像処理後の画像を印刷することができる。
【図面の簡単な説明】
【図1】画像処理装置の概略構成図である。
【図2】画像処理プログラムの概略構成図である。
【図3】画像処理プログラムのフローチャートである。
【図4】Exifフォーマットのデータ構造を示す図である。
【図5】線形圧縮部とγ補正部の処理を説明する説明図である。
【図6】逆γ補正部と線形伸張部の処理を説明する説明図である。
【図7】各処理段階における色成分値域を模式的に示す図である。
【符号の説明】
10…PC、13a…eRGB画像データ、13b…sRGB画像データ、13c…eRGB画像データ、14a…YCbCr画像データ、20…プリンタ、25…デジタルスチルカメラ、40…画像処理プログラム、41…画像データ取得部、42…YCbCr/RGB変換部、43…色成分値圧縮部、43a…線形圧縮部、43b…γ補正部、44…画像処理部、45…色成分値伸張部、45a…逆γ補正部、45b…線形伸張部、46…印刷処理部
Claims (10)
- ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データを取得する第1画像データ取得手段と、
同第1画像データを変換して所定の表示装置で使用される第2の表色系で各画素の色を表現した第2画像データにする画像データ変換手段と、
同第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮する色成分値圧縮手段と、
同圧縮後の画像データが示す画像を上記表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、上記圧縮後の画像データに対して指示にかかる画像処理を実施する画像処理手段とを備えることを特徴とする画像処理装置。 - 上記特定の色成分値は、上記表示装置で表現可能な明度の中央値であることを特徴とする上記請求項1に記載の画像処理装置。
- 上記色成分値圧縮手段は、上記第2の表色系の各色成分値に所定の最大値と最小値を規定することによって当該最大値より大きな色成分値および当該最小値より小さな色成分値を除外し、上記最大値を上記表示装置で扱う各色成分の値域の最大値に変換し上記最小値を上記表示装置で扱う各色成分の値域の最小値に変換するとともに上記特定の色成分値を維持するよう変換処理を行うことを特徴とすることを特徴とする上記請求項1または請求項2のいずれかに記載の画像処理装置。
- 上記色成分値圧縮手段は、圧縮前後の色成分値の関係を規定したトーンカーブによる変換処理と一定の圧縮率で均等に色成分値を圧縮する線形圧縮処理との組み合わせによって圧縮を行うことを特徴とする上記請求項1〜請求項3のいずれかに記載の画像処理装置。
- ドットマトリクス状の画素で構成される画像について各画素の色を所定の表示装置で使用される第2の表色系で表現するとともに各色成分値の値域が予め決められた画像データを取得する画像データ取得手段と、
同画像データが示す画像を所定の表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、当該画像データに対して指示にかかる画像処理を実施する画像処理手段と、
同画像処理後の画像データにおける特定の色成分値を変換前後で維持しながら当該画像データの各色成分値を伸張し、伸張後の色成分値域を上記表示装置で扱う各色成分の値域より大きな値域とした第2画像データとする色成分値伸張手段と、
当該第2画像データを取得し、ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データに変換する第1画像データ生成手段とを備えることを特徴とする画像処理装置。 - ドットマトリクス状の画素で構成される画像について各画素の色をYCbCr表色系で表現した第1画像データを取得する第1画像データ取得手段と、
同第1画像データを変換して所定の表示装置で使用されるRGB表色系で各画素の色を表現した第2画像データにする画像データ変換手段と、
同第2画像データで所定値域内に存在する色成分値を上記表示装置で扱う各色成分値の値域内に線形圧縮し、当該線形圧縮前に上記表示装置で扱う各色成分値域の中央値に相当していた色成分値が当該中央値に戻るようにしながら上記線形圧縮後の色成分値にγカーブによる変換を施す色成分値圧縮手段と、
色成分値圧縮手段によって生成された画像データが示す画像を上記表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、上記圧縮後の画像データに対して指示にかかる画像処理を実施する画像処理手段と
同画像処理後の画像データに対して上記γカーブと逆の逆γカーブによる変換を施し、上記線形圧縮と逆の線形伸張を施して画像処理後の第2画像データとする色成分値伸張手段と、
当該画像処理後の第2画像データを取得し、各画素の色をYCbCr表色系で表現した画像処理後の第1画像データに変換する画像処理後第1画像データ生成手段とを備えることを特徴とする画像処理装置。 - ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データを取得する第1画像データ取得工程と、
同第1画像データを変換して所定の表示装置で使用される第2の表色系で各画素の色を表現した第2画像データにする画像データ変換工程と、
同第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮する色成分値圧縮工程と、
同圧縮後の画像データが示す画像を上記表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、上記圧縮後の画像データに対して指示にかかる画像処理を実施する画像処理工程とを備えることを特徴とする画像処理方法。 - ドットマトリクス状の画素で構成される画像について各画素の色を所定の表示装置で使用される第2の表色系で表現するとともに各色成分値の値域が予め決められた画像データを取得する画像データ取得工程と、
同画像データが示す画像を所定の表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、当該画像データに対して指示にかかる画像処理を実施する画像処理工程と、
同画像処理後の画像データにおける特定の色成分値を変換前後で維持しながら当該画像データの各色成分値を伸張し、伸張後の色成分値域を上記表示装置で扱う各色成分の値域より大きな値域とした第2画像データとする色成分値伸張工程と、
当該第2画像データを取得し、ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データに変換する第1画像データ生成工程とを備えることを特徴とする画像処理方法。 - ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データを取得する第1画像データ取得機能と、
同第1画像データを変換して所定の表示装置で使用される第2の表色系で各画素の色を表現した第2画像データにする画像データ変換機能と、
同第2画像データにおける特定の色成分値を変換前後で維持しながら当該第2画像データの各色成分値が上記表示装置で扱う各色成分の値域内になるよう各色成分値を圧縮する色成分値圧縮機能と、
同圧縮後の画像データが示す画像を上記表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、上記圧縮後の画像データに対して指示にかかる画像処理を実施する画像処理機能とをコンピュータに実現させることを特徴とする画像処理プログラム。 - ドットマトリクス状の画素で構成される画像について各画素の色を所定の表示装置で使用される第2の表色系で表現するとともに各色成分値の値域が予め決められた画像データを取得する画像データ取得機能と、
同画像データが示す画像を所定の表示装置に表示するとともに所定の入力装置を介して画像処理の指示を受け付け、当該画像データに対して指示にかかる画像処理を実施する画像処理機能と、
同画像処理後の画像データにおける特定の色成分値を変換前後で維持しながら当該画像データの各色成分値を伸張し、伸張後の色成分値域を上記表示装置で扱う各色成分の値域より大きな値域とした第2画像データとする色成分値伸張機能と、
当該第2画像データを取得し、ドットマトリクス状の画素で構成される画像について各画素の色を第1の表色系で表現した第1画像データに変換する第1画像データ生成機能とをコンピュータに実現させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003086008A JP2004295410A (ja) | 2003-03-26 | 2003-03-26 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003086008A JP2004295410A (ja) | 2003-03-26 | 2003-03-26 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004295410A true JP2004295410A (ja) | 2004-10-21 |
Family
ID=33400781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003086008A Pending JP2004295410A (ja) | 2003-03-26 | 2003-03-26 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004295410A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007147692A (ja) * | 2005-11-24 | 2007-06-14 | Sony Corp | 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体 |
JP2008099239A (ja) * | 2006-09-12 | 2008-04-24 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
CN102054424A (zh) * | 2009-10-29 | 2011-05-11 | 佳能株式会社 | 图像处理装置及图像处理方法 |
-
2003
- 2003-03-26 JP JP2003086008A patent/JP2004295410A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007147692A (ja) * | 2005-11-24 | 2007-06-14 | Sony Corp | 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体 |
JP4613805B2 (ja) * | 2005-11-24 | 2011-01-19 | ソニー株式会社 | 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体 |
JP2008099239A (ja) * | 2006-09-12 | 2008-04-24 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
CN102054424A (zh) * | 2009-10-29 | 2011-05-11 | 佳能株式会社 | 图像处理装置及图像处理方法 |
CN102054424B (zh) * | 2009-10-29 | 2014-05-07 | 佳能株式会社 | 图像处理装置及图像处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4217398B2 (ja) | 画像データ処理方法、画像データ処理装置、記憶媒体、及びプログラム | |
JP4065482B2 (ja) | 画像データ処理方法、装置、記憶媒体、及びプログラム | |
JP4725057B2 (ja) | 画質調整情報の生成および画質調整情報を用いた画質調整 | |
JP5300595B2 (ja) | 画像処理装置及び方法、及びコンピュータプログラム | |
US20110150333A1 (en) | Image reproduction using a particular color space | |
JP2004341889A (ja) | 画像の明度補正処理 | |
JP2005318523A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP2005295508A (ja) | カラー画像のモノクローム画像化 | |
JP4687673B2 (ja) | カラー画像のモノトーン化処理 | |
US7450753B2 (en) | Color balance adjustment conducted considering color reproducibility of specific color | |
US20080062484A1 (en) | Image processing device and image processing method | |
CN110661931A (zh) | 图像处理设备、图像处理方法和介质 | |
US20100226565A1 (en) | Image reproduction using a particular color space | |
US20050068587A1 (en) | Monotone conversion process for color images | |
JP2004080737A (ja) | 撮像装置、撮像方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP2004295410A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP7431596B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4359730B2 (ja) | モノトーン変換装置、モノトーン変換方法およびモノトーン変換プログラムを記録した媒体 | |
JP2004222078A (ja) | 画像処理装置、画像処理方法、およびそのプログラム | |
JP3900871B2 (ja) | 画像ファイル生成装置および画像データ出力装置 | |
JP4455261B2 (ja) | 画像処理方法、画像処理装置および画像形成システム | |
JP2004234251A (ja) | 画像形成装置 | |
JP4375223B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2004112547A (ja) | 画像処理装置、方法、および記録媒体 | |
JP2006019830A (ja) | 画像処理方法および画像処理装置 |