JP2009152868A - 画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】 標本のカラー画像（実画像）における僅かな色差を明確にする。
【解決手段】 カラー画像の各画素のＲＧＢデータをＨＳＩ変換し、カラー画像の各画素から、少なくとも彩度（Ｓ）を含む色情報を求める情報取得手段と、カラー画像の各画素の彩度（Ｓ）を所定量シフトすることで、各画素の色情報を変換する第１の変換手段と、を備えたことを特徴とする。例えば情報取得手段は、カラー画像の各画素から、彩度（Ｓ）の他に、色相（Ｈ）及び輝度（Ｉ）を色情報として取得し、第１の変換手段は、色相軸と彩度軸と輝度軸とからなる色空間座標系において、各画素の色相（Ｈ）、彩度（Ｓ）及び輝度（Ｉ）を記すことで得られる色相分布の中心が輝度軸に向けて移動するように、各画素の輝度をシフトする。
【選択図】 図８

Description

本発明は、カラー画像を処理する画像処理装置および画像処理プログラムに関する。

ヒトを含む動物における様々な疾患を正確に診断するためには病理組織・細胞診断が欠かせない。その中でも血液・骨髄を構成する細胞の種類・数・形態に関する情報は多くの疾患の診断において必須なため、血液や骨髄から細胞を採取し、標本を作製し、顕微鏡を用いて専門技術者が細胞の形態や色調の差異を観察し、個々の細胞の種類や異常を判定している。このような作業（顕微鏡を直接覗いて専門技術者が自らの経験に則って手作業で判定すること）は世界中の病院の検査室においてルーチンに行われている。

例えば、血液中の好酸球数の測定はアレルギー疾患の診断に重要な情報を与える。花粉症や喘息の患者では血中の好酸球数が増加している。その診断のため、患者から血液を採取し、スライドグラス上に塗末し、固定し、ギムザ染色した標本を、専門技術者が顕微鏡の倍率を1000倍（液浸）にして観察する。そして好酸球顆粒の存在を手がかりに診断する（参考文献：検査と技術,増刊号,28巻,7号,2000年,医学書院,スタンダード検査血液学,日本検査血液学会編,医歯薬出版株式会社,2003年第１版）。

一方、最近のデジタル技術の発展により、顕微鏡画像の各要素がデジタル化され、画像をスクリーンなどへ直接投影するばかりではなく、ソフトウェアを用いて様々に加工することが可能になっている。これまでの専門技術者の経験による判定作業が、誰にでも識別できる方法により一般化されると、その作業に掛かっていた時間・費用を大幅に削減することが可能になる。

そこで、染色された標本のカラー画像を取り込み、この画像に基づいて標本の病理診断が行われている。画像に現れた標本像の形態の差異によって、個々の細胞種を同定することが一般的である（例えば非特許文献１を参照）。また、標本像の形態の差異による診断ではなく、標本のカラー画像の各画素の値を所定の色空間にプロットし、この色空間の中で各画素の値が占める領域（サブボリューム）に基づいて細胞種ごとの色差を区別し、個々の細胞種を同定することも提案されている（例えば特許文献１を参照）。
Clim.Lab.Heam 2003,25,139-147,「Differential counting of blood leukocytes using automated microscopy and a decision support system based on artificial neural networks - evaluation of DiffMaster Octavia」 特表２００３−５０６７９６号公報

しかし、色空間におけるサブボリュームに基づいて細胞種ごとの色差を区別する方法は間接的な方法である。近年では、標本のカラー画像（実画像）において細胞種ごとの色差を直接的に区別し、色差による診断を行うことが望まれるようになってきた。ところが、実画像における細胞種ごとの色差は極僅かであり、その色差を実画像上で明確に区別することはできない。

本発明の目的は、標本のカラー画像（実画像）における僅かな色差を明確にすることができるようにした画像処理装置および画像処理プログラムを提供することにある。

上述した課題を解決するために、第１の発明における画像処理装置は、カラー画像の各画素のＲＧＢデータをＨＳＩ変換し、前記カラー画像の各画素から、少なくとも彩度（Ｓ）を含む色情報を求める情報取得手段と、前記カラー画像の各画素の彩度（Ｓ）を所定量シフトすることで、各画素の色情報を変換する第１の変換手段と、を備えたことを特徴とする。

また、第２の発明は、第１の発明において、前記情報取得手段は、前記カラー画像の各画素から、前記彩度（Ｓ）の他に、色相（Ｈ）及び輝度（Ｉ）を前記色情報として取得し、前記第１の変換手段は、色相軸と彩度軸と輝度軸とからなる色空間座標系において、前記各画素の色相（Ｈ）、彩度（Ｓ）及び輝度（Ｉ）を記すことで得られる色相分布の中心が前記輝度軸に向けて移動するように、各画素の輝度をシフトすることを特徴とする。

また、第３の発明は、第２の発明において、前記第１の変換手段によって所定量シフトされた各画素の色相の最頻値を検出する検出手段と、前記予め定めた２つの色相の境界値と前記最頻値との差に応じて、前記カラー画像の各画素の色相を変更することで、各画素の色情報を変換する第２の変換手段とを備えたことを特徴とする。

また、第４の発明は、１〜３の発明のいずれかにおいて、前記情報取得手段は、ネガポジ反転後のカラー画像を用いて、前記各画素の色情報を求めることを特徴とする。

また、第５の発明は、第１〜４の発明のいずれかにおいて、前記カラー画像は、好酸球を撮影した画像であることを特徴とする。

また、第６の発明の画像処理プログラムは、カラー画像の各画素のＲＧＢデータをＨＳＩ変換し、前記カラー画像の各画素から、少なくとも彩度（Ｓ）を含む色情報を求める処理手順と、前記カラー画像の各画素の彩度（Ｓ）を所定量シフトすることで、各画素の色情報を変換する処理手順と、をコンピュータに実行させるものである。

本発明の画像処理装置および画像処理プログラムによれば、標本のカラー画像（実画像）における僅かな色差を明確化することができる。

図１は、検査装置１０の構成を示す機能ブロック図である。検査装置１０は、標本２０の病理診断に用いられる。標本２０は、例えばギムザ染色された血球標本であり、図２に示すような複数の細胞２１〜２４を含む。

検査装置１０には、デジタルカメラなどの撮像装置１１と、画像処理装置１２と、入力装置１３と、表示装置１４とが設けられる。この検査装置１０において、撮像装置１１は、標本２０の撮影を行い、画像処理装置１２に標本２０のカラー画像（ＲＧＢ画像）を出力する。

画像処理装置１２は、標本２０のカラー画像を取り込み、カラー画像を処理する。処理の際には、必要に応じて、入力装置１３からのユーザ指示を参照する。また、必要に応じて、処理中または処理後のカラー画像を表示装置１４に出力する。

画像処理装置１２は、例えば画像処理プログラムがインストールされたコンピュータが挙げられる。画像処理プログラムのインストールには、画像処理プログラムが記録された記録媒体（ＣＤ−ＲＯＭなど）を用いれば良い。または、インターネットを介してダウンロード可能な搬送波（画像処理プログラムを含む）を用いても良い。

この画像処理装置１２では、以下の処理（図３に示す処理）が実行される。
１）ネガポジ反転処理（図３におけるブロック３０）
２）ＨＳＩ変換処理（図３におけるブロック３１）
３）彩度のシフト処理（図３におけるブロック３２）
４）色相の変更処理（図３におけるブロック３３）
５）彩度／輝度の変更処理（図３におけるブロック３４）
６）階調変換処理（図３におけるブロック３５）
なお、画像処理装置１２において処理される画像としては、標本２０のカラー画像（ＲＧＢ画像）が挙げられる。
１）ネガポジ反転処理
取り込まれた標本２０のカラー画像をネガポジ反転する処理である。例えば反転前のカラー画像では白色の背景に紫色の細胞２１〜２４が分布し、反転後のカラー画像では黒色の背景（図４中斜線部分）に緑色の細胞２１〜２４が分布する。何れの場合も実画像であるため、細胞種ごとの色差は極僅かである。このため、細胞種ごとの色差を実画像上で明確に区別することは難しい。ネガポジ反転後のカラー画像の模式図を図に示す。図４では、細胞種ごとの色差が極僅かであることを示すため、細胞２１〜２４には同一のハッチングを付してある。
２）ＨＳＩ変換処理
ＨＳＩ変換処理は、ネガポジ反転処理されたカラー画像の各画素の赤緑青(ＲＧＢ)の各色成分に基づいて、各画素の色相(Ｈ：Hue)と彩度(Ｓ：Saturation)と輝度(Ｉ：Intensity)とを、その画素における色情報として求める。

ここで、色情報として取得されたＨＳＩ変換後の各画素の値（色相/彩度/輝度）を所定の色空間にプロットすると、例えば図５の“・”のようになる。図５は、紙面内の周方向を色相軸(Ｈ)、径方向を彩度軸(Ｓ)とし、紙面に垂直な方向を輝度軸(Ｉ)とした色空間を示している。各画素の値（色相/彩度/輝度）のプロット位置は、緑色の領域において、色相軸(Ｈ)方向の中心付近に分布していることが分かる。
３）彩度のシフト処理
ＨＳＩ変換することで取得された各画素の値（色相/彩度/輝度）のうち、彩度の値を所定量シフトさせる処理である。例えば上述した色空間に各画素の値をプロットすると、各画素の色相分布が取得されることから、色相分布の中心（図５に示す△）を求める。そして色相分布の中心が輝度軸に一致するように各画素の彩度の値をシフトさせる。この彩度の値をシフトさせることで、色相、輝度などの値、つまり各画素の色情報を変換する。なお、彩度のシフト処理は、各画素の色相分布の中心が輝度軸に一致するようにシフトさせる必要はなく、各画素の色相が、より多くの色相となるように彩度をシフトさせることも可能である。
４）色相の変更処理
各画素の彩度がシフトされた各画素の色相の変更を行う処理である。この各画素の色相の変更する内容としては、彩度をシフトした後の色相分布において、最も多く分布する色相の最頻値を検出した後、この色相が色空間上での１つの色境界（例えば色境界Ｈ_ＲＹ,Ｈ_ＹＧ,Ｈ_ＧＣ,Ｈ_ＣＢ,Ｈ_ＢＭ,Ｈ_ＭＲのうち何れか１つ）と重なるように、色相を回転させ、画像全体の各画素の色相を変更する。色境界とは予め定めた２つの色相の境界値である。

図６に示すように、最も多く分布する色相が緑となる場合、最頻値はＨ_３０となる。この場合、図７に示すように、赤色の領域と黄色の領域との境界値（つまり色境界Ｈ_ＲＹ）と重なるように色相Ｈ_３０を回転させ、各画素の色相を変更する場合を例示した。この場合、各画素の色相の変更は、色相Ｈ_３０と色境界Ｈ_ＲＹとの差（色相軸(Ｈ)方向の角度差）に応じて行われる。このような色相変更を行うことで、色空間における各画素の色相分布が変換され、各画素のプロット位置が多くの色に分布した状態となる。

色相変更が行われた後、各画素の値（色相/彩度/輝度）に基づいて、各画素の赤緑青(ＲＧＢ)の各色成分を求めると、細胞種ごとの色差の明確なカラー画像（実画像）を生成することができる。
５）彩度／輝度の変更処理
カラー画像（実画像）における色差をさらに明確化するため、彩度／輝度の変更処理を行う。この彩度／輝度の変更処理としては、色空間にプロットされている各画素の値（色相/彩度/輝度）のうち、互いに異なる値を示す複数の注目画素をサンプルとして抽出し、３次元的な色空間において、サンプルとして抽出された注目画素が互いに最も離れるように、各画素の彩度/輝度の変更を行うものである。

具体的には、上述した色空間における複数の注目画素３１〜３４同士の距離（サンプル距離）を算出し、各画素の色相のパラメータを一定に保って彩度/輝度のパラメータを変更しながら同様の計算を繰り返す。そして、サンプル距離が最大になる彩度/輝度のパラメータを見つけると、このパラメータを使って画像全体の各画素の彩度および輝度を変更する。
６）階調変換処理
階調変換処理は、例えば彩度／輝度が変更された注目画素の値（色相/彩度/輝度）を赤緑青(ＲＧＢ)の各色成分に変換し、変換された赤緑青(ＲＧＢ)の各色成分に対してガンマテーブル変換を行う処理である。つまり、予め定めたガンマ値の階調変換カーブに対応する階調変換テーブルのデータを読み出し、このテーブルを使って赤緑青(ＲＧＢ)の各色成分の階調を変換する。注目画素間の距離が広がるほど、実画像における色差が大きくなることから、注目画素が互いに最も離れるガンマ値を求め、該ガンマ値の階調変換テーブルを使って、各画素の赤緑青(ＲＧＢ)の各色成分の階調を変換する。そして、この階調変換処理が実行された標本２０のカラー画像（実画像）が、最終結果として表示装置１４に出力される。

次に、画像処理の流れを、図８に示すフローチャートに基づいて説明する。

ステップＳ１は、標本２０のカラー画像を取り込む、つまり画像の入力処理である。このステップＳ１における画像の入力処理が終了するとステップＳ２〜Ｓ９に示す画像処理が実行される。

ステップＳ２は、入力されたカラー画像のネガポジを反転する処理である。この処理が入力されたカラー画像に対して実行されると、ステップＳ３に進む。

ステップＳ３は、ＨＳＩ変換処理である。このＨＳＩ処理によって、ネガポジ変換されたカラー画像のＲＧＢの各色成分が、ＨＳＩの各成分に変換される。

ステップＳ４は、ＨＳＩ変換されたカラー画像の各画素の色情報（色相、彩度及び輝度）を用いて、上述した色空間座標に各画素をプロットする。カラー画像の全画素を色空間にプロットすることで、全画素に対する色相分布が得られる。この色相分布から中心位置を求め、中心位置が輝度軸に一致するように、各画素の彩度をシフトさせる。

例えば、図５に示すように、各画素を色空間にプロットした場合に、すべての画素が緑の範囲内に分布されている場合、その色相分布の中心位置は、印△で示す位置となる。この中心位置を輝度軸に一致させるように（図６中矢印方向に）、各画素の彩度をシフトさせることで、緑の領域に分布していた全画素が、緑の領域だけでなく、他の色相の領域に分布される(図６参照)。このステップＳ４が終了すると、色相の変更処理（ステップＳ５、Ｓ６）へと進む。

ステップＳ５は、色相の最頻値を求める処理である。ステップＳ４の処理を行うことによって、例えば各色の領域に分布した全画素の色相分布のうち、最も多くプロットされている領域の色相を、色相の最頻値として検出する。図６の場合、緑の領域に最も多くの画素が分布していることから、この場合には、色相の最頻値として、例えばＨ_３０を検出する。この色相の最頻値の検出が実行された後、ステップＳ６に進む。

ステップＳ６は、色相を回転させる処理である。ステップＳ５において、色相の最頻値はＨ_３０として検出されていることから、この色相の最頻値Ｈ_３０が、例えば色境界Ｈ_ＲＹに一致するように回転させる（図７参照）。この色相の最頻値Ｈ_３０を回転させることによって、各画素の色相が変更される。

ステップＳ６の処理が終了すると、ステップＳ７に進み、サンプルの抽出（注目画素の抽出）が自動的に、或いは、ユーザの選択によって実行される。

ステップＳ８は、彩度／輝度の変更処理である。このステップＳ８では、３次元的な色空間において、サンプルとして抽出された注目画素が互いに最も離れるように、各画素の彩度/輝度の変更を行う。

ステップＳ９は、階調変換処理である。この階調変換処理では、例えば彩度／輝度が変更された注目画素の値（色相/彩度/輝度）を赤緑青(ＲＧＢ)の各色成分に変換し、変換された赤緑青(ＲＧＢ)の各色成分に対してガンマテーブル変換を行う。そして、注目画素間の距離が最も離れるガンマ値を求め、該ガンマ値の階調変換テーブルを用いて、各画素の各色（Ｒ，Ｇ，Ｂ）成分の階調を変換する。

ステップＳ１０は、階調変換されたカラー画像を出力する処理である。なお、このステップＳ１０が実行されることで、例えば階調変換されたカラー画像が表示装置１４に出力される。なお、この表示装置１４に出力されるカラー画像は、細胞に対する色差が明確化されたカラー画像となる。

本実施形態の画像処理装置１２を用いることによって、画像全体の各画素の彩度を変更することによって色相も変更されることから、標本２０のカラー画像（実画像）における僅かな色差を明確化することができる。

したがって、入力時には略同色だった血球細胞が種類ごとに色分けされ、標本２０のカラー画像（実画像）において細胞種ごとの色差を直接的に区別できるようになり、色差による標本２０の診断（個々の細胞種の同定）が可能となる。

色差による診断は、細胞の形態の差異による診断と比較して判断基準が分かりやすい。このため、細胞の形態に関する特別な知識のない人でも簡単に、その診断を行うことができる。さらに、細胞の形態の差異による診断と比較して、診断に掛かる時間を短縮でき、診断する人の技量や経験の差による結果のバラツキを低減することもできる。また、コンピュータによる自動判断への応用も簡単に行える。

さらに、細胞の形態の差異による診断では標本像の拡大倍率を例えば1000倍（接眼10倍×対物100倍）程度にするため、対物レンズ(不図示)と標本２０との間を液浸（油浸）状態にする必要があり、標本２０のカラー画像の取り込みに手間と時間が掛かっていた。しかし、本実施形態では色差による診断を行うため、細胞の形態に関する細かな情報は必要ない。したがって、標本像の拡大倍率を低くすることができ（例えば400倍程度）、対物レンズと標本２０との間を液浸状態にする必要がなくなる。このため、手軽に素早く標本２０のカラー画像を取り込むことができる。

なお、上述した画像処理装置は、例えば標本２０が、ギムザ染色された好酸球を含む骨髄標本である場合にも用いることが可能である。図９に示すように、撮像装置１１から画像処理装置１２に出力されるカラー画像（実画像）は、骨髄標本からなる標本２０を撮影した画像である。この標本２０を撮影したカラー画像においては、多数の細胞が分布していることがわかる。これら多数の細胞の中には好酸球も存在しているが、好酸球となる細胞は他の細胞と同じような色（例えば赤紫色や青紫色）を示し、細胞種ごとの色差は極僅かである。つまり、細胞４５，４６は好酸球であるが、好酸球となる細胞の色と他の細胞の色とは類似する色（赤紫色や青紫色など）で示されてることから、細胞種ごとの色差をカラー画像上で明確に区別することは難しい。

このような標本２０を撮影することで得られるカラー画像に対して、図８のステップＳ３〜Ｓ９の処理を施すと、上述した多数の細胞の色が細胞種ごとに異なる色に変化する（図１０参照）。例えば好酸球となる細胞４５，４６の細胞質の色は青紫色から緑色に変化し、他の細胞の色は、細胞種ごとに異なる色（例えばピンク色など）に変化する。

これによれば、ギムザ染色された好酸球を含む骨髄標本が病理診断の対象である場合に、上述した画像処理が施された後のカラー画像において、好酸球と他の細胞とを色差によって直接的に区別することができる。このため、細胞種ごとの色差という分かりやすい判断基準で診断を行える。

本実施形態では、各画素における彩度のシフト処理をＨＳＩ変換処理の後に実行しているが、これに限定する必要はなく、例えばＨＳＩ変換処理の前や、色相の変換処理の後に実行することも可能である。

本実施形態では、カラー画像に対してネガポジ変換処理を実行しているが、彩度をシフトすることで、特定の色相に集中している各画素の色相を複数の色相に分散させることができるので、必ずしもカラー画像に対してネガポジ変換処理を実行する必要はない。

本実施形態では、各画素における彩度のシフト処理を実行した後に、色相の変換処理を実行しているが、彩度のシフト処理を実行することで、各画素の色相が、各色相の領域に分散している場合もあることから、色相の変換処理は必ずしも行う必要はない。つまり、標本の観察に関して、細胞の形態に関する細かな情報を必要としていない場合には、彩度のシフト処理を行うだけで、色差による診断を容易に行うことができ、標本像の拡大倍率を高くしなくても、標本の観察、或いはカラー画像を取り込むことができる。

また、上記した実施形態では、画像処理装置１２に入力されるカラー画像がＲＧＢ画像である例を説明したが、本発明はこれに限定されない。そのカラー画像がＹＣｂＣｒ画像である場合にも本発明を適用できる。この場合、ＹＣｂＣｒ画像をＲＧＢ画像に変換した後、図８に示すＳ２〜Ｓ９の処理が実行される。

検査装置１０の構成の概略を示すブロック図である。 標本の一例を示す説明図である。 カラー画像を処理する際のデータ経路の一例を示す図である。 ネガポジ反転後のカラー画像の模式図である。 ＨＳＩ変換後の各画素の値（色相/彩度/輝度）を所定の色空間にプロットして説明する図である。 色空間にプロットした各画素の値のうち、彩度をシフト処理についての説明図である。 彩度をシフトした後の色相Ｈ_３０の回転についての説明図である。 本実施形態の画像処理装置１２におけるカラー画像の処理手順を示すフローチャートである。 ギムザ染色された好酸球を含む骨髄標本のカラー画像の一例を示す説明図である。 彩度のシフト処理及び色相変換処理を施した、ギムザ染色された好酸球を含む骨髄標本のカラー画像の一例を示す説明図である。

符号の説明

１０…検査装置、１１…撮像装置、１２…画像処理装置…１３入力装置、１４…表示装置、２０…標本、２１〜２４，４５，４６…細胞

Claims (6)

1. カラー画像の各画素のＲＧＢデータをＨＳＩ変換し、前記カラー画像の各画素から、少なくとも彩度（Ｓ）を含む色情報を求める情報取得手段と、
   前記カラー画像の各画素の彩度（Ｓ）を所定量シフトすることで、各画素の色情報を変換する第１の変換手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記情報取得手段は、前記カラー画像の各画素から、前記彩度（Ｓ）の他に、色相（Ｈ）及び輝度（Ｉ）を前記色情報として取得し、
   前記第１の変換手段は、色相軸と彩度軸と輝度軸とからなる色空間座標系において、前記各画素の色相（Ｈ）、彩度（Ｓ）及び輝度（Ｉ）を記すことで得られる色相分布の中心が前記輝度軸に向けて移動するように、各画素の輝度をシフトする
   ことを特徴とする画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記第１の変換手段によって所定量シフトされた各画素の色相の最頻値を検出する検出手段と、
   前記予め定めた２つの色相の境界値と前記最頻値との差に応じて、前記カラー画像の各画素の色相を変更することで、各画素の色情報を変換する第２の変換手段とを備えたことを特徴とする画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置において、
   前記情報取得手段は、ネガポジ反転後のカラー画像を用いて、前記各画素の色情報を求めることを特徴とする画像処理装置。
5. 請求項１〜４のいずれか１項に記載の画像処理装置において、
   前記カラー画像は、好酸球を撮影した画像であることを特徴とする画像処理装置。
6. カラー画像の各画素のＲＧＢデータをＨＳＩ変換し、前記カラー画像の各画素から、少なくとも彩度（Ｓ）を含む色情報を求める処理手順と、
   前記カラー画像の各画素の彩度（Ｓ）を所定量シフトすることで、各画素の色情報を変換する処理手順と、をコンピュータに実行させるための画像処理プログラム。