JP2015169991A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】診断への影響を抑えながら、自動で注目部位間の識別性を高めた画像をユーザーに提示するための技術を提供する。
【解決手段】画像処理装置が、標本を撮像して得られた標本画像のデータを取得する画像取得手段と、前記標本画像において識別すべき複数の注目色を特定するための標本情報を取得する標本情報取得手段と、前記標本情報に基づいて基準白色を決定する基準白色決定手段と、前記標本画像の基準白色を前記基準白色決定手段により決定された基準白色へと変更する処理を、前記標本画像のデータに対して施すことにより、色変更後標本画像のデータを生成する色変更手段と、を有する。所定の観察用色空間における前記複数の注目色の色相の差の絶対値が、色変更前の前記標本画像に比べて前記色変更後標本画像の方が大きくなるように、前記標本画像の色変更に用いる基準白色を決定する。
【選択図】図６

Description

本発明は標本画像に対する色変更方法に関する。

従来から病理検査では、病理医が染色した標本を光学顕微鏡で観察することによって診断を行っていた。近年はその代替として、標本画像のデジタル化によって、ディスプレイ上での画像診断を可能とするホールスライドイメージングシステム（以下ＷＳＩシステムと呼ぶ）が注目されている。ＷＳＩシステムによって取得した標本全体のデジタル画像に対して、診断支援用の画像処理を加えることができる。また、遠隔診断の迅速化、デジタル画像を用いた患者への説明、希少症例の共有化、教育・実習の効率化等の様々なメリットを得られると期待されている。

特開２０１０−０７９５２２号公報 特開２０１０−１８１８３３号公報 特開２０００−２６１８２５号公報

病理画像診断において、病理医からは、診断に重要な複数種類の注目部位間の識別性を高くした画像提示の要望がある。識別性を高める方法の一つとして、画像の色を変更する幾つかの方法がある。
特許文献１では、画像の注目領域内の色について、色空間上での色相角を広げることで注目部位間の識別性を高めている。しかし、この方法では部位間の色のバランスが崩れるため、提示された画像に現れている特徴が標本由来のものか画像処理によるアーチファクトなのか区別が難しく、診断に影響を与える可能性がある。
特許文献２では、分光画像を用い、注目部位に特徴的な波長特性を持つ部分を抽出することで注目部位の識別性を高めている。本手法では分光画像を用いるため、画像取得に高価な撮像機材が必要である。また、特許文献１同様、部位間の色のバランスが崩れるために、診断に影響を与える可能性がある。

特許文献３では、ユーザー指定の色温度に画像を変換し、好みの色温度画像で観察する事が提案されている。画像の色温度を変更する処理であれば、画像の色バランスは保たれる。しかし、色温度をどのように設定すれば注目部位の識別性が良くなるかは不明なため、ユーザー自身が様々な色温度を指定し、試行錯誤的に最適な色温度を探さなければならない。そのため、この方法を病理画像診断に適用すると、病理医（観察者）の操作負担が大きくなってしまう。しかも、病理医自身に色温度を選択させる方法では、人により最適と感じる色温度がばらつく可能性があり、診断の客観性（誰でも同じ条件で診断すること）が損なわれるおそれがある。よって、この方法をそのまま病理画像診断に適用することはできない。

本発明は上記実情に鑑みなされたものであって、その目的とするところは、診断への影響を抑えながら、自動で注目部位間の識別性を高めた画像をユーザーに提示するための技術を提供することにある。

本発明の第一態様は、標本を撮像して得られた標本画像のデータを取得する画像取得手段と、前記標本画像において識別すべき複数の注目色を特定するための標本情報を取得する標本情報取得手段と、前記標本情報に基づいて基準白色を決定する基準白色決定手段と、前記標本画像の基準白色を前記基準白色決定手段により決定された基準白色へと変更する処理を、前記標本画像のデータに対して施すことにより、色変更後標本画像のデータを生成する色変更手段と、を有し、前記基準白色決定手段は、所定の観察用色空間における前記複数の注目色の色相の差の絶対値が、色変更前の前記標本画像に比べて前記色変更後標本画像の方が大きくなるように、前記標本画像の色変更に用いる基準白色を決定することを特徴とする画像処理装置である。

本発明の第二態様は、画像処理装置の制御方法であって、標本を撮像して得られた標本画像のデータを取得する画像取得ステップと、前記標本画像において識別すべき複数の注目色を特定するための標本情報を取得する標本情報取得ステップと、前記標本情報に基づいて基準白色を決定する基準白色決定ステップと、前記標本画像の基準白色を前記基準白色決定ステップにより決定された基準白色へと変更する処理を、前記標本画像のデータに対して施すことにより、色変更後標本画像のデータを生成する色変更ステップと、を有し、前記基準白色決定ステップでは、所定の観察用色空間における前記複数の注目色の色相の差の絶対値が、色変更前の前記標本画像に比べて前記色変更後標本画像の方が大きくなるように、前記標本画像の色変更に用いる基準白色を決定することを特徴とする画像処理装置の制御方法である。

本発明の第三態様は、本発明に係る画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、診断への影響を抑えながら、自動で注目部位間の識別性を高めた画像をユーザーに提示する事が可能になる。

均等色空間と色の三属性について説明する図。 基準白色変更処理のフローチャート。 ２つの色の色相差導出処理のフローチャート。 本発明の実施形態に係る画像表示システムの構成図。 画像処理装置のハードウェアのブロック図。 画像処理装置の機能ブロック図と基準白色データの例。 第１実施形態に係るＧＵＩの例。 第１実施形態に係る色変更方法のフローチャート。 第２実施形態で用いる標本種・染色種と注目色の対応表の一例。 第２実施形態に係るＬＵＴ作成方法のフローチャート。 第２実施形態に係るＬＵＴの一例と色変更方法のフローチャート。 第３実施形態に係る色頻度ピーク座標値取得方法のフローチャート。 第３実施形態に係るＬＵＴ作成方法のフローチャート。 第３実施形態に係るＬＵＴの一例と色変更方法のフローチャート。

初めに、本発明の実施の形態に共通する用語である「基準白色」、「均等色空間」、「Ｌ＊ａ＊ｂ＊色空間」、「色相差」、「基準白色変更」、「観察用基準白色」、「観察用色空間」および「色の識別性」について説明する。

「基準白色」とは、画像の色バランスの基準となる白色であり、表示モニタの色域内か
ら任意に選択できる。基準白色が異なる画像を観察する際に、観察者の目が対象となる画像の基準白色に順応すれば、各画像は全く同じ画像に見えることが知られている。
「均等色空間」とは、色の差異である色空間上の距離と、人間が知覚する色の差異が良く一致するように考案された色空間である。
「Ｌ＊ａ＊ｂ＊色空間」は均等色空間の一種であり、明るさを示す明度Ｌ＊と、色を示すａ＊、ｂ＊の３次元で表わされる（以降、Ｌ＊，ａ＊，ｂ＊を単にＬ，ａ，ｂと記す）。また、基準白色の色が（Ｌ，ａ，ｂ）＝（１００，０，０）となるように規格化されている。そのため、規格化に用いた基準白色に観察者の目が順応した場合、色空間内の座標値は観察者の感覚値とみなす事ができる。

明るさを示す明度、鮮やかさを示す彩度、色の種類の違いを示す色相の三つは、色を比較する上で重要な指標であり、特に色の三属性と呼ばれている。色空間上の座標値と色の三属性の関係について図１を用いて説明する。
色空間上の点Ｐの座標が（Ｌ，ａ，ｂ）である場合を考える。明度Ｌは点１０２の座標値である。彩度Ｃはａｂ平面上での原点からの距離１０３であり、式１で与えられる。

色相ｈはａｂ平面上で、原点から点Ｐへの直線とａ軸がなす角度１０４であり、式２で与えられる。

「色相差」は色空間内の異なる二つの点の色相の差の絶対値を表す指標であり、色相角度差ともいう。点Ｐと点Ｑのあいだの色相差は、式３によって与えられる。

ただし、ｈ_Ｐとｈ_Ｑはそれぞれ点Ｐの色相１０４と点Ｑの色相１０６である。

「基準白色変更」とは、均等色空間の規格化に使用している基準白色を変更することである。基準白色の変更は画像の色温度変更処理に用いられる。変更後の基準白色に目が順応しない場合には見えが完全には一致しないが、画像診断に対し、大きな影響は与えない。

「観察用基準白色」とは、観察時に観察者が順応する白色である。ｓＲＧＢやＡｄｏｂｅＲＧＢ等の観察用モニタの規格や設定で定義されている基準白色、または環境光がこれに該当する。
「観察用色空間」とは、観察用基準白色を基準白色とした均等色空間である。複数の異なる基準白色で現像した画像を、同一の観察者が比較する際に共通の色空間として用いる。
「色の識別性」とは、観察用色空間において、複数の異なる物体や部位同士を、異なるものとして区別する上での色の効果の事である。色相差が大きいほど識別性が高くなる。

次に本発明の実施形態で共通する「基準白色の変更処理」について図２（ａ）〜図２（ｃ）を用いて説明する。また、「色相差計算処理」について図３を用いて説明する。なお、図２（ａ）〜図２（ｃ）及び図３に示す処理は、後述する画像処理装置によって実行されるものである。

図２（ａ）に示す基準白色の変更処理は、ＲＧＢＬａｂ変換Ｓ２０１と、ＬａｂＲＧＢ変換Ｓ２０２よりなる。
ＲＧＢＬａｂ変換Ｓ２０１では画像のＲＧＢ値を、任意の基準白色に順応時のＬａｂ値に変換する。処理の流れを図２（ｂ）に示す。

ＲＧＢＸＹＺ変換Ｓ２１１では画像のＲＧＢ値をＸＹＺ色空間の三刺激値に変換する。元画像データ現像時の基準白色設定がＤ６５光源色である場合、本変換はｓＲＧＢ規格の変換方法に従い式４で与えられる。

Ｌ_０はモニタの輝度（ｃｄ／ｍ^２）である。ＲＧＢは１〜０に規格化した線形のＲＧＢ値である。画像がＤ６５光源色以外の白色で現像されている場合は、同様のＲＧＢ値とＸＹＺ値の変換マトリクスや近似変換式を事前に求めるか、ルックアップテーブル（今後、ＬＵＴと呼ぶ）を作成し、適用することで変換を行うことができる。

ＸＹＺＬａｂ変換Ｓ２１２では、ＸＹＺ色空間をＬａｂ色空間に変換する。本変換式は式５〜式７で与えられる。

式５〜式７のＸ_ｎ，Ｙ_ｎ，Ｚ_ｎは画像現像時の基準白色のＸＹＺ三刺激値である。

ＬａｂＲＧＢ変換Ｓ２０２では、ＲＧＢＬａｂ変換Ｓ２０１で得たＬａｂ座標値を元に、基準白色変更後画像のＲＧＢ値を求める。処理の流れを図２（ｃ）に示す。
ＬａｂＸＹＺ変換Ｓ２２１では、Ｌａｂ座標値を基準白色変更後のＸＹＺ三刺激値に変換する。ＬａｂＸＹＺ変換Ｓ２２１は、ＸＹＺＬａｂ変換Ｓ２１２の逆変換であり、式５〜式７より最適化を用いてＸＹＺ三刺激値を求める。ＬａｂＸＹＺ変換Ｓ２２１では、Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎの値に、変更後の基準白色の三刺激値を使用する。
ＸＹＺＲＧＢ変換Ｓ２２２では、ＸＹＺ三刺激値をモニタのＲＧＢ値に変換する。ＸＹＺＲＧＢ変換Ｓ２２２は、ＲＧＢＸＹＺ変換Ｓ２１１の逆変換であり、ＸＹＺ値をＲＧＢ値に変換する。ｓＲＧＢの場合は、式８によって与えられる。

以上の工程によって基準白色を変更した画像データを作成することができる。

ＬａｂＸＹＺ変換Ｓ２２１とＸＹＺＲＧＢ変換Ｓ２２２においては、基準白色毎にＬａｂとＸＹＺの変換マトリクス、または近似変換式を事前に求めるか、ＬＵＴを作成することで本変換を行うことも可能である。
また、元のＲＧＢ値と基準白色変更後のＲＧＢ値の関係も同様に、変換マトリクス、近似変換式やＬＵＴを事前に作成することで変換を行うことも可能である。この場合には、図２（ａ）〜図２（ｃ）のような処理を行わずに、元のＲＧＢ値から基準白色変更後のＲＧＢ値を直接求めることが可能であり、処理の簡易化及び高速化を図ることができる。

次に図３に示す色相差計算処理について説明する。
ＲＧＢ値取得Ｓ３０１では画像内の２つの注目部位のＲＧＢ値（注目色と呼ぶ）を取得する。注目部位が領域（複数の画素）で与えられる場合は、領域内の代表値（平均値、最頻値など）を注目色として取得すればよい。
ＲＧＢＬａｂ変換Ｓ３０２では観察用基準白色を用いて、２つの注目部位の各ＲＧＢ値を観察用色空間の座標値に変換する。処理の流れは、図２（ｂ）に示したＲＧＢＬａｂ変換と同じである。観察用基準白色はモニタの基準白色や環境光を用いる。
色相差演算Ｓ３０３では、求まったＬａｂ色座標値より、式３を用いて観察用色空間における２つの注目部位間の色相差を求める。
以上より、観察用色空間における注目部位間の色相差を求めることができる。

後述する実施形態では、標本を撮像して得られた標本画像データに対して、図２（ａ）に示した基準白色変更処理を適用することにより、色温度の異なる、観察用の画像データを作成する。また、観察用の画像データに対し、図３に示した色相差計算処理を適用することにより、観察用色空間における２つの注目部位間の色相差を求めることができる。観察用色空間での色相差が広がるように基準白色を選択することで、注目部位間の識別性の高い画像をユーザーに提示することができる。

［第１実施形態］
本発明の第１実施形態に係る画像処理装置を備える画像表示システムについて、図４を用いて説明する。

画像表示システムは、表示装置４０１、キーボード４０２、マウス４０３、画像処理ユ
ニット４０４、記憶装置４０５、コンピュータ４０６、画像サーバ４０７、撮像装置４０８で構成される。画像処理ユニット４０４と記憶装置４０５はコンピュータ４０６に組み込まれている。表示装置４０１、キーボード４０２、マウス４０３、撮像装置４０８は、コンピュータ４０６と汎用のＩ／Ｆケーブルで接続される。画像サーバ４０７とコンピュータ４０６はＬＡＮで接続されている。

表示装置４０１は、例えば液晶、ＥＬ（Electro-Luminescence）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。当該表示装置４０１には、本実施形態の画像処理ソフトウェアがＧＵＩ（Graphical User Interface）を表示する。ＧＵＩの詳細については後述する。
キーボード４０２、マウス４０３などの入力装置は、ＧＵＩに表示された標本画像に対し注目部位を指定するのに用いる。
画像処理ユニット４０４は、画像処理専用のプロセッサ及びメモリを備えたデバイスであり、後述する基準白色変更処理や色相差計算処理を高速に処理するために用いられる。
記憶装置４０５は、後述するＣＰＵに実行させるＯＳ（Operating System）、画像処理ソフトウェアのプログラムや各種パラメータ、後述する基準白色データなどが、固定的に記憶されている補助記憶装置である。記憶装置４０５としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリなど、どのような方式のストレージを用いてもよい。

画像サーバ４０７は、コンピュータ４０６の外部で画像データの保存や各種処理を行うコンピュータである。
撮像装置４０８は、ＷＳＩやデジタル顕微鏡等であり、病理標本が固定されたスライドを高倍率で撮影し、高解像度のデジタル画像の取得を行うための装置である。撮像装置４０８によって取得された画像データを標本画像データと呼ぶ。

次に画像処理装置のハードウェア構成を、図５のブロック図を用いて説明する。
コンピュータ４０６は、ＣＰＵ（Central Processing Unit）５０１、ＲＡＭ（Random Access Memory）５０２、記憶装置４０５、データ入出力Ｉ／Ｆ５０４、及びこれらを互
いに接続する内部バス５０３を備える。

ＣＰＵ５０１は、必要に応じてＲＡＭ５０２等にアクセスし、各種演算処理を行いながらコンピュータ４０６の各ブロックを統括的に制御する。
ＲＡＭ５０２は、ＣＰＵ５０１の作業用領域等として用いられ、ＯＳ、実行中の各種プログラムや処理の対象となる画像データや基準白色データ等の各種データを一時的に保持する。

データ入出力Ｉ／Ｆ５０４には、画像処理ユニット４０４、ＬＡＮ Ｉ／Ｆ５０５を介して画像サーバ４０７、グラフィクスボード５０６を介して表示装置４０１、外部装置Ｉ／Ｆ５０７を介して撮像装置４０８が接続される。記憶装置４０５に記憶してある基準白色データや画像データは、画像サーバ４０７や撮像装置４０８に記憶していても良い。また、操作Ｉ／Ｆ５０８を介してキーボード４０２やマウス４０３などの入力装置が、データ入出力Ｉ／Ｆ５０４に接続されている。

本実施形態では図５に示す構成をとっているが、例えば、画像サーバ４０７や撮像装置４０８に画像処理ユニット４０４を組み込んでも良い。あるいは、画像処理ユニット４０４の機能の全部又は一部をコンピュータ４０６が代替しても良い。また、表示装置４０１は、外部装置として接続される形態を想定しているが、表示装置と一体化したコンピュータを想定してもよい。例えばノートＰＣがこれに該当する。
入力装置としてキーボード４０２とマウス４０３を例示したが、他にもトラックボール
、タッチパッド、コントローラなどの入力装置を用いることができる。また、表示装置４０１としてタッチパネルディスプレイを用いることで、画面上で入力や操作を行える構成をとることも可能である。

以上の構成において、コンピュータ４０６が画像処理ソフトウェア（プログラム）を実行し、必要なハードウェア資源を制御することで、本発明の実施形態に係る画像処理装置及び画像処理方法が実現される。

本実施形態の画像処理装置の機能構成について、図６（ａ）の機能ブロックを用いて説明する。
画像処理装置は、その機能として、画像取得部６０１、ＧＵＩ部６０２、標本情報取得部６０３、基準白色決定部６０４、基準白色データ６０５、色変更部６０６を有している。画像取得部６０１は、記憶装置４０５、画像サーバ４０７、撮像装置４０８のいずれかから、観察（診断）に用いる標本画像データを取得する機能である。ＧＵＩ部６０２は、画像の表示、注目部位の指定、色変更結果の表示、その他各種パラメータの設定などを行うためのＧＵＩを生成・表示する機能である。標本情報取得部６０３は、標本画像データに関する標本情報を取得する機能である。この標本情報は、標本画像の注目色を特定するための情報であり、変更後の基準白色を決定する処理に利用される。基準白色決定部６０４は、標本画像の観察に適した（つまり、注目部位の識別性の高い）基準白色を決定する機能である。色変更部６０６は、標本画像データに対し、基準白色の変更処理を実施する機能である。

基準白色決定部６０４が参照する基準白色データ６０５の例を図６（ｂ）に示す。基準白色データ６０５は、複数種類の基準白色の値を定義したテーブル（リスト）である。基準白色決定部６０４は基準白色データ６０５のなかから変更する基準白色の候補を選択することができる。基準白色の候補としては、ＣＩＥ（国際照明委員会）が規定する標準光源であるＡ光源、Ｂ光源、Ｃ光源や、Ｄ５５光源、Ｄ６５光源、Ｄ７５光源などを用いることができる。さらに、これらの標準光源だけでなく、ｕｖ色度図において黒体軌跡から偏差０．０３の範囲内から選択される色の座標値であれば、任意に選択できる。本実施形態では基準白色データをＸＹＺ三刺激値で定義しているが、ｘｙ、ｕｖやｕ’ｖ’色度図等の座標値で定義しても良い。

ＧＵＩ部６０２により表示装置４０１に出力されるＧＵＩについて図７を用いて説明する。ＧＵＩはウィンドウ７０１内に表示され、領域７０２にユーザーが選択した基準白色変更前の標本画像７０３が表示される。ユーザーは、領域７０２に表示された標本画像中の任意の位置に注目部位を指定することができる。注目部位の指定は、例えば、キーボード４０２またはマウス４０３によってポインタ７０４を移動し所定のボタンをクリックする操作にて行う。図７では、２つの注目部位７０５と７０６が指定された例を示している。指定された注目部位の位置が分かるように、標本画像７０３の上に注目部位７０５、７０６それぞれのマークが重畳表示されると共に、各注目部位のＲＧＢ値の情報７０７、７０８がウィンドウ７０１内に表示される。注目部位２つを指定後にボタン７０９をポインタ７０４でクリックすると、観察用色空間での注目部位の色相差が拡大するような色変換が行われる。

本実施形態の色変更処理の流れを図８のフローチャートに基づいて説明する。図８に示す処理は、画像処理ソフトウェア（プログラム）をコンピュータ４０６のＣＰＵ５０１又は画像処理ユニット４０４のプロセッサが実行することにより実現されるものである。

ステップＳ８０１では、画像取得部６０１が記憶装置４０５などから標本画像データを取得する。読み込み対象となるデータはユーザーによって指定されるものとする。読み込
まれた標本画像データは、ＧＵＩ部６０２によりＧＵＩウィンドウ７０１上の領域７０２に表示される（図７参照）。ユーザー（例えば病理医や技師）は、表示された標本画像７０３を観察し、病変が疑われる部位や詳細な観察が必要と思われる部位などを、注目部位として指定する。図７に示すように、標本画像７０３に対し２か所の注目部位を指定した後、色変換ボタン７０９を押すと、ステップＳ８０２に進む。

ステップＳ８０２では、標本情報取得部６０３が、標本情報として、ユーザーにより指定された２か所の注目部位のＲＧＢ値（２つの注目色）を取得する。なお、本実施形態では、標本画像７０３の上で指定された点（一画素）のＲＧＢ値を取得するが、ＧＵＩウィンドウ７０１上でユーザーに注目部位の領域（画素群）を指定させ、その領域内のＲＧＢの代表値（平均値、最頻値など）を取得してもよい。

ステップＳ８０３では、基準白色決定部６０４が、記憶装置４０５に記憶された基準白色データ６０５から、候補となる基準白色のＸＹＺ三刺激値を読み込む。このとき、基準白色データ６０５に登録されている全ての基準白色を読み込んでもよいし、処理時間短縮のために一部の基準白色のみに候補を絞り込んでもよい。例えば、元の標本画像データの現像に使われた基準白色と近いものを候補から除外するなど、変更後の基準白色の候補を絞り込む方法はどのようなものでもよい。

次に、基準白色決定部６０４は、ステップＳ８０３で読み込んだ基準白色候補のそれぞれについて、ステップＳ８０４とＳ８０５の処理を実行する。

ステップＳ８０４では、基準白色決定部６０４は、ステップＳ８０２で取得した２か所の注目部位のＲＧＢ値それぞれに対し、基準白色変更後のＲＧＢ値を求める。ステップＳ８０４の処理の内容は、図２（ａ）〜図２（ｃ）で説明した基準白色変更処理と同じである。このとき、ＲＧＢＬａｂ変換Ｓ２０１では、基準白色の三刺激値Ｘｎ，Ｙｎ，Ｚｎとして、標本画像データの現像（ホワイトバランス）に使われた基準白色を用いる。標本画像データの現像に使われた基準白色の情報は、標本画像データのヘッダやメタデータから取得してもよいし、ＧＵＩウィンドウ７０１でユーザーに入力（選択）させて標本情報として取得してもよい。あるいは、標本画像データの現像時の基準白色が固定（既知）の場合には、その三刺激値Ｘｎ，Ｙｎ，Ｚｎを基準白色データ６０５に登録しておいてもよい。一方、ＬａｂＲＧＢ変換Ｓ２０２では、基準白色の三刺激値Ｘｎ，Ｙｎ，Ｚｎとして、基準白色候補の三刺激値を用いる。

ステップＳ８０５では、基準白色決定部６０４は、ステップＳ８０４で計算した基準白色変更後のＲＧＢ値を用いて、２か所の注目部位のあいだの色相差を求める。ステップＳ８０５の処理の内容は、図３に示した色相差計算処理と同じである。なお、図３のＲＧＢＬａｂ変換Ｓ３０２では、基準白色の三刺激値Ｘｎ，Ｙｎ，Ｚｎとして、観察用基準白色の三刺激値を用いる。観察用色空間における色相差（つまり、色変更後の標本画像を実際に表示装置で観察したときの色相の違い）を評価するためである。観察用基準白色の情報は、記憶装置４０５または表示装置４０１から色温度の設定値を読み込むことで得てもよいし、ＧＵＩウィンドウ７０１でユーザーに入力（選択）させてもよい。あるいは、表示装置４０１等に設けられたセンサにより、画像観察時の環境光を測定し、その測定値を基準に観察用色空間を定めてもよい。

全ての基準白色候補について色相差を求めたら、ステップＳ８０６に進む。
ステップＳ８０６では、基準白色決定部６０４が、全ての基準白色候補のうちから、２つの注目部位のあいだの色相差が最も大きくなる基準白色を選択する。以降の処理では選択した基準白色を「最適基準白色」と呼ぶ。

ステップＳ８０７では、色変更部６０６が、標本画像データの全体（全画素）の基準白色を最適基準白色に変更する。ステップＳ８０７の処理の内容は、図２（ａ）〜図２（ｃ）に示した基準白色変更処理と同じである。ただし、ＲＧＢＬａｂ変換Ｓ２０１では、基準白色の三刺激値Ｘｎ，Ｙｎ，Ｚｎとして、標本画像データの現像に使われた基準白色を用い、ＬａｂＲＧＢ変換Ｓ２０２では、基準白色の三刺激値Ｘｎ，Ｙｎ，Ｚｎとして、最適基準白色の三刺激値を用いる。これにより、基準白色を変更した標本画像データ（以降、「色変更後標本画像データ」と呼ぶ）が生成される。

ステップＳ８０８では、色変更部６０６がＧＵＩ部６０２に色変更後標本画像データを送り、色変更後標本画像データに基づく標本画像をＧＵＩウィンドウ７０１の領域７０２に表示する。このとき、色変更前の標本画像の代わりに色変更後の標本画像を表示してもよいし、２つの画像を並べて表示してもよい。

以上述べた本実施形態の画像表示システムによれば、元の画像に比べて注目部位間の識別性を高めた標本画像をユーザーに提示することが可能になる。しかも、注目部位（注目色）を指定する操作だけで、最適な色変更が自動的に決定されるので、ユーザーの操作負担がほとんどなく利便性に優れる。また、基準白色の変更により識別性を高めているので、画像全体の色バランスが維持されるとともに、アーチファクトの発生もほとんどない。それゆえ、診断に影響を与えるリスクを可及的に抑えることができる。

本発明者らの実験では、ＨＥ染色等により赤系の色に染められた標本の画像の場合は、色温度の高い（青味がかった）基準白色ほど注目部位間の色相差が広がることが確認できた。また、ギムザ染色等により青系の色に染められた標本の画像の場合は、色温度の低い（赤味がかった）基準白色ほど注目部位間の色相差が広がることが確認できた。

なお、本実施形態では、２つの注目部位をユーザーに指定させたが、１つ、または、３つ以上の注目部位をユーザーに指定させる方法を採ることもできる。１つの注目部位のみを指定させる方法では、指定された注目部位の色とその周辺部位の色との間の色相差を最大化するように最適基準白色を決定すればよい。また、３つ以上の注目部位をユーザーに指定させる方法では、例えば、全てのペアの色相差の合計値を求め、それを最大化するように最適基準白色を決定すればよい。

［第２実施形態］
本発明の第２実施形態に係る画像処理装置を備える画像表示ステムについて説明する。
第１実施形態では、標本情報としてユーザーに指定された注目部位の色情報を用いたのに対し、第２実施形態では、標本画像データに紐づけられた標本種・染色種を特定できるデータを標本情報として用い、標本種・染色種に応じて最適基準白色を決定する。その結果、ユーザーに注目部位選択の手間をかけさせることなく、注目部位間の識別性が高まった画像を提示する事が可能になる。

画像表示システムの装置構成は第１実施形態の構成と同じであるが、予め「標本種・染色種と注目色の対応表」を記憶装置４０５に保持しておく点が異なる。標本種は、標本の種類（標本を切り出した臓器、病理診断の目的など）を特定する情報であり、染色種は、標本作製時に用いられた染色方法を特定する情報である。標本種・染色種を特定するデータは、標本画像データのヘッダ情報や、標本画像データに対応付けられたメタデータとして与えられる。あるいは、標本画像データのファイル名に標本種・染色種を示すＩＤを埋め込んでもよいし、スライドに標本種・染色種が記録されたラベルが貼付されている場合は標本画像データ内のラベル部分から標本種・染色種を認識してもよい。

病理診断において、標本種・染色種の組み合わせごとに、注目して観察する組織種や核
等の部位はほぼ一意に決まっている。また、標本作成方法と観察環境を特定すれば、標本種・染色種の組み合わせごとに、標本の染まり具合や色も特定できる。

標本種・染色種と注目色の対応表は、標本種・染色種が分かっているサンプル画像から、注目部位のＲＧＢ値を採取することにより統計的に作成することができる。対応表の例を図９に示す。注目色には、標本組織の色だけでなく、標本組織の存在しない背景の色を含めても良い。また、ＲＧＢ値ではなく、基準白色とＸＹＺ三刺激値やＬａｂ座標値等のＲＧＢ値に変換可能な値で、注目色を定義しても良い。

図９の対応表を用いれば、図８のステップＳ８０２の処理を「標本画像データの標本種・染色種に対応する注目色を対応表から取得する処理」に置き換え、第１実施形態と同様に最適基準白色の決定及び色変更後標本画像データの生成が可能である。このような処理でもよいが、本実施形態ではさらに処理を簡単にするため、事前に図９の対応表を基に標本情報（標本種・染色種）と最適基準白色とを対応付けたＬＵＴを作成しておき、そのＬＵＴを用いて色変換処理を行うこととする。

標本種・染色種と最適基準白色を関連付けたＬＵＴの作成方法を図１０に示すフローチャートに基づいて説明する。図１０の処理は画像処理ソフトウェアの一機能であるＬＵＴ作成部（不図示）により実行される。
ステップＳ１００１では、ＬＵＴ作成部が、記憶装置４０５に記憶されていた標本種・染色種と注目色の対応表を読み込む。そして、対応表に記述されている全ての標本種・染色種の組み合わせのそれぞれに対し、以降の処理が行われる。

まずステップＳ１００２では、ＬＵＴ作成部は、読み込んだ対応表より、対象の標本種・染色種に対応付けられた２つの注目色（ＲＧＢ値）を特定する。その後のステップＳ１００３からＳ１００５の処理は、図８のステップＳ８０３からＳ８０５の処理と同じであるため、説明を省略する。そして、ステップＳ１００６では、ＬＵＴ作成部が、全ての基準白色候補のうちから、観察用色空間での２つの注目色間の色相差が最も大きくなる基準白色を選択し、対象の標本種・染色種に対応する最適基準白色に決定する。ステップＳ１００２からＳ１００６の処理を、全ての標本種・染色種の組み合わせに適用したら、ステップＳ１００７に進む。

ステップＳ１００７では、ＬＵＴ作成部は、ステップＳ１００１で読み込んだ標本種・染色種と注目色の対応表と、ステップＳ１００６で得た最適基準白色を結合し、標本種・染色種と最適基準白色のＬＵＴを作成し、記憶装置４０５に記憶する。作成されたＬＵＴの一例を図１１（ａ）に示す。本実施形態では上記ＬＵＴを画像表示システム内で作成するが、事前に画像表示システム外で作成し、記憶装置４０５に記憶しても良い。

上記ＬＵＴを利用した、本実施形態の色変更処理の流れを図１１（ｂ）のフローチャートに基づいて説明する。
ステップＳ１１０１では、画像取得部６０１が記憶装置４０５などから標本画像データを取得する。読み込み対象となるデータはユーザーによって指定されるものとする。
ステップＳ１１０２では、標本情報取得部６０３が、標本画像データに対応する標本種・染色種を特定するデータを取得し、当該標本画像の標本種及び染色種を特定する。

ステップＳ１１０３では、基準白色決定部６０４が、標本種・染色種と最適基準白色を関連付けたＬＵＴ（図１１（ａ）参照）を読み込む。そして、ステップＳ１１０４において、基準白色決定部６０４は、ステップＳ１１０２で得た標本種・染色種とステップＳ１１０３で読み込んだＬＵＴより、対応する最適基準白色を特定する。

ステップＳ１１０５では、色変更部６０６が、標本画像データの基準白色を最適基準白色に変更し、ステップＳ１１０６では、色変更後の標本画像を表示装置４０１に表示する。これらの処理は図８のステップＳ８０７、Ｓ８０８と同じである。
このように本実施形態では、最適基準白色をＬＵＴから選択することにより、注目部位間の識別性を高める機能を、より高速に実現することが可能となる。

本実施形態では特定の標本作成方法と観察環境における対応表を用いることによって、最適基準白色を特定することができることについて説明した。標本作成方法や観察環境が異なる場合には、その場合の標本種・染色種と注目色の対応表を作成することで対応できる。
また、標本種・染色種と注目色の対応表を用いるのではなく、染色種のみの情報と注目色を対応させた対応表を用いても良い。その場合、染色色素固有の色や背景の色を注目部位の色とすることにより、上記対応関係を求めることができる。または、観察する標本種の頻度より、観察する標本種を推定し、染色種と注目色の対応関係を求めることも可能である。

［第３実施形態］
本発明の第３実施形態に係る画像処理装置を備える画像表示システムについて説明する。
最適基準白色を特定するために、第１実施形態では、ユーザーによる注目部位の指定が必要であり、第２実施形態では標本種・染色種を特定するための情報を与える必要があった。第３実施形態では、標本画像データ内の色の頻度分布より注目色を自動で検出し、その検出した注目色に基づいて最適基準白色を特定する事を特徴とする。これによって、ユーザーに注目部位選択等の手間をかけさせることなく、注目部位間の識別性が高まった画像を提示する事が可能になる。
画像表示システムの装置構成は、第２実施形態の構成と同じであるが、標本種・染色種と注目色（観察用色空間における色頻度分布のピーク座標値）との対応表を、予め記憶装置に追加で記憶しておく点が異なる。

画像の色の頻度分布について説明する。
第２実施形態で説明したように、標本作成時や観察時の方法と環境を特定すれば、標本種・染色種の組み合わせごとに、標本の染まり具合や色が定まる。従って、標本種・染色種ごとに出現頻度が高い色（例えば、画像上で占める面積の広い細胞や核の色）を予め特定することができる。多数の標本種・染色種のサンプル画像を用いて、色空間上の出現頻度の高い色座標値（今後、色頻度ピーク座標値と呼ぶ）を事前に統計的に求めることで、標本種・染色種と色頻度ピーク座標値の対応表を作成できる。色頻度ピーク座標値の取得処理は、本実施形態では画像表示システム内で実施するが、画像表示システムとは異なる装置でも取得できる。

画像の色頻度ピーク座標値取得方法を図１２（ａ）のフローチャートに基づいて説明する。図１２（ａ）の処理は画像処理ソフトウェアの一機能であるピーク座標値取得部（不図示）により実行される。

ステップＳ１３０１では、ピーク座標値取得部が、元の画像データの全て、または一部の画素のＲＧＢ値を観察用色空間の色座標値（Ｌａｂ値）に変換する。処理の内容は図２（ｂ）に示したＲＧＢＬａｂ変換と同じである。
ステップＳ１３０２では、ピーク座標値取得部が、ステップＳ１３０１で求めた複数の画素の色座標値に対して頻度分布を作成する。
ステップＳ１３０３では、ピーク座標値取得部が、ステップＳ１３０２で作成した頻度分布より色頻度ピーク座標値を複数取得する。
以上より、標本画像データの色頻度分布上のピーク座標値を取得することができる。

標本種・染色種の異なる複数の標本のサンプル画像を用意し、各サンプル画像について図１２（ａ）の処理を適用することで、標本種・染色種ごとに、色頻度ピーク座標値を取得することができる。図１２（ｂ）は、標本種・染色種の組み合わせと、複数の色頻度ピーク座標値とを対応付けた対応表の一例である。図１２（ｂ）の例では、３つの色頻度ピーク座標値を記載しているが、標本種・染色種ごとに少なくとも２つの色頻度ピーク座標値が対応付けられていればよい。また、対応付ける色頻度ピーク座標値の数が、標本種・染色種ごとに異なっていてもよい。

本実施形態では、画像の観察用色空間の色座標値（Ｌａｂ値）の頻度分布に基づいて高頻度の色を特定しているが、色座標値ではなくＲＧＢ値やＸＹＺ三刺激値の頻度分布を用いてもよい。また、頻度分布でのピーク値そのものではなく、ピーク近傍付近の平均座標値や重心座標値等でも良く、Ｌａｂの空間座標に対する頻度ピーク値だけではなく、ａｂの平面座標に対する色頻度ピーク座標値等でも良い。

次に、色頻度ピーク座標値と最適基準白色とを関連付けたＬＵＴの作成方法について、図１３のフローチャートに基づいて説明する。図１３の処理は画像処理ソフトウェアの一機能であるＬＵＴ作成部（不図示）により実行される。

ステップＳ１５０１では、ＬＵＴ作成部が、標本種・染色種と最適基準白色のＬＵＴ（図１１（ａ）参照）を作成する。処理の内容は図１０に示したＬＵＴ作成処理と同じである。
ステップＳ１５０２では、ＬＵＴ作成部が、事前に作成し、記憶装置４０５に記憶されている、標本種・染色種と色頻度ピーク座標値の対応表（図１２（ｂ）参照）を読み込む。
ステップＳ１５０３では、ＬＵＴ作成部が、「標本種・染色種と最適基準白色のＬＵＴ」と「標本種・染色種と色頻度ピーク座標値の対応表」とを結合し、「色頻度ピーク座標値と最適基準白色のＬＵＴ」を作成する。作成されたＬＵＴの一例を図１４（ｂ）に示す。

次に、図１４（ｂ）のＬＵＴを用いた色変更処理の流れを図１４（ａ）のフローチャートに基づいて説明する。
ステップＳ１７０１では、画像取得部６０１が記憶装置４０５などから標本画像データを取得する。読み込み対象となるデータはユーザーによって指定されるものとする。
ステップＳ１７０２では、標本情報取得部６０３が、記憶装置４０５などから「色頻度ピーク座標値と最適基準白色のＬＵＴ」（図１４（ａ）参照）を読み込む。

ステップＳ１７０３では、標本情報取得部６０３が、ステップＳ１７０１で読み込んだ標本画像データを解析し、観察用色空間での色座標値の頻度分布から色頻度ピーク座標値を複数取得する。本実施形態では、色頻度ピーク座標値が注目色に相当し、標本画像データから色頻度ピーク座標値を検出する処理が標本情報の取得に相当する。なお、ステップＳ１７０３の処理の内容は図１２（ａ）に示した色頻度ピーク座標値取得処理と同じである。

ステップＳ１７０４では、基準白色決定部６０４が、ステップＳ１７０３で取得した色頻度ピーク座標値に対応する最適基準白色を「色頻度ピーク座標値と最適基準白色のＬＵＴ」より取得する。ＬＵＴの中に、ステップＳ１７０３で取得した色頻度ピーク座標値と同じ組み合わせが無い場合には、最も類似したピーク座標値の組み合わせに関連付けられた最適基準白色を取得すればよい。

ステップＳ１７０５では、色変更部６０６が、標本画像データの基準白色を最適基準白色に変更し、ステップＳ１７０６では、色変更後の標本画像を表示装置４０１に表示する。これらの処理は図８のステップＳ８０７、Ｓ８０８と同じである。
このように本実施形態では、標本画像に紐づけされたデータが無くとも、標本画像から検出される高頻度の色情報に基づいて最適基準白色をＬＵＴから選択することができ、注目部位間の識別性を高める機能を高速に実現することができる。

［その他の実施形態］
上述した実施形態は本発明の一具体例に過ぎず、本発明の範囲を限定する趣旨のものではない。上述した実施形態以外にも、本発明の技術思想の範囲内でさまざまな実施形態を採り得る。

例えば、第３実施形態では、標本画像の色頻度ピーク座標値を取得し、ピーク座標値に対応する最適基準白色をＬＵＴを使用して決定している。しかし、標本画像から取得した色頻度ピーク座標値を第１実施形態における「注目部位の色」とみなし、第１実施形態の図８と同じように、複数の基準白色候補の中から、色変更後のピーク座標値間の色相差が最大となる候補を、最適基準白色に選んでもよい。

また、画像データの標本種・染色種が明確でない場合は、組織のない領域の色である背景色と、出現頻度の高い組織の色である組織色を定義し、背景色と組織色間、または複数ある組織色間の色相差を広げるような基準白色を選択するようにしても良い。

背景色の取得にはどのような方法を用いてもよい。例えば、標本画像において、明度が上位１０％以内にあたる画素の中で出現頻度が最も高い画素の色、又は、明度が下位１０％以内にあたる画素の中で出現頻度が最も高い画素の色、を背景色と定義してよい。明度が上位１０％とは、標本画像の明度の値域の中で最大値から１０％の範囲をいい、下位１０％とは、値域の中で最小値から１０％の範囲をいう。なお、背景色かどうかを評価する画素は、標本画像の全体から取得してもよいが、スライドに貼付されたラベル、スライドに書き込まれたマーカー、スライドや光学系に付着したゴミなどを含まない領域から取得すると好ましい。また、組織色は、背景色に対し所定値以上異なる明度（例えば、背景色の明度±５％の範囲外の明度）を持つ画素の中で、出現頻度分布のピークの一つにあたる画素の色と定義することができる。

記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。従って、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

４０１：表示装置、４０６：コンピュータ、４０８：撮像装置
６０１：画像取得部、６０２：ＧＵＩ部、６０３：標本情報取得部、６０４：基準白色決定部、６０５：基準白色データ、６０６：色変更部

Claims (14)

1. 標本を撮像して得られた標本画像のデータを取得する画像取得手段と、
   前記標本画像において識別すべき複数の注目色を特定するための標本情報を取得する標本情報取得手段と、
   前記標本情報に基づいて基準白色を決定する基準白色決定手段と、
   前記標本画像の基準白色を前記基準白色決定手段により決定された基準白色へと変更する処理を、前記標本画像のデータに対して施すことにより、色変更後標本画像のデータを生成する色変更手段と、を有し、
   前記基準白色決定手段は、所定の観察用色空間における前記複数の注目色の色相の差の絶対値が、色変更前の前記標本画像に比べて前記色変更後標本画像の方が大きくなるように、前記標本画像の色変更に用いる基準白色を決定する
   ことを特徴とする画像処理装置。
2. 前記複数の注目色は、ユーザーによって前記標本画像の上で指定された複数の注目部位のそれぞれから得られた色である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記標本情報は、前記標本を作製するときに用いられた染色方法を特定する染色種の情報と前記標本の種類を特定する標本種の情報を含む情報、又は、染色種の情報であり、
   前記注目色は、前記染色種及び前記標本種、又は、前記染色種に予め対応付けられた色である
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記複数の注目色は、前記標本画像のデータにおいて出現頻度の高い色から選ばれた色である
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記所定の観察用色空間は、画像処理装置もしくは前記色変更後標本画像を表示するときに用いられる表示装置に設定されている基準白色を基準にして定まる色空間、又は、前記色変更後標本画像を観察するときの環境光を基準にして定まる色空間である
   ことを特徴とする請求項１〜４のうちいずれか１項に記載の画像処理装置。
6. 前記標本は、染色された組織の標本であり、
   前記複数の注目色は、前記標本画像における背景の色と、前記標本画像における組織の色とを含む
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記背景の色は、前記標本画像において、明度が上位１０％以内にあたる画素の中で出現頻度が最も高い画素の色、又は、明度が下位１０％以内にあたる画素の中で出現頻度が最も高い画素の色である
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記組織の色は、前記標本画像において、前記背景の色に対し所定値以上異なる明度をもつ画素の中で、出現頻度分布のピークの一つにあたる画素の色である
   ことを特徴とする請求項６又は７に記載の画像処理装置。
9. 前記基準白色決定手段は、
   前記複数の注目色の基準白色を変更する処理を、複数の基準白色候補のそれぞれについて実行し、
   前記複数の基準白色候補のそれぞれについて、基準白色変更後の前記複数の注目色の値をもとに、前記所定の観察用色空間における色相の差の絶対値を計算し、
   前記複数の基準白色候補のうち、前記所定の観察用色空間における色相の差の絶対値が最も大きくなるものを、前記標本画像の色変更に用いる基準白色に選ぶ
   ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理装置。
10. 前記複数の基準白色候補は、ｕｖ色度図において黒体軌跡から偏差０．０３の範囲内から選択される色を含む
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記基準白色決定手段は、標本情報と基準白色とを関連付けたルックアップテーブルを用いて、前記標本画像の色変更に用いる基準白色を決定する
    ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理装置。
12. 前記ルックアップテーブルは、
    染色方法を特定する染色種の情報と標本の種類を特定する標本種の情報を含む情報と、その染色種及び標本種に該当する標本画像の色変更に用いるべき基準白色とを関連付けたルックアップテーブル、
    染色種の情報と、その染色種に該当する標本画像の色変更に用いるべき基準白色とを関連付けたルックアップテーブル、又は、
    複数のサンプル画像から統計的に求められた複数の注目色と、当該複数の注目色の色相の差の絶対値が大きくなる色変更が可能な基準白色とを関連付けたルックアップテーブルである
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 画像処理装置の制御方法であって、
    標本を撮像して得られた標本画像のデータを取得する画像取得ステップと、
    前記標本画像において識別すべき複数の注目色を特定するための標本情報を取得する標本情報取得ステップと、
    前記標本情報に基づいて基準白色を決定する基準白色決定ステップと、
    前記標本画像の基準白色を前記基準白色決定ステップにより決定された基準白色へと変更する処理を、前記標本画像のデータに対して施すことにより、色変更後標本画像のデータを生成する色変更ステップと、を有し、
    前記基準白色決定ステップでは、所定の観察用色空間における前記複数の注目色の色相の差の絶対値が、色変更前の前記標本画像に比べて前記色変更後標本画像の方が大きくなるように、前記標本画像の色変更に用いる基準白色を決定する
    ことを特徴とする画像処理装置の制御方法。
14. 請求項１３に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images