JP2011078096A - デジタル病理スライドの染色による最適化圧縮 - Google Patents

Abstract

【課題】かなりの視覚コンテントを有する大きなデジタル病理スライド画像を圧縮し、一方、高い視覚品質を維持することのできる最適化画像圧縮機構を提供する。
【解決手段】デジタル病理スライド画像の最適化画像圧縮を行う有用な新規の方法およびシステム。最適化画像圧縮機構は、デジタル病理スライドによって表される染色された組織の特殊な色特性を利用し、速度歪み性能が改善された画像圧縮アルゴリズムを実現する。最適化色変換は、各染色タイプごとの病理スライド画像スキャンデータのトレーニングセットを使用して事前に算出される。最適化色変換は、入力スライド画像スキャンを圧縮して画像ストリーミングの効率を高め、ユーザが、病院、衛星センター、家庭、または携帯電話のような接続された任意の位置から得た極めて大きなデジタルスライドスキャンを検討するのを可能にする。
【選択図】図１

Description

本明細書で開示する主題はデジタル撮像の分野に関し、特に、デジタル病理スライドスキャンの染色による最適化圧縮用の機構に関する。

病理学は、通常は顕微鏡下で体組織を検査することによる疾患の検査および診断である。現在、病理学者は、光学顕微鏡下でガラススライド上の染色された組織サンプルを手作業で検査して診断を行っている。組織サンプルは通常、ヒストテクニシャンと呼ばれる専門家によって染色される。現在、病理学者は、光学顕微鏡を使用して組織サンプルのスライドを観察している。このプロセスは１００年以上にわたってそれほど変更されていない。プロセスがこのように手作業であるため、正しいスライドを適切な病理学者に物理的に届けなければならないので初期診断およびその後のセカンドオピニオンが遅れることがある。

組織サンプル画像をデジタル化すると、ガラススライドを整理、輸送、および管理することなく評価をより容易にかつより高速に行うことができる。デジタル病理技術を使用すると所要時間が短縮され、病理学者の全体的な診断プロセスが改善される。医療コスト増大圧力が高まっており、かつ患者の医療記録をデジタル化する必要が広く生じているため、このような技術および解決策の需要は高い。このデジタル病理学の分野は、スライド全体をコンピュータ上で見ることができるようにデジタル的に走査するホールスライドイメージング（ＷＳＩ）として知られている。

この技術は、組織が準備されたガラススライドを走査するステップを含む。スライドの走査は非常に高い解像度で行われるので、スライドの非圧縮デジタル出力は通常、非常に大きなサイズ、たとえば、約４０，０００画素ｘ４０，０００画素の画像を表す１０ＧＢ〜３０ＧＢのサイズを有する。

ホールスライドイメージング方式の次のステップは、デジタルスライドを圧縮するステップである。デジタル画像を効果的に記憶しストリーミングするには、不可逆圧縮技術を使用してデジタルスライドを圧縮しなければならない。使用する圧縮アルゴリズムは、高速度歪み性能を示し、すなわち、高い視覚品質を有する強力な圧縮を実現することが好ましい。デジタルスライド画像は、圧縮後に画像サーバ上に記憶され、任意の場所に配置されたクライアントビューアにストリーミングされる。

デジタル病理スライド画像が著しい量の視覚コンテントを含むという点で問題が生じる。この場合、スライド画像を十分に圧縮し、同時に高い視覚品質を維持するのは困難である。

米国特許第７１８７７９８号公報

したがって、かなりの視覚コンテントを含む大きなデジタル病理スライド画像を圧縮し、一方、高い視覚品質を維持することのできる最適化画像圧縮機構が必要である。

したがって、本発明によれば、画像圧縮方法であって、各色変換が、１組のトレーニング画像に従って算出される、複数の色変換を事前に計算するステップと、１つの色変換を利用してデジタル画像を圧縮するステップとを含む方法が提供される。

本発明によれば、デジタル病理染色画像を圧縮する方法であって、各色変換が、特定の染色に対応する１組のトレーニングスライド画像に従って算出される、複数の色変換を事前に計算するステップと、入力デジタル画像を特定の染色にマッピングするステップと、マッピングされた染色に対応する事前に算出された色変換を利用して、入力デジタル画像を圧縮するステップとを含む方法も提供される。

本発明によれば、デジタル病理スライドスキャンの画像圧縮を実行するサーバコンピュータであって、複数の病理スライドスキャンを記憶するように構成された画像記憶デバイスと、入力スライドスキャンデジタル画像を特定の染色にマッピングし、マッピングされた染色に対応する事前に算出された色変換を利用して入力デジタル画像を圧縮する画像圧縮モジュールとを備え、特定の染色に対応する１組のトレーニング画像に従ってそれぞれが算出される色変換が事前に算出されるサーバコンピュータがさらに提供される。

本発明によれば、デジタル病理スライドスキャンを圧縮する際に使用される最適化色変換を算出する方法であって、特定の組織種の特定の組織化学染色方法を代表する１組のトレーニングスライドスキャンからサンプル染色データを受け取り、サンプル染色データから入力ベクトルを形成するステップと、各トレーニングスライドセットごとに、入力ベクトルを利用して色変換を算出し、結果として得られた行列係数をデータベースに記憶するステップとを含み、色変換が、主成分分析（ＰＣＡ）を使用して算出される方法も提供される。

本発明によれば、コンピュータプログラム製品であって、コンピュータメモリにロードされたときにデジタル病理染色画像圧縮プロセスが実行され、コンピュータプログラム製品が、それによって実施されるコンピュータで使用可能なプログラムコードを有するコンピュータで使用可能な媒体を備え、コンピュータで使用可能なプログラムコードが、各色変換が、特定の染色に対応する１組のトレーニングスライド画像に従って算出される、複数の色変換を事前に算出するように構成されたコンピュータで使用可能なコードを備え、コンピュータで使用可能なコードが、入力デジタル画像を特定の染色にマッピングするように構成され、かつマッピングされた染色に対応する事前に算出された色変換を利用して入力デジタル画像を圧縮するように構成されることを特徴とするコンピュータプログラム製品がさらに提供される。

本明細書では、本発明について添付の図面を参照して一例としてのみ説明する。

本発明によって構成されたデジタル病理システムを示すブロック図である。 本発明の機構を実現するコンピュータ処理システムの一例を示すブロック図である。 Ｈ＆Ｅで染色された病理スライド画像の例の一部の図である。 本発明の最適化画像圧縮方法の一例を示す流れ図である。 サンプル病理スライドのＲＧＢ色成分を示す図である。 ＲＧＢ色空間におけるサンプル病理スライドの３Ｄヒストグラムの一例を示す図である。 サンプル病理スライドのＹＣｂＣｒ成分を示す図である。 サンプル病理スライドの第１、第２、および第３のＰＣＡ色成分を示す図である。 サンプル病理スライドの赤−緑−青色成分ヒストグラムの一例の図である。 サンプル病理スライドのＹ−Ｃｂ−Ｃｒ色成分ヒストグラムの一例の図である。 サンプル病理スライドのＰＣＡ成分ヒストグラムの一例の図である。 様々な染色法用の色変換を事前に算出する方法の一例を示す流れ図である。 トレーニングセット用のＰＣＡ行列を算出する方法の一例を示す流れ図である。 Ｈ＆Ｅ染色病理画像のトレーニングセットのＰＣＡ行列演算を示す図である。 ２Ｄセット多変量ガウス分布の一例のＰＣＡを示す図である。 受領画像圧縮方法の一例を示す流れ図である。 ＹＣｂＣｒ変換とＰＣＡ変換の速度歪み性能を比較した表である。

全体にわたって使用される表記
本明細書全体にわたって以下の表記を使用する。
用語 定義
ＡＳＣＩＩ American Standard Code for Information Interchange（アスキー）
ＡＳＩＣ Application Specific Integrated Circuit（エーシック）
ＣＡＤ Computer Aided Design（コンピュータ支援設計）
ＣＤＲＯＭ Compact Disc Read Only Memory（シーディーロム）
ＣＰＵ Central Processing Unit（中央演算処理装置）
ＤＣＴ Discreet Cosine Transform（離散コサイン変換）
ＤＩＣＯＭ Digital Imaging and Communications in Medicine（ダイコム）
ＤＮＡ Deoxyribonucleic Acid（デオキシリボ核酸）
ＤＳＰ Digital Signal Processor（デジタルシグナルプロセッサ）
ＤＶＤ Digital Versatile Disc（ディーブイディー）
ＤＷＴ Discrete Wavelet Transform（離散ウェーブレット変換）
ＥＰＲＯＭ Erasable Programmable Read-Only Memory（消去可能プログラム可能な読み取り専用メモリ）
ＦＩＲ Finite Impulse Response（有限インパルス応答）
ＦＰＧＡ Field Programmable Gate Array（フィールドプログラマブルゲートアレイ）
ＦＴＰ File Transfer Protocol（ファイル転送プロトコル）
ＦＷＴ Forward Wavelet Transform（順ウェーブレット変換）
ＧＵＩ Graphical User Interface（グラフィカルユーザインタフェース）
ＨＴＴＰ Hyper-Text Transport Protocol（ハイパーテキストトランスポートプロトコル）
Ｉ／Ｆ Interface（インタフェース）
Ｉ／Ｏ Input/Output（入出力）
ＩＰ Internet Protocol（インタネットプロトコル）
ＩＷＴ Inverse Subband/Wavelet Transform（逆サブバンド／ウェーブレット変換）
ＪＰＥＧ Joint Photographic Experts Group（ジェイペグ）
ＫＬＴ Karhunen-Loeve Transform（カルーネン−ルーベ変換）
ＬＡＮ Local Area Network（ローカルエリアネットワーク）
ＬＩＳ Laboratory Information System（ラボラトリインフォメーションシステム）
ＭＡＣ Media Access Control（媒体アクセス制御）
ＮＩＣ Network Interface Card（ネットワークインタフェースカード）
ＰＣ Personal Computer（パーソナルコンピュータ）
ＰＣＡ Principle Component Analysis（主成分分析）
ＰＳＮＲ Peak Signal-To-Noise Ratio（ピーク信号対雑音比）
ＲＡＭ Random Access Memory（ランダムアクセスメモリ）
ＲＦ Radio Frequency（無線周波数）
ＲＧＢ Red、Green、Blue（赤、緑、青）
ＲＯＩ Region of Interest（関心領域）
ＲＯＭ Read Only Memory（読み取り専用メモリ）
ＳＡＮ Storage Area Network（ストレージエリアネットワーク）
ＳＭＴＰ Simple Mail Transfer Protocol（簡易メール転送プロトコル）
ＴＣＰ Transmission Control Protocol（伝送制御プロトコル）
ＵＲＬ Uniform Resource Locator（統一資源位置指定子）
ＷＡＮ Wide Area Network（ワイドエリアネットワーク）
ＷＳＩ Whole Slide Imaging（ホールスライドイメージング）
ＷＷＡＮ Wireless Wide Area Network（ワイヤレスワイドエリアネットワーク）
本発明は、デジタル病理スライド画像の最適化画像圧縮を行う方法およびシステムである。本発明の最適化画像圧縮機構は、デジタル病理スライドによって表される染色された組織の特殊な色特性を利用し、速度歪み性能が改善された画像圧縮アルゴリズムを実現するように動作する。最適化色変換は、各染色タイプごとの病理スライド画像スキャンデータのトレーニングセットを使用して事前に算出される。最適化色変換を使用して、入力スライド画像スキャンを圧縮することによって、画像ストリーミングがより効率的になり（画像ストリーミングのプラットフォームとして働く）、それによって、ユーザは、病院、衛星センター、家庭、または携帯電話のような任意の接続された位置から得た極めて大きなデジタルスライドスキャンを検討することができる。
病理スライド観察クライアント／サーバシステム
本発明によって構成されたデジタル病理システムを示すブロック図が図１に示されている。このシステムは、全体的に１０で参照され、観察者ステーション１２と、バックエンド１６と、スキャナ１４とを備えている。スキャナ１４は、ラボラトリインフォメーションシステム（ＬＩＳ）ブローカ２６と、最適化画像圧縮モジュール３０を含む画像取得部２８と、ＤＩＣＯＭライブラリ３２と、圧縮ライブラリ３４と、算出済み色変換データベース３６とを備えている。バックエンド１６は、記憶管理モジュール３８と、データベース４０と、画像ファイルを記憶するストレージ４２と、ストリーミングサーバ４４と、ＣＡＤ／分析ブロック４６とを備えている。観察者ステーション１２は、ワークフローＧＵＩ１８と、ストリーミングクライアント２２および色管理部２４を含む観察ＧＵＩ２０とを備えている。観察者ステーション、バックエンド、およびスキャナは、インタネット、イントラネット、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ストレージエリアネットワーク（ＳＡＮ）のような任意の適切な通信手段上で通信する。当業者には、様々な通信ネットワークのうちの任意のネットワークを使用して本発明を実施できることが認識されよう。ストリーミングサーバ４４、ストリーミングクライアント２２、記憶管理デバイス３８、およびストレージ４２は、ＳＭＴＰ、ＨＴＴＰ、ＴＣＰ／ＩＰのような任意の適切な言語／プロトコルを使用して互いに通信する。

一実施形態では、観察者ステーション１２およびバックエンド１６は、Ｉｎｔｅｌ（登録商標）またはＡＭＤ（登録商標）マイクロプロセッサまたは均等物によって動作するＭＡＣまたはＰＣ型コンピュータを備えてよい。観察者ステーション１２およびバックエンド１６は、キャッシュと、大容量ディスク、ＣＤＲＯＭ、ＤＶＤのような適切な記憶デバイス（たとえば４２）とを含んでよい。

ストリーミングクライアントは、観察者ステーションにおいて、ネットワーク上でバックエンド内のストリーミングサーバと通信し、ストレージ４２に記憶されている撮像データを取り込むように動作する。

一実施形態では、最適化画像圧縮モジュール３０がスキャナ内で実現され、算出済み色変換３６が最適化画像圧縮モジュール３０に記憶されていることに留意されたい。他の実施形態では、バックエンドで圧縮を実施することができる。本実施形態では、圧縮画像が、生成され、バックエンド上に記憶され、観察者ステーションにストリーミングされてユーザに対して表示される。

最適化画像圧縮および観察クライアント機能が標準ウェブブラウザ上のプラグインとして実施できることにも留意されたい。本実施形態では、ウェブブラウザは、ブラウザにロードされる撮像クライアントソフトウェアおよび最適化画像圧縮ソフトウェアを備えている。ウェブブラウザは、ＭｏｚｉｌｌａＦｉｒｅｆｏｘ（登録商標）、Ａｐｐｌｅ Ｓａｆａｒｉ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｉｎｔｅｒｎｅｔ Ｅｘｐｌｏｒｅｒ（登録商標）、Ｇｏｏｇｌｅ Ｃｈｒｏｍｅ（登録商標）のような任意の適切なブラウザを備えてよい。

他の実施形態では、バックエンドは存在しない。その代わりに、観察者ステーションは、スキャナ上の画像記憶デバイス（ハードドライブなど）から直接画像データを取り込み、色変換ならびに画像圧縮計算および処理はクライアントコンピュータ上で実行される。
コンピュータ処理システム
当業者には理解されるように、本発明は、システム、方法、コンピュータプログラム製品、またはそれらの組み合わせとして実施することができる。したがって、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェア態様とハードウェア態様を組み合わせた実施形態の形をとってよく、一般に本明細書ではこれらの実施形態をすべて「回路」、「モジュール」、または「システム」と呼ぶことがある。さらに、本発明は、媒体で実現されるコンピュータで使用可能なプログラムコードを有する任意の有形表現媒体で実現されるコンピュータプログラム製品の形をとってよい。

コンピュータで使用可能あるいはコンピュータで読み取り可能な１つまたは複数の媒体の任意の組み合わせを利用してよい。コンピュータで使用可能あるいはコンピュータで読み取り可能な媒体は、たとえば電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、デバイス、または伝搬媒体であってよいが、これらに限らない。コンピュータで読み取り可能な媒体のより具体的な例（限定的リスト）には、以下の媒体、すなわち、１本または複数本のワイヤを有する電気接続部、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤＲＯＭ）、光学記憶デバイス、インタネットまたはイントラネットをサポートするような伝送媒体、あるいは磁気記憶デバイスを含めてよい。コンピュータで使用可能あるいはコンピュータで読み取り可能な媒体が場合によっては、紙、またはプログラムが印刷される他の適切な媒体であってもよいことに留意されたい。というのは、この場合、必要に応じて、たとえば紙または他の媒体の光学走査によってプログラムを電気的に取り込み、次いでコンパイルまたは解釈するか、あるいはプログラムに他の処理を適切な方法で施し、次いでコンピュータメモリに記憶することができるからである。本明細書では、コンピュータで使用可能あるいはコンピュータで読み取り可能な媒体は、プログラムを命令実行システム、装置、またはデバイスによってあるいはそれらに関連して使用できるように含むか、あるいは記憶または通信するか、あるいは伝搬または移動させることができる。コンピュータ使用可能な媒体は、コンピュータで使用可能なプログラムコードを実現する伝搬させたデータ信号をベースバンドにあるいは搬送波の一部として含んでよい。コンピュータで使用可能なプログラムコードを無線、ワイヤライン、光ファイバケーブル、ＲＦなどを含むがそれらに限らない任意の適切な媒体を使用して伝送することができる。

本発明の動作を実行するコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋（登録商標）などのオブジェクト指向プログラミング言語を含む１つまたは複数のプログラミング言語と、「Ｃ」プログラミング言語や同様のプログラミング言語のような従来の手続きプログラミング言語との任意の組み合わせで書くことができる。プログラムコードを、スタンドアロンソフトウェアパッケージとして全体的にユーザのコンピュータ上で実行することかあるいは一部をユーザのコンピュータ上で実行することも、一部をユーザのコンピュータ上で実行しかつ一部をリモートコンピュータ上で実行することも、あるいは全体的にリモートコンピュータまたはサーバ上で実行することができる。後者の場合、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてリモートコンピュータをユーザのコンピュータに接続するか、あるいは外部のコンピュータに接続することができる（たとえば、インタネットサービスプロバイダを使用してインタネットを通じて）。

本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本発明について以下に説明する。フローチャート図および／またはブロック図の各ブロック、およびフローチャート図および／またはブロック図内のブロックの組み合わせをコンピュータプログラム命令によって実現できることが理解されよう。コンピュータプログラム命令を汎用コンピュータ、特殊目的コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに供給して、命令が、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行されることによって、フローチャートおよび／またはブロック図のブロックに指定された機能／動作を実施する手段が形成されるようなマシンを生成することができる。

コンピュータまたは他のプログラム可能なデータ処理装置に特定の機能を実行するように指示することのできるコンピュータ読み取り可能な媒体にこれらのコンピュータプログラム命令を記憶することもでき、したがって、コンピュータ読み取り可能な媒体に記憶された命令によって、フローチャートおよび／またはブロック図のブロックに指定された機能／動作を実施する命令手段を含む製造品が生成される。

コンピュータプログラム命令をコンピュータまたは他のプログラム可能なデータ処理装置上にロードして、コンピュータまたは他のプログラム可能な装置上で一連の動作ステップを実行させ、命令がコンピュータまたは他のプログラム可能な装置上で実行されることによって、フローチャートおよび／またはブロック図のブロックに指定された機能／動作を実施する命令手段を含むプロセスが生成されるようなコンピュータで実施されるプロセスを生成することができる。

本発明の最適化画像圧縮機構を実現するコンピュータ処理システムの一例を示すブロック図が図２に示されている。コンピュータシステムは、全体的に６０で参照され、デジタルシグナルプロセッサ（ＤＳＰ）、中央演算処理装置（ＣＰＵ）、マイクコントローラ、マイクロプロセッサ、マイクロコンピュータ、ＡＳＩＣまたはＦＰＧＡコアを含んでよいプロセッサ６２を備えている。システムは、すべてプロセッサと通信するスタティック読み取り専用メモリ６８およびダイナミックメインメモリ７０も備えている。プロセッサも、コンピュータシステムにも含まれるいくつかの周辺デバイスとバス６４を介して通信する。バスに結合される周辺デバイスには、表示デバイス７８（たとえば、モニタ）、英数字入力デバイス８０（たとえば、キーボード）、およびポインティングデバイス８２（たとえば、マウス、タブレットなど）が含まれる。

コンピュータシステムは、データ入出力通信インタフェース７２（たとえば、ネットワークインタフェースカードやＮＩＣ）を介してシステムに接続された通信回線を介してＬＡＮ／ＷＡＮ／ＳＡＮ７６のような１つまたは複数の外部ネットワークに接続されている。システムに接続されたネットワークアダプタ７２によって、介在する専用ネットワークまたは公衆ネットワークを通じてデータ処理システムを他のデータ処理システムまたはリモートプリンタまたは記憶デバイスに結合することができる。モデム、ケーブルモデム、およびＥｔｈｅｒｎｅｔ（登録商標）カードは、現在利用可能な種類のネットワークアダプタのうちのほんのいくつかである。システムは、アプリケーションプログラムおよびデータを記憶する磁気または半導体による記憶デバイス７４も備えている。システムは、磁気ストレージ、光学ストレージ、半導体揮発性または不揮発性メモリ、生物学的記憶デバイス、または任意の他のメモリ記憶デバイスを含むがそれらに限らない任意の適切なメモリ手段を含んでよいコンピュータ読み取り可能な記憶媒体を備えている。

本発明の最適化画像圧縮機構を実現するように構成されたソフトウェアは、ディスク駆動ユニット内の磁気ディスクのようなコンピュータ読み取り可能な媒体上に常駐するように構成されている。あるいは、コンピュータ読み取り可能な媒体は、フロッピィディスク、取り外し可能なハードディスク、フラッシュメモリ６６、ＥＥＲＯＭベースのメモリ、バブルメモリストレージ、ＲＯＭストレージ、配布媒体、中間記憶媒体、コンピュータの実行メモリ、および後で、本発明の機構を実現するコンピュータプログラムをコンピュータによって読み出せるように並べ替えることのできる任意の他の媒体またはデバイスを備えてよい。本発明の最適化画像圧縮機構を実現するように構成されたソフトウェアは、スタティックまたはダイナミックメインメモリあるいはコンピュータシステムのプロセッサ内のファームウェアに（すなわち、マイクロコントローラ、マイクロプロセッサまたはマイクロコンピュータ内部メモリ内）全体的または部分的に常駐することもできる。

他のデジタルコンピュータシステム構成を使用して本発明の最適化画像圧縮機構を実現することができ、かつ特定のシステム構成が本発明のシステムおよび方法を実現することのできる範囲で、このシステム構成は図２の代表的なデジタルコンピュータシステムと同等でありかつ本発明の趣旨および範囲内である。

このようなデジタルコンピュータシステムは、本発明のシステムおよび方法を実現するプログラムソフトウェアからの命令に従って特定の機能を実行するようにプログラムされると、事実上、本発明の機構に特有の特殊目的コンピュータになる。これに必要な技術は、コンピュータシステムの業者に公知である。

一般に、本発明のシステムおよび方法を実現するコンピュータプログラムがフロッピィディスクやＣＤＲＯＭなどの配布媒体上でユーザに配布され、あるいはＦＴＰ、ＨＴＴＰ、または他の適切なプロトコルを使用してインタネットなどのネットワーク上でダウンロードすることができることに留意されたい。コンピュータプログラムはそこから、ハードディスクまたは同様の中間記憶媒体にコピーされることが多い。プログラムは、実行時に、その配布媒体または中間記憶媒体からコンピュータの実行メモリにロードされ、コンピュータを本発明の方法に従って動作するように構成する。これらの動作はすべて、コンピュータシステムの業者に公知である。

各図のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の考えられる実施物のアーキテクチャ、機能、および動作を示している。この場合、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実施する１つまたは複数の実行可能な命令を含むコードのモジュール、セグメント、または一部を表すことができる。いくつかの他の実施物では、ブロックに示されている機能が図に示されている順序以外の順序で実施されることにも留意されたい。たとえば、関連する機能に応じて、連続して示されている２つのブロックを実際にはほぼ同時に実行することができ、あるいは場合によっては各ブロックを逆の順序で実行することもできる。ブロック図および／またはフローチャート図の各ブロックならびにブロック図および／またはフローチャート図のブロックの組み合わせを、指定された機能を実行する特殊目的ハードウェアベースのシステムまたは特殊目的ハードウェアとコンピュータ命令の組み合わせによって実現できることにも留意されたい。
最適化画像圧縮
染色された組織サンプルの画像スキャンを含む病理画像の圧縮に本発明を応用することができる。染色は、顕微鏡画像のコントラストを向上させるために顕微鏡分野でずっと前から使用されている補助技術である。生化学においては、染色は、蛍光標識の場合と同様に、類固有の染料（たとえば、ＤＮＡ、たんぱく質、脂質、炭水化物）を基板に添加して特定の化合物の存在を定性化または定量化することを含む。

染色および染料は、生物組織内の構造を観察できるように、多くの場合それぞれの異なる顕微鏡下で強調表示するために、生物学および医療において使用されることが多い。染料を使用して個々の細胞内の組織（たとえば、筋線維または結合組織を強調表示する）、細胞集団（たとえば、様々な血球を分類する）、または細胞小器官を特定し検査することができる。

公知のヘマトキシリンおよびエオシン染料（Ｈ＆Ｅ染料またはＨＥ染料と呼ばれる）は、組織学の分野で一般的な染色方法である。これは医療診断で最も広く使用されている染料であり、たとえば、病理学者が癌の疑いのある組織切片の生体検査を行う際、組織切片をＨ＆Ｅで染色し、Ｈ＆Ｅ切片、Ｈ＋Ｅ切片、またはＨＥ切片と呼ぶことが多い。

染色方法は、（１）好塩基性構造を青−紫の色調に色付ける基本染料ヘマトキシリン、および（２）好酸球性構造を明るいピンクに色付けるアルコールベースの酸性エオシンＹを加えることを含む。一例は、ＨＥ染料組織サンプルのＲＧＢ病理スライド画像である。ある方法によって染色された組織の画像を含むデジタルスライドが同じ色特性を有することはスライド画像から明白である。なぜなら、組織学のプロセスは、同じ染色方法を使用するすべてのスライドについて同一であるからである。

本発明の最適化画像圧縮方法の一例を示す流れ図が図４に示されている。最適化画像圧縮機構は、変換による画像圧縮アルゴリズムを使用してスライドスキャンの大きな元の画像を圧縮する。この方法を実行する前に、様々な染色技術に関して１つまたは複数の色変換を算出しておく。以下により詳しく説明するように、数組のトレーニング画像を使用して、特定の染色技術の特定の色態様を考慮して圧縮結果を最適化する色変換を事前に算出する。

第１のステップは、算出済み色変換データベースから所与のスライドの染色方法を得るステップである。一実施形態では、このデータはＬＩＳ２６（図１）から抽出される。第１のステップでは、事前に算出された最適化色変換の１つを入力画像スキャンに適用する（ステップ９０）。次に、前のステップの結果に対して離散ウェーブレット変換（ＤＷＴ）または離散コサイン変換（ＤＣＴ）を実行する（ステップ９２）。次に、結果として得られた変換係数を量子化し（ステップ９４）、符号化する（ステップ９６）。結果として得られた圧縮画像を画像ファイルストレージに記憶する（ステップ９８）。

画像復元方法は、図４の動作の順序を逆にした動作に基づく方法である。まず、圧縮画像を復号し、次いで変換係数を脱量子化する。次に、逆ＤＷＴまたは逆ＤＣＴを適用し、次いで逆色変換を適用する。この結果、本来の画像に近い画像が得られる（不可逆圧縮アルゴリズムを使用したものと仮定する）。
色変換およびＹＣｂＣｒ色空間：
基本色デジタル画像の３つの成分は、図５に示されているように赤、緑、および青（ＲＧＢ）である。ＲＧＢ色空間内のサンプル病理スライドの３Ｄヒストグラムの一例が図６に示されている。ＲＧＢ画素の値が下位の次元表面によってかなりうまく近似されることを示す図６に示されている３つのＲＧＢ成分間に顕著な視覚的相関があることに留意されたい。したがって、圧縮アルゴリズムの性能を向上させるには、成分同士を脱相関させる色変換を使用する。

任意の線形色変換を正則３ｘ３行列として表すことができる。

このような例の１つとして、ＪＰＥＧおよびＪＰＥＧ２０００画像圧縮標準ならびにＭＰＥＧ映像圧縮標準の一部として広く使用されているＹＣｂＣｒ標準圧縮色空間がある。Ｙ成分は輝度成分であり、Ｃｂ、Ｃｒはそれぞれ、青差分および赤差分彩度成分である。サンプル病理スライドのＹＣｂＣｒ成分が図７に示されている。図示のように、画像内のエネルギーの大部分は、輝度成分に含まれている。ＹＣｂＣｒに関連する変換行列は以下の通りである。

時間−周波数変換：
画像圧縮で使用される２つの一般的な変換には、（１）一連のデータポイントを、それぞれの異なる周波数で発振する余弦関数の和として表す離散コサイン変換（ＤＣＴ）と、（２）ウェーブレットが離散的にサンプリングされる任意のウェーブレット変換である離散ウェーブレット変換（ＤＷＴ）とが含まれる。

動作時には、変換が色空間の成分に別々に適用される。たいていの場合、出力時間−周波数係数の数は、入力データサンプルの数に概ね等しい。しかし、変換では「粗な表現」が生成され、すなわち、係数のうちで有意なのはほんの一部分であり、一方、残りの部分は、あるしきい値よりも小さな絶対値を有する。入力データが滑らかであればあるほど、有意な係数の数は少なくなる。したがって、変換による画像圧縮アルゴリズムには、ＲＧＢデータに適用されたときに２番目および／または３番目の成分が全体的により滑らかである３つの成分を作成する色変換が好ましい。
量子化：
量子化は、ある範囲の値を単一の量子値に圧縮することによって実現される不可逆圧縮技術である。所与のストリーム中の離散した記号の数を減らすと、ストリームの圧縮度が高くなる。たとえば、デジタル画像を表すのに必要な色の数を減らすと、デジタル画像のファイルサイズを小さくすることが可能になる。特定の用途には、ＪＰＥＧにおけるＤＣＴデータ量子化およびＪＰＥＧ２０００におけるＤＷＴデータ量子化が含まれる。
量子化係数の符号化
実施形態の一例では、可逆データ圧縮用の公知の技術である算術符号化が使用される。通常、文字のストリングは、ＡＳＣＩＩコードと同様に文字当たり一定数のビットを使用して表される。ハフマン符号化と同様に、算術符号化は、ストリングを他の形態、すなわち、より少ないビットを使用して頻繁に使用される文字を表し、かつより多いビットを使用してめったに使用されない文字を表し、全体として使用されるビット数が少なくなることが予想される形態に変換する形態の可変長エントロピー符号化である。

本発明の機構は、デジタル病理スライドの特殊な色特性を利用し、かつ画像圧縮アルゴリズムの速度歪み性能を向上させるように動作する。さらに、圧縮アルゴリズムは、画像ストリーミング用のプラットフォームとして機能し、ユーザが、任意の場所、たとえば病院、衛星センター、家庭、場合によっては携帯電話から膨大なデジタルスライド画像ファイルを検討することを可能にする。これは、デジタル病理スライドのトレーニングサンプルセットに主成分分析（ＰＣＡ）を施すことと量子化ステップを適応的に選択することとを組み合わせることによって実現される。

一実施形態では、最適化色変換は、特定の組織種（たとえば、皮膚、肝臓など）についての特定の組織化学染色方法を表すトレーニングサンプルセットに対する事前処理ステップで算出される。この最適化色変換の対応する行列係数は、将来使用できるようにデータベースに記憶される。一実施形態では、各染色方法ごとおよび個々の研究所ごとに異なる最適化色変換が算出される。色変換が染色方法ごとおよび研究所ごとに算出されるのは、同じ方法でそれぞれの異なる位置で染色された組織の色はわずかに異なることが多いからである。

本明細書に示されている実施形態の例では、最適化色変換は、数組のデジタルトレーニングスライド画像に主成分分析（ＰＣＡ）を適用することによって算出される。ここでＰＣＡ法について概略的に説明する。ＰＣＡは、相関を有する可能性のあるいくつかの変数を主成分と呼ばれる少ない数の非相関変数に変換するのに使用される公知の数学的手続きである。第１の主成分は、データの変動をできるだけ多く考慮し、後続の成分はそれぞれ、残りの変動をできるだけ多く考慮する。応用分野に応じて、ＰＣＡは、離散カルーネン−ルーベ変換（ＫＬＴ）、ホテリング変換、または固有直交分解（ＰＯＤ）とも呼ばれる。

ＰＣＡは、説明的データ分析の手段としてかつ予測モデルを作成するために使用されることが多い。ＰＣＡでは、通常、各属性ごとにデータの平均値や中央値を求めた後で、データ共分散行列の固有値分解またはデータ行列の特異値分解の計算が行われる。ＰＣＡは、データを新しい座標系に変換する直交線形変換Ｐ：Ｘ→Ｙとして定義され、したがって、データの任意の射影による最大の分散が第１の座標（第１の主成分と呼ばれる）に位置し、２番目に大きな分散が第２の座標に位置し、以下同様に各分散の座標が定まるようになる。変換ＰをＰＣＡ行列と呼ぶ。

ＰＣＡは理論的には、最小二乗項の所与のデータに対する最適な変換である。ＰＣＡは、分散に最も寄与するデータセットの特性を保持することによってそのデータセット内の次元の数を減らすのに使用される。これは、下位主成分を維持し、かつ上位主成分を無視する（すなわち破棄する）ことによって実現される。このような下位成分はデータの最も重要な局面を含むことが多い。しかし、用途に応じてそうでない場合もある。第１の出力成分の分散を最大化し、かつ最後の分散を最小化することによって、冗長性を最小限に抑えることが好ましい。

定義上、共分散は非負でなければならず、したがって、最小共分散は零である。最適化共分散行列Ｃ_Ｙでは、すべての非対角項が零であるため、Ｃ_Ｙは対角でなければならない。多次元では、これは以下のように実行される。トレーニングセット用のＰＣＡ行列を算出する方法の一例を示す流れ図が図１４に示されている。まず、トレーニングセットデータを収集し、以下のように表されるｎ次元のｍ個の測定データを形成する。
Ｘ：＝（Ｘ_ｍ），ｄｉｍ（Ｘ_ｍ）＝ｎ （３）
このトレーニングセットベクトルから共分散行列を算出する（ステップ１１０）。次いで、ｎｘｎ共分散行列を算出する（ステップ１１２）。
Ｃ_Ｘ＝Ｃｏｖ（Ｘ） （４）
次に、共分散行列Ｃ_Ｘの固有ベクトルＰ＝｛Ｐ_１，．．．，Ｐ_ｎ｝および固有値｛λ_ｉ｝を算出し（ステップ１１２）正規化する（ステップ１１４）。固有ベクトルを固有値によってλ_ｉ≧λ_ｉ＋１のように順序付け（ステップ１１６）、ＰＣＡ行列特徴ベクトル（すなわち成分）Ｙ，Ｙ：＝ＰＸを作成する（ステップ１１８）
図８は、病理スライドのサンプル部の第１、第２、および第３のＰＣＡ色成分を示している。サンプル病理スライドの赤−緑−青色成分ヒストグラムの一例が図９に示されている。サンプル病理スライドのＹ−Ｃｂ−Ｃｒ色成分ヒストグラムの一例が図１０に示されている。サンプル病理スライドのＰＣＡ成分ヒストグラムの一例が図１１に示されている。図９のＲＧＢ成分ヒストグラムと比較して、画像の視覚的活動の大部分が第１の成分に含まれていることに留意されたい。

一実施形態では、ＰＣＡ技術を使用して、同じ染色法を利用する病理画像の色変換が生成される。それぞれの異なる染色法用の色変換を事前に算出する方法の一例を示す流れ図が図１２に示されている。ＰＣＡアルゴリズムは、出力色成分の脱相関を改善し、それによって圧縮アルゴリズムの全体的な速度歪み性能を向上させるために病理画像の最適化色変換を作成するために使用される。一実施形態では、特定の研究所用の特定の染色法を表す病理画像の１つまたは複数のトレーニングサンプルセットを使用して、図１２の方法がオフラインモードで、すなわち事前に適用される。

まず、染色された病理画像の１つまたは複数のトレーニングセットを取得する（ステップ１００）。同じ染色から多数の病理画像を収集する。一実施形態では、１０個のＨ＆Ｅ染色画像を使用する。任意の数の染色画像を使用できることを理解されたい。

トレーニングセット画像画素を単一の大きな入力ベクトルＸを形成するようにフォーマットする（ステップ１０２）。ベクトルＸの各要素は、画像のトレーニングセットから得たＲＧＢ画素である。入力ベクトルは、ＰＣＡを適用する入力データを表す。ＰＣＡが画素当たり動作であるため、データの順序は重要ではないことに留意されたい。ＲＧＢ画素の集合は、次式のように表される入力ベクトルＸによって表される画像のトレーニングセットを形成する。

次に、トレーニングセット入力ベクトルＸを使用して３ｘ３ＰＣＡ行列を算出する（ステップ１０４）。入力ベクトルＸにＰＣＡアルゴリズムを適用する。この結果、染色による最適化色変換の基礎となる３ｘ３変換行列が得られる。

次に、算出済み色変換データベースまたは染色タイプに応じた他のストレージに行列係数を記憶する（ステップ１０６）。他のトレーニングセットがある場合（ステップ１０８）、ステップ１００、１０２、１０４、１０６を繰り返す。

トレーニングセット用のＰＣＡ行列を算出する方法の一例を示す流れ図が図１３に示されている。次に、ＰＣＡ行列を算出するステップ（図１２のステップ１０４）についてより詳しく説明する。第１のステップでは、トレーニングセットＸの共分散行列Ｃ_Ｘ：=Ｃｏｖ（Ｘ）を算出する（ステップ１１０）。この共分散行列は、主対角の成分が各色成分（ＲＧＢ）の分散である対称３ｘ３行列である。非対角成分は２つの異なる成分の共分散、すなわち２つの成分の分布間の相関である。

行列Ｃ_Ｘは、トレーニングセット画像から得た画素の赤−緑−青成分間の依存性を表す。

次に、共分散行列Ｃ_Ｘの固有値λ_ｉおよび固有ベクトルＰ_ｉを算出する（ステップ１１２）。固有値および固有ベクトルを次式のように表すことができる。
Ｃ_ＸＰ_ｉ＝λ_ｉＰ_ｉ、ｉ＝１，２，３ （７）
固有ベクトル｛Ｐ_１，Ｐ_２，Ｐ_３｝が３Ｄ空間の直交基底であることに留意されたい。固有ベクトル｛Ｐ_１，Ｐ_２，Ｐ_３｝は３Ｄ実空間のあらゆる点を表すことができ、たとえば、あらゆるＲＧＢ画素ｘ＝（ｒ，ｇ，ｂ）を新しい画素Ｐｘ：＝（Ｐ_１ｘ，Ｐ_２ｘ，Ｐ_３ｘ）に変換することができる。

次に、以下のように特殊因子σによって固有ベクトルを正規化する（ステップ１１４）。

最適化色変換の出力値を１バイトの精度範囲に限定し、すなわち

となるように変換を正規化する。

次に、正規化された固有ベクトル

を固有値λ_ｉによってソートする（ステップ１１６）。次に、λ_１＞λ_２＞λ_３＞０と仮定して最適化色変換行列を作成する（ステップ１１８）。この行列は以下のように定義される。

固有値が新しい色成分の分散になっていることに留意されたい。ＨＥ染色病理画像のトレーニングセットのＰＣＡ行列計算の一例を示す図が図１４に示されている。２Ｄセット多変量ガウス分布の一例のＰＣＡを示す図が図１５に示されている。

本発明の原則を示すうえで、Ｈ＆Ｅ染色による最適化染色による色変換は以下の通りである。

比較として、標準ＹＣｂＣｒ変換行列は以下のようになる。

最適化色変換は、事前に算出されデータベースに記憶された後、入力画像の圧縮に使用することができる。受領画像圧縮方法の一例を示す流れ図が図１６に示されている。新しい走査済みのスライドを受け取るたびに（ステップ１２０）、組織種に関する情報と、その標本が処理されたときに適用された染色方法を判定する（たとえば、標本タグまたはラベルから読み取る）（ステップ１２２）。次に、算出済み色変換データベース３６（図１）を使用して標本スライドの染色タイプに相当する色変換（すなわち行列）を検索する。色変換が見つかった場合、この染色法に対して最適化された算出済み色変換の係数をデータベースから読み出す。一実施形態では、最適化色変換は、処理を行う研究所の位置ごとに異なる。

入力画像がある種の染色（このようなパラメータは画像取得時に判明している）にマッピングされると、圧縮アルゴリズムの前処理ステップとして、その特定の染色の事前に算出された対応する色ＰＣＡ行列が取り込まれ入力画像に適用される。以下に示すように、最適化色変換行列を使用して、受け取った画像の画素データが変換される。

次に、事前に処理された入力画像を使用して最適化画像圧縮を実行する（ステップ１２６）。結果として得られた圧縮画像を画像ファイルストレージに記憶する（ステップ１２８）。

染色による所与の各最適化色変換については、変換係数の量子化ステップの選択が、色チャネル値の予想される分散のような色変換行列の特性に基づくことに留意されたい。画像圧縮プロセスの時間−周波数変換ステップに関する量子化ステップは、第１のＰＣＡ主成分におけるエネルギー（すなわち情報）が、第３のＰＣＡ成分以上である第２のＰＣＡ成分におけるエネルギー以上であることに基づいて判定される。したがって、最良の速度歪み性能を得るには、第１のＰＣＡ成分には最小量子化ステップを選択し、第２のＰＣＡ成分にはより大きな量子化ステップを選択し、第３のＰＣＡ成分には最大量子化ステップを選択する。

したがって、最も微細な量子化ステップは、第１のＰＣＡ成分を量子化するのに使用され、最も粗なステップは第３のＰＣＡ成分を量子化するのに使用される。これによって、画像圧縮プロセスの全体的な速度歪み性能が著しく向上する。

本発明の利点を示すために、実施形態例のＹＣｂＣｒ変換およびＰＣＡ変換の速度歪み性能についての結果を図１７の表１に示されている。この表には、ＹＣｂＣｒ色変換および染色による色変換を有する公知のＫａｋａｄｕ（登録商標）ＪＰＥＧ２０００ツールキットを用いて本発明者らによって実施された実験の結果が組み込まれている。この実験では、比較的大きな２つのＨ＆Ｅデジタル染色画像を選択した。表に示されているように、どちらの場合も、すなわち、２つの異なるビットレートの場合も同じビットレートの場合も、最適化画像圧縮機構を使用するとＰＳＮＲの品質が０．３３ｄＢから０．４１ｄＢへと著しく向上している。

特許請求の範囲におけるすべての手段またはステップと機能部材の対応する構造、材料、動作、および均等物は、具体的に請求される他の特許請求される部材と組み合わされて機能を実行する任意の構造、材料、または動作を含むものである。本発明の説明は、例示および説明のために提示されたものであり、網羅的なものでも、開示された形態の発明に限定されるものでもない。当業者には、本発明の１つまたは複数の実施形態の範囲および趣旨から逸脱せずに多くの修正実施形態および変形実施形態が明らかになろう。各実施形態は、原則および実際的な用途を最も適切に説明し、かつ当業者以外の人が、考えられる特定の用途に適した様々な修正実施形態を含む様々な実施形態について本発明の１つまたは複数の実施形態を理解できるように選択されかつ記載されている。

添付の特許請求の範囲は、本発明の趣旨および範囲内であるような本発明のすべての特徴および利点を対象とするものである。当業者には多数の修正実施形態および変更実施形態が容易に想定されるので、本発明は、本明細書に記載された限られた数の実施形態に限定されるものではない。したがって、本発明の趣旨および範囲内のすべての適切な変形実施形態、修正実施形態、および均等物を特許請求できることが理解されよう。

１０、６０ システム
１２ 観察者ステーション
１４ スキャナ
１６ バックエンド
１８、２０ ＧＵＩ
２２ ストリーミングクライアント
２４ 色管理部
２６ ラボラトリインフォメーションシステムブローカ
２８ 画像取得部
３０ 最適化画像圧縮モジュール
３２ ＤＩＣＯＭライブラリ
３４ 圧縮ライブラリ
３６ 算出済み色変換データベース
３８ 記憶管理モジュール
４０ データベース
４２ ストレージ
４４ ストリーミングサーバ
４６ ＣＡＤ／分析ブロック
６２ プロセッサ
６４ バス
６６ フラッシュメモリ
６８ スタティック読み取り専用メモリ
７０ ダイナミックメインメモリ
７２ データ入出力通信インタフェース
７４ 記憶デバイス
７６ ＬＡＮ／ＷＡＮ／ＳＡＮ
７８ 表示デバイス
８０ 英数字入力デバイス
８２ ポインティングデバイス

Claims (10)

1. 各色変換が、１組のトレーニング画像に従って算出される、複数の色変換を事前に計算するステップと、
   １つの前記色変換を利用してデジタル画像を圧縮するステップとを含む画像圧縮方法。
2. 各色変換の主成分に従って時間−周波数変換用の量子化ステップを選択することをさらに含む、請求項１記載の方法。
3. 最小の量子化ステップが第１の主成分に適用され、次に大きな量子化ステップが第２の主成分に適用され、最大の量子化ステップが第３の主成分に適用される、請求項２記載の方法。
4. デジタル病理染色画像を圧縮する方法であって、
   各色変換が、特定の染色に対応する１組のトレーニングスライド画像に従って算出される、複数の色変換を事前に計算するステップと、
   入力デジタル画像を特定の染色にマッピングするステップと、
   前記マッピングされた染色に対応する事前に算出された色変換を利用して、前記入力デジタル画像を圧縮するステップとを含む方法。
5. 各色変換の主成分に従って時間−周波数変換用の量子化ステップを選択することをさらに含む、請求項４記載の方法。
6. デジタル病理スライドスキャンの画像圧縮を実行するサーバコンピュータであって、
   複数の病理スライドスキャンを記憶するように構成された画像記憶デバイスと、
   入力スライドスキャンデジタル画像を特定の染色にマッピングし、前記マッピングされた染色に対応する事前に算出された色変換を利用して前記入力デジタル画像を圧縮する画像圧縮モジュールとを備え、特定の染色に対応する１組のトレーニング画像に従ってそれぞれが算出される色変換が事前に算出されるサーバコンピュータ。
7. デジタル病理スライドスキャンを圧縮する際に使用される最適化色変換を算出する方法であって、
   特定の組織種の特定の組織化学染色方法を代表する１組のトレーニングスライドスキャンからサンプル染色データを受け取り、サンプル染色データから入力ベクトルを形成するステップと、
   各トレーニングスライドセットごとに、前記入力ベクトルを利用して色変換を算出し、結果として得られた行列係数をデータベースに記憶するステップとを含む方法。
8. 入力デジタル病理画像の染色タイプを判定するステップと、
   前記染色タイプに対応する色変換を前記データベースから取り込むステップと、
   前記色変換を利用して前記入力デジタル病理画像を圧縮するステップとをさらに含む、請求項７記載の方法。
9. 入力デジタル病理画像の染色タイプを判定するステップと、
   前記染色タイプに対応する色変換を前記データベースから取り込むステップと、
   前記色変換の第１の主成分に最小の量子化ステップを適用し、前記色変換の第２の主成分に次に大きな量子化ステップを適用し、前記色変換の第３の主成分に最大の量子化ステップを適用するステップとをさらに含む、請求項７記載の方法。
10. トレーニングスライドセットから色変換を算出する前記ステップは、
    前記トレーニングスライドセットの共分散行列を算出するステップと、
    前記共分散行列の固有ベクトルおよび固有値を算出するステップと、
    前記固有値によって前記固有ベクトルを正規化するステップと、
    前記正規化された固有値を前記固有値によってソートするステップとを含む、請求項７記載の方法。

Images