JP2013530467A - 顕微鏡検査法の画像処理方法 - Google Patents

顕微鏡検査法の画像処理方法 Download PDF

Info

Publication number
JP2013530467A
JP2013530467A JP2013514816A JP2013514816A JP2013530467A JP 2013530467 A JP2013530467 A JP 2013530467A JP 2013514816 A JP2013514816 A JP 2013514816A JP 2013514816 A JP2013514816 A JP 2013514816A JP 2013530467 A JP2013530467 A JP 2013530467A
Authority
JP
Japan
Prior art keywords
image
region
sub
digital image
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013514816A
Other languages
English (en)
Other versions
JP5784718B2 (ja
Inventor
ダニエル カール ミュエレル
ディルク レオ ヨエプ フォッセン
バス フルスケン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013530467A publication Critical patent/JP2013530467A/ja
Application granted granted Critical
Publication of JP5784718B2 publication Critical patent/JP5784718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、デジタル病理学における画像処理の分野に関する。本発明は、領域内のサンプルを表す第1のデジタル画像を処理するための方法を提案し、画像は、顕微鏡イメージングシステム1によってサンプルから取得され、マルチ解像度画像データ構造に記憶されたものであり、方法は、第1の解像度で第1のデジタル画像のサブ領域を取り出すステップ104と、取り出されたサブ領域に対し変換関数を実行するステップ105であって、変換関数が、第1のデジタル画像の第2の解像度表現から導き出される少なくとも1つのメトリックに従って、サブ領域のコンテントを変更する、ステップと、を含む。

Description

本発明は、デジタル病理学の分野に関し、特に、全スライド(whole slide)走査の技術に関する。
本発明は、特に、デジタル顕微鏡画像の画質を向上させ/変更する画像処理方法に関する。
デジタル病理学は、組織スライドを視覚化する新しい方法を提供し、これらのスライドを解析するための新しいワークフローを可能にする。
図1に示されるように、デジタル病理学の一般的なシステム1は特に、サンプル、例えば組織サンプル、を走査するためのスキャナ10を有することができ、そのデジタル画像を作成する。1Dラインスキャナ、2Dアレイスキャナ、いわゆる時間遅延積分(TDI)スキャナ等の多くのタイプのスキャナがすでに提案されている。
システムは、例えば組織サンプルのデジタル画像のような情報をアーカイブし、通信するためのPACS20(画像アーカイブ通信システム)を更に有することができる。
システムは更に、コンピュータ実現命令を実行するためのコンピューティング装置30と、このような命令及び画像データのような他のバイナリ情報をロードするためのバッファメモリのようなメモリ40とを有することができる。システムのその意図された機能及び所望の性能に依存して、コンピューティング装置は、プロセッサ、FPGA(完全にプログラム可能なゲートアレイ)、DSP(デジタル信号プロセッサ)でありえ、メモリは特に、DRAM、SDRAM、SRAM、DDR SDRAM、FRAM(登録商標)、ROM、CD、DVDでありうる。
デジタル病理学の分野で良く知られているように、コンピューティング装置は、一般に、画像処理のために及び例えば診断用画像解析のために、使用されることができる。デジタル病理学の分野において、画像処理は、一般に、この画像のコンテントを変更するために、アルゴリズムによりデジタル画像を処理することをさす。こうして、画像処理は特に、画像の知覚される品質を強化し、或る画像内の像を基準画像と位置合わせする機能を含む。他方、画像解析アルゴリズム(例えば診断用)は、考慮中のデジタル画像のコンテントを変更しない。事実、この画像は、一般に、既に画像処理アルゴリズムが適用されているものでありうる。情報に関して、診断用画像解析アルゴリズムの良く知られている例は、CAD(Computer Aided Diagnosis、コンピュータ支援診断)アルゴリズムに対応する。
本発明は特に、デジタル病理学の上述したような画像処理の技術分野に関する。言い換えると、本発明は、CADアルゴリズムのような画像解析アルゴリズムによって観察される及び/又はその後解析されるべきデジタル画像を準備するデジタル病理学における方法及びソフトウェアに関する。
上述したように、画像処理アルゴリズムは、オペレータが、システム1のスクリーン50上に表示される画像内の関心のある特徴をより良く見つけることができるように、画像のコントラストを強調するように構成されることができる。例えば、オペレータは、最初に、スクリーン上に表示するために、H&E技法(ヘマトキシリン及びエオシン)により染色された組織サンプルを示す画像をロードすることができる。本願明細書においてHE画像と以下で呼ばれるこの画像は、スキャナ又はその一部によって取得されたサンプルのエリア全体を示すことができる。オペレータは、例えばより高い解像度でサンプルの特定エリアを表示するために、本願明細書においてサブ領域と以下で呼ばれるこの画像内の関心領域を選択することができる。
この点において、システム1は、デジタル画像のエリア全体をまず変換して、サンプルのエリア全体の高解像度デジタル画像を生成する画像処理アルゴリズムを含みうる。次いで、更なる処理が、この高解像度画像から前記サブ領域の画像コンテントを取り出し、画像コンテントが、スクリーン上に表示される。
しかしながら、このような画像処理アルゴリズムに関する問題は、通常はデジタル病理学において、デジタル画像のサイズが、例えば超音波、MRI、CT、PET又はX線のような他の通常の医用イメージング機器から取得されるデジタル画像のサイズと比べてはるかに大きいことである。
結果として、デジタル病理学では、デジタル画像の大きいサイズが、はるかに集約的な計算を必要とすることが多く、特に表示スピードに関して、低いレンダリング性能につながることが多い。
このような問題を解決するために、例えば専用グラフィック処理ユニット(GPU)又は並列アーキテクチャを使用することによって、コンピューティング装置のハードウェアアーキテクチャを最適化することが提案されている。更に、画像処理アルゴリズムを最適化することも提案されている。しかしながら、合理的な最適化により良好な性能を達成することは、なお困難である。特に、このような解決策は、再び、大量の記憶空間及び特にPACSの記憶装置と計算装置との間の大きい帯域幅消費を必要とする。
上述の問題と異なる解決策が、サンプルのエリア全体を表すデジタル画像をダウンサンプリングし(解像度を低下させ)、変換(例えばコントラスト強調)をこの新しい画像に適用することによって、提案されている。ユーザがサブ領域を選択すると、システムは、ダウンサンプリングされた画像内のこの領域のコンテントを取り出す。この解決策は、リアルタイム性能を提供することができるが、病理学者に表示されるダウンサンプリングされた画像は、十分な品質をもたないことがある。
上述したように、画像処理は、画像位置合わせにも関連し、ここで再び、上述した問題が生じうる。
別の一般的な例として、病理学者は、HE画像を観察し、重要なサブ領域(例えば腫瘍エリア)を示すことを望むことがある。病理学者は、例えば免疫組織化学(IHC)技法のような更なる解析のために、別の染色技法によって準備される少なくとも1つの付加のスライドを注文することを望むことがある。付加のスライドが、IHCデジタル画像を生成するために、スキャナによりイメージングされることができる。その後、病理学者は、スクリーン上でHE画像及びIHC画像を並べて観察することを望みうる。
しかしながら、スライド準備の性質及びデジタル化プロセスのため、組織及び特徴は、正確な同じ形状、外観又は空間的アラインメントを有しないことがあり、これは、隣接組織の異なるスライド上で、同じ領域を見つけることを困難にする。
これを可能にするために、画像位置合わせが必要とされうる。画像位置合わせは、本明細書において、1つの画像からのポイントを別の画像の対応するポイントにマップする空間変換を計算するプロセスを示すことに注意すべきである。
画像位置合わせ技法は、デジタル病理学において知られており、通常、サンプルの各々の取得されたデジタル画像に対してこのような変換を適用することに基づく。
しかしながら、デジタル顕微鏡画像は、通常、デジタル放射線画像と異なることが思い出されうる。デジタル顕微鏡画像のサイズは、上述した違いの1つである。
別の違いとして、磁気共鳴(MR)画像を除く放射線画像は、絶対的な画素強度を生成する傾向がある(例えば、一般のX線及びCT画像は、ハウンズフィールドユニットを使用し、この場合、空気が−1000であり、水が0であり、骨が>400である)。MRと同様に、デジタル顕微鏡画像の画素強度分布は、非常に多様なファクタに依存し、制御するのが困難であることが多く、画像の全体が一様でなく又はスキャン同士の間で一様でないことがある。このようなファクタは、ミクロトーミング中の組織の移動、非標準的な染色プロシージャ、取得中に使用されるオートフォーカス及び他の画像処理アルゴリズムを含む。
別の違いとして、放射線科内のマルチモード画像の取得は、一般に、同じ領域をイメージングすることを必要とする(例えば、CT−PET取得は、同じ解剖学的領域を同時に取得する)。デジタル顕微鏡イメージングは、隣接組織の断面に、免疫組織化学又はインシトゥハイブリダイゼーション(ISH)のようなそれぞれ異なる染色プロシージャを適用することによって、複数モード又は表現を生成する。取得のこの形態は、放射線科画像の患者内位置合わせに最も似ている(が、なお異なる)。
上述の3つの違い(すなわち極端な画像サイズ、非絶対的画素強度分布及び隣接組織断面のマルチモード取得)は、全スライド顕微鏡検査について、特にマルチモード画像のようなデジタル顕微鏡画像の位置合わせが、容易なことではなく、再び、スピードに関してデジタル病理学システムの性能を制限する集約的な計算を必要とすることを意味する。
再び、上述の2つの解決策(ハードウェア又は画像処理アルゴリズムの最適化、及び全スライド画像のダウンサンプリング)が、デジタル病理学システムの性能を改善するために使用されることができるとしても、これは、十分でないことがある。
従って、本発明は、上述の問題を解決することを望む。
特に、改善された画像処理性能及び好適にはリアルタイム性能を有するデジタル病理学システムの要求がありうる。
更に、改善された画像位置合わせ性能をもつこのようなデジタル病理学システムの要求がありうる。このようなシステムは、病理学者が、或る画像(例えばHE画像)内のサブ領域を選択すると、システムが、リアルタイム性能を伴って、例えばIHC画像であるサンプルの別の画像内の対応するサブ領域を自動的に表示するように、改善されたマルチモード画像位置合わせを提供することが特に可能でありうる。
この点において、本発明によれば、領域内のサンプルを表す第1のデジタル画像を処理する方法であって、第1のデジタル画像は、顕微鏡イメージングシステムによってサンプルから取得されるものであり、方法が、第1のデジタル画像のサブ領域を取り出すステップと、取り出されたサブ領域に対し変換関数を実行するステップと、を含み、変換関数が、第1のデジタル画像のコンテントを変更するように適応される、方法が提案される。
更に、領域内のサンプルを表す第1のデジタル画像を処理するためのコンピュータプログラム製品であって、第1のデジタル画像は、顕微鏡イメージングシステムによってサンプルから取得されるものであり、コンピュータプログラム製品が、第1のデジタル画像のサブ領域を取り出す命令と、取り出されたサブ領域に、変換関数を実行する命令とを含み、変換関数が、第1のデジタル画像の第2の解像度表現から導き出される少なくとも1つのメトリックに従って、サブ領域のコンテントを変更する、コンピュータプログラム製品が提案される。
更に、上述したコンピュータプログラム製品を含むデジタル病理学システムが提案される。
こうして、本発明では、サンプルの走査エリアを表すデジタル顕微鏡画像に対し変換を適用するのではなく、この画像の高解像度サブ領域にのみ変換が適用される。言い換えると、変換は、高解像度サブ領域に対してのみオンデマンドで実施され、それによって、画像処理の多くの計算、例えばバッファメモリ内の多くの記憶空間、及び多くの帯域幅コストを節約する。
更に、別の利点は、特定の変換が、ワークフローの後半に選択され、例えば表示又は解析の直前にユーザによって選択されることができることである。
一実施形態によれば、変換関数は、選択されたサブ領域において、画像の知覚される品質を強化するように適応される。例えば、ユーザは、デジタル画像内のサブ領域を選択し、ユーザインタフェース60を通じてコントラスト強調関数を選択することができ、システムは、デジタル画像から、高解像度のサブ領域(一般にはその画素コンテント)を取り出し、サブ領域に対しコントラスト強調関数を適用し、このような新しい高品質画像をスクリーン上に表示することができる。従って、この非常に効率的な処理技法のおかげで、より良い品質をもつサブ領域が、リアルタイムに表示されることができる。
他の変換関数が使用されることもでき、例えば、LUT関数(ルックアップテーブル)、セグメンテーション方法、フォーマット変換(例えばRGB色空間からHSV色空間への変換)等が適用されてもよい。
他の実施形態によれば、顕微鏡イメージングシステムによって前記サンプルから取得された第2のデジタル画像が提供される。この画像から及び第1のデジタル画像から導き出されるメトリックが、変換関数を計算するために使用される。
「同じサンプル」とは、例えば同じパラフィンブロックから得られる同じ生物学的検体を示すことができることに注意すべきである。言い換えると、2つの同じサンプルは、実質的に同じ特徴及び同じトポロジーを含みうる。更に、顕微鏡イメージングシステムは、第1のデジタル画像を得るために使用したのと同じでもよく又は異なってもよい。
疑念を回避するために、更に、「メトリック」は、サブ領域コンテントを変更するための適切な変換関数を決定するために使用される任意の関数を規定することができる。メトリックは、「最適な」変換関数を決定するために、最適化プロセスにおいて使用されることができる(ここで、最適とは、メトリック関数に関して規定される)。非限定的な例として、変換関数が一般変換を実施する本発明の実施形態において、メトリックは、画像コントラスト、近傍領域のヒストグラム分布、エッジ強度又はフォーカス評価を含みうる。更に、変換関数が空間変換を実施する本発明の実施形態において、メトリックは、非網羅的な列挙であるが、差の二乗和(平均二乗誤差とも呼ばれる)、正規化された相互相関、相互情報量、又はオプティカルフロー等を含みうる。
一実施形態において、変換関数を計算することは、変換関数が実行されるサブ領域よりも好適には低い解像度で、第1及び第2のデジタル画像の間の空間変換を計算することを含む。従って、変換関数は、特に、高速の画像位置合わせを可能にし、それにより、2つの画像のサブ領域は、良好な空間整合性をもって、リアルタイムに観察されることができる。例えば、病理学者は、HE画像とIHC画像との間で、サンプル内の関心領域を比較することを望むことがある。従って、病理学者は、スクリーン上で現在観察されている第2のデジタル画像(例えばHE画像)内のサブ領域を選択することができる。システムは、2つの低解像度デジタル画像を突き合わせするのに必要な空間変換を計算し、HE画像において選択されたサブ領域に対応するIHC画像内のサブ領域を取り出し(IHC画像は、好適には、変換計算のために使用されるものより高い解像度である)、IHC画像から取り出されたサブ領域に、空間変換を適用し、このサブ領域を、HE画像の対応するサブ領域と共に表示することができる(高い解像度の選択されたものは、第1のサブ領域について選択されたものである)。
一実施形態において、第2のデジタル画像は、H&E染色技法によって準備され、基準画像を規定する。
一実施形態において、第1のデジタル画像は、IHC染色技法によって準備される。
好適な実施形態において、第2のデジタル画像が、H&E染色技法によって準備され、第1のデジタル画像が、IHC染色技法によって準備される。これは、オペレータが異なる染色技法を有する2つの画像からの対応するサブ領域を視覚化し、解析することができる。前記染色技法は、異なる構造及び/又は機能情報を強調する補完的な情報を提供する。
他の実施形態において、第1及び第2の画像のために使用される染色技法は、同じであり、例えば、サンプルの2つの画像は、IHC又はH&Eにより染色される。
一実施形態において、空間変換を決定することには、第2のデジタル画像に対し第1のデジタル画像を空間的にアラインするステップを含む。この実施形態が、2つの上述のものと組み合わせられる場合、これは、補完的な情報を用いて異なる染色技法の対応するサブ領域を視覚化する手段を提供する。
他の実施形態において、病理学者又はシステムは、第2のデジタル画像のサブ領域を選択し、このサブ領域は輪郭を有し、方法は、第1のデジタル画像のサブ領域を取り出すステップの前に、前記輪郭に変換関数を実行して、第1のデジタル画像のサブ領域の輪郭を規定する変換された輪郭を得るための付加ステップを含む。非限定的な例として、サンプルエリア全体又はその一部のHE画像が、スクリーン上に表示される場合、病理学者は、このサンプルの特定エリアを見るために、サブ領域を選択することができる。システムは、HE画像とIHC画像との間の空間変換を計算し、まず、選択されたサブ領域の輪郭に対し変換を適用し、これにより、変換された輪郭を得る。この変換された輪郭は、IHC画像内の対応するサブ領域を規定する。このサブ領域のコンテントが、IHC画像から取り出され、変換された関数が、このコンテントに対し実行され、次いで、コンテントは、例えば、HE画像の対応するサブ領域と共に並べて表示される。
一実施形態において、第1及び第2のデジタル画像内の第1及び第2のエリアは、病理学者によって又は自動的にシステムによって選択される。両方のエリアは、第1のサブ領域によって表されるエリア全体より大きい。空間変換及び特に第2のデジタル画像に対する第1のデジタル画像の空間アラインメントは、前記第1及び第2のエリア内の画像コンテントの比較に基づく。これは、デジタル画像の全部(又はその一部)からのグローバルな情報が、空間変換を計算する際に用いられることを可能にする。前記サブ領域が、変換を計算するために十分に重なり合うコンテントを含まないことがあるので、グローバルな情報は重要である。
一実施形態において、第1及び第2のエリアは、第2のデジタル画像によって表されるエリア全体に実質的に等しい。例えば、画像位置合わせは、サンプルの全体の走査エリアに基づいて実施される。より好適には、前記第1及び第2のエリアは、第1のサブ領域と重なり合う。これは、サンプルの全スキャン領域からのグローバルな情報が、空間変換を計算する際に用いられることを可能にする。
他の実施形態において、各デジタル画像は、マルチ解像度画像データ構造から提供される。変換関数を計算するステップでは、その際に使用されるデジタル画像は、画像データ構造の低解像度レベルから得られる。画像からサブ領域を読み出すステップでは、この画像は、好適には、画像データ構造のより高い解像度レベルから得られる。特に、低解像度の画像に対して空間変換を計算することのほうがかなり速いので、これは、画像位置合わせ効率の更なる改善を提供する(例えば、低解像度画像は、高解像度画像より小さい画像寸法を有する)。更に、上記から分かるように、低解像度画像について空間変換を計算し、高解像度画像にそれを適用することは、より小さい計算のオーバヘッドにより高品質の出力画像を生成する。
他の実施形態において、変換関数は、サブ領域において第1及び第2のデジタル画像の違いを強調するように適応される。これは、表示されるべき又は更に解析されるべき第1及び第2の画像の間の不一致を判定することを可能にする。
他の実施形態において、第2の画像は、画像のライブラリから直接得られ又は画像のライブラリから生成されることができる。変換関数は、ライブラリから読み出され又は生成される第2の画像に基づいて、計算されることができる。このような使用は、変換関数を計算するために取り出された第2の画像の画素データを使用することを含むが、これに限定されるものでない。他の使用は、変換関数を計算するために、読み出された第2の画像のメタデータ(原文の又は他の情報)を使用することを含みうる。生成の場合、第2の画像は、例えば、幾つかのサーチ基準を満たす画像の平均を計算することによって、ライブラリから生成されることができる。
本発明のこれら及び他の見地は、以下に記載される好適な実施形態から明らかであり、それらを参照して説明される。
デジタル病理学システムの一般的な構成要素を示す図。 マルチ解像度画像データ構造を示す概略図。 本発明の一実施形態による方法の例を示す図。 輪郭を規定することによってサブ領域が選択されるデジタル画像の表示を示す図。 本発明の他の実施形態による方法の例を示す図。 同じデジタル画像に対して2つの処理方法を使用することからの結果比較を示す図。 本発明の実施形態において使用される位置合わせフレームワークのコンポーネントを示す図。
前置きとして、画像に言及する場合の「コンテント」という語は、この画像において導き出されることができる任意の種類の情報を示すことが理解されるべきである。このような情報は、概して、サンプルに存在する特定の生物学的特徴に対応することができ、概して、画素データから導き出される情報に対応することができる。
「変換(transform)」、「変換関数(transform function)」、「変換(transformation)」という語は同じ定義を有するべきである。
「領域(area)」という語は、好適には、調査中のサンプルの物理的な部分をさすことができ、「領域(region)」又は「サブ領域(sub-region)」という語は、好適には、デジタル界の画像を一部分をさしうる。
「サブ領域(sub-region)」という語は、「領域(region)」の一部分を規定する。
更に、「画像を提供する(providing an image)」は、例えばスキャナから、記憶メモリから、イントラネットネットワーク又はインターネットのようにデータ通信リンクから、本願明細書に後述されるデータ構造等から、画像を受け取ることのような、当分野において知られているさまざまな可能性を含む。
本発明によれば、「スキャナ」という語は、顕微鏡検査法で使用される走査イメージングをさし、特に、上述の冒頭部分に記述されるものをさす。
本発明によるデジタル病理学システムは、特に、基本的に図1を参照して記述される構成要素を有する。
本発明の好適な実施形態によれば、PACシステム20は、マルチ解像度画像データ構造を有する。このようなデータ構造は、従来技術で良く知られており、DICOM標準によって特に規定される。このようなデータ構造の説明は、DICOM Supplement 145: Whole Slide Microscopic Image IOD and SOP Classes [1]においても見つけられることができる。それらは、例えば図2に示されるように表されることができる。分かるように、この例のデータ構造80は、ピラミッド形状によって表されることができる。ピラミッドにおける各高さは、同じサンプルの解像度の特定の画像レベルに対応する。最高解像度レベルは、ピラミッドの底部にあり、最低解像度が、ピラミッドの頂部にあり、一般に、サンプルのサムネイル画像に対応する。好適には、最高解像度の画像は、スキャナにより取得され、下方のレベルでは、各画像は、スキャナで取得されることができ、又は当分野で良く知られているアルゴリズムに従って、例えばウェーブレット変換を適用することによって、最高解像度画像から導き出されることができる(特に米国特許第6711297号、第6553141号又は第6925298号を参照)。有利には、このようなウェーブレット記憶フォーマットは、追加の記憶空間及び/又は帯域幅を必要とせずに、容易に実現されることができる。
更に、デジタル病理学の分野で良く知られているように、このようなデータ構造の任意のレベルは、(正方形SQのような正方形によって表される)画像のそれぞれ異なるタイルからなりうる。
データ構造は、リモートサーバに局所的に記憶され又はそこでアクセスされることができる。
この点に関して、本発明のシステムは、デコーダ70を有し、デコーダ70は、このようなデータ構造の任意の所望の画像解像度レベルの任意の所望のサブ領域に対しこのようなランダムアクセスを提供する。
本発明の好適な実施形態による方法のフローチャートは、図3に示される。当業者であれば、これらのステップ及び本願明細書に記述される本発明の方法の他のステップの記述される順序は、必須でなく、多くの適当な適応化が実施されることができることを認識するであろう。
ステップ100において、第1のデジタル画像は、スクリーン50上に表示され、例えば、H&E染色技法により染色されたサンプル又はその一部を示す画像である(この画像は、本願明細書において以下でHE画像と呼ばれる)。
病理学者は、ユーザインタフェース60を通じて、画像コントラスト強調関数のような変換関数を選択することが可能でありうる。
ステップ101でこの関数を選択することによって、システムは、メモリに、一般にバッファメモリに、この変換関数のコンピュータ命令をロードする(ステップ102)。これらの命令は、局所記憶メモリ又は遠隔ロケーション、例えばリモートサーバに記憶されることができる。
病理学者は更に、ステップ103でHE画像内のサブ領域を選択することによって、サンプル内の関心エリアを選択することが可能でありうる。病理学者は、一般に、マウスのようなポインティングデバイスを使用し、サブ領域を規定するために、スクリーン上で画像選択器をドラッグすることができる。
ステップ104において、デコーダ70は、好適には病理学者が探しているすべての詳細を病理学者が見るのに十分な高解像度で、HE画像のデータ構造内のサブ領域を局所化する。サブ領域のコンテントは、デコーダから取り出され、メモリ(例えばメモリ40)に、一般にはバッファメモリに、ロードされる。コンテントは、概して画素データである。
ステップ105において、コンピューティング装置30は、取り出されたサブ領域に対し、選択された変換関数の命令を実行し、それにより、このサブ領域のコントラストを強調する。
ステップ106において、HE画像の初期表示は、強調されたサブ領域の表示と置き換えられる。
当然ながら、他の表示オプションが可能でありうる。非限定的な例として、HE画像の表示は、スクリーン上のより小さいエリアに関して、保持されることができ、サブ領域は、HE画像の近くの、スクリーンのより大きいエリアに表示されることができる。病理学者は、このように、サブ領域の詳細に注目しつつ、サンプルのビュー全体を保持することが可能でありうる。
上述の実施形態において、変換関数は、例えばコントラスト強調のような画質強化のために、当分野において知られているアルゴリズムに対応することができ、伝達関数が、他のデジタル画像に基づいて更に決定されることができる。例えば、他のデジタル画像は、達成されるべき品質性能を規定することができる。例えば、他の画像は、HE画像でもよく、第1のHEデジタル画像について達成されるべきコントラストレベルを規定することができる。
本発明の他の好適な実施形態によれば、変換関数は、2つの異なるデジタル画像から導き出される。
例示の実施形態において、変換は、デジタル画像に対し空間変換を適用するように構成される。より正確に言うと、本願明細書において、以下の変換及びその組み合わせが使用されることができることが示される:剛体変換は、並進、回転、スケーリング、剪断、又は類似性(並進+回転+スケーリング)及びアフィン(並進+回転+スケーリング+剪断)のようなこれらの所望の組み合わせ、を含むことができる。
変形可能な変換として知られる非剛体変換は、グローバルな剛体(並進+回転)コンポーネント及び局所的な変位又は摂動を含む。Bスプライン、薄板スプライン、弾性モデル(例えば有限要素モデル)及びオプティカルフロー方法を含む、このような変換を表す多くの可能な方法がある。
このような変換関数は、上述したような効率的な画像位置合わせのために有利に使用されることができ、その中の非限定的な例示の実施形態が、本願明細書において以下に詳しく記述される。
この実施形態は、特に、例えばH&E及びIHCのような、それぞれ異なる染色技法を用いた全スライド画像の可視化を可能にする。更に、この実施形態は、スクリーン上で、固定画像(例えばHE画像)と、適時に取得され、ゆえに一般には動いている同じサンプルのいくつかの他の画像(例えばIHC画像)と、を比較することを可能にする。
アラインメント変換を全ての全スライド画像に適用するという前の計算集約的なアプローチと異なり、この実施形態は、品質を犠牲にすることなく計算及び時間制約を満たす目的で2段階戦略に基づく。
第1のステップで、空間変換が決定される。
より正確には、好適には共に低解像度であるHE画像全体及び少なくとも1つのIHC画像全体が、PACSに記憶される2つのデータ構造にアクセスすることにより、取り出され、バッファメモリにロードされる(200)。特に、HE画像内の実質的にすべてのポイント及びIHC画像の対応するポイントの空間整合を可能にする空間変換が、システムにおいて決定される(201)。変換は更に、特に2つの画像の間の空間アラインメントを可能にする。この好適な実施形態において、HE画像及びIHC画像のコンテント全体が比較される。更に、HE画像は、基準画像を規定し、IHC画像のような他の画像が、この基準画像に対して空間的にアラインされるべきである。
変換関数は、後の使用のためにメモリに記憶されることができ、又は当該ステップがすぐ後に行われる場合はバッファメモリに保持されることができる。
例示の実施形態の第2のステップにおいて、図4及び図5を参照して、HE画像内のサブ領域HE1は、ステップ202において選択されることができ、これにより、例えば図4に示される特徴Aの周りに輪郭SUB1のような輪郭を規定する。上述したように、この選択は、ポインティングデバイスを用いて病理学者自身によって、又は例えば観察される又は解析されるサンプルの関心領域を自動的に識別することが可能なシステムによって、行われることができる。
ステップ203において、戦略の第1のステップにおいて計算される空間変換は、必要に応じてバッファメモリにロードされ、ステップ204において、輪郭SUB1に実行されて、変換された輪郭SUB2を生成する。この変換された輪郭SUB2は、ここで、IHCデジタル画像のサブ領域の輪郭SUBIHCを規定し、輪郭SUBIHCは、スクリーン上に表示され、病理学者によって観察されるものである。
ステップ205において、変換された輪郭内の囲まれたサブ領域(一般に画素データ)が、IHC画像データ構造から取り出される。好適には、このサブ領域を取り出すために使用されるデータ構造内のIHC画像は、ステップ1で変換関数を計算するために取り出された全ての画像の解像度より高い解像度である。
ステップ206において、同じ空間変換が、取り出されたIHCサブ領域に対し実行される。
最後に、ステップ207において、HE画像のサブ領域及びこうして計算されたIHC画像のサブ領域が、スクリーン上に一緒に、例えば簡単な比較のために並べて、表示される。
図6Bは、ステップ204乃至206が、ステップ202で選択されたサブ領域を直接変換する単一ステップと置き換えられる方法(図6A)と比べた、この実施形態による画像処理方法の結果を示す。分かるように、本発明の実施形態は、特に、はるかにより良好な視覚的に魅力的な結果を提供する。
上述したように、戦略の第2のステップは、オンラインで実施され、リアルタイムの動作を可能にする。特に、この実施形態は、病理学者がHE画像内のサブ領域を選択した後、2つの位置合わせされたIHC及びHE画像、又は1つのHE画像及びいくつかのIHC動画をリアルタイムに表示することを可能にする。
当然ながら、当業者であれば、この好適な実施形態の明白な代替例を導き出すことが可能である。具体的には、HE画像においてサブ領域の選択を実施することに代わって、それは、IHC画像のうちの少なくとも1つにおいて行われることができ、この画像は、基準画像として規定される。
次に、空間変換を使用する実施形態のより詳細な実現例について説明する。
本願明細書において、以下、ビューポートという語は、システムの画像レンダリング器上で観察される画像の領域を示す。
1.第1のステップ:位置合わせ
位置合わせフェーズは、幾つかの動画(本発明の意味における第1のデジタル画像)を、固定の基準画像(本発明の意味における第2のデジタル画像)と空間的にアラインさせる変換を計算する責任を負う。
上述したデジタル顕微鏡画像の大きいサイズのため、プロセスのこのステップは、好適には低解像度画像について行われる。
位置合わせは、最適化問題として公式化されることができ、この場合、費用関数Cが、パラメータの座標変換T(x)に関して最小化される。最適化問題は、以下のように表されることができる:
Figure 2013530467
上式で、添字は、変換パラメータを示し、IFは、固定の基準画像であり、IMは、変換が適用される動画である。反復的最適化スキームが、上述の式で表される最小化問題を解決するために使用される。
図7は、位置合わせフレームワークのコンポーネントを表す。固定画像及び動画は、それぞれコンポーネントCFI及びCFMによって提供される。分かるように、反復最適化ループは、空間変換400、固定画像及び変換された動画の類似性を評価するためのメトリック401、現在のメトリック値を最小化するために変換パラメータを調整する最適化器402、を含む。更に、現在の変換を使用して動画(第1のデジタル画像)を再サンプリングする責任を負う補間器403と、メトリック計算のために(一般的にランダムな)画素サンプルを得るサンプラ404と、が図示される。最適化プロセス全体が、ピラミッドコンポーネント405によって計算される異なる解像度レベルについて、繰り返される。変換パラメータは、直前の解像度レベルから伝えられ、結果として、粗いものから微細なものへの反復的方法をもたらす。
上述した位置合わせフレームワークの各コンポーネントについて幾つかの異なるオプションがある。差の二乗和(SSD)、正規化相関係数(NCC)、相互情報量(MI)及びκ統計(KS)を含む類似性手段のための幾つかの選択肢がある。SSD及びNCCは、等しい又は同様の画素強度(すなわち同じモダリティ)をもつ画像に適している。対照的に、MIは、画素強度の間の統計関係を示すだけであり、従って、マルチモダリティ画像に適している。KSは、バイナリ画像を位置合わせするために使用されることができる。
位置合わせフレームワークは更に、各々が変化する自由度(μ(ミュー)の次元)をもつ幾つかの変換関数を実施することができる。以下は、括弧内に示される自由度をもつ、考えられる変換関数の非限定的なリストである:並進(2)、回転(2)、剛体(並進及び回転、4)、類似(並進、回転及び等方的スケーリング、5)、アフィン(並進、回転、スケーリング及び剪断、6)、変形可能なBスプライン(ユーザ選択されたグリッドサイズに依存する可変の次元数)。更に、勾配降下法、準ニュートン法、進化戦略法及び幾つかの確率的勾配降下法を含むさまざまな最適化手法が実現可能である。
マルチモード解析を含むケースは、一般に、少なくとも1つのH&E染色スライド及び1又は複数のIHC染色スライドを含みうる。例えば、乳房生検は、H&E及び以下のIHC染料で染色されることができる:ER(エストロゲンレセプタ)、PgR(プロゲステロンレセプタ)、HER2(ヒト表皮の成長因子受容体2)及びKi−67。それは大部分の病理学ケースに共通であるので、H&Eが、固定画像(本発明という意味における第2のデジタル画像)に選ばれ、各IHC染色画像が、この単一の基準画像に空間的にアラインされる。この選択は、両方のH&E−IHC及びIHC―IHC解析を可能にするために、位置合わせプロセスが一度だけ各IHC画像に適用される必要があることを意味する。例えば:H&E−ER及びH&E−HER2を位置合わせすることによって、追加の計算なしで、ER−HER2アライン画像を観察することが可能である。
マルチモードデジタル全スライド顕微鏡画像の位置合わせは、上述の類似性メトリックの多くを自動的に除外することができる。
好適な選択は、その統計性質のため、異なるモダリティからの画像を本質的にサポートする相互情報量(MI)である。1つの可能性のある実現例は、固定画像及び動画の単一チャネル(例えば輝度)に関してMIメトリックを計算することであるが、変換関数は、完全な3チャネルカラー画像に適用される。メトリックが与えられる場合、どの最適化器及びサンプラを使用するべきかという判定は、非常により容易である。相互情報量は、ランダムに選ばれたサンプルを使用する場合、及び計算効率的な確率的勾配降下法を使用する場合に、良好な結果を生成するために知られている(費用関数の導関数が近似される点で、確率的勾配降下は決定論的方法と異なる)。
空間変換関数のさまざまな選択肢がありうる。計算効率及び速度のために、固定画像及び動画を空間的にアラインさせるために並進のみを適用することが望ましいことがある。このような演算は、ビューポートで目に見える画素について要求の単純な変更を必要とする。しかしながら、組織が、スライド準備プロセス中に局所的変形を容易に受けることがあるので、グローバルな並進変換は、概して、画像を十分にアラインさせることに失敗することがある。更に、グローバルな固定変換は、改善がありながらも、局所的変形を記述するのに十分な自由度を有することができないことがある。変形可能な変換は、局所的摂動を与えるために必要な自由度を有することができるが、組織を復元するために正しい逆歪曲を適用していることを保証されない。更に、このタイプの変換の各々は、異なる計算複雑さを有する。
2.第2のステップ:オンライン変換
上述したように、デジタル全スライド画像のサイズ(15−30GBのオーダー)のため、画像全体を観察のためにメモリにロードすることは困難でありうる。このように、特に、図2を参照して上述したようにピラミッドのようなタイルベースのデータ構造は、所与の解像度レベルについて特定の領域へのランダムアクセスを可能にするために有利に使用されることができる。これらの極度のサイズが、観察に関してだけでなく、画像処理及び位置合わせ方法を考える際にも問題を含みうる。当然ながら、1つの可能性は、位置合わせ変換をデジタル画像全体に適用することでありうる。これは技術的には非常に単純であるが、それは、不必要な計算オーバヘッドを伴う:ほとんどの場合、臨床病理学者は、ハイパワーフィールドで(例えば20x又は40xのズーム比)で、ほんの少数の領域をチェックする。この画像の一部分のみが観察される場合に、画像全体に変換を適用することは、非効率的でありうる。更に、この全スライド画像を処理することは、ユーザが、どのタイプの変換関数(グローバルな剛体、変形可能、局所並進、等)が適用されなければならないかを実行時に選択することができないことを意味する。
このような問題を回避するために、直前のステップで計算された変換は、現在可視である領域、すなわちビューポート又は異なるサブ領域にのみ適用される。
ここで、選択された変換が、単にビューポートの画素に適用されるように、表示のためのビューワが実現されることができる。ステップは、一般に以下の通りである:(1)ビューポートが、病理学者によって選択される。(2)ビューポート内の画素が、ピラミッド形データ構造から得られる。(3)要求された画素は変換される。(4)変換された画素が表示される。
残念ながら、そうすることによって、大きい空間変換関数が、図6に示されるように、ビューポート外の要求された画素を動かす。この問題は、より高い解像度(例えば20x、40x)で最も明白であり、その理由は、変換の効果が更に増強されるからである。
従って、その代わりに、上述の本発明の好適な実施形態による方法が再び使用される。
(1)ビューポートが、病理学者によって選択される。
(2)ビューポートが、空間変換によって変更される。
(3)変形された領域内の画素が、データ構造から得られる。
(4)要求された画素が変換される。
(5)変換された画素が表示される。
要求されるサブ領域の変更は、各々の変換タイプごとにわずかに異なりうる。恒等変換の場合、要求されたサブ領域は変更されない。並進変換は、単に、サブ領域の各角部が、変換ベクトルによりオフセットされることを必要とする。剛体変換の場合、サブ領域の各角部の位置は変換され(並進された、回転され)、要求された領域は、変換された位置の境界ボックスにセットされる。同様に、変形可能な変換の場合、サブ領域にある多くの等しく間隔を置かれたポイントが変換され、要求されたサブ領域は、変換されたポイントによって規定される輪郭にセットされる。剛性変換の場合と異なり、変形可能な場が、サブ領域全体にとって一様でないので、角部のポイントは、変形可能な変換に十分でないことがある。8乃至16のポイントが十分であることが経験的に分かった。
ここで、変形可能な変換及びビューポート変更の新しい組み合わせを記述することが興味深い。グローバルな剛体変換関数及び変形可能な変換関数の場合、ビューポート変更の後に要求される画素は、ある種の補間(線形、バイキュービック、等)を受けなければならない。この補間は、リアルタイムのフレームレートで実現するのが可能であるが、なお計算資源を消費する。更に、ローパスフィルタとみなされる場合、このような補間は、最終的に、ある程度の平滑化をソースデータにもたらす。対照的に、シンプルな並進は、これらの問題を両方とも回避し、要求されたサブ領域は、並進を与えるように変更され、計算及び補間の平滑化作用を回避する。しかしながら、前述のように、並進は、局所的な組織変形を与えるのに決して十分でない。
全スライド画像(すなわちグローバル)について並進を計算し適用する代わりに、現在ビューポートの局所化された並進を抽出するために、変形変換を使用することが可能である。この「局所的な並進」は、以下のように計算されることができる:
(1)ビューポートは、ユーザによって選択される。
(2)ビューポートは、上述したように変形可能な変換によって変更される。
(3)元のビューポートと同じサイズの領域が、変更されたビューポート内の中心とされる。
(4)中心とされた領域内の画素は、データ構造から得られる。
(5)要求された画素が表示される。
1つの明らかな欠点は、変換が局所的な回転を与えないことであり、これは、スライド画像が(粗い)角度一致を必要とすることを意味する。別の問題は、低いズーム比の場合(例えば全スライド画像がビューポートにフィットする場合)、変換が、グローバル並進になることである。高いズーム比(例えば40x)の場合、変換は、(回転コンポーネント又は高度に局所化された摂動なしに)変形可能な変換を近似すべきである。
上記で提案されたように、位置合わせフェーズは、2つのサブステップを含む:第1のサブステップは、剛体変換を計算し、第2のサブステップは、非剛体(変形可能)変換を計算するための初期化として剛体結果を使用する。各々のサブステップは、複数の解像度レベルにわたって計算されることができ、直前のレベルからの結果が、現在レベルの初期化として使用される。位置合わせを計算する「最終」レベルを変えることが可能である。レベルゼロは、画像ピラミッドの底部レベル(例えば本来の走査された20x画像)をさすことに注意されたい。例えば、6の最終レベルは、以下を示す(3つの解像度レベルを仮定する):(1)レベル8で剛体変換を計算する。(2)その結果を使用して、レベル7の剛体変換をリファインする。(3)その結果を用いて、レベル6の剛体変換をリファインする。(4)レベル6からの剛体変換を使用して、レベル8の変形可能な変換を計算する。(5)結果を使用して、レベル7の変形可能な変換をリファインする。(6)結果を使用して、レベル6の最終的な変形可能な変換をリファインする。
実験は、特に変形可能な変換の場合、高解像度レベル(例えば4及び5)は、低解像度レベル(例えば6及び7)より少ない位置合わせ誤差(及びより少ない偏差)を有することを示すようである。更に、位置合わせプロセスは、高解像度(例えばレベル4及び5)の場合よりも低解像度(例えばレベル6及び7)の場合により高速であることが見込まれる。従って、5又は6の最終レベルを使用することが、品質とスピードとの間の良好なトレードオフを提供するようである。全デジタル顕微鏡画像を位置合わせするために最も適切な変換を選択することが困難であることを思い出されたい。グローバル並進は、高速であるが、回転又は局所的な変形を与えることに欠ける。グローバル剛体変換は、回転を与えるが、局所的な変形を与えない。非剛体(変形可能)変換は、多数のパラメータ(すなわちスピード)を犠牲にして、局所的な摂動を扱う。最後に、局所的な並進変換は、高速であり、元の画像品質を維持するが、組織変形を十分に与えない。
実験は、変形可能な変換が最も遅く、局所的な並進が、変換無し(恒等)の場合と同じくらい高速に実施されることを示す。更なる実験は、すべてのズーム比について、変形可能な変換が、剛体変換より良好であり、次いで、恒等変換よりも良好であることを示唆する。他方、局所的な並進アプローチは、低いズーム比の恒等変換と同様であり、中間ズーム比の剛体変換と同様であり、高いズーム比の変形可能な変換と同じ品質に近づく。
要約すると、グローバル剛体変換は、媒体性能及び品質を提供する。変形可能な変換は、最善の品質を提供し、すべてのズーム比にわたって一定である;しかしながら、それは、(初期計算、及びビューポートの画素を変換するときの両方において)最も遅い。変形可能な変換は、組織構造及び細胞を正確にアラインさせることを試みるが、それは更に、平滑化による画像品質に対するわずかな負の影響を与えることが理解されうる補間を必要とする。局所的な並進変換は、最善の性能を有するが、それは、初期オフライン計算のための変形可能な変換と同じ時間を要する。局所的な並進変換は、補間を必要としないので、高いズーム比で良好な画像品質及びオーバラップを提供するが、低いズーム比でグローバル並進になる。
本発明の教示は、上述した実施形態又は変更の任意の組み合わせをカバーすることが明示的に意図される。
本発明は、図面及び上述の記述に詳しく例示され記述されているが、このような図示及び記述は、説明的又は例示的なものと考えられるべきであり、制限的なものではない。本発明は、開示された実施形態に制限されない。開示された実施形態の他の変更例は、図面、開示及び添付の請求項の検討に基づいて、請求項に記載の本発明を実施する当業者によって理解され、実行されることができることができる。
例えば、本発明は、大きいデジタル画像は、サーバに記憶されることができ、クライアントは、大きい画像の少なくとも1つの対話的ビューを提供し、このデジタル画像全体のサブ領域のみが表示される実施形態を含む。変換関数は、スクリーン上にサブ領域を表示する直前に、クライアントによってこのサブ領域に適用される。
別の例として、変換関数は、スキャナから直接に得られることができ、又はそれが記憶されている遠隔ロケーションからシステムに通信されることができる。
更に、IHC及びH&E染色技法が上述されているが、本発明は、蛍光透視法(例えば蛍光インシトゥハイブリダイゼーション)のような他のよく知られた技法を使用する実施形態を含む。その上、第1及び第2の画像に関して本発明を実現する場合、これらの染色技法のうち2つの任意の組み合わせが考えられることができ、例えばHE画像及びIHC画像、又はIHC画像及びIHC画像、又はHE画像及び蛍光画像、等が考えられる。
請求項において、「含む、有する(comprising)」という語は、他の構成要素又はステップを除外せず、不定冠詞「a」又は「an」は複数性を除外しない。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。請求項における任意の参照符号は、請求項の範囲を制限するものとして解釈されるべきでない。
[1]DICOM Standards Committee Working Group 26 (Pathology); Supplement 145: Whole Slide Microscopic Image IOD and SOP Classes; NEMA;
ftp://medical.nema.org/medical/dicom/supps/sup145_09.pdf

Claims (16)

  1. 領域内のサンプルを表す第1のデジタル画像を処理する方法であって、前記第1のデジタル画像は、顕微鏡イメージングシステムよって前記サンプルから取得され、マルチ解像度画像データ構造に記憶されるものであり、前記方法が、
    第1の解像度で前記第1のデジタル画像のサブ領域を取り出すステップと、
    前記取り出されたサブ領域に変換関数を実行するステップであって、前記変換関数は、前記第1のデジタル画像の第2の解像度表現から導き出される少なくとも1つのメトリックに従って、前記サブ領域のコンテントを変更する、ステップと、
    を含む方法。
  2. 前記第1の画像から導き出される前記メトリックに加えて、第2のデジタル画像から導き出される少なくとも1つのメトリックに従って、前記変換関数を計算するステップを更に含む、請求項1に記載の方法。
  3. 前記変換関数は空間変換である、請求項2に記載の方法。
  4. 前記第1及び第2のデジタル画像は同じサンプルを表し、
    前記変換関数を計算する前記ステップは、前記第2のデジタル画像に対して前記第1のデジタル画像を空間的にアラインするステップを含む、請求項2に記載の方法。
  5. 前記第2のデジタル画像内のサブ領域を選択するステップであって、前記サブ領域が輪郭を有する、ステップを更に含み、
    前記方法は、前記第1のデジタル画像のサブ領域を取り出す前記ステップの前に、前記輪郭に前記変換関数を実行して、前記第1のデジタル画像の前記サブ領域の輪郭を規定する変換された輪郭を得る付加のステップを更に含む、請求項2乃至4のいずれか1項に記載の方法。
  6. 前記第1及び前記第2のデジタル画像内で第1及び第2のエリアを選択するステップを更に含み、前記第1及び前記第2のエリアは共に、前記第1のサブ領域によって表されるエリア全体より大きく、前記第1のデジタル画像は、前記第1及び前記第2のエリアのコンテント比較に基づいて、前記第2のデジタル画像に対してアラインされる、請求項2乃至5のいずれか1項に記載の方法。
  7. 前記第2のデジタル画像が、マルチ解像度画像データ構造から提供され、前記変換関数を計算する前記ステップにおいて、前記第1及び前記第2のデジタル画像は低解像度であり、取り出されるサブ領域は高解像度である、請求項2乃至6のいずれか1項に記載の方法。
  8. 前記第1及び前記第2のエリアは、前記第2のデジタル画像によって表されるエリア全体に実質的に等しい、請求項6又は7に記載の方法。
  9. 前記第1及び前記第2のエリアは、前記第1のサブ領域と重なり合う、請求項6乃至8のいずれか1項に記載の方法。
  10. 前記変換関数は、前記第1及び前記第2のデジタル画像の間の違いを前記サブ領域において強調表示するように適応される、請求項2乃至9のいずれか1項に記載の方法。
  11. 前記第1及び前記第2のデジタル画像は、第1及び第2のサンプル準備技法をそれぞれ使用して取得されたものであり、これらの2つの技法はそれぞれ異なる、請求項2乃至10のいずれか1項に記載の方法。
  12. 前記第2のデジタル画像のサンプルは、H&E染色技法によって準備される、請求項11に記載の方法。
  13. 前記第1のデジタル画像のサンプルは、IHC染色技法又は蛍光染色技法によって準備される、請求項11又は12に記載の方法。
  14. 前記変換関数は、前記サブ領域のコントラストを強調するように適応される、請求項1に記載の方法。
  15. 領域内のサンプルを表す第1のデジタル画像を処理するためのコンピュータプログラムであって、前記第1のデジタル画像は、顕微鏡イメージングシステムによって前記サンプルから取得されたものであり、前記コンピュータプログラムが、
    前記第1のデジタル画像のサブ領域を取り出す命令と、
    前記取り出されたサブ領域に対し変換関数を実行する命令であって、前記変換関数は、前記第1のデジタル画像のコンテントを変更するように適応されるものである、命令と、
    をコンピュータに実行させる、コンピュータプログラム。
  16. 顕微鏡イメージングシステムによって前記サンプルから取得された第2のデジタル画像を提供し、
    前記第1及び前記第2のデジタル画像の間の空間変換を決定する、
    ことによって、前記変換関数を計算する命令を更にコンピュータに実行させる、請求項15に記載のコンピュータプログラム。
JP2013514816A 2010-06-15 2011-06-10 顕微鏡検査法の画像処理方法 Active JP5784718B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10305643.8 2010-06-15
EP10305643 2010-06-15
PCT/IB2011/052546 WO2011158162A1 (en) 2010-06-15 2011-06-10 An image processing method in microscopy

Publications (2)

Publication Number Publication Date
JP2013530467A true JP2013530467A (ja) 2013-07-25
JP5784718B2 JP5784718B2 (ja) 2015-09-24

Family

ID=44583863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013514816A Active JP5784718B2 (ja) 2010-06-15 2011-06-10 顕微鏡検査法の画像処理方法

Country Status (7)

Country Link
US (1) US8995790B2 (ja)
EP (1) EP2583240B1 (ja)
JP (1) JP5784718B2 (ja)
CN (1) CN102947860B (ja)
BR (1) BR112012031688A2 (ja)
TR (1) TR201814942T4 (ja)
WO (1) WO2011158162A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182626A (ja) * 2012-03-02 2013-09-12 Sony Corp 自動画像アラインメント
JP2015031599A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 画像重ね合わせ方法
JP2017502362A (ja) * 2013-10-01 2017-01-19 ベンタナ メディカル システムズ, インコーポレイテッド ラインベースの画像位置合わせ及び交差画像注釈デバイス、システム、及び方法
JP2017506384A (ja) * 2014-02-04 2017-03-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 少なくとも二画像をレジストレーション及び視覚化するための方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774518B2 (en) * 2011-08-02 2014-07-08 Nec Laboratories America, Inc. Digital pathology system with low-latency analytics
US20130110537A1 (en) * 2012-01-19 2013-05-02 Douglas K. Smith Cloud-based Medical Imaging Viewer and Methods for Establishing A Cloud-based Medical Consultation Session
CN103854276B (zh) * 2012-12-04 2018-02-09 东芝医疗系统株式会社 图像配准及分割装置和方法,以及医学图像设备
EP2929453B1 (en) * 2012-12-06 2020-04-08 Global Life Sciences Solutions USA LLC Selection and display of biomarker expressions
WO2014165972A1 (en) 2013-04-09 2014-10-16 Laboratoires Bodycad Inc. Concurrent active contour segmentation
WO2014165973A1 (en) * 2013-04-09 2014-10-16 Laboratoires Bodycad Inc. Multi-scale active contour segmentation
DE102013107301A1 (de) * 2013-07-10 2015-01-15 microDimensions GmbH Verfahren zur Bildregistrierung
US9412162B2 (en) 2013-08-21 2016-08-09 Sectra Ab Methods, systems and circuits for generating magnification-dependent images suitable for whole slide images
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2015150392A1 (en) 2014-04-03 2015-10-08 Koninklijke Philips N.V. Examining device for processing and analyzing an image
US9449246B1 (en) * 2015-05-14 2016-09-20 Mitsubishi Electric Research Laboratories, Inc. Method for deformable image registration
CN106296635B (zh) * 2015-05-29 2019-11-22 厦门鹭佳生物科技有限公司 一种荧光原位杂交(fish)图像并行处理与分析方法
US11416983B2 (en) 2015-08-24 2022-08-16 Koninklijke Philips N.V. Server-client architecture in digital pathology
US10489633B2 (en) 2016-09-27 2019-11-26 Sectra Ab Viewers and related methods, systems and circuits with patch gallery user interfaces
US11302439B2 (en) * 2017-06-27 2022-04-12 Sony Corporation Medical image processing apparatus, medical image processing method, and computing device
US11977215B2 (en) 2018-11-02 2024-05-07 Hologic, Inc. Digital imaging system and method
WO2020219305A1 (en) * 2019-04-24 2020-10-29 Icahn School Of Medicine At Mount Sinai Systems and methods to label structures of interest in tissue slide images
CN113096166B (zh) * 2019-12-17 2023-08-18 上海美杰医疗科技有限公司 一种医学影像配准的方法和装置
US11447355B2 (en) 2020-06-03 2022-09-20 San Jamar, Inc. Rolled web material feed assembly
CN112270684B (zh) * 2020-12-25 2021-04-06 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037250A (ja) * 1997-03-03 2009-02-19 Bacus Lab Inc コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2010500571A (ja) * 2006-08-07 2010-01-07 ゼネラル・エレクトリック・カンパニイ 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
JP2010511213A (ja) * 2006-11-16 2010-04-08 ヴィジオファーム エイ/エス 区分画像の特徴に基づく登録/画像を取得して解析するための方法
US20100121172A1 (en) * 2008-11-12 2010-05-13 Siemens Corporate Research, Inc. Microscopic and macroscopic data fusion for biomedical imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5161052B2 (ja) * 2008-12-04 2013-03-13 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
US6711297B1 (en) 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
US6281874B1 (en) * 1998-08-27 2001-08-28 International Business Machines Corporation Method and system for downloading graphic images on the internet
US6195451B1 (en) * 1999-05-13 2001-02-27 Advanced Pathology Ststems, Inc. Transformation of digital images
US6553141B1 (en) 2000-01-21 2003-04-22 Stentor, Inc. Methods and apparatus for compression of transform data
US6700589B1 (en) 2000-02-17 2004-03-02 International Business Machines Corporation Method, system, and program for magnifying content downloaded from a server over a network
US7505614B1 (en) * 2000-04-03 2009-03-17 Carl Zeiss Microimaging Ais, Inc. Remote interpretation of medical images
WO2002090991A2 (en) * 2001-05-03 2002-11-14 Oxford Glycosciences (Uk) Ltd Proteins and genes for diagnosis and treatment of erbb2-related cancer
US6925298B2 (en) 2002-08-26 2005-08-02 Asustek Computer Inc. Initialization for hyper frame number of signaling radio bearers
CN1981302B (zh) * 2004-07-09 2010-12-29 奥林巴斯株式会社 图像处理装置和方法
US7451405B2 (en) 2004-09-15 2008-11-11 Research In Motion Limited Method for requesting and viewing a zoomed area of detail from an image attachment on a mobile communication device
US7489825B2 (en) * 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
US7684647B2 (en) * 2005-11-16 2010-03-23 Accuray Incorporated Rigid body tracking for radiosurgery
RU2010152658A (ru) * 2008-05-23 2012-06-27 Те Острейлиан Нэшнл Юниверсити (Au) Обработка данных изображения
US8300965B2 (en) * 2009-03-24 2012-10-30 General Electric Company Methods and apparatus to perform multi-focal plane image acquisition and compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037250A (ja) * 1997-03-03 2009-02-19 Bacus Lab Inc コンピュータ制御の顕微鏡から試料の拡大イメージを取得し再構成するための方法および装置
JP2010500571A (ja) * 2006-08-07 2010-01-07 ゼネラル・エレクトリック・カンパニイ 組織マイクロアレイの多チャネル画像の共位置合わせシステム及び方法
JP2010511213A (ja) * 2006-11-16 2010-04-08 ヴィジオファーム エイ/エス 区分画像の特徴に基づく登録/画像を取得して解析するための方法
US20100121172A1 (en) * 2008-11-12 2010-05-13 Siemens Corporate Research, Inc. Microscopic and macroscopic data fusion for biomedical imaging

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013182626A (ja) * 2012-03-02 2013-09-12 Sony Corp 自動画像アラインメント
JP2015031599A (ja) * 2013-08-02 2015-02-16 オリンパス株式会社 画像重ね合わせ方法
JP2017502362A (ja) * 2013-10-01 2017-01-19 ベンタナ メディカル システムズ, インコーポレイテッド ラインベースの画像位置合わせ及び交差画像注釈デバイス、システム、及び方法
JP2017506384A (ja) * 2014-02-04 2017-03-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 少なくとも二画像をレジストレーション及び視覚化するための方法

Also Published As

Publication number Publication date
WO2011158162A1 (en) 2011-12-22
BR112012031688A2 (pt) 2016-08-16
US8995790B2 (en) 2015-03-31
CN102947860B (zh) 2018-09-07
EP2583240A1 (en) 2013-04-24
JP5784718B2 (ja) 2015-09-24
US20130089249A1 (en) 2013-04-11
TR201814942T4 (tr) 2018-11-21
EP2583240B1 (en) 2018-08-08
CN102947860A (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5784718B2 (ja) 顕微鏡検査法の画像処理方法
Beers et al. High-resolution medical image synthesis using progressively grown generative adversarial networks
US10631812B2 (en) Apparatus and system for rule based visualization of digital breast tomosynthesis and other volumetric images
US9214009B2 (en) Image registration device and method, image segmentation device and method and medical image apparatus
CN109754394B (zh) 三维医学图像处理装置及方法
EP2100275B1 (en) Comparison workflow automation by registration
EP3447733B1 (en) Selective image reconstruction
US20190251714A1 (en) Methods and Systems for Accelerated Rreading of a 3D Medical Volume
Mueller et al. Real-time deformable registration of multi-modal whole slides for digital pathology
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
US9858716B2 (en) Fast three-dimensional visualization of object volumes without image reconstruction by direct display of acquired sensor data
US20150131882A1 (en) Medical image data processing apparatus and method
US9384592B2 (en) Image processing method and apparatus performing slab multi-planar reformatting rendering of volume data
EP2372649B1 (en) Method and sytem for defining a breast window
Tian et al. Medical image processing and analysis
US9053541B2 (en) Image registration
US20170278244A1 (en) Method and a system for non-rigid image registration
US8805122B1 (en) System, method, and computer-readable medium for interpolating spatially transformed volumetric medical image data
EP4287114A1 (en) Learned model generation method, machine learning system, program, and medical image processing device
Zheng et al. SR-CycleGAN: super-resolution of clinical CT to micro-CT level with multi-modality super-resolution loss
Marti et al. Two-dimensional–three-dimensional correspondence in mammography
Macho et al. Segmenting Teeth from Volumetric CT Data with a Hierarchical CNN-based Approach.
Díaz-García et al. Adaptive transfer functions: Improved multiresolution visualization of medical models
WO2023001089A1 (en) Generative adversarial network-based lossless image compression model for cross-sectional imaging
Giachetti et al. Edge Adaptive and Energy Preserving Volume Upscaling for High Quality Volume Rendering.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130502

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150722

R150 Certificate of patent or registration of utility model

Ref document number: 5784718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250