JP2016508769A - 医用画像処理 - Google Patents

医用画像処理 Download PDF

Info

Publication number
JP2016508769A
JP2016508769A JP2015554281A JP2015554281A JP2016508769A JP 2016508769 A JP2016508769 A JP 2016508769A JP 2015554281 A JP2015554281 A JP 2015554281A JP 2015554281 A JP2015554281 A JP 2015554281A JP 2016508769 A JP2016508769 A JP 2016508769A
Authority
JP
Japan
Prior art keywords
image
signature
signatures
samples
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015554281A
Other languages
English (en)
Other versions
JP2016508769A5 (ja
Inventor
オクタヴィアン ソルデア
オクタヴィアン ソルデア
フローレス ジェラルド サンティアゴ
フローレス ジェラルド サンティアゴ
ラドゥ セルバン ヤシンスキ
ラドゥ セルバン ヤシンスキ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016508769A publication Critical patent/JP2016508769A/ja
Publication of JP2016508769A5 publication Critical patent/JP2016508769A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

医用画像の処理のための装置は、人若しくは動物の体の一部の特徴をあらわす画像を受信するための受信器１０１を有する。画像は例えば磁気共鳴若しくはコンピュータ断層撮影画像であり得る。シグネチャユニット１０３は第一の画像からシグネチャの画像関連セットを決定する。サンプルストア１０９はサンプルのセットの形のデータベースを有し、各サンプルはシグネチャのサンプル関連セットと医用データを有する。マッチングユニット１０５はサンプルのセットのシグネチャのサンプル関連セットへのシグネチャの画像関連セットの比較に応じてサンプルのセットからマッチングサンプルのセットを決定する。そして決定ユニット１１１はマッチングサンプルのセットのサンプルに含まれる医用データに応じて画像に対する医用データを決定する。

Description

本発明は人若しくは動物の体の一部の医用画像の処理に関し、特に、磁気共鳴イメージング（ＭＲＩ）画像の処理に関するがこれに限定されない。
デジタル画像の画像処理はますます重要になり普及している。実際、処理能力はますます高くなりコスト効率が高くなっているので、多数の画像処理アプリケーションが魅力的になりつつある。特に、ここ数十年で、画像処理は医療分野でますます有益になり普及しており、研究、診断及び治療の様々な態様に役立ち得る。これはより複雑な画像生成手段の出現によりさらに激化している。実際、医療分野で、画像は単に視覚的シーン（すなわち光）のキャプチャであるだけに限らず、他の感覚入力からも生成され得る。例えば、二次元若しくはさらに三次元画像が超音波スキャン若しくはｘ線イメージングから生成され得る。医療分野における別の重要な画像源は、体内の原子核の核磁気共鳴（ＮＭＲ）の特性を検出する磁気共鳴イメージング（ＭＲＩ）である。これらの特性の検出は体内部位の詳細な二次元若しくは三次元画像が生成されることを可能にする。例えば、これは脳内の活動を反映する詳細画像が作られることを可能にする。
しかしながら、この新たな技術における実質的な問題は、熟練した専門家によって画像を解釈する複雑さと困難さである。この処理を支援するために、画像処理がますます実行される。このような画像処理は単に、例えば特定画像オブジェクトのハイライト、コントラスト増強などといった、画像の視覚表現を改善するアルゴリズムとアプローチにあり得る。しかしながら、画像から抽出される医用データの提供に役立てようとする他のアルゴリズムが開発されている。このようなアルゴリズムは特に、関連データを伴う保存画像のデータベースへの研究中の画像の比較に基づき得る。
このようなシステムにとって重要な課題と典型的な制限要因は、操作に要する原処理能力である。実際、画像は典型的には大量のデータによってあらわされ得る。例えば、一つの三次元ＭＲＩ画像は５００ＭＢを超えるデータになり得る。このような画像を多数のそれに対応して大きな参照画像と比較することは膨大な処理能力を要する。これは設備費を増大するだけでなく処理に遅延も導入し、典型的には検索され得るデータベースのサイズを著しく制限する。
従って、改良されたアプローチが有利であり、特に柔軟性の増加、コストの削減、効率の増加、計算リソース使用の削減、より正確な若しくは信頼できる医用データの生成、及び／又は性能の向上を可能にするアプローチが有利である。
従って、本発明は好適には単独で若しくは任意の組み合わせで上述の欠点の一つ以上を軽減、緩和若しくは除去しようとする。
本発明の一態様によれば、画像処理のための装置が提供され、装置は、人若しくは動物の体の一部の特徴をあらわす第一の画像を受信するための受信器と、第一の画像からシグネチャの画像関連セットを決定するシグネチャユニットと、各サンプルがシグネチャのサンプル関連セットと医用データを有する、サンプルのセットを保存するためのサンプルストアと、サンプルのセットのシグネチャのサンプル関連セットへのシグネチャの画像関連セットの比較に応じてサンプルのセットからマッチングサンプルのセットを決定するためのマッチングユニットと、マッチングサンプルのセットのサンプルに含まれる医用データに応じて第一の画像に対する医用データを決定するように構成される決定ユニットとを有する。
本発明は医用画像の改良された画像処理を可能にし得る。多くの実施形態において、本発明は例えばコンピュータによって容易にされた医用画像の解釈と分析を容易にし、及び／又は改良し得る。実際、多くの実施形態において、本発明は画像に対する医用データの自動生成を可能にし得る。一部のアプリケーションにおいて、画像処理は医療従事者が患者のための診断及び／又は治療を決定するのに役立ち得る。
アプローチは特にデータベースからの関連医用データのより効率的な抽出を可能にし、例えば関連データを識別するための計算リソース要件を大幅に削減し得る。これは例えばより大きなデータベースが利用されることを可能にし、それによって改良された医用データが作成されることを可能にし得る。アプローチは多くのシナリオにおいて医用情報のより効率的な保存を提供し、特に画像情報の効率的な保存を可能にし、それによってメモリ要件を軽減し、これもより大きなデータベースが利用されることを可能にし得る。
アプローチは多くの実施形態において異なる機能ユニット間で非常に効率的な通信を可能にし、データパスを相互接続するために低減された通信帯域幅を要し得る。これは例えば異なる機能が相互から遠隔に設置されることを可能にし、異なる機能ユニットを実装する際に個々の最適化を可能にし得る。
アプローチは分散処理を可能に若しくは有効にし、特にネットワーク処理を可能にし得る。例えば、シグネチャの生成など、機能の一部はユーザにとって好都合に位置し得るが、一方データベース及び比較機能は遠隔に位置し得る。シグネチャの使用により、交換される必要があるデータ量が大幅に削減され得るので、かかるアプローチは例えばインターネットを含む多くの既存の通信ネットワークを用いて実現され得る。アプローチはまた、例えば中央共通データベース及び比較機能が複数の分散ユーザステーションをサポートすることができる、集中構造を可能に若しくは容易にし得る。
第一の画像はパラメータ若しくはパラメータの組み合わせの視覚表現を提供する任意の信号若しくはデータ集合であり得る。第一の画像は視覚特徴のキャプチャである必要はなく、非視覚特性の視覚表現であってもよい。例えば、第一の画像はｘ線画像若しくは磁気共鳴スキャンから生成される画像であり得る。シグネチャは画像の特性の表示であるか、若しくは画像から導出され得る。シグネチャの画像関連セットは典型的には画像をあらわすために使用されるよりも少ないデータによってあらわされ得る。典型的に、シグネチャの画像関連セットのデータサイズは画像のデータサイズの少なくとも１０分の１である。シグネチャは典型的には特定画像特性の（非常に）コンパクト表現であり、これは典型的にはさらなる画像処理、サーチ・検索、及び診断にとって重要であるとみなされる。
各サンプルはそのサンプルについてのシグネチャの画像関連セットを有するデータ集合であり得る。さらに各サンプルデータ集合は関連医用データを有し得る。医用データは病状若しくは疾患を示し得る。
マッチングサンプルのセットは一部の状況においてただ一つのマッチングサンプルを含み得る。マッチングサンプルのセットは、シグネチャの画像関連セットとシグネチャのサンプル関連セットがマッチ基準を満たす、サンプルのセットからのサンプルを有し得る。
一部の実施形態において、画像処理のための装置は、非常に類似する特徴を示す画像を見つけるために類似画像の大きなデータベースを第一の画像に基づいて自動的に検索することができる自動システムを提供し得る。そしてこれらのマッチング画像について保存された医用データが抽出され、例えば医療従事者に出力され得る。
本発明のオプションの特徴によれば、シグネチャの画像関連セットの少なくとも一部のシグネチャは局所画像情報をあらわす局所シグネチャである。
これは病状に特定の相関関係を持つ特徴を示す特に有利なシグネチャを提供し得る。局所シグネチャの各々は多くの実施形態において局所画像エリアの少なくとも部分的な再構成を可能にし得る。
本発明のオプションの特徴によれば、シグネチャユニットは第一の画像を複数の画像セグメントに分割するように構成され、シグネチャユニットは、その各々が画像セグメントに対して局所シグネチャを決定するために画像セグメントのサブセットを処理するように構成される複数の処理素子を持つ並列プロセッサを有する。
これは特に効率的な処理を提供し、多くの実施形態においてシグネチャの生成を著しく加速し得る。システムは特に分割処理及び並列処理に適する。特に、システムは例えばコンピュータグラフィック処理のために使用されるＧＰＵなど、例えば低コストグラフィカル処理ユニット（ＧＰＵ）による部分処理に特に適する。
本発明のオプションの特徴によれば、画像セグメントへの分割は第一の画像の画像特性に依存しない。
これは多くの実施形態において複雑性と計算リソース使用を低減し得る。一部のアプリケーションにおいて、これは様々な病状の特に良い指標であるシグネチャを決定するためにも特に適し得る。例えば、これは第一の画像における異常の局所密度を決定するのに適し得る。
本発明のオプションの特徴によれば、シグネチャユニットはさらに第一の画像の画像特性に応じて画像セグメントに対する画像セグメントサイズを決定するように構成される。
これは一部の実施形態において有利であり、特に特定画像の固有特徴への処理の改良された適応を可能にし得る。
本発明のオプションの特徴によれば、マッチングユニットは、その各々が局所シグネチャの画像関連セットの少なくとも一つのシグネチャをシグネチャのサンプル関連セットの少なくとも一つのシグネチャに比較するように構成される複数の並列処理素子を持つ並列プロセッサを有する。
これは特に効率的な処理を提供し、多くの実施形態において比較を非常に大幅に加速させ得る。システムは並列処理に特に適する。特に、システムは例えばコンピュータグラフィック処理のために使用されるＧＰＵなど、例えば低コストグラフィカル処理ユニット（ＧＰＵ）による部分処理に特に適する。
画像比較は従来、医用画像によくみられる通り特に大きな画像について大量の計算リソースを要する非常に複雑なプロセスである。アプローチは比較複雑性及びリソース使用の大幅な低減を可能にし、さらにアプローチが並列処理に極めて適することにより計算時間の非常に大きな改善が実現され得る。これは例えば妥当なタイムフレーム内に関連医用データが直接提供されることができるシステムの実現を可能にし得る。これはさらにより大きなデータベースが使用されることを可能にし、従って生成医用データの品質／関連性を改善し得る。
本発明のオプションの特徴によれば、シグネチャユニットは第一の処理ユニットにおいて実現され、マッチングユニットは帯域幅制限通信リンクを介して第一のプロセッサに結合される別の第二の処理ユニットにおいて実現される。
これは多くの実施形態において実施を容易にし得る。例えば、装置は帯域幅制限リンクを介してＧＰＵに結合される中央処理ユニット（ＣＰＵ）によって実現され得る。ユニット間で通信される必要があるデータは大幅に削減され得るので、このような構成が実際に実現可能になる。多くの実施形態において、帯域幅制限通信リンクの帯域幅は１Ｍビット／秒若しくは１０Ｍビット／秒以下であり得る。
本発明のオプションの特徴によれば、シグネチャユニットは複数の局所シグネチャを生成するように構成され、各局所シグネチャは局所画像情報をあらわし、複数の局所シグネチャからシグネチャの画像関連セットの少なくとも一つのシグネチャを生成するように構成される。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。局所シグネチャから生成される（複数の）シグネチャは局所シグネチャであり得るが、多くのシナリオにおいて局所シグネチャでなくてもよく、実際一部のシナリオでは第一の画像全体の特徴を反映するグローバルシグネチャであり得る。シグネチャは体内器官に空間的に分布したシグネチャの、若しくは異なるタイプの組み合わせであり得る。
アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。
本発明のオプションの特徴によれば、少なくとも一つのシグネチャは複数の局所シグネチャの統計的尺度をあらわす。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。統計的尺度は例えば平均、分散、ヒストグラムなどを含み得る。
本発明のオプションの特徴によれば、少なくとも一つのシグネチャは少なくとも二つの局所シグネチャの相関測度をあらわす。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。
本発明のオプションの特徴によれば、装置は、第一の画像において少なくとも一つの画像オブジェクトを検出するための画像オブジェクト検出器をさらに有し、シグネチャユニットは画像オブジェクトの特性に応じてシグネチャの画像関連セットの少なくとも一つのシグネチャを決定するように構成される。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。例えば、アプローチはシグネチャがますます例えばトレーサ成分、腫瘍の疑いなどといった特定のイベント若しくは特徴を反映することを可能にし得る。
シグネチャはただ一つの画像オブジェクトに基づいて生成され得るか、及び／又は複数の画像オブジェクトに基づいて生成され得る。
本発明のオプションの特徴によれば、少なくとも一つの画像オブジェクトの特性は、少なくとも一つの画像オブジェクトのオブジェクト境界特性；少なくとも一つの画像オブジェクトの面積；少なくとも一つの画像オブジェクトの体積；少なくとも一つの画像オブジェクトのポーズ；少なくとも一つの画像オブジェクトの位置；少なくとも一つの画像オブジェクトの配向；少なくとも一つの画像オブジェクトの輝度特性；少なくとも一つの画像オブジェクトの色度特性；少なくとも一つの画像オブジェクトのテクスチャ特性、のうちの少なくとも一つである。
これらの特徴は多くのシナリオにおいて、多くの実施形態においてより医学的に関連するシグネチャが生成されることを提供し得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。特徴は個別に若しくは組み合わせて直接シグネチャとして使用され得る。
本発明のオプションの特徴によれば、少なくとも一つのシグネチャは第一の画像オブジェクトのモーメントに応じて決定される。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。
本発明のオプションの特徴によれば、シグネチャユニットは基準への特性の比較に応じてシグネチャの画像関連セットの少なくとも一つのシグネチャを決定するように構成される。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。
特に、基準は健常な人若しくは動物に対する特性について予想され得る値若しくは間隔をあらわし、シグネチャは特性が特性に対する（複数の）正常値からどれだけ外れるかを反映するように生成され得る。このような偏差は現在の画像と関連する医用データを見つけるための特に関連する指標を提供し得る。
本発明のオプションの特徴によれば、シグネチャユニットは複数の画像オブジェクトについての基準特性に対する画像特性の統計的偏差に応じて少なくとも一つのシグネチャを決定するように構成される。
これは多くの実施形態においてより医学的に関連する改良されたシグネチャが生成されることを可能にし得る。アプローチは関連サンプルのより効率的な検出を、従って改良された医用データの生成を可能にし得る。
本発明のオプションの特徴によれば、装置はユーザ入力を受信するためのユーザインターフェースをさらに有し、シグネチャユニットはユーザ入力に応じてシグネチャの画像関連セットの少なくとも一つのシグネチャを決定するように構成される。
これは多くの実施形態において改良されたシグネチャの生成を可能にし、従って第一の画像に特に関連する改良された医用データの生成を提供し得る。
本発明のオプションの特徴によれば、少なくとも一部のサンプルに対するシグネチャのサンプル関連セットのシグネチャは、人若しくは動物の体の一部の関連画像の画像特性をあらわす。
サンプルは医用画像から生成され、特に他の患者からの医用画像から生成され得る。シグネチャは第一の画像と同じアプローチを用いてこれらの画像から抽出されるシグネチャであり得る。サンプル若しくは画像についての医用データは例えば手動入力されている関連する病状若しくは疾患であり得る。
本発明のオプションの特徴によれば、第一の画像は磁気共鳴イメージング画像、コンピュータ断層撮影画像、陽電子放射断層撮影画像、単光子放射コンピュータ断層撮影画像、超音波画像、ｘ線画像、及びデジタル病理組織画像のうちの少なくとも一つである。
本発明のオプションの特徴によれば、シグネチャの画像関連セットの少なくとも一つのシグネチャは画像の特性のウェーブレット表現を提供する。
これは多くの実施形態において比較のための特に有利なシグネチャを提供し得る。特に、これはシグネチャにおける外観情報を維持しながら画像特性のコンパクト表現を可能にし得る。
本発明のオプションの特徴によれば、シグネチャユニットは基準を満たす画像オブジェクトを検出するように構成され、シグネチャの画像関連セットの少なくとも一つのシグネチャは基準を満たす画像オブジェクトの局所密度変化に応じて生成される。
これは多くの病状及び疾患にとって特に有効な指標を提供し、それによって改良された関連サンプルの検出と、最終的には改良された医用データが生成されることを可能にし得る。
本発明のオプションの特徴によれば、装置はシグネチャの画像関連セットに応じてサンプルのセットを修正するための更新プロセッサをさらに有する。
これは例えばサンプルのデータベースが持続的に改良されることを可能にし、それによって生成される医用データにおける持続的な改良を可能にし得る。
本発明のオプションの特徴によれば、第一の画像は三次元画像である。
本発明のオプションの特徴によれば、シグネチャユニットとマッチングユニットは通信ネットワークを介して結合される。
これは多くのシナリオにおいて特に効率的な実施及び／又はユーザ経験を提供し得る。これは例えば大きな中央データベースが複数の位置から使用されることを可能にし得る。
本発明の一態様によれば画像処理の方法が提供され、方法は、人若しくは動物の体の一部の特徴をあらわす第一の画像を受信するステップ；第一の画像からシグネチャの画像関連セットを決定し、各サンプルがシグネチャのサンプル関連セットと医用データを有するサンプルのセットを提供するステップ；サンプルのセットのシグネチャのサンプル関連セットへのシグネチャの画像関連セットの比較に応じて、サンプルのセットからマッチングサンプルのセットを決定するステップ；及びマッチングサンプルのセットと関連する医用データに応じて第一の画像に対する医用データを決定するステップを有する。
本発明のこれらの及び他の態様、特徴及び利点は以下に記載の（複数の）実施形態から明らかとなり、それらを参照して説明される。
本発明の実施形態は、ほんの一例として、図面を参照して説明される。
本発明の一部の実施形態にかかる医用イメージングシステムの一実施例を図示する。 中央処理ユニットとグラフィカル処理ユニットのアーキテクチャの一実施例を図示する。 アルツハイマー病の診断のための標準手順を図示する。 本発明の一部の実施形態にかかる医用イメージングシステムの一実施例を図示する。 アミロイド‐ベータ４２染色での生体外病理組織学標本の二次元画像の一実施例を図示する。 健常者の７Ｔ Ｔ２強調冠状断面ＭＲＩスキャンの一実施例を図示する。 罹患者の７Ｔ Ｔ２強調冠状断面ＭＲＩスキャンの一実施例を図示する。 二次元画像オブジェクトのモーメントの一実施例を図示する。 二次元画像オブジェクトのモーメントのヒストグラムの一実施例を図示する。 本発明の一部の実施形態にかかる画像に対するシグネチャの生成の一実施例を図示する。 医用画像における画像オブジェクトの空間分布の一実施例を図示する。 本発明の一部の実施形態にかかる医用イメージングシステムの一実施例を図示する。 本発明の一部の実施形態にかかる医用イメージングシステムのためのグラフィカルユーザインターフェースの一実施例を図示する。
図１は本発明の一部の実施形態にかかる医用イメージングシステムの一実施例を図示する。
システムは、システムによって処理されるべき医用画像を受信する画像受信器１０１を有する。画像は人若しくは動物の体の一部の特徴若しくは特性をあらわす画像である。画像は例えば人若しくは動物の臓器若しくは臓器の一部であり得る。実際、多くの実施形態において、画像処理装置は特定疾病若しくは疾患を患う若しくは罹患が疑われる患者の治療若しくは診断の一部として使用され得る。従って、多くの実際の応用において、画像は患者の体の特定部位の画像であり得る。
画像は典型的には人体の一部の特性の視覚表現である。医療分野では人体の内部を視覚化する多数の技術が開発されており、特に身体部位の構成要素における変化及び異常が視覚化されることを可能にする技術が開発されている。
例えば、身体部位を構成する原子の磁気共鳴における変動をあらわす画像を作り出す磁気共鳴イメージングが開発されている。ＭＲＩ装置は異なる原子が異なる反応をする強磁場を発生させる。これらの違いが検出され、身体内部の画像を生成するために使用される。
別の実施例として、人体のスライスをあらわす画像を生成するためにコンピュータ技術が使用される、コンピュータ断層撮影（ＣＴ）画像が生成され得る。ＣＴはＭＲＩと同様の画像を提供し得る。しかしながら、ＭＲＩは臓器組織（水分子など）特性のはるかに高い明度対比を提供する傾向がある。
医用画像の他の実施例は、放射性トレーサからの放射を検出することによって画像が生成される陽電子放射断層撮影（ＰＥＴ）画像、同様に放射性トレーサからの放射の検出に基づく単光子放射コンピュータ断層撮影（ＳＰＥＣＴ）画像、超音波反射の検出から生成される超音波画像、被検体を通過するｘ線の検出から生成されるｘ線画像、並びにデジタル処理に適した画像中の微視的特徴の検出に基づく画像である、デジタル病理組織画像を含む。
記載のアプローチはこれらのイメージング技術の全てに、実際にはいかなる他の適切な医用イメージング技術にも適用可能であり得る。
画像は二次元画像であり得るが、多くのシナリオとアプリケーションにおいて三次元画像であってもよい。実際、上記医用画像技術の多くは本質的に三次元画像を生成する。画像は特にカラー若しくはグレースケール画像であり得る。
画像はいかなる適切な形式で提供されてもよく、特に適切な画像表現規格に従って提供されるデジタル画像であり得る。
多くの医用イメージング技術にとっての課題は、いかにして最適医用情報を抽出し、かかるデータに基づいて可能な限り最良の結論に達するかということである。例えば、医用画像に基づいて正確な診断を行うことは多くのシナリオにおいて難しい可能性があり、人の分析のみを実行する際にある種のリスクを伴うことが多い。実際、改良された医用データは画像自体を考慮するだけでなく類似画像からの既存情報も考慮することによって医用画像から抽出され得る。例えば、現在の医用画像を例えば数千の記録画像の大きなデータベースに比較することによって、現在の画像の特徴に類似する特徴を持つ画像を見つけることが可能であり得る。このような場合、かかる画像に関連する医用情報は現在の画像を分析するのに役立つ可能性があり、例えば医療関係者（例えば医師）に、医用画像から結論を導き出すことを容易に若しくは可能にする追加画像データを提供するために使用され得る。
図１のシステムはそのような画像処理及び分析を実行することができる。
しかしながら、医用イメージングにとって重大な問題は、生成画像の多くが非常に大きいことである。実際、細部の詳細を検出できるようにしながらも、人体の十分な部位をカバーするためには、解像度が低く画像が大きいことが要求され、各画像ごとに大量のデータが生成されることになる。この問題は三次元画像の場合著しく深刻になる。例えば、典型的な７テスラＭＲＩ三次元画像は８００×８００×７００ボクセルの解像度を持ち、約７５０Ｍバイトのサイズを持ち得る。
図１のシステムでは、大きな医用画像であっても非常に効果的な処理が可能に若しくは容易にされ、それによって医用画像に対する医用データを自動的に若しくは半自動的に提供し得る医用画像処理システムを可能にする。
医用画像は画像と関連するシグネチャの第一のセット（すなわちシグネチャの画像関連第一セット）を生成するように構成されるシグネチャプロセッサ１０３に供給される。かかるシグネチャは画像若しくは画像の一部の一つ以上の特徴のコンパクト表現を提供し得る。例えば、シグネチャプロセッサ１０３は医用画像を複数のブロックに分割し、そして各ブロックごとにシグネチャを生成し得る。例えば、各ブロックにおける輝度分散に対応するシグネチャが生成され得る。
シグネチャプロセッサ１０３はマッチプロセッサ１０５に結合され、特定の実施例においてシグネチャプロセッサ１０３とマッチプロセッサ１０５は別々の機能ユニットであるだけでなく、有限帯域幅を持つデータバス１０７を介して結合される物理的に別々の処理エンティティでもある。シグネチャプロセッサ１０３はデータバス１０７を介してシグネチャの第一のセットをマッチプロセッサ１０５に供給する。
多くの実施形態において、データバス１０７は帯域幅限界を持ち、これは妥当な時間内に全医用画像にわたって通信することを実現困難にする。従って、シグネチャの第一のセットの通信はデータバスによって要求されるデータレートにおける大幅な圧縮を可能にし得る。
マッチプロセッサ１０５は大きなデータベースを有するサンプルストア１０９に結合される。サンプルストア１０９は特に受信シグネチャが比較されることができるサンプルのセットを有する。各サンプルは少なくともシグネチャのセットをあらわすデータ並びに医用データを有するデータ集合である。
多くの実施形態において、サンプルの各々は、シグネチャが作られており医用データが記録されている医用画像からの情報に対応し得る。従って、サンプルに対するシグネチャのセットは前に処理されている医用画像に対する画像特性をあらわし得る。シグネチャは元の画像の特徴のコンパクト表現を提供し、例えば画像の医学的特徴を特徴付けるのに特に適した元の画像の特徴の表現であるとみなされ得る。例えば、異常細胞の密度の空間分布をあらわすシグネチャが生成され得る。従って、サンプルは特定の医学的意義を持つ元の画像の画像特徴をあらわし得る。シグネチャに加えて、各サンプルはシグネチャにリンクされる医用データを含む。例えば、元の画像が生成された被験者が罹患する疾病若しくは疾患を示す医用データがサンプル中に保存され得る。
特定の実施例として、保存された医用データは健常な年齢適合対照の、神経変性疾患故に限局性萎縮を示す患者の、拡大した脳室の、縮小した脳組織‐実質の、脳ＭＲＩ画像；ＭＲＩ、ＣＴ若しくはＰＥＴ画像に見られる事前にセグメント化された体内器官若しくはそのサブ部分の形状と位置；疾病、例えばがん性細胞、例えば鉄などの内因性（金属）異常沈着の病理組織画像を含み得る。
マッチプロセッサ１０５はシグネチャの第一のセット（すなわち現在の画像に対するシグネチャの画像関連セット）を異なるサンプルに対するシグネチャのセットに比較するように構成され、比較に基づいてマッチングサンプルのセットが検出される。一部の実施形態において、マッチングサンプルのセットは単一サンプルのみに限定され得る、すなわちマッチプロセッサ１０５は最良のマッチングサンプルを選択し得るが、ほとんどの実施形態においてマッチングサンプルは複数のサンプルを有し得る。多くの実施形態において、マッチングサンプルの数は画像によって異なり得る。例えば、マッチングサンプルのセットはシグネチャ間の類似性の測度が所定閾値を下回る全サンプルを含むように生成され得る。
従って、マッチプロセッサ１０５は現在の画像のシグネチャをサンプルのものと比較し、適切なマッチ基準に応じてマッチングサンプルセットに対するサンプルの一つ以上を選択し得る。特定マッチ基準は個々の実施形態に依存し、特に使用されるシグネチャの性質、タイプ及び特徴に依存することが理解される。
多くの実施形態において、類似性若しくは距離測度が計算され、マッチ基準は類似性若しくは距離測度が所定閾値を下回る要件であり得る。例えば、多くの実施形態において、シグネチャのセットはスカラー値のベクトルを有し、距離測定は例えば現在の画像及びサンプルのベクトル間のベクトル距離として計算され得る。
マッチプロセッサ１０５はマッチングサンプルセットのサンプルの医用データを処理するように構成される医用データプロセッサ１１１に結合される。医用データプロセッサ１１１は特にマッチングサンプルの医用データに基づいて現在の画像に対する医用データを生成する。
一実施例として、医用データプロセッサ１１１は画像が生成された患者について可能性のある疾病若しくは疾患を示す医用データを生成し得る。例えば、ＭＲＩ画像が画像受信器１０１に入力され得る。シグネチャプロセッサ１０３はそれに従ってこの画像に対するシグネチャのセットを生成し、それらをマッチプロセッサ１０５へ転送し得る。マッチプロセッサ１０５はサンプルストア１０９にアクセスし、保存されたシグネチャが生成されたシグネチャに十分近いサンプルとして、マッチングサンプルのセットを見つけるために保存サンプルを検索し得る。そして医用データプロセッサ１１１はこれらのマッチングサンプルから医用データを抽出し、医用データは特にシグネチャと関連することが多い疾病若しくは疾患を識別し得る。特に、各サンプルは患者の画像に対応し、各サンプルに対する医用データは特定の患者に対してなされた診断を示し得る（例えば特定疾患若しくは疾病を示す、又は実際に、患者が疑われる疾病若しくは疾患を罹患していなかったという診断であったことを示す）。そして医用データプロセッサ１１１は可能性のある疾病若しくは疾患を示す現在の画像に対する出力医用データを提供し得る。医用データは特に、補助イメージング及び診断データと一緒に、一つ以上の診断を指定するテキストの形のメタデータであり得る（血液のラボサンプルなどであり得る）。異なる可能性は例えばマッチングセットにあらわれる頻度に従ってランク付けされ、実際多くのシナリオにおいて特定疾患若しくは疾病の尤度の指標が含まれ得る。従って、他の類似ＭＲＩ画像の結果と比較することによって、システムは可能性のある疾病若しくは疾患を提案するように画像を処理し得る。例えば、マッチングセットが例えば脳腫瘍と関連するサンプルの大部分を有する場合、出力データは入力画像が脳腫瘍の存在を反映する可能性が高いことを示し得る。
特定の実施例として、システムは、ターゲットへのマッチング（データベース）ユニットにおける患者の、所与のイメージングモダリティに対する、類似画像のサンプル（ターゲット若しくはテスト画像と訓練画像を区別することは標準名称法に従うために有用であり得る）、並びに関連メタデータを生成し得る。
システムは非常に有効なアプローチを提供し得る。特に、医学的問題を区別し検出するために特に適切なコンパクトで有効なシグネチャの使用は、非常に効率的な処理を可能にする。実際、これはシグネチャプロセッサ１０３とマッチプロセッサ１０５の間で非常に効率的な通信を可能にし、これは特に大幅に帯域幅制限されたデータバスが実現されることを可能にし得る。これは高帯域幅通信チャネルを介してリンクされるデバイスのモバイルを介した病院ユニット（例えばＥＲ）における関連データ／シグネチャの迅速で大まかな処理／収集を可能にし得る。
また、画像の大きなデータベースを検索しながらの適切なマッチング画像の識別は、従来非常に計算需要の高い操作である。マッチングと比較は、かかる比較をシグネチャに基づかせることによって非常に大幅に低減され、実際に計算需要を少なくとも一桁、典型的にははるかにそれ以上削減し得る。さらに、シグネチャ及び関連医用データの保存は典型的に画像自体が保存される場合よりもずっと少ないデータが保存されることを要するので、データベース要件が非常に大幅に低減され得る。
アプローチは改良された医用データが生成されることも可能にし、医療従事者に追加支援を提供し得る。実際、アプローチはより大きなデータベースの中で検索が実行されることを可能にし、実際にかかるデータベースの保存と分散を容易にし、それによって医用データの生成にとってより良い基礎を提供し得る。アプローチはめったに発症しない疾患若しくは疾病の特定を支援するために特に適切であり得る。人が可能性のある全ての病状に気付くことは不可能なので、人の評価及び分析は（非意図的に）より一般的な病因の方へ誘導される傾向がある。しかしながら、システムは非常に多数のサンプルへの比較を可能にするので、データベースは非常にまれな疾患及び疾病に対応するサンプルも含むことができる。従って、システムは単に人の評価によっては通常特定されないかもしれないまれな疾病若しくは疾患の可能性をハイライトし得る。
さらに、アプローチは異なる処理の並列化に適し、多くの実施形態において一つ以上の並列プロセッサ、特に一つ以上のグラフィカル処理ユニット（ＧＰＵ）などを用いて実施され得る。これは処理‐データベース（典型的にはオフライン）のための、若しくはターゲット患者のシグネチャのデータベースシグネチャとのマッチングのためのシグネチャの生成‐におけるスピードアップの目的であり得る。
図１の実施例において、シグネチャプロセッサ１０３は中央処理ユニット、ＣＰＵにおいて実装され、マッチプロセッサ１０５は並列プロセッサによって、及び具体的にはＧＰＵとして実装され得る。
図２はＣＰＵとＧＰＵのアーキテクチャの簡易実施例を図示する。図示の通り、典型的なＣＰＵは命令とデータを処理し得る数個の算術論理演算ユニット（ＡＬＵ）を有し得る。加えて、ＣＰＵは制御回路（インターフェース回路を含む）並びにメモリキャッシュと何らかのダイナミックランダムアクセスメモリを有する。ＣＰＵは典型的には比較的複雑な命令を実行することができるが、高度な並列化のために設計されない。特定の実施例において、ＣＰＵはＡＬＵを四つしか含まないので、最大で四つの命令がＣＰＵによって同時に実行されることができる。ＣＰＵは複雑な、特に順次処理に非常に適しており、そのことは高レベルの並列化に適していない。
対照的に、ＧＰＵは典型的には並列処理のために最適化され、命令を同時に実行することができる多数の比較的低複雑性の処理素子を有する。各処理素子は典型的には比較的低複雑性で比較的小さな命令のセットのみを処理することができる。しかしながら、多くの操作にとって多数の並列処理を実行する能力は削減された命令セットを補って余りある。
ＣＰＵは例えばユーザインターフェースを実装すること、イメージング装置とインターフェースすることなどを含む、図１の装置の多くの操作に適し得る。これは多くの実施形態において医用画像に対するシグネチャを生成するためにも適し得る。特に、画像に対するシグネチャは画像に対して一度しか生成される必要がないので、多くの実施形態において、特にシグネチャが比較的低複雑性でありセット内のシグネチャの数がかなり少ないとき、画像に対するシグネチャを妥当な時間内に生成することが可能であり得る。
しかしながら、データベースが多数のサンプルを有する実施形態において、マッチ操作は各サンプルごとにシグネチャの二つの大きなセットの比較を要し得るので、非常に計算集約的になり得る。しかしながら、この操作は並列化に非常に適しており、従って並列処理ユニットを使用して効果的に実施され得る。このような実施形態において、マッチプロセッサ１０５は特に多数の並列処理素子を提供するＧＰＵとして実装され得る。実際、アプローチの特別な利点はこれが低コストＧＰＵを用いて実施され得ることであり、これは低コストでたくさんの並列処理能力を提供し得る。特に、例えばコンピュータグラフィックス用に開発されたＧＰＵがマッチプロセッサ１０５のマッチング操作を実行するために使用され得る。
マッチプロセッサ１０５は一部の実施形態において、入力画像に対するシグネチャのセットの異なるシグネチャを、一つのサンプルのシグネチャのセットの対応するシグネチャに並行して比較するように構成され得る、すなわち、異なる並列処理素子が同じサンプルの異なるシグネチャを比較し得る。代替的に若しくは付加的に、マッチプロセッサ１０５は入力画像に対するシグネチャのセットのシグネチャを複数のサンプルの対応するシグネチャに並行して比較するように構成され得る。従って、一部の実施形態において、少なくとも一部の並列処理素子の各々は入力画像に対する全シグネチャを一つのサンプルの全シグネチャに比較するように構成され得る。このような場合、異なる処理素子は並行して異なるサンプルを処理し、各処理素子は一つのサンプルについて全シグネチャ比較を実行し得る。
一実施例として、シグネチャの第一のセットはスカラー値のベクトルとしてシグネチャプロセッサ１０３によって生成され得る。例えば、入力画像はＮブロックに生成され、シグネチャは各ブロックに対して生成され得る。例えば各ブロックにおける輝度変化が決定され得る。得られるベクトルは多数のスカラー値を含み、各スカラー値はブロックの分散を示す。そしてシグネチャベクトルはデータバス１０７を介してマッチプロセッサ１０５へ通信される。
一部の実施形態において、マッチプロセッサ１０５の各処理素子は次にこのベクトルとサンプルストア１０９から検索される対応するシグネチャベクトルとの比較を実行するように進行し得る。従って、各処理素子は全入力シグネチャベクトルを一つのサンプルに対する全シグネチャベクトルに比較し、異なる処理素子は異なるサンプルを用いて、すなわち異なるサンプルシグネチャベクトルを用いて比較を実行する。
特定の実施例として、各処理素子は入力シグネチャベクトルの第一のスカラー値とサンプルの第一の値の差の平方（若しくは絶対値）を決定し得る。そしてこれは入力シグネチャベクトルの第二のスカラー値とサンプルの第二の値の差の平方（若しくは絶対値）を決定するように進行し得る。処理はシグネチャベクトルの全スカラー値について繰り返され、差分測度は例えば決定値の平均（若しくは合計）として決定され得る。このように、各並列処理素子は一つのサンプルに対する差分測度を生成し、異なる並列処理素子は異なるサンプルに対する差分測度を生成し得る。
一部の実施形態において、ＧＰＵは次にマッチングサンプルセットに対するサンプルを選択するために結果として得られる差分値を分析するように進行し得る。例えばＧＰＵは差分測度が所定レベルを下回る全サンプルを選択し得る。そしてこのマッチングセットは関連する医用データと一緒に医用データプロセッサ１１へ供給され得る。
別の実施例として、並列処理素子の各々はスカラー値の単一ペアに対する差分測度を生成するように構成され、異なる処理素子はベクトルの異なるスカラー成分を処理し得る。
例えば、第一の処理素子は入力シグネチャベクトルの第一のスカラー値とサンプルの第一の値の差の平方（若しくは絶対値）を決定し得る。並行して、第二の処理素子は入力シグネチャベクトルの第二のスカラー値とサンプルの第二の値の差の平方（若しくは絶対値）を（並行して／同時に）決定し得る。第三の処理素子は第三の値に対する差の平方を決定し得る、など。処理素子はさらに生成された差分値を全て追加してサンプルに対する差分測度を生成し得る。この値は保存され、ＧＰＵは同様に次のサンプルを処理するように進行し得る。
処理は全サンプルについて繰り返され、全サンプルについて差分測度が生成されることになる。そしてＧＰＵは例えば差分測度が所定レベルを下回るサンプルを選択するなど、上記の通りマッチングセットを選択するように進行し得る。
一部の実施形態において並列化は、例えば各処理素子がスカラー値の一つのペアを処理するが、二つ以上のサンプルが同時に処理されるなど、かかるアプローチの混合であり得る。
並列処理はマッチ操作を極めて大幅に迅速化し得る。例えば、様々な実際の実施は一桁以上の速度向上を示している。
当然のことながら上記機能は異なる処理素子に分散されてもよく、特定の処理アーキテクチャに依存して異なって実施され得る。例えば、帯域制限データバスの両側の機能の分散は異なる実施形態によって異なってもよく、従って図１は単に可能な分散の一実施例である
例えば、一部の実施形態において、ＧＰＵは帯域幅制限データバスを介してＣＰＵへ決定された距離測度を通信し、ＣＰＵはサンプルのマッチングセットを選択し得る。実際、多くの実施形態において、医用データプロセッサ１１１（及び例えばマッチプロセッサ１０５の一部の機能）はシグネチャプロセッサ１０３を実装する同じＣＰＵによって実装され得る。
また当然のことながら医用データプロセッサ１１１は例えば選択されたマッチングセットに対する医用データを検索するためにデータベースに直接アクセスし得る。
このように、各並列処理素子は一つのサンプルに対する差分測度を生成し、異なる並列処理素子は異なるサンプルに対する差分測度を生成し得る。
一部の実施形態において、シグネチャの第一のセットの生成は付加的に若しくは代替的に並列処理操作によって生成され得る。
特に、一部の実施形態において、シグネチャプロセッサ１０３は並列処理素子によって部分的に若しくは完全に実装され得る。例えば、シグネチャプロセッサ１０３はＧＰＵによって若しくはＧＰＵとＣＰＵの組み合わせによって実装され得る。
特に、一部の実施形態において、シグネチャプロセッサ１０３は入力画像を複数の画像セグメント／ブロックに分割するように構成され得る（画像セグメントは必要に応じて二次元若しくは三次元であり得る）。この分割は例えば固定ブロックへの固定分割であり得る。例えば、８００×８００×７００ボクセル三次元画像は１００×１００×１００ボクセルセグメント若しくはブロックに分割され得る。従って、画像は固定サイズの３９２セグメントに自動的に分割され得る。
シグネチャプロセッサ１０３はこれらのセグメントの各々に対するシグネチャを生成するために使用される並列処理素子を有し得るが、各処理素子は３９２セグメントのサブセットのみを処理する。実際、シグネチャプロセッサ１０３が３９２よりも多い並列処理素子を有する場合、各処理素子は一つのセグメントを処理して一つのシグネチャを生成し得る。例えば、各並列処理素子はセグメントに対する輝度変化を決定し得る。このように、３９２シグネチャのセットが非常に迅速に生成され得る。
実施例において、画像セグメントへの分割は第一の画像の画像特性に依存せず、むしろブラインドセグメンテーションである。これは複雑性を軽減し、多くの実施形態において医用処理に特に関連するシグネチャの生成に役立ち得る。例えば、特定イベントの密度は多くの疾病にとって効率的な指標である。このような実施形態において、等しいサイズのセグメントへのセグメンテーションの後に続くイベント（例えば異常細胞）に対応するオブジェクトの数の検出は、異常細胞の密度を直接示す局所シグネチャを生成し得る。従って、各セグメントにおける単純カウントは、可能性のある疾病の検出に関連する局所シグネチャを生成し得る。
一部の実施形態において、セグメンテーションは画像特徴に依存し得る。低複雑性の実施例として、シグネチャプロセッサ１０３は画像特性に基づいてセグメントの画像セグメントを決定するように構成され、その場合決定されるサイズは一定であり、すなわち全セグメントに適用され得る。
検索された医用データは医療従事者に追加情報を提供するために医用データプロセッサ１１１によって使用され得る。単純な実施例として、医用データは医療従事者に単に提示され得る。例えば、識別されたサンプルの各々と関連する診断を反映する出力が生成され得る。現在の画像に酷似する画像が生成されている患者に対する診断のリストは、医療従事者がさらに検討すべき可能性のある診断の入力として使用され得る。これはまれな疾患が検出されることを可能にするのに特に役立ち、実際医療従事者が気付きすらしない疾患が検出され検討されることを可能にし得る。
一部のシナリオにおいて、サンプルに対するマッチング度も提供され得る。例えば、各サンプルについて診断と、サンプルが現在の画像にどの程度酷似するかを示すリストが出力され得る。
多くの実施形態において、医用データは医用データプロセッサ１１１によって処理され得る。例えば、同じ診断に対応する全サンプルが組み合わされるようにデータが照合され得る。このアプローチは例えば現在の画像にとって適切な診断の推定確率が提供され得るのと一緒に診断のリストを生成するために使用され得る。各サンプルが厳密にマッチする所与の診断の多くのサンプルが見つかる場合、高確率が示される。所与の診断に対して比較的低いマッチ測度で一つのサンプルのみが見つかる場合、低確率が示される。
当然のことながら多くの他の形式の医用データが導出され、異なって使用され得る。例えば、データは単に保健統計を作成するために使用されてもよく、個々の画像に対するデータは誰にも提示されない可能性がある。
別の実施例として、医用データは画像をさらに処理するために、若しくは例えば提示されるときの画像の外観を修正するために使用され得る。例えば医用画像は、類似画像において、患者が所定疾患に罹患しているか否かを示すのに所定特徴が特に適していることがわかったということを示し得る。例えば、特定画像オブジェクトの形状が重要であるように示され、医用データはさらに画像オブジェクトの特徴を示す。そして装置は類似特徴を持つ現在の画像における画像オブジェクトを識別し、画像を表示するときにこれらの画像オブジェクトをハイライトし得る（例えば重要性及びどの特徴に注意すべきかをあらわすテキストと一緒に）。
医用データの使用可能性の特定の実施例として、装置は患者がアルツハイマー病に罹患しているかどうかを検出するのを支援し得る。図３はＡｍｅｒｉｃａｎ Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｎｅｕｒｏｌｏｇｙ‐２００９ガイドラインセットによって決定されるアルツハイマー病（若しくはより一般的に神経変性疾患）の診断のための標準手順を図示する。図中、用語ＰｉＢ‐ＰＥＴ及びＦＤＧ‐ＰＥＴはＰＥＴ造影剤である。ＰｉＢは炭素１１に基づくピッツバーグ化合物であり、ＦＤＧは脳内の糖レベルを測定する。ＭＤｘは基本的に脊椎から抽出される髄液（ＣＳＦ）の分析である。
当然のことながらシグネチャを生成し、処理し、比較するための多くの異なるアプローチが、個々の実施形態及びアプリケーションの選好と要求に応じて使用され得る。以下、様々な有利な実施例が提供されるが、当然のことながら本発明はこれらの特定のアプローチに限定されない。
多くの実施形態において、シグネチャプロセッサ１０３は局所画像情報をあらわす局所シグネチャを生成するように構成され得る。従って、シグネチャは全体として画像の特性を反映するのではなく、局所シグネチャは特定セグメント若しくはブロックなど、画像のサブセットにおける画像のみを反映する。
前記の通り、シグネチャプロセッサ１０３は画像をセグメントに分割し、個々のセグメントにおける画像特性のみを考慮することによって各セグメントに対する一つ以上のシグネチャを決定し得る。従って、かかるシグネチャは局所画像特徴、すなわち特定セグメント内の特徴のみを反映する。
多くのシグネチャは局所画像エリアの少なくとも部分的な再構成を可能にし得る。例えば、シグネチャは分散及び平均輝度を示し得る。このようなセグメントは同じ平均輝度及び分散に対応するランダム変動を持つセグメントによって近似され得る。
別の実施例として、シグネチャプロセッサ１０３は例えばセグメントの輝度のウェーブレット表現を生成するように構成され得る。そしてこのウェーブレット表現はトランケーションされ、トランケーション後に残るウェーブレット係数に対応するようにシグネチャベクトルが生成され得る。従って、この実施例において、シグネチャベクトルは各セグメントごとに生成され、画像に対するシグネチャのセットは各行（又は列）がベクトルに対応する二次元行列であり得る。このようなウェーブレット表現は画像特徴の非常にコンパクトな表現を提供し得る。アプローチは、マッチプロセッサ１０５による比較が、導出される特徴ではなく画像によって提供される視覚的印象に直接基づくことを可能にし得る。同時に、これは比較的低複雑性の比較を可能にし、これは並列化にさらに適する。従って、アプローチは現在の画像に類似して"見える"画像に対応するサンプルを検出するための実用的なアプローチを提供し得る。従って、現在の画像のように見える画像に対する保存された医用データが識別され抽出され、例えば医療従事者に表示されることができる。
多くの実施形態において、シグネチャ、特に局所シグネチャは、画像中の画像オブジェクトに基づいて生成される。一部のこのような実施形態についての画像処理装置の一実施例が図４に図示される。装置は図１のものに対応するが、画像中の画像オブジェクトを検出するように構成される画像オブジェクト検出器３０１をさらに有する。
画像オブジェクト検出器３０１は任意の適切なアルゴリズム若しくはアプローチを用いて画像オブジェクトを検出するように構成され得る。当然のことながら多くの画像オブジェクト検出アルゴリズムが存在し、当業者に知られており、本発明を損なうことなく任意の適切なアプローチが使用され得る。
ほとんどの画像オブジェクト検出アルゴリズムは異なる領域間の画像特徴の差を検出することに基づく。例えば、輝度及び／又は色の遷移が様々な画像オブジェクトの境界を検出するために使用され、特に十分に類似する画像特性を持つ画像オブジェクトは隣接領域として見つけられ得る。
一実施例として、図５はアミロイド‐ベータ４２染色による生体外病理組織学標本の二次元画像を図示する。アミロイド‐ベータ４２沈着は明るいバックグラウンド上の暗いスポットとしてあらわれる。これらのアミロイド‐ベータ４２沈着は潜在的なアルツハイマー病（ＡＤ）の指標を与える。これらの沈着を伴う全高齢者がＡＤを患うわけではないが、これはその可能性の良い指標であり得る。ＡＤの診断は側頭葉の、特に海馬領域の限局性脳組織萎縮に関する他の情報、及び記憶を示す神経精神病学検査、さらに他の障害との組み合わせに基づいて決定され得る。これらの事柄を分析することによって、患者がＡＤに罹患している確率を診断することが可能であることが多い。
このような画像の処理において、画像オブジェクト検出器３０１はアミロイド‐ベータ４２沈着に対応する画像オブジェクトを検出するように構成され得る。これは例えば十分に暗い隣接領域に対応する、所定間隔内のサイズを持つ画像オブジェクトを発見する画像オブジェクト検出アルゴリズムによってなされ得る。
画像オブジェクト検出器３０１は検出された画像オブジェクトの情報をシグネチャプロセッサ１０３に供給し、これは画像オブジェクトに基づいてシグネチャを決定するように進行する。
当然のことながら多くの異なるシグネチャが生成され得る。一実施例として、シグネチャプロセッサ１０３は画像を予め決められたサイズのセグメントに分割し、そしてセグメント内の画像オブジェクトの数としてセグメントに対するシグネチャを決定し得る。例えば図５の画像の場合、各セグメント内のアミロイド‐ベータ４２沈着の数がセグメントに対する局所シグネチャとして使用され得る。従って、画像オブジェクトの数を示す、アミロイド‐ベータ４２沈着の図５の画像に対するシグネチャのセットが、生成されてマッチプロセッサ１０５に供給され得る。そしてマッチプロセッサ１０５はサンプルストア１０９に保存されたデータベースのサンプルに比較し得る。例えば、マッチプロセッサ１０５はセグメントあたり大まかに同じ数の画像オブジェクトを持つサンプルを発見し得るか、又はより高度な比較では画像全体に同様の空間分布を持つサンプルを識別し得る。例えば、現在の画像は比較的小領域に多数の画像オブジェクトを持ち、この領域外のセグメントに数個の画像オブジェクトを持ち得る。各セグメントにおいて同じ平均画像オブジェクト数を持ち得るが、これらが画像全体により均等に分布している画像に対応する他のサンプルを区別しながら、類似画像に対応するサンプルがデータベースにおいて発見され得る。従って、図５の実施例において、装置はこのアプローチを使用してアミロイド‐ベータ４２沈着の類似する分布に対応するサンプルを発見し得る。従って、装置はアミロイド‐ベータ４２沈着の類似する分布に対応する医用データを抽出することができ、従って類似画像に関連することがわかっている医用データを提供し得る。このような情報は例えば患者がアルツハイマー病に罹患している可能性若しくは確率を示し得る。
一部の実施形態において、画像オブジェクトの一つ以上の空間的特徴がシグネチャを生成するために使用され得る。例えば、画像オブジェクトのサブセットが選択され、例えば各セグメントにおいて一つの画像オブジェクトが選択され得る。そして画像オブジェクトはシグネチャを提供するために分析され得る。例えば、画像オブジェクトの形状、面積若しくは体積が特定され得る。これは多くの実施形態において医用情報の決定に非常に適し得る。
例えばＡＤ患者を考慮するときに例えば組織画像を用いるアプリケーションにおいて、アプローチはアミロイド‐ベータ４２沈着に対応する画像オブジェクトを特定し得る。そしてシステムは個々のアミロイド‐ベータ４２沈着のサイズ、位置及び配向並びに形状及び他のシグネチャを決定するように進行し得る。これに基づいて、システムはシグネチャの統計的特性を決定するように進行し得る。そしてこれらの統計的特性はデータベース内の前に処理された組織画像の類似特性／シグネチャに比較され得る。アミロイド‐ベータ４２沈着の一つのタイプは"コア"とよばれ、通常はより暗く、サイズがより大きく、より円形の形状を持つ。
図５は暗いスポットがアミロイド‐ベータ沈着に対応するアミロイドベータ画像オブジェクト検出についての検出結果の一実施例を図示する。
ＡＤ診断の場合、及びより一般的に脳神経疾患の診断の場合、診断は（ｉ）脳脊髄液（ＣＳＦ）によって置換される、限局性（局部／局所）組織萎縮‐脳組織の側頭縮小の検出に基づき得る。例えば、ＡＤの場合、脳室拡大及び側頭葉萎縮は標準的視覚マーカである。これらは例えば一部の（Ｔ１強調）ＭＲＩ画像において"暗い"ピクセル若しくはＣＳＦの増加として見られ得る。診断はさらに、（ｉｉ）神経精神病学検査を介して検証される（図３参照）、記憶、注意、実行及び運動機能障害の増大（特に最初に影響を受ける機能として記憶）に、並びに（ｉｉｉ）アミロイド‐ベータ４２の沈着のＰｉＢ‐ＰＥＴによる生体内検査に基づき得る。組み合わされて、これら三セットの特徴はＡＤの強力な指標につながり得る。
システムは例えば患者がＡＤに罹患している尤度を決定するためにかかる画像を処理し、これは診断を決定するために記憶、注意、実行及び運動機能の分析の基礎として、若しくはそれらと組み合わせて使用され得る。
別の実施例として、図６は健常者の７Ｔ Ｔ２強調冠状断面ＭＲＩスキャンを図示し、図７は罹患者の７Ｔ Ｔ２強調冠状断面ＭＲＩスキャンを図示する。見られる通り、健常者はＣＳＦ（白いピクセル）がほとんどなく、一方罹患者はＣＳＦが多い。これは特に海馬（境界ボックスによってハイライトされる）が萎縮したこと（限局性萎縮）を示す。システムは従ってかかる画像中の白い画像オブジェクトを識別し、かかる画像オブジェクトのサイズと割合をあらわすシグネチャを生成し得る。これらのシグネチャをデータベース内のサンプルの対応するシグネチャに比較することによって、現在の患者のものに類似するＭＲＩスキャンが見つけられることができ、これらのサンプルと関連する医用データが抽出され得る。従って、同様の量の限局性萎縮を示すＭＲＩスキャンについて保存されている医用データが容易に特定され、抽出されることができる。例えば、ＣＳＦ画像オブジェクトのサイズと割合に基づいて、システムは患者が疾患に罹患している確率を決定し得る。
注目すべきは、アプローチが生体内及び生体外データの両方について使用され得ることである。ＡＤ若しくは関連脳疾患の場合、例えば生体内データはＭＲＩ、ＰｉＢ‐ＰＥＴ、神経精神病学検査などを含み、生体外とは神経病理組織学検査を含み得る。がんの場合、全て生体内のＭＲＩ、ＣＴ、ＰＥＴなどの画像、さらに病理組織学検査があり得る。
各オブジェクトについて、潜在的腫瘍に対応して、シグネチャプロセッサ１０３は面積若しくは体積を決定し、これをシグネチャとして使用し得る。代替的に若しくは付加的に、これは例えば画像オブジェクトがどの程度円形若しくは不規則であるかの指標など、形状パラメータを決定してこれをシグネチャとして使用し得る。
マッチプロセッサ１０５はそれに従ってデータベース内の対応するシグネチャを発見し、従って類似サイズ、及び／又は形状の潜在的腫瘍を示した患者に関連する医用データを発見し得る。特に、このような医用データはサンプルが生成された患者の腫瘍が良性若しくは悪性腫瘍を持つことがわかったかどうかを示し得る。実際、腫瘍のサイズ及び特に形状は潜在的腫瘍の性質の強力な指標を提供することがわかっており、従って装置は現在の患者と非常に類似する特徴を示す患者に対応するサンプルの自動比較と検出を可能にし得る。
別の実施例として、シグネチャは画像オブジェクトの輝度若しくは色度に基づいて各画像オブジェクトに対して生成され得る。例えば図５の実施例において、画像オブジェクトに対するシグネチャは画像オブジェクトの暗さをあらわすように生成され得る。これは暗いスポットがランダムな暗領域ではなくアミロイド‐ベータ４２沈着である可能性の指標となり得る。カラー画像の場合、同じアプローチが色に適用され得る。また、一部の実施形態において、画像オブジェクト全体のテクスチャ、すなわち色及び／又は輝度変化が定量化され、シグネチャとして使用され得る。
一部の実施形態において、画像オブジェクトの位置、配向若しくはポーズ（位置と配向）がシグネチャを生成するために使用され、これは類似する医学的特徴を持つ画像に対応するサンプルを検出するために特に適切であり得る。例えば、前記の通り、アミロイド‐ベータ沈着に対応する画像オブジェクトの特徴が、画像オブジェクトのこれらの特徴に基づいてシグネチャを生成するために決定され、分析され得る。
一部の実施形態において、シグネチャは特にオブジェクト境界の特性から生成され得る。例えば、前記の通り、画像オブジェクトの形状は病状を特に示す可能性が高い特徴を反映するのに適しており、従って類似する病状に対応するサンプルを発見するのに特に適切であり、これは従って現在の患者に特に関連する医用データを提供し得る。
別の実施例として、一部の病状について、画像オブジェクトをもたらすオブジェクトの表面は病状を特に示す特徴を持ち得る。例えば、画像の境界が滑らかであるか若しくは粗いかどうかを反映するシグネチャが生成され得る。従って画像オブジェクトの外側の粗さ／滑らかさの程度を示すシグネチャが生成され、これは類似する特徴を持つサンプルを見つけるために使用され得る。
多くの実施形態において、シグネチャの一つ以上は画像オブジェクトのモーメントに応じて生成され得る。
特に、ｘ，ｙが二次元画像内の画像オブジェクトのピクセル座標である密度分布ｆ（ｘ，ｙ）を考えると、モーメントｐ，ｑは次式から決定され得る。
Figure 2016508769
又はサンプルドメインにおいて：
Figure 2016508769
図８に図示の通り、様々なモーメントが例えば画像オブジェクトの面積、体積、配向などを示し得る。多くの実施形態において、特にごくわずかの画像オブジェクトが考慮される実施形態において、画像オブジェクトのために使用されるモーメントの数は比較的多く、例えばｐとｑが０及び５の間である全モーメントなどである。実際、一部の実施形態において、シグネチャの第一のセットはこのようなシグネチャのセットで構成され得る、すなわちシグネチャがモーメントとして生成される。モーメントは画像オブジェクトの幾何学的特徴の非常にコンパクトでかつきわめて正確な表現を提供するので、画像についての情報をデータに圧縮する効率的なアプローチを提供し、これは帯域幅制限リンクを介した通信に、並びに類似特徴を示すサンプルの発見に適している。
当然のことながら多くの実施形態において、シグネチャは一つの画像に対して若しくは画像オブジェクトのグループに対して生成され得る。例えば、個々の画像オブジェクトに対して個々のシグネチャを持つのではなく、セグメントにおける検出された画像オブジェクトの平均の暗さが、セグメント全体に対するシグネチャとして使用され得る。
また、一部の実施形態において、シグネチャは各画像オブジェクトごとに含まれ、実際一部のシナリオにおいて、潜在的腫瘍に対応する画像オブジェクトなど、各画像において検出されるただ一つの画像オブジェクトがあり得る。このような実施例において、その画像オブジェクトに対して複数のパラメータが決定され、シグネチャのセットとして使用され得る。例えばシグネチャのセットは一つの画像オブジェクトのサイズ、色、輝度、テクスチャ、形状、配向及びモーメントを有し得る。
他の画像オブジェクトにおいて、複数の画像オブジェクトが検出され、一つのシグネチャが各画像オブジェクトごとに生成され得る。例えば、検出された画像オブジェクトのサイズを有するシグネチャのセットが生成され得る。一部の実施形態において、シグネチャのセットは画像オブジェクトの総数のサブセットを有するように生成され得る。例えば、固定数の画像オブジェクトの特性から成るシグネチャベクトルが生成され得る。そしてこれらの画像オブジェクトは任意の適切な基準に従って選択され得る。例えばシグネチャのセットは画像中の１０００の最大の検出された暗い画像オブジェクトのサイズと輝度として生成され得る。そしてこのシグネチャのセットはマッチプロセッサ１０５へ供給され、これは１０００の最大の暗いスポットが類似する特徴を持つ画像に対応するサンプルを見つけるように進行し得る。これは管理可能な計算リソース需要を可能にしながら、関連情報の非常に効率的な検出を可能にし得る。
前の実施例において、生成されたシグネチャは限られた領域内の画像特性を反映するように生成される局所シグネチャであった。シグネチャは典型的には局所領域における一つの特性の特徴を反映する。
しかしながら、他の実施形態において、より複雑なシグネチャが代替的に若しくは付加的に生成され得る。例えば、シグネチャは局所シグネチャの組み合わせとして生成され得る。
例えば、局所シグネチャは画像オブジェクトのサイズを示すように各画像オブジェクトに対して生成され得る。そしてシグネチャは画像全体に対するシグネチャの統計的分布を決定するために処理され得る。例えば、どれだけ多くの画像オブジェクトが所定サイズ（間隔）であることがわかったかを反映するヒストグラムが生成され得る。複数の画像オブジェクトの特性を示す複合シグネチャが生成され得る。例えば、ヒストグラムをあらわすシグネチャが生成され得る。例えば、その間隔における画像オブジェクトの割合を示すスカラー値がヒストグラムの各サイズ間隔に対して生成され得る。
例えば、図９はアミロイド‐ベータ４２染色組織画像における沈着に対応する画像オブジェクトについてのモーメントＭ００のヒストグラムの一実施例を図示する。そしてヒストグラムをあらわすシグネチャのセットが生成され、マッチプロセッサ１０５へ送信され、そこで類似する分布を持つサンプルを見つけるためにサンプルのシグネチャに比較するために使用され得る。
一部の実施形態において、シグネチャ間の相関を反映する複合シグネチャが生成され得る。例えば、アミロイド‐ベータ４２に対応する画像オブジェクトのサイズがどの程度類似するかを反映するシグネチャが生成され得る。
従って、多くの実施形態において、検出された画像オブジェクトの統計的特性など、画像の特性の統計的尺度を提供する複合シグネチャが与えられ得る。図１０はアプローチの一実施例を図示する。最初に、局所シグネチャが異なる領域に対して生成され、各領域は例えば予め決められたサイズのセグメント若しくは画像オブジェクトに対応する。そしてシグネチャはシグネチャ分類モジュール７０１において処理され得る。このシグネチャ分類モジュール７０１は例えば類似シグネチャをクラスタ化し、例えば類似サイズ、輪郭サイズ、輪郭形状、モーメントなどがクラスタ化されて一緒にグループ化され得る。そして各クラスタは統計的特性を生成するために処理され、及び／又はクラスタリングに対応する統計的特性がシグネチャセットを生成するために使用され得る。
一部の実施形態において、シグネチャの一つ以上は画像オブジェクトの特性をその特性についての基準に比較することに基づいて決定され得る。このようなアプローチは典型的に病状を示す異常への注目を可能にするので、特に魅力的であり得る。
例えば、特徴は健常者において実質的に球状である傾向を持ち得る。しかしながら、疾病の場合、特徴は例えば内部成長のために球状から実質的に逸脱し得る。
このような実施例において、検出された画像オブジェクトはまずそれらがどの程度球状であるかを決定するために評価され得る。例えば、個々の画像オブジェクトが球状から逸脱する程度を反映する尺度がまず決定され得る。そして逸脱の分布を示すヒストグラムが生成され、ヒストグラムをあらわすシグネチャセットが生成され得る。そしてこのシグネチャはマッチプロセッサ１０５に送信され、これは類似シグネチャが保存されているサンプルを見つけるためにこれを使用し得る。従って、アプローチは装置が類似する異常の分布を持つサンプルを特定することを可能にする。これらのサンプルに対する医用データは例えばデータベースサンプル／エントリが生成された患者に対する診断、治療、患者が治療にどう反応したかなどを定義するデータを含み得る。このデータは例えば患者を診断し適切な治療を見つけるときに関連データを使用し得る医療従事者に表示され得る。
一部の実施形態において、シグネチャプロセッサ１０３は例えば基準値からの偏差の平均と分散を生成し、これらの値をシグネチャとして使用し得る。このようなアプローチにおいて、値は例えば正常特徴からの偏差の平均と分散の空間分布があらわされるように画像の異なる面積（体積）について生成され得る。
従って、多くの実施形態において、正常な非病理学的特徴からの統計的偏差が決定され、データベース内の適切なサンプルを見つけるために使用され得る。
一部の実施形態において、基準からの偏差はシグネチャを決定するために使用される画像オブジェクトのサブセットを選択するために使用され得る。極端な実施例として、全画像オブジェクトが基準に比較され、最も逸脱する画像オブジェクトが特定され得る。そしてこの画像オブジェクトは例えばモーメントの範囲など、シグネチャのセットによって特徴付けられ得る。シグネチャのセットはマッチプロセッサ１０５へ通信され、適切なデータベースサンプルを見つけるために使用され得る。これは疑わしい疾病が単一の異常を生じさせるのみである多くのシナリオにおいて有利であり得る。例えば、アプローチは単一の腫瘍が特定され、シグネチャによって特徴付けられることを可能にし得る。そして類似する腫瘍に対応するサンプルが特定され、これらのサンプルに対して与えられる医用データが抽出され得る。
多くの実施形態において、また多くのアプリケーションにとって、特に適切なシグネチャのセットは、特定基準を満たす画像オブジェクトの局所密度変化を示すように生成され得る。例えば、図５の画像において、より暗いスポットに対応する画像オブジェクトが生成され得る。そしてこれらの画像オブジェクトは、それらがアミロイド‐ベータ４２沈着に対応するか否かを決定するために評価され得る。例えば、十分に暗く、適切な間隔内のサイズを持つ画像オブジェクトのみが検出され得る。そしてこれらのアミロイド‐ベータ４２沈着の局所密度がある範囲の位置に対して決定され、従ってこの密度の空間分布が決定され得る。
例えば、図１１に示す通り、所定半径ｒ内の、イベントの数、この場合アミロイド‐ベータ４２沈着が所定位置について決定され得る。そしてこの値（若しくは密度値）が一つのシグネチャとして使用され得る。そして第二の位置を生成するために同じアプローチが別の位置について繰り返され得る。例えば画像をカバーする位置のグリッドに対してこのアプローチを繰り返すことによって、画像にわたるイベント（アミロイド‐ベータ４２沈着）の空間分布を反映するシグネチャのセットが生成され得る。従ってこのようなシグネチャのセットは例えばイベントが臓器中に均等に分布するかどうか、イベントが小領域に集中するかどうか、イベントが複数の領域の至る所にクラスタ化されるかどうか、濃度が中心よりも臓器の境界へ向かって高くなるかどうか、などを反映し得る。このようなイベントの空間分布は多くの場合において病状の特に良い指標を提供し得るので、類似疾患を反映するサンプルを見つけるために特に適している。
多くの実施形態において、装置は全自動データ処理システムであり得る。例えば、ＭＲＩ若しくは神経病理組織画像などの医用画像の入力が設けられ得る。さらにＭＲＩ脳地図から提供される参照データなどの医用データを有するデータベースが設けられる。システムの出力は入力画像への医学的マッチを提供する画像に関連することがわかっている医用データであり得る。
一部の実施形態において、装置は半自動であり得、操作は一部ユーザ入力に基づき得る。図１２はこのようなアプローチにかかる装置を図示する。装置は図４の装置に対応するが、ユーザ入力を受信するためのユーザインターフェース９０１をさらに有する。
ユーザ入力は特にシグネチャの一つ以上を生成するために使用され得る。従って、シグネチャ生成は例えば医療従事者によって提供され得るユーザ入力によってガイドされ得る。
例えば、アプローチは臓器内のオブジェクトの境界をトレースするために専門家（神経科医、組織病理学者、神経放射線科医など）によって使用され得る。例えば、専門家は適切な入力デバイスを用いて画面上に輪郭を単に描き、そして輪郭はシグネチャが後に生成される画像オブジェクトを決定するために使用され得る。図１３は医学的評価のために特に関心があるとみなされる領域の境界をトレースするために専門家によって使用され得るグラフィカルユーザインターフェースの一実施例を図示する。
アプローチは例えばアノテータによって選ばれるランドマーク点間を補間するスプラインを利用し得る。補間後、これはオブジェクト境界上の２‐Ｄ点若しくはオブジェクト境界の３‐Ｄ表面上であるので、連続する輪郭若しくは面がアノテーションシステムによって計算され得る。
一部の実施形態において、装置は現在の画像に基づいてデータベースを更新するように構成され得る。これはデータベースが持続的に更新され改良されることを可能にし得る。
例えば、装置は現在の画像に対するサンプルをサンプルストア１０９に保存されたサンプルのセットに追加するように構成され得る。従って、現在の画像に対して生成されたシグネチャのセットを有する新たなサンプルが追加され得る。加えて、画像に対する医用データが保存され得る。この医用データは例えば医療従事者によって手動で入力され得るか、又は例えばマッチングサンプルから抽出された医用データから生成され得る。
多くの実施形態において、システムは異なる部分が互いに遠隔に位置し得る分散システムとして実装され得る。特に、アプローチはネットワーク実装に非常に適している。例えば、多くのシナリオにおいて、データベース及びデータベース内のマッチングサンプルを見つけるための機能が遠隔中央位置に位置し、一方複数のユーザステーションが個々のユーザにとって適切な位置に分散される、集中型アプローチをとることが非常に望ましい。例えば、複数の病院は全て同じデータベースに保存されるデータを利用する一つ以上のユーザステーションを各々持ち得る。しかしながら、このようなシステムは典型的にはユーザステーションを集中サーバへ接続するネットワークのデータ通信能力によって制限される。
実際、プロセッサは極めて高速になり、データに対して膨大な量の計算を実行することができるようになりつつあり、従ってますます処理ユニット間のデータ通信がシステムの性能を制限するボトルネックになりつつある。これは異なるプロセッサが互いに遠隔にあるネットワークシステムによくあることである。しかしながら、これは二つの異なるプロセッサが接近しているシステム、例えば２プロセッサコンピュータなどにとっても問題であり得る。
上記アプローチにおいてこのようなボトルネックは関連データの非常に効率的な表現を用いることによって軽減され得る。特に、シグネチャの使用は通信される必要があるデータの量を著しく削減し得る。
例えば、一部の実施形態においてシグネチャプロセッサ１０３はマッチプロセッサ１０５から遠隔に実装され、両者は例えばローカルエリアネットワーク（ＬＡＮ）若しくは例えばインターネットなどの通信ネットワークを介して相互接続される。
このような実施例において、ユーザステーションはシグネチャを生成するために画像を処理し得る。その後、シグネチャ（及び典型的には実質的にシグネチャのみ）はマッチプロセッサ１０５及びデータベースを保存するサンプルストア１０９を含む中央サーバへ通信され得る。そして中央サーバはマッチ操作を実行してマッチングサンプルに対する関連医用データを抽出するように進行し得る。そしてこの医用情報は通信ネットワークを介してユーザステーションへ送信され得る。従って、特定の画像データが通信される必要がない。これは非常に効率的な操作を提供し得る。
当然のことながら上記説明は明確にするために異なる機能回路、ユニット及びプロセッサを参照して本発明の実施形態を説明している。しかしながら、異なる機能回路、ユニット若しくはプロセッサ間での機能の任意の適切な分散が本発明を損なうことなく使用され得ることが明らかである。例えば、個別のプロセッサ若しくはコントローラによって実行されるように例示される機能は、同じプロセッサ若しくはコントローラによって実行されてもよい。従って、特定の機能ユニット若しくは回路への参照は、厳密な論理若しくは物理構造若しくは構成を示すのではなく記載の機能を提供するための適切な手段への参照とみなされるに過ぎない。
本発明はハードウェア、ソフトウェア、ファームウェア若しくはこれらの任意の組み合わせを含む任意の適切な形式で実現され得る。本発明は随意に一つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも一部が実現され得る。本発明の一実施形態の要素及び部品は任意の適切な方法で物理的に、機能的に及び論理的に実現され得る。実際に機能は単一ユニットにおいて、複数のユニットにおいて、若しくは他の機能ユニットの一部として実現され得る。従って、本発明は単一ユニットにおいて実現され得るか、又は異なるユニット、回路及びプロセッサ間に物理的に及び機能的に分散され得る。
本発明は一部の実施形態に関連して記載されているが、本明細書に記載の特定の形式に限定されることを意図しない。むしろ、本発明の範囲は添付のクレームによってしか限定されない。さらに、特徴は特定の実施形態に関連して記載されるように見えるかもしれないが、当業者は記載の実施形態の様々な特徴が本発明に従って組み合わされ得ることを理解し得る。クレーム中、有するという語は他の要素若しくはステップの存在を除外しない。動物の定義によれば、とりわけ猫や犬のようなペット、競馬若しくは乳牛のような繁殖動物、鳥のような野生動物などを考慮する。
さらに、個々に列挙されるが、複数の手段、素子、回路若しくは方法ステップは例えば単一の回路、ユニット若しくはプロセッサによって実現され得る。さらに、個々の特徴は異なるクレームに含まれ得るが、これらは場合により有利に組み合わされてもよく、異なるクレームへの包含は特徴の組み合わせが実現可能及び／又は有利でないことを示唆しない。またクレームの一つのカテゴリへの特徴の包含はこのカテゴリへの限定を示唆せず、特徴が適宜他のクレームカテゴリに等しく適用可能であることを示す。さらに、クレーム中の特徴の順序は特徴が操作されなければならないいかなる特定の順序も示唆せず、特に方法クレームにおける個々のステップの順序はステップがこの順序で実行されなければならないことを示唆しない。むしろ、ステップはいかなる適切な順序で実行されてもよい。加えて、単数の参照は複数を除外しない。従って"ａ"、"ａｎ"、"第一"、"第二"などへの参照は複数を除外しない。クレーム中の参照符号は単に明確にする実施例として提供され、決してクレームの範囲を限定するものと解釈されてはならない。

Claims (25)

  1. 画像処理のための装置であって、
    人若しくは動物の体の一部の特徴をあらわす第一の画像を受信するための受信器と、
    前記第一の画像からシグネチャの画像関連セットを決定するシグネチャユニットと、
    各サンプルがシグネチャのサンプル関連セットと医用データを有する、サンプルのセットを保存するためのサンプルストアと、
    前記サンプルのセットの前記シグネチャのサンプル関連セットへの前記シグネチャの画像関連セットの比較に応じて前記サンプルのセットからマッチングサンプルのセットを決定するためのマッチングユニットと、
    前記マッチングサンプルのセットのサンプルに含まれる医用データに応じて前記第一の画像に対する医用データを決定するように構成される決定ユニットとを有する、装置。
  2. 前記シグネチャの画像関連セットの少なくとも一部のシグネチャが局所画像情報をあらわす局所シグネチャである、請求項１に記載の装置。
  3. 前記シグネチャユニットが前記第一の画像を複数の画像セグメントに分割するように構成され、前記シグネチャユニットが、各々が前記画像セグメントに対する局所シグネチャを決定するために前記画像セグメントのサブセットを処理するように構成される複数の処理素子を持つ並列プロセッサを有する、請求項２に記載の装置。
  4. 前記画像セグメントへの分割が前記第一の画像の画像特性に依存しない、請求項３に記載の装置。
  5. 前記シグネチャユニットがさらに前記第一の画像の画像特性に応じて前記画像セグメントに対する画像セグメントサイズを決定するように構成される、請求項３に記載の装置。
  6. 前記マッチングユニットが、各々が前記局所シグネチャの画像関連セットの少なくとも一つのシグネチャを前記シグネチャのサンプル関連セットの少なくとも一つのシグネチャに比較するように構成される複数の並列処理素子を持つ並列プロセッサを有する、請求項１に記載の装置。
  7. 前記シグネチャユニットが第一の処理ユニットにおいて実装され、前記マッチングユニットが帯域幅制限通信リンクを介して前記第一のプロセッサに結合される個別の第二の処理ユニットにおいて実装される、請求項６に記載の装置。
  8. 前記シグネチャユニットが、各局所シグネチャが局所画像情報をあらわす複数の局所シグネチャを生成し、複数の局所シグネチャから前記シグネチャの画像関連セットの少なくとも一つのシグネチャを生成するように構成される、請求項１に記載の装置。
  9. 前記少なくとも一つのシグネチャが前記複数の局所シグネチャに対する統計的尺度をあらわす、請求項８に記載の装置。
  10. 前記少なくとも一つのシグネチャが少なくとも二つの局所シグネチャの相関測度をあらわす、請求項８に記載の装置。
  11. 前記第一の画像において少なくとも一つの画像オブジェクトを検出するための画像オブジェクト検出器をさらに有し、
    前記シグネチャユニットが前記画像オブジェクトの特性に応じて前記シグネチャの画像関連セットの少なくとも一つのシグネチャを決定するように構成される、請求項１に記載の装置。
  12. 前記少なくとも一つの画像オブジェクトの特性が、
    前記少なくとも一つの画像オブジェクトのオブジェクト境界特性、
    前記少なくとも一つの画像オブジェクトの面積、
    前記少なくとも一つの画像オブジェクトの体積、
    前記少なくとも一つの画像オブジェクトのポーズ、
    前記少なくとも一つの画像オブジェクトの位置、
    前記少なくとも一つの画像オブジェクトの配向、
    前記少なくとも一つの画像オブジェクトの輝度特性、
    前記少なくとも一つの画像オブジェクトの色度特性、
    前記少なくとも一つの画像オブジェクトのテクスチャ特性、
    のうちの少なくとも一つである、請求項１１に記載の装置。
  13. 前記少なくとも一つのシグネチャが第一の画像オブジェクトのモーメントに応じて決定される、請求項１１に記載の装置。
  14. 前記シグネチャユニットが基準への前記特性の比較に応じて前記シグネチャの画像関連セットの少なくとも一つのシグネチャを決定するように構成される、請求項１１に記載の装置。
  15. 前記シグネチャユニットが複数の画像オブジェクトの基準特性に対する画像特性の統計的偏差に応じて少なくとも一つのシグネチャを決定するように構成される、請求項１４に記載の装置。
  16. ユーザ入力を受信するためのユーザインターフェースをさらに有し、前記シグネチャユニットが前記ユーザ入力に応じて前記シグネチャの画像関連セットの少なくとも一つのシグネチャを決定するように構成される、請求項１に記載の装置。
  17. 少なくとも一部のサンプルに対する前記シグネチャのサンプル関連セットのシグネチャが人若しくは動物の体の一部の関連画像の画像特性をあらわす、請求項１に記載の装置。
  18. 前記第一の画像が、
    磁気共鳴イメージング画像、
    コンピュータ断層撮影画像、
    陽電子放射断層撮影画像、
    単光子放射コンピュータ断層撮影画像、
    超音波画像、
    ｘ線画像、
    デジタル病理組織画像、
    のうちの少なくとも一つである、請求項１に記載の装置。
  19. 前記シグネチャの画像関連セットの少なくとも一つのシグネチャが、前記画像の特性のウェーブレット表現を提供する、請求項１に記載の装置。
  20. 前記シグネチャユニットが基準を満たす画像オブジェクトを検出するように構成され、前記シグネチャの画像関連セットの少なくとも一つのシグネチャが前記基準を満たす画像オブジェクトの局所密度変化に応じて生成される、請求項１に記載の装置。
  21. 前記シグネチャの画像関連セットに応じて前記サンプルのセットを修正するための更新プロセッサをさらに有する、請求項１に記載の装置。
  22. 前記第一の画像が三次元画像である、請求項１に記載の装置。
  23. 前記シグネチャユニットと前記マッチングユニットが通信ネットワークを介して結合される、請求項１に記載の装置。
  24. 画像処理雄の方法であって、
    人若しくは動物の体の一部の特徴をあらわす第一の画像を受信するステップと、
    前記第一の画像からシグネチャの画像関連セットを決定するステップと、
    各サンプルがシグネチャのサンプル関連セットと医用データを有する、サンプルのセットを提供するステップと、
    前記サンプルのセットの前記シグネチャのサンプル関連セットへの前記シグネチャの画像関連セットの比較に応じて、前記サンプルのセットからマッチングサンプルのセットを決定するステップと、
    前記マッチングサンプルのセットに関連する医用データに応じて前記第一の画像に対する医用データを決定するステップとを有する、方法。
  25. コンピュータ上で実行されるときに請求項２４に記載の全ステップを実行するように構成されるコンピュータプログラムコード手段を有するコンピュータプログラム製品。
JP2015554281A 2013-01-28 2014-01-16 医用画像処理 Pending JP2016508769A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361757289P 2013-01-28 2013-01-28
US61/757,289 2013-01-28
PCT/IB2014/058321 WO2014115065A1 (en) 2013-01-28 2014-01-16 Medical image processing

Publications (2)

Publication Number Publication Date
JP2016508769A true JP2016508769A (ja) 2016-03-24
JP2016508769A5 JP2016508769A5 (ja) 2017-02-16

Family

ID=50114442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015554281A Pending JP2016508769A (ja) 2013-01-28 2014-01-16 医用画像処理

Country Status (7)

Country Link
US (1) US20150356733A1 (ja)
EP (1) EP2948925A1 (ja)
JP (1) JP2016508769A (ja)
CN (1) CN104956399A (ja)
BR (1) BR112015017602A2 (ja)
RU (1) RU2681280C2 (ja)
WO (1) WO2014115065A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111094977A (zh) * 2017-07-13 2020-05-01 古斯塔夫·鲁西研究所 监测抗pd-1/pd-l1治疗的肿瘤患者中肿瘤淋巴细胞浸润和预后的基于影像组学的成像工具

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160306936A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Diagnosis support system, information processing method, and program
CN106798574A (zh) * 2017-03-03 2017-06-06 伏冰 一种超声诊断系统
JP7370865B2 (ja) * 2017-05-05 2023-10-30 コーニンクレッカ フィリップス エヌ ヴェ 画像読影環境において所見ベースの関連する臨床的コンテキストを提供する動的システム
FR3076923A1 (fr) * 2018-01-16 2019-07-19 Stmicroelectronics (Rousset) Sas Procede et circuit d'authentification
CN110322436B (zh) * 2019-06-19 2020-10-02 广州金域医学检验中心有限公司 医学图像处理方法、装置、存储介质及设备
FR3098949B1 (fr) 2019-07-15 2023-10-06 St Microelectronics Rousset Fonction à sens unique
RU2757707C2 (ru) * 2019-09-06 2021-10-20 федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет" Способ компьютерной диагностики деформаций суставов конечностей человека на цифровых медицинских рентгенографических изображениях
US11200671B2 (en) * 2019-12-31 2021-12-14 International Business Machines Corporation Reference image guided object detection in medical image processing
WO2022047584A1 (en) * 2020-09-03 2022-03-10 Huron Technologies International Inc. Systems and methods for automatically managing image data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272357A (ja) * 2003-03-05 2004-09-30 Seiko Epson Corp 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体
JP2005199040A (ja) * 2003-11-19 2005-07-28 Ge Medical Systems Global Technology Co Llc 病気の発見に役立つ画像データの処理方法及び装置
JP2007157046A (ja) * 2005-12-08 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> コンテンツ特徴量登録方法及びコンテンツ検索方法及び装置及びプログラム
JP2008523876A (ja) * 2004-12-17 2008-07-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療用診断イメージングにおいて医療的に有意味の記述を生成するための高性能分類器を自動的に確立するための方法及び装置
US20080243395A1 (en) * 2007-03-30 2008-10-02 Fujifilm Corporation Image diagnosis supporting apparatus and system
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
JP2012203823A (ja) * 2011-03-28 2012-10-22 Kddi Corp 画像認識装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1019368C2 (nl) * 2001-11-14 2003-05-20 Nutricia Nv Preparaat voor het verbeteren van receptorwerking.
JP4188900B2 (ja) * 2004-11-15 2008-12-03 ザイオソフト株式会社 医療画像処理プログラム
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US8488857B2 (en) * 2007-03-06 2013-07-16 Koninklijke Philips Electronics N.V. Automated diagnosis and alignment supplemented with positron emission tomography (PET) and magnetic resonance (MR) flow estimation
US20110172553A1 (en) * 2007-12-18 2011-07-14 New York University QEEG Statistical Low Resolution Tomographic Analysis
US8388529B2 (en) * 2008-07-08 2013-03-05 International Business Machines Corporation Differential diagnosis of neuropsychiatric conditions
EP2355703B1 (en) * 2008-11-07 2018-05-30 Department of Biotechnology Automated classification technique for alzheimer's disease using magnetic resonance imaging signal from ventricular zone contour of brain
US9454823B2 (en) * 2010-07-28 2016-09-27 arian Medical Systems, Inc. Knowledge-based automatic image segmentation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272357A (ja) * 2003-03-05 2004-09-30 Seiko Epson Corp 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体
JP2005199040A (ja) * 2003-11-19 2005-07-28 Ge Medical Systems Global Technology Co Llc 病気の発見に役立つ画像データの処理方法及び装置
JP2008523876A (ja) * 2004-12-17 2008-07-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療用診断イメージングにおいて医療的に有意味の記述を生成するための高性能分類器を自動的に確立するための方法及び装置
JP2007157046A (ja) * 2005-12-08 2007-06-21 Nippon Telegr & Teleph Corp <Ntt> コンテンツ特徴量登録方法及びコンテンツ検索方法及び装置及びプログラム
US20080243395A1 (en) * 2007-03-30 2008-10-02 Fujifilm Corporation Image diagnosis supporting apparatus and system
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
JP2012203823A (ja) * 2011-03-28 2012-10-22 Kddi Corp 画像認識装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111094977A (zh) * 2017-07-13 2020-05-01 古斯塔夫·鲁西研究所 监测抗pd-1/pd-l1治疗的肿瘤患者中肿瘤淋巴细胞浸润和预后的基于影像组学的成像工具
JP2020526844A (ja) * 2017-07-13 2020-08-31 アンスティテュ・ギュスターヴ・ルシー 抗ｐｄ−１／ｐｄ−ｌ１によって処置されたがん患者における腫瘍リンパ球浸潤及び転帰を監視するためのラジオミクスに基づくイメージングツール
CN111094977B (zh) * 2017-07-13 2024-02-13 古斯塔夫·鲁西研究所 监测抗pd-1/pd-l1治疗的肿瘤患者中肿瘤淋巴细胞浸润和预后的基于影像组学的成像工具

Also Published As

Publication number Publication date
RU2681280C2 (ru) 2019-03-05
CN104956399A (zh) 2015-09-30
EP2948925A1 (en) 2015-12-02
BR112015017602A2 (pt) 2017-07-11
US20150356733A1 (en) 2015-12-10
WO2014115065A1 (en) 2014-07-31
RU2015136525A (ru) 2017-03-07

Similar Documents

Publication Publication Date Title
RU2681280C2 (ru) Процесс обработки медицинских изображений
US10383592B2 (en) Apparatus and method for aiding imaging diagnosis
Zhou et al. Enhancing magnetic resonance imaging-driven Alzheimer’s disease classification performance using generative adversarial learning
CN113711271A (zh) 用于通过正电子发射断层摄影进行肿瘤分割的深度卷积神经网络
Pachauri et al. Topology-based kernels with application to inference problems in Alzheimer's disease
US9361686B2 (en) Method and apparatus for the assessment of medical images
US20080021301A1 (en) Methods and Apparatus for Volume Computer Assisted Reading Management and Review
Liu Symmetry and asymmetry analysis and its implications to computer-aided diagnosis: A review of the literature
WO2010115885A1 (en) Predictive classifier score for cancer patient outcome
US11151722B2 (en) System and method for estimating synthetic quantitative health values from medical images
EP2747658B1 (en) Method to compute and present brain amyloid in gray matter
US9147242B2 (en) Processing system for medical scan images
CN112529834A (zh) 病理图像模式在3d图像数据中的空间分布
WO2013086026A1 (en) System and method of automatically detecting tissue abnormalities
Moser et al. Automated fetal brain extraction from clinical ultrasound volumes using 3D convolutional neural networks
US20110194741A1 (en) Brain ventricle analysis
Seo et al. Visualizing Alzheimer's disease progression in low dimensional manifolds
US11416994B2 (en) Method and system for detecting chest x-ray thoracic diseases utilizing multi-view multi-scale learning
Jiang et al. Deep-learning-based segmentation and localization of white matter hyperintensities on magnetic resonance images
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
WO2019190641A1 (en) System and method for evaluation of dynamic data
Goceri et al. Computer-based segmentation, change detection and quantification for lesions in multiple sclerosis
Mihaylova et al. A brief survey of spleen segmentation in MRI and CT images
JP2023511663A (ja) 弱教師あり病変セグメンテーション
Abd Hamid et al. Incorporating attention mechanism in enhancing classification of alzheimer’s disease

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191224