JP2021516106A - 高リスクプラーク面積率評価のためのインタラクティブな自己改善アノテーションシステム - Google Patents

Abstract

医用画像を解析するための医用画像アノテーションシステムである。画像アノテーションシステムは複数の画像アノテーションツールを提供し、画像アノテーションツールはそれぞれ、医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行するように構成される。画像アノテーションシステムの記録モジュールは、関心領域ごとに、画像アノテーションツールを使用して実行されたインタラクションを記録するように構成される。画像アノテーションシステムは、記録されたインタラクションに基づき、関心領域ごとに画像アノテーション複雑さメトリックを計算するように構成される。さらに、ユーザインターフェースによるアノテーションツールの提示は順序を示し、順序は、ユーザ入力が現在受け取られている関心領域に応じて変化する。

Description

本発明は、医用画像のインタラクティブなアノテーションのためのシステムおよび方法に関する。

冠動脈疾患（ＣＡＤ）は世界中で最大の死因の１つである。包括的かつ定量的なリスク評価を行い、その後に最終的な治療決定をするためには、医師が冠動脈内の疑わしい狭窄を病変レベルで正確に指し示す必要がある。

全体的プラーク面積率を高い信頼性で評価するには、石灰化レベルや、いわゆる高リスクプラークフィーチャ等の異なるパターンを正確に特定し、セグメント化する必要がある。血管内超音波（ＩＶＵＳ）や光干渉断層撮影（ＯＣＴ）等の血管内イメージングモダリティ、および、超音波（ＵＳ）、磁気共鳴イメージング（ＭＲＩ）や断層撮影（ＣＴ）等の臓器レベルのイメージングモダリティは補完的な特性を有し、通常、プラーク組成に基づいて予測的なステートメントを作成するために必要な解剖学的および機能的な情報を提供するために使用される。

医用画像アノテーションのコンテキストでは、コンピュータシステムが人間のオペレータをいくらか補完する。コンピュータシステムは継続的な注意を要する反復的なタスク、すなわち、細胞のカウント、またはローカルエビデンスの収集および定量化に優れているが、コンテキスト的情報やグローバルな事前知識が利用可能な場合には欠点を示す。

本開示の分野および関連分野において、以下の文献が知られている。
［１］Ｊｏａｏ Ｓｉｌｖａ Ｍａｒｑｕｅｓ ａｎｄ Ｆａｕｓｔｏ Ｊ． Ｐｉｎｔｏ，Ｔｈｅ ｖｕｌｎｅｒａｂｌｅ ｐｌａｑｕｅ：Ｃｕｒｒｅｎｔ ｃｏｎｃｅｐｔｓ ａｎｄ ｆｕｔｕｒｅ ｐｅｒｓｐｅｃｔｉｖｅｓ ｏｎ ｃｏｒｏｎａｒｙ ｍｏｒｐｈｏｌｏｇｙ，ｃｏｍｐｏｓｉｔｉｏｎ ａｎｄ ｗａｌｌ ｓｔｒｅｓｓ ｉｍａｇｉｎｇ，Ｒｅｖ Ｐｏｒｔ Ｃａｒｄｉｏｌ．３３（２）：１０１−１１０，２０１４。
［２］Ｍｉｃｈｉｅｌ Ｊ． Ｂｏｍ，Ｄｉｒｋ Ｊ． ｖａｎ ｄｅｒ Ｈｅｉｊｄｅｎ，Ｅｌｖｉｎ Ｋｅｄｈｉ，Ｊａｎ ｖａｎ ｄｅｒ Ｈｅｙｄｅｎ， Ｍａｒｔｉｊｎ Ｍｅｕｗｉｓｓｅｎ，Ｐａｕｌ Ｋｎａａｐｅｎ，Ｓｔｅｆａｎ Ａ．Ｊ．Ｔｉｍｍｅｒ，Ｎｉｅｌｓ ｖａｎ Ｒｏｙｅｎ，Ｅａｒｌｙ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒｅａｔｍｅｎｔ ｏｆ ｔｈｅ Ｖｕｌｎｅｒａｂｌｅ Ｃｏｒｏｎａｒｙ Ｐｌａｑｕｅ，Ｃａｎ Ｗｅ Ｐｒｅｖｅｎｔ Ａｃｕｔｅ Ｃｏｒｏｎａｒｙ Ｓｙｎｄｒｏｍｅｓ？Ｃｉｒｃ Ｃａｒｄｉｏｖａｓｃ Ｉｍａｇｉｎｇ．２０１７；１０：ｅ００５９７３。

このような処置で通常使用される画像データは高次元であり、非常に高解像度である可能性があるため、これらのデータセットのアノテーションは少なくとも部分的に自動化されることが望ましい。なぜなら、ボクセルレベルでの完全な手動アノテーションは時間がかかりすぎ、臨床ワークフロー内に収まらないおそれがあるからである。よって、アノテーションソフトウェアが重要な役割を果たす可能性がある。単純なボクセルレベルのアノテーションを上回る効率的な２Ｄセグメンテーションのための基本的動作には、例えば、インタラクティブレベルセット、ブラシストローク、スプライン曲線、バウンディングボックス等が含まれ得る。当然ながらこれらは単なる例であり、さらに多くの編集ツールが存在し得る。１つの顕著な課題は、ほとんどの医用画像が有する３Ｄ性質は、２Ｄデータに最適である利用可能な編集および視覚化ツールと相容れないことである。完全に自動化されたアノテーションアルゴリズム（過去に記録された人間によるアノテーションから学習されたものであり得る）はユーザインタラクションを全く必要としないため、その対極を成す。ほとんどの場合、実際は、いわゆる半自動アノテーションツールを形成するハイブリッドアルゴリズムが使用されている。ハイブリッドアルゴリズムでは、ソフトウェアがアノテーションを提案し、その後、人間のオペレータがそれを受け入れる、洗練する、改良する、修正する、または単に拒否する。

しかし、現在の最新のアノテーションツール（例えば、冠状動脈の中心線、内腔、壁の編集）は、アノテーションタスクを一定レベルの精度まで自動的に解決するように最適化された自動アノテーションおよびスムージングアルゴリズムに基づいている。これらのアルゴリズムは、最小限のユーザインタラクションでアノテーションタスクを実行するようには最適化されていない。本発明は、上記欠点のうちの１つまたは複数に対処しようとするものである。

本開示は、医用画像に注釈を付すために必要なユーザインタラクションの労力を最小化する方法を提供する。具体的には、本開示は、冠動脈プラーク、内腔境界、および／または中膜−外膜境界の輪郭を正確に描くことを可能にする。冠動脈プラークの輪郭特定は、将来の急性冠症候群（ＡＣＳ）のリスク評価において利用され得る。セグメンテーションシステムは、過去の半自動セグメンテーションセッションのログを用いて訓練された予測フォワードユーザモデルを使用するように構成され得る。これにより、セグメンテーションシステムは、完全なセグメンテーションにかかる全体的時間が最小化されるようにユーザを支援し得る。

本開示の実施形態は、複数の２次元および／または３次元医用画像を解析するための医用画像アノテーションシステムを備えるシステムに関する。医用画像アノテーションシステムは複数の画像アノテーションツールを提供し、画像アノテーションツールはそれぞれ、医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行するように構成される。医用画像アノテーションシステムはユーザインターフェース、記録モジュール、および計算モジュールを含む。画像のそれぞれについて、ユーザインターフェースは、ｉ）当該医用画像を提示し、ｉｉ）当該画像の各関心領域について、画像アノテーションツールのうちの１つまたは複数を用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取る。記録モジュールは、画像のうちの少なくとも第１の画像の１つまたは複数の関心領域について、各インタラクションを記録するように構成される。以下の（ａ）および（ｂ）のうちの少なくとも１つが第１の画像および／または画像のうちの第２の画像に適用される。（ａ）計算モジュールは、記録されたインタラクションに基づき、当該画像の各関心領域について、画像アノテーション複雑さメトリックを計算し、（ｂ）ユーザインターフェースによるアノテーションツールの提示は順序を示し、順序は、ユーザ入力が現在受け取られている当該画像の関心領域に応じて変化する。

医用画像の解析は、医用画像内の１つまたは複数の関心領域に注釈を付すことを含み得る。医用画像内の関心領域の位置はアノテーション中に変化し得る。例として、アノテーション中に、関心領域の一部を形成するピクセルおよび／またはボクセルの特定が洗練され得る。「アノテーション」という用語は、本明細書では、医用画像の１つまたは複数のピクセルが１つまたは複数の事前定義されたクラスに割り当てられることを意味すると定義され得る。クラスとは、身体部分の分類、および／または異なる身体部分間の境界の分類（例えば、血管の内腔境界または血管の中膜−外膜境界）であり得る。アノテーションは、医用画像内の関心領域の範囲を決定することを含み得る。関心領域は画像の画像構造に対応し得る。例として、画像構造は血管の内腔境界または中膜−外膜境界を表し得る。医用画像に対してアノテーションが実行された結果、医用画像が複数の関心領域にセグメント化され得る。複数の関心領域は互いに重なっていてもよいし、重なっていなくてもよい。

複数の画像は共通する関心領域のセットを有し得る。例として、各画像が内腔境界のための関心領域と、中膜−外膜境界のためのさらなる関心領域とを有し得る。各画像において、関心領域は画像内の異なる場所に位置し得る。

関心領域の非限定的な例として、血管内のプラークまたはプラークの境界の少なくとも一部、血管の内腔または内腔境界の少なくとも一部、血管または血管の中膜−外膜境界の範囲の少なくとも一部等が挙げられる。血管は冠状血管であり得る。

アノテーションツールの少なくとも一部は半自動的であり、すなわち、ユーザインタラクションを必要とし得る。

医用画像アノテーションシステムはデータ処理システムを含み得る。データ処理システムは、プロセッサと、プロセッサによって処理可能な命令を保存するためのメモリとを有するコンピュータシステムを含み得る。プロセッサはオペレーティングシステムを実行し得る。プロセッサは、本開示で論じられる方法のステップおよび動作を実行するための動作を実行し得る。データ処理システムはさらに、画像アノテーションシステムのユーザインターフェースを含み得る。ユーザインターフェースは、ユーザがデータ処理システムからデータを受け取ることを可能にし、かつ／またはデータ処理システムにデータを提供することを可能にするように構成され得る。ユーザ入力は、コンピュータマウスおよび／またはキーボード等、データ処理システムの入力デバイスを介して受け取られ得る。ユーザインターフェースはグラフィカルユーザインターフェースを含み得る。データ処理システムはさらに、ユーザインターフェースを使用して医用画像および画像アノテーションツールをユーザに提示するための表示デバイスを含み得る。医用画像は、血管造影（例えば、冠動脈ＣＴ血管造影（ｃＣＴＡ））、血管内視鏡、サーモグラフィ、蛍光顕微鏡、血管内超音波（ＩＶＵＳ）、光干渉断層撮影（ＯＣＴ）、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）、および／または単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）のうちの１つまたは複数の組み合わせを使用して取得され得る。医用画像は顕微鏡画像取得を使用して取得され得る。

各医用画像はグレースケール画像データおよび／またはカラー画像データを含み得る。各医用画像は、それぞれが身体の１つまたは複数の解剖学的および／または機能的に定義された部分を表す１つまたは複数の画像構造を示し得る。各関心領域は、画像構造の少なくとも一部および／または画像構造の境界の少なくとも一部に対応し得る。身体の解剖学的に定義された部分の例は組織構造（例えば、血管）である。身体の機能的に定義された部分は、解剖学的機能を実行する身体の一部であり得る（例えば、血管内のプラーク）。少なくとも１つの画像は血管の断面を示し得る。断面は血管の長軸に対して実質的に垂直であってもよいし、または実質的に平行であってもよい。

関心領域に対する１つまたは複数のインタラクションは当該関心領域に注釈を付すために実行され得る。各インタラクションは、画像アノテーションツールのうちの１つまたは複数の組み合わせを医用画像に適用することを含み得る。

画像アノテーション複雑さメトリックは１つまたは複数のパラメータを含み得る。計算された画像アノテーション複雑さメトリックは画像アノテーションシステムの記憶装置に記憶されてもよい。

少なくとも一部のアノテーションツールは、各アノテーションツールのグラフィック表現を使用してユーザに提示され得る。グラフィック表現はアイコンであってもよい。「画像アノテーションツール」という用語は、本明細書では、医用画像の１つまたは複数のピクセルおよび／またはボクセルに適用される１つまたは複数の動作（特に、数値演算）を意味すると定義され得る。ピクセルおよび／またはボクセルは、少なくとも部分的にユーザによって選択される。１つまたは複数の画像アノテーションツールは、関心領域の範囲を定めるために医用画像の１つまたは複数のピクセルおよび／またはボクセルを特定するように構成され得る。画像アノテーションツールの順序は階層的順序であり得る。言い換えれば、複数の画像アノテーションツールは、各画像アノテーションツールの順序が残っている画像アノテーションツールの中での各画像アノテーションツールのランクを反映するように等級的順序で提示されてもよい。順序は、程度の低いユーザインタラクションを必要とする効率的な画像アノテーションを実行するための優先順位であり得る。例として、アノテーションツールは、システムの表示デバイス上に幾何学的に配置されて提示されてもよく、幾何学的配置は順序を示す。追加でまたは代わりに、１つまたは複数のアノテーションツールに１つまたは複数の番号が割り当てられ、対応するアノテーションツールと同時に表示されてもよい。番号はアノテーションツールの順序を示す。

一実施形態によれば、少なくとも（ａ）が適用され、当該画像の少なくとも１つの関心領域について、当該関心領域に関して記録された１つまたは複数のインタラクションに基づき、関心領域の画像アノテーション複雑さメトリックが決定される。

他の実施形態によれば、少なくとも（ａ）が適用され、当該画像の少なくとも１つの関心領域について、画像アノテーション複雑さメトリックは、ユーザインターフェースを用いて関心領域の少なくとも一部に注釈を付すために要求されるユーザインタラクションの程度および／または量を示す。ユーザインタラクションの程度は、関心領域の少なくとも一部に注釈を付すために必要な全ての動作に対して、ユーザが実行する動作の相対的な量の指標であり得る。

他の実施形態によれば、少なくとも（ａ）が適用され、当該画像の少なくとも１つの関心領域について、画像アノテーション複雑さメトリックは、ユーザがユーザインターフェースを介して関心領域の少なくとも一部に注釈を付すために要求される計測時間に基づき決定される。

他の実施形態によれば、少なくとも（ａ）が適用され、当該画像の少なくとも１つの関心領域について、画像アノテーション複雑さメトリックは、ユーザがユーザインターフェースを介して関心領域の少なくとも一部に注釈を付すために要求されるインタラクションの数に基づき決定される。

他の実施形態によれば、少なくとも（ａ）が適用され、当該画像の少なくとも１つの関心領域について、画像アノテーション複雑さメトリックは、関心領域の少なくとも一部に注釈を付すために、複数のアノテーションツールのうちのどのアノテーションツールがユーザによって使用されるかに基づき決定される。

他の実施形態によれば、少なくとも（ａ）が適用され、当該画像の少なくとも１つの関心領域について、画像アノテーション複雑さメトリックは、関心領域の少なくとも一部の領域のピクセルおよび／またはボクセルの数および／または幾何学的配置に基づき決定される。例として、画像アノテーション複雑さメトリックは、幾何学的配置に基づき、例えば、ピクセルクラスターサイズ分布に基づき決定される１つまたは複数のパラメータに基づき決定され得る。例として、ピクセルクラスターサイズ分布に基づき決定されるパラメータは、平均クラスターサイズ、および／または所定の閾値クラスターサイズを下回るピクセルクラスターの数を含み得る。

他の実施形態によれば、（ａ）および（ｂ）が適用され、画像アノテーションシステムは、当該画像の少なくとも１つの関心領域について、関心領域の画像アノテーション複雑さメトリックに基づき、画像アノテーションツールの順序を決定する。

他の実施形態によれば、ユーザインターフェースは、記録されたインタラクションのうちの１つまたは複数のインタラクションに基づき、１つまたは複数の画像アノテーションツールの１つまたは複数の動作パラメータを調整する。動作パラメータは、当該アノテーションツールを使用してアノテーションを実行する場合において関心領域の範囲に影響を及ぼすパラメータであり得る。関心領域の範囲は、関心領域を形成するピクセルのグループによって表され得る。

他の実施形態によれば、システムは、少なくとも１つの動作パラメータを変更するように構成される。システムはさらに、ユーザのインタラクションの少なくとも一部から取得される測定結果に対して前記変更がどのような影響を及ぼすかを測定するように構成され得る。インタラクションから取得される測定結果は、インタラクションを実行するためにユーザが要する時間および／またはインタラクションの数の測定結果を含み得る。

他の実施形態によれば、少なくとも（ａ）が適用され、ユーザインターフェースは、当該画像の少なくとも１つの関心領域について、関心領域の画像アノテーション複雑さメトリックを視覚的に示し、かつ関心領域と同時に表示されるインジケータを表示する。インジケータおよび医用画像はオーバーレイされた状態でユーザインターフェースによって表示されてもよい。インジケータは、関心領域の少なくとも一部の範囲を視覚的に示し得る。

他の実施形態によれば、少なくとも（ｂ）が適用され、画像アノテーションシステムは、ユーザインターフェースを介して受け取られるユーザ入力に基づきユーザプロファイルを生成し、アノテーションツールの順序はユーザプロファイルに基づき決定される。ユーザプロファイルは、複数の事前定義されたユーザクラスへのユーザの分類を示し得る。クラスは、ユーザ経験のクラスであり得る。例として、ユーザクラスは、「経験豊富なユーザ」および「経験の浅いユーザ」というクラスを含み得る。

医用画像アノテーションシステムは、１つまたは複数の関心領域のアノテーションを実行するユーザのユーザ識別子を示すユーザ入力を受け取るように構成されてもよい。医用画像アノテーションシステムは、医用画像アノテーションシステムの記憶装置にユーザプロファイルを保存するように構成されてもよい。医用画像アノテーションシステムは、ユーザプロファイルの１つまたは複数のパラメータに基づき、特に、ユーザの分類に基づき、画像アノテーション複雑さメトリックおよび／または画像アノテーションツールの順序を決定するように構成され得る。

本開示の実施形態は、ユーザインターフェースを有する画像アノテーションシステムを使用して複数の２次元および／または３次元医用画像を解析する方法に関する。医用画像アノテーションシステムは複数の画像アノテーションツールを提供し、画像アノテーションツールはそれぞれ、医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行するように構成される。方法は、画像ごとに、ユーザインターフェースを用いて当該医用画像を提示するステップと、ユーザインターフェースを用いて、当該画像の各関心領域について、画像アノテーションツールのうちの１つまたは複数を用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取るステップとを含む。第１の画像について、方法は、画像アノテーションシステムを用いて、第１の画像の１つまたは複数の関心領域についてインタラクションを記録するステップを含む。以下の（ａ）および（ｂ）のうちの少なくとも１つが第１の画像および／または画像のうちの第２の画像に適用される。（ａ）方法はさらに、記録されたインタラクションに基づき、当該画像の各関心領域について、画像アノテーション複雑さメトリックを計算するステップを含み、（ｂ）方法はさらに、ユーザインターフェースを用いて、順序を示すようにアノテーションツールを提示するステップを含み、順序は、ユーザ入力が現在受け取られている当該医用画像の前心領域に応じて変化する。

本開示の実施形態は、コンピュータ上で実行されると、コンピュータに本明細書に記載の方法ステップを実行させる命令を含むコンピュータプログラム製品に関する。

本開示の実施形態は、ユーザインターフェースを有する画像アノテーションシステムを使用して複数の２次元および／または３次元医用画像を解析するためのプログラム要素に関する。医用画像アノテーションシステムは複数の画像アノテーションツールを提供し、画像アノテーションツールはそれぞれ、医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行するように構成される。プログラム要素は、データ処理システムのプロセッサによって実行されると、画像ごとに、ユーザインターフェースを用いて当該医用画像を提示するステップと、ユーザインターフェースを用いて、当該画像の各関心領域について、画像アノテーションツールのうちの１つまたは複数を用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取るステップとを実行する。プログラム要素は、データ処理システムのプロセッサによって実行されると、画像のうちの第１の画像について、画像アノテーションシステムを用いて、第１の画像の１つまたは複数の関心領域についてインタラクションを記録するステップを実行する。以下の（ａ）および（ｂ）のうちの少なくとも１つが第１の画像および／または画像のうちの第２の画像に適用される。（ａ）プログラム要素は、プロセッサによって実行されると、記録されたインタラクションに基づき、当該画像の各関心領域のための画像アノテーション複雑さメトリックを計算するステップを実行し、（ｂ）プログラム要素は、プロセッサによって実行されると、ユーザインターフェースを用いて、順序を示すようにアノテーションツールを提示するステップを実行し、順序は、ユーザ入力が現在受け取られている当該画像の関心領域に応じて変化する。

本開示の実施形態は、医用画像において冠動脈プラークの輪郭を描く際に使用される医用画像アノテーションシステムに関する。システムは、医用画像および複数の画像アノテーションツールをユーザに提示するためのユーザインターフェースと、記録モジュールと、計算モジュールと、出力モジュールとを備える。ユーザインターフェースは、ｉ）複数の関心領域を含む医用画像、および階層的順序を有する複数の画像アノテーションツールを提示し、ｉｉ）医用画像の関心領域ごとに、各画像アノテーションツールを用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取るように構成される。記録モジュールは、医用画像の関心領域ごとに、各画像アノテーションツールを用いた各インタラクションを記録するように構成される。計算モジュールは、記録された複数のインタラクションに基づき、医用画像の関心領域ごとに画像アノテーション複雑さメトリックを計算するように構成される。出力モジュールは、現在提示されている画像または後に提示される画像のいずれかにおいて、以下の（ｉ）〜（ｉｉｉ）のうちの少なくとも１つを実行するように構成される。（ｉ）現在ユーザ入力が受け取られている関心領域に応じて画像アノテーションツールの階層的順序を変更する。（ｉｉ）現在提示されている医用画像の各関心領域に関連付けられた画像アノテーション複雑さメトリックを表示する。（ｉｉｉ）現在ユーザ入力が受け取られている関心領域に対するアノテーションの精度に最も大きな影響を与える関心領域の部分を特定する。冠動脈プラークの輪郭を描くことは、冠動脈プラークを表す画像領域を特定することを含み得る。

本開示の実施形態は、医用画像において冠動脈プラークの輪郭を描く際に使用される画像アノテーション方法に関する。方法は、複数の関心領域を含む医用画像、および階層的順序を有する複数の画像アノテーションツールを提示するステップを含む。方法はさらに、医用画像の関心領域ごとに、各画像アノテーションツールを用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取るステップを含む。方法はさらに、医用画像の関心領域ごとに、各画像アノテーションツールを用いた各インタラクションを記録するステップを含む。方法はさらに、記録された複数のインタラクションに基づき、医用画像の関心領域ごとに画像アノテーション複雑さメトリックを計算するステップを含む。方法はさらに、現在提示されている画像または後に提示される画像のいずれかにおいて、以下のうちの少なくとも１つを実行するステップを含む。（ｉ）現在ユーザ入力が受け取られている関心領域に応じて画像アノテーションツールの階層的順序を変更するステップ。（ｉｉ）現在提示されている医用画像の各関心領域に関連付けられた画像アノテーション複雑さメトリックを表示するステップ。（ｉｉｉ）現在ユーザ入力が受け取られている関心領域に対するアノテーションの精度に最も大きな影響を与える関心領域の部分を特定するステップ。

本開示の実施形態は、コンピュータ上で実行されると、コンピュータに前段落に記載の方法を実行させる命令を含むコンピュータプログラム製品に関する。

図１は、第１の例示的実施形態に係るシステムの概略図を示す。 図２Ａは、図１に示されるシステムの画像取得システムを使用して取得される医用画像の概略図であり、医用画像は、図１に示される第１の例示的実施形態に係るシステムを使用して冠動脈プラークを解析するために使用される。 図２Ｂは、図１に示される第１の例示的実施形態に係るシステムを使用して図２Ａに示される医用画像に注釈を付すことによって得られる関心領域の概略図である。 図３Ａは、内腔境界を特定している際の、図１に示される第１の例示的実施形態に係るシステムのグラフィカルユーザインターフェースの概略図である。 図３Ｂは、中膜−外膜境界を特定している際の、図３Ａに示されるグラフィカルユーザインターフェースの概略図である。 図４は、第２の例示的実施形態に係るシステムのグラフィカルユーザインターフェースの概略図である。 図５は、例示的実施形態に係る医用画像の解析方法を概略的に示すフローチャートである。

図１は、第１の例示的実施形態に係るシステム１の概略図を示す。システム１は、２次元および／または３次元の医用画像を解析するための医用画像アノテーションシステム２を含む。画像アノテーションシステム２は、スタンドアロンコンピュータ、および／または、インターネットやローカルエリアネットワーク（ＬＡＮ）等のコンピュータネットワーク３を使用するように構成された分散型コンピュータシステムであり得るデータ処理システムとして構成される。画像アノテーションシステム２は表示デバイス４と、画像アノテーションシステム２のユーザインターフェースを介するユーザインタラクションを可能にするキーボード５およびコンピュータマウス６等の１つまたは複数の入力デバイスとを含む。この例示的な画像アノテーションシステム２のユーザインターフェースはグラフィカルユーザインターフェースとして構成される。

画像アノテーションシステム２は、画像取得システム１０を使用して生成された医療画像を読み取り、かつ／または生成するように構成される。図１に示される例示的実施形態では、画像取得システム１０は、一般にＩＶＵＳと略される血管内超音波システムである。しかし、本開示はＩＶＵＳシステムに限定されず、身体から２次元および／または３次元の医用画像を取得するように構成された任意のシステムに適用可能である。そのようなシステムは、冠動脈ＣＴ血管造影（ｃＣＴＡ）等の血管造影、血管内視鏡、サーモグラフィ、蛍光顕微鏡、光干渉断層撮影（ＯＣＴ）、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、陽電子放出断層撮影（ＰＥＴ）、および単一光子放出コンピュータ断層撮影（ＳＰＥＣＴ）のうちの１つのイメージング技術または複数のイメージング技術の組み合わせを実行するように構成され得る。

この例示的実施形態では、医用画像は血管の断面画像であり、プラーク、特に冠状血管内のプラークを特定するために使用される。冠動脈プラークは冠血管内の血流の低下を引き起こす可能性があり、結果として、心筋の一部が適切に機能できなくなったり、場合によっては死滅さえする。特に危険なのは、破綻する可能性が高い脆弱性プラークである。脆弱性プラークの破裂およびそれに続く血栓は、急性冠症候群（ＡＣＳ）の主な原因である。具体的には、ＡＣＳは、非閉塞性の偏心性冠動脈プラークのプラーク破裂によって頻繁に引き起こされる。プラーク破裂によって血栓カスケードが開始し、冠動脈の内腔が完全にまたはほぼ完全な閉塞される。したがって、医用画像を用いた脆弱性プラークの特定は、そのようなプラークを安定させるための治療法の開発を可能にするために重要である。

大きな壊死性コアおよび薄い線維性被膜を有するプラークは破裂しやすいと予想されるため、しばしばｔｈｉｎ−ｃａｐ ｆｉｂｒｏａｔｈｅｒｏｍａ（ＴＣＦＡ）と呼ばれる。プラーク被膜の厚さとプラーク破裂のリスクとの間には逆相関の関係があることが示されている。このように、プラークの形態学的特徴は破裂と関連している。

しかし、本開示は、プラークの形態学的特徴付け、特に、画像内でのその識別のための画像アノテーションに限定されないことに留意されたい。一般的に、他の身体部分のアノテーションのためにシステムを使用することが考えられる。例として、本明細書に記載されるシステムおよび方法は他の血管内治療処置、例えば、膝下（ＢＴＫ）および／または膝上（ＡＴＫ）の末梢血管の処置等で使用され得る。さらに、本明細書に記載のシステムおよび方法は、血管ステントから取得された医用画像の解析に使用され得る。追加でまたは代替的に、本明細書に記載のシステムおよび方法は、血管以外の臓器および／または身体部分から取得された医用画像、例えば、２次元および／または３次元胸部画像等の解析に使用され得る。胸部画像はコンピュータ断層撮影、投影Ｘ線イメージング、および／または磁気共鳴断層撮影（ＭＲＴ）を使用して取得され得る。

医用画像の画像データは２次元および／または３次元であり、高解像度である可能性があるため、アノテーションプロセスは少なくとも部分的に自動でなければならないことが示されている。なぜなら、ピクセル／ボクセルレベルで完全手動アノテーションは面倒で時間がかかるため、増え続ける患者データを処理しなければならない臨床ワークフローには収まらないからである。また、手動セグメンテーションは、オペレータ内およびオペレータ間のばらつきに依存して、結果に誤差およびばらつきを生じさせる。一方、自動アノテーションアルゴリズム（すなわち、ユーザインタラクションを必要とせず、過去に記録された人間によるアノテーションから学習され得るアルゴリズム）は要求される精度を提供しないことがわかっている。

したがって、高精度で効率的なアノテーションを可能にする半自動アノテーションツール（すなわち、ユーザインタラクションを必要とするアノテーションツール）に対するニーズが存在する。

本発明者らは、本開示に記載されるような半自動アノテーションツールに基づく画像アノテーションシステムを有するシステムを提供することにより、このニーズを満たすことができることを見出した。

そのような半自動アノテーションツールは、画像アノテーションシステムがアノテーションの推定を提案するように構成され得る。アノテーションツールはさらに、オペレータが、例えば、アノテーション推定値を受け入れる、洗練する、または却下することによってアノテーション推定を適合させることができるように構成され得る。追加でまたは代替的に、半自動アノテーションツールは、ユーザがユーザインターフェースを介してアノテーションの推定を入力し、その後、画像アノテーションシステムがこれを改善するように構成され得る。また、これらのプロセスを組み合わせて、ユーザおよびアノテーションシステムが交互にアノテーションを洗練する反復洗練プロセスを得ることも考えられる。

図１に戻り、ＩＶＵＳシステム１０は、カテーテル１２の遠位端セクション１３に取り付けられたＩＶＵＳトランスデューサを含むカテーテル１２を含む。カテーテル１２は人間の血管に挿入され得る。カテーテル１２は、ＩＶＵＳトランスデューサが回転可能であるように構成される。例として、ＩＶＵＳトランスデューサは、血管の断面画像を提供するために、３６０度超音波スイープが生成可能であるように回転可能であり得る。ＩＶＵＳシステム１０はさらに、ＩＶＵＳトランスデューサの回転運動を制御するように、および、ＩＶＵＳトランスデューサの動作を制御するように構成されたコントローラ１１を含む。ＩＶＵＳシステムのコントローラ１１は、トランスデューサによって生成された超音波画像信号を受信し、その信号を変更しまたは変更せず、画像アノテーションシステム２に送信する。

さらに、ＩＶＵＳの応用、例えば、後方散乱ウェーブレット解析およびｖｉｒｔｕａｌ ｈｉｓｔｏｌｏｇｙ（ＶＨ）を統合したもの等は、ＩＶＵＳがプラークを脂質、線維組織、石灰化、または壊死性コアとして高精度で特徴付けることを可能にした。カテーテル１２の遠位端セクション１３を血管の軸に沿って動かし、血管の軸に沿って複数の異なる位置で回転スイープを取得することにより３次元画像が生成され、これらの画像は、本明細書に記載のアノテーションシステムを使用して解析され得る。

以下でさらに詳細に説明するように、画像アノテーションシステム２は、血管の内腔境界および／または中膜−外膜境界の特定を実行するように構成される。これにより、冠動脈壁およびプラークの２次元または３次元の定量分析が可能になる。

図２Ａは、３６０度超音波スイープを実行することによって冠血管から取得された２次元ＩＶＵＳ画像を示す。画像は、血管の長軸に対して実質的に垂直な断面を表している。図２Ｂに示されるように、図２Ａに示される画像のグレースケール画像データの強度値に基づき、カテーテル１４に対応する画像領域、および、内腔境界１７によって境界付けられる血管の内腔１５を識別することができる。内腔１５は血液が流れる動脈の開いている流路である。さらに、中膜−外膜境界１９が識別され得る。外膜は血管の外被に相当する。中膜は血管の壁を表し、内腔境界１７と中膜−外膜境界１９との間の画像領域１６内に位置する。画像領域１６はまた、プラークを含む。内腔−内膜境界１７と中膜−外膜境界１９との間の領域１６の形態は、プラークが存在するか否かの決定、および、（例えば、プラーク面積率を決定することによる）プラークの量の定量的分析を可能にする。さらなる議論は、プラーク解析のためのＩＶＵＳ測定の多くが依拠する、内腔境界および中膜−外膜境界の識別に関する。しかし、例えば、中膜およびプラークの範囲を特定するために、および／または、石灰化プラークと線維脂肪（ｆｉｂｒｏ−ｆａｔｔｙ）プラークとを区別するために、さらなる界面および／または境界が特定されることも考えられる。図３Ａは、画像アノテーションシステム２の（図１に示される）表示デバイス４のスクリーンショットであり、医用画像２１の少なくとも一部がユーザに提示されるグラフィカルユーザインターフェースのウィンドウ３４が示されている。グラフィカルユーザインターフェースは複数の画像アノテーションツール２２、２３、および２４をユーザに提示するように構成され、各ツールが、医用画像２１の１つまたは複数の関心領域に注釈を付すためのプロセスにおいて使用される１つまたは複数の動作を含む。アノテーションツール２２は、レベルセット／塗りつぶし（ｆｌｏｏｄ ｆｉｌｌ）アノテーションツールであり、ユーザが設定した閾値に応じて、および、塗りつぶし動作のためのユーザ定義の始点に応じて塗りつぶし動作を実行する。アノテーションツール２３はブラシストロークアノテーションツールであり、これは、ユーザがブラシストロークを使用して、画像領域内に位置すべきピクセルおよび／またはボクセル、および／または、画像領域外に位置すべきピクセルおよび／またはボクセルを定めることにより、アノテーションシステムによって特定されたおよび／またはユーザによって特定された画像領域を調整することを可能にする。画像領域は、注釈が付されるべき関心領域を表してもよいし、または、注釈が付されるべき関心領域に囲まれていてもよい（例えば、内腔境界または中膜−外膜境界によって囲まれている）。アノテーションツール２３はベジェ曲線アノテーションツールであり、これは、ユーザがベジェ曲線を使用して関心領域を生成および／または調整することを可能にする。特に、ベジェ曲線アノテーションツール２３は、ユーザが、表示デバイスの表示面上の１つまたは複数の制御点の位置を調整することを可能にするように構成され得る。アノテーションを行うべき関心領域はベジェ曲線によって表されてもよいし、またはベジェ曲線によって囲まれてもよい。

アノテーションツール２２、２３、および２４はそれぞれ、アイコンを使用することでグラフィカルユーザインターフェース２０によってユーザに提示される。グラフィカルユーザインターフェース２０はさらに、選択されたアノテーションツールを使用して関心領域を特定するために（すなわち、関心領域を形成するピクセルおよび／またはボクセルを選択するために）、ユーザが（図１に示される）コンピュータマウス６のポインタ２５を使用して、ユーザに提示されるアノテーションツール２２、２３、および２４のうちの１つを選択することを可能にするように構成される。

図３Ａに示されるように、アノテーションツール２２、２３、および２４は、図３Ａにおいて矢印２９によって概略的に示される順序でユーザに提示される。矢印２９はグラフィカルユーザインターフェースによって表示されない。アノテーションツール２２、２３、および２４の順序は、アノテーションツール２２、２３、および２４のそれぞれについて、提示されるアノテーションツール間のランクを表す。医用画像アノテーションシステムは、ランクが、対応する画像アノテーションツールが使用された場合の画像アノテーションプロセスの効率の指標となるように構成される。

また、アノテーションツール２２、２３、および２４をユーザに順序付けて提示する上で他のグラフィック表現が使用されることも考えられる。例として、ユーザインターフェースは、各アイテムが１つのアノテーションツールを表すアイテムのリストをユーザに提示し得る。リスト内のアノテーションツールのランクは、リストを使用して提示されるアノテーションツールの中での各アノテーションツールのランクを示し得る。

画像アノテーションシステム２は、アノテーションツール２２、２３、および２４の順序が、アノテーションシステムの入力デバイスを介して現在ユーザ入力を受け取っているグラフィカル表現２１を使用して表示される医用画像の関心領域に依存するように構成される。例として、図３Ａに示されるように、ユーザは、アノテーションシステムによって決定された血管の中膜−外膜境界１９の推定の調整を開始する。ここで、ユーザは、コンピュータマウスのポインタ２５を中膜−外膜境界１９まで動かしてコンピュータマウスのボタンをクリックする。これに応答して、アノテーションシステムは、レベルセット／塗りつぶしアノテーションツールであるアノテーションツール２２が、ブラシストロークアノテーションツールであるアノテーションツール２３よりも高いランクを有するように、アノテーションツール２２、２３、および２４を順序付けて配置する。ブラシストロークアノテーションツール２３はベジエ曲線アノテーションツール２４よりも高いランクを有する。ユーザインターフェースは、例えば、コンピュータマウスのポインタ２５を選択されるべきアノテーションツールのアイコンまで動かしてコンピュータマウスのマウスボタンをクリックすることにより、ユーザが、提示されるアノテーションツールの順序に関係なく、１つまたは複数のツールを選択できるように構成されてもよい。

過去に注釈を付された画像に基づきユーザ入力からアノテーションシステムによって取得された測定結果は、アノテーションシステムが程度の低いユーザインタラクションで、かつ精度が所定の閾値未満に低下することなく、中膜−外膜境界１９を特定できることを示した。したがって、高度なユーザインタラクションを要するベジェ曲線アノテーションツール２４等のアノテーションツールは中膜−外膜境界を決定するために必要とされない。むしろ、程度の低いユーザインタラクションで中膜−外膜境界の効率的なアノテーションを可能にするレベルセット／塗りつぶしアノテーションツール２２やブラシストロークアノテーションツール２３等のアノテーションツールが使用され得る。

図３Ｂは、アノテーションシステムによって決定された内腔境界１７の推定をユーザが調整する状態のグラフィカルユーザインターフェースを示す。図３Ｂに示されるように、ユーザが、コンピュータマウスのポインタ２５を内腔境界１７まで動かしてマウスボタンをクリックすることにより、内腔境界１７の推定を調整し始めると、アノテーションシステムは、ベジェ曲線アノテーションツール２４がブラシストロークアノテーションツール２３より高いランクを有し、ブラシストロークアノテーションツール２３がレベルセット／塗りつぶしアノテーションツール２２より高いランクを有するよう、アノテーションツール２２、２３、および２４の表現を並べ替える。これにより、システムは、内腔境界を特定するには、ブラシストロークアノテーションツール２３またはレベルセット／塗りつぶしアノテーションツール２２よりもベジェ曲線アノテーションツール２４を使用する方が効率的であることをユーザに示す。ユーザがブラシストロークアノテーションツール２３またはバウンディングボックスアノテーションツールにより慣れている場合、ユーザはこれらのアノテーションツールを選択して、医用画像のグラフィック表現２１内の中膜−外膜境界に注釈を付すことができる。しかし、アノテーションツールの順序は、これらのアノテーションツールは、アノテーションタスクを実行するにあたり効率および／または精度がより低いことをユーザに示す。ユーザは、コンピュータマウスのポインタ２５を対応するアイコンまで動かしてマウスボタンでクリックすることにより、ベジェアノテーションツール２４を選択することができる。すると、内腔境界はベジェ曲線に変換され、ベジェ曲線は、例えばコンピュータマウスのポインタ２５を使用することによってユーザが操作することができる複数の制御点を有する。

したがって、ユーザ入力を現在受け取っている関心領域に対してアノテーションツールの順序を適合させることにより、医用画像のアノテーションを時間効率の良い態様で実行できるようにアノテーションツールを使用するよう、ユーザをガイドすることができる。

アノテーションシステムは、関心領域のそれぞれ（すなわち、内腔境界および中膜−外膜境界のそれぞれ）について画像アノテーション複雑さメトリックを計算することによって、関心領域ごとにアノテーションツールの順序を決定する。画像アノテーション複雑さメトリックは１つまたは複数のパラメータを含み得る。パラメータのうちの１つまたは複数は、該当する関心領域のアノテーションを実行するためにユーザに要求されるユーザインタラクションの量または程度を示し得る。

例として、アノテーションシステムは、血管の中膜−外膜境界（図２Ｂにおいて参照番号１９で示されている）に関して、画像アノテーション複雑さメトリックとして使用されるパラメータに低い値を割り当て得る。なぜなら、中膜−外膜境界はアノテーションシステムによって自動的に容易に認識できるので、十分に高い精度で中膜−外膜境界を特定するために、程度の低いユーザインタラクションしか必要とされないシンプルで扱いやすいアノテーションツール（例えば、レベルセット／塗りつぶしアノテーションツール）を使用することができるからである。

一方、画像アノテーションシステムは、内腔境界（図２Ｂにおいて参照番号１７で示されている）に対応する関心領域に関して、画像アノテーション複雑さメトリックとして使用されるパラメータに比較的高い値を割り当て得る。なぜなら、この境界は低い精度でしかアノテーションシステムによって自動的に決定することができないので、十分な精度を得るためにアノテーションシステムによって計算された内腔境界を洗練するには、比較的高度なユーザインタラクションが必要とされるからである。

画像アノテーションシステムは、関心領域ごとに、当該関心領域のアノテーションツールの順序２９が、当該関心領域の画像複雑さメトリックに依存して決定されるように構成される。したがって、図３Ａに示されるように、ユーザが中膜−外膜境界１９のアノテーションを始めると、アノテーションシステムは、アノテーションツール順序を介して、より大きい量のユーザインタラクションを介して要求される精度が達成できるようにユーザが計算された中膜−外膜境界を微調整することを可能にするアノテーションツールを推奨する。

関心領域ごとに、画像アノテーション複雑さメトリックは、当該関心領域について記録された１つまたは複数の記録されたユーザインタラクションに依存して決定される。これらのインタラクションは、画像アノテーション複雑さメトリックを決定すべき画像に対するインタラクションであり得る。加えてまたは代わりに、インタラクションは、１つまたは複数の他の医用画像の同じ関心領域に対して実行されたインタラクションであってもよい。

例として、画像アノテーションシステムは、ユーザがユーザインターフェースを介して当該関心領域の少なくとも一部に注釈を付すのに要する計測時間に依存して画像アノテーション複雑さメトリックを決定するように構成され得る。加えてまたは代わりに、画像アノテーション複雑さメトリックは、ユーザがユーザインターフェースを介して関心領域の少なくとも一部に注釈を付すのに要するインタラクションの数に応じて決定され得る。インタラクションの数は、所望の精度を得るのにユーザが必要とするユーザインタラクションの量の指標であり得る。

追加でまたは代わりに、画像アノテーション複雑さメトリックは、当該関心領域の少なくとも一部に注釈を付すためにユーザによって複数のアノテーションツールのうちのどのツールが使用されるかに応じて決定され得る。例として、ユーザが、関心領域に注釈を付すのに多くのユーザインタラクションが要求されるアノテーションツールを好む場合、これは、関心領域のアノテーションに大量のユーザインタラクションが必要とされることを示す。したがって、アノテーションシステムは、この関心領域に対して、要求されるユーザインタラクションが高度であることを表す画像アノテーション複雑さメトリックのパラメータ値を割り当てる。

追加でまたは代わりに、画像アノテーション複雑さメトリックは、当該関心領域の少なくとも一部の領域のピクセルの数および／または幾何学的配置に応じて決定される。例として、関心領域のピクセルは、クラスター化の程度が低い可能性がある。程度の低いクラスター化は、関心領域が、それぞれが比較的少数のピクセルを有する多数の相互に分離されたピクセルクラスターを含む場合に存在し得る。関心領域が高度のクラスター化を有する場合、画像アノテーションシステムは、当該関心領域に対して、必要とされるユーザインタラクションが高度であることを示す画像アノテーション複雑さメトリックを割り当て得る。

画像アノテーションシステムはさらに、１つまたは複数のアノテーションツール２２、２３、および２４、並びに１つまたは複数の関心領域について、当該関心領域のアノテーションを行うために１つまたは複数のアノテーションツールを使用するインタラクションを表すユーザ入力から取得された測定結果に応じて、当該アノテーションツールの動作パラメータを調整するように構成される。

例として、ユーザがユーザインターフェースを介して関心領域の少なくとも一部に注釈を付すために要求されるインタラクションの数が測定され得る。追加でまたは代わりに、画像アノテーションシステムは、所定のアノテーションタスク、例えば、関心領域の全体または少なくとも所定の部分のアノテーションを実行するのにユーザが要する時間を測定することができる。追加でまたは代わりに、画像アノテーションシステムは、ユーザがあるピクセルまたはボクセルとインタラクトする回数を求め得る。例として、アノテーションシステムは、ユーザが関心領域のあるピクセルおよび／またはボクセルを繰り返しフリップすることを検出する。これは、特に困難なまたは重要な画像領域を示唆している可能性がある。この測定に応答して、アノテーションシステムは、アノテーションツールが使用されるときに関心領域の微調整ができるよう、１つまたは複数のアノテーションツールのパラメータを調整し得る。例として、ピクセルおよび／またはボクセルのフリップの繰り返しが検出されると、アノテーションシステムは、ユーザが関心領域のより細かい調整を実行できるよう、ブラシストロークツールの線幅を調整し得る。

図４は、第２の例示的実施形態に係る画像アノテーションシステムのグラフィカルユーザインターフェースを概略的に示す。第２の例示的実施形態に係る画像アノテーションシステムは、図１〜図３Ｂを参照して上記した第１の例示的な画像アノテーションシステムの特徴の少なくとも一部を含み得る。

第２の例示的実施形態に係る画像アノテーションシステムでは、画像アノテーションシステムは、１つまたは複数の関心領域について、医用画像２１の少なくとも一部の上に重ねて、当該関心領域の画像アノテーションメトリックを示すインジケータを表示するように構成される。

図４に示されるように、第２の例示的実施形態に係る画像アノテーションシステムでは、中膜−外膜境界１９は３つの関心領域を含み、これらの関心領域のそれぞれについて、画像アノテーションシステムは別々の画像アノテーション複雑さメトリックを計算している。中膜−外膜境界が１つの関心領域のみによって表されることも考えられる。

これらの関心領域のそれぞれについて、アノテーションシステムは、視覚的に認知可能なグラフィカルインジケータ３６、３７、および３８を表示し、各インジケータが対応する関心領域の画像アノテーション複雑さメトリックを示す。具体的には、一点鎖線曲線の形式のインジケータ３８は、必要とされるユーザインタラクションが高度であることを表す画像アノテーション複雑さメトリックを有する関心領域を示す。破線曲線の形式のインジケータ３７は、必要とされるユーザインタラクションが中程度であることを表す画像複雑さメトリックを有する関心領域を示す。実線曲線の形式のインジケータ３６は、必要とされるユーザインタラクションの程度が低いことを表す画像複雑さメトリックを有する関心領域を示す。

インジケータ３６、３７、および３８は、医用画像２１の少なくとも一部の上に重ねられ、また、対応する関心領域の範囲を示す。

したがって、第２の例示的実施形態の画像アノテーションシステムでは、ユーザの注意を、大量のユーザインタラクションを必要とする画像の部分に向けさせることができる。これにより、ユーザは、各関心領域に注釈を付すのに適したアノテーションツールを選択することができる。例として、ユーザは、一点鎖線曲線３８の形式のインジケータから、この関心領域は、必要とされるユーザインタラクションが高度であることを表す画像アノテーション複雑さメトリックを有することを認識し得る。したがって、曲線３８によって表される関心領域を調整するために、ユーザは、高度なユーザインタラクションを介して関心領域を微調整することを可能にするベジェ曲線ツール等のアノテーションツールを選択するようにガイドされる。

図５は、画像アノテーションシステムを使用して実行される、医用画像に注釈を付すための例示的な方法のフローチャートである。画像アノテーションシステムは、ユーザインターフェースを使用して、医用画像および複数の画像アノテーションツールをユーザに提示する（１１０）。次に、画像アノテーションシステムは、関心領域のそれぞれについて、１つまたは複数の画像アノテーションツールを用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取る（１２０）。提示された画像および／または以前にユーザに提示された１つまたは複数の画像について、関心領域ごとにユーザインタラクションが記録される（１３０）。以前に提示された画像は、画像内の位置は異なるものの、現在ユーザに提示されている画像と同じ関心領域を有する。

記録された複数のインタラクションに基づき、画像アノテーション複雑さメトリック（１４０）が関心領域ごとに計算される。画像アノテーション複雑さメトリックの計算に加えてまたは代わりに、順序（２９）を示すようにアノテーションがユーザインターフェースによって提示される（１５０）。順序（２９）は、ユーザ入力が現在受け取られている関心領域に応じて変化する。ユーザ入力は、コンピュータマウスまたはキーボード等、画像アノテーションシステムの１つまたは複数の入力デバイスを介して受け取られ得る。

熟練したユーザが要するインタラクション時間を最小にするようアノテーションシステムが自身の内部パラメータを最適化することを可能にするために、以前のユーザインタラクションセッションのバックログで訓練された予測ユーザモデルを使用することが提案される。これは、以下の特徴のうちの１つまたは複数を含むことができる。
− アノテーションシステムは内部で実験計画（ｅｘｐｅｒｉｍｅｎｔａｌ ｄｅｓｉｇｎ）を実行し得る。すなわち、内部パラメータを変更し、これがユーザのアノテーション労力を減らす効果があるかを確認し得る。これはオンライン形式で実行されてもよい。
− ユーザは、例えばＧＵＩインタラクションを介して、特定のインタラクションがいかに面倒であると知覚されたかをシステムに知らせ得る。これにより、主観的に優先度が高く、それに応じて最適化基準に影響を与える必要があるアクションの上方重み付け（ｕｐ−ｗｅｉｇｈｔｉｎｇ）を組み込むことが可能となり得る。

したがって、アノテーションシステムは自身のパラメータを適合させ得る。ユーザは能力の変化を経験する可能性がある。
− 新人のユーザは、初めは、ブラシストロークまたはボクセルレベルのアノテーション、および小さな影響領域で非常に局所的に作用する（よって、多くのユーザインタラクションを必要とする（アノテーションを行うべきピクセルあたりのインタラクション時間で測定））補正ツールを用いて画像に注釈を付すことから始め得る。
− その後、ユーザが経験を積むと、ユーザは大きなブラシストロークまたは領域拡張（ｒｅｇｉｏｎ ｇｒｏｗｉｎｇ）ツール等のよりレベルの高いツールを使用し得る。

予測モデルは、複数の使用され得るインタラクションの感度推定を維持し、例えば、別のインタラクションに対して、特定のインタラクションが実行されたときにフリップされたアノテーションボクセルの数が推定され得る。
− あるユーザインタラクションセッション内での繰り返しのフリップは、特に困難かつ／または重要な領域を示している可能性がある。
− この感度指標は、ツールを特定の順序または並びでユーザに提示して、または、例えば、ヒートマップによって最も関連性の高いまたは影響が大きいボクセルを特定して（例えば、強調表示して）、どのインタラクションが最大の効果を奏し、したがってユーザからシステムに最も多くの情報を伝えるであろうかを伝達することによって、ユーザの注意をガイドするために使用され得る。

実際のユーザインタラクションをトレーニングデータとして使用することで、ユーザフォワードモデルおよびセグメンテーションアルゴリズムの両方が併せて改善され得る。両者ともに、最小限のユーザインタラクションという目的によって結合されることが好ましいからである。

本明細書で開示されるいずれの方法ステップも、プロセッサ上で実行されたときにプロセッサにかかる方法ステップを実行させる命令という形で記録され得る。命令はコンピュータプログラム製品上に格納されてもよい。コンピュータプログラム製品は、専用ハードウェアや、適切なソフトウェアに関連づけてソフトウェアを実行可能なハードウェアによって提供されてもよい。プロセッサによって提供される場合、機能は、単一の専用プロセッサ、単一の共有プロセッサ、または複数の個別のプロセッサ（その一部が共有されてもよい）によって提供され得る。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に指すように解釈されるべきではなく、以下に限定されないが、デジタル信号プロセッサ“ＤＳＰ”ハードウェア、ソフトウェアを保存するためのリードオンリーメモリ“ＲＯＭ”、ランダムアクセスメモリ“ＲＡＭ”、非揮発性記憶装置等を暗示的に含み得る。さらに、本開示の実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれらとともに使用されるプログラムコードを提供するコンピュータ可用またはコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラム製品の形式をとることができる。説明のために、コンピュータ可用またはコンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって使用されるまたはこれらに関連して使用されるプログラムを含む、格納する、通信する、伝搬する、または転送することができる任意の装置であり得る。媒体は、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイス、または伝播媒体であり得る。コンピュータ可読媒体の例には、半導体または固体メモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ“ＲＡＭ”、読み出し専用メモリ“ＲＯＭ”、剛性磁気ディスク、および光ディスクが含まれる。光ディスクの現在の例には、“ＣＤ−ＲＯＭ”（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、“ＣＤ−Ｒ／Ｗ”（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ／ｗｒｉｔｅ）、Ｂｌｕ−Ｒａｙ、およびＤＶＤが含まれる。

上述の実施形態は例示にすぎず、本開示の技術アプローチを限定することを意図するものではない。本開示は好ましい実施形態を参照して詳細に説明されているが、当業者は、本開示の技術アプローチが、本開示のクレームの保護範囲から逸脱することなく、変更または等価的に置換され得ることを理解するであろう。特許請求の範囲において、「含む」という用語は他の要素またはステップを排除するものではなく、単数形は複数を除外しない。特許請求の範囲内のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 複数の２次元および／または３次元医用画像を解析するための医用画像アノテーションシステムを備えるシステムであって、前記医用画像アノテーションシステムは複数の画像アノテーションツールを提供し、前記画像アノテーションツールはそれぞれ、前記医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行し、
   前記医用画像アノテーションシステムは、
   ユーザインターフェースと、
   記録モジュールと、
   計算モジュールとを備え、
   前記医用画像のそれぞれについて、前記ユーザインターフェースは、ｉ）当該医用画像を提示し、ｉｉ）当該医用画像の各関心領域について、前記画像アノテーションツールのうちの１つまたは複数を用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取り、
   第１の医用画像について、前記記録モジュールは、前記第１の医用画像の１つまたは複数の前記関心領域について、前記インタラクションを記録し、
   （ａ）前記計算モジュールが、記録された前記インタラクションに基づき、当該医用画像の各関心領域について、画像アノテーション複雑さメトリックを計算することと、
   （ｂ）前記ユーザインターフェースによる前記アノテーションツールの提示が順序を示し、前記順序は、前記ユーザ入力が現在受け取られている当該医用画像の前記関心領域に応じて変化することと
   のうちの少なくとも１つが前記第１の医用画像および／または前記医用画像のうちの第２の医用画像に適用される、
   システム。
2. 少なくとも（ａ）が適用され、当該医用画像の少なくとも１つの関心領域について、前記関心領域に関して記録された１つまたは複数のインタラクションに基づき、前記関心領域の前記画像アノテーション複雑さメトリックが決定される、請求項１に記載のシステム。
3. 少なくとも（ａ）が適用され、当該医用画像の少なくとも１つの関心領域について、前記画像アノテーション複雑さメトリックは、前記ユーザインターフェースを用いて前記関心領域の少なくとも一部に注釈を付すために要求されるユーザインタラクションの程度を示す、請求項１または２に記載のシステム。
4. 少なくとも（ａ）が適用され、当該医用画像の少なくとも１つの関心領域について、前記画像アノテーション複雑さメトリックは、前記ユーザが前記ユーザインターフェースを介して前記関心領域の少なくとも一部に注釈を付すために要求される計測時間に基づき決定される、請求項１から３のいずれか一項に記載のシステム。
5. 少なくとも（ａ）が適用され、当該医用画像の少なくとも１つの関心領域について、前記画像アノテーション複雑さメトリックは、前記ユーザが前記ユーザインターフェースを介して前記関心領域の少なくとも一部に注釈を付すために要求されるインタラクションの数に基づき決定される、請求項１から４のいずれか一項に記載のシステム。
6. 少なくとも（ａ）が適用され、当該医用画像の少なくとも１つの関心領域について、前記画像アノテーション複雑さメトリックは、前記関心領域の少なくとも一部に注釈を付すために、前記複数のアノテーションツールのうちのどのアノテーションツールが前記ユーザによって使用されるかに基づき決定される、請求項１から５のいずれか一項に記載のシステム。
7. 少なくとも（ａ）が適用され、当該医用画像の少なくとも１つの関心領域について、前記画像アノテーション複雑さメトリックは、前記関心領域の少なくとも一部の領域のピクセルの数および／または幾何学的配置に基づき決定される、請求項１から６のいずれか一項に記載のシステム。
8. （ａ）および（ｂ）が適用され、前記画像アノテーションシステムは、当該医用画像の少なくとも１つの関心領域について、前記関心領域の前記画像アノテーション複雑さメトリックに基づき、前記画像アノテーションツールの前記順序を決定する、請求項１から７のいずれか一項に記載のシステム。
9. 前記ユーザインターフェースは、記録された前記インタラクションのうちの１つまたは複数のインタラクションに基づき、１つまたは複数の前記画像アノテーションツールの１つまたは複数の動作パラメータを調整する、請求項１から８のいずれか一項に記載のシステム。
10. 前記システムは、
    前記動作パラメータのうちの少なくとも１つを変更し、
    前記ユーザの前記インタラクションの少なくとも一部から取得される測定結果に対して前記変更がどのような影響を及ぼすかを測定する、請求項９に記載のシステム。
11. 少なくとも（ａ）が適用され、前記ユーザインターフェースは、当該医用画像の少なくとも１つの関心領域について、前記関心領域の前記画像アノテーション複雑さメトリックを視覚的に示し、かつ前記関心領域と同時に表示されるインジケータを表示する、請求項１から１０のいずれか一項に記載のシステム。
12. 少なくとも（ｂ）が適用され、前記画像アノテーションシステムは、前記ユーザインターフェースを介して受け取られる前記ユーザ入力に基づきユーザプロファイルを生成し、前記アノテーションツールの前記順序は前記ユーザプロファイルに基づき決定される、請求項１から１１のいずれか一項に記載のシステム。
13. ユーザインターフェースを有する画像アノテーションシステムを使用して複数の２次元および／または３次元医用画像を解析する方法であって、前記画像アノテーションシステムは複数の画像アノテーションツールを提供し、前記画像アノテーションツールはそれぞれ、前記医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行し、
    前記方法は、前記医用画像のそれぞれについて、
    前記ユーザインターフェースを用いて当該医用画像を提示するステップと、
    前記ユーザインターフェースを用いて、当該医用画像の各関心領域について、１つまたは複数の前記画像アノテーションツールを用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取るステップとを含み、
    前記方法はさらに、第１の画像について、前記画像アノテーションシステムを用いて、前記第１の医用画像の各関心領域について前記インタラクションを記録するステップを含み、
    （ａ）前記方法はさらに、記録された前記インタラクションに基づき、当該医用画像の１つまたは複数の関心領域について、画像アノテーション複雑さメトリックを計算するステップを含むことと、
    （ｂ）前記方法はさらに、前記ユーザインターフェースを用いて、順序を示すように前記アノテーションツールを提示するステップを含むことであって、前記順序は、前記ユーザ入力が現在受け取られている当該画像の前記関心領域に応じて変化する、提示するステップを含むことと
    のうちの少なくとも１つが前記第１の画像および／または前記医用画像のうちの第２の画像に適用される、方法。
14. コンピュータ上で実行されると、前記コンピュータに請求項１３に記載の方法を実行させる命令を含む、コンピュータプログラム。
15. ユーザインターフェースを有する画像アノテーションシステムを使用して複数の２次元または３次元医用画像を解析するためのプログラム要素であって、前記医用画像アノテーションシステムは複数の画像アノテーションツールを提供し、前記画像アノテーションツールはそれぞれ、前記医用画像の１つまたは複数の関心領域について、アノテーションの少なくとも一部を実行し、
    前記プログラム要素は、データ処理システムのプロセッサによって実行されると、前記医用画像のそれぞれについて、
    前記ユーザインターフェースを用いて当該医用画像を提示するステップと、
    前記ユーザインターフェースを用いて、当該医用画像の各関心領域について、１つまたは複数の前記画像アノテーションツールを用いた１つまたは複数のインタラクションに対応するユーザ入力を受け取るステップとを実行し、
    前記プログラム要素は、前記データ処理システムのプロセッサによって実行されると、前記医用画像のうちの第１の医用画像について、
    前記画像アノテーションシステムを用いて、前記第１の医用画像の１つまたは複数の関心領域について前記インタラクションを記録するステップを実行し、
    （ａ）前記プログラム要素は、前記データ処理システムのプロセッサによって実行されると、記録された前記インタラクションに基づき、当該画像の各関心領域のための画像アノテーション複雑さメトリックを計算するステップを実行することと、
    （ｂ）前記プログラム要素は、前記データ処理システムのプロセッサによって実行されると、前記ユーザインターフェースを用いて、順序を示すように前記アノテーションツールを提示するステップを実行することであって、前記順序は、前記ユーザ入力が現在受け取られている当該医用画像の前記関心領域に応じて変化する、提示するステップを実行することと
    のうちの少なくとも１つが前記第１の画像および／または前記画像のうちの第２の画像に適用される、プログラム要素。

Images