JP2022538361A - 画像分割信頼度決定 - Google Patents

画像分割信頼度決定 Download PDF

Info

Publication number
JP2022538361A
JP2022538361A JP2021577990A JP2021577990A JP2022538361A JP 2022538361 A JP2022538361 A JP 2022538361A JP 2021577990 A JP2021577990 A JP 2021577990A JP 2021577990 A JP2021577990 A JP 2021577990A JP 2022538361 A JP2022538361 A JP 2022538361A
Authority
JP
Japan
Prior art keywords
boundary
prediction
models
clustered
boundary prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021577990A
Other languages
English (en)
Inventor
タン ジョナサン
ダブリュ スー チュン
バット アドビット
Original Assignee
アシスト・メディカル・システムズ,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アシスト・メディカル・システムズ,インコーポレイテッド filed Critical アシスト・メディカル・システムズ,インコーポレイテッド
Publication of JP2022538361A publication Critical patent/JP2022538361A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752Contour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

画像分割と関連付けられている信頼レベルを決定するための例が開示される。全体の画像分割結果と関連付けられている信頼レベルは、それぞれが同じ画像データからである、複数の個々の分割結果を生成することにより決定できる。そして、これらの例は、全体の画像分割結果を形成し、全体の画像分割結果からの各個々の分割結果の広がりを測定するために、個々の分割結果を集積できる。そして、各個々の分割結果の測定された広がりは、全体の画像分割結果と関連付けられている信頼レベルを決定するために使用できる。これは、全体の画像分割結果と関連付けられている信頼レベルが決定されることを可能にできる。この信頼レベルは、全体の画像分割結果と比較するためのグラウンドトゥルースを必要とせずに決定できる。

Description

[関連出願]
本出願は、2019年9月24日に出願された米国出願第16/581、577の優先権を主張し、2019年7月2日に出願された米国暫定出願第62/869、793の恩典を主張するものであり、それらの内容はこれにより参考文献として組み込まれる。
本開示は、全体的には画像分割に関し、より特別には、画像分割と関連付けられている信頼レベルを決定、幾つかの場合においては、信頼レベルを示すための装置、システム、および方法に関する。ここにおいて開示されている例は、例えば、医療撮像において適用できる。
医療撮像技術は、画像データを収集し、注目解剖領域の生体内視覚化を生成するために使用できる。1つのそのような例は、血管内撮像であり、血管構造と内腔を撮像できる。例えば、血管内撮像は、冠動脈内腔、冠動脈壁組織、および、冠動脈壁にある、またはその近くのステントなどのような装置の1つ以上の画像を生成するために使用できる。これらの画像は、血管の診断上重要な特性を識別することなどのような診断目的に対して有用であり得る。
しかし、医療撮像の間に収集される情報は大量のデータを含む可能性が高く、そのうちの幾つかは、撮像が実行されている目的には無関係であることもあり得る。従って、ある解剖的特徴および/または医療的に有用なパラメータの測定値の画像解釈を簡素化し、識別を自動化するように、撮像中に収集される画像データを更に解析することは有用であり得る。
1つの例として、画像分割を、解釈を簡素化し、画像データにおける重要な特徴の識別および/または測定を自動化するために使用できる。画像分割は、画像、または画像のセットを、画像における関連する情報の識別を容易にするために1つ以上の注目部位に分割するために使用できる。
画像分割の結果と関連付けられている、エラーの確率などのような信頼レベルを決定するための典型的な例がここにおいて記述される。多くの適用において、画像分割の結果は、意味のある決定を容易にするために使用できるので、分割結果が信頼できるものであることは重要である。医療撮像の例においては、画像分割の結果は、医療的に関連のある情報の識別を容易にするために使用できるので、分割結果の信頼性は、医療的に関連のある情報を精度よく識別することにおいて重要であり得る。従って、ここにおいて開示されている例は、ユーザが、分割結果を使用するときに、推定された信頼レベルを考慮できるように、分割結果の信頼レベルを推定および提供できる。
分割結果の信頼レベルの推定は、自律分割において特に有用であり得る。ユーザによる画像データの手動による分割は単調であり得、時間がかかる可能性が高いので、実行中にユーザ入力なしで、または最小限のユーザ入力で、画像データに対する分割動作を実行する自律分割は望ましいことであり得る。しかし、自律分割には、あるレベルの不確定性が伴う。自動化された分割結果と関連付けられている推定された信頼レベルを提供することは、ユーザが自動化された分割結果に依拠するときに、ユーザにより良好に情報を伝えることを可能にできる。
注目すべきことであるが、ここにおいて開示されている例は、分割結果と比較するためのグラウンドトゥルース(正しいことがわかっている情報)がない適用において、画像分割の結果と関連付けられている信頼レベルを決定できる。多くの適用においては、画像データは、1つ以上の未知の情報を決定するために生成および分割される。そのため、分割結果は、未知の情報を突き止めるための手段であることができるので、分割結果に対する既知の比較点がないことは、分割結果と関連付けられている信頼レベルを決定することにおいて難しい問題を提示し得る。ここにおいて開示されている例は、分割結果と関連付けられている信頼レベルを、分割結果と比較するためのグラウンドトゥルースを必要とすることなく決定することによりこの問題を解決できる。例えば、血管内撮像においては、血管壁と血管内腔との間の前もっては知られていない境界を突き止めるために、血管壁、血管内腔、およびプラーク(斑)の画像データを生成および分割できる。血管壁と内腔との間の境界は知られていないので、ここにおいて開示されている例は、信頼レベルを決定するための血管壁と内腔との間の既知の境界を使用することなく、血管壁と内腔との間の分割された境界と関連付けられている信頼レベルを含むそのような画像データに対する分割結果を提供できる。
ここにおいて開示されている幾つかの例においては、画像分割結果と関連付けられている信頼レベルは、それぞれが同じ画像データからのものである複数の個々の分割結果を生成することにより決定できる。そして、これらの例は、すべての分割結果に共通する結果(以降、コンセンサスと表記する)からの(例えば、多数の分割結果から形成される全体の分割結果からの)各個々の分割結果の広がりを測定できる。そして、各個々の分割結果の測定された広がりは、ユーザに提示される、コンセンサス、または全体の画像分割結果と関連付けられている信頼レベルを決定するために使用できる。これは、コンセンサス、または全体の分割結果と比較するためのグラウンドトゥルースを必要とすることなく、コンセンサス、または全体の画像分割結果と関連付けられている信頼レベルが決定されることを可能にできる。
1つの例においては、方法は、プロセッサにより、対象物の断面図を備えている画像を受信することを含んでいる。方法は更に、複数のモデルのそれぞれに対して、プロセッサにより、そして、それぞれのモデルを使用して、画像内の対象物に対する境界予測を生成することを含んでおり、各境界予測は、複数の境界予測部分を備えており、複数のモデルの各モデルは、固有のモデルを備えている。方法はまた、プロセッサにより、そして、複数のモデルの各モデルに対する境界予測に基づいて、画像内の対象物に対するクラスタ化された境界予測を生成することを含んでおり、クラスタ化された境界予測は、それぞれが、境界予測のそれぞれの複数の境界予測部分の1つに対応している、複数のクラスタ化された境界予測部分を備えている。方法は更に、複数のクラスタ化された境界予測部分のそれぞれに対して、プロセッサにより、そして、それぞれのクラスタ化された境界予測部分と、境界予測の対応する境界予測部分との間の比較に基づいて、それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定することを含んでいる。方法はまた、プロセッサにより、そして、表示装置上の表示のために、複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力することを含んでおり、各クラスタ化された境界予測部分は、それぞれのクラスタ化された境界予測部分に対する信頼レベルを示す視覚的特徴を有している。
他の例においては、計算装置は少なくとも1つのプロセッサと、命令を格納するように構成されている格納構成要素を含んでいる。命令は、対象物の断面図を備えている画像を受信するために、少なくとも1つのプロセッサにより実行可能である。命令は更に、複数のモデルのそれぞれに対して、それぞれのモデルを使用して、画像内の対象物に対する境界予測を生成するために少なくとも1つのプロセッサにより実行可能であり、各境界予測は、複数の境界予測部分を備えており、複数のモデルの各モデルは、固有のモデルを備えている。命令はまた、複数のモデルの各モデルに対する境界予測に基づいて、画像内の対象物に対するクラスタ化された境界予測を生成するために少なくとも1つのプロセッサにより実行可能であり、クラスタ化された境界予測は、それぞれが、境界予測のそれぞれの複数の境界予測部分の1つに対応している、複数のクラスタ化された境界予測部分を備えている。命令は更に、複数のクラスタ化された境界予測部分のそれぞれに対して、それぞれのクラスタ化された境界予測部分と、境界予測の対応する境界予測部分との間の比較に基づいて、それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定するために少なくとも1つのプロセッサにより実行可能である。命令は更に、表示装置上の表示のために、複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力するために少なくとも1つのプロセッサにより実行可能であり、各クラスタ化された境界予測部分は、それぞれのクラスタ化された境界予測部分に対する信頼レベルを示す視覚的特徴を有している。
他の例においては、命令を格納している非一時的コンピュータ読み取り可能格納媒体が記述され、命令は、実行されると、計算装置の1つ以上のプロセッサに、対象物の断面図を備えている画像を受信させる。命令は更に、1つ以上のプロセッサに、複数のモデルのそれぞれに対して、それぞれのモデルを使用して、画像内の対象物に対する境界予測を生成させ、各境界予測は、複数の境界予測部分を備えており、複数のモデルの各モデルは、固有のモデルを備えている。命令はまた、1つ以上のプロセッサに、複数のモデルの各モデルに対する境界予測に基づいて、画像内の対象物に対するクラスタ化された境界予測を生成させ、クラスタ化された境界予測は、それぞれが、境界予測のそれぞれの複数の境界予測部分の1つに対応している、複数のクラスタ化された境界予測部分を備えている。命令は更に、1つ以上のプロセッサに、複数のクラスタ化された境界予測部分のそれぞれに対して、それぞれのクラスタ化された境界予測部分と、境界予測の対応する境界予測部分との間の比較に基づいて、それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定させる。命令はまた、1以上のプロセッサに、表示装置上の表示のために、複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力させ、各クラスタ化された境界予測部分は、それぞれのクラスタ化された境界予測部分に対する信頼レベルを示す視覚的特徴を有している。
1つ以上の例の詳細が、付随する図面と下記の記述において記述される。他の特徴、目的、および利点は、記述と図面から明白になるであろう。
下記の図面は、本発明の特別な例を示しており、従って、発明の範囲を制限していない。図面は、下記の記述における説明と連携しての使用が意図されている。発明の例を、類似の数字は類似の要素を示している付随する図面と連携して以下に記述する。
ここにおいて開示されている技術の1つ以上に従う、画像を取り込むように構成されているカメラと、画像を解析するように構成されている計算装置を含んでいる例としてのシステムを示す図である。 ここにおいて開示されている技術の1つ以上に従う、多数の個々の分割結果から形成される典型的な全体の分割結果と共に、多数の典型的な個々の分割結果を示している血管の断面図の例である。 ここにおいて開示されている技術の1つ以上に従う、関連付けられている信頼レベルを有する典型的な全体の分割結果を伴う、図2における血管の断面図の例である。 ここにおいて開示されている技術の1つ以上に従う、個々の分割結果のクラスタリングを使用して、信頼レベルを決定する方法の例を示している模式図である。図4における模式図は、特別な値の周りの相対的に強いクラスタリングを例示している。 個々の分割結果のクラスタリングを使用して、信頼レベルを決定する方法の例を示している他の模式図である。図5における模式図は、何れの特別な値の周りにも強いクラスタリングがないことを例示している。 ここにおいて記述されている技術の1つ以上に従う、画像内の対象物のクラスタ化された境界を予測する例としてのプロセスを示しているフロー図である。
下記の詳細な記述は、本質的に典型例であり、幾つかの実際の例示と例を提供する。当業者は、記述される例の多くは、多様な適切な代替を有するということを認識するであろう。
ここで開示されている例は、画像分割の結果と関連付けられている信頼レベルを決定できる。特に、ここにおいて開示されている例は、それぞれが同じ画像データからの、複数の個々の分割結果を使用できる。そのような例は、すべての分割結果のコンセンサスからの(つまり、多数の個々の分割結果から形成される全体の分割結果からの)各個々の分割結果の広がりを測定することにより、分割性能の信頼度を推定するための統合ロセスの統計的性質を適用できる。画像分割結果のこの推定された信頼度は、ユーザに、グラウンドトゥルースを知らずに分割結果をどのように使用するかについての追加的情報を提供できる。
図1は、ここにおいて開示されている技術の1つ以上に従う、画像を取り込むように構成されているカメラと、画像を解析するように構成されている計算装置を含んでいる例としてのシステムである。図1は、計算装置2の1つの特別な例のみを示しているが、計算装置2の多くの他の例を他の例においては使用でき、例としての計算装置2に含まれている構成要素のサブセットを含むことができ、図1に示されていない追加的な構成要素も含むことができる。例えば、別個の構成要素ではなく、カメラ20は、計算装置2に組み込むことができ、または、無線接続以外の方法で、機能的に接続できる。
図1の例において示されているように、計算装置2は、1つ以上のプロセッサ4、1つ以上の入/出力(I/O)構成要素6、1つ以上の通信ユニット14、および1つ以上の格納構成要素8を含んでいる。計算装置2の格納構成要素8は、クラスタリングモジュール10と予測モデル12を含んでいる。この開示の目的のために、予測モデルは、分割動作に類似することができ、各モデルは、異なる分割動作を記述している。通信チャネル(図示されていない)は、構成要素4、6、8、および14のそれぞれを、構成要素間通信のために相互接続できる(物理的に、通信可能に、および/または機能的に)。幾つかの例においては、通信チャネルは、システムバス、ネットワーク接続、プロセス間通信データ構造、または、データを通信で送るための任意の他の方法を含むことができる。
計算装置2の1つ以上の通信ユニット14は、ネットワーク信号を1つ以上のネットワーク上で送信および/または受信することにより、1つ以上の有線および/または無線ネットワークを介して外部装置と通信できる。通信ユニット14の例には、ネットワークインタフェースカード(例えば、イーサネット(Ethernet)(登録商標)カードなどのような)、光学式トランシーバ、無線周波数トランシーバ、GPS受信機、または、情報を送ることができる、および/または、受信できる任意の他のタイプの装置が含まれる。通信ユニット14の他の例には、ユニバーサルシリアルバス(USB)コントローラと共に、短波無線装置、セルラーデータ無線装置、ワイヤレスネットワーク無線装置を含むことができる。通信ユニット14は、Wi-Fi(登録商標)、ブルートゥース(登録商標)、またはLTEなどのようなワイヤレスプロトコルに従って動作するように構成されているワイヤレスインタフェースを含むことができる。
1つ以上のI/O構成要素6は、入力を受信できる入力構成要素を含むことができる。入力の例としては、触覚的、可聴的、およびビデオ入力がある。1つの例においては、計算装置2のI/O構成要素6は、血管内超音波カテーテル、存在感知入力装置(例えば、接触感知スクリーン、PSD)、マウス、キーボード、音声応答システム、ビデオカメラ、マイクロフォン、または、人間または機械からの入力を検出するための任意の他のタイプの装置を含んでいる。幾つかの例においては、I/O構成要素6は、1つ以上のセンサ構成要素、1つ以上の位置センサ(GPS構成要素、Wi-Fi(登録商標)構成要素、セルラー構成要素)、1つ以上の温度センサ、1つ以上の動きセンサ(例えば、加速度計、ジャイロ)、1つ以上の圧力センサ(例えば、バロメータ)、1つ以上の周囲光センサ、および1つ以上の他のセンサ(例えば、マイクロフォン、カメラ、赤外線近接センサ、湿度計など)を含むことができる。
I/O構成要素6はまた、出力を生成する1つ以上の出力構成要素も含むことができる。出力の例としては、触覚的、可聴的、およびビデオ出力がある。1つの例においては、計算装置2のI/O構成要素6は、PSD、サウンドカード、ビデオグラフィックスアダプタカード、スピーカ、陰極線管(CRT)モニタ、液晶ディスプレイ(LCD)、または、人間または機械に対する出力を生成するための任意の他のタイプの装置を含んでいる。
1つ以上のプロセッサ4は、計算装置2と関連付けられている機能を実現でき、および/または、命令を実行できる。プロセッサ4の例には、アプリケーションプロセッサ、ディスプレイコントローラ、補助プロセッサ、1つ以上のセンサハブ、および、プロセッサ、処理ユニット、または処理装置として機能するように構成されている任意の他のハードウェアが含まれる。モジュール10とモデル12は、計算装置2の種々の行動、動作、または機能を実行するためにプロセッサ4により動作可能であってよい。例えば、計算装置2のプロセッサ4は、モジュール10およびモデル12の動作をプロセッサ4に実行させる、格納構成要素8に格納されている命令を取り出して実行できる。命令は、プロセッサ4により実行されると、計算装置2に、情報を格納構成要素8内に格納させることができる。
計算装置2内の1つ以上の格納構成要素8は、計算装置2の動作の間の処理のための情報を格納できる(例えば、計算装置2は、計算装置2における実行の間に、モジュール10と予測モデル12によりアクセスされるデータを格納できる)。幾つかの例においては、格納構成要素8は一時的メモリであり、それは、格納構成要素8の主要な目的は、長期の格納ではないことを意味している。計算装置2上の格納構成要素8は、揮発性メモリとして、情報の短期格納用に構成でき、そのため、電源が切られると、格納されている内容を保持しない。揮発性メモリの例としては、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、および、この技術において知られている揮発性メモリの他の形状が含まれる。
幾つかの例においては、格納構成要素8はまた、1つ以上のコンピュータ読み取り可能格納媒体も含んでいる。幾つかの例においては、格納構成要素8は、1つ以上の非一時的コンピュータ読み取り可能格納媒体を含んでいる。格納構成要素8は、揮発性メモリにより典型的に格納されるよりも多くの量の情報を格納するように構成できる。格納構成要素8は更に、不揮発性メモリ空間として情報を長期間格納し、電源のオン/オフサイクルの後でも情報を保持するように構成できる。不揮発性メモリの例としては、磁気ハードディスク、光ディスク、フロッピーディスク、フラッシュメモリ、または、電気的プログラマブルメモリ(EPROM)または電気的消去可能型プログラマブルメモリ(EEPROM)の形状が含まれる。格納構成要素8は、モジュール10と予測モデル12と関連付けられているプログラム命令および/または情報(例えば、データ)を格納できる。格納構成要素8は、モジュール10と予測モデル12と関連付けられているデータまたは他の情報を格納するように構成されているメモリを含むことができる。
カメラ20は、対象物の画像を取り込むことができる任意の画像取り込み装置であってよい。幾つかの例においては、カメラ20は、例えば、患者70の冠動脈の断面図を含む画像を取り込むように構成されている血管内超音波カテーテルであってよい。しかし、他の例においては、カメラ20は、対象物の断面画像を取り込むように構成されている任意の他のタイプのカメラであってよい。そのため、この開示を通して、血管内超音波画像を取り込んだ後に、血管内の対象物の境界を測定するように記述されているが、同じ技術を、画像内の対象物の境界が定義されることになる任意の画像に適用できる。例えば、類似の技術を、自然画像(例えば、カラー画像、グレースケール画像)、異なる医療モダリティ画像(例えば、磁気共鳴撮像法(MRI)、X線、コンピュータ断層撮影(CT)、陽電子放射断層撮影(PET)、単一光子放射型コンピュータ断層撮影(SPECT)、および超音波を通して取り込まれた画像)、および非自然画像(例えば、熱画像、紫外線画像)に適用できる。更に、ここにおいて記述されている技術は、断面領域に関して記述されているが、同じ技術を、そのような対象物の境界を突き止めることができる画像内の任意の対象物に適用できる。
本開示の技術に従えば、クラスタリングモジュール10は、対象物の断面図を含んでいる画像を受信できる。クラスタリングモジュール10は、カメラ20などのようなカメラから画像を受信できる。カメラ20は、クラスタリングモジュール10の外部に位置させることができ、その場合は、クラスタリングモジュール10は、通信ユニット14を介して画像を受信する。他の例においては、カメラ20を、計算装置2内に組み込むことができる。画像は、対象物の断面を含んでいる、画像内の既知または未知の境界を有する対象物を含んでいる任意の画像であってよい。例えば、カメラ20は、患者70の静脈または動脈の画像を取り込むように構成されている血管内超音波装置であってよい。
複数のモデルのそれぞれに対して、クラスタリングモジュール10は、それぞれのモデルを使用して、画像内の対象物に対する境界予測を生成できる。境界予測はまた、画像分割、または、個々の分割結果と称することもできる。複数のモデルの各モデルは、固有のモデルであってよい。更に、各境界予測は、複数の境界予測部分を含むことができる。例えば、複数のモデルは、特に他のモデルの中でも、機械学習またはディープラーニングモデル、パターン認識モデル、コンピュータビジョンモデル、または、パラメータ修正モデルの任意のタイプを含むことができる。例えば、サポートベクトルマシン(SVM)モデル、UNetモデル、ランダムフォレストモデル、および、ゾーベルフィルタリングなどのようなエッジ検出コンピュータビジョンモデル、および、異なるパラメータを有するそれらの変形例を複数のモデルに含むことができる。最終的に、複数のモデルは、9個以上を超える別個のモデルを含むことができ、その場合は、別個のモデルのそれぞれは、画像内の対象物の境界を予測するために使用できる。
クラスタリングモジュール10は、複数のモデルのそれぞれのモデルに対する境界予測に基づいて、画像内の対象物のクラスタ化された境界予測を生成できる。クラスタ化された境界予測はまた、全体の分割結果と称することもできる。クラスタリングモジュール10は、クラスタリング測定基準と共に、統合技術を使用して、クラスタ化された境界予測を決定できる。幾つかの例においては、クラスタ化された境界予測に対するクラスタリング測定基準は、個々の画像分割結果(または、境界予測の対応する境界予測部分)の中央値であることができる。幾つかの例においては、クラスタ化された境界予測に対するクラスタリング測定基準は、複数のモデルの境界予測の対応する境界予測部分のそれぞれから平均されるような平均境界であってよい。他の例においては、クラスタ化された境界予測は、画像内の対象物に対する重み付けされたクラスタ化された境界予測であってよい。例えば、クラスタリングモジュール10は、複数のモデルのそれぞれに対して、各モデルに対する重みを決定できる。そして、クラスタリングモジュール10は、境界予測の対応する境界予測部分と、複数のモデルの各モデルに対する重みに基づいて、重みを境界予測のそれぞれに適用し、重みと共に、境界予測の対応する境界予測部分を平均することにより、重み付けされたクラスタ化された境界予測を生成できる。
クラスタ化された境界予測は、それぞれが、境界予測のそれぞれの複数の境界予測部分の1つに対応する複数のクラスタ化された境界予測部分を含むことができる。例えば、各境界予測が100個の境界予測部分に分割されると、クラスタ化された境界予測も同様に、画像内の対象物に関して類似の位置を有している対応する部分とともに、100個のクラスタ化された境界予測部分に分割できる。クラスタ化された境界予測の複数のクラスタ化された境界予測部分のそれぞれに対して、クラスタリングモジュール10は、それぞれのクラスタ化された境界予測部分と、境界予測の対応する境界予測部分との間の比較に基づいて、それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定できる。
幾つかの例においては、信頼レベルを決定するときに、クラスタリングモジュール10は、複数のモデルのそれぞれに対して、クラスタ化された境界予測部分と、境界予測の対応する境界予測部分との間の比較に基づいて、それぞれのモデルに対する広がりを決定できる。そのような広がりの1つの例は、2つの値間の偏差の任意の測定値を、ここにおいて開示されている技術の目的のために使用できるが、zスコアであることができる。そして、クラスタリングモジュール10は、境界予測の対応する境界予測部分のそれぞれに対する広がりに基づいて、それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定できる。
統計学的に定義されているように、zスコアは、特別な値が、平均から離れている標準偏差の数と等価である。クラスタリングモジュール10は、まず、クラスタ化された境界予測部分と、境界予測の対応する境界予測部分を使用して、クラスタ化された境界予測部分を予測分布の平均とする、図4と5の予測分布などのような予測分布を作成することにより、それぞれのモデルに対するzスコアを決定できる。この予測分布は、線に沿うドットプロットと同じくらいにシンプルであってよく、または、ベル曲線などのように、より複雑な分布であってよい。そして、クラスタリングモジュール10は、予測分布に対する標準偏差を決定できる。標準偏差は、数学の典型的な規則に従って計算でき、または、標準偏差を計算するための典型的なアルゴリズムに対する独自の調整により計算できる。そして、クラスタリングモジュール10は、境界予測の対応する境界予測部分のそれぞれに対するzスコアを、それぞれの対応する境界予測部分が、クラスタ化された境界予測部分から離れている標準偏差の数として決定できる。
幾つかの例においては、モデルの1つ以上は、モデルの予測は、クラスタ化された境界予測の少なくともそのクラスタ化された境界予測部分に対してはエラーであることが明確であるという異常値のような結果を生成する可能性がある。実際には、クラスタリングモジュール10は、第1境界予測の第1対応境界予測部分に対する広がりは、予測分布に対する偏差閾値を超えていると決定でき、ここにおいて、第1境界予測は、複数のモデルの第1モデルと関連付けられている。幾つかの例においては、偏差閾値は、ユーザが定義した閾値であってよく、その場合は、他の例は、デフォルトまたは予め定義された閾値を含むことができる。この決定をすることに応答して、クラスタリングモジュール10は、第1モデルを除く複数のモデルからのすべての他のモデルを含むモデルのサブセットを生成するために、第1モデルを複数のモデルから除去できる(例えば、モデルのサブセットは、他の個々の分割結果の異常値でないクラスタ化された境界予測部分を含んでいる)。そして、クラスタリングモジュール10は、エラーモデルが、アルゴリズムの結果を変えることを可能にさせず、モデルのサブセットのみを使用して、クラスタ化された境界予測の少なくともそれぞれのクラスタ化された境界予測部分を再計算できる。
クラスタリングモジュール10は、入/出力構成要素6などのような表示装置上の表示のために、少なくとも全体の分割結果の、クラスタ化された境界予測の複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を含んでいる表現を出力できる。複数のクラスタ化された境界予測部分の各クラスタ化された境界予測部分は、それぞれのクラスタ化された境界予測部分に対する信頼レベルを示す、視覚的特徴、または、視覚指標を有している。視覚的特徴は、当の特別なクラスタ化された境界予測部分の信頼レベルを示すことができる任意のはっきりと区別している視覚的特徴であってよい。視覚的特徴の例としては、線の色、塗りパターン、線の太さ、線の分割、テキスト指標、グラフィカルアイコン、またはそれらの任意の組み合わせが含まれる。例えば、視覚的特徴が線の色を含んでいるときは、クラスタ化された境界予測のクラスタ化された境界予測部分に対する緑の指標は、クラスタ化された境界予測のそのクラスタ化された境界予測部分に対する高い信頼度を示すことができる。逆に、低い信頼レベルのクラスタ化された境界予測のクラスタ化された境界予測部分は、出力において赤として示すことができ、中間の信頼レベルのクラスタ化された境界予測の部分は、黄色として示すことができる。これは、色のスペクトルであってよく、信頼レベルが下がるにつれて、緑スペクトルから赤スペクトルに変化する。
図2は、血管100の断面図の例を示している。血管100の断面図は、典型的な全体の分割結果110と共に、多数の典型な個々の分割結果105A~105Eを含んでいる。全体の分割結果110は、個々の分割結果105A~105Eの1つ以上から形成できる。例えば、個々の分割結果105A~105Eの1つ以上を、全体の分割結果110を形成するために統合できる。示されている例においては、全体の分割結果110は、個々の分割結果105A~105Eのそれぞれから形成されている。示されている例は、5つの個々の分割結果105A~105Eに関して記述されているが、他の数の個々の分割結果(例えば、6つ以上、または4つ以下)を、本開示の範囲内の他の例において使用できる。
図2において示されているように、血管100の断面図は、血管内腔120を画定している血管壁115を含んでいる。複数の、独立した分割動作が、同じ画像データに対して実行される。この例においては、複数の、独立した分割動作が、血管100の断面図に対応する画像データに対して実行される。示されている例においては、複数の、独立した分割動作(またはモデル)が、血管壁115と血管内腔120との間の界面または境界を識別/予測するために実行される。
複数の、独立した分割動作のそれぞれは、個々の分割結果という結果になり得る。示されている例においては、それぞれの独立した分割動作は、対応する個々の分割結果105A~105Eを生成する。例えば、第1分割動作は、第1個々の分割結果105Aを生成でき、第2分割動作は、第2個々の分割結果105Bを生成でき、第3分割動作は、第3個々の分割結果105Cを生成でき、第4分割動作は、第4個々の分割結果105Dを生成でき、第5分割動作は、第5個々の分割結果105Eを生成できる。各分割動作は異なっていることができる。例えば、示されている例においては、各分割動作は、血管壁115と血管内腔120との間の界面を識別するための異なる分割アルゴリズムであってよい。そして、異なる分割アルゴリズムのそれぞれを、血管100の断面図に対応する同じ画像データに対して実行できる。従って、これらの異なる分割動作により生成される個々の分割結果105A~105Eのそれぞれは、血管壁115と血管内腔120との間の界面を近似することにおいて、他の領域の位置と類似している位置の1つ以上の領域と、他の領域の位置とは実質的に異なる位置の1つ以上の領域を含むことができる。
図2において示されているように、血管100の断面図は、1つ以上の領域125A、125B、125Cを含むことができ、そこにおいては、個々の分割結果105A~105Eは、類似の位置を、血管壁115と血管内腔120との間の界面として識別している。領域125A、125B、および125Cにおいては、個々の分割結果105A~105Eの2つ以上が全体的に重なっており、従って、類似の位置を、血管壁115と血管内腔120との間の界面として識別している。例えば、図2において示されているように、領域125A、125B、および125Cのそれぞれにおいては、個々の分割結果105A~105Eの2つ以上(例えば、それぞれ)は、互いの所定の範囲内であり、そのため、全体的に重なり、類似の位置を、血管壁115と血管内腔120との間の界面として識別していると考えられる。
また、図2において示されているように、血管100の断面図は、1つ以上の領域130A、130B、130Cを含むことができ、そこにおいては、個々の分割結果105A~105Eは、実質的に異なる位置を、血管壁115と血管内腔120との間の界面として識別している。領域130A、130B、および130Cにおいては、個々の分割結果105A~105Eの2つ以上は、全体的に離れており、従って、実質的に異なる位置を、血管壁115と血管内腔120との間の界面として識別している。例えば、図2において示されているように、領域130A、130B、および130Cのそれぞれにおいて、個々の分割結果105A~105Eの2つ以上(例えば、それぞれ)は、互いの所定の範囲外であり、そのため、全体的に離れており、実質的に異なる位置を、血管壁115と血管内腔120との間の界面として識別していると考えられる。
注記したように、個々の分割結果105A~105Eの2つ以上は、全体の分割結果110を形成するために使用できる。例えば、個々の分割結果105A~105Eの2つ以上は、全体の分割結果110を形成するために統合できる。示されている例においては、個々の分割結果105A~105Eを統合したものの中央値が、図2において示されている全体の分割結果110を形成するために使用された。幾つかの例においては、個々の分割結果105A~105Eのそれぞれを、全体の分割結果110を形成するために使用できる。他の例においては、1つ以上の、異常値である個々の分割結果105A~105Eを破棄でき、残りの個々の分割結果105A~105Eを、全体の分割結果110を形成するために使用できる。例えば、1つの個々の分割結果が、所定の異常値閾値を超えて、他の個々の分割結果のそれぞれとは異る場合は、この個々の分割結果を、全体の分割結果110の情報における使用から除外できる。幾つかの例においては、個々の分割結果の部分が、所定の異常値閾値を超えて、他の個々の分割結果の対応する部分と異なるときは、個々の分割結果のこの部分を、全体の分割結果110の情報における使用から除外できる(例えば、全体の分割結果110の対応する部分が、他の個々の分割結果の対応する異常値でない部分から形成されるように)。
図3は、関連付けられている信頼レベルと共に提示されている、全体の分割結果110を含んでいる血管100の断面図の例を示している。図3において示されているように、全体の分割結果110は、全体の分割結果110の位置におけるエラーの異なる確率が存在する、全体の分割結果110の領域における異なる指標を含むことにより、関連付けられている信頼レベルと共に提示されている。示されている例においては、全体の分割結果110の位置におけるエラーの異なる確率が存在する、全体の分割結果110の領域を伝えるために、視覚指標は、全体の分割結果110と関連付けられている。例えば、全体の分割結果110は、全体の分割結果110の位置におけるエラーの確率が相対的に低い、全体の分割結果110の部分と関連付けられている1つのタイプの視覚指標と、全体の分割結果110の位置におけるエラーの確率が相対的に高い、全体の分割結果110の部分と関連付けられている他の異なるタイプの視覚指標を含むことができる。
示されている例においては、全体の分割結果110の部分は、異なる指標205、210、および215を含んでいる。
指標205は、全体の分割結果110の位置におけるエラーの確率が相対的に低い、全体の分割結果110の部分と関連付けられている。全体の分割結果110の位置におけるエラーの確率が相対的に低いところでは、信頼レベルは相対的に高いと考えることができる。示されている例においては、全体の分割結果110の位置におけるエラーの確率が相対的に低く、そのため、指標205と関連付けられている全体の分割結果110部分は、個々の分割結果105A~105Eが、類似の位置を、血管壁115と血管内腔120との間の界面として識別している領域125A、125B、および125Cに対応している。
指標215は、全体の分割結果110の位置におけるエラーの確率が相対的に高い、全体の分割結果110の部分と関連付けられている。全体の分割結果110の位置におけるエラーの確率が相対的に高いところでは、信頼レベルは相対的に低いと考えることができる。示されている例においては、全体の分割結果110の位置におけるエラーの確率が相対的に高く、そのため、指標215と関連付けられている全体の分割結果110部分は、個々の分割結果105A~105Eが、実質的に異なる位置を、血管壁115と血管内腔120との間の界面として識別している領域130Aと130Cに対応している。
幾つかの例においては、指標210はまた、全体の分割結果110の位置におけるエラーの確率が相対的に中くらいの、全体の分割結果110の部分に含むことができ、それと関連付けることができる。全体の分割結果110の位置におけるエラーの確率が相対的に中くらいのところでは、信頼レベルは相対的に中くらいと考えることができる。例えば、指標210は、全体の分割結果110の位置におけるエラーの確率が、エラーの相対的に高い確率と相対的に低い確率の間を遷移する、全体の分割結果110の部分に含むことができ、それと関連付けることができる。示されている例においては、全体の分割結果110の位置におけるエラーの確率が相対的に中くらいで、そのため、指標210と関連付けられている全体の分割結果110の部分は、個々の分割結果105A~105Eが、実質的に異なる位置を、血管壁115と血管内腔120との間の界面として識別することと、実質的に類似の位置を、血管壁115と血管内腔120との間の界面として識別することの間を遷移する、図2における領域に対応することができる。
注記したように、示されている例においては、指標205、210、215は、血管100の断面図の表示されている画像上に提示されている視覚指標であることができる。示されているように、指標205、210、215は、全体の分割結果110を表わしている線上に位置させることができる。指標205、210、215は、異なる視覚的特徴を提示している異なる視覚指標であることができ、そのためユーザは、異なる信頼レベル(例えば、エラーの確率)と関連付けられている全体の分割結果110の部分を視覚的に区別できる。例えば、異なる視覚指標205、210、215は、それぞれ異なる色であることができる。例えば、視覚指標205、210、215は、視覚指標205は、色勾配の第1部分(例えば、色の全体的に緑色のスペクトル)で表示され、視覚指標210は、色勾配の第2の後続する部分(例えば、色の全体的に黄色のスぺクトル)で表示され、そして、視覚指標215は、色勾配の第3の後続する部分(例えば、色の全体的に赤色のスぺクトル)で表示されるように、色勾配の形状を取ることができる。他の例においては、視覚指標205、210、215は、全体の分割結果110を表わしている線における異なる線パターンの形状を取ることができる。例えば、異なる視覚指標205、210、215はそれぞれ、ユーザが異なる信頼レベル(例えば、エラーの確率)と関連付けられている全体の分割結果110の部分を視覚的に区別できるように、異なる点線パターンまたは、異なる実線および点線パターンの組み合わせであることができる。異なる視覚指標205、210、215は、他の視覚的特徴に関して異なっていることができる。
全体の分割結果110と関連付けられている信頼レベルを決定するために種々の技術を利用できる。下記に、全体の分割結果110と関連付けられている信頼レベルを決定するための1つの特別な例を記述する。全体の分割結果110と関連付けられている信頼レベルを決定するために、本開示の範囲内で、他の技術も利用できる。
1つの典型的な技術は、対応する個々の分割結果を得るために、複数の、異なる分割アルゴリズムを実行する。そして、クラスタリング測定基準が、これらの個々の分割結果に適用され、そしてクラスタリング測定基準は、特定の問題に特有な確率測定値に変換される。
この典型的な技術においては、クラスタを得るために、統合された予測の機能を活用できる。統合するとは、一般的には、同じデータ(例えば、血管の断面図に対応する画像データ)についての幾つかのモデルの結果(例えば、個々の分割結果)を集積することを意味している。集積されると、最終的な単一結果(例えば、全体の分割結果)を得るために測定基準が使用される。
この典型的な技術においては、結果を統合することにより、幾つかの可能な境界位置(例えば、個々の分割結果)を、最終的な計算された境界(例えば、全体の分割結果)と共に得ることができる。単一の境界または近くの境界の結果が多いほど、選択された境界が正しいという信頼度は高くなる。ほとんどの結果が異なる場合は、それらの境界は、画像データからは不明瞭であると結論することができ、そのため、対応する位置で正しい境界を選択する信頼度は低い。
典型的な技術の統合プロセスにおいては、画像分割信頼レベルは、すべてのアルゴリズムのコンセンサスからの各アルゴリズムの結果の広がりを測定することにより決定できる(例えば、全体の分割結果からの、個々の分割結果のそれぞれの広がりを測定することにより)。各アルゴリズムの結果を含む統計学的情報を測定する任意のタイプと、すべてのアルゴリズムの結果のコンセンサスを定義する任意のタイプを、信頼レベルを推定するために使用できる。
例えば、この典型的な技術においては、クラスタリングの測定値は、予測(例えば、個々の分割結果)の標準偏差を使用して決定できる。高い標準偏差は、低い信頼度と相関付けることができ、一方、低い標準偏差は、高い信頼度と相関付けることができる。幾つかの場合においては、単一の個々の分割結果からなどのような、異常値点、または複数の異常値点は、少数の低水準の予測のために結果を歪めることを回避するために除去できる。
この典型的な技術においては、予測(例えば、個々の分割結果)の標準偏差が決定されると、標準偏差は、信頼度測定値に変換できる。例えば、そうするために、範囲を画定するための最小標準偏差と最大標準偏差を経験的に決定できる。例えば、1未満の標準偏差は完全な予測と考えることができ、10を超える標準偏差は、全くの推測に過ぎないと考えることができる。最小標準偏差と最大標準偏差で範囲を画定した後、決定された標準偏差は、エラーの確率を提供するために正規化できる。エラー値のこの確率の逆数は、正しい最終的な計算された境界(例えば、全体の分割結果)に対する信頼レベルと考えることができる。
そのような技術は、個々の予測(例えば、個々の分割結果)をグラウンドトゥルースと比較することなく(例えば、画像データにおける2つのアイテム間の実際の境界と比較することなく)分割結果(例えば、全体の分割結果)の信頼度を決定することを可能にできるので有用であり得る。本開示はこの技術を、典型的な血管内撮像の適用において記述しているが、本開示は、他の撮像の適用に適用できる。これらの他の撮像の適用としては、例えば、磁気共鳴映像法(MRI)画像データ、コンピュータ断層撮影(CT)画像データ、可視光画像データ、および熱画像データを含むことができる。
図4と5は、個々の分割結果のクラスタリングを使用して信頼レベルを決定する方法の例の模式図を示している。図4における模式図は、特別な値の周りの相対的に強いクラスタリングを例示しており、一方、図5における模式図は、何れの特別な値の周りにも強いクラスタリングがない、より広い分布を例示している。図4と5において示されている例においては、方法は、2に位置している値を予測すること試みており、図4と5においてプロットされている各点は、統合されたものからの、独立している予測(例えば、個々の分割結果)を表わしている。
図4において示されているように、ほとんどの予測(例えば、個々の分割結果)は相対的に正確であるが、ほぼ5の値において示されている単一の予測は、それが、他の予測の何れよりも2の値から遠く離れているので相対的に不正確である。従って、図4の例においては、2の値の周りに相対的に強いクラスタリングがある。1つの例においては、ほぼ5の値において示されている単一の予測は、それが、他の予測からの所定の範囲から外れているので異常値と考えることができ、更なる使用から除外できる。図4は、統合の後、最終値(例えば、全体の分割結果)の予測における相対的に高い信頼レベルがあることを示しているように視覚的に見える。
図5において示されているように、個々の予測(例えば、個々の分割結果)は相対的に広がっており、そのため、いずれの単一の予測における信頼レベルは相対的に低い。この例においては、特別な値の周りの強いクラスタリングは存在しない。そのため、統合の後、ここにおいて示されている個々の予測と関連付けられている相対的に低い信頼値があると決定できる。
図4と5において示されている例において示されているように、予測クラスタリングを評価することは、グラウンドトゥルースの存在なしで(例えば、これらの例においては、真の値が2であることを知らずに)、予測の信頼レベルとの強い相関を有することができる。予測クラスタリングは、ここにおいて何れかの箇所で記述されているような標準偏差などのような、任意の一般的なクラスタリング測定基準を使用して評価できる。
クラスタリング測定基準を信頼レベルに変えるために、マッピングを、クラスタリング測定基準と確率との間で決定できる。多くの例においては、クラスタリング測定基準とエラーとの間の関係は、特別な適用に対して適切なものとして体系的に推定できる。標準偏差の例を使用すると、適切な標準偏差を、ほとんどのクラスタリングエラーを説明するために実験的に選択できる。そのような関係を確立した後、種々の適用に適切なようにマッピングを近似できる。例えば、1つの例としてのマッピングは、ここにおいて前記に詳述されているように、最大容認可能標準偏差を実験的に決定した後の単純な正規化測定基準であることができる。そのようなマッピングは、特定の適用に適用可能であれば、非線形にすることができる。
図6は、ここにおいて記述されている技術の1つ以上に従う、画像内の対象物のクラスタ化された境界を予測する例としてのプロセスを示しているフロー図である。図6の動作は、図1の計算装置2などのような計算装置の1つ以上のプロセッサにより実行できる。例示のみの目的のために、図6を、図1の計算装置2の状況内において下記に記述する。
本開示の技術に従って、計算装置2は、対象物の断面図を備えている画像を受信する(602)。複数のモデルのそれぞれに対して、計算装置2は、それぞれのモデルを使用して、画像内の対象物に対する境界予測を生成する(604)。複数のモデルの各モデルは、固有のモデルである。更に、各境界予測は、複数の境界予測部分を有している。計算装置2は、複数のモデルの各モデルに対する境界予測に基づいて、画像内の対象物に対するクラスタ化された境界予測を生成する。クラスタ化された境界予測は、それぞれが、境界予測のそれぞれの、複数の境界予測部分の1つに対応している複数のクラスタ化された境界予測部分を含んでいる。複数のクラスタ化された境界予測部分のそれぞれに対して、計算装置2は、それぞれのクラスタ化された境界予測部分と、境界予測の対応する境界予測部分との間の比較に基づいて、それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定する(608)。計算装置2は、表示装置上の表示のために、複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力する(610)。各クラスタ化された境界予測部分は、それぞれのクラスタ化された境界予測部分に対する信頼レベルを示す視覚的特徴を有している。
例によっては、ここにおいて記述されている技術の任意のある動作または事象は、異なるシーケンスにおいて実行でき、追加でき、融合でき、または、まとめて省略することができるということは認識すべきである(例えば、記述されている動作または事象のすべてが技術の実践のために必要というわけではない)。更に、ある例においては、動作または事象は、連続にではなく、例えば、マルチスレッド処理、インタラプト処理、またはマルチプロセッサを通して同時に実行できる。
1つ以上の例においては、記述されている機能は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいて実現できる。ソフトウェアで実現される場合は、機能は、1つ以上の命令またはコードとして、コンピュータ読み取り可能媒体に格納でき、または、コンピュータ読み取り可能媒体上で送信でき、ハードウェアに基づく処理ユニットにより実行できる。コンピュータ読み取り可能媒体は、データ格納媒体などのような実体的媒体に対応するコンピュータ読み取り可能格納媒体、または、例えば、通信プロトコルに従って、1つの場所から他の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含んでいる通信媒体を含むことができる。このようにして、コンピュータ読み取り可能媒体は、一般的に、(1)非一時的な実体的コンピュータ読み取り可能格納媒体、または(2)信号または搬送波などのような通信媒体に対応することができる。データ格納媒体は、本開示において記述されている技術を実現するための命令、コード、および/またはデータ構造を取り出すために、1つ以上のコンピュータまたは1つ以上のプロセッサによりアクセスできる任意の利用可能な媒体であることができる。コンピュータプログラム製品は、コンピュータ読み取り可能媒体を含むことができる。
例として、制限的にではなく、そのようなコンピュータ読み取り可能格納媒体には、RAM、ROM、EEPROM、CD-ROM、または他の光ディスク格納装置、磁気ディスク格納装置、または、他の磁気格納構成要素、フラッシュメモリ、または、所望のプログラムコードを、命令またはデータ構造の形状で格納するために使用でき、コンピュータによりアクセスできる任意の他の媒体を含むことができる。また、任意の接続は、コンピュータ読み取り可能媒体と適切に称することができる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または、赤外線、無線、およびマイク波などのような無線技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または、赤外線、無線、およびマイク波などのような無線技術は、媒体の定義に含まれる。しかし、コンピュータ読み取り可能格納媒体およびデータ格納媒体には、接続、搬送波、信号、または他の一時的媒体は含まれず、コンピュータ読み取り可能格納媒体は、非一時的で、実体的な格納媒体を指しているということは理解されるべきである。ここにおいて使用されているように、ディスク(disk)とディスク(disc)には、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多目的ディスク(DVD)、フロッピーディスク、およびブルーレイ(登録商標)ディスクが含まれ、ディスク(disk)は普通、データを磁気的に再生し、ディスク(disc)は、データをレーザーにより光学的に再生する。上記の組み合わせもまた、コンピュータ読み取り可能媒体の範囲内に含めるべきである。
命令は、1つ以上のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価な集積または離散ロジック回路などのような1つ以上のプロセッサにより実行できる。従って、ここにおいて使用されているような「プロセッサ」という用語は、前述の構造の何れも、またはここにおいて記述されている技術の実現のために適切な任意の他の構造を指すことができる。加えて、幾つかの態様においては、ここにおいて記述されている機能は、符号化および復号化のために、または、組み合わされているコーデック(符号器/復号器)における組み込みのために構成されている専用のハードウェアおよび/またはソフトウェアモジュール内に設けることができる。また、技術は、1つ以上の回路またはロジック要素において完全に実現できる。
本開示の技術は、無線ハンドセット、集積回路(IC)、またはICのセット(例えば、チップセット)を含む、広く、多様なデバイスまたは装置において実現できる。種々の構成要素、モジュール、またはユニットは、本開示においては、開示されている技術を実行するように構成されている装置の機能的な態様を強調するために記述されているが、異なるハードウェアユニットによる現実化を必ずしも要求しない。もっと正確に言えば、上記のように、種々のユニットを、コーデックハードウェアユニットにおいて組み合わせることができ、または、上記のように、適切なソフトウェアおよび/またはファームウェアとの連携における1つ以上のプロセッサを含む、相互動作的ハードウェアユニットの集合により提供できる。
種々の例が、ある開示されている例に関して記述されてきた。例は、例示の目的のために提示されているのであり、制限的ではない。当業者は、発明の範囲から逸脱することなく、種々の変更、適合、および修正ができるということを認識するであろう。

Claims (20)

  1. 方法であって、
    プロセッサにより、対象物の断面図を備えている画像を受信することと、
    複数のモデルのそれぞれに対して、前記プロセッサにより、および、前記それぞれのモデルを使用して、前記画像内の前記対象物に対する境界予測を生成することと、ここにおいて各境界予測は、複数の境界予測部分を備えており、前記複数のモデルの各モデルは、固有のモデルを備えており、
    前記プロセッサにより、および、前記複数のモデルの各モデルに対する前記境界予測に基づいて、前記画像内の前記対象物に対するクラスタ化された境界予測を生成すること、ここにおいて、前記クラスタ化された境界予測は、それぞれが、前記境界予測のそれぞれの前記複数の境界予測部分の1つに対応している、複数のクラスタ化された境界予測部分を備えており、
    前記複数のクラスタ化された境界予測部分のそれぞれに対して、前記プロセッサにより、および、前記それぞれのクラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分との間の比較に基づいて、前記それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定することと、
    前記プロセッサにより、および、表示装置上の表示のために、それぞれが、前記それぞれのクラスタ化された境界予測部分に対する前記信頼レベルを示す視覚的特徴を有している前記複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力することを備えていることを特徴とする方法。
  2. 前記複数のモデルは、機械学習モデル、ディープラーニングモデル、パターン認識モデル、コンピュータビジョンモデル、および、パラメータ修正モデルの1つ以上を含んでいることを特徴とする請求項1の方法。
  3. 前記信頼レベルを決定することは、
    前記複数のモデルのそれぞれに対して、前記プロセッサにより、および、前記それぞれのクラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分との間の比較に基づいて、前記それぞれのモデルに対する広がりを決定することと、
    前記プロセッサにより、および、前記境界予測の前記対応する境界予測部分のそれぞれに対する前記広がりに基づいて、前記それぞれのクラスタ化された境界予測部分に対する前記信頼レベルを決定することを備えていることを特徴とする請求項1の方法。
  4. 前記境界予測の前記対応する境界予測部分のそれぞれに対する前記広がりを決定することは、
    前記プロセッサにより、および、前記クラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分のそれぞれを使用して、前記クラスタ化された境界予測部分を予測分布の平均とする前記予測分布を作成することと、
    前記プロセッサにより、前記境界予測の前記対応する境界予測部分のそれぞれに対する標準偏差を決定することと、
    前記プロセッサにより、前記境界予測の前記対応する境界予測部分のそれぞれに対するzスコアを、前記それぞれの対応する境界予測部分が、前記クラスタ化された境界予測から離れている標準偏差の数として決定することを備えていることを特徴とする請求項3の方法。
  5. 前記プロセッサにより、第1境界予測の第1対応する境界予測部分に対する前記広がりは、前記予測分布に対する偏差閾値を超えていると決定することと、ここにおいて、前記第1境界予測は、前記複数のモデルの第1モデルと関連付けられており、
    前記プロセッサにより、モデルのサブセットを生成するために、前記第1モデルを前記複数のモデルから除去することと、
    前記プロセッサにより、前記モデルのサブセットのみを使用して、少なくとも前記それぞれのクラスタ化された境界予測部分を再計算することを更に備えていることを特徴とする請求項3の方法。
  6. 前記偏差閾値は、ユーザにより定義された閾値またはデフォルト閾値の1つ備えていることを特徴とする請求項5の方法。
  7. 前記視覚的特徴は、線の色、塗りパターン、線の太さ、線の分割、テキスト指標、またはグラフィックアイコンの1つ以上を備えていることを特徴とする請求項1の方法。
  8. 前記複数のモデルのそれぞれに対して、前記プロセッサにより、前記それぞれのモデルに対する重みを決定することと、
    前記プロセッサにより、および、前記境界予測の前記対応する境界予測部分と、前記複数のモデルの各モデルに対する前記重みに基づいて、前記クラスタ化された境界予測を、前記画像内の前記対象物に対する重み付けされたクラスタ化された境界予測として生成することを更に備えていることを特徴とする請求項1の方法。
  9. 前記複数のモデルは、3つ以上の別個のモデルを備えていることを特徴とする請求項1の方法。
  10. 計算装置であって、
    少なくとも1つのプロセッサと、
    格納構成要素とを備え、前記格納構成要素は命令を格納するように構成されており、前記命令は、
    対象物の断面図を備えている画像を受信し、
    複数のモデルのそれぞれに対して、前記それぞれのモデルを使用して、前記画像内の前記対象物に対する境界予測を生成し、ここにおいて各境界予測は、複数の境界予測部分を備えており、前記複数のモデルの各モデルは、固有のモデルを備えており、
    前記複数のモデルの各モデルに対する前記境界予測に基づいて、前記画像内の前記対象物に対するクラスタ化された境界予測を生成し、ここにおいて、前記クラスタ化された境界予測は、それぞれが、前記境界予測のそれぞれの前記複数の境界予測部分の1つに対応している、複数のクラスタ化された境界予測部分を備えており、
    前記複数のクラスタ化された境界予測部分のそれぞれに対して、前記それぞれのクラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分との間の比較に基づいて、前記それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定し、
    表示装置上の表示のために、それぞれが、前記それぞれのクラスタ化された境界予測部分に対する前記信頼レベルを示す視覚的特徴を有している前記複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力するために、前記少なくとも1つのプロセッサにより実行可能であることを特徴とする計算装置。
  11. 前記複数のモデルは、機械学習モデル、ディープラーニングモデル、パターン認識モデル、コンピュータビジョンモデル、および、パラメータ修正モデルの1つ以上を含んでいることを特徴とする請求項10の計算装置。
  12. 前記信頼レベルを決定するために、前記1つ以上のプロセッサにより実行可能な前記命令は、
    前記複数のモデルのそれぞれに対して、前記それぞれのクラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分との間の比較に基づいて、前記それぞれのモデルに対する広がりを決定し、
    前記境界予測の前記対応する境界予測部分のそれぞれに対する前記広がりに基づいて、前記それぞれのクラスタ化された境界予測部分に対する前記信頼レベルを決定するために、前記1つ以上のプロセッサにより実行可能な命令を備えていることを特徴とする請求項10の計算装置。
  13. 前記境界予測の前記対応する境界予測部分のそれぞれに対する前記広がりを決定するために、前記1つ以上のプロセッサにより実行可能な前記命令は、
    前記クラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分のそれぞれを使用して、前記クラスタ化された境界予測部分を予測分布の平均とする前記予測分布を作成し、
    前記境界予測の前記対応する境界予測部分のそれぞれに対する標準偏差を決定し、
    前記境界予測の前記対応する境界予測部分のそれぞれに対するzスコアを、前記それぞれの対応する境界予測部分が、前記クラスタ化された境界予測部分から離れている標準偏差の数として決定するために、前記1つ以上のプロセッサにより実行可能な命令を備えていることを特徴とする請求項12の計算装置。
  14. 前記命令は更に、
    第1境界予測の第1対応する境界予測部分に対する前記広がりは、前記予測分布に対する偏差閾値を超えていると決定し、ここにおいて、前記第1境界予測は、前記複数のモデルの第1モデルと関連付けられており、
    モデルのサブセットを生成するために、前記第1モデルを前記複数のモデルから除去し、
    前記モデルのサブセットのみを使用して、少なくとも前記それぞれのクラスタ化された境界予測部分を再計算するために、前記1つ以上のプロセッサにより実行可能であることを特徴とする請求項12の計算装置。
  15. 前記偏差閾値は、ユーザにより定義された閾値またはデフォルト閾値の1つ備えていることを特徴とする請求項14の計算装置。
  16. 前記視覚的特徴は、線の色、塗りパターン、線の太さ、線の分割、テキスト指標、またはグラフィックアイコンの1つ以上を備えていることを特徴とする請求項10の計算装置。
  17. 前記命令は更に、
    前記複数のモデルのそれぞれに対して、前記それぞれのモデルに対する重みを決定し、
    前記境界予測の前記対応する境界予測部分と、前記複数のモデルの各モデルに対する前記重みに基づいて、前記クラスタ化された境界予測を、前記画像内の前記対象物に対する重み付けされたクラスタ化された境界予測として生成するために、前記1つ以上のプロセッサにより実行可能であることを特徴とする請求項10の計算装置。
  18. 前記複数のモデルは、3つ以上の別個のモデルを備えていることを特徴とする請求項10の計算装置。
  19. 前記画像を取り込むように構成されているカメラを更に備えていることを特徴とする請求項10の計算装置。
  20. 命令を格納している非一時的コンピュータ読み取り可能格納媒体であって、前記命令は実行されると、計算装置の1つ以上のプロセッサに、
    対象物の断面図を備えている画像を受信させ、
    複数のモデルのそれぞれに対して、前記それぞれのモデルを使用して、前記画像内の前記対象物に対する境界予測を生成させ、ここにおいて各境界予測は、複数の境界予測部分を備えており、前記複数のモデルの各モデルは、固有のモデルを備えており、
    前記複数のモデルの各モデルに対する前記境界予測に基づいて、前記画像内の前記対象物に対するクラスタ化された境界予測を生成させ、ここにおいて、前記クラスタ化された境界予測は、それぞれが、前記境界予測のそれぞれの前記複数の境界予測部分の1つに対応している、複数のクラスタ化された境界予測部分を備えており、
    前記複数のクラスタ化された境界予測部分のそれぞれに対して、前記それぞれのクラスタ化された境界予測部分と、前記境界予測の前記対応する境界予測部分との間の比較に基づいて、前記それぞれのクラスタ化された境界予測部分に対する信頼レベルを決定させ、
    表示装置上の表示のために、それぞれが、前記それぞれのクラスタ化された境界予測部分に対する前記信頼レベルを示す視覚的特徴を有している前記複数のクラスタ化された境界予測部分のそれぞれに対するグラフィック指標を出力させることを特徴とする非一時的コンピュータ読み取り可能格納媒体。
JP2021577990A 2019-07-02 2020-07-01 画像分割信頼度決定 Pending JP2022538361A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962869793P 2019-07-02 2019-07-02
US62/869,793 2019-07-02
US16/581,577 2019-09-24
US16/581,577 US11024034B2 (en) 2019-07-02 2019-09-24 Image segmentation confidence determination
PCT/US2020/040421 WO2021003217A1 (en) 2019-07-02 2020-07-01 Image segmentation confidence determination

Publications (1)

Publication Number Publication Date
JP2022538361A true JP2022538361A (ja) 2022-09-01

Family

ID=74065472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021577990A Pending JP2022538361A (ja) 2019-07-02 2020-07-01 画像分割信頼度決定

Country Status (5)

Country Link
US (2) US11024034B2 (ja)
EP (1) EP3994663A1 (ja)
JP (1) JP2022538361A (ja)
CN (1) CN114096993A (ja)
WO (1) WO2021003217A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6922170B2 (ja) * 2016-08-25 2021-08-18 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20210233246A1 (en) * 2020-01-28 2021-07-29 Embodied Intelligence Inc. Confidence-based segmentation of multiple units
CN115082667A (zh) * 2021-03-16 2022-09-20 腾讯云计算(北京)有限责任公司 图像处理方法、装置、设备及存储介质
EP4361942A1 (en) 2022-10-27 2024-05-01 Koninklijke Philips N.V. System and method for segmenting an object in image data

Family Cites Families (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5519392B2 (ja) 1973-07-25 1980-05-26
US4347443A (en) 1981-06-18 1982-08-31 Honeywell Inc. Room thermostat with electronic circuit board heat removal air wash
JPS62221335A (ja) 1986-03-20 1987-09-29 株式会社島津製作所 血流速度変化曲線表示システム
US4860758A (en) 1986-08-14 1989-08-29 Olympus Optical Co. Ltd. Multiple diagnosable distance range ultrasonic diagnostic apparatus
JPH074373B2 (ja) 1986-10-16 1995-01-25 オリンパス光学工業株式会社 超音波内視鏡装置
US5070734A (en) 1988-06-15 1991-12-10 Matsushita Electric Industrial Co., Ltd. Ultrasonic diagnostic apparatus
US4949310A (en) 1988-11-21 1990-08-14 Duke University Maltese cross processor: a high speed compound acoustic imaging system
JPH0744931B2 (ja) 1990-06-25 1995-05-17 富士写真光機株式会社 超音波検査装置
WO1992011055A1 (en) 1990-12-17 1992-07-09 Cardiovascular Imaging Systems, Inc. Vascular catheter having low-profile distal end
US5183048A (en) 1991-06-24 1993-02-02 Endosonics Corporation Method and apparatus for removing artifacts from an ultrasonically generated image of a small cavity
US5361767A (en) 1993-01-25 1994-11-08 Igor Yukov Tissue characterization method and apparatus
US5453575A (en) 1993-02-01 1995-09-26 Endosonics Corporation Apparatus and method for detecting blood flow in intravascular ultrasonic imaging
US5396285A (en) 1993-05-07 1995-03-07 Acuson Corporation Ultrasound imaging method and apparatus with dynamic non-linear filtering
US5363849A (en) 1994-01-26 1994-11-15 Cardiovascular Imaging Systems, Inc. Enhancing intravascular ultrasonic blood vessel image
US5531679A (en) 1994-03-14 1996-07-02 Schulman; Joseph H. Fluidic infusion system for catheter or probe
US5462057A (en) 1994-06-06 1995-10-31 Hewlett-Packard Company Ultrasound imaging system using line splicing and parallel receive beam formation
US7110587B1 (en) 1995-05-31 2006-09-19 Ge Medical Systems Israel Ltd. Registration of nuclear medicine images
JPH09522A (ja) 1995-06-23 1997-01-07 Toshiba Corp 超音波プローブ及び超音波診断装置
US5741552A (en) 1995-06-27 1998-04-21 Nippon Paint Co., Ltd. Coating composition and method for forming multi-layer coating
US5690115A (en) 1995-09-21 1997-11-25 Feldman; Charles L. Detecting vascular stenosis in chronic hemodialysis patients
EP0770352B1 (en) 1995-10-10 2004-12-29 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic imaging with contrast agents
US6215910B1 (en) 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US5795296A (en) 1996-03-29 1998-08-18 University Of Washington Pipeline process for automatically measuring object boundary from ultrasound image samples
US5848969A (en) 1996-10-28 1998-12-15 Ep Technologies, Inc. Systems and methods for visualizing interior tissue regions using expandable imaging structures
EP0851241B1 (en) 1996-11-26 2006-05-24 ATL Ultrasound, Inc. Ultrasonic diagnostic imaging of response frequency differing from transmit frequency
US5919137A (en) 1996-12-04 1999-07-06 Acuson Corporation Ultrasonic diagnostic imaging system with programmable acoustic signal processor
US20010017941A1 (en) 1997-03-14 2001-08-30 Navin Chaddha Method and apparatus for table-based compression with embedded coding
US5921931A (en) 1997-04-08 1999-07-13 Endosonics Corporation Method and apparatus for creating a color blood flow image based upon ultrasonic echo signals received by an intravascular ultrasound imaging probe
US5833615A (en) 1997-05-09 1998-11-10 Thomas Jefferson University Excitation enhanced ultrasound system
US6095976A (en) 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
US6132374A (en) 1997-08-01 2000-10-17 Acuson Corporation Ultrasonic imaging method and system
US5876343A (en) 1997-09-23 1999-03-02 Scimed Life Systems, Inc. Methods and apparatus for blood speckle detection in an intravascular ultrasound imaging system
US5885218A (en) 1997-11-07 1999-03-23 Scimed Life Systems, Inc. Method and apparatus for spatial filtering in an intravascular ultrasound imaging system
US6036650A (en) 1998-09-15 2000-03-14 Endosonics Corporation Ultrasonic imaging system and method with ringdown reduction
US6102862A (en) 1998-10-02 2000-08-15 Scimed Life Systems, Inc. Adaptive cancellation of ring-down artifact in IVUS imaging
US6645147B1 (en) 1998-11-25 2003-11-11 Acuson Corporation Diagnostic medical ultrasound image and system for contrast agent imaging
US7194294B2 (en) 1999-01-06 2007-03-20 Scimed Life Systems, Inc. Multi-functional medical catheter and methods of use
US6216025B1 (en) 1999-02-02 2001-04-10 Optosonics, Inc. Thermoacoustic computed tomography scanner
US6139501A (en) 1999-06-08 2000-10-31 Atl Ultrasound, Inc. Coincident tissue and motion ultrasonic diagnostic imaging
US6381350B1 (en) 1999-07-02 2002-04-30 The Cleveland Clinic Foundation Intravascular ultrasonic analysis using active contour method and system
US6896658B2 (en) 2001-10-20 2005-05-24 Zonare Medical Systems, Inc. Simultaneous multi-mode and multi-band ultrasonic imaging
US6277075B1 (en) 1999-11-26 2001-08-21 Ge Medical Systems Global Technology Company, Llc Method and apparatus for visualization of motion in ultrasound flow imaging using continuous data acquisition
US6457365B1 (en) 2000-02-09 2002-10-01 Endosonics Corporation Method and apparatus for ultrasonic imaging
US6454715B2 (en) 2000-04-11 2002-09-24 Scimed Life Systems, Inc. Methods and apparatus for blood speckle detection in an intravascular ultrasound imaging system
US6561980B1 (en) * 2000-05-23 2003-05-13 Alpha Intervention Technology, Inc Automatic segmentation of prostate, rectum and urethra in ultrasound imaging
JP2001333902A (ja) 2000-05-25 2001-12-04 Olympus Optical Co Ltd 超音波診断装置
US6590830B1 (en) 2000-06-08 2003-07-08 Advanced Imaging Technologies, Inc. Apparatus and process modifications in ultrasonic holography to improve image quality
CA2312142A1 (en) 2000-06-22 2001-12-22 An-Go-Gen Inc. Injection system for gene delivery
US6771803B1 (en) * 2000-11-22 2004-08-03 Ge Medical Systems Global Technology Company, Llc Method and apparatus for fitting a smooth boundary to segmentation masks
EP1387317A4 (en) 2001-04-19 2008-10-15 Toshiba Kk IMAGE PROCESSING AND PICTURE PROCESSING DEVICE
WO2003011764A2 (en) 2001-08-03 2003-02-13 Volker Westphal Real-time imaging system and method
US7011632B2 (en) 2001-09-18 2006-03-14 Kretztechnik Ag Methods and apparatus for ultrasonic compound imaging
US6592523B2 (en) 2001-11-21 2003-07-15 Ge Medical Systems Global Technology Company, Llc Computationally efficient noise reduction filter for enhancement of ultrasound images
US6704590B2 (en) 2002-04-05 2004-03-09 Cardiac Pacemakers, Inc. Doppler guiding catheter using sensed blood turbulence levels
US6746401B2 (en) 2002-05-06 2004-06-08 Scimed Life Systems, Inc. Tissue ablation visualization
US7396332B2 (en) 2002-06-10 2008-07-08 Scimed Life Systems, Inc. Transducer with multiple resonant frequencies for an imaging catheter
JP3720797B2 (ja) 2002-08-26 2005-11-30 芳文 西條 超音波診断装置
JP4226882B2 (ja) 2002-11-29 2009-02-18 株式会社東芝 超音波診断装置
US20050119573A1 (en) 2003-11-05 2005-06-02 Boris Vilenkin Method and system for quantification of arterial stenosis
CA2449080A1 (en) 2003-11-13 2005-05-13 Centre Hospitalier De L'universite De Montreal - Chum Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method
CN101551865B (zh) * 2003-11-19 2016-01-27 美国西门子医疗解决公司 利用外观和形状来检测和匹配解剖结构的系统和方法
JP4528529B2 (ja) 2004-01-20 2010-08-18 株式会社東芝 超音波診断装置及び超音波画像データ処理方法
CA2457171A1 (en) 2004-02-09 2005-08-09 Centre Hospitalier De L'universite De Montreal - Chum Imaging apparatus and methods
US7215802B2 (en) 2004-03-04 2007-05-08 The Cleveland Clinic Foundation System and method for vascular border detection
US7397935B2 (en) 2004-05-10 2008-07-08 Mediguide Ltd. Method for segmentation of IVUS image sequences
JP4648652B2 (ja) 2004-06-24 2011-03-09 テルモ株式会社 超音波診断装置および超音波診断装置の作動方法
JP2006014938A (ja) 2004-07-01 2006-01-19 Shimadzu Corp 超音波診断装置
GB2417080B (en) 2004-08-13 2008-05-21 Stichting Tech Wetenschapp Intravascular ultrasound techniques
US20080015569A1 (en) 2005-02-02 2008-01-17 Voyage Medical, Inc. Methods and apparatus for treatment of atrial fibrillation
EP1895896A1 (en) 2005-03-23 2008-03-12 New Health Sciences, Inc. Systems and methods for using dynamic vascular assessment to distinguish among vascular states and for investigating intracranial pressure
US20060253028A1 (en) 2005-04-20 2006-11-09 Scimed Life Systems, Inc. Multiple transducer configurations for medical ultrasound imaging
ES2425388T3 (es) 2005-05-06 2013-10-15 Vasonova, Inc. Aparato para el guiado y posicionamiento de un dispositivo endovascular
JP4691657B2 (ja) 2005-07-28 2011-06-01 国立大学法人山口大学 柔軟な光ファイバーを関節内に挿入可能な関節内軟骨評価プローブ及び関節内軟骨評価装置
US7831081B2 (en) 2005-08-15 2010-11-09 Boston Scientific Scimed, Inc. Border detection in medical image analysis
JP5368796B2 (ja) 2005-10-14 2013-12-18 ザ クリーブランド クリニック ファウンデーション 血管組織をキャラクタライズするシステム及び方法
US7801343B2 (en) 2005-11-29 2010-09-21 Siemens Medical Solutions Usa, Inc. Method and apparatus for inner wall extraction and stent strut detection using intravascular optical coherence tomography imaging
US8012094B2 (en) 2006-02-17 2011-09-06 Esi, Inc. Immersion bag system for use with an ultrasound probe
JP2007229015A (ja) 2006-02-27 2007-09-13 Fujifilm Corp 超音波観測装置
US20080043024A1 (en) 2006-06-26 2008-02-21 Siemens Corporate Research, Inc. Method for reconstructing an object subject to a cone beam using a graphic processor unit (gpu)
US7831078B2 (en) 2006-07-24 2010-11-09 Siemens Medical Solutions Usa, Inc. System and method for statistical shape model based segmentation of intravascular ultrasound and optical coherence tomography images
JP5154554B2 (ja) 2006-08-01 2013-02-27 ボストン サイエンティフィック サイムド,インコーポレイテッド 非線形イメージングのためのパルスインバージョンシーケンス
WO2008015586A2 (en) 2006-08-02 2008-02-07 Fotonation Vision Limited Face recognition with combined pca-based datasets
CN104367300B (zh) 2007-01-19 2017-05-31 桑尼布鲁克健康科学中心 具有组合的超声和光学成像装置的成像探头
US8060186B2 (en) 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
CA2718343A1 (en) 2007-03-15 2008-09-18 Jean Meunier Image segmentation
US7789834B2 (en) 2007-03-21 2010-09-07 Volcano Corporation Plaque characterization using multiple intravascular ultrasound datasets having distinct filter bands
EP1988505B1 (en) 2007-05-03 2020-05-06 Sony Deutschland Gmbh Method and system for initializing templates of moving objects
US9596993B2 (en) 2007-07-12 2017-03-21 Volcano Corporation Automatic calibration systems and methods of use
US20090105579A1 (en) 2007-10-19 2009-04-23 Garibaldi Jeffrey M Method and apparatus for remotely controlled navigation using diagnostically enhanced intra-operative three-dimensional image data
US20120022360A1 (en) 2008-03-28 2012-01-26 Volcano Corporation Methods for intravascular imaging and flushing
WO2009140534A2 (en) 2008-05-15 2009-11-19 Silicon Valley Medical Instruments, Inc. Ivus system with rotary capacitive coupling
EP2143384A1 (en) 2008-07-09 2010-01-13 Medison Co., Ltd. Enhanced ultrasound data processing in an ultrasound system
EP3725212A1 (en) 2008-10-14 2020-10-21 Lightlab Imaging, Inc. Stent strut detection and related measurement and display using optical coherence tomography
US8187191B2 (en) 2009-01-08 2012-05-29 Volcano Corporation System and method for equalizing received intravascular ultrasound echo signals
JP5390942B2 (ja) 2009-06-03 2014-01-15 富士フイルム株式会社 超音波診断装置及び信号処理プログラム
ES2660570T3 (es) 2009-09-23 2018-03-23 Lightlab Imaging, Inc. Sistemas, aparatos y métodos de recopilación de datos de medición de resistencia vascular y morfología luminal
JP2013507227A (ja) 2009-10-12 2013-03-04 シリコンバレー メディカル インスツルメンツ インコーポレイテッド コレジスタ・イメージングのための血管内超音波システム
CA2785655A1 (en) 2009-12-29 2011-07-07 Boston Scientific Scimed, Inc. Systems and methods for multi-frequency imaging of patient tissue using intravascular ultrasound imaging systems
US8811745B2 (en) * 2010-01-20 2014-08-19 Duke University Segmentation and identification of layered structures in images
US9204858B2 (en) 2010-02-05 2015-12-08 Ultrasonix Medical Corporation Ultrasound pulse-wave doppler measurement of blood flow velocity and/or turbulence
US20110257527A1 (en) 2010-04-20 2011-10-20 Suri Jasjit S Ultrasound carotid media wall classification and imt measurement in curved vessels using recursive refinement and validation
DE102010022307A1 (de) * 2010-06-01 2011-12-01 Siemens Aktiengesellschaft Verfahren zur Überprüfung der Segmentierung einer Struktur in Bilddaten
KR101875203B1 (ko) 2010-06-09 2018-07-06 리전츠 오브 더 유니버스티 오브 미네소타 초음파 치료의 전달을 제어하기 위한 이중 모드 초음파 트랜스듀서(dmut) 시스템 및 방법
US20130109968A1 (en) 2010-07-15 2013-05-02 Hitachi Medical Corporation Ultrasonic imaging device
US9131923B2 (en) 2010-08-31 2015-09-15 Hitachi Medical Corporation Ultrasonic diagnostic device and ultrasonic image display method
BR112013005592A2 (pt) 2010-09-10 2017-06-20 Acist Medical Sys Inc aparelho e método para busca de imagens médicas
JP5209025B2 (ja) 2010-10-27 2013-06-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP5909498B2 (ja) 2010-11-12 2016-04-26 ボストン サイエンティフィック サイムド,インコーポレイテッドBoston Scientific Scimed,Inc. カテーテルベースの撮像器及び同撮像器にて使用されるコンピュータ可読媒体
JP5756812B2 (ja) 2010-11-25 2015-07-29 株式会社日立メディコ 超音波動画像処理方法、装置、およびプログラム
US8761469B2 (en) 2011-01-03 2014-06-24 Volcano Corporation Artifact management in rotational imaging
EP2749223A4 (en) 2011-08-26 2015-08-12 Ebm Corp SYSTEM FOR DIAGNOSING BLOOD FLOW CHARACTERISTICS, METHOD THEREFOR, AND COMPUTER SOFTWARE
JP5894426B2 (ja) * 2011-12-13 2016-03-30 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
WO2013096546A1 (en) 2011-12-21 2013-06-27 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
BR112014019791A8 (pt) * 2012-02-14 2017-07-11 Koninklijke Philips Nv Sistema para a quantificação de incerteza de contornos, método para a quantificação de incerteza de contornos, pelo menos um processador e meio legível por computador não transitório
JP6185048B2 (ja) 2012-05-07 2017-08-23 バソノバ・インコーポレイテッドVasonova, Inc. 上大静脈区域及び大静脈心房接合部の検出のためのシステム及び方法
WO2013170144A1 (en) 2012-05-11 2013-11-14 Volcano Corporation Device, system, and method for flow imaging in the body using a swept transducer
US20130303907A1 (en) 2012-05-11 2013-11-14 Volcano Corporation Device and System For Imaging and Blood Flow Velocity Measurement
WO2013177527A1 (en) 2012-05-25 2013-11-28 Acist Medical Systems, Inc. Fluid flow measurement systems and methods
US9224207B2 (en) * 2012-09-17 2015-12-29 Raytheon Bbn Technologies Corp. Segmentation co-clustering
US9858668B2 (en) 2012-10-05 2018-01-02 Volcano Corporation Guidewire artifact removal in images
US11272845B2 (en) 2012-10-05 2022-03-15 Philips Image Guided Therapy Corporation System and method for instant and automatic border detection
US9324141B2 (en) 2012-10-05 2016-04-26 Volcano Corporation Removal of A-scan streaking artifact
US9292918B2 (en) 2012-10-05 2016-03-22 Volcano Corporation Methods and systems for transforming luminal images
WO2014065338A1 (ja) 2012-10-23 2014-05-01 株式会社 東芝 超音波診断装置及び超音波診断装置制御方法
JP2014100249A (ja) 2012-11-19 2014-06-05 Toshiba Corp 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム
JP6091870B2 (ja) 2012-12-07 2017-03-08 東芝メディカルシステムズ株式会社 血管解析装置、医用画像診断装置、血管解析方法、及び血管解析プログラム
JP2016502881A (ja) 2012-12-21 2016-02-01 ポール ホセイト, 洗浄によってトリガされる撮像のためのシステムおよび方法
US10398413B2 (en) 2012-12-21 2019-09-03 Volcano Corporation Method for multi-frequency imaging and composite image display using high-bandwidth transducer outputs
WO2014100217A1 (en) 2012-12-21 2014-06-26 Volcano Corporation Method for multi-frequency imaging using high-bandwidth transducer outputs
US9173591B2 (en) 2013-03-08 2015-11-03 Lightlab Imaging, Inc. Stent visualization and malapposition detection systems, devices, and methods
US9301687B2 (en) 2013-03-13 2016-04-05 Volcano Corporation System and method for OCT depth calibration
US10219887B2 (en) 2013-03-14 2019-03-05 Volcano Corporation Filters with echogenic characteristics
US9702762B2 (en) 2013-03-15 2017-07-11 Lightlab Imaging, Inc. Calibration and image processing devices, methods, and systems
US10245007B2 (en) 2013-03-15 2019-04-02 Infraredx, Inc. High resolution intravascular ultrasound imaging systems and methods
CN104077765B (zh) * 2013-03-26 2017-03-01 富士通株式会社 图像分割装置、图像分割方法
WO2014162368A1 (ja) 2013-04-05 2014-10-09 テルモ株式会社 画像診断装置及びプログラム
US9693754B2 (en) 2013-05-15 2017-07-04 Acist Medical Systems, Inc. Imaging processing systems and methods
US9430827B2 (en) * 2013-05-31 2016-08-30 Siemens Aktiengesellschaft Segmentation of a calcified blood vessel
JP2016523154A (ja) 2013-06-28 2016-08-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像ノイズ情報を利用する方法
KR101586276B1 (ko) * 2013-08-02 2016-01-18 서울대학교산학협력단 사전 통계 정보를 이용한 유방 밀도 자동 측정 및 표시 방법과 이를 이용한 유방 밀도 자동 측정 시스템 및 컴퓨터 프로그램 저장 매체
US9805463B2 (en) * 2013-08-27 2017-10-31 Heartflow, Inc. Systems and methods for predicting location, onset, and/or change of coronary lesions
WO2015038786A2 (en) 2013-09-11 2015-03-19 Boston Scientific Scimed, Inc. Systems and methods for selection and displaying of images using an intravascular ultrasound imaging system
WO2015045353A1 (ja) 2013-09-27 2015-04-02 テルモ株式会社 画像診断装置及びその制御方法及びプログラム及びコンピュータ可読記憶媒体
EP3055709B1 (en) 2013-10-07 2018-12-26 Acist Medical Systems, Inc. Signal processing for intravascular imaging
CN106456118B (zh) 2013-11-19 2019-12-31 港大科桥有限公司 超声流体向量成像装置及其方法
JP5918200B2 (ja) 2013-11-29 2016-05-18 日立アロカメディカル株式会社 超音波診断装置
US9594976B2 (en) * 2014-02-18 2017-03-14 Siemens Healthcare Gmbh Sparse appearance learning-based segmentation
CN104881673B (zh) * 2014-02-28 2018-06-01 国际商业机器公司 基于信息整合的模式识别的方法和系统
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
US10542954B2 (en) 2014-07-14 2020-01-28 Volcano Corporation Devices, systems, and methods for improved accuracy model of vessel anatomy
EP3199085B1 (en) 2014-09-26 2019-08-07 Terumo Kabushiki Kaisha Tomographic image formation device and control method
US9704256B2 (en) * 2015-03-10 2017-07-11 Siemens Healthcare Gmbh Systems and method for computation and visualization of segmentation uncertainty in medical images
US10463247B2 (en) * 2015-06-22 2019-11-05 The Regents Of The University Of California Automatic three-dimensional segmentation method for OCT and doppler OCT angiography
WO2017019626A1 (en) 2015-07-25 2017-02-02 Lightlab Imaging, Inc. Guidewire detection systems, methods, and apparatuses
US10909661B2 (en) 2015-10-08 2021-02-02 Acist Medical Systems, Inc. Systems and methods to reduce near-field artifacts
US10653393B2 (en) 2015-10-08 2020-05-19 Acist Medical Systems, Inc. Intravascular ultrasound imaging with frequency selective imaging methods and systems
US10307108B2 (en) * 2015-10-13 2019-06-04 Elekta, Inc. Pseudo-CT generation from MR data using a feature regression model
US10123689B2 (en) * 2015-10-28 2018-11-13 Oregon Health & Science University Systems and methods for retinal layer segmentation in OCT imaging and OCT angiography
US11369337B2 (en) 2015-12-11 2022-06-28 Acist Medical Systems, Inc. Detection of disturbed blood flow
KR101727836B1 (ko) * 2015-12-22 2017-04-17 한국과학기술원 영상 복원 장치 및 방법 및 장치
JP7104632B2 (ja) 2015-12-31 2022-07-21 アシスト・メディカル・システムズ,インコーポレイテッド 半自動化画像セグメント化システム及び方法
EP3459048B1 (en) * 2016-05-16 2023-05-03 Acist Medical Systems, Inc. Motion-based image segmentation systems and methods
EP3246873B1 (en) * 2016-07-15 2018-07-11 Siemens Healthcare GmbH Method and data processing unit for segmenting an object in a medical image
US10223788B2 (en) * 2016-08-31 2019-03-05 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
JP7134962B2 (ja) * 2016-12-23 2022-09-12 ハートフロー, インコーポレイテッド 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
US20190082117A1 (en) 2017-09-14 2019-03-14 Acist Medical Systems, Inc. Intravascular ultrasound image processing of blood-filled or blood-displaced lumens
US10258304B1 (en) * 2017-11-29 2019-04-16 Siemens Healthcare Gmbh Method and system for accurate boundary delineation of tubular structures in medical images using infinitely recurrent neural networks
CN108010048B (zh) * 2017-12-05 2020-10-02 华中科技大学 一种基于多图谱的自动脑部mri图像的海马体分割方法
US10650530B2 (en) * 2018-03-29 2020-05-12 Uveye Ltd. Method of vehicle image comparison and system thereof
CN108734718B (zh) * 2018-05-16 2021-04-06 北京市商汤科技开发有限公司 用于图像分割的处理方法、装置、存储介质及设备
CN108830326B (zh) * 2018-06-21 2022-02-18 河南工业大学 一种mri图像的自动分割方法及装置
US11210779B2 (en) * 2018-09-07 2021-12-28 Siemens Healthcare Gmbh Detection and quantification for traumatic bleeding using dual energy computed tomography
US11257213B2 (en) * 2018-10-25 2022-02-22 Koninklijke Philips N.V. Tumor boundary reconstruction using hyperspectral imaging
WO2020146905A1 (en) * 2019-01-13 2020-07-16 Lightlab Imaging, Inc. Systems and methods for classification of arterial image regions and features thereof
US11468538B2 (en) * 2019-04-05 2022-10-11 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns
US11893750B2 (en) * 2019-11-15 2024-02-06 Zoox, Inc. Multi-task learning for real-time semantic and/or depth aware instance segmentation and/or three-dimensional object bounding

Also Published As

Publication number Publication date
EP3994663A1 (en) 2022-05-11
US20210004965A1 (en) 2021-01-07
WO2021003217A1 (en) 2021-01-07
US11763460B2 (en) 2023-09-19
US20210264610A1 (en) 2021-08-26
US11024034B2 (en) 2021-06-01
CN114096993A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
JP2022538361A (ja) 画像分割信頼度決定
KR102307941B1 (ko) 눈 추적 시스템들을 위한 개선된 교정
US9536316B2 (en) Apparatus and method for lesion segmentation and detection in medical images
CN112446866B (zh) 血流参数的计算方法、装置、设备及存储介质
US10424067B2 (en) Image processing apparatus, image processing method and storage medium
KR20180121957A (ko) 관상 동맥 내의 건강한 내강 지름을 추정하고 협착증 정량화하기 위한 시스템 및 방법
US20160292855A1 (en) Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric mri models
US7993274B2 (en) Method, system, and computer product for automatically extracting and tracking cardiac calcifications and determining a tracking centerline
KR101876338B1 (ko) 신경망을 이용한 간 경변 예측 장치 및 방법
CN112749521A (zh) 血流动力学指标数据的处理方法和系统
US20150196281A1 (en) Medical data processing device, medical data processing method, and ultrasound diagnostic device
WO2016159379A1 (ja) 血管形状構築装置、その方法及びコンピュータソフトウエアプログラム
CN114782358A (zh) 一种血管形变自动计算的方法、装置及存储介质
CN112446867A (zh) 血流参数的确定方法、装置、设备及存储介质
KR102327662B1 (ko) 동맥류 파열 예측 장치 및 방법
US9483705B2 (en) Image processing device, image processing method, and image processing program
CN109313803B (zh) 一种用于映射对象的身体的至少部分的图像中的结构的至少部分的方法和装置
CN115439453B (zh) 一种脊椎椎体定位方法、装置、电子设备及存储介质
JP2013180160A (ja) 画像診断支援装置、方法およびプログラム
WO2020184522A1 (ja) 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
CN113804332A (zh) 基于超声成像系统的温感元件阵列故障诊断方法及其应用
KR20160143617A (ko) 피하 혈관의 혈류량 변화를 측정하는 방법 및 장치
US9378549B2 (en) Estimation of confidence limits for measurements derived from image data
EP3510937A1 (en) Ultrasonic diagnosis device and operation method therefor
CN113593678B (zh) 基于血管影像补全的脑卒中分型方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240402