JP2023153107A - センサ式x線マンモグラフィを訓練するシステム及び方法 - Google Patents

センサ式x線マンモグラフィを訓練するシステム及び方法 Download PDF

Info

Publication number
JP2023153107A
JP2023153107A JP2023060690A JP2023060690A JP2023153107A JP 2023153107 A JP2023153107 A JP 2023153107A JP 2023060690 A JP2023060690 A JP 2023060690A JP 2023060690 A JP2023060690 A JP 2023060690A JP 2023153107 A JP2023153107 A JP 2023153107A
Authority
JP
Japan
Prior art keywords
ray
sensor
patient
breast
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023060690A
Other languages
English (en)
Inventor
ローレンス・ヴァンカムバーグ
Laurence Vancamberg
セルジュ・ミュラー
Murat Serge
チューチン・リー
Zhijin Li
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of JP2023153107A publication Critical patent/JP2023153107A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • A61B6/0407Supports, e.g. tables or beds, for the body or parts of the body
    • A61B6/0414Supports, e.g. tables or beds, for the body or parts of the body with compression means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • A61B6/0407Supports, e.g. tables or beds, for the body or parts of the body
    • A61B6/0435Supports, e.g. tables or beds, for the body or parts of the body with means for imaging suspended breasts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42Arrangements for detecting radiation specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/098Distributed learning, e.g. federated learning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • A61B10/0233Pointed or sharp biopsy instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】マンモグラフィ及び画像ガイド下介入手順中の乳房位置決めを補助するための様々な方法及びシステムを提供する。【解決手段】センサ検出システム(100,252)を使用して、X線画像を取得する前に、患者及び乳房が所望のビュー及び撮影手順に対して好適な所望の位置に調整されているかどうかを判断するために、患者位置、乳房位置、及び乳房の解剖学的構造のうちの1つ以上を評価し、その評価に基づいて、乳房及び/又は患者の位置をユーザに示すためにリアルタイムフィードバックを提供する。評価は、X線マンモグラフィシステム(10)に記憶された人工知能(AI)モデル(262)によって実行される。【選択図】図3

Description

マンモグラフィの撮影及び画像ガイドによる介入処置の間に乳房位置決めを支援するため、様々な方法及びシステムが提供される。一実施例では、ビジョンシステムがX線撮影システムと共に利用され、患者位置、乳房位置、及び乳房の解剖学的構造のうちの1つ以上を評価して、患者及び/又は乳房を、所望のビュー及び撮影手順に好適な所望の位置に調整する必要があるかどうかを判断する。さらに、この評価は、撮影システム内に採用されたオンサイトで訓練された人工知能によって実施することができ、乳房及び/又は患者を位置決めするようにユーザを支援するためにリアルタイムのフィードバックを提供する。
本発明の実施形態は、一般にX線医用撮影に関し、より詳細には、マンモグラフィ検査、すなわち乳房デジタルトモシンセシス(DBT)を実行するシステム及び方法に関する。
X線マンモグラフィ(MG)は、スクリーニング、診断、及び/又は介入検査用に、乳房をスキャンするために使用されるX線撮影モダリティである。X線マンモグラフィの有効性は多くの要因の影響を受けるが、その多くの要因のうちの1つの要因は、取得される画像の2次元(2D)レンダリングである。
乳房撮影では、2D X線マンモグラフィに代わる別のシステムも知られている。例えば、乳房デジタルトモシンセシス(DBT)システムは、角度をオフセットした複数(例えば、数十)の投影X線画像を取得し、得られたX線画像データを使用して3次元(3D)画像データセットを再構成する専用マンモグラフィシステムである。
マンモグラフィの撮影手順で得られる2D及び/又は3D画像は、乳房の1つ以上の癌を検出することができる。マンモグラフィ画像(マンモグラムとも呼ばれる)を正確に解釈し、乳癌を正確に検出するには、高品質のマンモグラムを生成することが必要である。マンモグラムの品質に影響する重要な要素は、乳房の位置決めである。乳房を適切に位置決めすることができないと、マンモグラムのアーチファクトや組織が除去されてしまい、結果として、癌を見逃してしまう恐れがある。技師の訓練レベルと経験レベルは、画質に大きく影響することがある。例えば、あまり訓練を受けていなかったり、基本的な訓練しか受けていない技師や、経験が浅かったり、基本的なことしか経験していない技師は、乳房を適切に位置決めできないことがあり、その結果、要精検率や癌の見逃しが高くなることがある。
さらに、マンモグラフィ画像における乳房の位置決めの評価に関する従来の手法では、既に取得されたX線画像を技師が精査することを含む。その結果、患者には、ある量の放射線が既に照射されたが、乳房は画像用に適切に位置決めされていなかったので、乳房を適切に位置決めした後で、適切なマンモグラフィ画像が得られるように、更に次の放射線量が必要になる。このように、患者に照射される放射線量が重複することは、非常に好ましくない。さらに、X線画像を精査している間も、一部の技師はX線画像を正しく評価しないかもしれず、これによって、要精検率が増加し、マンモグラフィ画像に基づいた診断の信頼性も低下する。
不正確に位置決めされた乳房のX線画像を得る前に乳房の位置決めエラーの検出を支援するために、1つ以上のカメラを含むマンモグラフィ撮影システムが開発されており、例えば、米国特許出願公開番号US2021/0307711号に開示されている(発明の名称:Methods And Systems For User And/Or Patient Experience Improvement In Mammography)。この米国特許出願の全体は、あらゆる目的のために参照により本書に明示的に組み込まれる。カメラは、乳房及び撮影システムの位置のリアルタイム画像を取得し、リアルタイム画像は、乳房の所望の位置及びそれに関連する取得されるべきマンモグラフィ画像のユーザ入力と比較される。カメラ画像が、ユーザ入力の所望の位置に対応しない乳房の位置を示す場合、撮影システムは、乳房の位置が不適切であることをオペレータに警告し、オペレータが必要な補正をして、不必要な放射線量が患者に照射されないようにすることができる。
しかしながら、このマンモグラフィ撮影システムに関する1つの欠点は、ユーザ入力に基づく所望の位置及び/又は選択された位置に対する乳房の実際の位置を正確に評価できるようにするために、撮影システムがカメラ画像をユーザ入力と適切に比較するための訓練を必要とすることである。先行技術の撮影システムでは、撮影システムに含まれた人工知能であって、上記の比較をするために使用される人工知能を訓練するには、人工知能がマンモグラフィ画像とカメラ画像との間の適切な関係を学習して適切な比較結果を出力できるように、マンモグラフィ画像とそれに関連するカメラ画像とを含む多数のデータを含む訓練データセットを必要とする。必要な訓練データセットを人工知能に提供するには、患者データの収集及び使用に関する重大な懸念及び規制があり、十分な訓練データセットを得るプロセスと、人工知能の訓練中に使用される訓練データセットを形成するためのデータの保護(例えば、匿名にすること)に関する要件には、時間及び費用の大きな制約がある。
その結果、マンモグラフィ撮影システム用の人工知能の訓練を実行するシステム及び方法であって、臨床環境からデータを除去したり、臨床環境内で撮影システムを利用するための操作やワークフローを変更することなく、オンサイトの撮影システムから連続的に得られる画像データを利用することができるシステム及び方法の開発が望まれている。
米国特許出願公開第2021/0307711号明細書
本開示の例示的な実施形態の一態様によれば、撮影モードで及び介入/生検モードで動作可能なX線マンモグラフィシステムは、支持面に配置されたガントリであって、X線源と、前記X線源に対して配列可能なX線検出器、前記検出器に対して相対的に移動可能な圧迫板であって、患者の乳房を前記検出器と前記圧迫板との間に固定する圧迫板とを含むガントリ、前記ガントリに動作可能に接続され、前記マンモグラフィシステムの撮影モードでX線画像データを生成するように、前記X線源及び前記X線検出器の動作を制御する画像処理システムであって、前記検出器からの前記X線画像データを処理するプロセッサと、前記プロセッサに動作可能に接続され、特徴検出AIモデル及び訓練モジュールを動作させるための命令を記憶するデータベースと、前記画像処理システムに動作可能に接続され、ユーザに情報を提示するディスプレイと、前記画像処理システムに動作可能に接続され、前記画像処理システムにユーザ入力できるようにするユーザインターフェースとを含む画像処理システム、及び前記ガントリに配置され前記画像処理システムに動作可能に接続されたセンサシステムであって、前記センサシステムは、ユーザ、前記ガントリ、及び前記患者のうちの少なくとも1つのセンサデータを生成するように動作可能な少なくとも1つのセンサを含み、前記特徴検出AIモデルは、前記センサデータから前記ガントリ及び前記患者のうちの一方又は両方の特徴を検出して、前記ガントリ及び前記患者の位置を評価するように動作可能である、センサ検出システムを含み、前記訓練モジュールは、前記X線マンモグラフィシステムによって実行されるべき撮影手順に対する前記ユーザインターフェースからのユーザ入力パラメータ、前記マンモグラフィシステムのセンサからの入力パラメータ、及び撮影手順中に使用されるアルゴリズムからの出力のうちの少なくとも1つと、前記センサシステムからのセンサデータとを受け取って、前記特徴検出AIモデルの訓練に使用する訓練データセットを形成するように構成され、前記訓練データセットは、前記X線マンモグラフィシステムから外部に送信されない。
本開示の例示的な実施形態のさらに別の態様によれば、X線マンモグラフィシステム用のカメラベースの特徴検出人工知能モデルを訓練する方法は、X線マンモグラフィシステムを準備するステップであって、前記X線マンモグラフィシステムは、支持面に配置されたガントリであって、X線源と、前記X線源に対して配列可能なX線検出器と、前記検出器に対して相対的に移動可能な圧迫板であって、患者の乳房を前記検出器と前記圧迫板との間に固定する圧迫板とを含むガントリ、前記ガントリに動作可能に接続され、前記マンモグラフィシステムの撮影モードでX線画像データを生成するように、前記X線源及び前記X線検出器の動作を制御する画像処理システムであって、前記検出器からの前記X線画像データを処理するプロセッサと、前記プロセッサに動作可能に接続され、特徴検出AIモデル及び訓練モジュールを動作させるための命令を記憶するデータベースと、前記画像処理システムに動作可能に接続され、ユーザに情報を提示するディスプレイと、前記画像処理システムに動作可能に接続され、前記画像処理システムにユーザ入力できるようにするユーザインターフェースとを含む画像処理システム、及び前記ガントリに配置され前記画像処理システムに動作可能に接続されたセンサシステムであって、前記センサシステムは、ユーザ、前記ガントリ、及び前記患者のうちの少なくとも1つのセンサデータを生成するように動作可能な少なくとも1つのセンサを含み、前記特徴検出AIモデルは、前記センサデータ内の前記ガントリ及び前記患者のうちの一方又は両方の特徴を検出して、前記ガントリ、前記患者、及び前記患者の乳房の位置を評価するように動作可能である、センサ検出システム、を含む、X線マンモグラフィシステムを準備するステップ、前記X線マンモグラフィシステムによって実行されるべき撮影手順のパラメータを入力するステップ、前記検出器と前記圧迫板との間に患者の乳房を位置決めするステップ、前記センサ検出システムでセンサデータを取得するステップ、入力されたパラメータ及び前記センサデータを訓練モジュールに供給して、訓練データセットを形成するステップ、前記訓練データセットを前記特徴検出AIモデルに供給するステップを含む。
本発明のこれらの及び他の例示的な態様、特徴及び利点は、以下の発明を実施するための形態を図面と一緒に参照することにより明らかになる。図面は、本発明を実施するために現在考えられている最良の実施形態を示すものである。
本開示の一実施形態による、視覚検出システムを含むマンモグラフィシステムの概略図である。 本開示の一実施形態による、医用視覚システムを含むマンモグラフィシステムのブロック図であり、医用視覚システムによって感知される複数の物体と、感知された物体に基づいて制御される複数のアクチュエータとを示す。 本開示の一実施形態による、乳房位置、患者位置、患者及び/又は乳房の形態、ユーザ位置、及びユーザの形態のうちの1つ以上を評価するための人工知能モデルをオンサイトで訓練するための方法の概略図である。 本開示の別の実施形態による、乳房位置、患者位置、患者及び/又は乳房の形態、ユーザ位置、及びユーザの形態のうちの1つ以上を評価するための人工知能モデルをオンサイトで訓練するための方法のフローチャートである。
以下に、1つ以上の具体的な実施形態について記載する。これらの実施形態を簡潔に説明しようと努力する場合、実際の実装の全ての特徴が本明細書に記載されないことがある。そのような実際の実装の開発では、あらゆる技術又は設計プロジェクトと同様に、開発者の特定の目標(システム関連及びビジネス関連の制約を遵守することなど)を達成するために、実装に固有の多数の決定を行わなければならず、これらは実装ごとに異なる場合があることを理解すべきである。さらに、このような開発の努力は、複雑で時間がかかるかもしれないが、本開示の利益を受ける当業者にとって、設計、製作、及び製造の日常的な仕事であることを理解すべきである。
本発明の様々な実施形態の構成要素を導入する場合、冠詞「(1つ)a」、「(1つ)an」、「(この)the」、及び「(前記)said」は、当該構成要素の1つ以上の存在を意味することが意図される。用語「含む」、「備える」、及び「有する」は、包括的であることを意図しており、列挙された構成要素以外の追加の構成要素が存在する可能性があることを意味する。さらに、以下の説明における数値例は、非限定的であることを意図しており、したがって、追加の数値、範囲、及びパーセンテージは、開示された実施形態の範囲内にある。
以下の説明は、マンモグラフィ手順及び生検手順のためのX線システムの様々な実施形態に関する。X線撮影システムの例示的な実施形態が図1に示されており、このシステムはセンサシステムを含んでいる。センサシステムは、各手順に関連するアクセサリと、手順に含まれる部位と、システム、患者、及びユーザを取り囲む環境に存在する1つ以上の物体とのうちの一つ以上の位置を検出するために、1つ以上のセンサ(例えば、TOF(time-of-flight)センサ、ライダセンサ、又は視覚センサ(カメラなど))を含んでいる。センサシステムによる位置検出に基づいて、センサシステムを含むX線撮影システムは、乳房形態、乳房位置、患者形態、患者位置、ユーザ形態、及びユーザ位置のうちの1つ以上を評価することができる。カメラなどのセンサを含むセンサシステムによって検出された1つ以上の物体及び動作と、検出された1つ以上の物体及び動作に基づいて調整されるX線システムの1つ以上のアクチュエータのブロック図が図2に示されている。X線マンモグラフィシステムのコントローラは、図3におけるハイレベルのフローチャートの例示的なシステム及び方法で図示されるように、撮影システム用の臨床環境内のセンサシステムからのセンサデータ及び/又は位置データを用いて、乳房位置及び乳房形態、患者位置及び患者形態、ユーザ位置及びユーザ形態、並びにアクセサリ(生検手順のアクセサリなど)を含むマンモグラフィシステム構造の1以上を評価する人工知能(AI)/ニューラルネットモデルを訓練する訓練モジュールを動作するように構成することができる。さらに、乳房位置及び/又は患者位置評価を行うためにコントローラによって使用されるAI/ニューラルネットワークモデルを訓練するための、並びにX線撮影システムの使用中に乳房位置調整のためのリアルタイムフィードバックを提供するための別の例示的なシステム及び方法を図4に関して例示し、説明する。
X線撮影手順(マンモグラフィ又はDBT撮影など)の間、及びX線画像ガイド下インターベンション手順(DBTガイド下生検、CESM生検、定位生検など)の間、乳房を位置決めすることは、乳房の様々な部分を示す高品質の画像を取得する上で重要な役割を果たしている。さらに、ビューによっては、一部の位置決め用ランドマークが異なることがある。典型的には、高品質のマンモグラムが提供できるように乳房が位置決めされているかどうかの判断は、マンモグラムが得られるまで行うことができない。本明細書の発明者らは、上述の問題を特定し、データ取得を開始する前に乳房の位置決めを改善するための方法及びシステムを提供する。特に、撮影前に乳房の位置及び患者の体位を評価し、乳房及び患者の位置決めを改善するためのリアルタイムフィードバックを供給するための方法及びシステムが提供される。一実施形態では、第1の検出センサが、患者の体位を評価するために使用され、位置データ(例えば、患者及びX線システムの画像)を取り込み、第2の検出センサが、乳房位置を評価するために使用され、圧迫された乳房の位置データ及び/又は画像を取り込む。次いで、第1及び第2の検出センサから得られたセンサ位置データ(例えば、カメラ画像)は、人工知能(AI)/ニューラルネットワークベースの位置データ/画像処理モデルに入力され、このモデルは、入力された位置データ及び/又は画像を、所望の乳房位置決めのフレームワーク(すなわち、ビューに基づいた乳房の解剖学的ランドマークを含む)に従って評価し、さらに患者位置を評価し、ユーザインターフェースを通じて、リアルタイムフィードバックを技術者や使用者に提供し、患者位置補正及び乳房位置補正のうちの一つ以上の補正ができるようにする。患者位置及び乳房位置のうちの1つ以上の位置を評価して、マンモグラフィシステムで撮影するための乳房位置を改善することは、以下に更に詳細に説明される。
AIベースの画像処理モデル又はAIは、AI/ニューラルネットワークベースの画像処理モデルによって提供される評価に加えて、臨床設定又は臨床環境におけるX線撮影システムの通常の動作中に得られるデータを利用して、上述した評価を実行するように訓練される又は構築される。より具体的には、X線撮影システムは、X線撮影システムによって実行される特定の撮影手順に対するセンサ位置データ及び/又は画像、並びにマンモグラフィ画像を得るために、X線撮影システムが使用する、例えば、ユーザ入力(側性(右か左か)、視野、及び/又は患者位置に関するユーザコンソール入力など)及びシステム出力(乳房位置の監視結果など)を受け取る。各撮影手順に対するこれらの入力及び/又は出力は、撮影手順に対するX線撮影システムへの実際の入力及びX線撮影システムからの実際の出力を使用してAI/ニューラルネットワークを訓練するために、訓練データとして、センサ位置データ及び/又は画像と様々な組み合わせで、X線撮影システムに動作可能に接続された訓練システム又は訓練マネージャに提供することができる。X線撮影システムによって実行された撮影手順の入力及び/又は出力を含むデータを使用して、訓練マネージャは、撮影手順で得られたデータを撮影システムから除去することなく、及び、X線撮影システムの動作の通常のワークフローを変更することなく、X線撮影システムの通常の動作中に継続的にAIを訓練するように動作することができる。
図1を参照すると、例示的な実施形態による、乳房のX線撮影手順を実行するためのX線システム10を含むマンモグラフィシステム100が示されている。X線システム10は、デジタル乳房トモシンセシス(「DBT」)システムなどのトモシンセシスシステムであってもよく、例えば、米国特許出願公開第2021/0703311号(Methods And Systems For User And/Or Patient Experience Improvement In Mammography)に示され開示されており、米国特許出願公開第2021/0703311号の全体は全ての目的に対して参照により本明細書に明示的に組み込まれる。X線システム10は、デジタルトモシンセシス撮影及びDBTガイド下乳房生検を含む1つ以上の手順を実行するために使用することができる。更に、X線システム10を使用して、マンモグラフィ撮影手順を実行することができ、乳房の頭尾方向(CCビュー)及び内外斜位方向(MLOビュー)を含む1つ以上のビューを得ることができる。更に、X線システムを使用して、他のX線スクリーニング手順及び診断イメージング手順(CESM、及び造影DBT(CE-DBT)診断イメージングなど)、並びにインターベンショナル手順(CESMガイド下生検及び定位手順など)を実行することができる。
X線システム10は支持構造体42を含んでおり、支持構造体42には、放射線源16、放射線検出器18、及びコリメータ20が取り付けられている。放射線源16は、支持構造体42に移動可能に結合されたガントリ15内に収容されている。特に、ガントリ15は、放射線源16を含むガントリ15が放射線検出器18に対して軸58を中心に回転できるように、支持構造体42に取り付けることができる。放射線源16を収容するガントリ15の回転角度範囲は、検出器18の水平検出面に垂直な垂直軸の周りを両方向に所望の角度まで回転する範囲を示している。
放射線源16は、画像化されるボリューム又は物体に向けられ、所望の時点において放射線を放出し、1つ以上の画像を取得するように構成されている。放射線検出器18は、表面24を通じて放射線を受信するように構成されている。検出器18は、様々な異なる検出器のうちのいずれか1つの検出器(X線検出器、デジタルX線検出器、又はフラットパネル検出器など)とすることができる。コリメータ20は、放射線源16に隣接して配置され、画像化される物体の照射領域を調整するように構成されている。
いくつかの例示的な実施形態では、システム10は、患者の身体部分(例えば、頭部)が放射線を直に受けないように、フェイスシールドレール38を介して放射線源16に取り付けられた患者シールド36をさらに含むことができる。システム10は、圧迫板40をさらに含むことができ、この圧迫板40は、支持構造42に対して垂直軸60に沿って上下に移動可能とすることができる。したがって、圧迫板40を検出器18に向けて下方に移動させることによって、圧迫板40が、放射線検出器18に近い位置に配置されるように、調整することができる。圧迫板が検出器から離れるように垂直軸60に沿って上方に移動させることによって、検出器18と圧迫板40の間の距離を大きくすることができる。圧迫板40の移動は、ユーザが、X線システム10に含まれる圧迫板アクチュエータ(図示せず)によって調整することができる。圧迫板40は、放射線検出器18の表面24に対して身体部分(乳房など)を所定の位置に保持することができる。圧迫板40は、身体部分を圧迫して身体部分を所定位置に保持し、任意選択で、生検針(コア針、又は吸引式コア針など)を挿入できるようにする開口部を提供することができる。このように、圧迫板40を使用して身体部分を圧迫し、X線が横断する厚さを最小にし、患者が動くことによる身体部分の動きを減らすのを助けることができる。X線システム10は、身体部分が位置決めされる物体支持部(図示せず)を含むこともできる。
マンモグラフィシステム100は、少なくとも1つのプロセッサとメモリとを含むコントローラ44を含むワークステーション43を更に含むことができる。コントローラ44は、X線システム10の1つ以上の構成要素(放射線源16、放射線検出器18、圧迫板40、及び生検装置のうちの1つ以上を含む)と通信可能に結合することができる。例示的な一実施形態では、コントローラとX線システム10との間の通信は、無線通信システムによって行うことができる。他の例示的な実施形態では、コントローラ44は、ケーブル47を通じてX線システムの1つ以上の構成要素と電気的に通信することができる。更に、例示的な実施形態では、図1に示すように、コントローラ44はワークステーション43に統合されている。他の例示的な実施形態では、コントローラ44を、上記に開示されたシステム10の様々な構成要素のうちの1つ以上の構成要素に統合してもよい。さらに、コントローラ44は、記憶されたプログラムロジックを実行する処理回路を含んでもよく、コントローラ44は、X線システム10で使用される様々な種類の装置及びデバイスに利用可能であり、且つ当該装置及びデバイスと互換性がある異なるコンピュータ、プロセッサ、コントローラ、又はそれらの組み合わせのうちのいずれか1つであってもよい。
ワークステーション43は、放射線源16によって放射される放射線からシステム10のオペレータを保護する放射線シールド48を含むことができる。ワークステーション43は、ディスプレイ56、キーボード52、マウス54、及び/又はユーザインターフェース50を通じてシステム10を容易に制御する他の適切なユーザ入力デバイスをさらに含むことができる。
さらに、X線システム10は、システム10を容易に制御し、視覚システム及びX線システム10のうちの1つ以上によって取り込まれた1つ以上の画像を見るために、第2の制御ステーション(図示せず)を含むことができる。第2の制御ステーションは、適切な入力機能を有する第2の表示部を備えた第2のユーザインターフェースを含むことができる。第2の制御ステーションは、X線システムの近くに配置することができ、X線システム10に(有線又は無線で)結合することができる。具体的には、ユーザが、乳房及び/又は患者の位置を調整しながら、第2の表示部及び/又は第2のユーザインターフェースを見ることができるように、第2の制御ステーションを配置することができる。したがって、第2の制御ステーションを配置することによって、ユーザは、リアルタイムのセンサ/カメラのフィードバックを見ること、並びに患者及び/又は乳房の位置を調整することを、同時に行うことができる。
マンモグラフィシステムのプロセッサ及びコントローラによって、コントローラ44は、X線システム10の動作及び機能を調整することができる。一実施例として、コントローラ44は、X線源16が、いつX線を放出するかについてのタイミング制御を行うことができ、さらに、コントローラ44は、X線が検出器18に当たった後に検出器18がどのように情報又は信号を読み取り、伝達するか、X線源16及び検出器18が互いにどのように移動するか、並びにX線源16及び検出器18が身体部分に対してどのように移動するかを調整することができる。コントローラ44は、情報(画像42や動作中に取得されたデータを含む)がどのように処理され、表示され、記憶され、及び操作されるかを制御することもできる。コントローラ44によって実行される異なる複数の処理ステップ(1つ以上のセンサから1つ以上の信号を受信すること、ユーザ入力を受信すること、受信した信号/入力を評価すること、画像処理すること、再構成エラーを求めること、エラー表示を含む動作パラメータを出力すること、X線システムの1つ以上のアクチュエータを調整してX線システムの動作を制御すること、を含む)は、プロセッサの非一時的メモリに記憶されている命令のセットによって提供することができる。情報は、コントローラ44の1つ以上の非一時的メモリに、後で取り出して使用できるように記憶してもよい。
さらに、上記のように、放射線検出器18は、放射線源16から放出された放射線線を受け取る。特に、X線システムで撮影している間、検出器18で撮影部位の投影画像を得ることができる。一部の例示的な実施形態では、放射線検出器18によって受け取られたデータ(投影画像データなど)は、放射線検出器18からコントローラ44に電気的及び/又は無線で伝達することができる。次いで、コントローラ44は、例えば再構成アルゴリズムを実施することによって、投影画像データに基づいて1つ以上のスキャン画像を再構成することができる。再構成された画像は、ユーザインターフェース50において表示画面56を通じてユーザに表示することができる。
放射線源16は、放射線検出器18と一緒に、異常のスクリーニング、診断、ダイナミック撮影、及び画像ガイド下生検のうちの1つ以上の目的のためにX線画像を提供するX線システム10の一部を形成する。例えば、X線システム10は、異常をスクリーニングするために、マンモグラフィモードで動作させることができる。マンモグラフィの間、患者の乳房は、検出器18と圧迫板40との間に位置決めされ、圧迫される。したがって、圧迫板40と検出器18との間のX線システム10の容積は、撮影ボリュームである。次に、放射線源16は、圧迫された乳房に放射線線を放出し、乳房の投影画像が検出器18上に形成される。その後、投影画像は、コントローラ44によって再構成され、表示部50によってインターフェース56に表示することができる。
マンモグラフィの間、ガントリ15は、互いに異なる方向における複数の画像(頭尾方向(CC)画像及び内外斜位方向(MLO)ビューなど)を得るように、異なる複数の角度に調整することができる。更に、マンモグラフィビュー(例えば、CCビュー及びMLOビュー)を取得する間、ガントリ15、圧迫板40、及び検出器18は、軸58を中心に単一ユニットとして線62に沿って回転することができる。他の実施例では、ガントリ15は、圧迫板40及び検出器18が静止したままで、軸58を中心に回転することができる。
更に、X線システム10は、デジタル乳房トモシンセシス(DBT)を実行するためのトモシンセシスモードで動作することができる。トモシンセシスの間、X線システム10は、X線システム10の角度範囲にわたって様々な角度で低線量放射線を(圧迫板40と検出器18との間の)撮影ボリュームに照射するように動作することができる。トモシンセシスの間、マンモグラフィと同様に、乳房は圧迫板40と検出器18の間で圧迫される。その後、放射線源16は-θから+θまで回転し、その角度範囲にわたって、一定の角度間隔で、圧迫された乳房の複数の投影画像が得られる。例えば、X線システムの角度範囲が±11度である場合、ガントリの角度を移動させている間に、約1度ごとに1枚ずつ、22枚の投影画像を検出器によって捕獲することができる。次に、複数の投影画像は、コントローラ44によって処理されて、複数のDBT画像スライスを生成する。この処理は、乳房の三次元DBT画像を再構成する1つ以上の再構成アルゴリズムを適用することを含むことができる。
さらに、X線システム10は、DBTガイド下生検手順を実行するように構成することができる。したがって、一部の例示的な実施形態では、システム10は、組織サンプルを、適切な方法でさらに分析できるように抽出する生検針を含む生検装置(図示せず)をさらに含むことができる。
マンモグラフィシステム100は、マンモグラフィシステム100の1つ以上の構成要素及びアクセサリの位置データを感知及び/又は取得するための1つ以上の位置センサ/検出センサを更に含むことができる。1つ以上の検出センサは、図1に示すように、第1のセンサ101及びワークステーションセンサ102を含むことができる。第1のセンサ101及び第2のセンサ102はそれぞれ、視覚センサ(例えば、RGB画像を得るためのカメラを含むカメラ)、深度センサ(例えば、TOFセンサ)、視覚センサ及び深度センサの組み合わせ、力/圧力センサ及び/又は速度センサとして構成することができ、例えば、センサが使用され、システム100は、位置データ/位置画像の動き分析から得られた最適な圧迫プロファイルを学習し/圧迫プロファイルで訓練が行われ、センサは、X線システム10に関連する1つ以上の構成要素及びアクセサリを感知するように構成することができる。さらに、第1のセンサ101は、ユーザ及び患者の形態及び動作のうちの1つ以上を感知するように構成することができ、一方、ワークステーションセンサ102を利用して、ワークステーションにおけるユーザの位置及び/又は動作を監視することができる。本実施例では、第1のセンサ101及び第2のセンサ102は、マンモグラフィシステム100が視覚的に感知するための2つのカメラとして構成されていることを示すが、センサシステムは、以下でさらに説明するように、追加のセンサ(例えば、カメラ)を含んでもよいし、センサ(例えば、カメラ)を少なくしてもよいことが理解される。更に、1つ以上のセンサは、X線システム10に結合された第2のセンサ154を含むことができる。第2のセンサ154は、カメラなど、第1のセンサ101と同様に構成することができ、撮影ボリューム内の圧迫された乳房の位置データ及び/又はカメラ画像を取り込むために利用することができる。このように、第2のセンサ154で得られた位置データ及び/又はカメラ画像は、X線投影画像を取得する前に乳房の位置を評価するために利用することができる。
第2のセンサ154は、第2のセンサ154の視野がX線システム10の視野に対して(特に、ガントリ15内に位置する放射線源16に対して)位置決めされるように、ガントリ15に結合することができる。第2のセンサ154を使用して、X線システム10によって実行される手順(マンモグラフィ撮影、DBT撮影、又は画像ガイド下生検など)の間、患者の乳房位置及び乳房の解剖学的ランドマークを監視することができる。一実施例では、第2のセンサ154は、他のセンサ101、102などと同様に、深度情報をRGB色情報と結合するRGB-Dカメラとして構成することができる。さらに、第2のセンサ154は、X線システム10のコントローラ44に通信可能に結合することができ、第2のセンサ154によって取り込まれた1つ以上の位置データ/センサ画像及び/又はセンサ画像シーケンスを、コントローラ44の非一時的のメモリに記憶することができる。さらに、第2のセンサ154は、動き及び/又は動作を取り込むように構成することができる。例えば、或る時間の間のセンサ画像のシーケンスを取得し、この画像シーケンスを使用して動作を認識することができる。
一部の実施形態では、圧迫板40、検出器18、及び圧迫された乳房を含む撮影ボリュームの位置が、第2のセンサ154によって見つけられる、及び/又は視覚化されるように、第2のセンサ154を位置決めできることが理解される。一部の実施形態では、圧迫された乳房の位置に加えて、患者の一部を監視及び評価するように、第2のセンサ154を位置決めすることができる。すなわち、第2のセンサ154を使用して、患者の一部(例えば、患者の肩)を取り込み、したがって、圧迫された乳房のビューに加えて、患者の一部のビューを取得することもできる。
まとめると、第2のセンサ154は、(例えば、第2のセンサ154の位置を調整することによって)、撮影ボリューム(圧迫板、検出器、及び圧迫された乳房を含む)と、撮影ボリューム及びマージンボリュームと、撮影ボリューム及び患者の一部とのうちの1つ以上のビューを取得する及び/又は取り込むように調整することができる。
さらに、一実施例では、第2のセンサ154によって取り込まれた位置データ及び/又はセンサ画像を前処理して、関連する画像データを抽出することができ、処理された画像データを、(コントローラ、コントローラに接続されたエッジデバイス、コントローラと通信するクラウド、又はこれらの適切な組み合わせに記憶された)人工知能ベースの深層学習モデルの入力として使用することができる。この深層学習モデルは、X線システム10を用いた様々な撮影手順及び画像ガイド下手順で乳房を位置決めする間に検出された乳房の解剖学的ランドマークに基づいて乳房位置を評価するためのニューラルネットワーク(畳み込みニューラルネットワークなど)を含む。乳房の複数の解剖学的ランドマーク(乳房構造とも呼ぶ)の一部のランドマークは、ビュー(例えば、CCビュー又はMLOビュー)及び手順(例えば、マンモグラフィ又はDBT)によって異なる場合があり、一方、各ビューにおける乳房の位置に対して評価される複数の共通する乳房の解剖学的ランドマーク(即ち、乳房構造)が存在する場合がある。
図1に戻ると、1つ以上の視覚センサは、コントローラ44に通信可能に結合することができる。第1のセンサ101、第2のセンサ154及び/又はワークステーションセンサ102によって感知される及び監視される乳房撮影システム100の様々な構成要素、並びにセンサの感知及び監視に応答して調整することができる乳房撮影システム100の様々なアクチュエータの詳細は、以下の図2で更に詳しく説明される。
図2を参照すると、マンモグラフィシステム200のブロック図が示されている。マンモグラフィシステム200は、図1におけるマンモグラフィシステム100の非限定的な実施例とすることができる。マンモグラフィシステム200を利用して、マンモグラフィ手順(ルーチンマンモグラム、デジタル乳房トモシンセシスなど)及び生検手順(定位生検又はDBTガイド下生検など)のうちの1つ以上を実行することができる。マンモグラフィシステム200は、マンモグラフィシステム200に関連する1つ以上のアクセサリ及び構成要素を感知すること、監視すること、及び分析することのうちの1つ以上実行するために、少なくともセンサシステム252及び処理システム256を有する医用視覚システム250を含むことができる。更に、マンモグラフィ手順及び生検手順のうちの1つ以上がマンモグラフィシステム200を用いて実行される間、ワークフロー、乳房位置決め、及び患者の位置決めを改善するために、センサシステム252からの入力と、処理システム256による入力の分析とに基づいて、処理システム256により、マンモグラフィシステム200を自動的に調整する、制御する、及び設定することができる。処理システム256は、図1におけるコントローラ44の非限定的な実施例とすることができ、以下でさらに論じるように、処理システム256は、マンモグラフィシステム200の1つ以上のセンサシステム(例えば、センサシステム252)から信号を受け取るように構成することができる。プロセッサは、センサシステムから受け取ったデータを分析し、1つ以上のX線システムアクチュエータ276によってマンモグラフィシステム200の動作を調整し、さらに後述するように、マンモグラフィシステム200のユーザインターフェース286を通じて、ユーザ及び患者のうちの少なくとも一方に、1つ以上の警告及び指示を含むリアルタイムフィードバックを提供するように構成することができる。
マンモグラフィシステム200は、X線システム210と、医用視覚システム250とを含むことができる。X線システム210は、図1で説明したX線システム10の一実施例とすることができる。1つの例示的な実施形態では、X線システム210は、マンモグラフィ手順を実行して、患者の身体部分(乳房など)を画像化し分析するための医用撮影モダリティとして構成することができる。別の例示的な実施形態では、X線システム210は、生検手順(X線ガイド下生検など)を実行して患者の身体部分から組織サンプルを得るように構成することができる。更に、X線システム210を、医用スキャン画像を得るためのマンモグラフィシステムから、組織を抽出して評価できるようにするための生検手順を実行する生検システムに変えることができる。X線システム210を利用して生検手順を実行する場合、X線システム210に生検装置212を結合することができる。生検装置212は、図1で説明した生検装置の一実施例とすることができ、生検装置212は、生検中の動きが低減されるように身体部分を支持し且つ身体部分を保持するための圧迫板222を含むことができる。圧迫板222は、図1に関して説明した圧迫板40の一実施例であり、マンモグラフィシステムは、医用視覚システム250を通じて、構成要素(生検装置212、生検装置212の異なる構成要素など)及びアクセサリ(圧迫板222など)のうちの1つ以上を監視するように構成することができる。一例として、マンモグラフィ検査又は生検検査中に、乳房の位置を調整するために、ユーザは、圧迫板を動かすことができる。ビジョンシステム250は、圧迫板222の動きを検出することができ、圧迫後、変化した圧迫板の位置に基づいて、コントローラは、乳房がX線システムの視野内に入るようにコリメータの調整を命令することができる。
さらに、一部の実施形態では、視覚システム250を利用して、圧迫板222の最終(ロック)位置を決定することができる。圧迫板の最終位置は、乳房が撮影用の位置にあることを示すことができる。一実施例では、圧迫板の最終位置が確認されると、圧迫された乳房の乳房位置を評価することができ、その結果、乳房位置評価インターフェースが起動して、視覚システム250で乳房位置を評価することができる。圧迫された乳房が撮影用の所望の位置にあることが視覚システム250で確認されると、マンモグラフィシステムを使用して、圧迫された乳房のX線画像の取得を開始することができる。別の実施例では、圧迫板の最終位置が確認されると、視覚システム250で、乳房位置及び患者位置のうちの1つ以上の位置を評価することができる。乳房位置、患者位置、及びユーザ位置のうちの1つ以上の位置がそれぞれの撮影用の所望の位置にあることが確認されると、マンモグラフィシステムを使用してX線画像取得を開始することができる。
マンモグラフィシステム200は、医用視覚システム250を用いてX線システム210を取り囲む環境226を監視するようにさらに構成することができる。
上記のように、医用視覚システム250は、1つ以上の位置検出センサ(例えば、カメラ254)を含むセンサ検出システム252と、プロセッサ258及び非一時的メモリ260を含む画像処理システム256とを含む。センサシステム252は、画像処理システム256に通信可能に結合することができる。具体的には、処理システム256は、システム252の1つ以上のカメラ254から1つ以上の信号を受信することができる。システム252の1つ以上のセンサ又はカメラ254は、図1に関して説明したセンサ又はカメラ101、102及び154と同様のものとすることができ、1つ以上のセンサ/カメラ254は、マンモグラフィシステム200及びその構成要素、アクセサリ、及び環境を感知することができる。1つ以上のセンサ/カメラ254からのデータは、処理システム256に送信され、更に分析して記憶することができる。
処理システム256は、非一時的メモリ260に記憶された機械可読命令を実行するように構成されたプロセッサ258を含む。プロセッサ258は、シングルコアプロセッサでもよいし、マルチコアプロセッサでもよく、プロセッサで実行されるプログラムは、並列処理又は分散処理用に構成することができる。一部の実施形態では、プロセッサ258は、任意に、2つ以上のデバイス全体に分散された個々の構成要素を含むことができ、遠隔に配置され、及び/又は協調処理ができるように構成することができる。一部の実施形態では、1つ以上の態様のプロセッサ258を、クラウドコンピューティング構成に構築された遠隔アクセス可能なネットワークコンピューティングデバイスによって仮想化し実現することができる。他の実施形態によれば、プロセッサ258は、処理機能を実行することができる他の電子構成要素(デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、又はグラフィックボードなど)を含むことができる。他の実施形態によれば、プロセッサ258は、処理機能を実行することができる複数の電子構成要素を含むことができる。例えば、プロセッサ258は、中央処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、及びグラフィックボードを含む電子構成要素のリストの中から選択される2つ以上の電子構成要素を含むことができる。さらに更なる実施形態では、プロセッサ258は、並列コンピューティングアーキテクチャ及び並列処理能力を含むグラフィック処理ユニット(GPU)として構成することができる。非一時的メモリ260は、人工知能(AI)ベースの画像処理/ニューラルネットワークモデル262、位置データ及び/又は画像データ264、アクセサリ監視モジュール266、ユーザ入力監視モジュール268、環境監視モジュール270、ワークフロー監視モジュール272、及び患者監視モジュール274を記憶することができる。
一実施例では、AI/ニューラルネットワークモデル262は、複数のパラメータ(例えば、重み、バイアス、活性化関数)を含む深層学習モデルと、1つ以上のディープニューラルネットワークを実装するための命令とを含むことができ、センサシステム252から位置データ及び/又は画像データを受け取り、X線システム構成要素及びアクセサリのうちの1つ以上に対応する1つ以上の物体を識別し、1つ以上の環境パラメータをさらに識別し、さらに、マンモグラフィ及び生検のうちの1つ以上に関する1つ以上のプロセス及び動作を識別するためのものである。例えば、AI/ニューラルネットワークモデル262は、1つ以上のニューラルネットワーク(畳み込みニューラルネットワーク(CNN)など)を含む深層学習モジュールを実装するための命令を記憶することができる。AI/ニューラルネットワークモデル262は、訓練済み及び/又は訓練されていないニューラルネットワークを含むことができ、AI/ニューラルネットワークモデル262は、記憶された1つ以上のニューラルネットワークに関連する様々なデータ又はメタデータをさらに含むことができる。
さらに、センサシステム252からの入力を用いて、AI/ニューラルネットワークモデル262は、乳房位置、乳房の解剖学的ランドマーク、患者位置、患者形態、ユーザ位置、ユーザ形態、並びにシステム及び/又はアクセサリの構成を特定することができる。さらに、センサシステム252からの入力を使用して、AI/ニューラルネットワークモデル262は、患者位置だけでなく乳房位置も評価し、その評価に基づいて1つ以上のエラーを求めることができる。1つ以上のエラーとしては、乳房位置決めエラー、患者位置決めエラー、及びユーザエラーがあり、エラーに基づいてマンモグラフィシステムを制御し(例えば、1つ以上のエラーを検出することに応答して画像取得を停止し)、検出されるエラーに基づいてリアルタイムのフィードバックを提供する(例えば、乳房が位置決めされると、視覚センサは1つ以上の画像を取得し、その画像を利用して乳房の位置及び形態を分析し、分析に基づいてリアルタイムのフィードバックを提供することができる)。
一実施例では、第1のAI/ニューラルネットワークモデル又はAI/ニューラルネットワークモデル262の一部は、所望の患者位置に対するパラメータ(全身に関する患者位置、及びX線システムに対する患者位置を含む)を含むことができ、所望の患者位置は、X線システムの撮影モードと、撮影システムによって取得されるべき所望のビューとに基づいている。さらに、第2のAI/ニューラルネットワークモデル又はAI/ニューラルネットワークモデル262の一部は、所望の乳房位置に対するパラメータ(X線システムの撮影ボリュームに含まれる圧迫された乳房の1つ以上の特徴を含む)を含むことができ、所望の乳房位置は、X線システムの撮影モードと、撮影システムによって取得されるべき所望のビューとに基づいている。X線画像の取得を開始する前に、センサシステム252を使用して、(第1のモジュールに対して)現在の患者位置と、(第2のモジュールに対して)現在の乳房位置とを評価し、その評価に基づいて、リアルタイムフィードバックを、ユーザインターフェースを通じてユーザに提供することができる。現在の患者位置が第1のモジュールと一致し、現在の乳房位置が第2のモジュールと一致する場合、X線画像の取得を開始することができる。
非一時的メモリ260は、センサ/カメラ画像データ264をさらに記憶することができる。センサ/カメラ画像データ264は、センサシステム252によって取り込まれた位置データ/画像を含むことができる。例えば、センサシステム252によって取り込まれた位置データ/画像は、1つ以上のマンモグラフィシステムの位置データ/画像(構成要素及びアクセサリを含むX線システム210、環境226、ならびにX線システム210及び環境226に関連するプロセス及び/又は動作を含む)を含むことができる。センサ/カメラ画像データ264は、患者監視画像、ユーザ監視画像、圧迫されて乳房の画像、システム及び/又はアクセサリの画像をさらに含むことができる。
非一時的メモリ260は、1つ以上のアクセサリ214及び生検装置212が存在しているかどうかを監視及び分析する、並びに1つ以上のアクセサリ214及び生検装置212の現在の位置を監視及び分析するための命令を含むアクセサリ監視モジュール266をさらに記憶することができる。
非一時的メモリ260は、ユーザインターフェースからのユーザ入力を監視及び分析するための命令を含むユーザ入力監視モジュール268をさらに記憶することができる。
非一時的メモリ260は、環境226を監視及び分析するための命令を含む環境監視モジュール270をさらに記憶することができ、1つ以上のプロセス及び動作238を監視及び分析するための命令を含むワークフロー監視モジュール272を記憶することができる。さらに、非一時的メモリ260は、患者の有無、患者位置、並びに検査室に入る患者の動き及び検査室から出る患者の動きのうちの1つ以上を監視及び分析するための患者監視モジュール274を記憶することができる。
非一時的メモリ260は、医用画像データ275をさらに記憶することができる。医用画像データ275は、X線システム210によって取り込まれた身体部分のスキャン画像を含むことができる。
X線システム210、環境226、並びにプロセス及び動作238のうちの1つ以上を感知し分析すると、画像処理システム256は、その感知ステップ及び分析ステップに基づいて、1つ以上のX線システムアクチュエータ276に命令を出力することができる。X線システムアクチュエータ276は、放射線源(図1における放射線源16など)からの放射線源出力を制御するための画像取得アクチュエータ278、X線システム210のガントリ位置を制御するためのガントリ動作アクチュエータ280、及び例えば環境226の対象の存在又は不在に基づいたベッド位置アクチュエータを含むことができる。ガントリ動作アクチュエータ280は、ガントリ昇降、ガントリ回転、及びガントリ角度設定のうちの1つ以上を調整するための1つ以上のアクチュエータを含むことができ、ガントリ昇降の動きには、X線システム210の垂直軸に沿って上方向又は下方向にガントリを動かすことを含み、ガントリ回転は回転軸周りの検出器及びX線発生管の回転であり、ガントリ角度設定は或る回転角度範囲内で検出器が静止している間にX線管を回転することである。
X線システムアクチュエータ276は、以下にさらに詳述するように、例えば、ユーザ入力と実際のX線システム構成との間に1つ以上の不一致を感知することに基づいて、生検デバイスの動作(生検針の発射など)を調整するための生検デバイスアクチュエータをさらに含むことができる。X線システムアクチュエータ276は、特に、圧迫板222の動きを調整するための圧迫板アクチュエータ285をさらに含むことができる。
更に、X線システム210、乳房位置、患者位置、環境226、及びプロセス及び動作238のうちの1つ以上を感知し分析すると、画像処理システム256は、ユーザインターフェース286を通じてリアルタイムフィードバックを含む1つ以上の警告を出力してもよい。ユーザインターフェース286は、図1におけるユーザインターフェース56の一例とすることができる。更に、処理システム256は、ユーザインターフェース286上の画像取得入力292を更新し、それに応じてX線システムのセットアップ、構成、及び動作のうちの1つ以上を調整するように構成することができる。更に、処理システムは、ユーザインターフェース286上のアクセサリ情報入力294を更新し、それに応じてX線システムのセットアップ、構成、及び動作を調整するように構成することができる。
ここで図2及び図3を参照すると、非一時的メモリ260は、AI/ニューラルネットワーク訓練モジュール263及び/又は訓練モジュール263の実装及び動作のための命令をさらに記憶することができ、AI/ニューラルネットワークモデル262に記憶されたAI及び/又はディープニューラルネットワークの1以上を訓練するための命令を含む。あるいは、訓練モジュール263と、訓練モジュール263を動作させるための記憶された命令は、撮影システム200から離れた場所に配置された非一時的メモリ(図示せず)であって、撮影システム200に動作可能に接続された非一時的メモリに記憶することができる。
撮影システム200を使用して実行される1つ以上の撮影手順に対して、訓練データを、画像処理システム265/プロセッサ258によって訓練モジュール263に供給して、AI/ニューラルネットワークモデル262の訓練を実行することができる。特に、訓練データは、撮影システム200によって実行される特定の撮影手順に対する撮影システム200への様々な入力及び/又は画像処理システム200からの様々な出力を含む。
AI/ニューラルネットワークモデル262の訓練で使用されるべき正解を訓練モジュール263に供給するために、画像処理システム256/プロセッサ258は、撮影システム200によって実行される個々の撮影手順に対する既知のパラメータを訓練モジュール263に提供することができる。例えば、訓練モジュール263に供給される訓練データセットは、特定の撮影手順に対する様々なパラメータに関するユーザ入力(側性(右か左か)、視野、患者位置、及び撮影手順に対する他の撮影システム設定選択など)を含むことができる。
訓練モジュール263に供給される訓練データセットは、画像処理システム256に情報を提供するために、画像処理システム256によって使用される様々なシステムアルゴリズム(図示せず)からの内部システム出力(第2のAI/ニューラルネットワークモデル又はAI/ニューラルネットワークモデル262の一部からの検出された現在の乳房位置に関する出力、例えば、乳房が正しく位置決めされているかどうかを判断するためにX線画像に対して実行されるAI/画像処理アルゴリズムからの内部システム出力など)をさらに含むことができる。この内部システム出力は、システム100によって既に実行されているプロセスから得られ、訓練モジュール263に供給される1つ以上の正解のうちの1つとして機能する。これらのユーザ入力及び/又は内部システムアルゴリズム出力は、AI/ニューラルネットワークモデル262の正解又は評価パラメータとして、訓練モジュール263によって単独で又は互いに組み合わせて使用される。
さらに、画像処理システム256/プロセッサ258によって訓練モジュール263に送られる訓練データは、センサ/カメラ画像データ264を含み、センサ/カメラ画像データ264は、圧迫された乳房の位置データ及び/又はカメラ画像、ファントムのカメラ画像を含むことができ、それぞれが正解に関連する撮影手順、すなわち、ユーザ入力及び/又はシステムアルゴリズム出力に対応する。
図2に示す画像処理システム256は、説明のためのものであり、限定するためのものではないことを理解されたい。別の適切な画像処理システムでは、異なる構成要素の数を多くしてもよいし、少なくしてもよい。
図3を参照すると、訓練モジュール263によって使用される方法300であって、撮影手順から訓練データセットを取得し、訓練データセットを使用してAI/ニューラルネットワークモデル262を訓練するための方法300を示すハイレベルのフローチャートが示されている。特に、方法300は、X線撮影システムに対する画像化される身体部分の位置とX線システムに対する患者位置とのうちの一方の位置又は両方の位置の評価に関してAI/ニューラルネットワークモデル262を訓練するために、画像取得を開始する前に、撮影システム(図1又は図2のX線システム100又は200など)の動作中に実施することができる。
方法300に従ってAI/ニューラルネットワークモデル262を訓練するために、最初に、画像処理/医用視覚システム250が、ステップ302において起動イベントを感知又は判断する。例えば、視覚システム250は、圧迫板222と検出器との間に患者の乳房が配置された後に圧迫板222の最終(ロック)位置を決定し、圧迫板アクチュエータ285を使用するなどして、圧迫板222を動かし、乳房の圧迫に望ましい位置に圧迫板222を配置する。画像処理/医用視覚システム250が感知できる他の種類の起動イベントは、X線システム10,210が、撮影手順の開始前に、X線システム10,210の1つ以上の部分及び/又は患者の乳房の位置及び/又は向きを評価及び/又は決定する状態にあることを示すX線システム10,210の様々な動作条件及び/又は設定に関するものである。起動イベント302に応答して、医用視覚システム250は、ステップ304において、センサ/カメラ254を含むセンサシステム252を動作させて、センサシステム252によって受信される位置データ及び/又は患者監視画像及び/又は圧迫された乳房の画像などを取得する。次に、ステップ308において、これらの位置データ/画像又はフレーム306は、センサシステム252によって医用視覚システム250に伝送され、センサ/カメラ画像データ264として記憶される。フレーム306/センサ/カメラ画像データ264は、ステップ310において、前処理又は後処理され、画像処理システム256/プロセッサ258によって訓練モジュール263に転送することができる。
フレーム/センサ/画像データ306に加えて、医用視覚システム250は、ユーザインターフェース286からのユーザ入力312を受け取る、及び/又はX線撮影システム10,210から、選択された撮影パラメータ及び実行されるべき撮影手順のシステム構成に対応するアルゴリズム出力314を受け取る。医用視覚システム250は、ステップ316において、これらのシステム入力及び出力を訓練モジュール263に供給し、訓練モジュール263に対して正解の入力データ318として使用される。ステップ322において、撮影システム10,210で実行されている撮影手順から得られるフレーム/センサ/画像データ264及び正解の入力データ318を使用して、訓練データセット320が作成され、訓練データセット320は、訓練モジュール263によってAI/ニューラルネットワークモデル262に送信される。AI/ニューラルネットワークモデル262は、訓練データセット320に対して評価を実行して、フレーム/センサ/画像データ264の様々な属性を決定し、AI/ニューラルネットワークモデル262を訓練することと、フレーム/センサ/画像データ264が、フレーム/センサ/画像データ264が得られた撮影手順に対する正解の入力データ318によって特定されたパラメータに対応するかどうかについてのAI/ニューラルネットワークモデル262の判断をテスト/検証することの両方を実行する。このようにして、AI/ニューラルネットワークモデル262は、AI/ニューラルネットワークモデル262及び訓練モジュール263を組み込むX線撮影システム10,210から直接得られたデータを使用して訓練され、それにより、以前の訓練データセットの収集方法のような訓練データセットの収集に関する問題又は懸念が解消される。
方法300を用いたAI/ニューラルネットワークモデル262の訓練の動作方法に関しては、いくつかの選択肢が利用可能である。先ず、方法300は、X線撮影システム10,210を利用して実行されたいくつかの撮影手順で取得されたデータを使用して、持続的学習プロセスで実行することができる。持続的学習プロセスでは、撮影手順に基づく方法300のAI/ニューラルネットワークモデル262からの出力が、ある特定のレベルの精度(例えば、AI/ニューラルネットワークモデル262に適用される検証データセット(図示せず)によって検証される)に達すると、AI/ニューラルネットワークモデル262の構成は、持続的学習から、学習モジュール263を無効にする自動モードに切り替えることができ、フレーム/センサ/画像データ264は、AI/ニューラルネットワークモデル262に直接供給され、特徴が検出される、及び/又は、側性(右か左か)、視野、乳房位置監視、試料の存在などが評価される。
方法300の動作の第2の代替案では、方法300は、能動学習モードで動作させることができる。能動学習モードは、AI/ニューラルネットワークモデル263上で持続的学習プロセスが利用された後に使用することができ、AI/ニューラルネットワークモデル262は、訓練モジュール263によってAI/ニューラルネットワークモデル262に提供される特定の撮影手順に対する各訓練データセット320に関して推論信頼度スコアを出力する。推論信頼度スコアが、ユーザ又は訓練モジュール263によって決定される或るプリセット閾値を上回っている場合、AI/ニューラルネットワークモデル262を、上記のように、自動で特徴を検出する動作設定に維持することができる。しかしながら、AI/ニューラルネットワークモデル262からの推論信頼度スコアが閾値を下回る場合、AI/ニューラルネットワークモデル262は訓練モードに戻され、訓練モジュール263は、AI/ニューラルネットワークモデル262の出力が検証される及び/又は閾値を上回るまで、X線撮影システム10,210によって実行される他の撮影手順からの追加の訓練データセット320をAI/ニューラルネットワークモデル262に供給する。さらに、ユーザ入力が変更された場合、すなわち、ユーザがモデルの回答を変更した場合、AI/ニューラルネットワークモデル262は訓練モードに戻され、訓練モジュール263は、AI/ニューラルネットワークモデル262に、新たに指定されたユーザ入力の撮影手順に対応する追加の訓練データセット320を提供する。
学習方法300の上記の動作モードは、AI/ニューラルネットワークモデル262及び訓練モジュール263が記憶された単一のX線撮影システム10,210によって実行された撮影手順から得られたユーザ入力/システム出力及び画像データを使用して形成された訓練データセットに依存しており、患者データはオンサイトで保存される。第3の選択肢では、方法300は、連合学習モデル又はパーソナライズド連合学習モデルで動作する。この実施形態では、図4に概略的に示されているように、最初、方法400のステップ402において、AI/ニューラルネットワークモデル262は、X線撮影システム10,210の外部で形成することができる。AI/ニューラルネットワークモデル262は、X線撮影システム10,210の外部で、例えば、中央サーバ410上で訓練することができ、中央サーバ410は撮像システム10,210から遠隔に配置することができ、撮像システム10,210も互いに遠隔に配置することができる。ステップ404において、まだ訓練されていないモデル262は、中央サーバ410からの訓練モジュール263と組み合わせて、個々のX線撮影システム10,210に伝送される又はインストールされる。次に、ステップ406において、AI/ニューラルネットワークモデル262は、モデル262が検証される及び/又はモデル262が精度に関して所定の閾値に達するまで、方法300の上記の手法のうちの1つの手法によって、個々のX線撮影システム10,210で訓練される。次に、ステップ408において、訓練されたモデル262は、モデル262を訓練するために利用された訓練データセットからのデータを送信すること又は保存することなく、中央サーバ410によって個々のX線撮影システム10,210の各々から取り出される。次に、中央サーバ410は、訓練されたモデル262の各々の結果をプール又は集約して、グローバル訓練済みモデル414を実現する。グローバル訓練済みモデル414は、個々のX線撮影システム10,210の各々で利用することができ、個々のX線撮影システム10,210に対して特徴検出機能を提供することができる。
個々のX線撮影システム10,210内に配置された訓練モジュール263でAI/ニューラルネットワークモデル262を訓練するための訓練方法300,400の実施形態で各方法を反復すると、訓練データセット320のために使用されるデータ312,314,316,264は、X線撮影システム10,210を使用して実行される撮影手順から直接に連続的に得られる。このように、データは安全性が保たれ、X線撮影システム10,210の臨床環境の外部には送信されず、訓練データセット320に含まれる患者情報のプライバシー及び機密性が保持される。さらに、方法300,400の各実施形態では、訓練データセット320を形成する情報は、X線撮影システム10,210の通常の動作中にシームレスな方法で得られ、方法300,400が実行されても、技師のためにX線撮影システム10,210の動作又はワークフローは変更されず、例えば、方法300,400は、X線撮影手順が実行される場合、X線撮影システム10,210の通常の動作のバックグラウンドで動作する。さらに、AI/ニューラルネットワークモデル262を訓練する方法300,400は、ユーザに対して完全に透過的であり、ユーザがシステム10,210を操作する方法にいかなる修正も必要とせず、一方で、ユーザがAI/ニューラルネットワークモデル262の訓練に使用するX線画像及び/又は他の入力データに積極的に注釈する必要性もない。
本開示の上記の組成物、装置及び方法は変更することができるので、特定の実施形態及び方法論に限定されないことが理解される。また、本明細書で使用される用語は、特定の例示的な実施形態のみを説明するものであり、特許請求の範囲によってのみ限定される本開示の範囲を限定することを意図するものではないことも理解される。
[実施形態1]
X線マンモグラフィシステム用のセンサベースの特徴検出人工知能(AI)モデルを訓練する方法であって、該方法は、
a. X線マンモグラフィシステムを準備するステップであって、前記X線マンモグラフィシステムは、
i. 支持面に配置されたガントリであって、X線源と、前記X線源に対して配列可能なX線検出器と、前記検出器に対して相対的に移動可能な圧迫板であって、患者の乳房を前記検出器と前記圧迫板との間に固定する圧迫板とを含むガントリ、
ii. 前記ガントリに動作可能に接続され、前記マンモグラフィシステムの撮影モードでX線画像データを生成するように、前記X線源及び前記X線検出器の動作を制御する画像処理システムであって、前記検出器からの前記X線画像データを処理するプロセッサと、前記プロセッサに動作可能に接続され、特徴検出AIモデル及び訓練モジュールを動作させるための命令を記憶するデータベースと、前記画像処理システムに動作可能に接続され、ユーザに情報を提示するディスプレイと、前記画像処理システムに動作可能に接続され、前記画像処理システムにユーザ入力できるようにするユーザインターフェースとを含む画像処理システム、及び
iii. 前記画像処理システムに動作可能に接続されたセンサ検出システムであって、前記センサ検出システムは、前記ガントリ及び前記患者のセンサデータを生成するように動作可能な少なくとも1つのセンサを含み、前記特徴検出AIモデルは、前記センサデータ内の前記ガントリ及び前記患者のうちの一方又は両方の特徴を検出して、ユーザ、前記ガントリ、及び前記患者のうちの少なくとも一つを評価するように動作可能である、センサ検出システム、
を含む、X線マンモグラフィシステムを準備するステップ、
b. 前記X線マンモグラフィシステムによって実行されるべき撮影手順のパラメータを入力するステップ、
c. 前記検出器と前記圧迫板との間に患者の乳房を位置決めするステップ、
d. 前記センサ検出システムでセンサデータを取得するステップ、
e. 入力されたパラメータ、前記データベースに記憶された制御アルゴリズムからの1つ以上の内部システム出力、及びそれらの組合せのうちの少なくとも1つを、センサデータとともに訓練モジュールに供給して、訓練データセットを形成するステップ、
e. 前記訓練データセットを前記特徴検出AIモデルに供給するステップ
を含む方法。
[実施形態2]
前記訓練データセットを前記特徴検出AIモデルに供給すると同時に、前記撮影手順を実行するステップを含む、実施形態1に記載の方法。
[実施形態3]
前記少なくとも1つのセンサは、前記センサデータとして、前記ガントリ及び前記患者の位置のカメラ画像を取得するように動作可能なカメラである、実施形態1に記載の方法。
[実施形態4]
a. 前記撮影手順に対する前記入力されたパラメータに応答して、前記データベースに記憶された制御アルゴリズムから1つ以上の内部システム出力を受信するステップ、及び
b. 前記入力されたパラメータ及び前記センサデータとともに、前記システム出力を前記訓練モジュールに供給して、前記訓練データセットを形成するステップ
を含む、実施形態1に記載の方法。
[実施形態5]
前記入力されたパラメータ、前記内部システム出力、及び前記センサデータを訓練モジュールに供給するステップは、前記入力されたパラメータ及び前記システム出力を、前記訓練データセットの正解として使用するステップを含む、実施形態4に記載の方法。
[実施形態6]
前記方法では、前記訓練データセットが前記特徴検出AIモデルに供給されること、各撮影手順が前記X線マンモグラフィシステムで実行されることが、連続的に実行される、実施形態1に記載の方法。
[実施形態7]
前記方法では、前記訓練データセットが前記特徴検出AIモデルに供給されること、各撮影手順が前記X線マンモグラフィシステムで実行されることが、自動的に実行される、実施形態1に記載の方法。
[実施形態8]
前記方法は、前記訓練データセットが前記特徴検出AIモデルに供給され、各撮影手順が前記X線マンモグラフィシステムで実行される連合方法である、実施形態1に記載の方法。
[実施形態9]
前記訓練データセットは、前記X線マンモグラフィシステムに保持される、請求項1に記載の方法。
[実施形態10]
前記訓練データセットは、前記X線マンモグラフィシステムから外部に送信されない、実施形態1に記載の方法。
[実施形態11]
前記センサデータを取得するステップは、ガントリの複数の画像を取得するステップを含む、実施形態1に記載の方法。
[実施形態12]
前記センサデータを取得するステップは、前記患者、前記患者の乳房、及びそれらの組合せのうちの少なくとも前記患者、前記患者の乳房、又は前記組合せの画像を取得するステップを含む、実施形態1に記載の方法。
[実施形態13]
前記センサデータを取得するステップは、前記ガントリの位置及び構成の複数の画像と、前記患者、前記患者の乳房、及びそれらの組合せのうちの少なくとも1つの位置及び形状のうちの少なくとも1つと、を取得する、実施形態1に記載の方法。
[実施形態14]
前記画像処理システムは、前記X線マンモグラフィシステムの1つ以上の起動イベントを感知するように構成され、複数のセンサデータを取得するステップは、
a. 起動イベントを感知するステップ、及び
b. 前記センサデータが取得されるように前記センサ検出システムを動作させるステップ
を含む、実施形態1に記載の方法。
[実施形態15]
前記患者の乳房を前記検出器と前記圧迫板との間に位置決めするステップは、
a. 前記患者の乳房を前記圧迫板と前記検出器の間に配置するステップ、
b. 前記圧迫板と前記検出器との間で前記患者の乳房が圧迫されるように、前記圧迫板を所望の位置に移動させるステップ、及び
c. 前記圧迫板を前記所望の位置にロックするステップ
を含み、
感知された起動イベントは、前記圧迫板のロックである、実施形態14に記載の方法。
[実施形態16]
前記センサデータを訓練モジュールに供給するステップは、前処理されたセンサデータ、後処理されたセンサデータ、及びそれらの組合せを前記訓練モジュールに供給するステップを含む、実施形態1に記載の方法であって。
[実施形態17]
撮影モードで及び介入/生検モードで動作可能なX線マンモグラフィシステムであって、前記システムは、
a. 支持面に配置されたガントリであって、X線源と、前記X線源に対して配列可能なX線検出器と、前記検出器に対して相対的に移動可能な圧迫板であって、患者の乳房を前記検出器と前記圧迫板との間に固定する圧迫板とを含むガントリ、
b. 前記ガントリに動作可能に接続され、前記マンモグラフィシステムの撮影モードでX線画像データを生成するように、前記X線源及び前記X線検出器の動作を制御する画像処理システムであって、前記検出器からの前記X線画像データを処理するプロセッサと、前記プロセッサに動作可能に接続され、特徴検出AIモデル及び訓練モジュールを動作させるための命令を記憶するデータベースと、前記画像処理システムに動作可能に接続され、ユーザに情報を提示するディスプレイと、前記画像処理システムに動作可能に接続され、前記画像処理システムにユーザ入力できるようにするユーザインターフェースとを含む画像処理システム、及び
c. 前記ガントリに配置され前記画像処理システムに動作可能に接続されたセンサ検出システムであって、前記センサ検出システムは、前記ガントリ及び前記患者のセンサデータを生成するように動作可能な少なくとも1つのセンサを含み、前記特徴検出AIモデルは、前記センサデータ内の前記ガントリ及び前記患者のうちの一方又は両方の特徴を検出して、前記ガントリ及び前記患者を評価するように動作可能である、センサ検出システム
を含み、
前記訓練モジュールは、前記X線マンモグラフィシステムによって実行されるべき撮影手順に対する前記ユーザインターフェースからのユーザ入力パラメータ、前記データベースに記憶された制御アルゴリズムからの1つ以上の内部システム出力、及びそれらの組み合わせのうちの少なくとも1つと、前記センサ検出システムからのセンサデータとを受け取って、前記特徴検出AIモデルの訓練に使用する訓練データセットを形成するように構成され、前記訓練データセットは、前記X線マンモグラフィシステムから外部に送信されない、X線マンモグラフィシステム。
[実施形態18]
前記訓練モジュールは、前記X線マンモグラフィシステムを使用して実行される撮影手順と同時に動作するように構成されている、実施形態17に記載のX線マンモグラフィシステム。
[実施形態19]
前記訓練モジュールは、持続的学習モードで動作するように構成されている、実施形態17に記載のX線マンモグラフィシステム。
[実施形態20]
前記訓練モジュールは、連合学習モードで動作するように構成されている、実施形態17に記載のX線マンモグラフィシステム。
10,210 X線マンモグラフィシステム
15 ガントリ
16 X線源
18 X線検出器
40 圧迫板
50 ユーザインターフェース
56 ディスプレイ
236 患者
254 カメラ
258 プロセッサ
260 データベース
262 特徴検出人工知能(AI)モデル
263 訓練モジュール
264 画像データ
306 センサデータ
312 入力パラメータ
314 内部システム出力
320 訓練データセット
44,256 画像処理システム
100,252 センサ検出システム
100,256 画像処理システム
101,102,154, センサ又はカメラ


Claims (15)

  1. X線マンモグラフィシステム(10,210)用のセンサベースの特徴検出人工知能(AI)モデル(262)を訓練する方法であって、該方法は、
    a. X線マンモグラフィシステム(10,210)を準備するステップであって、前記X線マンモグラフィシステム(10,210)は、
    i. 支持面に配置されたガントリ(15)であって、X線源(16)と、前記X線源(16)に対して配列可能なX線検出器(18)と、前記検出器(18)に対して相対的に移動可能な圧迫板(40)であって、患者の乳房を前記検出器と前記圧迫板との間に固定する圧迫板(40)とを含むガントリ(15)、
    ii. 前記ガントリ(15)に動作可能に接続され、前記マンモグラフィシステム(10)の撮影モードでX線画像データを生成するように、前記X線源(16)及び前記X線検出器(18)の動作を制御する画像処理システム(44,256)であって、前記検出器(18)からの前記X線画像データを処理するプロセッサ(258)と、前記プロセッサ(258)に動作可能に接続され、特徴検出AIモデル(262)及び訓練モジュール(263)を動作させるための命令を記憶するデータベース(260)と、前記画像処理システム(44,256)に動作可能に接続され、ユーザに情報を提示するディスプレイ(56)と、前記画像処理システム(100,256)に動作可能に接続され、前記画像処理システム(44,256)にユーザ入力できるようにするユーザインターフェース(50)とを含む画像処理システム(44,256)、及び
    iii. 前記画像処理システム(44,256)に動作可能に接続されたセンサ検出システム(100,252)であって、前記センサ検出システム(100,252)は、前記ガントリ(15)及び前記患者(236)のセンサデータを生成するように動作可能な少なくとも1つのセンサ(101,102,154,254)を含み、前記特徴検出AIモデル(262)は、前記センサデータ内の前記ガントリ(15)及び前記患者(236)のうちの一方又は両方の特徴を検出して、ユーザ、前記ガントリ、及び前記患者のうちの少なくとも一つを評価するように動作可能である、センサ検出システム(100,252)、
    を含む、X線マンモグラフィシステム(10,210)を準備するステップ、
    b. 前記X線マンモグラフィシステム(10,210)によって実行されるべき撮影手順のパラメータを入力するステップ、
    c. 前記検出器(18)と前記圧迫板(40)との間に患者の乳房(236)を位置決めするステップ、
    d. 前記センサ検出システム(100,252)でセンサデータ(306)を取得するステップ、
    e. 入力されたパラメータ(312)、前記データベース(260)に記憶された制御アルゴリズムからの1つ以上の内部システム出力(314)、及びそれらの組合せのうちの少なくとも1つを、センサデータ(306)とともに訓練モジュール(264)に供給して、訓練データセット(320)を形成するステップ、
    e. 前記訓練データセット(320)を前記特徴検出AIモデル(262)に供給するステップ
    を含む方法。
  2. 前記訓練データセット(320)を前記特徴検出AIモデル(262)に供給すると同時に、前記撮影手順を実行するステップを含む、請求項1に記載の方法。
  3. 前記少なくとも1つのセンサ(101,102,154,254)は、前記センサデータ(306)として、前記ガントリ(15)及び前記患者(236)の位置のカメラ画像(306)を取得するように動作可能なカメラ(254)である、請求項1に記載の方法。
  4. a. 前記撮影手順に対する前記入力されたパラメータ(312)に応答して、前記データベース(260)に記憶された制御アルゴリズムから1つ以上の内部システム出力(314)を受信するステップ、及び
    b. 前記入力されたパラメータ(312)及び前記センサデータ(306)とともに、前記システム出力(314)を前記訓練モジュール(263)に供給して、前記訓練データセット(320)を形成するステップ
    を含む、請求項1に記載の方法。
  5. 前記入力されたパラメータ(312)、前記内部システム出力(314)、及び前記センサデータ(306)を訓練モジュール(263)に供給するステップは、前記入力されたパラメータ(312)及び前記システム出力(314)を、前記訓練データセット(320)の正解(318)として使用するステップを含む、請求項4に記載の方法。
  6. 前記方法では、前記訓練データセット(320)が前記特徴検出AIモデル(262)に供給されること、各撮影手順が前記X線マンモグラフィシステム(10,210)で実行されることが、連続的に実行される、請求項1に記載の方法。
  7. 前記方法では、前記訓練データセット(320)が前記特徴検出AIモデル(262)に供給されること、各撮影手順が前記X線マンモグラフィシステム(10,210)で実行されることが、自動的に実行される、請求項1に記載の方法。
  8. 前記方法は、前記訓練データセット(320)が前記特徴検出AIモデル(262)に供給され、各撮影手順が前記X線マンモグラフィシステム(10,210)で実行される連合方法である、請求項1に記載の方法。
  9. 前記訓練データセット(320)は、前記X線マンモグラフィシステム(10,210)から外部に送信されない、請求項1に記載の方法。
  10. 前記センサデータ(306)を取得するステップは、前記患者(236)、前記患者の乳房(236)、及びそれらの組合せのうちの少なくとも前記患者、前記患者の乳房、又は前記組合せの画像を取得するステップを含む、請求項1に記載の方法。
  11. 前記画像処理システム(44,256)は、前記X線マンモグラフィシステム(10,210)の1つ以上の起動イベントを感知するように構成され、前記センサデータを取得するステップ(306)は、
    a. 起動イベント(302)を感知するステップ、及び
    b. 前記センサーデータ(306)が取得されるように前記センサ検出システム(100,252)を動作させるステップ
    を含む、請求項1に記載の方法。
  12. 前記患者の乳房(236)を前記検出器(18)と前記圧迫板(40)との間に位置決めするステップは、
    a. 前記患者の乳房(236)を前記圧迫板(40)と前記検出器(18)の間に配置するステップ、
    b. 前記圧迫板(40)と前記検出器(18)との間で前記患者の乳房(236)が圧迫されるように、前記圧迫板(40)を所望の位置に移動させるステップ、及び
    c. 前記圧迫板(40)を前記所望の位置にロックするステップ
    を含み、
    感知された起動イベントは、前記圧迫板(40)のロックである、請求項11に記載の方法。
  13. 撮影モードで及び介入/生検モードで動作可能なX線マンモグラフィシステム(10,210)であって、前記システム(10,210)は、
    a. 支持面に配置されたガントリ(15)であって、X線源(16)と、前記X線源(16)に対して配列可能なX線検出器(18)と、前記検出器(18)に対して相対的に移動可能な圧迫板(40)であって、患者の乳房(236)を前記検出器と前記圧迫板との間に固定する圧迫板(40)とを含むガントリ(15)、
    b. 前記ガントリ(15)に動作可能に接続され、前記マンモグラフィシステム(10,210)の撮影モードでX線画像データを生成するように、前記X線源(16)及び前記X線検出器(18)の動作を制御する画像処理システム(44,256)であって、前記検出器(18)からの前記X線画像データを処理するプロセッサ(258)と、前記プロセッサ(258)に動作可能に接続され、特徴検出AIモデル(262)及び訓練モジュール(263)を動作させるための命令を記憶するデータベース(260)と、前記画像処理システム(44,256)に動作可能に接続され、ユーザに情報を提示するディスプレイ(56)と、前記画像処理システム(44,256)に動作可能に接続され、前記画像処理システム(44,256)にユーザ入力(312)できるようにするユーザインターフェース(50)とを含む画像処理システム(44,256)、及び
    c. 前記ガントリ(15)に配置され前記画像処理システム(44,256)に動作可能に接続されたセンサ検出システム(100,252)であって、前記センサ検出システム(100,252)は、前記ガントリ(15)及び前記患者(236)のセンサデータ(306)を生成するように動作可能な少なくとも1つのセンサ(101,102,154,254)を含み、前記特徴検出AIモデル(262)は、前記センサデータ(306)内の前記ガントリ(15)及び前記患者(236)のうちの一方又は両方の特徴を検出して、前記ガントリ(15)及び前記患者(236)を評価するように動作可能である、センサ検出システム(100,252)
    を含み、
    前記訓練モジュール(263)は、前記X線マンモグラフィシステム(10,210)によって実行されるべき撮影手順に対する前記ユーザインターフェース(50)からのユーザ入力パラメータ(312)、前記データベース(260)に記憶された制御アルゴリズムからの1つ以上の内部システム出力(314)、及びそれらの組み合わせのうちの少なくとも1つと、前記センサ検出システム(100,252)からのセンサデータ(306)とを受け取って、前記特徴検出AIモデル(262)の訓練に使用する訓練データセット(320)を形成するように構成され、前記訓練データセット(320)は、前記X線マンモグラフィシステム(10,210)から外部に送信されない、X線マンモグラフィシステム(10,210)。
  14. 前記訓練モジュール(263)は、持続的学習モードで動作するように構成されている、請求項13に記載のX線マンモグラフィシステム(10,210)。
  15. 前記訓練モジュール(263)は、連合学習モードで動作するように構成されている、請求項13に記載のX線マンモグラフィシステム(10,210)。


JP2023060690A 2022-04-04 2023-04-04 センサ式x線マンモグラフィを訓練するシステム及び方法 Pending JP2023153107A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/712,555 US20230309939A1 (en) 2022-04-04 2022-04-04 System and Method for Training Sensor-Guided X-Ray Mammography System
US17/712,555 2022-04-04

Publications (1)

Publication Number Publication Date
JP2023153107A true JP2023153107A (ja) 2023-10-17

Family

ID=85703733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023060690A Pending JP2023153107A (ja) 2022-04-04 2023-04-04 センサ式x線マンモグラフィを訓練するシステム及び方法

Country Status (4)

Country Link
US (1) US20230309939A1 (ja)
EP (1) EP4257051A1 (ja)
JP (1) JP2023153107A (ja)
CN (1) CN116895373A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3537976B1 (en) * 2016-11-10 2020-05-20 Koninklijke Philips N.V. Selecting acquisition parameter for imaging system
US10751021B2 (en) * 2018-12-20 2020-08-25 General Electric Company System and method for acquiring an x-ray image
US11375968B2 (en) 2020-04-06 2022-07-05 GE Precision Healthcare LLC Methods and systems for user and/or patient experience improvement in mammography

Also Published As

Publication number Publication date
EP4257051A1 (en) 2023-10-11
CN116895373A (zh) 2023-10-17
US20230309939A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
CN110139607B (zh) 用于患者扫描设置的方法和系统
KR102094737B1 (ko) 의료 영상 처리 장치, 의료 영상 처리 방법, 컴퓨터 판독가능한 의료 영상 처리 프로그램, 이동 대상물 추적 장치 및 방사선 치료 시스템
CN109452947B (zh) 用于生成定位图像和对患者成像的方法、x射线成像系统
CN111374675B (zh) 用于在医学成像会话中检测患者状态的系统和方法
EP3360483B1 (en) Method and system for dose-optimized computed tomography scanning of a target organ
US11317884B2 (en) Methods and systems for mammography and biopsy workflow optimization
EP2506216A2 (en) X-Ray CT apparatus and image processing method
US20230103969A1 (en) Systems and methods for correlating regions of interest in multiple imaging modalities
KR20170060698A (ko) 컴퓨터 단층 촬영장치 및 그 제어방법
US20200085385A1 (en) Virtual positioning image for use in imaging
US20220036545A1 (en) Breast mapping and abnormality localization
JP7451460B2 (ja) マンモグラフィにおけるユーザおよび/または患者の経験の改善のための方法およびシステム
US10987073B2 (en) Medical imaging system and method for automated medical imaging assistance
US20230309939A1 (en) System and Method for Training Sensor-Guided X-Ray Mammography System
US20230351600A1 (en) Correlating regions of interest
JP2016106814A (ja) 医用画像診断装置、及び、撮影範囲表示方法
EP4176812A1 (en) Medical device control method and system
CN115607172A (zh) 用于在乳房摄影中自动检测植入物的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240508