JP2021121092A - 医用撮像中の患者構造推定のためのシステムおよび方法 - Google Patents

医用撮像中の患者構造推定のためのシステムおよび方法 Download PDF

Info

Publication number
JP2021121092A
JP2021121092A JP2020215653A JP2020215653A JP2021121092A JP 2021121092 A JP2021121092 A JP 2021121092A JP 2020215653 A JP2020215653 A JP 2020215653A JP 2020215653 A JP2020215653 A JP 2020215653A JP 2021121092 A JP2021121092 A JP 2021121092A
Authority
JP
Japan
Prior art keywords
patient
image
depth
histogram data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020215653A
Other languages
English (en)
Other versions
JP7135064B2 (ja
Inventor
ラグー・プラサド
Prasad Raghu
ユ・フアン
Yu Huang
ヤンラン・シュー
Yanran Xu
キラン・パンチャール
Panchal Kiran
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of JP2021121092A publication Critical patent/JP2021121092A/ja
Application granted granted Critical
Publication of JP7135064B2 publication Critical patent/JP7135064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • A61B6/0407Supports, e.g. tables or beds, for the body or parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/488Diagnostic techniques involving pre-scan acquisition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/542Control of apparatus or devices for radiation diagnosis involving control of exposure
    • A61B6/544Control of apparatus or devices for radiation diagnosis involving control of exposure dependent on patient size
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/545Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】医用撮像中の患者構造推定のためのシステムおよび方法を提供する。【解決手段】医用撮像システムによるスキャンの前に患者構造を推定するための方法およびシステムが提供される。一例として、方法は、医用撮像システムのテーブル上に配置された患者の深度画像を取得することと、深度画像からのヒストグラムデータに基づいて深度画像を修正することと、修正された深度画像に基づいて患者の3次元構造を抽出することと、を含むことができる。【選択図】図4A

Description

本明細書に開示する主題の実施形態は、医用撮像システム、より具体的には、医用撮像の前の正確な患者構造推定に関する。
非侵襲的放射線撮像技術は、患者または対象物に侵襲的処置を施すことなく、患者または対象物の内部構造の画像を得ることを可能にする。特に、コンピュータ断層撮影(CT)などの技術は、ターゲットボリュームを通るX線の差動透過などの様々な物理的原理を使用して画像データを取得し、断層画像(例えば、人体または他の撮像された構造の内部の3次元表現)を構築する。最新のCT撮像システムでは、テーブル上に配置された患者の周りをガントリ(片側にX線管、もう一方に検出器を備えた円形フレーム)が回転し、1回転で患者の断面図を数千枚生成する。これらの撮像技術を効果的に使用するには、患者または対象物を撮像システム内で適切に配置し方向付ける必要がある。
米国特許第10331850号明細書
一実施形態では、医用撮像システムのための方法は、医用撮像システムのテーブル上に配置された患者の深度画像を取得することと、深度画像からのヒストグラムデータに基づいて深度画像を修正することと、修正された深度画像に基づいて患者の3次元構造を抽出することと、を含む。したがって、不均一な露出および抽出された3次元の患者の構造/アバター/メッシュ/点群を伴うホールによる深度情報の損失を排除することができる。このようにして、撮像の前に、患者の構造および向きの正確な推定を達成することができる。
上記の簡単な説明は、詳細な説明でさらに説明される概念の選択を簡略化した形で紹介するために提供されていることを理解されたい。特許請求される主題の重要なまたは本質的な特徴を特定することは意図されておらず、その主題の範囲は詳細な説明に続く特許請求の範囲によって一義的に定義される。さらに、特許請求される主題は、上記のまたは本開示の任意の部分に記載の欠点を解決する実施態様に限定されない。
本発明は、添付の図面を参照しながら、以下の非限定的な実施形態の説明を読むことからよりよく理解されるであろう。
一実施形態による撮像システムの図である。 一実施形態による例示的な撮像システムのブロック概略図である。 一実施形態による、撮像前の患者構造推定のための例示的なアルゴリズムのブロック図である。 患者構造推定に対する可変照明および反射の効果を識別し無効にするための方法を示すフローチャートである。 患者構造推定に対する可変照明および反射の効果を識別し無効にするための方法を示すフローチャートである。 患者構造推定に対する可変照明および反射の効果を識別し無効にするための方法を示すフローチャートである。 患者構造推定に対する可変照明および反射の効果を識別し無効にするための方法を示すフローチャートである。 図4A〜図4Dの方法が、可変照明および反射から生じるアーチファクトなしに、患者構造のフィルタリングされた点群を生成し得る様々な条件を示す図である。 図4A〜図4Dの方法で説明されているような点群セグメンテーションの一例を示す図である。 図4A〜図4Dの方法を使用した薄暗い照明の条件下での3次元患者構造推定の一例を示す図である。 図4A〜図4Dの方法を実行する間に生成され得る一連の画像を示す図である。 図4A〜図4Dの方法を実行する間に生成され得る一連の画像を示す図である。 図4A〜図4Dの方法を実行する間に生成され得る一連の画像を示す図である。 患者が所望の検査結果のために配置されているかどうかを決定するための方法を示すフローチャートである。
以下の説明は、医用撮像システムの様々な実施形態に関する。特に、放射線撮像の前に、照明、反射、および露出アーチファクトのない患者構造の正確な3次元(3D)深度推定を決定するためのシステムおよび方法が提供される。患者の構造、位置、向きはすべて、放射線撮像の結果に影響を与える。スキャン中またはスキャン前の患者の不適切な位置および/または向きは、画像ノイズと患者の表面線量の両方に大きな影響を与える可能性がある。一例として、患者を中心から外すと、撮像アーチファクトが発生し、身体のより敏感な領域に不必要な放射線被曝が生じる可能性がある。
放射線検査のための所望の患者の位置および向き(例えば、姿勢)は、撮像される身体部分、疑わしい欠陥または疾患、および患者の状態に基づいており、位置決めのプロトコルは放射線科医によって決定される。次に、正確な診断情報を取得し、患者のX線被曝を低減するために、撮像システムを操作する技術者が所定のプロトコルを実行する。さらに、技術者は、放射線検査のために患者を位置合わせするために、患者が配置されているスキャンテーブルの高さおよび横方向の位置を手動で調整することができる。しかし、技術者は、例えば、作業負荷が高く、手動での位置決めが非効率的であるために、技術的な誤差が発生する可能性がある。例えば、技術的な誤差により、放射線検査中に取得された画像に、露出過多、露出不足、または間違った患者の配置が生じる場合がある。その結果、放射線科医は正確な診断を行うためにスキャンを拒否して繰り返すことを決定する場合がある。そのような例では、患者が利用可能である場合には、即時の第2のX線写真が要求される可能性がある。あるいは、再スキャンされる追加の予定のために、患者が戻る必要があり得る。どちらのオプションも、患者の不快感、患者の放射線被曝、スキャン操作者の認知ストレス、および診断までの時間を増加させる。
したがって、放射線検査のワークフローを促進するために様々な手法が採用されてきた。その中には、飛行時間(ToF)または深度カメラの放射線検査室への統合がある。放射線撮像の前に、ToFまたは深度カメラを使用して患者の3D深度画像を生成することができる。3D深度画像を使用して、解剖学的ランドマーク、身体の輪郭、身体の体積/厚さ、およびテーブルに対する患者の位置/向きなどの患者の構造を決定することができる。次に、患者の構造を、放射線科医によって設定された位置決めパラメータと比較することができる。決定された患者の構造が位置決めパラメータと一致していない場合には、技術者はスキャンの前に患者の位置を変更し、それによってスキャンの拒否と繰り返しの発生を減らすことができる。
しかし、深度カメラには、検査室内の可変照明および/または反射領域など、いくつかのノイズ源がある。このようなノイズにより、3D深度画像の領域に深度情報が不足したり、深度ホールが発生したりする可能性がある。これらの深度ホールは、不正確な患者構造の決定につながる可能性があり、最終的に、技術者は、放射線科医によって指定された位置決めパラメータが正確に守られているかどうかを不正確に決定する。その結果、スキャン前に患者構造推定を使用したにもかかわらず、スキャンの拒否と繰り返しが引き続き発生する可能性がある。
したがって、本明細書に開示する実施形態によれば、患者構造の深度カメラベースの推定に対する可変照明および反射の効果を識別して無効にするための方法およびシステムが提供される。一実施形態では、医用撮像システムのテーブル上に配置された患者の深度画像を取り込むことができ、ブラケット露出深度撮像(BEDI)および/または照明変動係数(CoIV)ベースの修正を、取り込まれた深度画像に適用して、正確な3D患者構造を推定することができる。
本技法による画像を取得するために使用され得るコンピュータ断層撮影(CT)撮像システムの一例が、図1および図2に提示されている。図1〜図2のCT撮像システムは、CT撮像システムのガントリ内に位置決め可能なテーブルを含み、ガントリは、テーブル上に位置決めされた被験者を撮像するためのX線プロジェクタおよび検出器を含む。テーブルの位置は、撮像のためにガントリ内の所望の位置に被験者を配置するために調整することができる。さらに、被験者は、所望の放射線画像を達成するために、例示的な姿勢などの様々な姿勢および向きでテーブル上に配置され得る。撮像前の患者の形状推定に使用できる例示的アルゴリズムの概要を図3に示す。例えば、図3のアルゴリズムは、図9の例示的な方法を使用して実行され得るように、スキャン結果の予測と患者の姿勢の解釈のための患者構造の3Dモデルを正確に作成するために、図4A〜図4Dに示す方法など、患者構造推定に対する可変照明および反射の効果を識別し無効にするための方法を含むことができる。図5は、図4A〜図4Dに提示された方法が患者構造の正確な3D点群を生成し得る可変照明および露出条件の例を提供する。図6は、正確な3D患者構造推定を達成するために、図4A〜図4Dに示す方法の間に発生する可能性がある、患者を取り囲む対象物のインテリジェントセグメンテーションの一例を示す。図7は、図4A〜図4Dに示す方法が、薄暗い照明の条件下で正確な3D患者構造推定を生成し得る例を提供する。図8A〜図8Cは、一連の連続画像として図4A〜図4Dに提示された方法を示している。
コンピュータ断層撮影(CT)システムが例として説明されているが、本技術は、X線撮像システム、磁気共鳴撮像(MRI)システム、陽電子放射断層撮影(PET)撮像システム、単一光子放射型コンピュータ断層撮影(SPECT)撮像システム、およびそれらの組み合わせ(例えば、PET/CT、PET/MR、SPECT/CT撮像システムなどのマルチモダリティ撮像システム)などの、ボアおよびテーブルを利用する他の医用撮像システムおよび/または医用撮像装置に適用される場合にも有用であり得ることを理解されたい。CT撮像モダリティに関する本説明は、1つの適切な撮像モダリティの一例としてのみ提供される。
図1は、例示的なCT撮像システム100を示している。特に、CT撮像システム100は、患者などの被験者112、無生物、1つまたは複数の製造部品、産業用構成部品ならびに/あるいは体内に存在するインプラント、ステント、および/または造影剤などの異物を撮像するように構成される。本開示を通して、被験者および患者という用語は、互換的に使用されることがあり、患者はCT撮像システムによって撮像され得る対象物の一種であり、被験者は少なくともいくつかの例において患者を含むことができることを理解されたい。一実施形態では、CT撮像システム100は、ガントリ102を含み、ガントリ102は、患者の撮像に使用するためにX線放射(またはX線)106(図2を参照)のビームを投影するように構成された少なくとも1つのX線放射源104をさらに含むことができる。具体的には、X線放射源104は、X線106をガントリ102の反対側に配置された検出器アレイ108に向けて投影するように構成される。図1は単一のX線放射源104のみを図示しているが、ある特定の実施形態では、異なるエネルギーレベルで患者に対応する投影データを取得するために、複数の放射線源を用いて複数のX線106を複数の検出器に向けて投影することができる。
いくつかの実施形態では、X線放射源104は、デカルト座標系のxy平面内に位置するようにコリメートされ、一般に「撮像平面」または「スキャン平面」と呼ばれるX線106の扇形または円錐形のビームを投射する。ビームX線106は、被験者112を通過する。ビームX線106は、被験者112によって減衰された後に、検出器アレイ108に衝突する。検出器アレイ108で受け取られる減衰放射線ビームの強度は、被験者112によるX線106の減衰量に依存する。検出器アレイ108の各検出器素子は、検出器の場所におけるビーム強度の測定値である別々の電気信号を生成する。すべての検出器からの強度測定値を別々に取得して透過率プロファイルを作成する。
第3世代CT撮像システムでは、X線放射源104および検出器アレイ108は、X線106のビームが被験者112と交差する角度が絶えず変化するように、撮像平面内および被験者112の周りでガントリ102と共に回転する。ガントリ102が全360度、1回転するとガントリの完全な回転が生じる。1つのガントリ角度での検出器アレイ108からのX線減衰測定値のグループ(例えば投影データ)は、「ビュー」と呼ばれる。したがって、ビューはガントリ102の各増分位置である。被験者112の「スキャン」は、X線放射源104および検出器アレイ108の1回転中に、異なるガントリ角度またはビュー角度で作成された一組のビューを含む。
軸方向スキャンでは、投射データを処理して、被験者112を通してとった2次元スライスに対応する画像を構築する。一組の投影データから画像を再構築するための1つの方法は、当技術分野においてフィルタ補正逆投影法と呼ばれている。このプロセスは、スキャンからの減衰測定値を「CT数」または「ハウンズフィールド単位」(HU)と呼ばれる整数に変換し、これは例えば陰極線管ディスプレイ上の対応するピクセルの輝度を制御するために使用される。
いくつかの例では、CT撮像システム100は、ガントリ102上またはガントリ102の外側に配置された深度カメラ114を含むことができる。図示するように、深度カメラ114は、被験者112の上に配置された天井116に取り付けられ、被験者が少なくとも部分的にガントリ102の外側にあるときに被験者112を撮像するように向けられる。深度カメラ114は、1つもしくは複数の可視光センサおよび/または1つもしくは複数の赤外線(IR)光センサを含む、1つまたは複数の光センサを含むことができる。いくつかの実施形態では、1つまたは複数のIRセンサは、近赤外線範囲および遠赤外線範囲の両方のセンサを含むことができ、熱撮像を可能にする。いくつかの実施形態では、深度カメラ114は、IR光源をさらに含むことができる。光センサは、3D深度画像を生成するように動作可能な飛行時間(ToF)、ステレオ、または構造化光深度センサなどの任意の3D深度センサであってもよく、他の実施形態では、光センサは2D画像を生成するように動作可能な2次元(2D)センサであってもよい。いくつかのそのような実施形態では、2D光センサを使用して、光反射現象の知識から深度を推測し、3D深度を推定することができる。光センサが3D深度センサであろうと2Dセンサであろうと、深度カメラ114は、画像を符号化する信号を適切なインターフェースに出力するように構成することができ、適切なインターフェースは、深度カメラ114から画像を符号化する信号を受信するように構成することができる。他の例では、深度カメラ114は、観察される被験者および/または他の源から到来する指向性および/または無指向性の音の受信および解析を可能にするためのマイクロフォンなどの他の構成要素をさらに含むことができる。
ある特定の実施形態では、CT撮像システム100は、反復または解析的画像再構築方法などの適切な再構築方法を使用して、患者のターゲットボリュームの画像を再構築するように構成された画像処理ユニット110をさらに含む。例えば、画像処理ユニット110は、患者のターゲットボリュームの画像を再構築するために、フィルタ修正逆投影(FBP)などの解析的画像再構築手法を使用することができる。別の例として、画像処理ユニット110は、患者のターゲットボリュームの画像を再構築するために、適応統計的反復再構築(ASIR)、共役勾配(CG)、最尤期待値最大化(MLEM)、モデルベース反復再構築(MBIR)などの反復画像再構築手法を使用することができる。
本明細書で使用する場合、「画像を再構築する」という語句は、画像を表すデータが生成されるが可視画像は生成されない本発明の実施形態を除外することを意図しない。したがって、本明細書で使用する場合、「画像」という用語は、可視画像および可視画像を表すデータの両方を広く指す。しかし、多くの実施形態は、少なくとも1つの可視画像を生成する(または生成するように構成される)。
CT撮像システム100は、被験者112が撮像のために配置されるテーブル115をさらに含む。テーブル115は、テーブルの縦方向位置および/または横方向位置を調整することができるように電動化され得る。したがって、テーブル115は、図2に関して以下で詳述されるように、モータおよびモータコントローラを含むことができる。テーブルモータコントローラは、被験者のターゲットボリュームに対応する投影データを取得するために、被験者をガントリ102に適切に位置決めするようにモータを調整することによってテーブル115を移動させる。テーブルモータコントローラは、テーブル115の高さ(例えば、テーブルが設置されている地面に対する縦方向位置)とテーブル115の横方向位置(例えば、ガントリ102の回転軸に平行な軸に沿ったテーブルの水平位置)の両方を調整することができる。
図2は、図1のCT撮像システム100と同様の例示的な撮像システム200を示す。一実施形態では、撮像システム200は、検出器アレイ108(図1を参照)を含む。検出器アレイ108は、対応する投影データを取得するために被験者112を通過するX線ビーム106(図1参照)を共に収集する、複数の検出器素子202をさらに含む。したがって、一実施形態では、検出器アレイ108は、セルまたは検出器素子202の複数の行を含むマルチスライス構成で製作される。そのような構成では、検出器素子202の1つまたは複数の追加の行が、投影データを取得するための並列構成に配置される。いくつかの例では、検出器アレイ108の個々の検出器または検出器素子202は、個々の光子の相互作用を1つまたは複数のエネルギービンに記録する光子計数検出器を含むことができる。本明細書で説明される方法は、エネルギー積分検出器を用いて実施することもできることを認識されたい。
ある特定の実施形態では、撮像システム200は、所望の投影データを取得するために、被験者112の周りの異なる角度位置を横切るように構成される。したがって、ガントリ102およびそれに取り付けられた構成要素は、例えば、異なるエネルギーレベルで投影データを取得するために、回転中心206を中心に回転するように構成することができる。あるいは、被験者112に対する投影角度が時間の関数として変化する実施形態では、取り付けられた構成要素を、円弧に沿ってではなく、一般的な曲線に沿って移動するように構成することができる。
一実施形態では、撮像システム200は、ガントリ102の回転およびX線放射源104の動作などの構成要素の移動を制御する制御機構208を含む。ある特定の実施形態では、制御機構208は、パワーおよびタイミング信号をX線放射源104に提供するように構成されたX線コントローラ210をさらに含む。加えて、制御機構208は、撮像要件に基づいてガントリ102の回転速度および/または位置を制御するように構成されたガントリモータコントローラ212を含む。
特定の実施形態では、制御機構208は、検出器素子202から受信されたアナログデータをサンプリングし、後の処理のためにアナログデータをデジタル信号に変換するように構成されたデータ収集システム(DAS)214をさらに含む。DAS214によってサンプリングされデジタル化されたデータは、コンピュータまたはコンピューティングデバイス216に送信される。一例では、コンピューティングデバイス216は、データを記憶装置218に記憶する。記憶装置218は、例えば、ハードディスクドライブ、フロッピーディスクドライブ、コンパクトディスク読み出し/書き込み(CD−R/W)ドライブ、デジタル多用途ディスク(DVD)ドライブ、フラッシュドライブ、および/またはソリッドステート記憶ドライブを含んでもよい。
加えて、コンピューティングデバイス216は、データ取得および/または処理などのシステム動作を制御するために、コマンドおよびパラメータをDAS214、X線コントローラ210、およびガントリモータコントローラ212の1つまたは複数に提供する。特定の実施形態では、コンピューティングデバイス216は、オペレータ入力に基づいてシステムの動作を制御する。コンピューティングデバイス216は、コンピューティングデバイス216に動作可能に結合されたオペレータコンソール220を介して、例えば、コマンドおよび/またはスキャンパラメータを含むオペレータ入力を受け取る。オペレータコンソール220は、オペレータがコマンドおよび/またはスキャンパラメータを指定することを可能にするキーボード(図示せず)またはタッチスクリーンを含むことができる。
図2は、1つのオペレータコンソール220のみを示しているが、2つ以上のオペレータコンソールを撮像システム200に結合し、例えば、システムパラメータを入力もしくは出力すること、試験を要求すること、および/または画像を閲覧することができる。さらに、ある特定の実施形態では、撮像システム200は、例えば、施設もしくは病院内で、あるいはインターネットおよび/または仮想プライベートネットワークなどの1つまたは複数の構成可能な有線および/または無線ネットワークを介して完全に異なる場所において、ローカルにまたは遠隔に位置する複数のディスプレイ、プリンタ、ワークステーション、および/または同様のデバイスに結合されてもよい。
一実施形態では、例えば、撮像システム200は、画像保管通信システム(PACS)224を含むか、またはそれに結合される。例示的な実施形態では、PACS224は、放射線科情報システム、病院情報システム、および/または内部もしくは外部ネットワーク(図示せず)などの遠隔システムにさらに結合され、異なる場所にいるオペレータがコマンドおよびパラメータを供給すること、および/または画像データへのアクセスを得ることを可能にする。
コンピューティングデバイス216は、オペレータ供給のおよび/またはシステム定義のコマンドおよびパラメータを使用してテーブルモータコントローラ226を動作させ、図1に示すテーブル115の位置を調整することができるテーブルモータ228を制御することができる。特に、テーブルモータコントローラ226は、被験者112のターゲットボリュームに対応する投影データを取得するために、ガントリ102内で被験者112を適切に位置決めするためにテーブルモータ228を介してテーブル115を動かす。例えば、コンピューティングデバイス216は、モータ228を介してテーブル115の縦方向および/または横方向位置を調整するように、テーブルモータコントローラ226に命令するコマンドをテーブルモータコントローラ226に送出することができる。
前述のように、DAS214は、検出器素子202によって取得された投影データをサンプリングしてデジタル化する。その後に、画像再構築器230が、サンプリングされてデジタル化されたX線データを使用して、高速再構築を実行する。図2は別個のエンティティとして画像再構築器230を示しているが、ある特定の実施形態では、画像再構築器230は、コンピューティングデバイス216の一部を形成してもよい。あるいは、画像再構築器230は、撮像システム200に存在しなくてもよく、代わりに、コンピューティングデバイス216が、画像再構築器230の1つまたは複数の機能を実施してもよい。さらに、画像再構築器230は、ローカルにまたは遠隔に位置してもよく、有線または無線ネットワークを使用して撮像システム200に動作可能に接続されてもよい。特に、1つの例示的な実施形態は、画像再構築器230のための「クラウド」ネットワーククラスタ内の算出資源を使用することができる。
一実施形態では、画像再構築器230は、再構築された画像を記憶装置218に格納する。あるいは、画像再構築器230は、診断および評価のために有用な患者情報を生成するために、再構築された画像をコンピューティングデバイス216に送信する。ある特定の実施形態では、コンピューティングデバイス216は、再構築された画像および/または患者情報を、コンピューティングデバイス216および/または画像再構築器230に通信可能に結合されたディスプレイ232に送信する。一実施形態では、ディスプレイ232は、撮像された解剖学的構造をオペレータが評価することを可能にする。ディスプレイ232はまた、オペレータがその後のスキャンまたは処理のために、例えば、グラフィカルユーザインターフェース(GUI)を介して関心ボリューム(VOI)を選択すること、および/または患者情報を要求することを可能にすることもできる。
本明細書にさらに記載するように、コンピューティングデバイス216は、本明細書では検査の臨床意図識別子(CID)とも呼ばれる、臨床タスク/意図を含む検査撮像プロトコルに従って、DAS214、X線コントローラ210、ガントリモータコントローラ212、およびテーブルモータコントローラ226のうちの1つまたは複数にコマンドおよび/または制御パラメータを送信するために実行可能なコンピュータ可読命令を含むことができる。例えば、CIDは、臨床的徴候に基づいて処置の目的(例えば、一般的なスキャンまたは病変の検出、関心のある解剖学的構造、品質パラメータ、または他の目的)を知らせ、スキャン中(例えば、仰臥位で足から)の望ましい被験者の位置と向き(例えば姿勢)をさらに定義してもよい。次いで、システム200のオペレータは、撮像プロトコルによって指定された被験者の位置および向きに従って被験者をテーブルに位置決めすることができる。さらに、コンピューティングデバイス216は、撮像プロトコルに従って様々なスキャンパラメータ(例えば、線量、ガントリ回転角度、kV、mA、減衰フィルタ)を設定および/または調整することができる。撮像プロトコルは、コンピューティングデバイス216および/または遠隔コンピューティングデバイス上のメモリに記憶された複数の撮像プロトコルの中からオペレータによって選択されてもよく、または撮像プロトコルは、例えば、受信された患者情報に従ってコンピューティングデバイス216によって自動的に選択されてもよい。
検査/スキャンセッションの間、所望の画質を依然として維持しながら、できるだけ低い線量の放射線に被験者を曝すことが望ましい場合がある。さらに、検査ごとに、被験者ごとに、そして異なる撮像システムオペレータ間で、再現性があり一貫した撮像品質が望まれることがある。このように、撮像システムのオペレータは、例えばガントリのボアの中心に所望の患者の解剖学的構造をセンタリングするためにテーブル位置および/または被験者位置を手動で調整することができる。しかし、このような手動調整は誤差が発生しやすい場合がある。したがって、選択された撮像プロトコルに関連するCIDは、被験者の姿勢と向き、テーブル高さ、スキャンの解剖学的基準、ならびにスキャンの開始場所および/または終了場所を含む様々な被験者位置決めパラメータにマッピングされ得る。
したがって、深度カメラ114は、動作的および/または通信可能にコンピューティングデバイス216に結合されて、姿勢および向きを含む被験者の構造を決定するための画像データを提供することができる。さらに、深度カメラ114によって生成された画像データに基づいて患者構造を決定するための本明細書でさらに説明される様々な方法およびプロセスは、コンピューティングデバイス216の非一時的メモリに実行可能命令として格納され得る。
さらに、いくつかの例では、コンピューティングデバイス216は、深度カメラ114から受け取った情報を処理するための命令を含むカメラ画像データプロセッサ215を含むことができる。深度情報および/または可視光情報を含むことができる深度カメラ114から受け取った情報を処理して、被験者の身元、被験者のサイズ(例えば身長、体重、患者の厚さ)、およびテーブルおよび深度カメラ114に対する現在の被験者の位置などの様々な被験者パラメータを決定することができる。例えば、撮像の前に、被験者112の身体の輪郭または構造は、深度カメラ114から受け取った画像からカメラ画像データプロセッサ215によって生成された点群データから再構築された画像を使用して推定され得る。これらの被験者パラメータは、例えば、本明細書でより詳細に説明するように、患者とスキャナの接触予測、スキャン範囲オーバーレイ、およびスキャンランドマーキングを実行するために、コンピューティングデバイス216によって使用され得る。さらに、深度カメラ114からのデータは、ディスプレイ232を介して表示され得る。
一実施形態では、深度カメラ114からの情報は、深度カメラ114の視野内の1つまたは複数の被験者の追跡を実行するために、カメラ画像データプロセッサ215によって使用され得る。いくつかの例では、画像情報(例えば、深度情報)を使用して骨格追跡を実施することができ、被験者の複数の関節は、識別および解析されて被験者の移動、姿勢、位置などを決定する。骨格追跡中の関節の場所は、上述の被験者パラメータを決定するために使用され得る。他の例では、画像情報を直接使用して、骨格追跡なしで上記の被験者パラメータを決定することができる。
これらの被験者位置パラメータに基づいて、コンピューティングデバイス216は、患者の姿勢/向きおよび検査(例えば、スキャン)結果予測に関してオペレータに1つまたは複数の警告を出力することができ、したがって、被験者が所望よりも高い曝露を受ける可能性を低減し、スキャンから生成された画像の品質と再現性を向上させる。一例として、推定された身体構造を使用して、被験者が放射線科医によって指定された撮像の位置にあるかどうかを判断し、したがって、不適切な配置による繰り返しスキャンの発生を減らすことができる。さらに、撮像システムのオペレータが被験者の位置決めに費やす時間量を減らすことができ、1日により多くのスキャンを実行することを可能にし、および/またはさらなる被験者との対話を可能にする。
複数の例示的な患者の向きは、図1および図2に導入された深度カメラ114などの深度カメラから受け取ったデータに基づいて決定することができる。例えば、コントローラ(例えば、図2のコンピューティングデバイス216)は、深度カメラから受け取った画像に基づいて患者の構造および姿勢の推定を抽出し、異なる患者の向きを互いに区別することを可能にすることができる。
第1の例の患者の向きは、小児患者を含むことができ、第2の例の患者の向きは、成人患者を含むことができる。第1の例の患者の向きおよび第2の例の患者の向きの両方は、腕の位置は異なるが、患者が仰向けになっている仰臥位に横たわっている患者を含むことができる。例えば、第1の例の患者の向きは、小児患者の頭の上に折りたたまれて配置された腕を含むことができ、一方、第2の例の患者の向きは、成人患者の腹部の上に折りたたまれて配置された腕を含むことができる。仰臥位、患者のサイズ、および腕の位置はすべて、深度カメラから受け取られ、図3および図4A〜図4Dに関して説明されるような本明細書でさらに説明される方法およびアルゴリズムによって解析されるデータに基づいて区別され得る。
他の例として、第3の例の患者の向きは、毛布で覆われた患者を含むことができ、第4の例の患者の向きは、医療用ガウンを着用している患者を含むことができる。さらに、第5の例の患者の向きは、オペレータの閉塞を含むことができる。本明細書で詳述するように、第3の例の患者の向きに毛布を含め、第4の例の患者の向きに医療用ガウンを含め、第5の例の患者の向きにオペレータの閉塞を含めることは、深度カメラから受け取ったデータに基づいて決定された患者の構造と姿勢の推定には影響しない。
さらなる例として、撮像される患者は、ある範囲の位置に配置されてもよい。例えば、第6の例の患者の向きは、仰臥位の患者を含むことができ、第7の例の患者の向きは、患者がうつ伏せに横たわっている腹臥位の患者を含むことができ、第8の例の患者の向きは、患者が身体の片側に横たわっている側臥位の患者を含むことができる。仰臥位、腹臥位、および横臥位(側面を含む)はすべて、深度カメラから受け取ったデータに基づいて互いに区別することができる。したがって、様々な姿勢、向き、患者の形状/サイズ、および潜在的な閉塞(例えば、毛布、医療用ガウン、オペレータ)があり、そこから3D患者構造推定を撮像の前に決定することができる。
図3は、(例えば、図1および図2の深度カメラ114)深度カメラから受け取ったデータに基づいて放射線撮像の前に、姿勢および位置を含む患者構造を推定するために、図2のコンピューティングデバイス216などのコントローラによって実装され得る例示的なアルゴリズム400を示す。図示する実施形態では、アルゴリズム400は、CT撮像の前に利用されるが、しかしながら、本明細書に記載の実施形態は、他のタイプの医用撮像モダリティ(例えば、MRI、X線、PET、介入血管造影システム)を使用して実施され得ることが理解され得る。さらに、いくつかの実施形態では、患者は、アルゴリズム400および深度カメラから受け取ったデータを介して、医用撮像化の前および最中の両方で継続的に監視され得る。
図示する実施形態では、402において、アルゴリズム400は、CT撮像システムの図1のテーブル115などのテーブル上に配置されている患者を含む。患者は、放射線科医によって選択された検査の臨床意図識別子(CID)に基づくなど、放射線科医によって定められた指定のプロトコルに従って、技術者によって配置され得る。一例として、アルゴリズム400は、選択されたCIDに基づいて指定されたプロトコルを表示(例えば、図2のディスプレイ232上)および/または他の方法で通信することによって、患者を配置する際に技術者を導くことができる。例えば、患者は、頭または足が最初にCT撮像システムのガントリに対して相対的に、仰臥位、うつ伏せ、または横向きの位置に配置され得る。患者の位置決めは、所望の姿勢を達成するために四肢の位置を調整することなどによって、指定されたプロトコルによって概説されるようにさらに洗練され得る。患者が正しい位置を維持し、静止したままでいるのを助けるために、様々なストラップおよび/または枕を使用することができる。
さらに、CT撮像システム内での患者の適切な配置は、患者の正中線(患者の目と恥骨結合の間に引かれた仮想線)がテーブルの中心にあり、テーブルの高さが、スキャンされる領域の質量の中心がガントリの回転中心と一致され得るように調整されることを意味する。したがって、テーブルパラメータを調整することができる。テーブルパラメータの調整は、ガントリとの患者の衝突を回避するために、ガントリに対するテーブルの高さの調整を含むことができる。さらに、スキャンが開始されると、患者がガントリ内の中心に配置されるように、テーブルパラメータを調整することができる。
患者が402でスキャンテーブル上に適切に配置されると、テーブルの空間パラメータが404で決定される。例えば、デカルト世界空間座標系のx−y−z平面内のテーブルの4つのコーナーの位置を決定することができる。実例として、第1のコーナーは[x1、y1、z1]に配置されてもよく、第2のコーナーは[x2、y2、z2]に配置されてもよく、第3のコーナーは[x3、y3、z3]に配置されてもよく、第4のコーナーは、[x4、y4、z4]に配置されてもよい。一実施形態では、これらのコーナーは、テーブルの左上隅の点(例えば、ガントリに最も近いテーブルの左側のコーナー)、テーブルの右上隅の点(例えば、ガントリに最も近いテーブルの右側のコーナー)、テーブルの左下隅の点(例えば、ガントリから最も遠いテーブルの左側のコーナー)、テーブルの右下隅の点(例えば、ガントリから最も遠いテーブルの右側のコーナー)として定義することができる。次に、各コーナーについて、x、y、およびzの値を決定することができる。例えば、テーブルの左下隅の点は[−400、−78、−2469]にあってもよく、テーブルの左上隅の点は[−400、−78、−469]にあってもよく、テーブルの右下隅の点は[400、−78、−2469]にあってもよく、テーブルの右上隅の点は[400、−78、−469]にあってもよい。決定されたテーブル空間パラメータは、以下でさらに説明するように、414で点群アルゴリズムに入力され得る。
406で、スキャンテーブルの垂直上に配置され得る深度カメラが始動される。深度カメラの始動には、深度カメラを「オフ」状態または低電力モードから「オン」にすることが含まれてもよい。カメラの始動は、露出、焦点深度、フレームレートなどの予備的な画像設定の選択をさらに含んでもよい。絞り、シャッタースピード、ISOなどの露出設定は、スキャンルームの状態(例えば、照明条件、反射面の存在など)に基づいて選択され得る。いくつかの例では、露出設定は、画像が取得されるときに繰り返し調整されてもよい。
408で、深度カメラは深度フレームを取得する。一例として、深度カメラは、変調された光源で、まとめてシーンと呼ばれるスキャンテーブル上の患者を照らし、深度カメラ内に配置されたToFセンサを使用して反射光を観察することができる。照明と反射の間の経過時間が測定され、距離に変換される。光源は、例えば、人間の目には見えない近赤外範囲(〜850nm)で動作する固体レーザまたは発光ダイオード(LED)のアレイを含むことができる。光源によって放出された同じ波長の光に応答するように設計された撮像センサは、光を受け取り、光子エネルギーを電流に変換することができる。センサに入る光は、周囲成分と反射成分を有することができるが、距離(深度)情報は反射成分にのみ埋め込まれている。ToFセンサでは、距離は2Dアドレス指定可能なアレイのすべてのピクセルについて測定され、深度マップまたは深度フレーム(例えば、各点がボクセルとも呼ばれる3D点の集まり)が得られる。別の例として、深度カメラは、ステレオ画像を取得することができ(例えば、間隔をおいて配置された2つ以上の画像センサを介して)、各画像取得のための3D深度フレームが得られる。深度フレームは、以下に説明する414で点群アルゴリズムに入力することができる。
410で、深度カメラ114のカメラ較正が実行される。ここでのカメラ較正とは、チェッカーボードなどの2Dパターンを使用してカメラの内因性パラメータと外因性パラメータを抽出することであり、これにより、すべてのデータ点が平面に配置され、データ点のz成分が世界空間座標でゼロになる。外部パラメータは、世界のカメラの位置と向きを参照するが、固有パラメータは、ピクセル座標とカメラ座標との間の関係を参照する。内因性および外因性パラメータが抽出されると、行列に生の点群行列が乗算され、カメラからガントリへの座標変換が取得される。行列の乗算は次のようになる。
Figure 2021121092
第1の行列は外部カメラパラメータを表し、第2の行列はシーン座標を表し、第3の行列は固有のカメラパラメータを表す。第3のまたは固有の行列は、焦点距離を包含する2つの固有のパラメータ(例えば、FおよびC)を含むことができる。
カメラが正常に較正されると、アルゴリズム400は412に続き、ここでカメラは410での較正に基づいて構成される。例えば、xおよびy方向のそれぞれのスケール係数、回転係数、および並進係数は、カメラによって取得された画像が世界空間に適切にスケーリングされるように、カメラ較正に基づいて決定され得る。例えば、カメラ構成は、傾斜または回転した深度カメラの取り付けを補償することができる。上記のスケール係数、回転係数、および並進係数を含むカメラ較正も、414で点群アルゴリズムに入力することができる。
414で、点群アルゴリズムは、404、408、および412からのデータ入力を利用して、416での出力として、ガントリ座標でフィルタリングされた点群アレイを生成することができる。一例として、点群アルゴリズムは、408で取得された深度フレームを、点の集合または点群として3D空間にレンダリングすることができる。別の例として、それに加えてまたはその代わりに、414での点群アルゴリズムは、408で生成された深度フレームデータからボクセルノイズおよび外れ値をフィルタリングすることができ、次いで、フィルタリングされたデータを、412で決定されたカメラ構成に基づいて404で決定されたテーブルパラメータに位置合わせされた点群にレンダリングすることができる。点群アルゴリズムによって生成されたガントリ座標でフィルタリングされた点群アレイは、416で出力され、3D患者構造推定に使用されて、放射線撮像の前に適切な患者の位置を決定することができる。
放射線撮像の前に3D患者構造推定を使用すると、手動の患者配置のみと比較して、リジェクトスキャンとリピートスキャンの数が減少するが、患者構造の3Dモデルを正確に生成するための3D深度カメラの使用は完全に堅牢ではない。実際には、ハードウェアの制限やシーンの構造、例えば深度シャドウイングおよび/または反射、屈折、もしくはIR吸収を伴う材料の影響などにより、深度フレームから取得した3D情報では正確な患者構造推定を提供するには不十分な場合がある。例えば、放射線スキャン室内の差動照明および表面反射率は、図5に関して以下で詳述されるように、取得された深度フレームにホールまたは深度情報の欠如を誘発する可能性がある。3D患者構造推定の生成にホールを含む深度フレームデータを使用すると、患者の位置と向きの表現が不正確または不完全になる可能性があり、技術者は放射線科医が指定したパラメータ内にあると誤って解釈する可能性がある。したがって、適切な患者の位置決めを支援するために3D深度カメラを使用しているにもかかわらず、技術者によって解釈された3D患者構造推定の生成に使用されている深度情報が不十分なため、選択したCIDに基づく指定されたプロトコルと比較して患者の位置がずれている可能性がある。
したがって、図4A〜図4Dは、患者構造推定に対する可変照明および反射の効果を識別し無効にするための方法500を示すフローチャートを示している。方法500および本明細書に含まれる残りの方法は、図1および図2の深度カメラ114などの深度カメラに通信可能に結合された、図2の撮像システム200のコンピューティングデバイス216などの撮像システムのコンピューティングデバイスの非一時的メモリに格納されたコンピュータ可読命令によって実行され得る。
方法500は、502で開始することができる。502において、方法500は、図3に関して前述したように、スキャンのために患者を配置することを含むことができる。例えば、患者は、放射線科医によって選択された検査のCIDに基づいて、技術者によってCT撮像システムまたは別の放射線撮像システムのテーブル上に配置され得る。患者は、最初に撮像システムのガントリに対して頭または足を置き、四肢の配置を所望の姿勢に調整して、仰臥位、腹臥位、または側臥位に配置することができる。さらに、テーブルの高さ(例えば、垂直位置)および位置を調整して、スキャン中の線量最適化のために患者の重心をガントリの中心に合わせることができる。一例として、技術者は、テーブルモータコントローラにコマンドを入力することによってテーブルの高さおよび位置を手動で調整することができ、これにより、それに応じてテーブルモータを作動させることができる。別の例として、コンピューティングデバイスは、選択されたCIDに対応する予めプログラムされた命令に基づいてテーブルモータの垂直および/または横位置を調整するコマンドをテーブルモータコントローラに送信することによってテーブルの高さおよび位置を調整することができる。さらに他の例では、技術者とコンピューティングデバイスの両方がテーブルの高さと位置を調整することができる。例えば、技術者がテーブルの高さと位置を粗く調整してから、コンピューティングデバイスがテーブルの高さと位置を調整して、患者の重心をガントリの中心に合わせることができる。
504では、患者の位置の3D深度、IR、熱、および/または赤、緑、青(RGB)の画像を深度カメラを使用して取り込むことができる。例えば、深度カメラの構成と含まれるセンサのタイプに応じて、3D深度、IR、熱、およびRGB画像の1つのみ、または複数の3D深度、IR、熱およびRGB画像を取り込むことができる。3D深度、IR、熱、および/またはRGB(例えば、カラー)画像を取り込むことによって、シーン内の患者およびテーブルの位置/向きに関連する分布情報を決定することができる。次に、取り込まれた画像内の分布情報をグラフィカルに要約し、ヒストグラムを介して表示することができる。一例として、深度画像のヒストグラムデータを使用して、深度画像内のホール、露出不足および露出過剰の領域、および深度画像内の反射を識別することができる。それに加えてまたはその代わりに、カラー画像のヒストグラムデータを使用して、照明が不十分な領域(例えば、画像内の暗い/明るい領域またはスポット)を識別することができる。カラー画像と深度画像の両方のヒストグラムデータを単独で、または組み合わせて使用して、カメラの露出の最適値を決定することができる。以下に説明するように、シーンの深度画像を取り込む例を図5に示す。シーンの熱画像を取り込む例を図6に示し、これも以下で説明する。
506では、504で取り込まれた画像内の照明および照明の広がりは、決定された関心領域(ROI)のヒストグラムデータを介して監視され得る。ROIには、少なくとも患者の身体および患者が配置されているテーブルが含まれる。ヒストグラムデータは、各画像内の各ピクセルの明るさまたは光度の強度(例えば、色相は考慮されない)のみに基づいて、504で取り込まれた画像の階調範囲のグラフィック表現を提供することができる。ヒストグラム内の階調範囲は、左から右に表すことができ、左側に黒い階調/陰影があり、中央の中間階調から右側のハイライトまで進行する。画像の階調範囲内の各階調の大きさまたはボリュームは、取り込まれた画像内に存在する各階調または階調のセットに対応する個々の線の高さによって表すことができる。例えば、ヒストグラムの低い領域(例えば、谷)は、画像内のそれらの階調のボリュームが小さいことを示し、ヒストグラムの高い領域(例えば、ピーク)は、それらの階調のボリュームが大きいことを示す。このように、ヒストグラムのピークのバランスと高さは、階調範囲と階調バランスを示している。したがって、ヒストグラムデータは、階調分布に基づいて監視され、504で取り込まれた画像における照明の広がり(例えば、露出過多または露出不足)を決定することができる。
508では、506で生成および監視されたヒストグラムデータを解析して、照明が不十分な領域、反射率の高い領域、および/または露出が不十分または半露出のカメラ領域を識別することができる。例えば、ヒストグラムの本体が右に傾いている場合は、504で取り込まれた画像が露出オーバーであることを示している可能性がある。あるいは、ヒストグラムの本体が左に傾いている場合は、504で取り込まれた画像が露出不足、半露出、または照明が不十分であることを示している可能性がある。取り込まれた画像内の反射率の高い領域は、ヒストグラム内の右端にある1つまたは複数の極端なピークで表すことができる。このようにして、ヒストグラムデータを解析することにより、照明が不十分な領域、反射率の高い領域、および/または露出が不十分または半露出のカメラ領域を特定することができる。
510で、患者サイズの予備計算が、取り込まれた画像に基づいて実行される。患者のサイズは、患者の厚さおよび/または患者の形状の指標を含むことができる。一実施形態では、患者の厚さの推定は、スキャンテーブル上に横たわる患者の体積のみを抽出し、それを密度の固定値で乗算するアルゴリズムを適用することにより、深度カメラ画像を使用して決定することができ、色および深度勾配は患者のセグメンテーションに使用される(例えば、患者をスキャンテーブルから区別して患者の厚さとサイズを推定する)。
512で、患者のサイズがしきい値より大きいかどうかが判別される。しきい値は、取り込まれた画像の照明および反射の変動を最小化および修正するための2つの異なる技術の実行を区別するために使用される所定のサイズのしきい値であってもよく、ブラケット露出深度撮像(BEDI)および照明変動係数(CoIV)ベースの修正である。患者のサイズがしきい値より大きくない場合(例えば、患者のサイズがしきい値よりも小さい場合)には、方法500は513に進み(図4Bを参照)、ヒストグラムの標準偏差(SD)と深度と色の両方のCoIVが決定され得る。したがって、CoIVベースの修正は、患者が小さい場合に使用できる。CoIVは、シーンの画像から生成されたヒストグラムデータに基づいて、シーン内の照明の均一性を測定するための測定基準であってもよい。ヒストグラムデータのSDは、データ平均に基づいて決定することができる。CoIVは、すべての測定された照明値のSDの平均に対する比率、または相対的な照明の変動性の尺度として定義できる。CoIVが高いほど、平均値周辺の分散レベルが高くなる。あるいは、ヒストグラムSDは、ヒストグラムデータセットの平均または平均に比例する照明変動を測定する。一実施形態では、CoIVは、以下のような、シーンを照らす光の方向および患者の離散的な姿勢を考慮するアルゴリズムを使用して決定され得る。
Figure 2021121092
ここで、aは表面のアルベドであり、Iは方向
Figure 2021121092
の照明の強度であり、sは患者の表面法線であり、3D患者位置は患者のx、y、z軸を表し、姿勢は、後部前部(PA)、前部後部(AP)、左側面、右側面、うつ伏せ、仰臥位、頭を先に、足を先に、を含む8つの異なるクラスを表すことができる。
一例として、深度画像からのヒストグラムデータおよびカラー画像からのヒストグラムデータは、CoIVおよびSDを計算する前に組み合わせることができる。別の例として、別個のCoIVおよびSD値は、深度ヒストグラムデータおよびカラーヒストグラムデータから計算され得る。例えば、第1のCoIVおよび第1のSDは、深度画像のヒストグラムデータから決定され得、第2のCoIVおよび第2のSDは、カラー画像のヒストグラムデータから決定され得る。いくつかの例では、第1のCoIVは第2のCoIVと組み合わせることができ、第1のSDは第2のSDと組み合わせることができる(例えば、平均化する)。
513で、方法500は、計算されたCoIVが、カラー画像および深度画像の両方のヒストグラムデータのSDよりも大きいかどうかを決定する。CoIVがカラー画像と深度画像の両方のヒストグラムデータのSDより小さい場合には、ヒストグラム内のデータ点が広範囲の値に分散していることを示しており、これは、3D深度フレーム内にホールを誘発する可能性のある反射率が高い領域がシーン内に存在することを示している可能性がある。対照的に、CoIVがカラー画像と深度画像の両方のヒストグラムデータのSDよりも高い場合には、照明の分散はより広い範囲にあり、画像の照明が不十分である可能性がある。
CoIVが深度画像とカラー画像の両方のヒストグラムデータのSDより大きくない場合、方法500は517に続き、自動露出をオフにすることを含む。例えば、深度カメラの自動露出設定をオフにして、シーン内の高反射の領域によって引き起こされる画像アーチファクトを減少または排除することができる。自動露出をオフにすると、深度カメラを使用して、患者の位置の新しい3D深度、IR、熱、またはRGB画像を取り込むことができる。次に、方法500は、以下に説明するように、531(図4Cを参照)に進むことができる。
CoIVがヒストグラムのSDより大きい場合、方法500は引き続き519になり、深度カメラの自動露出がオンになり、露出設定が決定されて適用され、新しい画像が取り込まれる。特に、自動露出設定は、521に示すように、オンにされ得、そしてCoIVおよびヒストグラムデータに基づいて設定され得る。一実施形態では、自動露出の露出設定は、ヒストグラムのSDにCoIVおよびシーンからノイズを抽出するのを助けるためのスケール係数を掛けることによって決定することができる。スケール係数とは、ガントリの物理的寸法をカメラ画像の対応する寸法に変換することである。カメラセンサからの信号の増幅を制御する深度カメラのゲインは、1/CoIVに設定することができる。自動露出がオンになり、513で決定されたCoIVおよびヒストグラムSDに基づいて設定されると、患者の位置の新しい3D深度、IR、熱、またはRGB画像が深度カメラを使用して取り込まれ、方法500は531まで続行される。しかしながら、他の実施形態では、CoIVベースの修正は、以下で説明されるBEDIと組み合わせて使用され得る。
512(図4A)に戻ると、患者のサイズがしきい値よりも大きい場合には、方法500は513に進み、ブラケット露出設定からの深度画像情報を組み合わせることが含まれる。したがって、患者のサイズがしきい値よりも大きい場合、またはオプションでCoIVベースの修正と組み合わせて、BEDIを適用することができる。BEDIは、露出不足から露出過多までの露出設定(例えば、画像の元の露出を囲む露出設定)を使用して、取り込まれた画像の深度領域内に含まれるすべてのホールを埋めようとする。例えば、シーンの深度画像は、現在の照明条件(例えば、深度画像N)に基づいて最も適切な露出を使用して取得され得る。次に、1つの露出過度の深度画像(例えば、深度画像Nの露出設定に対して;深度画像N+1)および1つの露出不足の深度画像(例えば、深度画像Nの露出設定に対して;深度画像N−1)を取り込むことができる。次に、欠落している深度情報の領域は、元の深度画像を露出過多および露出不足の深度画像と比較することによって識別され得る(例えば、深度画像Nは、深度画像N+1および深度画像N−1と比較される)。次に、元の深度画像(例えば、深度画像N)に欠落している深度情報は、露出不足および/または露出過剰の画像(例えば、深度画像N+1および深度画像N−1)からのデータを使用して埋められ得る。
514で、方法500は、ヒストグラムがRGBで不十分な照明を有するかどうかを決定することを含む。RGBヒストグラムの照明(例えば、カラー画像からのヒストグラムデータ)を含むヒストグラムの様々な態様を解析して、適用する修正を決定することができる。RGBヒストグラムの照明が不十分でない場合には、以下で説明するように、方法500は520に続くことができる。
RGBヒストグラムの照明が不十分であると判断された場合には、方法500は516に進み、ヒストグラム均等化を実行することができる。ヒストグラム均等化は、その画像の強度ヒストグラムによって導かれるピクセル値を変更することによって各画像のダイナミックレンジを効果的に変更することによって、取り込まれた画像のコントラストを高めることができる。前に506で説明したように、ヒストグラムは、画像の強度分布のグラフ表示であり、考慮される各強度値のピクセル数を表す。RGB画像の場合、R、G、およびB成分ごとに個別のテーブルエントリがある。ヒストグラム均等化は、画像の色バランスに劇的な変化をもたらす可能性があるため、R、G、およびB成分に個別に適用することはできない。したがって、一実施形態では、ヒストグラム均等化は、非線形マッピングによって実行され得、これは、結果の画像が強度の均一な分布を含み、平坦な(またはほぼ平坦な)ヒストグラムをもたらすように、入力画像の強度値を再割り当てする。このマッピング操作は、コンピューティングデバイスの非一時的メモリに格納されたルックアップテーブルを使用して実行することができる。別の実施形態では、色成分間の相関を利用し、統計的言語工学から借用したマルチレベル平滑化技術によって強化されるRGBヒストグラム均等化の方法を適用することができる。他の実施形態では、ヒストグラム均等化が行われる前に、最初にRGB画像を別の色空間(例えば、色相、彩度、および値(HSV)色空間または色相、彩度、および輝度(HSL)色空間)に変換することができる。
518では、516でのヒストグラム均等化を介して処理されたRGBヒストグラムを解析して、ヒストグラム内の均一な強度およびコントラストレベルを保証することができる。一実施形態では、コンピューティングデバイスの非一時的メモリに格納されたアルゴリズムは、処理されたヒストグラムが平坦であるかどうかを決定することができる(例えば、ピクセルは、強度範囲全体にわたって均等に分布される)。均等化に、画像内に存在する可能性のあるいくつかの強度値の特性のために、ヒストグラムは完全に平坦ではない場合があるが、値はより均一に分布している場合がある。処理されたヒストグラムが均一な強度とコントラストレベルではないと判断された場合には、カメラの露出設定を調整し、新しいRGB画像を取り込み、後続のヒストグラムデータを均等化してヒストグラムがフラットになるようにする。均一な強度およびコントラストレベルを有する処理されたRGBヒストグラムが生成されると、方法500は520に続くことができる。
520で、方法500は、深度カメラによって取り込まれた画像のヒストグラムデータが反射ノイズ(例えば、極端なピークまたはグラフの右端のピーク)を含むかどうかを決定する。ヒストグラムに反射ノイズがない場合には、以下に説明するように、方法500は526に続くことができる。ヒストグラムデータが反射ノイズを明らかにする場合には、方法500は522に続き、空間領域における反射ノイズの反射強度値を計算することができる。一実施形態では、コンピューティングデバイスの非一時的メモリに格納されたアルゴリズムを使用して、取り込まれた画像の空間領域内の反射ノイズ(ヒストグラムによって識別される)に対応するピクセルの強度値を計算することができる。空間領域には、患者、患者が使用している病院のガウンまたは毛布、スキャンテーブル、スキャンテーブルを囲む床、スキャンテーブルを囲む医療機器、スキャンテーブル上の患者の位置を支持する支柱、および/または取り込まれたシーン内の他の任意の対象物が含まれ得る。別の例では、それに加えてまたはその代わりに、空間領域は、領域の構成に基づくのではなく、グリッドシステムによって定義され得る。画像内のノイズ/反射領域の強度値が決定されると、これらの反射領域の許容レベルは524で調整され得る。一実施形態では、許容レベルは、ユークリッド距離によって決定することができる。例えば、反射ノイズの高い画像点と周囲の画像点との間のユークリッド距離を決定して、周囲の画像点が反射ノイズによって歪まない反射許容レベルを決定し設定して、反射飽和(後続の3D深度フレーム取得でホールを誘発する可能性がある)が生じないことを保証することができる。
526において、方法500は、深度カメラによって取り込まれた画像のヒストグラムデータが半露出領域または露出不足領域を有するかどうかを決定することを含む。半露出または露出不足の領域は、スキャンルーム内の薄暗い照明条件および/またはカメラの露出設定(例えば露出不足)が原因である可能性がある。例えば、照明がなく、深度カメラの自動露出がオフになっているスキャンルームで取り込まれた画像(図7に関してさらに示すように)は、露出中の光の不足のためにシーンの露出が不十分な画像をもたらす可能性がある。他の例では、カメラの自動露出設定の結果として、半露出または露出不足の領域が発生する場合がある。他の例では、半露出または露出不足の領域は、スキャンルーム内の露出設定および/または照明条件と組み合わせたシーンに対するカメラの配置の結果である可能性がある。
ヒストグラムデータに半露出または露出不足の領域がない場合には、以下に説明するように、方法500は530に続くことができる。ヒストグラムデータが半露出または露出不足の領域(例えば、グラフの左側の極端なピークまたは複数のピーク)を明らかにする場合には、方法500は528に進み、3D深度データの半露出または露出不足の領域の強度範囲が計算され得る。例えば、コンピューティングデバイスは、ヒストグラムデータ内の谷の位置に基づいて、半露出または露出不足の領域を識別し、それらの谷の強度範囲をさらに決定することができる。
530で、カメラ露出設定は自動的に調整され得る。一実施形態では、露出設定は、(例えば、518、522、および/または528などで)ヒストグラムデータで識別される強度範囲の関数としてインデックス付けされた露出設定でプログラムされたコンピューティングデバイスの非一時的メモリに格納されたルックアップテーブルを使用して自動的に調整され得る。いくつかの例では、識別されているヒストグラム上に不十分な照明でない、反射ノイズがない、および半露出もしくは露出不足でない領域に応答して、露出設定は特定の照明条件にすでに適合している可能性があるので、入力強度範囲により、ルックアップテーブルによって同じ露出設定が出力され得る。別の例として、薄暗い照明条件などによる514での不十分な照明の識別に応答して、露出設定を調整して、露出を増加させることができる。さらに別の例として、明るい照明条件などによる520でのヒストグラム上の反射ノイズの識別に応答して、露出設定を調整して、露出を減らすことができる。さらに、いくつかの例では、露出設定は、それに加えてまたはその代わりに露出ブラケットを含むことができ、選択された露出設定は、同じ取得でより低い露出設定およびより高い露出設定で自動的に取り込まれる追加の画像をもたらす。
531において、カメラ座標から世界座標への変換は、シーン内の対象物の位置がカメラの位置とは無関係に(例えば、世界座標系における点[x、y、z]の位置に基づいて)記述され得るように実行され得る。一実施形態では、カメラから世界座標への変換は、以下によって与えられ得る。
Figure 2021121092
ここで、第1の行列は世界座標での対象物の座標点、第2の行列はカメラ座標での同じ対象物の座標点、Rは回転行列、Tは変換行列である。外因性パラメータRおよびTは、カメラの較正中に取得することができる。
532で、生の3D点群は、深度カメラから取り込まれた画像を使用して生成され得る。生の3D点群は、3D世界座標系によって定義されたデータ点の集まりを指す。一実施形態では、深度カメラは、変調された光源でシーン(例えば、スキャンテーブル上の患者)を照らし、カメラ内に配置されたToFセンサを使用して反射光を観察して、生の3D点群を生成することができる。別の実施形態では、コンピューティングデバイスは、ステレオカメラ画像から生の3D点群データを抽出することができる。例えば、アルゴリズムを取り込まれた一対のステレオ画像に適用して、左右の画像の一致する特徴間の不一致に基づいて生の3D点群を生成することができる。
534で、等値面ボリューム抽出を532で生成された生の3D点群に対して実行して、患者の形状/向き/姿勢を検出することができる。等値面は、空間のボリューム内の一定値の点を表す表面であるため、生の3D点群から3D患者構造を抽出することができる。これは、深度フレーム/画像の露出不足によるホールまたは深度情報の損失を特定するために実行される。さらに、フィルタリング操作の前に患者の生の形状を抽出することによって、患者の周囲および可能な患者の動きに関するデータが検出され、536でその後のフィルタリングに使用され得る。等値面は、コンピューティングデバイスに実行可能命令として格納されているアルゴリズムを使用して決定され得る。一実施形態では、アルゴリズムは、各データ点を、立方体または四面体などのいくつかの幾何学的基本要素の頂点とみなして、ボリュームのボクセル表現を使用することができる。これらの基本要素またはセルは、ボリュームを細分化し、等値面を計算するための有用な抽象化を提供する。例えば、等値面ボリュームは、深度フレームまたは深度値を3D点群またはメッシュモデルに変換することによって抽出され得る。フレームは、頂点シェーダとマーチングキューブアルゴリズムを使用してポリゴンを3D点群データに適合させることにより、x、y、z方向の寸法を有する3Dボリューム等値面表現に変換できる。このレンダリング手法は、3D世界座標で患者の形状に適合して再構築する。別の実施形態では、等値面は、幾何学的分解技術とスパン空間アルゴリズムの両方の側面を組み合わせたアルゴリズムを使用して抽出することができる。
536で、ボクセルフィルタリングを実行して、3D点群の密度を低減し、その後の計算プロセスを高速化することができる(例えば、3D患者構造推定の生成は、100ミリ秒未満でできる)。一実施形態では、ボクセルグリッドフィルタを使用して、全体として入力点群を正確に表す少数の点を有する処理された点群を返すことができる。ボクセルグリッドフィルタは、クラウド内の点の空間平均を取得することによってデータをダウンサンプリングし、各次元に沿ってボクセルサイズを設定することによってサブサンプリングレートを調整する。各ボクセルの境界内にあるすべての点は、そのボクセルに割り当てられ、1つの出力点(例えば点クラスタリング)に結合される。別の実施形態では、パススルーフィルタを適用して、処理された点群を生成することができる。パススルーフィルタは、指定されたフィールドの外側にあるすべての点だけでなく、非有限点を削除する制約を介して入力点を通過させる。
538で、処理済3D点群は、関心のある点のみがシーン内に維持されるようにセグメント化され得る。テーブルおよびテーブル上に配置された患者の身体を含む、本明細書の関心のある点。セグメンテーションは、点群を類似したプロパティを有する複数の均一な領域にグループ化するプロセスである(例えば、同じ表面または領域に属する点に同じラベルが付けられるように、点群の各測定値にラベルを付ける)。対象物の認識と分類のプロセスは、これらの領域にラベルを付けるステップである。対象物を抽出して分類すると、ノイズおよび不要な対象物を除去することが可能になる。例えば、対象物認識および分類と組み合わせたセグメンテーションを使用して、図6に関してさらに説明するように、救命装置などのテーブルを取り巻く機器に相関する処理済3D点群内の点を除去することができる。シーンからセグメント化される可能性のあるスキャンルーム内の他の対象物には、椅子、ベンチ、棚、カート、および/または他の様々な医療機器が含まれ得る。
一実施形態では、エッジベースのセグメンテーションアルゴリズムを使用して、処理済3D点群からノイズおよび不要な対象物を除去することができる。エッジベースのセグメンテーションアルゴリズムには、2つの主要な段階があり、それは、異なる領域の境界の輪郭を描くエッジ検出と、それに続く最終的なセグメントを与える境界内の点のグループ化である。エッジは、局所的表面プロパティの変化が特定のしきい値を超える点によって定義される。別の実施形態では、セグメンテーションは、人工対象物の幾何学的基本要素(例えば、平面、シリンダ、球)への分解に基づくモデルフィッティングアルゴリズムによって実行され得る。例えば、モデルフィッティングアルゴリズムは、最小のデータ点をランダムに描画して候補の形状基本要素を構築することにより、形状を抽出することができる。候補形状は、データセット内のすべての点に対してチェックされ、最適を表す点の数の値が決定される。
540で、処理済3D点群の後処理を実行して、3D患者構造推定に悪影響を与える可能性のある不要な点およびノイズをさらに洗練することができる。後処理のためのパラメータは、524で決定された反射領域および非反射領域に基づいて設定することができる(図4Aを参照)。一実施形態では、後処理は、様々な属性(例えば、法線、色、強度、形状)に関してスーパーボクセルと呼ばれる均質なセグメントに点をグループ化することによって点群をオーバーセグメント化するスーパーボクセル化によって実行され得る。スーパーボクセル化は、点を3Dグリッドにグループ化する通常の(規則的な間隔の)ボクセル化で開始することができ、次に、各ボクセルについて、同様の属性を有する隣接する点が繰り返しクラスタ化され、不規則な形状のスーパーボクセルが形成される。別の実施形態では、スーパーボクセル化は、固定幅ボックス、またはより一般的には八分木データ構造を有する空間の3Dグリッド細分割を使用することによって、ユークリッドクラスタリングと組み合わせて実行されてもよい。
542で、後処理済3D点群を生の3D点群の上にオーバーレイすることができ、ハウスドルフ距離を使用して両方の点群の間のオフセットが決定される。ハウスドルフ距離は、モデルセットの各点が画像セットのある点の近くにある範囲を測定する。その逆も同様である。したがって、この距離を使用して、互いに重ね合わされた2つの対象物間の類似度を決定することができる。例えば、後処理された点群はモデルセットとして表示され、532で生成された生の3D点群は画像セットとして表示され、2つの間のオフセットは、コンピューティングデバイスの非一時的なメモリに格納されたアルゴリズムを用いてハウスドルフ距離に基づいて決定される。
544で(図4Dを参照)、方法500は、542で決定されたハウスドルフ距離の最大値が、x、y、およびz方向(例えば、患者のx、y、およびz軸)のいずれかで1より大きいかどうかを決定する。決定されたハウスドルフ距離がゼロに近いほど、2つの点群は互いに似ている。あるいは、決定された最大値がx、y、z方向のいずれかで1より大きい場合は、深度カメラの較正に関連する深度誤差を示している可能性がある。
ハウスドルフ距離が1以下の場合には、方法500は556まで継続することができ、図9に関して以下でさらに説明されるように、後処理された点群を使用して、スキャン結果予測、スキャン範囲オーバーレイ、およびスキャンランドマーキングを実行することができる。方法500はその後終了することができる。
ハウスドルフ距離が1より大きい場合には、方法500は548に進み、深度誤差を解決するために固有のカメラ較正を実行することができる。深度カメラが再較正されると、方法500は550で続行され得、そこで新しい深度フレームが取り込まれ、504から始まるワークフローを繰り返すことによって新しい生の3D点群および後処理済3D点群を生成するために使用され得る。
552で、方法500は、新しい後処理済3D点群と前の深度フレームの生の3D点群との間のオフセットを決定することによって、患者の動きをチェックすることができる。オフセットとは、以前の深度フレームを取得してから新しい(例えば、現在取得された)深度フレームを取得する間に発生した患者の位置の変化を指す。オフセットは、新しい後処理済3D点群を生の3D点群(方法500で取得された第1の深度フレームから532で生成される)にオーバーレイし、前述の542で説明したハウスドルフ距離を使用して決定することができる。
554で、方法500は、552で決定されたオフセットが、x、y、およびz方向のいずれかにおいて1より大きいかどうかを決定することができる。オフセットが1以下の場合には、患者が動いていないことを示している可能性があり、方法500は556に進み、後処理された点群を使用してスキャン結果予測、スキャン範囲オーバーレイ、およびスキャンランドマーキングを実行することができ、そして方法500は終了することができる。
オフセットが1より大きい場合には、それは患者の動きが発生したことを示すことができ、方法500は558に続き、技師は、患者の位置を変え、向きを変えるように警告され得る。警告は、554で決定されたオフセットが1より大きいことに応答してコンピューティングデバイスによって発行される通知であってもよい。方法500はその後終了することができる。例えば、方法500は、技師が患者を再配置および再配向して、患者の動き/運動に関連する不一致を解決した後に、繰り返され得る。
方法500の実施は、深度カメラの露出設定およびスキャン室内の照明条件とは無関係に、全範囲の深度情報を含む患者構造の3D点群の抽出を可能にすることができる。図5は、深度フレームが取り込まれ、その後に、患者構造の3D点群を生成するために使用され得る可変スキャンルーム条件のいくつかの例示的な表現600を示している。患者の2D画像が第1列602に示され、2D画像から決定された階調深度画像が第2列604に示され、階調深度画像から決定された患者の3D点群が第3列606に示されている。各行は、様々な照明条件で取得されたデータを表す。例えば、第1の照明条件からの2D画像、階調深度画像、および3D点群は、第1行608に示されており、第2の照明条件の2D画像、階調深度画像、および3D点群は、第2行610に示されており、第3の照明条件の2D画像、階調深度画像、および3D点群は第3行622に示されており、第4の照明条件の2D画像、階調深度画像、および3D点群は第4行624に示されている。
第1行608に示す第1の照明条件は、スキャンルーム内のすべてのライトがオンであり(例えば、明るい照明条件)、深度カメラの自動露出がオンである条件を含む。これにより、2D画像(第1列602)に示すように、スキャンテーブル上の患者の両側に高反射の領域612が生じる。高反射のこれらの領域は、第1行608の第2列604に示すように、階調深度画像の深度情報の損失をもたらす。深度情報の損失、または深度ホールは、フレーム全体で黒い領域として表示される。これらの深度ホールは、修正しないと、患者の3D構造の推定が不正確になる可能性がある。例えば、深度ホール616は、第1行608の階調深度画像(第2列604)において、患者のふくらはぎの外側左側に沿って見ることができる。方法500を使用して、第1行608の3D点群(第3列606)に示すように、深度ホール616を埋めて、患者構造に関連する全範囲の深度情報を含む3D点群を生成することができる。
同様に、第2の照明条件(第2行610)は、スキャンルームが部分的に照明され、深度カメラの自動露出がオフになり、スキャンテーブル上の患者の左側の床に高反射の領域618が生じる条件を含む(第1列602の2D画像を参照)。高反射の領域618は、第2行610の階調深度画像(第2列604)における患者の膝の左外縁への深度ホール620などの深度情報の損失を引き起こす可能性がある。図4A〜図4Dに関して説明した方法500を使用して、完全な3D点群(第3列606)が、第2の照明条件(第2行610)に対して依然として生成され得る。
第3の照明条件(第3行622)には、スキャンルームの薄暗い照明が含まれ、深度カメラの自動露出がオンになっている。薄暗い照明のため、高反射の領域は2D画像(第1列602)に存在しない。さらに、結果として得られる階調深度画像(第2列604)には、感知できるほどのホールはない。したがって、階調深度画像は、第1および第2の照明条件と比較して、第3の照明条件(第3行622)の3D点群(第3列606)を生成する際に低減された修正および処理を受けることができる。
第4の照明条件(第4行624)には、スキャンルームに照明がなく、深度カメラの自動露出がオフになっている。しかしながら、不十分な照明であっても、結果として得られる階調深度画像(第2列604)には、欠落した深度情報のホールがない。例えば、階調深度画像のヒストグラムは、第3列606に示す3D点群を生成するために調整され得る。したがって、図4A〜図4Dの方法500を使用して、取り込まれた画像自体の特徴(不十分な照明、高反射など)に従って取り込まれた画像を処理することによって、異なる照明条件下で異なる深度カメラ設定で患者構造の3D点群を正確に生成することができる。
図6は、方法500で生成された処理済3D点群が、関心のある点のみがシーン内に維持されるようにセグメント化され得る方法の例700を示している。非限定的な例として、シーンのビュー702は、患者が配置されているテーブルを取り囲む医療機器708を示している。シーンの熱画像704が取り込まれると、対象物の認識および分類を使用して、熱画像704内の医療機器708を識別することができる。医療機器708が認識および分類されると、図4Cに関して前述したように、それはセグメント化され得、その結果、その後生成される3D点群706は、スキャンテーブル上の患者の向き、姿勢、および位置に関する情報のみを含む。例えば、3D点群706は医療機器708の構造を示さない。
図7は、図4A〜図4Dに提示された方法を使用した薄暗い照明の条件下での3D患者構造決定の例800を示している。患者の検査シーンが部分的に照らされているか、および/または強度の低いライトを使用して照らされている場合、薄暗い照明状態が発生する可能性がある。さらに、2D画像802に示すように、患者は毛布で覆われている。図4A〜図4Dに関して説明した方法500を使用して、毛布で覆われた患者の階調深度画像804(例えば、薄暗い照明条件で)が2D画像802から生成され、次いで、生の3D点群806を生成するために使用され、それから正確にフィルタリングおよび処理済3D点群808を抽出することができる。次に、フィルタリングおよび処理済3D点群808は、オーバーレイ810に示すように、生の3D点群806上にオーバーレイされ得る。次に、オーバーレイ810は、毛布、患者が配置されるテーブル、およびガントリボアを含む、患者の検査シーンの残りの部分から、患者の構造を区別することができるので、オーバーレイ810を使用して、患者からスキャナへの衝突予測、スキャン範囲オーバーレイ、およびスキャンランドマーキングを実行することができる。
図8A〜図8Cは、図4A〜図4Dに関して説明したように、一連の連続画像900として、方法500の様々な態様を示している。図8Aの画像902は、方法500の504で取得され得るスキャンテーブル上に配置された患者の2D画像である。図8Aの画像904は、方法500の532で深度カメラを使用して取り込まれ得る、画像902に示す患者の深度画像である。図8Aの画像906は、方法500の531で深度カメラのカメラ座標から世界座標への変換を実行するために生成および使用され得る生の3D点群である。図8Aの画像908は、深度カメラから世界座標への変換に続く方法500の532での患者の位置を取り込むことができる生の3D点群である。図8Bの画像910は、方法500の534で画像908に対して等値面ボリューム抽出を実行した後に生成され得る。図8Bの画像912は、3D点群の密度を低減するために方法500の536でボクセルフィルタリングが実行された後の画像910を示している。図8Bの画像914は、方法500の538で不要な領域がセグメント化された後の画像912を示している。図8Bの画像916は、方法500の542での患者の動きまたはカメラ較正に基づいて潜在的なオフセットを決定するために、画像914に示すセグメント化された処理済3D点群とオーバーレイされ得る生の3D点群である。図8Cの画像918、920、922は、医用撮像の前の3D患者構造推定の決定に使用され得る方法500を使用して生成された後処理済3D点群の異なる角度を示す。
上記のように、3D患者構造推定は、スキャン結果予測、スキャン範囲オーバーレイ、およびスキャンランドマーキングに使用することができ、これらはまた、患者が所望のスキャン姿勢にあるかどうかを決定するために使用することができる。したがって、図9は、姿勢予測のために3D患者構造推定を解析するための例示的な方法1000を提供する。一例として、方法1000は、医用撮像の前および/または最中に、図4A〜図4Dの方法500の一部として(例えば、556で)コンピューティングデバイス(例えば、図2のコンピューティングデバイス216)によって実行され得る。例として、CT撮像システムが使用される。このシステムでは、患者はガントリボアに対して移動可能なテーブル上に配置される。
1002で、方法1000は、後処理済3D点群および生の3D点群のオーバーレイを受け取ることを含む。例えば、コンピューティングデバイスは、図4A〜図4Dの方法500を使用して、深度情報にホールを含まない後処理済3D点群が得られるまで、深度カメラの設定を繰り返し調整し、および/または深度カメラによって取り込まれた画像から決定された深度フレームを修正することができる。
1004で、方法1000は、後処理済3D点群から患者の形状および患者の姿勢を決定することを含む。この例では、患者の姿勢には、テーブル上の患者の位置と向きの両方が含まれている。例えば、後処理済3D点群を使用して、患者が最初にガントリに対して頭または足の向きを向いているかどうか、および患者が仰臥位、うつ伏せ、または横向きの位置にあるかどうかを判断できる。さらに、患者の手足の位置(例えば、腕を胸に折りたたむ、右脚を胸に向けて曲げる、左腕をまっすぐにして持ち上げるなど)を決定することができる。一実施形態では、患者の形状および患者の姿勢は、解剖学的ランドマークおよび身体領域に基づいて後処理済3D点群を解析するために、コンピューティングデバイスの非一時的メモリに格納された訓練された分類器を使用して分類され得る。例えば、第1の分類器は、患者の向き(例えば、足または頭を先に)を識別することができ、第2の分類器は、患者の位置(例えば、仰臥位、腹臥位、側臥位)を識別することができ、第3の分類器は、四肢の位置(例えば、両足をまっすぐにし、左腕を胸に折りたたむ)を識別することができ、第4の分類器は、ガントリおよびスキャンテーブルに対する内臓の位置(例えば、心臓がガントリ/スキャンテーブルに関して中心にある)を推定することができる、などである。別の実施形態では、後処理済3D点群は、全体的な制約(例えば、患者の身長、体重、幅)を使用し、かつ身体境界に基づいてさらに定義された各領域内の解剖学的特徴を用いて、身体領域(例えば、頭、胴体)によって解析またはセグメント化され得る。
1006において、方法1000は、決定された患者の姿勢を所望の患者の姿勢と比較することを含む。所望の患者の姿勢は、例えば、使用されるスキャンプロトコル、ならびに試験を実施するための所望の患者の姿勢を指示する、検査の受け取ったCIDに基づいて決定され得る。一例として、決定された患者の姿勢は、前述のように訓練された分類器を使用して分類され、その後に、所望の患者の姿勢を概説するカテゴリ情報と直接比較され得る。そのような例では、決定された患者の姿勢の各カテゴリを、所望の患者の姿勢の対応するカテゴリと比較することができ、一致または不一致を決定することができる。別の例として、それに加えてまたはその代わりに、モデルフィッティングを使用して、決定された患者の姿勢と所望の患者の姿勢との間の粗い位置合わせを実行することができる。例えば、訓練された分類器を使用して決定された輪郭を描かれた身体セグメント(例えば、頭、胴体、骨盤、上肢、下肢)内の主要な解剖学的ランドマークは、所望の患者姿勢のセグメント化された絵画的構造モデルと粗く位置合わせされ得る。
1008において、方法1000は、決定された患者の姿勢が所望の患者の姿勢と一致するかどうかを決定することを含む。一例として、決定された患者姿勢のいずれかのカテゴリが所望の患者姿勢の対応するカテゴリと一致しない場合(例えば、少なくとも1つの不一致が存在する場合)には、決定された患者姿勢が所望の患者姿勢と一致しないと結論付けることができる。あるいは、不一致が存在しない(例えば、決定された姿勢と所望の姿勢との間のすべてのカテゴリが一致する)場合には、決定された患者の姿勢が所望の患者の姿勢と一致すると結論付けることができる。別の例として、それに加えてまたはその代わりに、アルゴリズムは、決定された患者の姿勢と所望の患者の姿勢の粗い位置合わせを解析して、2つの姿勢が一致するかどうかを決定することができる。
決定された患者の姿勢が所望の患者の姿勢と一致しない場合には、方法1000は1014に進み、技師に患者の位置を変え、向きを変えるように警告することを含む。技師は、図2のコンピューティングデバイス216などのコンピューティングデバイス、またはコンピューティングデバイスに通信可能に結合されたユーザディスプレイ(例えば、図2のディスプレイ232)によって発行される通知を介して、患者を再配置および再配向するように警告され得る。例えば、コンピューティングデバイスは、可聴または可視的な警告を出力することができる。警告は、少なくともいくつかの例では、患者の姿勢が所望の姿勢と一致しないことの表示、および患者を再配置するための指示を含むことができる。方法1000はその後終了することができる。
1008に戻って、決定された患者の姿勢が所望の患者の姿勢と一致する場合には、方法1000は1010に進み、テーブル座標に対する患者の形状に基づいてスキャン結果予測を実行することを含む。スキャン結果の予測には、患者とスキャンテーブルがボアに移動したときに潜在的な患者とガントリの接触が発生する可能性があるかどうかを判断すること、およびスキャン開始後の潜在的な接触を予測することを含むことができる。いくつかの例では、スキャン結果の予測は、患者の形状上のスキャンオーバーレイを介してスキャンの開始範囲および終了範囲を識別することをさらに含むことができる。一実施形態では、スキャン結果予測は、決定された患者構造推定(例えば、患者の形状と姿勢)を使用して、決定された患者位置のいくつの点がボアの境界を超えているか、およびいくつがボアの境界内にあるかを決定するアルゴリズムを入力として使用して実行され得る。
1012で、スキャン問題が予測されたかどうかが決定される。スキャン問題は、スキャンが開始されると患者とガントリボアが物理的に接触する患者の位置を含むことができる。スキャン問題は、それに加えてまたはその代わりに、スキャンオーバーレイ上のスキャンの開始範囲と終了範囲が試験のCIDと一致していないことを含むことができる。例えば、患者が正しい姿勢で配置されている場合でも、例えば、手足の位置を少し調整すると、関心のある解剖学的構造の画像がより鮮明になる場合がある。スキャン問題が予測される場合には、方法1000は1014に進み、上記のように、患者を再配置および再配向するように技師に警告することを含む。スキャン問題が予測されない場合には、方法1000は1016に進み、患者スキャンプロトコルを開始することを含む。方法1000はその後終了することができる。
このようにして、患者構造の解析が患者が適切に配置されていると結論付けたら、患者スキャンを開始することができる。患者構造は、深度画像を修正すること、および/または深度カメラ設定を調整することによって深度ホールが補償される深度カメラからのデータを使用して決定することができる。結果として、患者の撮像の精度が向上し、スキャンの拒否および繰り返しの発生率が低下し、それによって診断を行うことができるまでの時間が短縮され得る。さらに、患者の構造は、同じ精度を高めて、可変照明条件下で決定することができる。
医用撮像システムのテーブル上に配置された患者の深度画像に動的修正を適用することの技術的効果は、患者の姿勢推定の精度が向上し、それにより、患者がスキャンに必要な姿勢をとることを確実にすることで、医用撮像システムによるスキャンの精度が向上することである。
本明細書で使用する場合、単数形で列挙され、「1つの(a)」または「1つの(an)」という単語に続けられる要素またはステップは、除外することが明示的に述べられない限り、複数の前記要素またはステップを除外しないと理解されたい。さらに、本発明の「一実施形態」への言及は、列挙された特徴をも組み込む追加の実施形態の存在を除外するものとして解釈されることを意図しない。さらに、明示的に反対の記載がない限り、特定の性質を有する要素または複数の要素を「備える(comprising)」、「含む(including)」、または「有する(having)」実施形態は、その性質を有さない追加のそのような要素を含むことができる。「含む(including)」および「ここで(in which)」という用語は、それぞれの用語「備える(comprising)」および「ここで(wherein)」の平易な言葉での同等物として使用される。さらに、「第1の」、「第2の」、および「第3の」などの用語は、単にラベルとして使用され、それらの対象物に数値的要件または特定の位置的順序を課すことを意図しない。
本明細書は、本発明を最良の態様を含めて開示すると共に、あらゆる装置またはシステムの製作および使用ならびにあらゆる関連の方法の実行を含む本発明の実施を当業者にとって可能にするために、実施例を使用している。本明細書で提供される実施例は医療用途に関連しているが、本開示の範囲は、産業、生物医学、および他の分野での非破壊試験をカバーする。本発明の特許可能な範囲は、特許請求の範囲によって定義されると共に、当業者に想起される他の実施例を含んでもよい。そのような他の実施例は、それらが特許請求の範囲の文言から相違しない構造要素を有する場合、または特許請求の範囲の文言から実質的には相違しない同等の構造要素を含む場合、特許請求の範囲の技術的範囲に包含される。
100 CT撮像システム
102 ガントリ
104 X線放射源
106 X線ビーム、ビームX線
108 検出器アレイ
110 画像処理ユニット
112 被験者
114 深度カメラ
115 テーブル
116 天井
200 撮像システム
202 検出器素子
206 回転中心
208 制御機構
210 X線コントローラ
212 ガントリモータコントローラ
214 データ収集システム(DAS)
215 カメラ画像データプロセッサ
216 コンピューティングデバイス
218 記憶装置
220 オペレータコンソール
224 画像保管通信システム(PACS)
226 テーブルモータコントローラ
228 テーブルモータ
230 画像再構築器
232 ディスプレイ
400 アルゴリズム
500 方法
600 表現
602 第1列
604 第2列
606 第3列
608 第1行
610 第2行
612 高反射の領域
616 深度ホール
618 高反射の領域
620 深度ホール
622 第3行
624 第4行
700 方法の例
702 ビュー
704 熱画像
706 3D点群
708 医療機器
800 3D患者構造決定の例
802 2D画像
804 階調深度画像
806 生の3D点群
808 処理済3D点群
810 オーバーレイ
900 連続画像
902〜922 画像
1000 方法

Claims (20)

  1. 医用撮像システム(100、200)のための方法(500、1000)であって、
    深度カメラ(114)を介して前記医用撮像システム(100、200)のテーブル(115)上に配置された患者の深度画像を取得すること(504)と、
    前記深度画像からのヒストグラムデータに基づいて前記深度画像を修正することと、
    前記修正された深度画像に基づいて前記患者の3次元構造を抽出することと、
    を含む方法(500、1000)。
  2. 前記患者の前記抽出された3次元構造から前記患者の姿勢を決定すること(1004)と、
    前記患者の前記決定された姿勢を所望の患者の姿勢と比較すること(1006)と、
    前記患者の前記決定された姿勢が前記所望の患者の姿勢と一致しないことに応答して警告を出力すること(1014)と、
    をさらに含む、請求項1に記載の方法(500、1000)。
  3. 前記テーブル(115)はガントリボアに対して移動可能であり、前記方法(500、1000)は、
    前記患者の前記抽出された3次元構造から前記患者の形状を決定すること(1004)と、
    前記テーブル(115)の座標に対する前記患者の前記決定された形状に基づいてスキャン予測を実行すること(1010)と、
    前記スキャン予測が前記ガントリボアと患者との間の接触を示すことに応答して警告を出力すること(1014)と、
    をさらに含む、請求項1に記載の方法(500、1000)。
  4. 前記深度画像からの前記ヒストグラムデータに基づいて前記深度画像を修正することは、照明係数(CoIV)ベースの修正を実行することを含み、前記患者のカラー画像からのヒストグラムデータにさらに基づく、請求項1に記載の方法(500、1000)。
  5. 前記CoIVベースの修正を実行することは、
    前記深度画像と前記カラー画像との両方からの結合ヒストグラムデータの標準偏差、および前記結合ヒストグラムデータのCoIVを決定すること(513)と、
    前記結合ヒストグラムデータの前記CoIVが前記結合ヒストグラムデータの前記標準偏差よりも大きいことに応答して、前記深度カメラ(114)の自動露出設定をオフにすること(517)と、
    前記結合ヒストグラムデータの前記CoIVが前記結合ヒストグラムデータの前記標準偏差よりも大きくないことに応答して、前記深度カメラ(114)の前記自動露出設定をオンにすること(519)と、を含み、前記自動露出設定は、前記結合ヒストグラムデータの前記CoIV、前記結合ヒストグラムデータの前記標準偏差、および前記深度画像の座標を前記テーブル(115)の座標に関連付けるスケール係数に基づいて調整される、請求項4に記載の方法(500、1000)。
  6. 前記深度画像からの前記ヒストグラムデータに基づいて前記深度画像を修正することは、ブラケット露出深度撮像(BEDI)修正を実行することを含む、請求項1に記載の方法(500、1000)。
  7. 前記BEDI修正を実行することは、前記ヒストグラムデータの均等化を実行すること(516)、前記深度画像の反射領域の許容レベルを決定すること(524)、および前記深度カメラ(114)の露出設定を調整すること(530)のうちの少なくとも1つを含む、請求項6に記載の方法(500、1000)。
  8. 前記ヒストグラムデータの前記均等化を実行すること(516)は、前記ヒストグラムデータに基づいて前記深度画像の不十分な照明を識別することに応答し、前記深度画像の前記反射領域の前記許容レベルを決定すること(524)は、前記ヒストグラムデータに基づいて前記深度画像の反射ノイズを識別することに応答し、前記深度カメラ(114)の前記露出設定を調整すること(530)は、前記ヒストグラムデータの現在の強度値および現在の露出設定に基づく、請求項7に記載の方法(500、1000)。
  9. 前記修正された深度画像に基づいて前記患者の前記3次元構造を抽出することは、
    前記修正された深度画像から3次元点群を生成すること(532)と、
    前記患者の前記3次元構造を抽出するために、前記3次元点群の等値面ボリューム抽出を実行すること(534)と、
    を含む、請求項1に記載の方法(500、1000)。
  10. 前記3次元点群は生の3次元点群(806)であり、前記方法(500、1000)は、
    前記取得した深度画像内の他の対象物から前記患者の前記3次元構造を分離するために、ボクセルフィルタリングおよびセグメンテーションを介して前記生の3次元点群(806)を処理すること(536、538)と、
    前記処理された3次元点群(808)を前記生の3次元点群(806)にオーバーレイすること(542)と、
    ハウスドルフ距離を使用して、前記処理された3次元点群と前記生の3次元点群との間のオフセットを決定すること(542)と、
    前記ハウスドルフ距離が1より大きいことに応答して、深度誤差を示し、前記患者の新しい深度画像を取得する前に前記深度カメラ(114)の較正を調整すること(548)と、
    をさらに含む、請求項9に記載の方法(500、1000)。
  11. 医用撮像システム(100、200)のための方法(500、1000)であって、
    取得された画像からのヒストグラムデータに基づいて患者検査シーンの画像を取得するように配置された深度カメラ(114)の露出モードおよびゲインを調整することと、
    前記取得した画像に基づいて、前記患者検査シーンにおける患者の3次元構造を決定することと、
    を含む方法(500、1000)。
  12. 前記患者の前記決定された3次元構造から前記患者の姿勢および形状を決定すること(1004)と、
    前記患者の前記決定された姿勢を所望の患者の姿勢と比較すること(1006)と、
    前記患者検査シーンに対する前記患者の前記決定された形状に基づいて、検査問題が発生するかどうかを予測すること(1010)と、
    前記患者の前記決定された姿勢が前記所望の患者の姿勢と一致しないこと、および予測された前記検査問題の少なくとも1つに応答して、警告を出力すること(1014)と、
    をさらに含む、請求項11に記載の方法(500、1000)。
  13. 前記深度カメラ(114)の前記露出モードおよび前記ゲインを調整することは、前記ヒストグラムデータのピークの分布に基づいて、自動露出がオンである第1のモードと自動露出がオフである第2のモードとの間で前記露出モードを調整することを含む、請求項11に記載の方法(500、1000)。
  14. 前記ヒストグラムデータの前記ピークの分布に基づいて前記第1のモードと前記第2のモードとの間で前記露出モードを調整することは、
    照明変動係数(CoIV)および前記ヒストグラムデータの前記ピークの分布の標準偏差を決定することと、
    前記CoIVが前記標準偏差よりも大きいことに応答して、前記露出モードを前記第1のモードに調整し、前記CoIVに基づいて前記ゲインを設定することと、
    前記CoIVが前記標準偏差を超えていないことに応答して、前記露出モードを前記第2のモードに調整することと、
    を含む、請求項13に記載の方法(500、1000)。
  15. 前記取得された画像からの前記ヒストグラムデータに基づいて、前記深度カメラ(114)の前記露出モードおよび前記ゲインを調整することは、
    前記ヒストグラムデータに基づいて、前記取得した画像の各々の階調範囲および階調バランスを決定することと、
    前記階調範囲および前記階調バランスの強度値に基づいて、前記取得した画像の露出過多および露出不足の領域を識別することと、
    前記露出過多および露出不足の領域を補償するために、前記強度値に基づいて前記露出モードおよび前記ゲインを調整することと、
    を含む、請求項11に記載の方法(500、1000)。
  16. 内部の中央に配置されたボアを有する回転可能なガントリ(102)と、
    前記ボア内で移動可能であり、前記ボア内で画像データ取得のために被験者(112)を配置するように構成されたテーブル(115)と、
    前記ボアに入る前に前記テーブル(115)上の前記被験者(112)の画像を取得するように配置されたカメラ(114)と、
    実行可能命令を非一時的メモリに格納するコンピューティングデバイス(216)と、を含み、前記実行可能命令は、実行された場合に、前記コンピューティングデバイス(216)に対して、
    前記カメラ(114)から前記テーブル(115)上の前記被験者(112)の画像を受け取らせ、
    前記受け取った画像からのヒストグラムデータに基づいて、前記受け取った画像の照明条件を識別させ、
    前記識別された照明条件に基づいて、前記受け取った画像を修正させ、
    前記修正された画像に基づいて、前記テーブル(115)上の前記被験者(112)の姿勢を識別させ、
    前記被験者(112)の前記姿勢が前記画像データ取得のための所望の姿勢から外れていることに応答して、警告を出力させる、システム(100、200)。
  17. 前記照明条件は、薄暗い照明および明るい照明の少なくとも一方を含み、前記識別された照明条件に基づいて前記コンピューティングデバイス(216)に対して前記受け取った画像を修正させる前記命令は、非一時的メモリに格納されたさらなる命令を含み、前記さらなる命令は、実行された場合に、前記コンピューティングデバイス(216)に対して、
    識別された薄暗い照明に応答して、前記受け取った画像の露出不足の領域を識別させ、
    識別された明るい照明に応答して、前記受け取った画像の反射領域を識別させる、請求項16に記載のシステム(100、200)。
  18. 前記コンピューティングデバイス(216)は、非一時的メモリに格納されたさらなる命令を含み、前記さらなる命令は、実行された場合に、前記コンピューティングデバイス(216)に対して、
    薄暗い照明が識別されたことに応答して、前記カメラ(114)の露出設定を増加させ、
    前記増加された露出設定で動作する間に、前記カメラ(114)から受け取った新しい画像に基づいて、前記受け取った画像の前記露出不足の領域を修正させる、請求項17に記載のシステム(100、200)。
  19. 前記コンピューティングデバイス(216)は、非一時的メモリに格納されたさらなる命令を含み、前記さらなる命令は、実行された場合に、前記コンピューティングデバイス(216)に対して、
    明るい照明が識別されたことに応答して、前記カメラ(114)の露出設定を減少させ、
    前記減少された露出設定で動作する間に、前記カメラ(114)から受け取った新しい画像に基づいて、前記受け取った画像の前記反射領域を修正させる、請求項17に記載のシステム(100、200)。
  20. 前記コンピューティングデバイス(216)に対して、前記修正された画像に基づいて前記テーブル(115)上の前記被験者(112)の前記姿勢を識別させる前記命令は、非一時的メモリに格納されたさらなる命令を含み、前記さらなる命令は、実行された場合に、前記コンピューティングデバイス(216)に対して、
    前記修正された画像から前記テーブル(115)上の前記被験者(112)の3次元点群を生成させ、
    前記3次元点群から前記テーブル(115)上の前記被験者(112)の構造を抽出させ、
    前記テーブル(115)上の前記被験者(112)の前記姿勢を識別するために、前記テーブル(115)上の前記被験者(112)の前記構造を姿勢分類器と比較させる、請求項16に記載のシステム(100、200)。
JP2020215653A 2019-12-30 2020-12-24 医用撮像中の患者構造推定のためのシステムおよび方法 Active JP7135064B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/730,694 US11276166B2 (en) 2019-12-30 2019-12-30 Systems and methods for patient structure estimation during medical imaging
US16/730,694 2019-12-30

Publications (2)

Publication Number Publication Date
JP2021121092A true JP2021121092A (ja) 2021-08-19
JP7135064B2 JP7135064B2 (ja) 2022-09-12

Family

ID=76546414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020215653A Active JP7135064B2 (ja) 2019-12-30 2020-12-24 医用撮像中の患者構造推定のためのシステムおよび方法

Country Status (3)

Country Link
US (1) US11276166B2 (ja)
JP (1) JP7135064B2 (ja)
CN (1) CN113116367A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023190510A1 (ja) * 2022-03-30 2023-10-05 京セラ株式会社 データ処理装置、ロボット制御システム及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
JP7410619B2 (ja) * 2019-10-31 2024-01-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11694333B1 (en) * 2020-02-05 2023-07-04 State Farm Mutual Automobile Insurance Company Performing semantic segmentation of 3D data using deep learning
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11418719B2 (en) 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) * 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11540801B2 (en) * 2020-10-27 2023-01-03 Shanghai United Imaging Intelligence Co., Ltd. Automating a medical environment
TWI802827B (zh) * 2020-12-01 2023-05-21 財團法人國家實驗研究院 校正異常點雲資料之方法
EP4148692A1 (en) * 2021-09-09 2023-03-15 Koninklijke Philips N.V. Camera based detection of subject position
CN113975661B (zh) * 2021-11-16 2024-03-01 神州医疗科技股份有限公司 一种监控治疗设备的质控方法、装置、系统及存储介质
JP2023098344A (ja) * 2021-12-28 2023-07-10 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像診断システム及びスキャン範囲の設定方法
US11937970B2 (en) * 2022-05-05 2024-03-26 GE Precision Healthcare LLC System and method for calibrating a camera feature detection system of an x-ray system
US11887230B1 (en) * 2023-06-02 2024-01-30 Dell Products L.P. Method, device, and computer program product for generating data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201668A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2017056775A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 プロジェクションマッピング装置
US20170112460A1 (en) * 2014-06-30 2017-04-27 Agfa Healthcare Nv Method and system for configuring an x-ray imaging system
JP2017164424A (ja) * 2016-03-18 2017-09-21 国立大学法人広島大学 治療支援システム、治療支援システムの動作方法及び治療支援プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
US7869562B2 (en) 2008-05-19 2011-01-11 Siemens Aktiengesellschaft Automatic patient positioning system
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
DE102013220665A1 (de) 2013-10-14 2015-04-16 Siemens Aktiengesellschaft Bestimmung eines Werts eines Aufnahmeparameters mittels einer anatomischen Landmarke
US9524582B2 (en) 2014-01-28 2016-12-20 Siemens Healthcare Gmbh Method and system for constructing personalized avatars using a parameterized deformable mesh
US10331850B2 (en) 2014-01-28 2019-06-25 Siemens Healthcare Gmbh Estimating body surface models of patients
US9782152B2 (en) * 2014-08-18 2017-10-10 Vanderbilt University Method and system for real-time compression correction for tracked ultrasound and applications of same
US10163195B2 (en) 2014-12-12 2018-12-25 Andrew Berlin Spatio-temporal differential synthesis ofdetail images for high dynamic range imaging
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9900584B2 (en) 2016-04-27 2018-02-20 Semyon Nisenzon Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
US10097793B2 (en) 2016-07-14 2018-10-09 Intel Corporation Method and system of depth data filling of shadows for image processing
CN109741405B (zh) 2019-01-21 2021-02-02 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170112460A1 (en) * 2014-06-30 2017-04-27 Agfa Healthcare Nv Method and system for configuring an x-ray imaging system
JP2016201668A (ja) * 2015-04-09 2016-12-01 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2017056775A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 プロジェクションマッピング装置
JP2017164424A (ja) * 2016-03-18 2017-09-21 国立大学法人広島大学 治療支援システム、治療支援システムの動作方法及び治療支援プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023190510A1 (ja) * 2022-03-30 2023-10-05 京セラ株式会社 データ処理装置、ロボット制御システム及びプログラム

Also Published As

Publication number Publication date
JP7135064B2 (ja) 2022-09-12
US11276166B2 (en) 2022-03-15
US20210201476A1 (en) 2021-07-01
CN113116367A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
JP7135064B2 (ja) 医用撮像中の患者構造推定のためのシステムおよび方法
CN110139607B (zh) 用于患者扫描设置的方法和系统
US9401019B2 (en) Imaging tomosynthesis system, in particular mammography system
JP6172729B2 (ja) 医用画像を運動補正する方法及び装置
JP6368779B2 (ja) トモシンセシスデータからエッジ保存合成マンモグラムを生成するための方法
EP1880362B1 (en) Virtual lesion based quantification
US20060291711A1 (en) Imaging chain for digital tomosynthesis on a flat panel detector
US20100110075A1 (en) Dynamic biplane roentgen stereophotogrammetric analysis
CN105030266A (zh) X射线计算机断层摄影装置以及扫描计划设定支援装置
JP2004121853A (ja) トランケーション補償の方法及び装置
CN104545969A (zh) 借助解剖学标志来确定拍摄参数的值
CN109419526A (zh) 用于数字乳房断层合成中的运动评估和校正的方法和系统
EP3699929A1 (en) Patient weight estimation from surface data using a patient model
JP7451460B2 (ja) マンモグラフィにおけるユーザおよび/または患者の経験の改善のための方法およびシステム
CN113940691A (zh) 用于图像采集的患者定位的系统和方法
CN106413568A (zh) 图像处理装置、图像处理装置的控制方法和存储介质
KR20170025063A (ko) 금속성 인공음영 감소 방법 및 장치
US20220036609A1 (en) X-ray imaging system with foreign object reduction
CN112204607A (zh) 用于x射线成像的散射校正
US12004893B2 (en) Systems and methods for artifact detection for images
EP4190245A1 (en) Quantitative radiographic imaging using a 3d camera
EP4176812A1 (en) Medical device control method and system
Schwaab et al. Image quality in automated breast ultrasound images: a preliminary study for the development of automated image quality assessment
JP2024504867A (ja) 断層撮影スキャンの画像ベースの計画
CN114052754A (zh) 用于对图像进行伪影检测的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210526

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220831

R150 Certificate of patent or registration of utility model

Ref document number: 7135064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150