JP2019053748A - 自動医療画像注釈の検証及び修正のためのシステム及び方法 - Google Patents

自動医療画像注釈の検証及び修正のためのシステム及び方法 Download PDF

Info

Publication number
JP2019053748A
JP2019053748A JP2018205444A JP2018205444A JP2019053748A JP 2019053748 A JP2019053748 A JP 2019053748A JP 2018205444 A JP2018205444 A JP 2018205444A JP 2018205444 A JP2018205444 A JP 2018205444A JP 2019053748 A JP2019053748 A JP 2019053748A
Authority
JP
Japan
Prior art keywords
annotations
annotation
user
task
centerline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018205444A
Other languages
English (en)
Other versions
JP6751427B2 (ja
Inventor
ジェイ. グラディー レオ
J Grady Leo
ジェイ. グラディー レオ
モロー−ゴバルド ロメイン
Moreau-Gobard Romain
モロー−ゴバルド ロメイン
シャープ マイケル
Sharpe Michael
シャープ マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HeartFlow Inc
Original Assignee
HeartFlow Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HeartFlow Inc filed Critical HeartFlow Inc
Publication of JP2019053748A publication Critical patent/JP2019053748A/ja
Application granted granted Critical
Publication of JP6751427B2 publication Critical patent/JP6751427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/468Arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Public Health (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Pulmonology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】自動医療画像注釈の検証及び修正のためのシステム及び方法を提供すること。【解決手段】画像注釈を操作するシステム及び方法が開示される。1つの方法は:個々の解剖学的構造の画像を受取ること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて生成すること、を含む。【選択図】図1B

Description

関連出願
本出願は、2013年9月25日出願された米国仮出願No.61/882,492への優先権を主張し、その全開示は、参照によりその全体が本明細書に組込まれる。
本開示の様々な実施形態は、コンピュータ解析のための正確なモデルを作成することに一般に関連する。より具体的には、本開示の特定の実施形態は、自動画像注釈を操作または検証及び修正するためのシステム及び方法に関する。
自動画像注釈は商用システムで増加する役割を果たしている。具体的には、医療画像コミュニティは、大規模なイメージの自動 解析及び注釈にますます依存している。この自動画像 解析は、患者のケアの決定を行うために使用することができるので、知識の豊富なユーザーが自動化された結果を検証し、(必要であれば)適切に修正するために、重要である。従って、自動画像解析及び注釈の承認または修正を通してユーザーを導く要望が存在する。
本開示の特定の態様によれば、画像注釈を操作するためのシステム及び方法が開示される。1つの方法は:画像注釈を操作するためのシステム及び方法が開示されることを含む。1つの方法は、個々の解剖学的構造の画像を受取ること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて、生成すること、を含む。
別の実施形態によれば、画像注釈を操作するためのシステムは:画像注釈を操作する命令を記憶するデータ記憶装置;及び、以下:個々の解剖学的構造の画像を受取ること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて、生成すること、のために構成されたプロセッサ、を含む。
さらに別の実施形態によれば、画像注釈を操作するコンピュータ実行可能なプログラム命令を含むコンピュータシステムで使用するための、非一時的なコンピュータ可読媒体が提供される。この方法は:個々の解剖学的構造の画像を受取ること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて生成すること、を含む。
本明細書は、例えば、以下の項目も提供する。
(項目1)
画像注釈を操作するコンピュータ実装方法であって:
個々の解剖学的構造の画像を受取ること;
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて、生成すること、を含む方法。
(項目2)
前記ワークフローは、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈を、最大数の依存性から最小数の依存性の順で、提示することを含む、項目1に記載の方法。
(項目3)
前記ワークフローにおいて次の注釈を提示する前に検証要求を指示することをさらに含む、項目2に記載の方法。
(項目4)
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈のサブセットに対する検証要求を指示することをさらに含む、項目1に記載の方法。
(項目5)
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈の前記サブセットを、複数回または複数のユーザーに提示することをさらに含む、項目4に記載の方法。
(項目6)
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈のそれぞれに対して、1つまたは複数の可視化を作成することをさらに含む、項目1に記載の方法。
(項目7)
前記1つまたは複数の可視化に関連したツールに基づいて、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈に対して、1つまたは複数の修正を受けることをさらに含む、項目6に記載の方法。
(項目8)
前記1つまたは複数の修正に関連する、1つまたは複数の従属注釈を決定すること、及び
前記1つまたは複数の修正に基づいて、前記1つまたは複数の従属注釈の再計算を決定すること、をさらに含む、項目7に記載の方法。
(項目9)
画像注釈を操作するためのシステムであって:
画像取得パラメータを識別するための命令を記憶するデータ記憶装置;及び
以下:
個々の解剖学的構造の画像を受取ること;
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて、生成すること、
を含む方法を実行するための命令を実行するように構成されるプロセッサ、を含むシステム。
(項目10)
前記ワークフローは、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を、最大数の依存性から最小数の依存性の順で、提示することを含む、項目9に記載のシステム。
(項目11)
前記システムは、前記ワークフローにおいて次の注釈を提示する前に検証要求を指示すること、のためにさらに構成されている、項目10に記載のシステム。
(項目12)
前記システムは、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈のサブセットに対する検証要求を指示すること、のためにさらに構成されている、項目9に記載のシステム。
(項目13)
前記システムは、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈の前記サブセットを、複数回または複数のユーザーに提示すること、のためにさらに構成されている、項目12に記載のシステム。
(項目14)
前記システムは、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のそれぞれに対して1つまたは複数の可視化を作成すること、のためにさらに構成されている、項目9に記載のシステム。
(項目15)
前記システムは、前記1つまたは複数の可視化に関連したツールに基づいて、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈に対する1つまたは複数の修正を受けとること、のためにさらに構成されている、項目14に記載のシステム。
(項目16)
前記システムは:
前記1つまたは複数の修正に関連する1つまたは複数の従属注釈を決定すること;及び
前記1つまたは複数の修正に基づいて、前記1つまたは複数の従属注釈の再計算を決定すること、
のためにさらに構成されている、項目15に記載のシステム。
(項目17)
画像注釈の操作方法を実行するためのコンピュータ実行可能なプログラム命令を含むコンピュータシステムで使用するための非一時的なコンピュータ可読媒体であって、前記方法は:
個々の解剖学的構造の画像を受取ること;
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する1つまたは複数の注釈を、プロセッサを使用して、自動的に決定すること;
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈のうちの少なくとも2つの間の依存性または階層を決定すること;及び
前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を操作するようにユーザーに指示するワークフローを、前記依存性または階層に基づいて、生成すること、
を含む、非一時的コンピュータ可読媒体。
(項目18)
前記ワークフローは、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する前記1つまたは複数の注釈を、最大数の依存性から最小数の依存性の順で提示することを含む、項目17に記載の非一時的コンピュータ可読媒体。
(項目19)
前記方法は、前記ワークフローにおいて次の注釈を提示する前に検証要求を指示することをさらに含む、項目18に記載の非一時的コンピュータ可読媒体。
(項目20)
前記方法は、前記個々の解剖学的構造の前記画像で識別された解剖学的特徴に対する、前記1つまたは複数の注釈のサブセットに対する検証要求を指示することをさらに含む、項目17に記載の非一時的コンピュータ可読媒体。
開示された実施形態のさらなる目的及び利点は、以下の説明において部分的に記載され、一部は説明から明らかであろうように、または開示された実施形態の実施によって知ることができる。開示された実施形態の目的及び利点は、添付の特許請求の範囲に具体的に指摘される要素及び組合せの手段によって実現され達成されるであろう。
前述の一般的説明及び以下の詳細な説明の両方は、例示及び説明のみのものであり、特許請求されるように、開示された実施形態を限定するものではないことが理解されるべきである。
図1Aは、本開示の例示的な実施形態に係る、画像注釈を操作するための、特に自動画像注釈の検証及び修正における、例示的なシステム及びネットワークのブロック図である。 図1Bは、本開示の例示的な実施形態に係る、自動画像注釈の検証及び修正のための例示的な方法のブロック図である。 図1Cは、本開示の例示的な実施形態に係る、自動画像注釈の検証及び修正のための例示的な方法の別のブロック図である。 図1Dは、本開示の例示的な実施形態に係る、自動画像注釈の検証及び修正のための例示的な一連の依存性の図である。 図2は、本開示の例示的な実施形態に係る、例示的なレッドフラッグタスクのブロック図である。 図3Aは、本開示の例示的な実施形態に係る、例示的な大動脈タスクのブロック図である。 図3Bは、本開示の例示的な実施形態に係る、大動脈検査モードの表示である。 図3Cは、本開示の例示的な実施形態に係る、大動脈編集モードの表示である。 図3Dは、本開示の例示的な実施形態に係る、大動脈作成モードの表示である。 図4Aは、本開示の例示的な実施形態に係る、例示的なランドマークタスクのブロック図である。 図4Bは、本開示の例示的な実施形態に係る、ランドマークモードの表示である。 図5Aは、本開示の例示的な実施形態に係る、例示的な心筋タスクのブロック図である。 図5Bは、本開示の例示的な実施形態に係る、心筋検査モードの表示である。 図5Cは、本開示の例示的な実施形態に係る、心筋編集モードの表示である。 図5Dは、本開示の例示的な実施形態に係る、心筋作成モードの表示である。 図6Aは、本開示の例示的な実施形態に係る、例示的な中心線タスクのブロック図である。 図6Bは、本開示の例示的な実施形態に係る、中心線モードの表示である。 図6Cは、本開示の例示的な実施形態に係る、中心線標識化モードの表示である。 図7Aは、本開示の例示的な実施形態に係る、例示的な内腔タスクのブロック図である。 図7Bは、本開示の例示的な実施形態に係る、内腔モードの表示である。 図8Aは、本開示の例示的な実施形態に係る、例示的なファイナライズタスクのブロック図である。 図8Bは、本開示の例示的な実施形態に係る、ファイナライズモード820の表示である。 図9は、本開示の例示的な実施形態に係る、ナビゲートモード900の表示である。
本開示は、正確なモデル、例えば、コンピュータ解析の準備におけるモデルの作成を容易にすることに関する。具体的には、本開示はガイドつきワークフローを含むことができ、それによって、ユーザーはモデルを検証するために複数のステップを行うことができる。例えば、本開示の実施形態は、心臓の血流のモデリングとシミュレーションに使用されるセグメンテーションの検証を容易にし得る(Taylor,Fonte,&Min,“Computational Fluid Dynamics Applied to Cardiac Computed Tomography for Noninvasive Quantification of Fractional Flow Reserve.”Journal of the American College of Cardiology.2013 June 4;61(22):2233−2241、この開示は、参照により、その全体が本明細書に組込まれる)。そのようなモデリング及びシミュレーションのセグメンテーションは、患者の心臓の患者固有の3D幾何学的モデルを作成するために、心臓のCT画像から非常に正確な画像セグメンテーションを含むことができる。本開示は、自動画像注釈を介してユーザーを案内することができ、従って、患者固有の3Dモデルの検証及び修正においてトレーニングされたユーザーに効率的かつ効果的に構造を提供して、血流シミュレーションの信頼性及びシミュレーション由来の治療の決定の正しさを保証する。プロセスは、アナリストの処理時間を低減し、計算フローリザーブ(FFRct)の結果の精度を維持するかまたは高め、測定されたフラクショナルフローリザーブ(mFFR)の結果の再現性を向上させるように設計されている。
言い換えると、画像を介してユーザーを案内するための方法及びシステムは、アナリストがセグメンテーションの結果(例えば、セグメンテーションから得られる画像注釈)を検査する助けとなり得る。本開示は、画像データセットのセグメンテーションの作成において使用するための、セグメンテーションを検証するユーザーのためのガイドつきワークフローを含む。画像注釈という用語は、一般的に、局在化または標識化を含む画像(2D画像、3D画像またはそれより大きな次元の画像、を含むが、これらに限定されない)における任意の識別または兆候を、表すことができる。例としては以下が含まれる:特定のポイント(ランドマーク)の局在化、直線及び曲線(例えば、直径、中心線)の局在化、2Dの関心領域(2Dセグメンテーション)、3Dの関心領域(3Dセグメンテーション)、n−Dの関心領域(n−Dセグメンテーション)、n−D+時間の関心領域(時間を介して追跡されるn−Dセグメンテーション)または画像の1つ以上の識別された構造またはセクションの標識化/分類(例えば、時系列の各画像に対する標識)またはスコア)。
本開示は、検証においてアナリストを支援するためにワークフローを設計もしくは指示するための、またはアナリストの検証情報の集合的なプールがある場合に、検証の一部を自動化するための、いくつかの方法を含むことができる。
以下の開示では、各セットの注釈は検証「タスク」に関連付けられ得る。例えば、大動脈のセグメンテーション「大動脈タスク」であることができ、小孔のポイントの特定は「ランドマークのタスク」であることができ、左心室の心筋のセグメンテーションは「心筋タスク」中にあることができ、血管の標識化は、「中心線標識化タスク」中に発生することができ、及び血管内腔のセグメンテーションは「セグメンテーションタスク」に対して生じることができる。一実施形態では、本開示のワークフローは、各タスク提示するための順序または順番を含み得る。例えば、タスクは依存性の順序で提示されることができ、ここで他の注釈を支配、または影響を与えることができる注釈は、ワークフローにおいて先に提示され得る。このように、後続の注釈は、それらのそれぞれの支配する注釈の検証または修正に基づいて調整することができる。言い換えると、依存性を有する1つの注釈がレビューでユーザーにより修正される場合、得られる注釈のための自動化されたアルゴリズムは、入力される修正された注釈により再実行され得る。
一実施形態では、本開示のワークフローを含むタスクは、レッドフラッグに対するレビューを指示し、次いで、続いて、例えば、大動脈、ランドマーク、心筋、中心線、中心線標識化及びセグメンテーションを検証するためのタスク含む様々な検証タスクを、ユーザーに指示することを含み得る。最後のタスクとして、ユーザーは、モデルをファイナライズすることができる。画像注釈の依存性及び順序付けは、図1Dによってより詳細に説明され得る。
デジタルメモリ記憶装置、プロセッサを有するコンピュータ、及び任意の所望のユーザーインターフェースを有するコンピュータなどの、任意のタイプのコンピューティングシステムが、本明細書に開示された方法を実行するように構成され得ることが理解されるべきである。また、任意のタイプのサーバー、クラスター化されたコンピュータ、及び/またはクラウドコンピュータが、本明細書に開示された方法を実行するように構成され得る。上記で参照したデバイスの任意のものは、本明細書に開示された方法の実行において使用されるデータを送受信するために、インターネットなどのネットワークに接続され得る。
ここで図面を参照して、図1Aは、自動画像注釈の検証及び修正のための例示的なシステム及びネットワークのブロック図を示す。具体的には、図1は、複数の医師102、及び第3者プロバイダ104を示し、これらの任意のものは、1つまたは複数のコンピュータ、サーバー、及び/またはハンドヘルドモバイルデバイスを介して、インターネットなどの電子ネットワーク100に接続され得る。医師102及び/または第3者プロバイダ104は、例えば、1人または複数の患者の心臓及び/または血管系の画像を作成するか、あるいは、得ることができる。医師102及び/または第3者プロバイダ104は、年齢、病歴、血圧、血液粘度等、などの患者固有の情報の任意の組合せも得ることができる。医師102及び/または第3者プロバイダ104は、電子ネットワーク100を介してサーバーシステム106に、心臓/血管の画像及び/または患者固有の情報を送信することができる。サーバーシステム106は、医師102及び/または第3者プロバイダ104から受信した画像及びデータを記憶するための記憶装置を含み得る。サーバーシステム106は、記憶装置に記憶された画像及びデータを処理するための処理装置を含み得る。
図1Bは、本開示の例示的な実施形態に係る、自動画像注釈の検証及び修正のための例示的な方法110のブロック図である。図1Bの方法は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、ステップ111は、画像を取得することを含み得る。例えば、ステップ111は、画像データのデジタル表示(例えばコンピュータ、ラップトップ、DSP、サーバー等、などの計算装置の、例えば、メモリまたはデジタル記憶[例えば、ハードドライブ、ネットワークドライブ])の取得を含み得る。一実施形態では、ステップ113は、画像注釈のセットを生成するために自動画像解析システムを適用することを含み得る。自動画像解析システムの例には以下が含まれるが、これらに限定されない:
a.デジタルカメラにおける顔検出
b.画像/ビデオ(例えば、YouTube(登録商標))のコレクションにおける画像または動画の標識化(タグ付け)
c.放射線治療計画のためのCT医療画像内における3D臓器セグメンテーション
d.駆出率を計算するための超音波医療画像における2D左心室セグメンテーション
e.画像ベースのサイトメトリーのための顕微鏡画像における2D細胞検出
f.有糸分裂イベントの決定のための光学顕微鏡画像におけるビデオによる2D細胞追跡
g.化学塞栓の立案のためのCT医療画像における3D腫瘍セグメンテーション及びフィーダー血管中心線注釈
h.骨再建立案のためのCT医療画像における3D骨折セグメンテーション
i.デジタルマンモグラフィアプリケーションにおける腫瘍の検出及びセグメンテーション
一実施形態では、ステップ115は、もしあれば、お互いの画像注釈の依存性を決定することを含み得る。例えば、1つまたは複数の画像注釈は、他の注釈に、依存するかまたは左右されてもよい。言い換えると、1つまたは複数の画像注釈は、他の注釈に影響を与えるか、またはインパクトを与え得る。一実施形態では、ステップ117は、依存性の順に、ユーザーに、各注釈を提示することを含み得る(例えば、ある注釈は、それに従属する別の注釈より先に提示される)。いくつかの例では、注釈のサブセットは、例えば、ユーザーの検証の必要性に基づいて、提示され得る。換言すれば、ステップ117は、注釈のグループを提示することを控えることを含み得る。注釈の提示を控えることは、自動画像解析が自動注釈の正確性の高い信頼性を報告している場合、または注釈の重要性が低い場合に生じ得る。一実施形態では、ステップ117は、提示するべき、または提示するべきでない注釈を決定することを含み得る。各注釈について、ユーザーに注釈を提示するステップ117は、ユーザーが注釈を表示して検証することを可能にする注釈及び/またはサポート画像データの1つまたは複数の視覚化を提供することを含み得る。視覚化は、ユーザーからの対話式の質問を許可してもしなくてもよい。ステップ117で注釈を提示することは、ユーザーの満足を適える品質を達成するために、ユーザーが注釈を修正することを可能にするツールを提供することをさらに含み得る。ステップ117は、さらに、ユーザーが、次の注釈に進む前にその釈注を検証されたものして受け入れることを可能にすることを含み得る。いくつかの例では、ステップ117は、注釈の視覚化(例えば、ツールを介して)においてなされた、注釈の修正を検出することも含み得る。このような状況では、従属注釈は再計算することができる。例えば、再計算は自動的に実行することができる。いくつかのケースでは、すでに検証済みの注釈は再計算されないであろう。
一実施形態では、ステップ119は、アプリケーションに対して非常に重要なものとして1つまたは複数の注釈を決定することを含むことができる。ステップ119は、さらに、検証のために、ユーザーにそのような注釈を再提示するか、または1人または複数の追加のユーザーにそのような注釈を提示することを含み得る。「非常に重要な」状態の決定は、多くのアプリケーション固有の方法(例えば他の注釈に対するサイズ、形状、外観、密度、空間的または他の関係を含む注釈の態様を含むが、これらに限定されない)で行うことができる。例えば、非常に重要であると決定される注釈は:
a.二度目のユーザー
b.管理者
c.別の専門家
d.他の個人のパネル
e.再現性を確保するためのトレーニング演習の一環として
によって提示され、レビューされ得る。
ステップ121は、検証された注釈を電子記憶媒体(例えば、ハードドライブ、コンピュータRAM、ネットワーク通信チャネル)に記憶または保存することを含むことができる。
図1Cは、本開示の例示的な実施形態に係る、自動画像注釈の検証及び修正のための例示的な方法120の別のブロック図である。図1Cの方法は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。方法120は、方法110の具体的な実施形態として機能し得る。
上述のシステム及び方法の具体的な実施形態は、血流シミュレーション及びシミュレートされた血流予備量比の決定を含み得る。本開示は、血管の形状(大動脈と冠動脈)の3D患者固有モデル(セグメンテーション)、冠状血管の標識化、左心室の心筋の3D患者固有モデル(セグメンテーション)、及び、大動脈弁ポイントを生成するための自動画像解析システムを使用することを対象とする。
一実施形態では、3Dモデルの生成は、患者の心臓スキャン(3D心臓CT画像)のデジタル表示(例えばコンピュータ、ラップトップ、DSP、サーバー等などの計算装置の、例えば、メモリまたはデジタル記憶[例えば、ハードドライブ、ネットワークドライブ])を取得するステップ123で開始することができる。一実施形態では、ステップ125は、モデルまたはモデルに関連した画像に画像注釈を適用する自動画像解析システムを含み得る。具体的には、システムは以下を自動的に注釈することができる:大動脈の3Dセグメンテーション(例えば、(Kirisli,et al.,“Fully automatic cardiac segmentation from 3D CTA data:a multi−atlas based approach,”Proceeding of SPIE.Vol.7623,762305−9,2010)を用いる、この開示は参照によりその全体が本明細書に組込まれる)、小孔ポイントの位置(例えば、(Zheng,et al.,“Efficient Detection of Native and Bypass Coronary Ostia in Cardiac CT Volumes:Anatomical vs. Pathological Structures,”Proc.Int’l Conf.Medical Image Computing and Computer Assisted Intervention,2011)を用いる、この開示は参照によりその全体が本明細書に組込まれる)、大動脈弁のポイントの位置(例えば、(Zheng,Barbu,Georgescu,Scheuering,& Comaniciu,“Four−Chamber Heart Modeling and Automatic Segmentation for 3D Cardiac CT Volumes Using Marginal Space Learning and Steerable Features,”IEEE Transactions on Medical Imaging,Vol.27,No.11,pp.1668−1681,2008)を用いて、この開示は参照によりその全体が本明細書に組込まれる)、冠状血管の中心線(例えば、(Kitamura,Li,& Ito,“Automatic coronary extraction by supervised detection and shape matching”International Symposium on Biomedical Imaging(ISBI),2012 9th Institute of Electrical and Electronics Engineers(IEEE)International Symposium on May 2−5 2012)を用いる、この開示は参照によりその全体が本明細書に組込まれる)、血管の名前(すなわち、右冠動脈(RCA)、左前下行枝(LAD)、左回旋枝(LCX))による血管中心線の標識化、ここでこの標識化は、それぞれの標識血管中心線の幾何学的な位置決めの統計値を決定するために、トレーニング標識のセットを使用して、その幾何学的位置に基づいて血管中心線に最大尤度を有する標識を割当てることによって、実行され得る(例えば、(Lorenz & Berg,“A Comprehensive Shape Model of the Heart” Medical Image Analysis,vol.10,No.4,pp.657−670,(18 May 2006))参照、この開示は参照によりその全体が本明細書に組込まれる)、冠動脈血管内腔の3Dセグメンテーション(例えば、(Schaap,et al.“Robust Shape Regression for Supervised Vessel Segmentation and its Application to Coronary Segmentation in CTA”IEEE Transactions on Medical Imaging,Vol.30,No.11,November 2011)を用いる、この開示は参照によりその全体が本明細書に組込まれる)、左心室の心筋の3Dセグメンテーション(例えば、(Kirisli,et al.,2010)を用いる)、など。言い換えると、ステップ127は、ユーザーに画像注釈を以下の順に提示することを含み得る:
a.大動脈セグメンテーション
b.小孔のポイント
c.大動脈弁のポイント
d.左心室の心筋のセグメンテーション
e.冠状血管の中心線
f.血管の標識化
g.血管内腔セグメンテーション
そのような順序は、画像注釈の依存関係を示すことができる。依存性を有する注釈の1つがレビューでユーザーによって修正される場合、得られる注釈のための自動化されたアルゴリズムが、入力される修正された注釈によって再実行され得る。
完全に検証されたセグメンテーションに続いて、ステップ129は、重要な領域に対する内腔セグメンテーションの解析を含み得る。例えば、ステップ129は、直径減少が50%を超える領域を決定することによって重要な領域を見出すことを含むことができる。必要であれば、重要とマークされている任意の内腔セグメンテーションの成分が、2回目の検査と修正のためにユーザーに再び提示され得る。一実施形態では、ステップ131は、電子記憶媒体(例えば、ハードドライブ、コンピュータRAM、ネットワーク通信チャネル)に完全に検証されたモデル(すべての修正を含む)を保存することを含むことができる。
図1Dは、本開示の例示的な実施形態に係る、自動画像注釈の検証及び修正のための例示的な一連の依存性140の図である。例えば、大動脈セグメンテーション133(例えば、大動脈タスク300を示す図3Aに詳述)は、出発点として作動することができる。続く検証ステップは、大動脈セグメンテーション133に依存し得る。大動脈セグメンテーション133に続いて、ワークフローは、大動脈弁ポイント135及び/または小孔ポイント137(例えば、図4Aに示すランドマークタスク400に対応)に関連するステップを提示することができる。次のステップは、左心室の心筋のセグメンテーション143(例えば、図5Aの心筋タスク500)に関連し得る。続く従属タスク冠状血管の中心線139(例えば、図6の中心線タスク600に示される)の解析を含むことができる。冠状血管の中心線139に関連するワークフローステップから、ワークフローはユーザーを血管標識化141または血管内腔セグメンテーション143(例えば、図7Aの内腔タスク700)に導くことができる。タスクにおけるこの依存性の連鎖は、ユーザーを、予測可能な、論理的な一連の検証ステップを介して、完全なモデルの構築に向けて案内することができる。
前述のように、注釈は、1つまたは複数の可視化を介して提示され得る。一実施形態では、注釈の各可視化は、検証セグメンテーションを完了させる助けとなるツールを含むことができる。例えば、ツール“Smart Paint”及び“Nudge”が、セグメンテーション利用する任意のタスクに対して、ワークステーション全体にわたって使用され得る。異なるタスクまたはモードに対する特定の機能が異なる場合があるが、ツールの基本原理は、異なるタスクにわたって一致し得る。
例えば、Smart Paintは、画像データに“inside”(または“object”)及び“outside”(または“background”)シードを加えることによって動作し得る。スマートペイントアルゴリズムは、これらのシードとおそらく任意の既存のセグメンテーション情報を使用して新しいセグメンテーションを生成することができる。スマートペイントアルゴリズムはセグメンテーションのためのランダムウォーカーアルゴリズムのバージョンを使用することができる。いくつかの例では、ユーザーは良いセグメンテーションを得るために、最小数のシードを追加することができる。最終的には、十分なペイントで、ユーザーは任意のセグメンテーションを得ることができる。スマートペイントはMPR上で機能することができ、ディスク状の形状でペイントを追加することができる。さらに、Smart Paintのブラシのサイズは調整可能であり得る。ときに、ユーザーがマウスホイール上でスクロールアップする場合には、ブラシのサイズを増加し、ユーザーがマウスホイール上でスクロールダウンする場合には、ブラシのサイズを小さくすることができる。さらに、シードを消去することができる(例えば、内側と外側のシードの両方を消去することができるErase Seedsツールを使用して)。ユーザーが反対型のシードを有する既存のシードの上にペイントする場合、元のシードは上書きされ得る。
大動脈タスクと心筋タスクの編集モードでは、Smart Paintは、内側または外側のシードの各加算または減算により、セグメンテーションを更新することができる。このアルゴリズムは、現在のセグメンテーションを使用して動作することができる。スマートペイントアルゴリズムは、現在追加されているペイントストロークの周りの関心領域(ROI)のセグメンテーションを更新することができる。
大動脈タスクと心筋タスクの作成モードでは、Smart Paintは、ボタンクリックで指示された場合にのみ、セグメンテーションを更新することができる。いくつかのケースでは、アルゴリズムは、現在のセグメンテーションを使用するのではなく、すべてのペイントを組込んで、新しいセグメンテーションを作成することができる。このアルゴリズムは、作業するROIを定義するために、すべてのペイントストロークを使用することができる。
内腔モードでは、Smart Paintは、隣接する未レビューまたはレビュー済みのセクションのセグメンテーションに影響を及ぼし得る。セグメンテーションは、現在のセグメンテーションを出発点として使用して、シードの各配置により更新することができる。このアルゴリズムは、現在追加されているペイントストロークの周りのROIにおけるセグメンテーションを更新することができるが、ROI内に含まれるすべてのシードを組込むことができる。
Nudgeツールに関しては、Nudgeは、マウスカーソルを中心とする球面形状で、マウスの動きの方向にセグメンテーションを押すことによって動作することができる。ユーザーが、セグメンテーションを、セグメンテーション可視化の内部にある間に押して起動した場合、“inside Nudge”として編集が参照され得る。ユーザーが、セグメンテーションの外側でセグメンテーションを押すことを起動した場合、“Outside Nudge”として編集が参照され得る。ナッジのサイズは、カーソルとセグメンテーションの間の距離によって決定することができる。カーソルがさらに遠くになると、編集はより大きくなる。Nudgeはセグメンテーションに直接影響を及ぼし得るため、このツールは、リアルタイムで動作することができる。
一実施形態では、NudgeはMPR表示で作業することができる。さらなる実施形態では、Nudgeは、大動脈編集モード340(例えば、図3Cに示される)、心筋編集モード540(例えば、図5Cに示される)、及び内腔タスク700で利用可能である。3つの間の機能は非常に似ているが、心筋及び内腔のアプリケーションに関しては、独特の変化がある。心筋編集モード540については、セグメンテーションは左心室の筋肉にのみ関連し得るので、内側と外側の輪郭が存在することができる。従って、外側輪郭を外側に、または内側輪郭を内側に押すいずれかの筋肉内の編集は、“Inside Nudges”と考えることができ;外側輪郭を内側に、または内側輪郭を外側に押すいずれかのセグメンテーションの外側の編集は、“Outside Nudges”と考えることができる。内腔タスク700については、セクションの切替え及びセグメンテーションカスプの作成を最小限にするために、Nudgeは異なる輪郭及びセクションで動作することができる。いくつかのケースでは、Nudgeは、遠位セクションの輪郭上、または分枝血管の輪郭上では動作し得ない。しかし、Nudgeは、近位または分岐接続の輪郭上で動作することができる。このように、ユーザーは、分岐セクションでのみ、両方の輪郭の分岐を修正するためにツールを使用することができる。親血管のセクションでは、Nudgeは、親血管のセクションに影響を与えて、分岐輪郭をそのまま残すことができる。
図2は、本開示の例示的な実施形態に係る、例示的なレッドフラッグタスク200のブロック図である。レッドフラッグタスク200は、ネットワーク100上で医師102及び/または第3者プロバイダ104から受取った情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、レッドフラッグタスク200の目的は、それからモデルを作成する一連の画像の選択を確認することであり得る。例えば、モデルが、内腔及び心筋のモデリングを含み得る場合、レッドフラッグタスク200は、ユーザーがデータを詳細にレビューして、モデルへの処理のための画像の妥当性を決定するための最初の機会であることができる。また、レッドフラッグタスク200は、ユーザーがそのシリーズから明らかな任意の解剖学的異常を書き留める助けとなることができる。FFRctは、特定の患者の解剖学的異常、疾患、または特定のCT取得の問題においてその使用を妨げるであろう、いくつかの禁忌を含み得る。従って、処理の前に、妥当性についてFFRctのデータをレビューすることが有用である。レッドフラッグタスク200は、患者及び/またはデータが処理に対して適切であることを証明するために、ユーザーに各禁忌を入念に提示することができる。いくつかのケースでは、ユーザーは、処理に対する一連の選択の妥当性を決定することができるが、計算に重大なエラーが観測されなければ、自動決定をそのまま残すことができる。
一実施形態では、レッドフラッグタスク200は、ユーザーが一連の画像を表示して評価することができるステップ201を含むことができる。例えば、ユーザーは、最上の内腔を示す画像のための一連の画像を評価することができる。一実施形態では、ステップ201は、制約ナビゲーションを有する単一のマルチプレーナ再構成(MPR)を提示するレッドフラッグタスク200、一連の選択のためのユーザーインターフェース(UI)要素、許容可能な画像品質及び/または患者の品質要素のリスト、評価されるべき病理または異常の代表的な画像、及び受諾または拒絶の適性として特定の病理及び/または異常をマークするUI要素、を含み得る。一実施形態では、MPR表示は画像ボリュームを通る平面と交差する画像データを含み得る。より具体的には、MPR表示は、軸方向MPR表示(例えば、横断面内)を含み得る。例えば、MPR表示はデフォルトのズーム及び中心点に設定することができ;及び自動ウィンドウ/レベルを適用することができる。一実施形態では、ウィンドウは、ズームレベルを含むワークステーションの視覚化において示される表示を含むことができる。レベルは、表示の方向または配向を含むことができる。前方向が画面の上部を向くように、さらに、MPR表示を配向させてもよい。一実施形態では、MPR表示はスクロール及びウィンドウ機能を含むことができる。レッドフラッグタスク200の一実施形態では、回転、ズーム、及びパンが利用し得ない。これは、焦点が全レッドフラッグの問題に維持され得るようにするためである。一旦画像または画像注釈のセットが解析及び使用のために許容可能と既にみなされていると、回転、ズーム、パンニング機能は任意選択のナビゲーションとして含まれ得る。
一実施形態では、ユーザーは、最初に、デフォルトの表示としての軸方向MPR及びレビューされる病理の1つの例示画像を提示される。ユーザーは、特定の項目に対して画像データをレビューすることを課されるであろう。例えば、レッドフラッグを検索するステップ203は、不備に関して画像データをレビューすることを含むことができる。ユーザーは、提示された項目がそのシリーズを処理のために使用することを妨げるかどうかに依存してその項目を受諾または拒否としてマークするように、指示されるかまたはツールを与えられ得る。ユーザーが受諾としてアイテムをマークした場合は、レッドフラッグタスク200は、レビューのために、シリーズにおける次の項目をもたらすことができる。拒否として項目がマークされる場合、ワークステーションは自動的に閉じ、そのケースを拒否として記録することができる。一実施形態では、タスクマネージャは、ユーザーにさらなる任意選択、例えば、レビューする別のシリーズを選択する任意選択、シリーズの前の項目に戻る任意選択、受諾及び拒否のシリーズのリストを含むすべての入手可能なシリーズを参照する任意選択、等を提示するように表示され得る。ユーザーは誤ったデータのリスト及び異常のリストについて各項目を検討することができる。各項目が受諾としてマークされると、異常のリストは受諾として入力され、マークされ得る。一実施形態では、レッドフラッグタスク200は、ユーザーがシリーズを受諾したか拒否したかのいずれかを決定することができる(ステップ205)。
処理のために第2のシリーズが選択される(すなわち、内腔及び心筋の処理に対して異なるシリーズが選択される)場合、第2のシリーズも、妥当性についてレビューされ得る。例えば、ユーザーは、第2シリーズの画像を表示して評価するステップ207、レッドフラッグを検索するステップ209、及び画像の受諾及び/または拒否(ステップ211)、を通じてフォローするように指示され得る。一実施形態では、ユーザーは各項目を順番に提示され得る。次いで、ユーザーは、2つの画像品質のリスト(例えば、誤ったデータのリスト及び異常のリスト)の各項目をマークすることができる。リストの最後の項目の受諾で、次のタスク、大動脈タスクがアクティブにされ得る。項目が任意のポイントで拒否される場合、患者に関連した注釈のシリーズ全体またはセットが拒否され得る。一実施形態では、ワークステーションは自動的に閉じ得る。別の実施形態では、ユーザーは、次のシリーズ(例えば、次のシリーズの最初の項目)またはユーザーがシリーズを選択することができるメニューを提示され得る。一実施形態では、レッドフラッグタスク200は、1つのモードのみ有することができるので、モード切替え選択は不要であり得る。
誤ったデータが処理のために選択され得る場合には、サンプリングまたはテストサイトによって送られた残りのデータは、まだ処理のために適切であり得る。例えば、レッドフラッグタスク200は、利用可能なすべてのシリーズが解析されたかどうかの決定(ステップ213)を含むことができる。より多くの画像及び/またはシリーズが利用可能な場合、ステップ207、209、及び211を、別のシリーズで画像に対して繰返すことができる。すべてのシリーズが解析されている場合、レッドフラッグタスク200はエラーを指摘することができる(ステップ215)。
一実施形態では、ユーザーが処理の後の段階で異常に気づいた場合、ユーザーが戻るレッドフラッグタスク200が利用可能である。例えば、ワークフローは、ユーザーをレッドフラッグタスク200に戻すことができるレッドフラッグタブを含み得る。次いで、レッドフラッグタスク200は、ユーザーに、レビューのための各異常を提示し得る。ユーザーが、この時点でシリーズを無効にする場合、レッドフラッグタスク200は、シリーズを拒否と指摘し、ワークステーションを閉じることができる。
一実施形態では、レッドフラグタスク200はタスク名をオーバーレイするプログレスバーを含むことができる。ユーザーが現在レッドフラッグタスク200を受けている場合にのみ、プログレスバーは可視であり得る。レビューされなければならない各項目は、タスクバーの同じ部分を取ることができる。従って、処理のために2つのシリーズが選択される場合、1つのシリーズの項目はプログレスバーの半分を埋めることができる。また、UIは、異常のリストを含むことができる。リストはユーザーによって選択可能であり得、選択(選択の欠如を有する)は、後の段階で異常が検出される場合、変更可能である。
図3Aは、本開示の例示的な実施形態に係る、例示的な大動脈タスク300のブロック図である。大動脈タスク300は、ネットワーク100上で医師102及び/または第3者プロバイダ104から受取った情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、大動脈タスク300は、大動脈のセグメント化を介してユーザーを導くことができる。さらなる実施形態では、大動脈タスク300は、ユーザーが何らかの大動脈セグメンテーションを受け入れた後にのみ、次のタスクに進むことができる。一実施形態では、大動脈のタスク300は、大動脈の中心線を計算することを含み得る。大動脈の中心線は、大動脈の入口及び出口の境界条件平面を計算するための“Finalize”サブタスクで使用され得る。一実施形態では、大動脈タスク300は、3つのモード:検査、修正、及び作成、を含み得る。各モードは、大動脈セグメンテーションの検査、修正、及び/または作成を支援するための表示とツールのセットを有することができる。一実施形態では、大動脈タスク300は、2つのコンポーネント:総エラー識別及びセクション解析、に分けることができる。総エラー識別は、ユーザーが大動脈全体の構造を全体的に見ることを可能にするが、セクション解析はより詳細な解析を含むことができる。一実施形態では、ステップ301は、全大動脈を見て評価することを含むことができる。例えば、ステップ301は、大動脈の全体構造をユーザーに提示することを含み得る。次に、ステップ303は、ユーザーが大動脈の構造を修正することを許可することができる。一実施形態では、大動脈タスク300の意図は、ユーザーは処理のためのシリーズの選択の妥当性を決定し得るが、計算に重大なエラーが発生しなければ自動決定は変えないで残すということであリ得る。ステップ303の様々な実施形態は、修正を保証することができる、「深刻なエラー」を構成するものに関する様々な閾値を包含することができる。大動脈の構造を修正する選択は、セクション解析のステップ305〜311をトリガーすることができる。例えば、ステップ305は、ユーザーが各セクションを表示して評価することを可能にし得る。次いで、ステップ307は、ユーザーがセクションを編集することを可能にすることができる。編集後、ユーザーはセクション(ステップ309)を受諾するように指示され得る。あるいは、ユーザーは、セクション(ステップ311)を編集し続けることができる。一実施形態では、セクションの受諾は、修正するために大動脈画像の別の部分を選択する前に、ユーザーが大動脈の全体解析のステップ301に戻ることを許可することができる。別の実施形態では、セクションを受諾するステップ309は、大動脈タスク300を終らせて、ユーザーが次のタスク、ランドマークタスク400に行くことを可能にすることができる。
別の実施形態では、大動脈のタスク300の総エラー識別は、各セクションを修正するよりもむしろ、大動脈の一部を作成すること(ステップ313)の任意選択をさらに含むことができる。ステップ313は、新たに、大動脈の部分を描画するための「ペイント」機能を使用することを含み得る。大動脈セグメンテーションの問題が非常に大きく、セグメンテーションを新たに作成することが前のセグメンテーションを編集するより好ましくなり得る場合に、ステップ313が生じることができる。
図3B〜3Dは、ユーザーが、大動脈を検査し、大動脈をセグメント化し、及び大動脈の中心線を計算し得る、例示的なインタフェースを示す。ユーザーは、図3B〜3Dの例示的なインタフェースをそれぞれ使用して、大動脈セグメンテーションを選択的に、検査し、編集し、及び作成することができる。各モードは、大動脈セグメンテーションの検査、修正、または作成を支援するための表示とツールのセットを含み得る。この時点で入手可能なツールは、“Accept Aorta”及び“Reject Aorta”を含み得る。“Accept Aorta”の選択は、プロセスを次のタスク、ランドマークタスク400に移動させることができる。“Reject Aorta”の選択は、大動脈の編集モードを可能にすることができる(例えば、図3Cに示される)。一実施形態では、大動脈タスク300は、タスク名(例えば、検査、編集及び作成)をオーバーレイするプログレスバーを含むことができる。例えば、プログレスバーは、ユーザーが大動脈タスク300を受けている場合にのみ可視であり得る。さらなる実施形態では、大動脈タスク300のプログレスは二択:全か無、であり得る。言い換えると、セグメンテーションが許容されないときは、プログレスバーは空であることができ、セグメンテーションのタスクが完了したときには100%であることができる。プログレスバーのそのような実施形態では、別のタスクから大動脈タスク300へナビゲートバックする場合にのみ、100%の状態を見ることができる。
図3Bは、本開示の例示的な実施形態に係る、大動脈検査モード320の表示である。大動脈検査モード320は、自動アルゴリズムによって生成された大動脈の総セグメンテーションが、処理を続けるのに適合するかどうか、または生成された大動脈は修正を必要とするかどうかを迅速に決定するのに使用され得る。一実施形態では、大動脈検査モード320は、矯正された湾曲した平面再構成(sCPR)からの複数画像及び等値面(ISO)からのいくつかの画像を含むレイアウトを有することができる。sCPRは、単一表示で管状構造の全長の画像データの表示を含み得る。例えば、sCPRは、構造の中心線の矯正表現を使用することを含むことができる。構造体の中心線は、この表示を生成するのに必要とされ得る。いくつかの場合では、sCPRは、湾曲した平面再構成(CPR)に基づくことができる。ISOは現在のセグメンテーションの符号付距離場(SDF)の3D表現のディスプレイを含むことができる。
一形態では、大動脈検査モード320の1つの形態は、4つのsCPR321及び4つのISO323を含むことができ、ISO323はsCPR321の下にあるように配置される。一実施形態では、sCPR321は、自動アルゴリズムから生成された大動脈中心線を使用して大動脈検査モード320によって構成され得る。sCPR321は、優れた方向が画面の上部を向くように配向され得る。次いで、sCPR321は、0°、45°、90°、及び135°の面を示すように回転させることができる。sCPR321は、大動脈中心線の先頭(最初のポイント)が表示の上部境界に位置するように中心配置することができる。大動脈検査モード320におけるすべてのsCPR321のズームレベルは、同じレベルにしておいてよい。sCPR321は、セグメンテーション(及びバッファー領域)の「半径」が表示内に示され得るようにズームすることができる。sCPR321は自動−ウィンドウ及び/またはレベル化であることもでき、この場合大動脈強度が適切なウィンドウ及びレベルを計算するために使用され得る。
一実施形態では、ISO323は優れた方向が画面の上部に向かって位置するように配向され得る。ISO323は、0°、90°、180°、及び270°の面を示すように回転させることができる。ISO323は、大動脈セグメンテーションの重心が表示の中心にあるように中心配置することができる。一実施形態では、すべてのISO323のズームレベルは同じレベルにあり得る。さらなる実施形態では、ISO323は、セグメンテーション(及びバッファー領域)の半径が表示内に示され得るようにズームすることができる。一実施形態では、大動脈検査モード320用の表示は、ユーザーが大動脈セグメンテーションを「一目で」評価することを可能にするように設計され得、従って受諾に対して再現性のある二択決定を可能にするので、ナビゲーションは、すべての表示に対して無効にされ得る。一実施形態では、受諾に対して再現性のある二択決定を容易にするために、大動脈検査モード320に対してナビゲーションが利用できないことがあり得る。細かな詳細は大動脈セグメンテーションには重要ではないかもしれないので、大動脈検査モード320では強調されない。
一実施形態では、大動脈検査モード320は、利用可能なツールAccept Aorta 325及びReject Aorta 327を含むことができる。Accept Aorta 325の選択は、次のタスク、ランドマークに継続させることができる。Reject Aorta 327の選択は、大動脈編集モード340を可能にすることができる。
図3Cは、本開示の例示的実施形態に係る、大動脈編集モード340の表示である。大動脈編集モード340は、大動脈セグメンテーションの迅速かつ再現性のある修正を支援するツール、表示、及びナビゲーション機能を提供するために使用され得る。一実施形態では、大動脈編集モード340は、1つのsCPR341、多面レンダリング(MPR)343a〜343c(またはMPR343)からの3つの画像、及びISO表示345を含むことができる。一実施形態では、sCPR341は基準として画面の左側に配置することができるが、他の4つの表示は、2×2の構成で画面スペースの残りの部分を共有し、ISO345を底部の右隅に配置する。sCPR341は、自動アルゴリズムから生成された大動脈中心線を使用して構築することができる。一実施形態では、sCPR341は、優れた方向が画面の上部を向くように配向され得る。sCPR341は、大動脈中心線の先頭(例えば、最初のポイント)が表示の上部境界に位置するように中心配置することができる。sCPR341は、セグメンテーション(プラスバッファー)の「半径」が表示内に示され得るようにズームすることができる。sCPR341は自動−ウィンドウ及び/またはレベル化であることもでき、この場合大動脈強度が適切なウィンドウ及びレベルを計算するために使用され得る。
一実施形態では、MPR343は大動脈中心線に基づいて移動し、回転するように制約され得る。MPR343aは、断面表示を含むことができる:MPR343bは横方向表示を含むことができ、MPR343cは、長手方向表示を含むことができる。横方向MPR343b及び長手方向MPR343Cは、優れた方向が画面の上を向くように配向され得る。断面MPR343aは、長手方向MPR343cと同期するように最初に設定された方向を有することができる。MPR343は、大動脈中心線のポイントの周りに中心配置され得る。また、ズームは固定されて、すべてのMPR343にわたって一貫性が保たれ得る。一実施形態では、MPR343は、sCPR341と同じウィンドウ及び/またはレベルを共有することができる。
一実施形態では、ISO345は優れた方向が画面の上部を向くように最初に配向され得る。ISO345は、大動脈セグメンテーション指定された中心が表示の中心に位置するように、中心配置され得る。一実施形態では、ISO345は、セグメンテーション(バッファ領域と共に)の半径が表示内に示されるように、ズームされ得る。
一実施形態では、大動脈編集モード340は、制約されたナビゲーションを含むことができる。あるいは、またはさらに、大動脈編集モード340は、主にsCPR341に位置したInspector Gadget 347に起因し得る。例えば、Inspector Gadget 347を上下にドラッグすると、MPR343のすべての表示を、中心ポイントが大動脈中心線上に残り、中心ポイントが表示の中心に留まるように、再中心配置し、パンすることができる。同様に、Inspector Gadget 347を左右にドラッグすると、MPR343及びsCPR341のすべての表示を回転させることができる。断面表示及び長手方向表示の回転は大動脈中心線の周りに生じ得る。横方向表示の回転は、横軸の周りに生じ得る。3D回転、ズーム、及びパンは、ISO345の表示で利用可能である。
さらに、大動脈編集モード340は、ユーザーが大動脈セグメンテーションを編集し得る、例示的なインタフェースを含むことができる。具体的には、一実施形態では、大動脈編集モード340は編集のための2セットのツールを提供し得る:Smart Paint 349及びNudge 351。これらのツールは異なるセクションに対して様々な形態の機能で使用され得るが、大動脈編集モード340は各ツールに対して特定の動作を含むことができる。Smart Paint 349は2つのツール:内側シード及び外側シード、を含むことができる。これらのツールのいずれかを使用すると、セグメンテーションを自動的に更新することができる。例えば、更新は1秒以下で生じ得る。アルゴリズムは、最新のセグメンテーション修正するために、最新のセグメンテーションを使用して、追加のシードを使用することができる。一実施形態では、Smart Paint 349に関連したツールは、MPR343上で動作することができる。一実施形態では、ツール、Nudge 351もMPR343上で動作することができる。Nudge 351は、ユーザーがシードをわずかに移動させることを許可することができる。Nudge 351の使用からの更新は、ほぼリアルタイムであり得る。
図3Dは、本開示の例示的な実施形態に係る、大動脈作成モード360の表示である。大動脈作成モード360は、大動脈セグメンテーションの作成を支援するツール、表示、及びナビゲーション機能を提供するために使用することができる。大動脈作成モード360は、アルゴリズムが、大動脈を誤認させるか、または図5Cに記載の心筋編集モード540において解決するのに不都合であろう大きなエラーを発生させるセグメンテーションを生成する場合にトリガーされ得る。一実施形態では、大動脈作成モード360は、2x2のレイアウトで配置された3つのMPR361a〜361c(またはMPR361)及びISO363を含むことができる。一実施形態では、MPR361a、361b、及び361cは、それぞれ、横方向、冠状、及び矢状面を最初に示すことができる。MPR361は、示された画像のボリュームの中心に中心配置され得る。MPR361は、画像ボリュームが表示の1つを埋めるようにデフォルトのズームに設定することができる。一実施形態では、3つのMPR361は、自動プリセットに設定された、同じウィンドウ及び/またはレベルを有することができる。本実施形態では、3つのMPR361は中心ポイント、ズーム、ウィンドウ及び/またはレベルを共有することができる。回転は、任意の時点で表示されている面が常に直交しているように、3つのMPR361間で同期させることができる。
一実施形態では、大動脈作成モード360に入るとき、ISO363は、最初は空白であり得るが、ISO363は、大動脈セグメンテーションが生成されるとき入力され得る。ISO363は、優れた方向が画面の上部を向くように配向され得る。一実施形態では、ISO363は、大動脈セグメンテーションの「中心」が表示の中心にあるように、中心配置することができる。ISO363は、セグメンテーション(バッファ領域を含む)の半径が表示内に示されるようにズームされる。
一実施形態では、大動脈作成モード360は完全なナビゲーションを含むことができるが、これは、ユーザーが、回転させ、パンし、再中心配置し、ズームし、及び任意のMPR361上のウィンドウ及び/またはレベルを調整することができるということを意味する。一実施形態では、大動脈作成モード360は、ツール、Smart Paint 365を含むことができる。ユーザーがボタン、Update Segmentation 367を選択すると、セグメンテーションが生じ得る。一実施形態では、セグメンテーションはSmart Paint 365からのシードに基づいて再計算され得る。たとえば、セグメンテーションがSmart Paint 365からのシードにのみ基づく場合、大動脈作成モード360は初期セグメンテーションを破棄することができる。更新は、従って、大動脈編集モード340のSmart Paint 349より長くかかり得る。一実施形態では、Smart Paint 365及び更新セグメンテーション367は、MPR361上でのみ動作し得る。
組合せにおいて、大動脈検査モード320、大動脈編集モード340、及び大動脈作成モード360は、以下の方法で使用することができる。大動脈タスク300が有効になっている場合、ユーザーはセグメンテーション結果を表示するためにsCPRを使用することができる。この段階で、ユーザーは大動脈セグメンテーションが上行大動脈まで十分に高いかどうかを監視することができる。ユーザーは、弁ポイントがセグメンテーションによって十分にカバーされているかどうかを探すこともできる。さらに、ユーザーは小孔がsCPRに表示されているかどうかを観察することができる。一実施形態では、ボリュームレンダリング(VR)画像を、決定を支持するのに使用することができる。例えば、VR画像は、3Dデータセットの3D投影を表示することができる。1つのそのようなケースは、伝達関数を使用して、不透明度及び色に強度をマッピングするVR表示を含むことができる。大動脈が許容可能であると見なされる場合、ユーザーは“Accept Aorta”(例えば、図3BのAccept Aorta 325)を選択して、ランドマークタスク400に移動することができる。
ユーザーが説明を希望するか、またはユーザーがセグメンテーションで問題を観察する場合、ユーザーは、大動脈タスク300のステップ307及び311に関連した大動脈編集モード340をトリガーするために、“Reject Aorta”(例えば、図3BのReject Aorta 327)を選択することにより、大動脈編集モード340を有効にすることができる。大動脈編集モード340では、ユーザーは、セグメンテーションを表示してセグメンテーションが完了しているどうかを再評価するために、sCPR 341上でナビゲートするか、またはMPR343を回転させることができる。一実施形態では、Smart Paint 349は、所望のセグメンテーションにできるだけ近くなるよう、セグメンテーションを最初に修正するのに使用することができる。Smart Paint 349を使用する編集は、大動脈セグメンテーションのローカルセクションに影響を与えることができ、内側と外側のシードの両方を使用すると、より良いセグメンテーションを定義する助けとなり得る。Smart Paint 349はより大きな編集をするのに使用することができるが、セグメンテーションへのマイナーな編集はNudge 351を使用して完了することができる。Smart Paint 349及びNudge 351の両方のツールは3次元コンテキストで動作し得るので、ユーザーは、ツールの効果を確認するために画像スライスをスクロールすることを思い出すであろう。一実施形態では、ユーザーは小孔セグメンテーションを確認するよう指示され得る。小孔セグメンテーションに関しては、ユーザーは、大動脈セグメンテーションが上行大動脈まで十分に高いかどうか、弁ポイントが含まれているかどうか、等を再び尋ねることができる。編集が完了した後、ユーザーは、図3BのAccept Aorta 325を含む、“Accept Aorta”をクリックすることができる。
一実施形態では、大動脈作成モード360は、セグメンテーションに対する編集が所望のセグメンテーションを達成することができないシナリオに対しては、好ましいモードであり得る。例えば、大動脈モード360は、現在のセグメンテーションを消去するためにセグメンテーションを破棄し、大動脈(例えば、弁ポイント近傍)上に画像を再中心配置させることができる。一実施形態では、ユーザーは、上行大動脈、弁ポイント、及び小孔の部分が見えるように、表示を回転させることができる。ユーザーは、大動脈の範囲は内側シードによってカバーされ、大動脈は内側シードによって囲まれるように、表示に内側及び外側のシードを加えることができる。一実施形態では、ユーザーは、表示にほぼ直交し、同じ範囲の大動脈を見ることができるような表示に回転させることを選択することができる。表示は直交するように制約され得るので、回転は、さらに別の表示で行うことができる。再び、内側及び外側のシードを上記の基準を使用して加えることができ、セグメンテーションは新しいシードに基づいて更新され得る。一実施形態では、これらのステップは、大動脈のすべての主要な特徴が捕捉されるように、内側と外側の両方のシードを使用して、必要に応じて、繰返すことができる。セグメンテーションが完了すると、ユーザーは、所望であれば、ナビゲーションのためのセグメンテーションから中心線を使用するための大動脈編集モード340に戻ることができる。一実施形態では、ユーザーはセグメンテーションを確認するために大動脈編集モード340にのみ戻ることができる。セグメンテーションは、大動脈作成モード360における元のシードの破棄によって予期されない方法で変り得るので、さらなる編集は、この時点で阻止され得る。さらなる編集が望まれない場合、ユーザーはボタン、例えば、“Accept Aorta”を選択することができ、ランドマークタスク400に移動することができる。
一実施形態では、大動脈検査モード320は、ユーザーがワークステーションを開くときの初期モードであり得る。例えば、“Accept Aorta”を選択すると、ユーザーは次のタスクに移動することができる。すべての大動脈モードは、“Accept Aorta”の任意選択の何らかのフォームを含み得る。前述のように、大動脈検査モード320は、2つの任意選択:Accept Aorta及びReject Aorta、のみ有し得る。大動脈に排出するように選択すると大動脈編集モード340を有効にすることができる。大動脈編集モード340から移動するためには、ユーザーは“Accept Aorta”を選択することができる。大動脈セグメンテーションが容易に修正できない場合、ユーザーは既存の大動脈セグメンテーションを完全に破棄し、大動脈作成モード360をアクティブにするために、“Discard Segmentation”の何らかのフォームを選択することができる。そのような場合、画像のパイプラインの初期セグメンテーションは再利用できないであろう。セグメンテーションは、セグメンテーションの作成または修正に応じて再計算することができる。一実施形態では、ユーザーは、“Accept Aorta”のフォームを選択することにより、大動脈作成モード360における次のタスクに移動することもできる。ユーザーが大動脈編集モード340に戻りたい場合(例えば、大動脈編集モード340で利用可能な表示及びレイアウトを使用して作成されたセグメンテーションを検証するために)、ユーザーは、例えば、“Enable Edit Mode”を伴い得るボタンを選択することができる。
バックグラウンドの計算に関しては、大動脈セグメンテーションに対する任意の変更は、下流タスクに影響を与え得る。大動脈編集モード340では、Smart Paint 349またはNudge 351はセグメンテーションに小孔候補すなわち許容された小孔を除外させ得る。このような状況では、小孔のポイントが削除され得る。候補が許容された小孔である場合、小孔ポイントの状態をユーザーに思い出させる警告メッセージが表れ得る。一実施形態では、編集が大動脈編集モード340で行われている場合、大動脈中心線は再計算されないであろう。
一実施形態では、選択中の大動脈作成モード360は自動的に以前のすべての計算を削除することができ、セグメンテーションは、大動脈作成モード360で行われたセグメンテーション内のすべての更新により再計算することができる。大動脈作成モード360において大動脈セグメンテーションを受諾すると、大動脈中心線が再計算され、次のタスク(例えば、ランドマークタスク400)及び境界条件生成に使用され得る。
一実施形態では、ユーザーは、他のタスクから大動脈タスク300に戻り、及び/または、を再有効化するように選択することができる。一実施形態では、任意の他のタスクから大動脈タスク320〜360の任意のものに戻るためには、表示のための初期モードが大動脈編集モード340であり得る。また、ランドマークタスク400から許容された任意の小孔は、すべての表示で可視であることができ、内腔タスク700から許容された小孔セグメンテーションは、すべての表示で可視であることができる。一実施形態では、編集または作成ツールのいずれかが使用されるまで、“Accept Aorta”の任意選択はアクセスできなくなり得る。言い換えると、大動脈タスク300は、ユーザーが、大動脈の画像を、それを受諾する前に少なくともレビューすることを、保証することができる。
図4Aは、本開示の例示的な実施形態に係る、例示的なランドマークタスク400のブロック図である。ランドマークタスク400は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、ランドマークタスク400は小孔ポイントと弁ポイントをレビュー及び/または修正するために使用することができる。例えば、ランドマークタスク400は、すべての正しい小孔ポイントを識別し、次いで大動脈弁ポイントの正確な位置を識別することを通じて、ユーザーを導くことができる。小孔ポイントと弁ポイントは、それぞれ、容器中心線と大動脈トリム面の起点を標準化するのに役立ち得る。一実施形態では、ランドマークタスク400は、少なくとも小孔が識別されなければ、ユーザーはそのケースにおいて前進できない大動脈タスク300と、同様であり得る。
一実施形態では、小孔ポイントと弁ポイントのレビューと修正は順に発生し得るが、ランドマークタスク400は本質的に唯一のモードを有することができる(図4Bにさらに記載されている)。例えば、ランドマークタスク400は、各候補(すなわち、各可能な小孔)を表示し、評価することを含むことができる(ステップ401)。ユーザーは、次いで、候補小孔が適切であるかどうかを決定するよう指示され得る(ステップ403)。一実施形態では、ユーザーは、候補を受諾することができ、従って小孔候補を検証または「受諾する」(ステップ405)。一実施形態では、小孔候補の受諾は積極的に小孔を識別することに導き得る(ステップ407)。ユーザーがステップ403で小孔候補が適切でないと決定する一実施形態では、ワークフローは、すべての候補の小孔が訪問されているかどうかを決定するステップ409に進むことができる。すべての候補が表示されて評価されている場合、ユーザーは小孔を検証して、積極的に識別するよう指示され得る(ステップ407)。そうでない場合、ワークフローは、ユーザーが別の小孔候補を提示されるステップ401に戻ることができる。
小孔が識別されると、ワークフローは小孔の検索のステップ411に進むことができる(例えば、偽陰性すなわち“FN”小孔の画像化)。例えば、ユーザーは、候補弁ポイント(ステップ413)を表示し、評価するよう指示され得る。候補弁ポイントが適切とみなされる場合(ステップ415)、候補弁ポイントは、受諾された候補及び確認された弁ポイントとして指定され得る(ステップ417)。弁ポイントがステップ415で適切とみなされない場合、ユーザーは代りに、ある弁ポイントを識別するように指示され得る(ステップ419)。
図4Bは、本開示の例示的な実施形態に係る、ランドマークモード420の表示である。前述のように、ランドマークタスク400は、別々のモードを有することができない。小孔ポイント及び弁ポイントのレビューと修正が順次生じ得るが、両方の活動は、同じレイアウトを使用して生じることができる。一実施形態では、ランドマークモード420は、1つのsCPR421、3つのMPR423、及びVRにおけるISO425を含むことができる。一実施形態では、sCPR421は画面の左側に配置され得るが、他の4つの表示は底部右隅にVRを有する、2×2の構成であることができる。
一実施形態では、sCPR421は、大動脈タスク300からの大動脈中心線を使用して構築することができる。一実施形態では、sCPR421は、優れた方向が画面の上部を向くように配向され得る。sCPR421は、大動脈中心線の先頭(すなわち、最初のポイント)が表示の上部境界に位置するように中心配置することができる。sCPRs421は、セグメンテーション(バッファー領域を有する)の「半径」が表示内に示され得る詳細のレベルにズームすることができる。sCPR421は、適切なウィンドウ及びレベルを計算するために、大動脈強度を使用して、自動−ウィンドウ及び/またはレベルとすることもできる。
一実施形態では、MPR423は、互いに直交し得る。タスクを開くと、MPR423は大動脈中心線に応じて整列することができる。一実施形態では、MPR423は、上部左に位置した断面MPR、上部右に位置した横方向MPR、ディスプレイの底部左に位置し、他の2つのMPRに直交したMPR、を含むことができる。一実施形態では、横方向のMPRは、優れた方向が画面の上部を向くように配向され得る。断面MPRの向きは、長手方向MPRと同期するように最初に設定され得る。MPRは大動脈中心線ポイントの周りに中心配置され、ズームはすべてのMPR表示にわたって同じであり得る。一実施形態では、MPR423はsCPR421と同じウィンドウ/レベルを共有することができる。
一実施形態では、ISO425は、優れた方向が画面の上部を向き、大動脈セグメンテーションの「中心」が表示の中心にあり、及び、セグメンテーション(バッファー領域を有する)の半径が表示内に示されるようにズームされるように、最初に配向され得る。
一実施形態では、ランドマークタスク400は、ランドマークを識別するために大動脈を介してナビゲートするためのさまざまなパラダイムを提供することができる。第一の実施形態では、ナビゲーションは、大動脈中心線に沿って存在するように制約され得る。sCPR421でInspector Gadget 427ツールを使用することにより、ユーザーは、大動脈中心線に沿って回転させ、スクロールすることができる。第二の実施形態では、ランドマークタスク400は、小孔の候補リストを介した簡単なナビゲーションにより、完全なナビゲーション機能を提供することができる。例えば、Inspector Gadget 427がsCPR421の表示とそれぞれのMPR423の表示の間のナビゲーションを同期させることができる場合、sCPR421は、回転させることができる。MPR423は、完全な回転、スクロール、ズーム、パンニング、再中心配置、及びウィンドウの機能を有し得る。また、候補が小孔の候補リストから選択されると、該候補は、すべての3つのMPR423表示上で再中心配置され得る。ISO425のためのVR表示は、現在選択されている小孔候補をできるだけ表示するために自動的に中心配置し、回転することができる。一例では、VRは、VRが回転させられ、ズームされ、及びパンされ得る独自のナビゲーションコントロールを有することができる。
一実施形態では、小孔ポイントは、ツール、例えば、Keep Point 429を使用して、受諾または拒否され得る。一実施形態では、例示的なボタン、Keep Point 429は、選択された小孔ポイントの状態を“Accepted”に変更することができる。例示的なボタン、Reject Point 431は、選択された小孔ポイントのステータスを“Unaccepted”に変更することができる。どちらの場合も、ユーザーインターフェースと色は更新することができ、リストの次の候補が選択され得る。
一実施形態では、ランドマークモード420は、さらなる例示的なボタン、New Ostium Point 433を含み得る。一実施形態では、New Ostium Point 433は、小孔のリストに別の候補を追加するのに使用され得る。一例では、新たな小孔は受諾状態で加えられ得る。さらなる例では、New Ostium Point 433の選択時にインクルージョンゾーンが表示され得る。例えば、インクルージョンゾーンの輪郭は、小孔ポイントが配置される大動脈セグメンテーションの境界内の空間を表すことができる。
ナビゲーションは、さらに2つのツール:Next Point 435及びPrevious Point 437を含むことができる。一実施形態では、これらのツールは、小孔リスト439上で、それぞれ、次の小孔候補と前の小孔候補にナビゲートする助けとなり得る。ステータス(例えば、受諾されるまたは受諾されない)は、Next Point 435及び/またはPrevious Point 437を使用することによって影響され得ない。すべての小孔がレビューされ、ランドマークタスク400の小孔部分が完了したのち、例示的なボタン、Accept Ostia Points 441は、ランドマークモード420を弁ポイントのレビューに更新することができる。弁ポイントのレビューの一実施形態では、ユーザーは、例えば、ツール、Reposition Valve Point 443を用いて、弁ポイントを再配置することのみできる。表示されているバルブのポイントが間違っている場合、Reposition Valve Point 443は、弁ポイントを所望の位置に移動させることができる。小孔のようなインクルージョンゾーンが、モデルにおいて弁ポイントを配置され得る場所を示すために表示され得る。
ランドマークモード420を開くと、ランドマークタスク400の第1の部分は小口のポイントをレビューすることになり得る。一実施形態では、第1の小孔が自動的に選択されて、表示内に中心配置される。ユーザーは、中心線生成に対して配置が遠すぎないことを確認するために、第1小孔の配置をレビューすることができる。配置が許容される場合、ユーザーは、小孔ポイントを受諾することを選択することができる(例えば、Keep Pont 429を使用して)。位置決めが許容可能でない場合、ユーザーは、小孔ポイントを拒否することを選択することができる(例えば、Reject Pont 431を使用して)。小孔リスト439内のすべての小孔をレビューした後、ユーザーは、任意の欠落している小孔に対して大動脈セグメンテーションを再びレビューするように指示され得る。小孔が欠落している場合、New Ostium Point 433によって該小孔を追加することができる。一旦全ての小孔がレビューされ、及び/または追加されると、Accept Ostia Points 441が選択されて弁ポイントの識別に移動することができる。再び、弁ポイントは自動的に表示内に中心配置され得る。ユーザーは、正しいポイントがタグ付けされていることを確認するために、弁ポイントの配置をレビューすることができる。ポイントが正しければ、例示的なボタン、Accept Valve Point 445が、ユーザーによって選択され得る。位置が間違っている場合、ユーザーはReposition Valve Point 443を選択した後、弁ポイントを移動させることができる。弁ポイントを再配置した後、ユーザーは続いてAccept Valve Pont 445を選択することができる。
一実施形態では、小孔レビューから弁ポイントレビューに移動するために、Accept Ostia Points 441が選択され得る。次のタスク、心筋タスク500に移動するために、ユーザーはランドマークモード420の最後の選択、Accept Valve Pont 445を選択することができる。一実施形態では、小孔及び弁ポイントの両方は、ワークフローにさらに沿ったアルゴリズムのポイントを案内するように機能することができる。小孔は、血管中心線の出発点として機能し得る。従って、受諾されていない小孔がユーザーによって受諾される場合、中心線アルゴリズムは、単に、受諾された小孔及びおそらく、ユーザーによって追加された新たに配置された小孔を使用して動作し得る。同様に、前に受諾された小孔が拒否される場合、それらの小孔に対応する中心線は消去され得る。弁ポイントは、大動脈中心線のランドマークとして機能することができる。大動脈中心線はワークフローにおいて後に使用され得る。例えば、大動脈中心線は、弁面で大動脈入口を正確にトリミングするためにモデル化の際に使用され得る。次いで、バルブポイントの受入れの際に、大動脈中心線は再計算され得る。
一実施形態では、一連の設定は、ユーザーがランドマークタスク400に戻る際のデフォルトであり得る。例えば、小孔リスト439の最初の小孔ポイントは、ユーザーがランドマークタスク400を再オープンする際に、選択され得る。一実施形態では、小孔ポイントがリストに追加されるまで、またはステータスが変更されるまで、Accept Ostia Points 441はアクセス不能のままであり得る。Accept Ostia Points 441の選択後、ユーザーは、弁ポイントセクションに移動して、別のタスクに移動するために弁ポイントを再受諾するように指示され得る。
一実施形態では、ランドマークモード420は、タスク名をオーバーレイするプログレスバーを有することができる。プログレスバーはランドマークタスク400の最中でのみ可視であり得る。一実施形態では、ランドマークタスク400の進行は、ランドマークタスク400の「サブタスク」によってまず分割され得る。例えば、小孔の識別はバーの75%に向かってカウントすることができ、弁ポイントの識別は25%に向かってカウントすることができる。小孔部分内では、各小孔の受諾または拒否は、75%の等しい部分に向かってカウントし得る。従って、ユーザーが各小孔を受諾するか拒否するとき、バーは、処理のために利用可能な全小孔に基づく増分で、次第に75%まで満たされ得る。たとえば、増分は、すべての利用可能な小孔に基づいて、サイズが同じであり得る。増分サイズが受諾または各小孔の受諾または拒否に直接対応し得ない場合、バーはまさに視覚的なガイドラインとして満たすことができる。一実施形態では、小孔ポイントが追加される場合、各小孔のパーセンテージは、プログレスバーの視覚的な部分は同じであるが、(受諾状態では小孔が追加されるので)プログレスバーの全長に加わるように、シフトされ得る。ユーザーがすべての小孔を受入れた後、バーが75%完了であることができる。弁ポイントの受入れ後、バーは100%完了に達することができる。
一実施形態では、Inspector Gadget 427はsCPR421上のランドマークモード420に表示され得る。一実施形態では、ドット447は、sCPR421の回転を示すことができ、MPR423の回転はsCPR421上の回転によって制御され得ることをユーザーに対して示す役目を果たすことができる。また、中心線に沿った線449の位置決めは、MPR423の表示の中心位置を示すことができる。ランドマークモード420は、少なくとも2つの異なる方法のナビゲーションを有することができるので、中心点との表示の同期化は、Inspector Gadget 427を用いるナビゲーションが使用される場合にのみ、正確に表示され得る。MPR423上でさらにナビゲーションの使用される場合、MPR423は、Inspector Gadget 427が中心位置を表示しないように、配向させることができる。
一実施形態では、sCPR421は、選択された小孔ポイントまたは弁ポイントの相対位置の表示を含むことができる。例えば、sCPR421を横切る実線451は、ポイントの中心線に沿って投影された場所を示すことができる。一実施形態では、線451は、Inspector Gadget 427が正確に小孔ポイントまたはバルブポイントの位置を決めるために使用され得るように、基準として機能することができる。小孔ポイント及び/またはバルブポイントを正確に配置すると、MPR423を正確に表示することを可能にすることができる。
図5Aは、本開示の例示的な実施形態に係る、例示的な心筋タスク500のブロック図である。心筋タスク500は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、心筋タスク500は、左心室をセグメントするのに使用することができる。例えば、左心室質量は、CFDソリューションが左心室セグメンテーションのボリュームから計算するできることを意味する、計算流体力学(CFD)ソリューションに使用することができる。一実施形態では、左心室のセグメンテーションに使用される画像または注釈のシリーズは、内腔に使用されるシリーズと異なり得る。一解析では、各シリーズの品質は、内腔処理と左心室処理の両方に対して計算することができる。左心室をセグメント化するのに拡張期が大幅に好ましくなり得るので、左心室セグメンテーションのほとんどすべての場合に、拡張期が優先することができる。一実施形態では、ユーザーは、前のタスク(例えば、レッドフラッグタスク200、大動脈タスク300、及びランドマークタスク400)と同様の許容範囲内の質量を有する、許諾された左心室セグメンテーションなしには、前進することができない。
左心室を分割するのを支援するために、心筋タスク500は、2つの成分:総エラーの識別及び各セクションのより綿密な検査、を含むことができる。一実施形態では、心筋タスク500は大動脈タスク300に類似することができ、この場合、全体構造を最初に評価することができ、次いで、より細かい解析を各セクションについて実行することができる。一実施形態では、心筋タスク500は、総エラーの識別のステップ501で開始することができ、ここでユーザーは、基本的にその全体において、左心室を表示し、評価するように指示され得る。ユーザーは全体構造が正しいかどうかを決定するように指示され得る(ステップ503)。ユーザーが、構造は概して正しいと選択する場合、ユーザーは、次いで、左心室のさまざまなセクションを表示して評価するためのステップ505を含む、より詳細な解析を提示され得る。一実施形態では、ユーザーは、セクションを編集することを選択することができる(ステップ507)。続いて、ユーザーは、セクションを受諾するか(ステップ509)、またはさらにセクションを編集するか(ステップ511)のいずれかであり得る。ユーザーが左心室の全体構造を表示(ステップ501)した後に、構造に欠陥があると決定することができる一実施形態では、ユーザーは、左心室の新しいモデルを新たに作成することを選択することができる(ステップ513)。一実施形態では、ステップ513は、ツール、例えば、Smart Paintを使用して完了することができる。
一実施形態では、心筋タスク500は、心筋セグメンテーションのレビューと修正を支援するためのツール、表示、及びナビゲーション機能を提供することができる。具体的には、心筋タスク500は3つのモード:心筋検査モード520、心筋編集モード540、及び心筋作成モード560、を含み得る。一実施形態では、各モードは、心筋セグメンテーションをレビューし、編集し、作成するための異なるツール及び表示を含むことができる。
図5Bは、本開示の例示的な実施形態に係る、心筋検査モード520の表示である。一実施形態では、心筋検査モード520は、ユーザーが、自動アルゴリズムによって生成された心筋の全体構造及びセグメンテーションが進行するのに十分であるか、または修正を必要とするかどうか、を迅速に決定することを可能にすることができる。一実施形態では、心筋検査モード520は4つの長軸のMPR521及び9つの軸方向のMPR523を含むことができる。一実施形態では、長軸のMPR521は画面の左側を占めることができるが、軸方向のMPR523は右側に配置され得る。表示は、心尖部及び基底のポイントによって決定することができる心筋セグメンテーションの長軸から構築することができる。
一実施形態では、長軸のMPR521は、0°、45°、90°、及び135°でスライスすることにより、心筋長軸を使用して構築することができる。表示は、心臓の尖部は、基底を画面の左側に向けることにより、画面の右側に向かうように配向され得る。セグメンテーションは、長軸が図の横軸に沿うように、表示において中心配置することができる。表示は、ウィンドウの境界に最も近いセグメンテーションのポイントが、境界から離れて何らかのバッファーとなり得るように、ズームすることができる。
一実施形態では、軸方向のMPR523は、心筋の長軸に沿って9つの断面スライスをとることによって構築することができる。スライスは等間隔であり、長軸の全体に及ぶことができる。一実施形態では、上部と下部のスライスがセグメンテーションの小片のみを示さないように、心尖部及び基底のスライスを心尖部及び基底からわずかな距離に配置することができる。一実施形態では、MPR521及び523は、0°方向が表示の上部に向かうように配向され得る。MPR521及び523は長軸が表示の中心になるように中心配置され得る。表示はすべて同じズームを共有することができ、MPR521と523のすべてのズームは、最大のセグメンテーションを有するスライスのズームに基づくことができる。一実施形態では、最大のセグメンテーションを有するスライスは、ウィンドウの境界に最も近いセグメンテーションのポイントが、境界から離れて何らかのバッファーとなり得るように、ズームすることができる。
一実施形態では、心筋検査モード520内の表示に対して、ナビゲーションを無効にすることができる。表示の初期設定は、セグメンテーションの正確性に関する迅速な決定をサポートすることができるので、心筋タスク500の他のモードのためにナビゲーションをリザーブすることができる。心筋検査モード520は、単に総エラー識別のために意図され得るので、一実施形態では、心筋検査モード520は、セグメンテーションを受諾する(例えば、ツール、Accept 525)か、またはセグメンテーションを拒否する(例えば、ツール、Reject 527)ツールのみ含むことができる。Accept 525が選択される場合、心筋タスク500を完了することができ、中心線タスク600を開始することができる。Reject 527が選択される場合、心筋検査モード520はやはり完了したと見られ得るが、心筋編集モード540を有効にすることができる。心筋編集モード540により、ユーザーは、心筋検査モード520の最中に、該ユーザーにセグメンテーションを拒否させたセグメンテーションを修正することができる。
図5Cは、本開示の例示的な実施形態に係る、心筋編集モード540の表示である。一実施形態では、心筋編集モード540は、正確で再現性のある心筋セグメンテーションを得ることができるように、心筋セグメンテーションに対する迅速かつ自信のある編集を可能にすることができる。一実施形態では、心筋編集モード540は、2つのMPR 541a及び541bと1つのISO/VR 543を含むことができる。一実施形態では、MPR 541aは、心筋編集モード540の左半分を占める長軸のMPRであり得る。MPR 541bは、心筋編集モード540のディスプレイの上部右半分を占める軸方向表示のMPRであり得る。ISO/VR 543は、表示の底部右半分を占めることができる。
一実施形態では、長軸のMPR 541aは、表示の底部に心臓の心尖部及び表示の上部に基底部を表示するように配向され得る。一実施形態では、MPRの 541a及び541bの両方は、図中の輪郭の大きさに基づいたズームレベルを有することができる。長軸のMPR 541aは、最も近いセグメンテーションの輪郭が表示の境界から離れて何らかのバッファーを有するように、表示をズームすることができる。軸方向のMPR 541bは、最大の輪郭も表示の境界から離れて何らかのバッファーを有するように、ズームを有することができる。
一実施形態では、心筋編集モード540におけるナビゲーションは主にInspector Gadget 545に基づくことができる。一実施形態では、Inspector Gadget 545は、ユーザーが心筋内の特定の軸方向スライスをプローブすることを可能にすることができる。Inspector Gadget 545は、さらに、長軸表示を表示するためにユーザーが長軸のMPR 541aを回転させることを可能にすることができる。ISO/VR 543は、穴やバンプを検査するためにも回転させることができる。
一実施形態では、Smart Paint 547及びNudge 549が心筋編集モード540で使用可能なツールであり得る。一実施形態では、これらのツールは、心筋編集モード540に固有の機能を有することができる。例えば、セグメンテーションは、内側または外側シードを配置した後に自動的に更新することができる。心筋タスク500の性質のために、心筋タスク500は「内側」輪郭及び「外側」輪郭を含み得る。内側と外側の輪郭は、ユーザーがSmart Paint 547を用いるときに尊重することができる。心筋編集モード540におけるSmart Paint 547は大動脈編集モード340におけるSmart Paint 349に類似であり得る。一実施形態では、Smart Paint 349とSmart Paint 547に対して同じコードを使用することができる。
一実施形態では、Nudge 549のためのツールも、心筋タスク500に固有の機能を有することができる。たとえば、内側と外側の輪郭のために、ユーザーはNudge 549を使用してセグメンテーションにおける切断を作成することができる。例えば、Nudge 549 は、ユーザーがポインターを移動させることができる任意の方向に輪郭を押すために使用することができる。一実施形態では、Nudge 549を使用する場合、輪郭は、任意のポインターの移動または選択に対して敏感であり得る。例えば、ポインターの移動は、輪郭の位置をシフトさせることができ、選択は心筋編集モード540でセグメンテーションを通して穿孔すると読むことができる。そのような場合、ユーザーは、輪郭またはセグメンテーションへの予期しない、または意図しない変更をさせないように、ナッジ運動の開始点を配置する場所に関する警告を使用することができる。
一実施形態では、心筋編集モード540は、セグメンテーションを受諾及び/または拒否する能力を含むことができる。例えば、すべての編集が完了し、ユーザーがセグメンテーションを正しいとみなすと、ユーザーは、中心線タスク600に移動するために、ツール(例えば、Accept 551)を選択することができる。心筋編集モード540が妥当な時間内にセグメンテーションを完了するのに使用できない場合、ユーザーは新しいセグメンテーションを作成する任意選択を有することができる。ユーザーにこれらの任意選択を提供するために、心筋編集モード540は、自動的にユーザーに心筋作成モード560をもたらし得るツール、例えば、Discard Segmentation 553を含むことができる。
図5Dは、本開示の例示的な実施形態に係る、心筋作成モード560の表示である。一実施形態では、心筋作成モード560は、ユーザーが心筋セグメンテーションを作成するための表示、ツール、及びナビゲーションを提供することができる。パイプラインアルゴリズムが、心筋を誤認し、多数のエラーを生成し、心筋編集モード540に解決するのに面倒なエラーを生成するか、またはそれらの組合せをもたらすセグメンテーションを生成する場合、心筋作成モード560を使用することができる。
一実施形態では、心筋作成モード560のための標準的なレイアウトは、3つのMPR 561及び1つのISO/VR 563を含むことができる。一実施形態では、3つのMPR 561は、横方向、冠状、及び矢状面を示し得る。MPR 561は、画像ボリュームの中心に中心配置し、最初に画像ボリュームが、少なくとも1つの表示を満たす程度にズームすることができる。一実施形態では、MPR 561は、すべて、自動プリセットに設定された、同じウィンドウ及び/またはレベルを有し得る。さらなる実施形態では、3つのMPR 51は中心ポイント、ズーム、及び/またはウィンドウレベルを共有することができる。回転は、任意の時点で表示されている面が常に直交したままであるように、3つのMPR間で同期させることができる。
一実施形態では、ISO/VR 563は、心筋作成モード560が開いたとき、最初は空白であり得る。ISO/VR 563は、心筋セグメンテーションが生成されると入力され得る。ISO/VRは、優れた方向が画面の上部を向くように配向させることができ、心筋セグメンテーション「中心」が表示の中心にあるように中心配置することができる。ISO/VR 563は、セグメンテーション(プラスバッファ部)の半径が表示内に示されるように、ズームすることができる。
一実施形態では、心筋作成モード560でナビゲーションが利用可能であり得る。例えば、ユーザーは、任意のMPR 561で、回転、パン、再中心配置、ズーム、及びウィンドウ及び/またはレベルの調整を行うことができる。一実施形態では、心筋作成モード560はツール、Smart Paint 565を含むことができる。例えば、セグメンテーションの更新は、ユーザーがツール、例えば、Update Segmentation 567を選択すると、生じ得る。一実施形態では、セグメンテーションは、初期セグメンテーションは破棄されるということを意味して、Smart Paint 565からのシードにのみ基づいて再計算され得る。一実施形態では、この更新は、再計算のために、大動脈作成モード360からのSmart Paint 365よりも長くかかり得る。一実施形態では、Smart Paint 565はMPR 561上でのみ動作することができる。心筋作成モード560は、さらに、モード切替えのためのツール、例えば、Proceed to Edit 569を含むことができる。一実施形態では、ユーザーは、心筋の長軸が心筋セグメンテーションをレビューするために使用され得る、セグメンテーションをレビューするための心筋編集モード540に戻ることができる。
要約すると、一実施形態では、心筋タスク500は、心筋検査モード520で開始することができる。心室のすべての表示された輪郭がユーザーには正確と見えれば、ユーザーはすぐにそのモデルを受諾することを選択し、中心線タスク600に移動することができる。ユーザーに確信がないか、またはユーザーがセグメンテーションを修正したい場合、ユーザーはセグメンテーションを拒否するツールを選択するか、または心筋編集モード540に行くことを選択することができる。心筋編集モード540では、ユーザーは、変更を行うために、(例えば、Inspector Gadget 545を使用して)関連のスライスにナビゲートすることができる。一実施形態では、ユーザーは、セグメンテーションを編集するためにSmart Paint 547を使用することができる。ユーザーがSmart Paint 547からの編集を完了すると、ユーザーは微調整のためにNudge 549を使用することができる。編集ツールSmart Paint 547及びNudge 549がセグメンテーションを正常に終了するには不十分である場合、ユーザーはセグメンテーション拒否し、心筋作成モード560を入力することを選択することができる。
心筋作成モード560では、ユーザーは、矢状、冠状、及び横断面に沿って配向した心筋の標準表示で開始することができる。表示は、1つの表示が、認識された心筋の長軸に沿って軸面を表示するように、できるだけ最善に配向することができる。他の2つの表示は自動的に2つの長軸表示を表示するように整列させることができる。ユーザーは、心筋の範囲を定義するために、2つの長軸表示上でツール(例えば、Smart Paint 565)を使用することができる。一実施形態では、心筋作成モード560は、さらに、左心室プールに外側シードを含めるために、及び目に見える乳頭筋を排除するために、特別な注意をするように、ユーザーにガイダンスを提供することができる。操作する関心領域(ROI)を定義して、両方の表示が内側及び外側のシードを有するように、ユーザーは別の表示にシードを追加することができる。ユーザーが編集を終了したと感じると、セグメンテーションは更新され得る(例えばUpdate Segmentation 567を使用して)。Update Segmentation 567の選択は、心筋作成モード560にセグメンテーションを計算するように指示することができる。セグメンテーションが生成された後、ユーザーは、結果をレビューして、総エラーが存在しないことを検証することができる。エラーが指摘された場合、エラーは(例えば、Smart Paint 565を使用して)直ちに修正することができる。エラーが指摘されない場合、ユーザーは(例えば、Edit 569に進むことを選択することによって)心筋編集モード540に戻ることができる。心筋編集モード540で、ユーザーは、心筋編集モード540から利用可能な表示及びツールを使用して、再びセグメンテーションをレビューすることができる。一実施形態では、形状モデルを自動的に使用することができる。さらなる実施形態では、形状モデル出力と生のスマートペイント出力を切替えるために、トグルの任意選択が利用可能であり得る。
切替えモードに関しては、心筋タスク500は、心筋検査モード520、心筋編集モード540、及び心筋作成モード560を含むことができる。ユーザーは、心筋検査モード520から心筋編集モード540へ、及び心筋編集モード540と心筋作成モード560の間で、順次移動させることができる。また、ユーザーは、心筋検査モード520または心筋編集モード540のいずれかから、次のタスク(例えば、中心線タスク600)へ進むことができる。
心筋検査モード520の一実施形態では、セグメンテーションが間違っていると見える場合、ユーザーは、セグメンテーションを拒否することを選択して心筋編集モード540に移動することができる。心筋編集モード540では、編集が許容可能なセグメンテーションを作成するのに十分な修正をすることができなければ、ユーザーは編集を拒否してセグメンテーションを完全に破棄することを選択することができる。セグメンテーションを破棄した後、ユーザーは心筋作成モード560に進むことができる。前述のように、セグメンテーションが心筋作成モード560を完了したのち、ユーザーは心筋編集モード540に戻って、セグメンテーションをレビューすることを選択することができる。心筋検査モード520と心筋編集モード540の両方において、心筋セグメンテーションが正しければ、ユーザーはセグメンテーションを受諾して中心線タスク600に進むことを選択することができる。一実施形態では、心筋作成モード560は、直接セグメンテーションを受諾する任意選択を提示することはできない。
一実施形態では、いくつかのバックグラウンド計算が、心筋セグメンテーションに関して生じ得る。まず、ユーザーが心筋作成モード560に続いて心筋編集モード540に戻る場合、心筋の長軸を再計算することができる。また、心筋タスク500は、少なくとも部分的には、心筋ブリッジの検出に基づいた、中心線タスク600内の示唆されたトリミング位置を含むことができる。一実施形態では、心筋の境界は、血管が心筋に浸漬するときを決定するのに使用され得る。
一実施形態では、ユーザーが心筋タスク500に戻る場合、心筋編集モード540がデフォルト画面として活性化され得る。受諾の任意選択(例えば、Accept 551を使用して)は、編集ツールまたは作成ツールがセグメンテーションで使用されるまで、アクセス不能であり得る。つまり、心筋タスク500に戻るユーザーは、セグメンテーションを受諾する前に、何らかの修正を行うことができる。
一実施形態では、プログレスバーは、心筋タスク500がアクティブなタスクであるときに、心筋のタブと重なり得る。このプログレスバーは心筋タスク500の完了を追跡することができ、心筋が受諾されれば100%に進むことができる。心筋検査モード520については、長軸と軸のMPR 523の位置決めは、長軸のMPR 521上に表示することができる。ユーザーが軸のMPR 523上にカーソルを乗せると、スライスの位置が、長軸のMPR 521上に表示され得る。
図6Aは、本開示の例示的な実施形態に係る、例示的な中心線タスク600のブロック図である。中心線タスク600は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、中心線タスク600は、例えば、予め決められた順序で予め決められた中心線の長さ(例えば、セクション)における中心線ツリーを、レビューするのに使用することができる。一実施形態では、ユーザーは、右冠動脈(RCA)で開始して、主血管の近位部分から遠位部分に順にセクションをレビューすることができる。自動計算に基づいて主血管を決定することができ、その決定は次のタスク(例えば、中心線標識化タスク640)で更新することができる。主血管のセクションをレビューした後、ユーザーは血管の近位部分から遠位部分に移動して、主血管上の最も近位のブランチ及び主血管からのすべてのブランチをレビューする任意選択を提供され得る。RCAツリーのレビューに続いて、ユーザーは、LADツリー、次いで、左回旋枝(LCX)ツリーをレビューすることができる。一実施形態では、ユーザーは、各小孔ポイントから少なくとも1つの中心線を識別して受諾することなしに、次のタスクに進むことができない。
言い換えると、中心線タスク600は、内腔タスク700(例えば、図7Aに示される)に使用可能な中心線ツリーを生成するために使用することができる。これを行うには、中心線タスク600は、ユーザーが中心線ツリーを迅速に検査、追加、削除、及び編集することを可能にする、自動ナビゲーション、セクション、ツール、並びに指向性及び追跡ワークフローを含むことができる。一実施形態では、中心線タスク600と内腔タスク700は、正しい血管の識別、並びに正確なトポロジの識別のために設計され得る。従って、ツールは、中心線ツリーに追加し、中心線ツリーから削除し、中心線の位置を編集するために提供される。
一実施形態では、中心線タスク600及び内腔タスク700はセクションに体系化されたワークフローを含むことができる。例えば、中心線タスク600及び内腔タスク700は管理可能な部分にデータ及びセグメンテーションを分割する手段としてセクションを使用することができる。セクションは、単一の中心線パスに沿って中心線の連続した長さを参照することができる。例えば、セクションは中心線パス上の最初のポイントで開始し、近位から遠位方向に進むことができる。いくつかの場合には、セクションの長さは、おそらく、各パスの端部セクションを除いて、すべての中心線パスにわたって一定であり得る。端部セクションにおいては、セクションが小さすぎる場合、前のセクションに結合することができる。中心線のセクションも、順序に依存し得る。主血管の定義が変更される場合、セクションは再計算することができ、前の定義及び順序付けから更新され得る。従って、単一中心線は、その長さに沿って定義された複数のセクションを有し得る。主血管は、特に、順序付けによってその長さに沿って定義されたより多くのセクションを含むことができる。この理由で、主血管は最初にレビューすることができる。
一実施形態では、セクションは、ユーザーが検証または修正している、現在利用可能なセグメンテーションの1つを表すことができる。例えば、両方中心線タスク600及び内腔タスク700の両方のツールは、局部的なセクションに関係することができる。例えば、ツールは、全体の血管ツリーまたはセグメンテーションに対しては使用できない。このように、ユーザーはツールに関して一貫した経験を有することができ、ツールの使用が予想外の方法でセグメンテーションにどのように影響するかについて心配する必要はないであろう。
一実施形態では、セクションは、その状態の明確な表示も有し得る。セクションの状態は、実行された作業を追跡するため、及び再実行されなければならない作業を追跡するための方法としての役割を果す。中心線タスク600については、セクションは、「未受諾」または「受諾」のいずれかあることができる。一例では、ユーザーによる審査を待つ間、すべてのセクションは、「未受諾」として起動することができる。中心線の長さの変更が必要でなければ、ユーザーは、セクションを承認または検証するために「受諾」を選択することができる。「受諾」セクションにおけるツールの使用により、「未受諾」に戻るセクションのステータスを変更することができ、セクションを検証のために再受諾することができる。内腔タスク700については、セクションは、「未レビュー」、「レビュー済」、または「受諾」であり得る。セクションは「未レビュー」として開始することができる。ユーザーセクションをレビューした後、ステータスは「レビュー済」に変更することができる。セクション及び隣接するすべてのセクションがレビューされると、セクションのステータスは「受諾」に更新され得る。ツールは、未レビューまたはレビュー済のセクションに影響を与え得るが、受諾されたセクションは同一のままであることができる。中心線タスク600及び内腔タスク700の両方については、ユーザーは、次のタスクにナビゲートするか、または進む前に、すべてのセクションを受諾するように指示され得る。
一実施形態では、セクションは、血管階層に従って、及び小孔ポイントからの距離によって順序付けされ得る。まず、セクションは、主血管中心線に沿って近位から遠位に順序付けすることができる。主血管の後、最も近位のブランチが次の順序になり得る。ブランチは小孔への近接度に従って順序付けすることができる。
セクションは、いくつかの異なる方法によって再計算することもできる。例えば、中心線タスク600では、中心線長さを変化させる任意のツールがセクションの再計算を指示することができる。これらのツールは以下を含むことができる:再配置ツール、トリミングツール、拡張ツール、及びスプラインツール。内腔タスク700では、セクションは中心線ツリーの変更または標識化の変更に基づいて再計算することができる。分岐が追加される場合、内腔セクションは、再計算されたセクションに依存するセクションで計算することができる。内腔セグメンテーションも再計算することができる。いくつかのケースでは、新たに追加された分岐を含むセクションは、「未レビュー」のステータスに更新することができる。セクションの長さが再配置ツールの使用によって変る場合、内腔セクションは、現在の中心線パスに対して再計算することができる。そのような場合、内腔セグメンテーションは再計算され得ず、ステータスは、最低の前のセクションのステータスに変更され得る。中心線がトリミングされる場合、端部セクションを切り取ることができる。いくつかの実施形態では、中心線のトリミングはセグメンテーションの再計算を指示し得ないが、セグメンテーションのステータスは「未レビュー」に変更され得る。標識化が変更される場合、血管検証の順序が影響を受け得る。順序付けが変わる場合、セクションは、影響を受けた血管で再計算され得る。ステータスも、最低の前のセクションのステータスに更新され得る。ユーザーが、受諾された中心線を排除するために内腔を編集し得る状況では、対応する内腔セクションは、そのセクションを「受諾」する任意選択を持つことを中止され得る。これを行うために、ユーザーは、中心線タスクに戻ってナビゲートし、中心線を修正し、及び中心線セクションを再受諾することができる。
一実施形態では、中心線タスク600は、各中心線(例えば、セクションにおいて)をレビューすることにより各小孔を再レビューすることを含むことができる。例えば、中心線タスク600は、小孔が少なくとも1つの中心線を有するかどうかを決定して(ステップ601)、起動することができる。その場合は、ユーザーは、各セクションを検査することに移動することができる(例えば、ステップ603〜611を使用して)。例えば、各セクションの検査は、まず、セクションの閉塞の検査を含むことができる(ステップ603)。例えば、ユーザーは、偽陰性閉塞(例えば、「FN閉塞」)の画像を検索し(ステップ605)、中心線配置を検査する(ステップ607)ことができる。その後、ユーザーは、分岐候補を検査し(ステップ609)偽陰性分岐点(例えば、「FN分岐点」)の画像を検索することができる(ステップ611)。一実施形態では、ユーザーは、セクションを検査した後、中心線末端を検査することができる(ステップ613)。末端が新しいセクションとして識別される場合(ステップ615)、新しいセクションに対してセクション解析(例えば、ステップ603〜611を使用して)再び始めることができる。ステップ615で新しいセクションが識別されない場合、ユーザーは、末端が、メジャー/プライマリーであるかまたはマイナーであるかどうかを評価することができる(ステップ617)。一実施形態では、ステップ601で小孔が検出されない場合、ユーザーは、中心線を作成することを任意選択することができる(ステップ619)。
図6Bは、本開示の例示的な実施形態に係る、中心線モード620の表示である。一実施形態では、中心線モード620は、角度最大強度投影(aMIP)621の6つの表示、MPR 623の表示、CPR 625の表示、及びVR 627の表示を含むことができる。aMIPは、ディスプレイがまっすぐな表示で中心線の全体の長さの画像データを含み得るという点で、構造がsCPRと同様の表示を含むことができる。aMIPとsCPRの間の1つの区別はしかし、sCPRは平面に基づく表示であるのに対し、aMIPは60°のくさび形に中心線の周りにとられたMIPに基づくことを含み得る。一実施形態では、aMIP 621は、3つのsCPR表示に似るように、ディスプレイの左側に配置され得る。MPR 623は、残りの右、垂直方向のスペースの半分を占めることができる。CPR 625 及びVR 627は、残りのスペースを等しく共有することができる。一実施形態では、aMIP 621は、0°〜60°、180°〜240°、60°〜120°、240°〜300°、120°〜180°、及び300°〜360°のくさびを表示することができる。一実施形態では、aMIP 621は、近位方向が画面の上部に向かうように配向させることができ、ここで血管中心線の起点は、ウィンドウの上部に配置され得る。一実施形態では、aMIP 621は自動的にズームさせることができ、特定の長さの血管は画面を埋め、所定の長さよりも長い血管は、全血管がaMIP 621中に見えるようにズームアウトされる。
一実施形態では、MPR 623は、選択された中心線の周りに回転するように拘束され得る。例えば、MPR 623は、現在選択されているセクションに応じて、最初に、中心配置され得る。現在のセクションがセクション中に分岐点を有する場合、最初の中心点は、セクションの最初の分岐点であり得る。セクションが分岐を有しない場合、最初の中心点がセクションの中心であり得る。MPR 623は、近位方向が画面の上部にあるように配向されることができ、MPR 623は、中心点の接線ベクトルが、表示の上下方向を定義するように構成され得る。表示の初期回転もセクションによって決定され得る。中心配置ポイントが分岐である場合、初期回転はブランチがMPR 623において最も見えるようなものであることができる。分岐が選択されない場合、回転は更新され得ない。MPR 623は、表示の垂直方向のスペースを埋めることができるようにズームされ得る。一実施形態では、MPR 623はaMIP 621と同じウィンドウ生成を有することができる。
一実施形態では、VR 627は、心臓マスクに切取られ得る。VR 627は、自動的に画面の中央に解析されるセクションを表示するように回転することができる。一実施形態では、VR 627は、優れた方向が画面の上部を向くように配向され得る。VR 627は、断面が表示内に見えるようにズームすることができる。
一実施形態では、中心線モード620のナビゲーションはaMIP 621とMPR 623の相互作用によって達成することができる。再中心配置またはプロービングにクリックするナビゲーションツールが利用可能であり得る。一実施形態では、Inspector Gadget 629は、これらの機能を提供する例示的なナビゲーションツールであることができる。Inspector Gadget 629は、例えば、カーソルが、aMIP 621とMPR 623の上に乗っていると検出されると、色付きの線として表示され得る。線は、プローブ位置の表示であり得る。一実施形態では、ユーザーは、次いで、Inspector Gadget 629によって示される中心線へMPR 623の表示を再中心配置するためにクリックすることができる。一実施形態では、Inspector Gadget 629は、選択されたセクション及び選択された中心線上の任意の以前に受諾されたセクションを制限することができる。そのような実施形態では、Inspector Gadget 629は、受諾されていないセクション上または異なる中心線内のセクション上では、動作することはできない。一実施形態では、中心線タスク600は、制約された回転機能を有し得る。例えば、aMIP 621及び/またはMPR 623上で左または右にドラッグすると、拘束された回転を可能にすることができる。一実施形態では、回転は選択された中心ポイントで生じることができ、回転は、選択された中心ポイントにおいて血管中心線に対してほぼ正接であり得る。一実施形態では、MPR 623は、中心ポイントを含む画像面の上下に10スライススクロールすることができる。
一実施形態では、中心線モード620で使用可能なツールは、UIの異なる部分に分離することができ、各部分は他のタスクの異なるモードの命名体系を共有する。例えば、中心線モード620は、検査セクション631と編集セクション633を含むことができる。検査セクション631は、選択されたセクション及びセクションにおけるすべての分岐のステータスを「受諾」に変更し得る任意選択を含むことができる。例えば、例示的なツールAccept Section 635は、解析を受けるセクション及びそれぞれの分岐のステータスを変更する、そのような機能を有することができる。一実施形態では、Accept Section 635は、さらに、ナビゲーションツールとして動作することができ、ここでAccept Section 635の選択は、次の未受諾のセクションへのナビゲーションを自動的に指示することができる。Inspect section 631は、さらに、ツール、例えば、Previous Bifurcation 637及びNext Bifurcation 639を含むことができる。これらのツールは、処理されているセクションの前または次の分岐に自動的にナビゲートする、ナビゲーションツールでもあり得る。Next Bifurcation 639の選択は、現在選択されている分岐のステータスを「受諾」に変更することもできる。もう一つのナビゲーションツールは、前のセクションにナビゲートするための任意選択を含むことができる。一実施形態では、ツールは、ディスプレイ上のボタンとしての表示ではなく、または、に加えて、キーボードショートカットに結合することもできる。
編集セクション633は、選択された遠位のセクションの中心位置を編集するために、例えば、Reposition Centerline 641、Add Branch 643、Move Bifurcation 645、Delete Branch 647、Delete Occlusion 649、Trim 651、Extend Centerline 653、Trim and Add Occlusion 655、Reposition Centerline 657、などのいくつかのツールを含むことができる。一実施形態では、ユーザーは、中心線の位置を定義するためにMPR 623上にコントロールポイントを配置することができる。それぞれ新たに配置されたコントロールポイントは、再配置アルゴリズムを実行させ、中心線を実行し、更新することができる。一実施形態では、コントロールポイントは移動させ、削除することもできる。例えば、ユーザーは、コントロールポイントを移動させるためにハイライト表示されるまで、コントロールポイントの上にカーソルを乗せることができる。ユーザーは次いで、コントロールポイントを移動させるためにハイライトされたポイント上でクリックしてドラッグすることができる。コントロールポイントを削除するには、ユーザーは、ハイライト表示されるまで、ポイント上にカーソルを乗せることができる。例えば、ユーザーは、選択を削除するために、コントロールポイントを選択し、Delete Branch 647またはDelete Occlusion 649を選択するようにクリックすることができる。Reposition Centerline 657も、コントロールポイントを移動または削除するときに再配置アルゴリズムを実行させることができる。一実施形態では、Add Branch 643は、MPR 623上の指定された場所からセクション中心線に戻って、中心線ツリーを追加することができる。Add Branch 643から追加された分岐は、処理のために提示され得るが、未受諾であるというデフォルトステータスを有することができる。Add Branch 643は、処理されているセクションから配置されたコントロールポイントに、中心線を接続することができ、例えば、アルゴリズムが、可能性が高いパスを見出すことができない場合、直線パスを作成する。
Move Bifurcation 645は、ユーザーが選択された分岐ポイントを中心線の上下にスライドさせることを可能にし得る。例えば、分岐は、次の近位分岐に近位にのみスライドさせてもよく、及び/または次の遠位の分岐に遠位にのみスライドさせてもよい。一実施形態では、Move Bifurcation 645は、分岐が選択されている場合にのみ動作可能であり得る。従って、分岐ポイントから離れて移動するのにInspector Gadget 629が使用される場合、移動する必要がある分岐点を選択するのにPrevious 637及びNext Bifurcation 639を使用することができる。一実施形態では、Move Bifurcation 645の使用は、選択されたセクション及び分岐が通過する通過する任意のセクションのステータスを、「未受諾」に変更させることができる。Delete Branch 647は、選択されたブランチの中心線ツリー及び分岐ポイントを除去することができる。Move Bifurcation 645と同様に、Delete Branch 647は、分岐ポイントが選択されている場合にのみ動作することができる。Delete Occlusion 649は、選択された中心線の閉塞タグを除去することができる。一実施形態では、Delete Occlusion 649は、選択された中心線が閉塞としてタグ付けされている場合にのみ利用可能であり得る。Trim 651は、ユーザー固有のポイントに遠位の中心線ツリーを削除するのに使用することができる。言い換えると、配置されたトリムポイントから遠位のすべてのパスラインは、ツリーから除去することができる。分岐ポイントの近くでトリムポイントが使用される場合、Trim 651は分岐ポイントをハイライトさせることができ、Trim 651は、選択されたパスライン、そのポイントに遠位の中心線ツリー、及び分岐ポイントを除去することができる。Extend Centerline 653は、選択された中心線末端から配置されたポイントに中心線を作成することができる。一実施形態では、ツールは中心線の末端セクションでのみ利用可能であり得る。Trim and Add Occlusion 655は、選択された中心線をトリミングし、中心線に閉塞タグを追加するのに使用することができる。Create Spline 659は、中心線タスク620の「作成」の部分で利用可能なツールであり得る。Create Spline 659は、中心線末端からユーザー配置のポイントにスプライン線を作成することができる。一実施形態では、ユーザーは、例えば、ダブルクリックによって、スプラインをファイナライズするまで、スプライン線を継続することができる。Create Spline 659も、中心線の末端セクションでのみ利用可能であり得る。
一実施形態では、中心線モード620に対して意図されたワークフローは、ユーザーが、中心線ツリーの各セクションを、誤った中心線配置、誤った分岐識別、誤った分岐配置、欠落している分岐の識別、などについてレビューするためのものであることができる。Reposition Centerline 641、Add Branch 643、Move Bifurcation 645、Delete Branch 647、及びDelete Occlusion 649を、これらのレビューのために使用することができる。末端セクションでは、ユーザーは、血管が十分に拡張されているかどうか、及び中心線に閉塞タグが存在するべきかどうかをチェクすることができる。Trim 651、Extend Centerline 653、及びTrim and Add Occlusion 655は、末端セクションのレビューに使用することができる。一実施形態では、ユーザーは、中心線が後続表示の設定に影響を与え得るので、最初の線として正しい中心線の配置をチェックすることができる。すべての表示は、血管中心線の周りに構築することができるので、血管内の中心線の配置は、極めて重要であり得る。
次に、セクション内の各ブランチは、正確性について検査され得る。チェックは、正確な識別、並びに正確な配置を含むことができる。どちらかが間違っている場合、ユーザーは、ブランチを修正するために、Delete Branch 647及びMove Bifurcation 645をそれぞれ使用することができる。最後に、中心線モード620は、欠落しているブランチに対して検査する機能を提供することができる。例えば、ブランチが見られる場合、中心線が追加され得る。ブランチが小さすぎてモデル中に確実に含まれ得ない場合、示唆されたトリム位置が分岐そのものに近くなるように位置を示すことができる。ブランチはaMIP 621の少なくとも1つの表示に表示され得るので、aMIP 621は、このアクティビティのために使用することができる。aMIP 621に何かが見える場合、ユーザーは、ある位置にInspector Gadget 629を配置して、さらにMPR 623の位置を検査することができる。
中心線が内腔から出ている場合、特殊なケースが存在し得る。この状況では、Reposition Centerline 641が中心線を血管に戻すように移動させることができない場合、または中心線が間違った構造に入っている場合、Trim 651は中心線を切断するために使用することができる。中心線末端に到達すると、ユーザーは、より適切な長さに、中心線を延長するか、または中心線をトリミングすることを決定することができる。提案されたトリム位置が中心線タスク620によって提供され得る。中心線が短すぎる場合、ユーザーは中心線の長さを追加するためにExtend Centerline 653を使用することができる。提案されたトリム位置が表示でまだ示されていない場合、ユーザーは中心線がまだ短すぎると決定することができる。さらに、プラークまたは疾患が血管内に検出される場合、血管を延長することができる。血管が十分長く、プラークが表示されていない場合、ユーザーは提案されたトリムを受諾し、中心線をトリミングすることができる。
一実施形態では、ユーザーは、セクション毎に血管から血管に進む指定された順序で中心線ツリーを検査することができる。セクションのレビューは、近位端から遠位端に生じ得る。各セクションについて、中心線タスク600について記載されたように、検査が解析に続き得る。各セクションが受諾された後、ユーザーは、選択された中心線の末端セクションに到達し、中心線の長さをチェックすることができる。末端セクションを受諾した後、ユーザーは次の中心線を選択して、その中心線に対するプロセスを繰返すことができる。
中心線タスク600は、大動脈タスク300及び心筋タスク500のように、異なるモードにインタフェースを分離するのではなく、すべてのモードを1つのインタフェース内に含ませることができる(例えば、中心線モード620)。セクションは、レビューの程度を制御するのに使用することができる。例えば、中心線モード620内のツールは、セクション毎に利用可能であり(例えば、検査セクション631及び編集セクション633)、使用は、各セクションのプロパティとプロセスによって制御することができる。例えば、Create Spline 659は、ユーザーが中心線末端セクションをレビューしているときにのみ動作可能であり得る。
一実施形態では、すべてのセクションが受諾されると、ユーザーは中心線モード620を越えて移動することができる。中心線ツリーの最後のセクションの受諾で、中心線タスク600は完了と見ることができ、中心線標識化タスク640がアクティブにされ得る。
一実施形態では、中心線タスク600は直ちにはユーザーに示されない複数のバックグラウンド計算を含むことができる。例えば、1セットの計算は、セクションの自動計算を含むことができる。例えば、セクションは中心線長さを修正する任意のツールに従って、再計算することができる。いくつかのケースでは、再計算は、ワークフローに影響を与え得ない。ユーザーが以前に受諾されたセクションを編集し、選択された中心線を変更する編集(例えば、編集、中心線の延長、または中心線のトリミング)を行う場合、セクション及び任意の遠位セクションは更新することができ、それぞれのステータスは「未受諾」に変えることができる。
一実施形態では、計算は、中心線検査のための画像及びセクションの順序付けのためのバックグラウンド計算をさらに含むことができる。中心線検査は、いくつかの要因に基づくことができる。まず、血管は、直感的なガイド付きワークフローをより良くサポートし、順序付けを標準化するために、主血管(例えば、RCA、LAD、及び次いでLCX)によって順序付けすることができる。標識は、ユーザーの確認または自動パイプラインの結果からのいずれかを入手可能である。標識が利用可能でない場合、最初の血管は長さによって選択することができる。一実施形態では、次の画像は、主血管から離れるブランチの順序、近位から遠位の順序、であり得る。その後順番は、近位から遠位の順序で、ブランチのブランチ上にあり得る。従って、第1のブランチから分れた全ての第2世代のブランチは、第2のブランチ及びそのブランチの前に、レビューすることができる。
さらに別の計算は、提案されたトリム位置アルゴリズムを含むことができる。アルゴリズムはセグメンテーションの半径評価に基づいて、示唆または提案されたトリム位置を示す中心線ツリー上のポイントを配置することができる。提案されたトリム位置は、分岐から血管の末端ポイントへの中心線の最後のセグメントを意味する、すべての中心線葉血管にあり得る。従って、中心線がツリーに追加されるとき、新たな示唆されたトリム位置は、それぞれ新たに作成された葉血管について計算することができる。
例えば、ユーザーが内腔タスク700から中心線タスク600に戻る場合、内腔モード720で選択されたセクションは、同様に中心線モード620において自動的に選択され得る。すべての他のタスクに関して、中心線モード620で最後に訪問したセクションは、ユーザーが中心線タスク600に戻るときにユーザーに提示されるインタフェースであり得る。ほとんどの場合、「最後に訪問したセクション」は、トポロジーツリーであることができる。一実施形態では、Accept Section 635は、中心線上で使用されるツールが中心線セクションの受諾を無効にするまで、利用不可またはアクセス不可であり得る。
一実施形態では、中心線タスク600がアクティブであるとき、プログレスバーが中心線タブに重なることができる。バーは、全体のツリーに対して現在表示されているセクションの数を追跡することができる。さらなるセクションが追加されると、プログレスバーは正しいパーセンテージに応じて更新することができる。同様に、各セクションがレビューされて受諾されると、すべてのセクションがレビューされて受諾されるまでバーを自動的に埋めることができる。
図6Cは、本開示の例示的な実施形態に係る、中心線標識化モード640の表示である。一実施形態では、中心線標識化モード640は、ユーザーが主血管の標識を識別することができるユーザーインターフェースをユーザーに提供することを含むことができる。一実施形態では、標識は、おそらく内腔タスク700で使用される正確な順序付けを決定するのに使用することができる。さらに重要なことには、標識はFFRct値を報告する最終レポートで使用することができる。例えば、標識は、以下の順序:RCA、LAD、LCX、及びRamus、で識別することができる。これらの標識は、事前ソルバー/ソルバー計算において血管の固有膨張係数を設定するのに使用することができる。さらなる実施形態では、標識はFFRctレポートに標識化を通知することができる。一実施形態では、ユーザーはすべての標識をレビューし、内腔タスク700に進むために標識を受諾するかまたは拒否する、のいずれかをすることができる。言い換えると、そのような実施形態は、内腔タスク700をアクティブにする前に、少なくとも1つの受諾された標識を有するそれぞれ血管を含むことができる。
一実施形態では、中心線標識化モード640は、VR 661である表示を含むことができる。VR 661は、クロッピングのための2つの利用可能なマスク、例えば、心臓マスクと大動脈マスクを有することができる。各標識は、血管の間で分化し、分離するための独特の色及び/またはタグを有することができる。一実施形態では、中心線モード620で定義された中心線は、VR 661に表示することができる。
一実施形態では、中心線標識化タスク640はVR 661のための完全なナビゲーションコントロールを含むことができる。一実施形態では、ラベルは一貫して選択することができるので、ナビゲーションを有効にするためにスペースバーを使用することができる。VR 661は、ナビゲーション画面で中心線ポイントのMPRとの同期を特徴とすることができる。画像間の中心線ポイントを同期させるために、ユーザーは、再中心配置が生じ得る中心線ポイントをダブルクリックすることができる。
一実施形態では、中心線標識化タスク640は、標識リスト663を含むことができる。標識リスト663は、選択された標識にナビゲートするのに使用することができる。標識は標識リスト663から選択されると、標識はハイライト表示することができ、VR 661は、選択された標識が表示された中心線を表示するために、最適な角度に回転することができる。
中心線標識化モード640で利用可能なツールは、標識の更新及び標識のステータスの変更のためのツールを含むことができる。新しい中心線で中心線標識を更新するのに、ユーザーはVR 661から中心線を選択することができる。選択された中心線は、選択された標識で更新することができる。標識を正しいとして受諾するために、ツール、Accept Label 665が利用可能であり得る。標識が存在しない(例えば、患者がRCAを有しない)場合、例示的なツール、Clear Label、が提供され得る。どちらの場合も、標識のステータスは、それぞれ、受諾または標識のクリアのいずれかに変更することができ、標識リスト663における次の標識を選択することができる。例えば、標識リスト663におけるLAD標識はRCAの標識の選択に続いて選択され得る。プロセスは、標識リスト663内のすべての標識について繰返すことができる。一実施形態では、標識自体も選択することができる。この機能は、ユーザーが標識間で迅速にナビゲートすることを可能にし得る。自動または手動のいずれかの選択の場合、VR 661は血管中心線を表示するように自動的に回転することができる。いつでも、既存の標識を有する中心線が選択される場合、中心線は、現在選択された標識で更新することができる。以前の標識はクリアすることができる、中心線は「未レビュー」の更新されたステータスを有することができる。
クロッピング用のマスクが、さらに、標識の識別の助けとなることができる。一実施形態では、心臓分離マスク667がクロッピング用のデフォルトのマスクであることができる。心分離マスク669からのクロッピングが解釈できない場合、大動脈マスク667が代替クロッピングマスクを提示することができる。いずれのマスクも満足のいく結果を与えない場合、ユーザーはその上にVR 661のナビゲーション画面の表示を再中心配置するポイントを選択することができる。一実施形態では、ユーザーは血管中心線をダブルクリックしてポイントを選択することができる。一実施形態では、この任意選択は、心臓分離マスク667及び大動脈マスク669の両方が、ユーザーに血管標識を正しく識別するための十分な情報を提供できない場合に使用される、最後の手段であることができる。一実施形態では、すべての血管の標識を受諾またはクリアした後、ツール、例えば、Accept All Labels 651が表示され得る。Accept All Labels 651の選択は、次のタスク、内腔タスク700をアクティブにすることができる。一実施形態では、任意の標識が未レビューであり、及び/または任意の標識のステータスが任意の未レビューの標識を含む場合、Accept All Labels 651は使用不可のままであり得る。
一実施形態では、バックグラウンドの計算が、標識化タスク自体で生じると予期することはできない。しかし、中心線の順序は中心線標識化モード640の標識化タスクの出力から再定義することができる。そのような中心線の再順序付けは、セクションの再順序付け及び再計算をもたらし得る。これらの変更は内腔タスク700に影響を及ぼすことができる。
内腔タスク700から中心線標識化モード640に戻るとき、標識及びステータスはユーザーが中心線標識化モード640を離れるときと同じであり得る。標識が変更されるか、または異なる血管が選択されるまで、最初の標識を選択することができ、Accept All Labels 651はアクセス不能であることができる。ユーザーが中心線タスク600に戻って任意の編集を行う場合、中心線標識化アルゴリズムを再実行することができる。次いで、中心線標識化モード640に移行すると、正しい標識化を確実にするために、標識は再検査することができる。
一実施形態では、中心線標識化モード640がアクティブであるとき、プログレスバーが中心線標識化タブに重なることができる。各標識の受諾またはクリアは、各標識はプログレスバーの25%としてカウントし得ることを意味して、全体の最終に向かって均等にカウントすることができる。中心線標識化モード640ディスプレイについては、標識はデフォルトとして、自動的に選択することができる。従って、ナビゲーションは、標識間のスペースバーの移動に制約され得る。言い換えると、中心線標識化モード640は、血管が標識を有しなくてもよい実施形態を有することができる。一実施形態では、中心線の選択はマウスボタンのデフォルトの動作であり得る。
図7Aは、本開示の例示的な実施形態に係る、例示的な内腔タスク700のブロック図である。内腔タスク700は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、内腔タスク700は内腔セグメントに使用することができる。一実施形態では、内腔タスク700は、CFD計算のために使用することができる境界条件の定義に対して、内腔セグメンテーションを生成することができる。中心線タスク600のように、ユーザーは、RCAで開始し、内腔をセクションに分割し、次いでLAD及びLCXツリーのレビューを通じて同じステップに進むことができる。一実施形態では、血管の順序付けは、例えば、中心線標識化モード640でなされた変更のために、中心線タスク600における順序付けから変更することができる。一実施形態では、セクションは、血管の近位端から遠位端にレビューすることができる。
一実施形態では、内腔タスク700は、各小孔及び小孔の各中心線のレビューを含むことができる。具体的には、そのようなレビューは、各セクションをレビューすることによって生じ得る。例えば、内腔タスク700は、各セクションをレビューして評価することで開始するができる(ステップ701)。次いで、ユーザーは、セクション編集するための任意選択を提示され得る(ステップ703)。一実施形態では、ユーザーではセクションを編集しないことを決定することができる。次いで、ユーザーは、セクションを受諾することを選択することができる(ステップ705)。あるいは、ユーザーは、セグメンテーションを編集する任意選択を入力することができ(ステップ707)、その後、セクションを表示して評価し、及びセクションが編集を使用することができるかどうかを確認するために、ステップ701で再び、内腔タスク700が開始することができる。
図7Bは、本開示の例示的な実施形態に係る、内腔モード720の表示である。一実施形態では、内腔モード720はsCPR721、3つのMPR723、及びISO725を含むことができる。一実施形態では、2×2配列で残りの空間を分割するMPR723及びISO725とともに、sCPR721はウィンドウの左側に配置され得る。一実施形態では、ISO725は、底部右にあることができる。
一実施形態では、sCPR 721は、近位方向は画面の上部にあり、遠位方向が底部にあるように、配向され得る。ズームが固定され得るが、中心線の長さに応じて適応させることができる。MPR 723の1つのMPRは血管の長手方向の表示を表示することができ、その表示は現在の中心線ポイントに中心配置され得る。表示は、画面の上部に向かって中心線接線の近位方向を有するように配向され得る。ズームは、固定することもできるが、全体セクションを表示することができる。MPR 723の別のMPRは、断面表示または中心線に直交する血管の表示を示すことができる。中心ポイントは、ズームが固定され得る中心線ポイントであることができる。MPR 723のさらに別のMPRは、データセットのz軸に平行な表示を意味する、側面図を示すことができる。表示は、表示の中心線ポイントに中心配置することができ、表示は、前方方向が画面の上部に向かうように配向され得る。ズームは固定することもできる。一実施形態では、ISO 725はセクションの等値面を示すことができる。ISO 725は、MPR 723の上部左のMPRと同じ、中心配置、向き、回転、及びズームを保持することができる。
一実施形態では、主要なナビゲーションツールはInspector Gadget 727を含むことができる。一実施形態では、Inspector Gadget 727は、選択されたセクションでのみアクティブであることができる。Inspector Gadget 727が回転すると、MPR723 及びsCPR721は回転することができ、再中心配置動作がInspector Gadget 727を使用して実行されると、MPR723は、指定された中心ポイントに更新することができる。一例では、すべての3つのMPR723は、回転及び中心配置のために一斉に動作することができる。Inspector Gadget 727に加えて、典型的な制約されたナビゲーションがMPR723上で利用可能である。回転と中心配置は、すべての表示で同期させることができる。
一実施形態では、内腔タスク700は、例示的なツールとして、Smart Paint 729、Nudge 731、及びTube Mode 733を含むことができる。Smart Paint 729は、他のタスクにおける“Smart Paint”とは異なり得る。例えば、Smart Paint 729は、受諾された、または受諾されていない、いずれかのセクションに影響を与えることができるので、Smart Paint 729は、セクションの境界を越えてセグメンテーションに影響を与えることができる。内腔タスク700は、セクションの境界から生じ得るセグメンテーションの切断を軽減することができるのが好ましい。
一実施形態では、Nudge 731は、内腔タスク700に固有の機能を有することもできる。内腔タスク700は、複数のセットの輪郭を含むことができるので、Nudge 731は、ブランチセクションの輪郭ではなく、親セクションの輪郭上で動作することができる。この機能は、Nudge 731が、前のセクション、並びに様々なセットの輪郭を介して、ナビゲーションを軽減する助けとなり得る。従って、分岐部を有する特定のセクションについては、Nudge 731は、親セクションが選択されている場合、遠位分岐ブランチセクションの輪郭に影響を与えることはできない。しかし、選択されたセクションが遠位ブランチセクションである場合、Nudge 731は、親セクションの輪郭に影響を与え得る。一実施形態では、Tube Mode 733がセクションの間の動作を可能にすることができる。Tube Mode 733は、より半自動的なアルゴリズムで画像アーチファクト及び障害を解決するために使用されるツールであることができる。一実施形態では、内腔タスク700はセグメンテーションのセクションベースの受諾も特徴とすることができる。内腔のセグメンテーションすべてのセクションは、ファイナライズタスク800がアクティブにされる前に、受諾され得る。例えば、続くセクションは、ユーザーセクションを受諾した後に、レビューのために提示され得る。一旦全てのセクションの受け入れられると、ファイナライズタスク800が1つの典型的なワークフローで自動的に開始することができる。
一実施形態では、内腔タスク700は、中心線標識化モード640からの順序に応じてセクションを再順序付けすることができる。RCA中心線の最初のセクションが、最初にレビューされたセクションとして、デフォルトであることができる。各セクションについて、ユーザーは、セグメンテーションが正しいかどうかを決定することができる。Smart Paint 729は、マイナーな変更をするために、ユーザーに提供され得る。Nudge 731が最初に使用されている場合、Smart Paint 729を使用する後続の編集は、Nudge 731によってなされた前の編集をオーバーライドすることができる。一実施形態では、内腔タスク700は、異なるセットの輪郭を有する異なる中心線パスを含むことができる。編集を容易にするために、輪郭の分離が決定され得る。一実施形態では、編集ツール(例えば、Smart Paint 729及びNudge 731)は、様々な階層の異なる輪郭を修正する助けとなり得る。このように、ユーザーは、ワークフローの後の部分の表示によって容易に行うことができる詳細な作業を行うために、前のセクションに戻る機会を減少させることを助けることができる。一実施形態では、Smart Paint 729は、未レビューのまたはレビューされたセクションに対して使用することができる。一実施形態では、Nudge 731は、近位のまたは接続しているブランチの輪郭上で動作することができる。これは、Nudge 731は、遠位セクションのまたはブランチ血管の輪郭に対しては動作不能であり得るということを、さらなる実施形態において意味する。このように、ユーザーは、Smart Paint 729及びNudge 731を、ブランチセクション上で、両方の輪郭の分岐を修正するのに使用することができる。一実施形態では、Smart Paint 729は、親血管セクション及び親血管セクション上のブランチセクションの輪郭を変更することができるが、Nudge 731は親血管セクションにのみ影響を与えることができる。
一実施形態では、主要な画像アーチファクトが典型的なツールを使用してセグメンテーションが計算される方法に影響を与えるときに、Tube Mode 733を使用することができる。Tube Mode 733は、Tube Mode 733が様々なセクション全域にわたって1つの直径を使用することができる場合に、セクション全域にわたって使用することができる。セグメンテーションにおける接続性を確保するために、セクションの開始と終了でスムージングを実行することができる。最後のセククションが受諾されると、ファイナライズタスク800が自動的にアクティブになることができ、モデルが生成され得る。モデルでは、個々の輪郭は、単一のメッシュを作成するために統合され得る。前のタスクに戻るために、ユーザーは各タスクに関連付けられているタブを選択することができる。一実施形態では、タスクの様々なモードは、ユーザーがタスクの特定のモードを通過しなければ、使用不可であり得る。内腔タスク700では、内腔モード720は、特に、例示的な内腔タスク700は1つの内腔モード720のみを含むので、すぐに再訪することができる。
一実施形態では、バックグラウンド計算は、ユーザーがファイナライズタスク800に移動しているときに内腔タスク700の完了後に、生じ得る。たとえば、セグメンテーションがモデルに変換されているとき、警告が計算され得る。一実施形態では、内腔セグメンテーションが大動脈セグメンテーションから分離される場合に、警告が生じ得る。別の実施形態では、セグメンテーションにおいてループは検出される場合、警告が生じ得る。
MPR 723及びsCPR 721のInspector Gadget 727に中心配置ポイントを表示することに加えて、内腔タスク700はUI要素を含むことができる。例えば、内腔モード720は、さらに、位置ずれを検出して表示することができる。セクション間の区別をより良く分離するために、選択されたセクションは、他のセクションの輪郭と異なる輪郭インジケーターを有することができる。前述のように、内腔タスク700は、親血管及び隣接するブランチ血管に対して異なるセットの輪郭を含むことができる。従って、様々な輪郭は、異なる色でMPR 723上に表示され得る。
図8Aは、本開示の例示的な実施形態に係る、例示的なファイナライズタスク800のブロック図である。ファイナライズタスク800は、電子ネットワーク100上で医師102及び/または第3者プロバイダ104から受取る情報、画像、及びデータに基づいて、サーバーシステム106によって実行され得る。一実施形態では、ファイナライズタスク800は、トリミングされたモデルを表示し、最終レポートに追加の表示を追加し、及びサーバー上(例えば、サーバーシステム106上)で計算流体力学(CFD)計算を起動するのに使用することができる。ファイナライズタスク800では、ユーザーは、CFDの計算に使用される最終モデルを表示し、前のタスクをキャンセルするかもしくはそれに戻り、またはCFDソリューションを進めることができる。ファイナライズタスク800は、ユーザーがCFDシミュレーションのためのモデルを承認するための最後の検証を提供することができる。一実施形態では、ファイナライズタスク800は、さらに、例えば、最終レポートのために、表示及びFFRct位置を保存するのに使用することができる。いくつかの例では、ファイナライズタスク800は、レポートが許容可能な表示及びFFRctの位置を表示していることを確実にするための重要なステップとして機能することができる。一実施形態では、ユーザーは、モデルの検査のために、一連のステップ801を有するファイナライズタスク800を入力することができる。例えば、ステップ803は、ユーザー全体モデルを表示し、評価することを含み得る。検査は、セグメンテーションの穴及び/または欠失しているピースを探すことを含み得る。例えば、検査はモデル構造が正しいかまたは正確であるとして検証するステップ805を含み得る。ユーザーは、モデルの欠陥を検出するか、またはモデルの任意の部分を修正したい場合、ユーザーは、変更を行うために、前のタスクまたはユーザーインタフェースモードに戻ってナビゲートする、ステップ807を実行することができる。
ユーザーが全体のモデルを承認する場合、ユーザーは最終レポートのための表示の設定に進むことができる。表示は、CFDソリューション及び計算からの情報が提示され、及び/またはアクセスされ得る方法を指示することができる。一実施形態では、保存された表示は、出発点として機能することができ、モデルは、各主要中心線を表示するように配向され得る。さらなる実施形態では、ピンを、任意の狭窄に対して遠位の主中心線上に配置することができる。ピンは、FFRct計算が所望されるモデル上の位置のマーカーとして作用し得る。ピンは、さらに、表示が所望されているモデルの位置を示すことができる。FFRct計算及び表示の両方を、最終レポートに含めることができる。一実施形態では、ユーザーは、全体モデルを承認すると、ステップ809〜815に進むことができる。一例では、ステップ809〜815は、各ピンを検査するプロセスを含むことができる。例えば、ステップ809は各ピンを表示して評価することを含むことができ、ステップ811はピンを編集することを含むことができる。ピンを受諾するか、またはピンをさらに編集するステップ813またはステップ815のいずれかは、それぞれ、ピンを編集するステップ811に続くことができる。一実施形態では、ステップ817〜823は、最終レポートのための表示を設定するプロセスを含むことができる。いくつかのケースでは、表示は、各ピンの位置について表示された表示を含むことができる。ステップ817は各表示を表示して評価することを含むことができ、ステップ819は表示を編集することを含むことができ、次いで、ステップ821と823は、それぞれ、表示を受諾するかまたは表示を編集することのいずれかを含むことができる。すべての変更が完了すると、ファイナライズタスク800がCFDソリューションを起動して、ワークステーションを閉じることができる。
図8Bは、本開示の例示的な実施形態に係る、ファイナライズモード820の表示である。一実施形態では、ファイナライズモード820は、ユーザーがCFDの計算に使用される最終的なモデルを表示することができる例示的なインタフェースを、示すことができる。また、ファイナライズモード820は、キャンセルして前のタスクに戻るか、またはCFDソリューションを続行するかのいずれかのための最後のステップを、ユーザーに提供することができる。一実施形態では、ファイナライズモード820は、前のタスクから生成された内腔のトリミングされたメッシュモデル825及び大動脈セグメンテーションを特徴とすることができる。一実施形態では、モデル825は任意の軸で回転させることができるので、表示は最終レポート用に適切に設定することができる。モデルのパンニングは、ファイナライズモード820に設けられた任意選択でもあり得る。いくつかの実施形態では、ファイナライズモード820は、いくつかのナビゲーションツール、例えば、再中心配置ためのツールを含むことができない。
一実施形態では、ファイナライズモード820は、既存の向きを表示として保存する、保存された表示をリコールする、保存された表示を削除する、及び保存された表示を上書きするための方法を含む、最終レポートのための表示を生成して保存するためのツールを特徴とし得る。これらのツールは、例えば、Add View 827、Save View 829、及びDelete View 831を含むことができる。ファイナライズモード820は、さらに、FFRctピンを配置するためのツール(例えば、ツール、Add Pin 833)を含むことができる。一実施形態では、ファイナライズタスク800は、モデルがアナリストのワークスペースを出る前の最終チェックを意味する、ワークステーションの最後のタスクとして機能することができる。モデルが検証されて完了として承認される場合、最終編集は行われず、すべての表示が設定され、ユーザーは、ファイナライズモード820からCFDソリューションを起動することができる。例えば、ユーザーはワークステーションを閉じて、CFDソリューションを起動するのにAccept Model 835を使用することができる。ユーザーが前のタスクに戻ることを望む場合、タスクバー837は、前のタスクにナビゲートするのに使用することができる。
内腔タスク700からファイナライズタスク800への移動は、多数のバックグラウンド計算を含むことができる。一実施形態では、1つのバックグラウンド計算は、単一のセグメンテーションを作成するための複数の独立したセグメンテーションの和集合を含むことができる。さらなるバックグラウンド計算は、セグメンテーションのトリミング及び/または境界条件面、例えば、大動脈入口、大動脈出口、及びすべての血管の出口、を定義すること、を含むことができる。大動脈入口及び出口は、内腔タスク700から中心線に従って定義することができる。出口は、大動脈入口面を含み、少なくともある程度、環状にすることができる。いくつかの実施形態では、大動脈入口面は、他の出口よりもより環状であり得る。トリミングに加えて、他のバックグラウンド計算は、「標準」RAO/LAOの向きに基づく表示の計算を含むことができる。表示は、自動的に計算及び/またはユーザーによって調整することができる。表示が自動であれ、ユーザー作成したものであれ、チューブ角度を計算して保存することができる。さらに、バックグラウンド計算はFFRmlの計算を含むことができる。いくつかの実施形態では、ファイナライズモード820のモデル825は計算されたFFRmlを表示することができる。
一実施形態では、ファイナライズモード820は、ユーザーが最終モデルを設定してレビューする助けとなる、いくつかのユーザーインターフェース要素を含むことができる。たとえば、「標準」のCT管の向きで事前に記録された表示が表示可能であり得る。モデルを回転して保存する場合、そのときのチューブの向きは自動的に表示に保存され得る。さらに、中心線標識は、ユーザーが、正確性または妥当性のために標識をチェックし、各メイン血管がFFRctピンでマークされていることを保証するための最後の機会として機能するように、表示され得る。別のユーザーインターフェース要素は、プログレスバーを含むことができる。各保存または準備された表示の受諾は、より多くの表示が追加され、各表示の割合が新しい合計で調整できるように、プログレスバーの同一の部分としてカウントすることができる。ファイナライズタスク800のプログレスバーは、ファイナライズモード820でのみ可視であり得る。
図9は、本開示の例示的な実施形態に係る、ナビゲートモード900の表示である。ナビゲートモード900を使用して、ユーザーは、内腔及び心筋セグメンテーションの実際の処理とは別に、二次表示画面と対話することができる。捜査している視覚化のロックダウンされた表示が十分な情報を提供せず、フルナビゲーション、ウィンドウ、または代替シリーズが必要とされる場合、ユーザーにより多くの情報を提供するために、ナビゲートモード900が利用可能であり得る。一実施形態では、ナビゲートモード900は、自由にナビゲートして、ユーザーにできるだけ多くの情報を提供することを可能にすることができる。同時に、ワークステーションは、ガイド付きワークフローを提供することを意図している。ナビゲートモード900はガイド付きワークフローを介して案内を提供する意図を妨げ得るので、ナビゲートモード900は、最初は非表示にすることができる。しかし、例えば、ガイド付きワークフローに従って提供された表示が、正確にセグメンテーションを行うのに十分な情報を提供し得ない状況では、ナビゲートモード900は、ユーザーがデータを表示するのを助けるために利用可能であり得る。
ナビゲートモード900はユーザーに追加情報を提供するように意図されているので、セグメンテーションに影響を与えるツールは、ナビゲートモード900では提供され得ない。むしろ、表示及びツールは、他のモードで処理されたデータを、例えば、ナビゲートし、測定し、及び日付を表示するために提供され得る。また、情報は様々なシリーズから得ることができるので、ユーザーは、任意の操作画面MPR(例えば、sCPRに依存するMPR、操作画面MPRが利用できなければ、ズームには影響しないであろうが)に表示を並べて表示するために、追加のシリーズを選択することができる。例示的なナビゲートモード900では、他の追加のシリーズを2つまで、表示のために選択することができる(例えば、シリーズ903)。
一実施形態では、Copy Operating Viewツールが、操作画面内で、3次元表示で設けられ得る。このツールは、ナビゲートモード900のMPR表示内の再中心配置ポイントを、操作画面内の選択された再中心配置ポイントに変更し、ナビゲート画面でMPR表示を冠状面、矢状面、及び横断面を表示するように再配向させ、ナビゲートモード900における既存のズームレベルに影響を及ぼさないようにすることができる。操作画面のaMIP表示上のCopy Operating Viewツールは、ナビゲートモード900のMPR表示内の再中心配置ポイントを中心線に沿った再中心配置ポイントに変更し、aMIP中心線に直交したナビゲートモード900のMPR表示を配向させ、及び、おそらく、ナビゲートモード900のMPR表示のズームレベルをaMIPに依存して任意の操作画面のMPRに変更することができる。
一実施形態では、ナビゲートモード900は、2×2のレイアウトで配置された3つのMPRとVR表示を含むことができる。MPRは、最初は横方向、冠状、及び矢状面を示し得る。また、MPRは、画像ボリューム中心に基づいて中心配置され得る。初期表示として、MPRは、画像ボリュームが表示の少なくとも1つを満たすように、最初にズームすることができる。MPRは、自動プリセットに設定された同じウィンドウ/レベルを有し得る。3つのMPRは中心配置ポイント、ズーム、ウィンドウ/レベルを共有し得る。任意の時点で表示されている面が直交して保たれるように、3つのMPR間で回転を同期させることができる。
一実施形態では、VR表示は、全データセットを表示することができるが、特定のセグメンテーションでクロップされたデータを表示するために、クロッピングのプリセットが存在し得る。VRは、優れた方向が画面の上部に向かって維持されるように配向され得る。VRはVRデータの中心が表示の中心になるように中心配置することができ、及びVRは全データセットが表示されるようにズームすることができる。
一実施形態では、完全なナビゲーションがすべての表示で利用可能であり得、ここでMPR及びVRは、再中心配置、ズーミング、パンニング、回転、及びウィンドウの任意選択を含むことができる。ユーザーは、MPR表示は横断面、冠状面、及び矢状面に再配向するが、中心配置ポイント、ズーム、ウィンドウはそのままであるように、向きをリセットすることもできる。ユーザーは、ホームナビゲーション機能をアクティブにすることもでき、ここで、ホームコマンドは、MPR表示が横断面、冠状面、及び矢状面に再配向するように向きをリセットし、中心配置ポイントをデータセットの中央にリセットし、全データセットを包含するようにズームをリセットし、ウィンドウを維持することができる。
一実施形態では、ナビゲートモード900は、操作画面に表示される情報によって、画面表示をある程度同期するための任意選択をユーザーに提供することもできる。操作画面内の任意の表示をダブルクリックすることにより、対応する画像をナビゲートモード900に表示することができる。この機能は、Copy Operating Viewの機能の一部であり得る。たとえば、ユーザーが操作画面におけるMPR表示でダブルクリックすると、ナビゲートモード900の1つのMPRは、現在操作画面に表示されているものを複製するために、ズーム、再中心配置ポイント、及び向きを変更することができる。操作画面のCPRまたはsCPR表示上のCopy Operating Viewは、ナビゲートモード900のMPR表示の再中心配置ポイントを中心線に沿った再中心配置ポイントに変更し、sCPR中心線に直交したナビゲートモード900のMPR表示を配向させ、及びナビゲートモード900のMPR表示のズームレベルをsCPRに依存して任意の操作画面のMPRに変更することができる。
一実施形態では、ナビゲートモード900で利用できるツールは、いくつかのセクション、例えば、シリーズ選択セクション、ナビゲートセクション、測定ツールのセクション、及びオーバーレイ任意選択のセクション、に分けることができる。シリーズ選択ツール901については、3シリーズ903まで選択可能であり得る。シリーズが選択されると、ナビゲートモード900に表示されたデータは、選択したシリーズに更新され得る。その他の表示プロパティ(中心配置ポイント、ウィンドウ、ズームレベル、などのような)は、シリーズの変化によって影響され得ない。一実施形態では、ユーザーは、シリーズのディスプレイの下のチェックボックス905から内腔と心筋処理のためのシリーズを表示して選択することもできる。
ナビゲートセクションはデータをナビゲートするためのいくつかのツールが含むことができる。例えば、ツール、Reset Orientation 907は、アクティブにされると、MPR表示を再配向させることができる。例えば、Reset Orientation 907は、既存のズーム、ウィンドウ幅及びウィンドウレベルを維持しながら、冠状面、矢状面、及び横断面を表示するように、MPR表示に指示することができる。アクティブにされると、Home 909は、冠状面、矢状面、及び横断面を表示するようにMPR表示を配向させ、全体画像ボリュームを包含するようにズームをリセットし、並びに既存のウィンドウ幅及びウィンドウレベルを維持することができる。アクティブにされると、ツール、Crosshairs 911は、MPR表示にいくつかの十字線を表示することができる。MPR上でナビゲーションが実行されるときに、十字線は着色及び/または自動的に更新され得る。いくつかのケースでは、十字線は連続的に同期させることができる。アクティブにされると、Window Level 913は、ユーザーが、左から右、上部から底部にカーソルをドラッグすると、それぞれ、ウィンドウ幅とウィンドウレベルを調整することができる。アクティブにされると、Copy Operating WL 915は、ナビゲートモード900におけるMPR表示のウィンドウ幅とウィンドウレベルを、動作画面に現時点で存在する同じウィンドウ幅とウィンドウレベル設定に調整することができる。WL Preset 917では、プリセットの選択は、ナビゲートモード900内の全てのMPRのウィンドウを、特定のウィンドウ/レベルプリセットに調整することができる。プリセットの選択は、表示された厚さで、MIPをオンまたはオフにすることができる。
一実施形態では、別のセクションは様々な測定ツールを含むことができる。例えば、Caliper 919は、ユーザーがナビゲートモード900のMPR表示に測定線を配置することを可能にすることができる。アクティブにされると、ツール、Profile Graph 921は、ユーザーがナビゲートモード900におけるMPR表示の線に沿ってハンスフィールドユニットを表示するグラフを配置することを可能にすることができる。キャリパーとプロファイルグラフは、2つの測定ツール間で切替えるためにトグルすることができる。アクティブにされると、Hide All 923は、現在選択されている画像ボリュームのすべての測定結果を非表示にすることができる。アクティブにされると、Remove All 925は、現在選択されている画像の測定結果を削除することができる。
さらに別のセクションは、ナビゲートモード900での画面表示のためのいくつかのオーバーレイの任意選択を含むことができる。3D表示では、利用可能な任意選択は、「全体」、「心臓」及び「血管のみ」を含むことができる。アクティブにされると、Full 927は、心臓分離マスクによってクロップされた選択画像ボリュームのボリュームレンダリングを表示することができる。アクティブにされると、Vessels Only 929は、冠動脈セグメンテーションによってクロップされた選択画像ボリュームのボリュームレンダリングを表示することができる。MPR表示の場合は、利用可能な任意選択は、「オフ」、「LV」及び「血管」を含むことができる。アクティブにされると、Off 931は、心筋タスク500で行われた作業を表示することができる。アクティブにされると、Vessels 933は、大動脈タスク300、中心線タスク600、及び/または内腔タスク700で行われた作業を表示することができる。ナビゲートモード900の最後のセクションは、全体ケースのために実行される動作を含むことができる。前の作業をアンドゥー及びリドゥーするために、リストを使用することができる(例えば、操作画面で実行される動作)。いくつかのケースでは、リストも、Operating History 935によってアクティブにされ得る。一実施形態では、リストを入力して、ケース全体で共有することができるので、シリーズの切替え及び他のシリーズで実行された動作さえも保存することができる。
一実施形態では、ナビゲートモード900のバックグラウンド計算は、測定ツールに対して実行される計算を含むことができる。例えば、Caliper 919は、2Dの長さ測定ツールを設定し、設定された線の長さをミリ単位で表示することができる。Profile Graph 921は、設定された線の下にボクセルのハンスフィールドユニットを表示することができる。
一実施形態では、ナビゲートモード900は、ナビゲートモード900に固有のいくつかのユーザーインターフェース(UI)要素を含むことができる。まず、シリーズの表示のために、ナビゲートモード900内の現在表示されているデータセットを、ハイライト選択によって示すことができる。いくつかのケースでは、ナビゲートモード900に表示されるシリーズは操作画面に表示されるシリーズと異なり得る。操作画面に表示されるシリーズは、操作画面で現在アクティブになっているタスクに応じて、内腔処理のために、または心筋処理のために選択され得る。選択されたケースまたはシリーズは、ツールのシリーズ選択セットの下のチェックボックスのセットによって示すことができる。また、各アルゴリズムの信頼性は、出力されて選択インジケーターの隣に表示され得る。
本発明の他の実施形態は、本明細書に開示された本発明の明細及び実施の考慮から当業者には明らかであろう。明細書及び実施例は、以下の特許請求の範囲によって示される本発明の真の範囲及び精神により、単なる例示としてみなされることが意図されている。

Claims (15)

  1. 医療画像注釈を操作するコンピュータ実装方法であって、前記方法は、
    個々の解剖学的構造の少なくとも一部の画像を受取ることと、
    前記個々の解剖学的構造の少なくとも前記一部の前記画像内でプロセッサによって自動的に識別された解剖学的特徴を注釈する注釈のセットを生成することと、
    前記注釈のセットのうちの少なくとも2つの注釈間の依存性の順番を、前記注釈のセットのうちの前記少なくとも2つの注釈の各々に関連した前記解剖学的特徴に基づいて決定することであって、前記依存性の順番は、前記画像を受取ることの前に事前に構成され、前記解剖学的特徴は、大動脈、血管中心線、および血管内腔のうちの1つ以上を含み、前記少なくとも2つの注釈は、第1の注釈および第2の注釈を含み、前記依存性の事前に構成された順番は、前記第2の注釈の識別が、前記第1の注釈の事前識別または前記第1の注釈に対する修正に基づくように、定義される、ことと、
    前記注釈のセットに関連した1つ以上の重要なパラメータを決定することであって、前記パラメータは、前記注釈のサイズ、前記注釈の形状、前記注釈の外観、前記注釈の密度、または前記注釈と前記注釈のセットの中の他の注釈との関係のうちの1つ以上を含む、ことと、
    前記1つ以上の重要なパラメータに基づいて前記注釈のセットのサブセットを識別することと、
    前記注釈のセットの前記サブセットを、複数回ユーザーに、前記ユーザーの管理者に、前記ユーザーもしくは前記管理者以外の専門家に、または複数のユーザーに提示することと
    を含む、方法。
  2. 前記順序は、前記注釈のセットのうちの選択された注釈を、前記注釈のセットのうちの別の注釈が前記注釈のセットのうちの前記選択された注釈に従属する場合に、先に提示することを含む、請求項1に記載の方法。
  3. 前記注釈のセットのうちの前記別の注釈を提示することの前に前記注釈のセットのうちの前記選択された注釈に対する検証を要求することをさらに含む、請求項2に記載の方法。
  4. 前記画像注釈の前記セットの前記サブセットに対する検証を要求することをさらに含む、請求項1に記載の方法。
  5. 前記注釈のセットの前記1つ以上の可視化に関連したツールに基づいて前記注釈のセットに対する1つ以上の修正を受けることをさらに含む、請求項1に記載の方法。
  6. 前記注釈のセット内の1つ以上の従属注釈を決定することであって、前記1つ以上の従属注釈は、前記1つ以上の修正に関連する、ことと、
    前記1つ以上の修正に基づいて前記注釈のセット内の前記1つ以上の従属注釈の再計算を決定することと
    をさらに含む、請求項5に記載の方法。
  7. 医療画像注釈を操作するためのシステムであって、前記システムは、
    医療画像注釈を操作するための命令を記憶するデータ記憶装置と、
    前記命令を実行することにより方法を実行するように構成されたプロセッサと
    を備え、
    前記方法は、
    個々の解剖学的構造の少なくとも一部の画像を受取ることと、
    前記個々の解剖学的構造の少なくとも前記一部の前記画像内でプロセッサによって自動的に識別された解剖学的特徴を注釈する注釈のセットを生成することと、
    前記注釈のセットのうちの少なくとも2つの注釈間の依存性の順番を、前記注釈のセットのうちの前記少なくとも2つの注釈の各々に関連した前記解剖学的特徴に基づいて決定することであって、前記依存性の順番は、前記画像を受取ることの前に事前に構成され、前記解剖学的特徴は、大動脈、血管中心線、および血管内腔のうちの1つ以上を含み、前記少なくとも2つの注釈は、第1の注釈および第2の注釈を含み、前記依存性の事前に構成された順番は、前記第2の注釈の識別が、前記第1の注釈の事前識別または前記第1の注釈に対する修正に基づくように、定義される、ことと、
    前記注釈のセットに関連した1つ以上の重要なパラメータを決定することであって、前記パラメータは、前記注釈のサイズ、前記注釈の形状、前記注釈の外観、前記注釈の密度、または前記注釈と前記注釈のセットの中の他の注釈との関係のうちの1つ以上を含む、ことと、
    前記1つ以上の重要なパラメータに基づいて前記注釈のセットのサブセットを識別することと、
    前記注釈のセットの前記サブセットを、複数回ユーザーに、前記ユーザーの管理者に、前記ユーザーもしくは前記管理者以外の専門家に、または複数のユーザーに提示することと
    を含む、システム。
  8. 前記順序は、前記注釈のセットのうちの選択された注釈を、前記注釈のセットのうちの別の注釈が前記注釈のセットのうちの前記選択された注釈に従属する場合に、先に提示することを含む、請求項7に記載のシステム。
  9. 前記システムは、前記注釈のセットのうちの前記別の注釈を提示することの前に前記注釈のセットのうちの前記選択された注釈に対する検証を要求するためにさらに構成されている、請求項8に記載のシステム。
  10. 前記システムは、前記画像注釈の前記セットの前記サブセットに対する検証を要求するためにさらに構成されている、請求項7に記載のシステム。
  11. 前記システムは、前記注釈のセットの前記1つ以上の可視化に関連したツールに基づいて前記注釈のセットに対する1つ以上の修正を受けるためにさらに構成されている、請求項7に記載のシステム。
  12. 前記システムは、
    前記注釈のセット内の1つ以上の従属注釈を決定することであって、前記1つ以上の従属注釈は、前記1つ以上の修正に関連する、ことと、
    前記1つ以上の修正に基づいて前記注釈のセット内の前記1つ以上の従属注釈の再計算を決定することと
    を実行するためにさらに構成されている、請求項11に記載のシステム。
  13. 医療画像注釈を操作する方法を実行するためのコンピュータ実行可能なプログラム命令を含むコンピュータシステムで使用するための非一時的なコンピュータ可読媒体であって、前記方法は、
    個々の解剖学的構造の少なくとも一部の画像を受取ることと、
    前記個々の解剖学的構造の少なくとも前記一部の前記画像内でプロセッサによって自動的に識別された解剖学的特徴を注釈する注釈のセットを生成することと、
    前記注釈のセットのうちの少なくとも2つの注釈間の依存性の順番を、前記注釈のセットのうちの前記少なくとも2つの注釈の各々に関連した前記解剖学的特徴に基づいて決定することであって、前記依存性の順番は、前記画像を受取ることの前に事前に構成され、前記解剖学的特徴は、大動脈、血管中心線、および血管内腔のうちの1つ以上を含み、前記少なくとも2つの注釈は、第1の注釈および第2の注釈を含み、前記依存性の事前に構成された順番は、前記第2の注釈の識別が、前記第1の注釈の事前識別または前記第1の注釈に対する修正に基づくように、定義される、ことと、
    前記注釈のセットに関連した1つ以上の重要なパラメータを決定することであって、前記パラメータは、前記注釈のサイズ、前記注釈の形状、前記注釈の外観、前記注釈の密度、または前記注釈と前記注釈のセットの中の他の注釈との関係のうちの1つ以上を含む、ことと、
    前記1つ以上の重要なパラメータに基づいて前記注釈のセットのサブセットを識別することと、
    前記注釈のセットの前記サブセットを、複数回ユーザーに、前記ユーザーの管理者に、前記ユーザーもしくは前記管理者以外の専門家に、または複数のユーザーに提示することと
    を含む、非一時的なコンピュータ可読媒体。
  14. 前記順序は、前記注釈のセットのうちの選択された注釈を、前記注釈のセットのうちの別の注釈が前記注釈のセットのうちの前記選択された注釈に従属する場合に、先に提示することを含む、請求項13に記載の非一時的なコンピュータ可読媒体。
  15. 前記方法は、前記注釈のセットのうちの前記別の注釈を提示することの前に前記注釈のセットのうちの前記選択された注釈に対する検証を要求することをさらに含む、請求項14に記載の非一時的なコンピュータ可読媒体。
JP2018205444A 2013-09-25 2018-10-31 自動医療画像注釈の検証及び修正のためのシステム及び方法 Active JP6751427B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361882492P 2013-09-25 2013-09-25
US61/882,492 2013-09-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018000163A Division JP6430669B2 (ja) 2013-09-25 2018-01-04 自動医療画像注釈の検証及び修正のためのシステム及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020136924A Division JP2020191130A (ja) 2013-09-25 2020-08-14 自動医療画像注釈の検証及び修正のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2019053748A true JP2019053748A (ja) 2019-04-04
JP6751427B2 JP6751427B2 (ja) 2020-09-02

Family

ID=51790843

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016516949A Active JP6272618B2 (ja) 2013-09-25 2014-09-24 自動医療画像注釈の検証及び修正のためのシステム、方法及びコンピュータ可読媒体
JP2018000163A Active JP6430669B2 (ja) 2013-09-25 2018-01-04 自動医療画像注釈の検証及び修正のためのシステム及び方法
JP2018205444A Active JP6751427B2 (ja) 2013-09-25 2018-10-31 自動医療画像注釈の検証及び修正のためのシステム及び方法
JP2020136924A Pending JP2020191130A (ja) 2013-09-25 2020-08-14 自動医療画像注釈の検証及び修正のためのシステム及び方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016516949A Active JP6272618B2 (ja) 2013-09-25 2014-09-24 自動医療画像注釈の検証及び修正のためのシステム、方法及びコンピュータ可読媒体
JP2018000163A Active JP6430669B2 (ja) 2013-09-25 2018-01-04 自動医療画像注釈の検証及び修正のためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020136924A Pending JP2020191130A (ja) 2013-09-25 2020-08-14 自動医療画像注釈の検証及び修正のためのシステム及び方法

Country Status (4)

Country Link
US (4) US9304982B2 (ja)
EP (3) EP3846176B1 (ja)
JP (4) JP6272618B2 (ja)
WO (1) WO2015048196A1 (ja)

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014182505A1 (en) 2013-05-10 2014-11-13 Stenomics, Inc. Modeling and simulation system for optimizing prosthetic heart valve treatment
US9589349B2 (en) * 2013-09-25 2017-03-07 Heartflow, Inc. Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction
US9092743B2 (en) 2013-10-23 2015-07-28 Stenomics, Inc. Machine learning system for assessing heart valves and surrounding cardiovascular tracts
US20170169609A1 (en) * 2014-02-19 2017-06-15 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
EP3186784B1 (en) 2014-08-26 2021-10-27 Honeywell International Inc. Annotating three-dimensional displays
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US20160247485A1 (en) * 2015-02-17 2016-08-25 Thomas James Bryce Diagnostic Measuring Tools and Methods
JP6726936B2 (ja) * 2015-05-29 2020-07-22 キヤノンメディカルシステムズ株式会社 医用画像診断システム、サーバー装置及び医用画像表示装置
KR20160143178A (ko) 2015-06-04 2016-12-14 삼성전자주식회사 의료 영상 처리 장치 및 의료 영상 처리 방법
KR102475822B1 (ko) 2015-07-10 2022-12-09 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
EP3359041B1 (en) 2015-10-07 2021-03-03 Koninklijke Philips N.V. Mobile ffr simulation
JP6530695B2 (ja) * 2015-11-20 2019-06-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US10276265B2 (en) * 2016-08-31 2019-04-30 International Business Machines Corporation Automated anatomically-based reporting of medical images via image annotation
US10729396B2 (en) 2016-08-31 2020-08-04 International Business Machines Corporation Tracking anatomical findings within medical images
US11081228B2 (en) 2016-09-06 2021-08-03 International Business Machines Corporation Automatic retrospective review of electronic medical records
US11138790B2 (en) * 2016-10-14 2021-10-05 Axial Medical Printing Limited Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images
GB201617507D0 (en) 2016-10-14 2016-11-30 Axial3D Limited Axial3D UK
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10366490B2 (en) * 2017-03-27 2019-07-30 Siemens Healthcare Gmbh Highly integrated annotation and segmentation system for medical imaging
WO2018177692A1 (en) 2017-03-31 2018-10-04 Koninklijke Philips N.V. Interaction monitoring of non-invasive imaging based ffr
USD855651S1 (en) 2017-05-12 2019-08-06 International Business Machines Corporation Display screen with a graphical user interface for image-annotation classification
US11664114B2 (en) 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
JP7298949B2 (ja) * 2017-06-22 2023-06-27 株式会社根本杏林堂 医用画像処理装置、医用画像処理システムおよび医用画像処理方法
JP7017220B2 (ja) * 2017-06-22 2022-02-08 株式会社根本杏林堂 医用画像処理装置、医用画像処理システムおよび医用画像処理方法
US11194852B2 (en) 2017-07-19 2021-12-07 International Business Machines Corporation Rapid cross-validated ground truth annotation of large image datasets for image analytics
CN107296620B (zh) * 2017-07-28 2020-10-16 海纳医信(北京)软件科技有限责任公司 主动脉检测方法、装置、存储介质和处理器
CN118476800A (zh) 2017-10-06 2024-08-13 埃默里大学 用于确定一个或多个动脉节段的血液动力学信息的方法和系统
GB201716890D0 (en) * 2017-10-13 2017-11-29 Optellum Ltd System, method and apparatus for assisting a determination of medical images
US10719702B2 (en) 2017-11-08 2020-07-21 International Business Machines Corporation Evaluating image-text consistency without reference
US11871995B2 (en) 2017-12-18 2024-01-16 Hemolens Diagnostics Sp. Z O.O. Patient-specific modeling of hemodynamic parameters in coronary arteries
EP3618002A1 (en) * 2018-08-30 2020-03-04 Koninklijke Philips N.V. Interactive self-improving annotation system for high-risk plaque burden assessment
EP3762935A1 (en) * 2018-03-08 2021-01-13 Koninklijke Philips N.V. Interactive self-improving annotation system for high-risk plaque burden assessment
CN109602434A (zh) * 2018-03-09 2019-04-12 上海慈卫信息技术有限公司 一种胎儿宫内颅脑影像检测方法
WO2019178054A1 (en) * 2018-03-12 2019-09-19 Carnegie Mellon University Pose invariant face recognition
US11836997B2 (en) * 2018-05-08 2023-12-05 Koninklijke Philips N.V. Convolutional localization networks for intelligent captioning of medical images
US11176415B2 (en) 2018-05-09 2021-11-16 Figure Eight Technologies, Inc. Assisted image annotation
US11017266B2 (en) 2018-05-09 2021-05-25 Figure Eight Technologies, Inc. Aggregated image annotation
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
US10799716B2 (en) 2018-10-18 2020-10-13 Varian Medical Systems International Ag Streamlined, guided on-couch adaptive workflow
JP6912788B2 (ja) 2018-11-09 2021-08-04 ルニット・インコーポレイテッドLunit Inc. アノテーション作業の管理方法、それを支援する装置およびシステム
US10672510B1 (en) * 2018-11-13 2020-06-02 Biosense Webster (Israel) Ltd. Medical user interface
US11127138B2 (en) * 2018-11-20 2021-09-21 Siemens Healthcare Gmbh Automatic detection and quantification of the aorta from medical images
US11145059B2 (en) 2018-11-21 2021-10-12 Enlitic, Inc. Medical scan viewing system with enhanced training and methods for use therewith
US11457871B2 (en) 2018-11-21 2022-10-04 Enlitic, Inc. Medical scan artifact detection system and methods for use therewith
US10818386B2 (en) 2018-11-21 2020-10-27 Enlitic, Inc. Multi-label heat map generating system
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
EP3657514A1 (en) * 2018-11-22 2020-05-27 Koninklijke Philips N.V. Interactive iterative image annotation
GB201900437D0 (en) 2019-01-11 2019-02-27 Axial Medical Printing Ltd Axial3d big book 2
US10834306B2 (en) * 2019-01-15 2020-11-10 International Business Machines Corporation Method for a remote control of a radiation detection apparatus
US10813612B2 (en) 2019-01-25 2020-10-27 Cleerly, Inc. Systems and method of characterizing high risk plaques
CN110717498A (zh) * 2019-09-16 2020-01-21 腾讯科技(深圳)有限公司 图像描述生成方法、装置及电子设备
US11462315B2 (en) 2019-11-26 2022-10-04 Enlitic, Inc. Medical scan co-registration and methods for use therewith
CN110989884A (zh) * 2019-11-29 2020-04-10 北京市商汤科技开发有限公司 图像定位的操作显示方法及装置、电子设备和存储介质
US11969280B2 (en) 2020-01-07 2024-04-30 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
WO2021141921A1 (en) 2020-01-07 2021-07-15 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
US20220392065A1 (en) 2020-01-07 2022-12-08 Cleerly, Inc. Systems, methods, and devices for medical image analysis, diagnosis, risk stratification, decision making and/or disease tracking
EP3866107A1 (en) * 2020-02-14 2021-08-18 Koninklijke Philips N.V. Model-based image segmentation
US11205287B2 (en) 2020-03-27 2021-12-21 International Business Machines Corporation Annotation of digital images for machine learning
US11189375B1 (en) * 2020-05-27 2021-11-30 GE Precision Healthcare LLC Methods and systems for a medical image annotation tool
US12061994B2 (en) 2020-08-11 2024-08-13 Enlitic, Inc. Inference process visualization system for medical scans
CN112418263A (zh) * 2020-10-10 2021-02-26 上海鹰瞳医疗科技有限公司 一种医学图像病灶分割标注方法及系统
US20220139029A1 (en) * 2020-11-05 2022-05-05 Covidien Lp System and method for annotation of anatomical tree structures in 3d images
KR102606914B1 (ko) * 2020-12-22 2023-11-28 주식회사 인피니트헬스케어 다수 관심 영역의 레이블링 및 컨투어링의 검증을 지원하는 시스템 및 방법
EP4033451A1 (en) 2021-01-20 2022-07-27 Siemens Healthcare GmbH Interactive image editing using signed distance fields
GB202101908D0 (en) 2021-02-11 2021-03-31 Axial Medical Printing Ltd Axial3D pathology
US11669678B2 (en) 2021-02-11 2023-06-06 Enlitic, Inc. System with report analysis and methods for use therewith
JP2022135392A (ja) * 2021-03-05 2022-09-15 コニカミノルタ株式会社 医用情報管理装置、医用情報管理方法および医用情報管理プログラム
WO2023097314A1 (en) 2021-11-29 2023-06-01 Heartflow, Inc. Systems and methods for processing electronic images for physiology-compensated reconstruction
US20230165544A1 (en) 2021-11-29 2023-06-01 Heartflow, Inc. Systems and methods for processing electronic images using user inputs
EP4202947A1 (en) * 2021-12-21 2023-06-28 Leica Microsystems CMS GmbH Image annotation system and method
US20230289963A1 (en) 2022-03-10 2023-09-14 Cleerly, Inc. Systems, devices, and methods for non-invasive image-based plaque analysis and risk determination
CN117710796A (zh) * 2022-09-08 2024-03-15 上海西门子医疗器械有限公司 标注任务管理方法及标注任务管理系统

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758893B2 (ja) * 1999-04-03 2006-03-22 コニカミノルタホールディングス株式会社 画像診断支援装置
US6819785B1 (en) 1999-08-09 2004-11-16 Wake Forest University Health Sciences Image reporting method and system
US6785410B2 (en) * 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
JP2001161679A (ja) * 1999-11-03 2001-06-19 Siemens Ag 検査対象物の像情報の表示方法
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US7244230B2 (en) * 2002-11-08 2007-07-17 Siemens Medical Solutions Usa, Inc. Computer aided diagnostic assistance for medical imaging
JP2004357866A (ja) * 2003-06-03 2004-12-24 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び表示制御方法
US7233330B2 (en) * 2003-11-03 2007-06-19 Siemens Corporate Research, Inc. Organ wall analysis with ray-casting
US7536044B2 (en) * 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
WO2006081386A2 (en) * 2005-01-26 2006-08-03 New Jersey Institute Of Technology System and method for steganalysis
US20110110568A1 (en) * 2005-04-08 2011-05-12 Gregory Vesper Web enabled medical image repository
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
WO2007056601A2 (en) * 2005-11-09 2007-05-18 The Regents Of The University Of California Methods and apparatus for context-sensitive telemedicine
US8014576B2 (en) * 2005-11-23 2011-09-06 The Medipattern Corporation Method and system of computer-aided quantitative and qualitative analysis of medical images
US20070211930A1 (en) * 2006-03-09 2007-09-13 Terry Dolwick Attribute based image enhancement and display for medical imaging applications
US7809190B2 (en) * 2006-04-27 2010-10-05 Siemens Medical Solutions Usa, Inc. General framework for image segmentation using ordered spatial dependency
JP5014430B2 (ja) * 2006-08-16 2012-08-29 メビス・ブレストケア・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コムパニー・コマンディットゲゼルシャフト 対象物の画像を提示する提示方法、提示装置、および、コンピュータプログラム
US20080084415A1 (en) * 2006-10-06 2008-04-10 Lutz Gundel Orientation of 3-dimensional displays as a function of the regions to be examined
US20080140722A1 (en) * 2006-11-20 2008-06-12 Vivalog Llc Interactive viewing, asynchronous retrieval, and annotation of medical images
US7962348B2 (en) * 2007-02-15 2011-06-14 Clement C. Darrow, III, legal representative Apparatus, method and software for developing electronic documentation of imaging modalities, other radiological findings and physical examinations
US8654139B2 (en) * 2007-08-29 2014-02-18 Mckesson Technologies Inc. Methods and systems to transmit, view, and manipulate medical images in a general purpose viewing agent
US8520978B2 (en) * 2007-10-31 2013-08-27 Mckesson Technologies Inc. Methods, computer program products, apparatuses, and systems for facilitating viewing and manipulation of an image on a client device
WO2009056147A1 (en) * 2007-10-31 2009-05-07 Aarhus Universitet Method for calculating pressures in a fluid stream through a tube section, especially a blood vessel with atherosclerotic plaque
US20090132285A1 (en) * 2007-10-31 2009-05-21 Mckesson Information Solutions Llc Methods, computer program products, apparatuses, and systems for interacting with medical data objects
US8600771B2 (en) * 2007-11-21 2013-12-03 General Electric Company Systems and methods for generating a teaching file message
US8150113B2 (en) * 2008-01-23 2012-04-03 Carestream Health, Inc. Method for lung lesion location identification
US8275201B2 (en) * 2008-03-06 2012-09-25 Tyco Healthcare Group Lp Image enhancement and application functionality for medical and other uses
WO2010035167A1 (en) * 2008-09-24 2010-04-01 Koninklijke Philips Electronics, N.V. Generation of standard protocols for review of 3d ultrasound image data
US20100082365A1 (en) * 2008-10-01 2010-04-01 Mckesson Financial Holdings Limited Navigation and Visualization of Multi-Dimensional Image Data
US8560968B1 (en) * 2009-03-26 2013-10-15 Vinod Nair Method and apparatus for evaluating a heart patient
US9390236B2 (en) * 2009-05-19 2016-07-12 Koninklijke Philips N.V. Retrieving and viewing medical images
BR112012026477B1 (pt) 2010-04-19 2021-02-02 Koninklijke Philips N.V. método para visualizar um relatório médico descrevendo imagens radiológicas
JP2013526930A (ja) * 2010-05-03 2013-06-27 エスティーアイ・メディカル・システムズ・エルエルシー 子宮頸部新生物検出および診断のための画像分析
US9020235B2 (en) * 2010-05-21 2015-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for viewing and analyzing anatomical structures
US20110311116A1 (en) * 2010-06-17 2011-12-22 Creighton University System and methods for anatomical structure labeling
EP2582302B1 (en) * 2010-06-17 2014-05-14 Koninklijke Philips N.V. Automated heart rate detection for 3d ultrasonic fetal imaging
US9014485B2 (en) * 2010-07-21 2015-04-21 Armin E. Moehrle Image reporting method
US8315812B2 (en) 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
US9119540B2 (en) * 2010-09-16 2015-09-01 Siemens Aktiengesellschaft Method and system for non-invasive assessment of coronary artery disease
US9378331B2 (en) * 2010-11-19 2016-06-28 D.R. Systems, Inc. Annotation and assessment of images
AU2012225661A1 (en) * 2011-03-07 2013-09-19 Health Fidelity, Inc. Systems and methods for processing patient history data
WO2012169344A1 (ja) * 2011-06-10 2012-12-13 株式会社日立メディコ 画像診断支援装置、及び方法
JP6091137B2 (ja) * 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2013152701A (ja) * 2011-12-26 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法
JP5972570B2 (ja) * 2011-12-27 2016-08-17 東芝メディカルシステムズ株式会社 医用画像表示装置及び医用画像保管システム
US9196091B2 (en) * 2012-01-24 2015-11-24 Kabushiki Kaisha Toshiba Image processing method and system
CN103764036B (zh) * 2012-08-31 2016-11-16 东芝医疗系统株式会社 医用诊断图像处理装置
GB201215944D0 (en) * 2012-09-06 2012-10-24 Univ Manchester Image processing apparatus and method for fittng a deformable shape model to an image using random forests
BR112015011288B1 (pt) * 2012-11-20 2022-06-21 Koninklijke Philips N.V. Sistema de diagnóstico por ultrassom para imagear múltiplos planos de um coração fetal; método para imagear por ultrassom uma pluralidade de diferentes planos de imagens selecionados de uma anatomia alvo, em tempo real; e método para imagear por ultrassom uma pluralidade de diferentes planos de imagens selecionados de um coração fetal, em tempo real
US9456874B2 (en) * 2013-02-18 2016-10-04 OrthoGrid Systems, Inc Grid patterned alignment plate for imaging apparatus and method of providing implant placement
JP6461916B2 (ja) * 2013-04-18 2019-01-30 セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド 2d平面投影及び部分的展開表面マッピングプロセスを利用して不整脈を視覚化し分析するためのシステムの作動方法
US9561004B2 (en) * 2013-04-29 2017-02-07 Sectra Ab Automated 3-D orthopedic assessments
US10025479B2 (en) * 2013-09-25 2018-07-17 Terarecon, Inc. Advanced medical image processing wizard
US9275432B2 (en) * 2013-11-11 2016-03-01 Toshiba Medical Systems Corporation Method of, and apparatus for, registration of medical images
KR20150068162A (ko) * 2013-12-11 2015-06-19 삼성전자주식회사 3차원 초음파 영상 통합 장치 및 방법
US10037407B2 (en) * 2015-11-23 2018-07-31 Koninklijke Philips N.V. Structured finding objects for integration of third party applications in the image interpretation workflow

Also Published As

Publication number Publication date
US12051497B2 (en) 2024-07-30
US20200117851A1 (en) 2020-04-16
JP2016539664A (ja) 2016-12-22
EP3451343B1 (en) 2021-02-24
US20150089337A1 (en) 2015-03-26
EP3451343A1 (en) 2019-03-06
JP6430669B2 (ja) 2018-11-28
US9304982B2 (en) 2016-04-05
EP3846176B1 (en) 2024-09-04
US10546049B2 (en) 2020-01-28
US20160104281A1 (en) 2016-04-14
JP2018085127A (ja) 2018-05-31
US20160103816A1 (en) 2016-04-14
JP6751427B2 (ja) 2020-09-02
WO2015048196A1 (en) 2015-04-02
EP3846176A1 (en) 2021-07-07
EP3049975A1 (en) 2016-08-03
JP2020191130A (ja) 2020-11-26
EP3049975B1 (en) 2018-11-07
US10049093B2 (en) 2018-08-14
JP6272618B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
JP6430669B2 (ja) 自動医療画像注釈の検証及び修正のためのシステム及び方法
JP7404450B2 (ja) 画像からの血管の選択方法
US10262416B2 (en) Pathway planning system and method
US9925009B2 (en) Pathway planning system and method
NL1034718C2 (nl) Werkwijze en systeem voor het creeren en gebruiken van een invloed-atlas.
US7940970B2 (en) Method and system for automatic quality control used in computerized analysis of CT angiography
US9443317B2 (en) Image display of a centerline of tubular structure
US20050251021A1 (en) Methods and systems for generating a lung report
US20110245650A1 (en) Method and System for Plaque Lesion Characterization
US9443303B2 (en) Image display of a centerline of tubular structure
US11380060B2 (en) System and method for linking a segmentation graph to volumetric data
EP4156112A1 (en) Computer-implemented method for performing and displaying at least one measurement using medical imaging, data processing device, computer program and electronically readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200814

R150 Certificate of patent or registration of utility model

Ref document number: 6751427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250