JP2020078551A - 医療ユーザインターフェース - Google Patents

医療ユーザインターフェース Download PDF

Info

Publication number
JP2020078551A
JP2020078551A JP2019204483A JP2019204483A JP2020078551A JP 2020078551 A JP2020078551 A JP 2020078551A JP 2019204483 A JP2019204483 A JP 2019204483A JP 2019204483 A JP2019204483 A JP 2019204483A JP 2020078551 A JP2020078551 A JP 2020078551A
Authority
JP
Japan
Prior art keywords
view
user interface
graphical representation
interface screen
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019204483A
Other languages
English (en)
Other versions
JP7460355B2 (ja
Inventor
イリヤ・シュティルバーグ
Shtirberg Illya
アサフ・コーエン
Cohen Assaf
ギル・ジゲルマン
Zigelman Gil
マキシム・ガルキン
Galkin Maxim
イド・イラン
Ilan Ido
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2020078551A publication Critical patent/JP2020078551A/ja
Application granted granted Critical
Publication of JP7460355B2 publication Critical patent/JP7460355B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14Probes or electrodes therefor
    • A61B18/1492Probes or electrodes therefor having a flexible, catheter-like structure, e.g. for heart ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283Invasive
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435Displaying user selection data, e.g. icons in a graphical user interface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00243Type of minimally invasive operation cardiac
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00315Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for treatment of particular body parts
    • A61B2018/00345Vascular system
    • A61B2018/00351Heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636Sensing and controlling the application of energy
    • A61B2018/00773Sensed parameters
    • A61B2018/00839Bioelectrical parameters, e.g. ECG, EEG
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • A61B2034/2053Tracking an applied voltage gradient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/254User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0295Operational features adapted for recording user messages or annotations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00Catheters; Hollow probes
    • A61M25/01Introducing, guiding, advancing, emplacing or holding catheters
    • A61M25/0105Steering means as part of the catheter or advancing means; Markers for positioning
    • A61M2025/0166Sensors, electrodes or the like for guiding the catheter to a target zone, e.g. image guided or magnetically guided
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • G06T2207/10096Dynamic contrast-enhanced magnetic resonance imaging [DCE-MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Abstract

【課題】医療ユーザインターフェースにおける3D解剖学的構造の画像の表示を提供する。【解決手段】解剖学的構造の3D画像を形成する医療機器と、ユーザインターフェースと、プロセッサであって、3D画像に基づいて解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、解剖学的構造に関連付けられたそれぞれの位置を有する複数のフィーチャのリストを生成し、グラフィカル表現の第1のビューを表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、リストからフィーチャを選択する入力を受信することと、第1のビューから、グラフィカル表現上のそれぞれの位置における選択されたフィーチャを表示する第2のビューへと自動的に回転されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするプロセッサとを含むシステム。【選択図】図1

Description

本発明は、医療ユーザインターフェースに関し、特に、医療ユーザインターフェースにおける3D解剖学的構造の画像の表示に関する。
様々な身体部分の医用画像を、例えば、X線撮影法、磁気共鳴映像法(magnetic resonance imaging、MRI)、医療超音波検査又は超音波、内視鏡検査、エラストグラフィー、触覚イメージング、サーモグラフィー、医療用撮像技術及び核医学機能撮像技術などの様々な方法で形成することが可能である。
コンピュータ断層撮影(computed tomography、CT)、MRI及び超音波スキャンソフトウェアが医師向けの三次元(three-dimensional、3D)画像を生成できるようにするために、ボリュームレンダリング技術が開発されてきた。従来のCTスキャン及びMRIスキャンでは、フィルム上に二次元(two-dimensional、2D)の静的出力が生成される。3D画像を生成するために、多くのスキャンが行われ、次いでコンピュータによって結合されて3Dモデルが生成され、その後医師が操作することができる。3D超音波は、幾分似た技術を使用して生成される。
Liangらの米国特許公開第2010/0316268号は、医用画像から生成され、レンダリングされた3D空間で提供される1つ以上の解剖学的構造の手術前評価の手順、並びに、この手順に従って動作する撮像システム、装置及びコンピュータプログラムについて記載している。この手順は、レンダリングされた3D空間内に、それぞれが器官内の各解剖学的構造に対応する形状を有し、各解剖学的構造からの所定の大きさの安全マージンを有する、1つ以上の安全マージンインジケータを設けることを含む。この手順は、レンダリングされた3D空間内の安全マージンインジケータうちの少なくとも1つの安全マージンの所定の形状及び大きさのうちの少なくとも一方を操作し、少なくとも1つの安全マージンインジケータの操作されたバージョンのレンダリングを3D空間内に直ちに提供することを更に含む。また、撮像システムを使用して1つ以上の医療解剖学的構造を切除するために、少なくとも1つの切断面を規定する手順も提供される。
Bar−Avivらの米国特許公開第2009/0028403号は、身体器官のソース医用画像を解析するシステムを記載している。このシステムは、三次元以上のソース医用画像を取得するための入力ユニット、ソース医用画像から身体器官の複数のフィーチャを取得するように設計されたフィーチャ抽出ユニット及び、フィーチャに従って優先レベルを推定するように設計された分類ユニットを含む。
Geigerの米国特許公開第2003/0152897号は、構造の内腔内の仮想内視鏡の視点をナビゲートする方法を記載している。この方法は、仮想内視鏡の初期視点を求めるステップであって、初期視点は第1の中心点及び第1の方向を有する、ステップと、初期視点から内腔への最長光線を求めるステップであって、最長光線は第1の最長光線方向を有する、ステップと、初期視点の第1の方向と第1の最長光線方向との間の第2の方向を求めるステップと、視点を第2の方向に向け、初期視点を初期視点の第1の方向に第1の所定距離だけ移動させるステップと、視点の第2の中心点を計算するステップと、視点を第2の中心点へと移動させるステップと、を含む。
本開示の一実施形態によれば、生体被験者の身体内の解剖学的構造の三次元(3D)画像を形成するように構成された医療機器と、ディスプレイ及び入力デバイスを含むユーザインターフェースと、プロセッサであって、3D画像に基づいて、解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各フィーチャはそれぞれの位置を有する、ことと、解剖学的構造のグラフィカル表現の第1のビューを表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、第1のビューを表示している間に、リストからフィーチャを選択する入力をユーザインターフェースから受信することと、第1のビューから、グラフィカル表現上のそれぞれの位置における選択されたフィーチャを表示する第2のビューへと自動的に回転されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、を行うように構成されたプロセッサと、を含むシステムが提供される。
更に、本開示の一実施形態によれば、プロセッサは、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
更に、本開示の一実施形態によれば、プロセッサは、選択されたフィーチャをユーザインターフェース画面表示のパネルの中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
加えて、本開示の一実施形態によれば、プロセッサは、第1のビューから第2のビューへと自動的に回転され、かつ選択されたフィーチャを拡大するように第2のビューで自動的にズームインされている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
更に、本開示の一実施形態によれば、プロセッサは、複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値からフィーチャリストの少なくとも一部を生成するように構成されている。
更に、本開示の一実施形態によれば、医学的読み取り値は、カテーテルの位置、カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(Electrocardiogram、ECG)が実行された位置、アブレーションが実行された位置、又はアブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む。
更に、本開示の一実施形態によれば、システムは、複数の電極を含み、かつ、アブレーションを実行するように構成されているプローブを含む。
加えて、本開示の一実施形態によれば、プロセッサは、注釈をグラフィカル表現のそれぞれの位置に追加することを指示する入力をユーザインターフェースから受信するように構成されており、プロセッサは、注釈をフィーチャリストに追加するように構成されている。
更に、本開示の一実施形態によれば、注釈は、形状の周囲を形成する。
更に、本開示の一実施形態によれば、プロセッサは、注釈を注釈の形状の重心に基づいて中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
本開示の更に別の一実施形態によれば、生体被験者の身体内の解剖学的構造の三次元(3D)画像を受信することと、3D画像に基づいて、解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各フィーチャはそれぞれの位置を有する、ことと、解剖学的構造のグラフィカル表現の第1のビューを表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、第1のビューを表示している間に、リストからフィーチャを選択する入力をユーザインターフェースから受信することと、第1のビューから、グラフィカル表現上のそれぞれの位置における選択されたフィーチャを表示する第2のビューへと自動的に回転されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイに上レンダリングすることと、を含む方法が提供される。
更に、本開示の一実施形態によれば、方法は、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることを含む。
加えて、本開示の一実施形態によれば、方法は、選択されたフィーチャをユーザインターフェース画面表示のパネルの中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることを含む。
更に、本開示の一実施形態によれば、方法は、第1のビューから第2のビューへと自動的に回転され、かつ選択されたフィーチャを拡大するように第2のビューで自動的にズームインされている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることを含む。
更に、本開示の一実施形態によれば、生成することは、複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値からフィーチャリストの少なくとも一部を生成することを含む。
更に、本開示の一実施形態によれば、医学的読み取り値は、カテーテルの位置、カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又はアブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む。
加えて、本開示の一実施形態によれば、方法は、アブレーションを実行することを含む。
更に、本開示の一実施形態によれば、方法は、注釈をグラフィカル表現のそれぞれの位置に追加することを指示する入力をユーザインターフェースから受信することと、注釈をフィーチャリストに追加することと、を含む。
更に、本開示の一実施形態によれば、注釈は、形状の周囲を形成する。
更に、本開示の一実施形態によれば、方法は、注釈を注釈の形状の重心に基づいて中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることを含む。
本開示の更に別の一実施形態によれば、ディスプレイ及び入力デバイスを含むユーザインターフェースと、プロセッサであって、生体被験者の身体内の解剖学的構造の三次元(3D)画像に基づいて解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各フィーチャはそれぞれの位置を有する、ことと、解剖学的構造のグラフィカル表現の第1のビューを表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、第1のビューを表示している間に、リストからフィーチャを選択する入力をユーザインターフェースから受信することと、第1のビューから、グラフィカル表現上のそれぞれの位置における選択されたフィーチャを表示する第2のビューへと自動的に回転されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、を行うように構成されている、プロセッサと、を含むシステムが提供される。
加えて、本開示の一実施形態によれば、プロセッサは、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
更に、本開示の一実施形態によれば、プロセッサは、選択されたフィーチャをユーザインターフェース画面表示のパネルの中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
更に、本開示の一実施形態によれば、プロセッサは、第1のビューから第2のビューへと自動的に回転され、かつ選択されたフィーチャを拡大するように第2のビューで自動的にズームインされている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
更に、本開示の一実施形態によれば、プロセッサは、複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値からフィーチャリストの少なくとも一部を生成するように構成されている。
加えて、本開示の一実施形態によれば、医学的読み取り値は、カテーテルの位置、カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又はアブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む。
更に、本開示の一実施形態によれば、プロセッサは、注釈をグラフィカル表現のそれぞれの位置に追加することを指示する入力をユーザインターフェースから受信するように構成されており、プロセッサは、注釈をフィーチャリストに追加するように構成されている。
更に、本開示の一実施形態によれば、注釈は、形状の周囲を形成する。
更に、本開示の一実施形態によれば、プロセッサは、注釈を注釈の形状の重心に基づいて中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングするように構成されている。
本開示の更に別の一実施形態によれば、プログラム命令を記憶した非一時的なコンピュータ可読媒体を備えるソフトウェア製品であって、命令は、中央処理装置(CPU)によって読み込まれると、CPUに、生体被験者の身体内の解剖学的構造の三次元(3D)画像に基づいて、解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各フィーチャはそれぞれの位置を有する、ことと、解剖学的構造のグラフィカル表現の第1のビューを表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、第1のビューを表示している間に、リストからフィーチャを選択する入力をユーザインターフェースから受信することと、第1のビューから、グラフィカル表現上のそれぞれの位置における選択されたフィーチャを表示する第2のビューへと自動的に回転されている解剖学的構造のグラフィカル表現を表示するユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、を行わせる、ソフトウェア製品が提供される。
本発明は、を添付の図面と併せると、以下の詳細な説明から理解されるであろう。
本発明の一実施形態に従って構築され動作する医療用撮像システムの部分絵画部分ブロック図である。 図1の医療用撮像システムで使用するユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示の概略図である。 注釈の追加を示す図2のユーザインターフェース画面表示の概略図である。 図1の医療用撮像システムの動作方法における例示的なステップを含むフローチャートである。
概説
心腔などの身体部分の三次元(3D)画像を二次元(2D)画面上に表示しようとすると、3D画像の特定のアイテムを、ユーザがユーザインターフェースを使用して手動で回転させずに、また画像を目視で確認せずに位置と特定することは、しばしば困難である。これには時間がかかり、その結果、誤ったアイテムを識別してしまう、又は正しいアイテムを識別するのが遅くなる可能性がある。場合によっては、医療ミスが発生するおそれがあり、医療処置の最中に、そのようなミスは、タイムリーで正しい決断を下すことが医療処置の成功のために不可欠であるケースでは致命的となり得る。
本発明の実施形態は、選択されたフィーチャが現在表示されていなくても、ユーザがフィーチャのリスト(又はフィーチャリスト)から解剖学的構造のフィーチャを選択できるようにするユーザインターフェース画面表示を含むシステムを提供する。解剖学的構造のグラフィカル表現は、選択されたフィーチャが画面上でユーザに対して表示されるまで、システムによって自動的に回転される。ユーザが解剖学的構造の他のフィーチャに対する選択されたフィーチャの位置のコンテキストを確認するために、システムは、回転している解剖学的構造を、選択されたフィーチャが表示されるまで表示する。上記の方法で、隠れて見えないフィーチャであっても迅速かつ正確に発見することが可能であり、したがって人為的ミス要因が低減される。
解剖学的構造は一般に球形ではないため、単にグラフィカル表現を回転させるだけでは、選択されたフィーチャが適正に表示されない可能性がある。したがって、いくつかの実施形態では、システムは更に、グラフィカル表現を自動的に平行移動(シフト)させて、選択されたフィーチャを、限定はされないが例えば画面上の表示パネルの中央に、より適正に表示する。ユーザが選択されたフィーチャの位置のコンテキストを確認するために、システムは画面上に平行移動(シフト)されている解剖学的構造を表示する。
いくつかの実施形態では、システムが、選択されたフィーチャをより見やすくし、ユーザが選択されたフィーチャの位置のコンテキストを確認するために、選択されたフィーチャへとズームインしてもよい。したがって、システムは、画面上で拡大されている解剖学的構造を表示することが可能である。
解剖学的構造のグラフィカル表現は、一般に、医療機器によって形成される解剖学的構造の3D画像から導出される。医療機器は、以下により詳細に記載する医学的読み取り値を取ってもよい。そのような医療機器が、例えばCTスキャナ又はMRIスキャナなどの非侵襲的装置や、解剖学的構造に挿入されてこれをマッピングするカテーテルなどの侵襲的装置を含んでもよい。本明細書の文脈及び特許請求の範囲で使用される「3D画像」という用語は、解剖学的構造の3Dスキャン及び3Dマップを含むがこれらに限定されないすべてのそのような種類の3Dデータを包含する。
フィーチャリストは、解剖学的構造に関連付けられた複数のフィーチャを含み、各フィーチャは、解剖学的構造のグラフィカル表現に関してそれぞれの位置を有する。フィーチャは、自動で及び/又は手動で生成されてもよい。
フィーチャリストの自動生成は、例えば、カテーテルの位置、カテーテルの電極(単数又は複数)の位置(単数又は複数)、心電図(ECG)が実行された位置、アブレーションが実行された位置、又はアブレーションの実行が予定されている位置などであるがこれらに限定されない医療機器の医学的読み取り値に基づいて、システムによって実行されてもよい。フィーチャリストは、フィーチャの一般的な説明を、例えば、カテーテル位置X、アブレーションポイントY又は予定されているアブレーションZを含んでもよい。フィーチャリストが、例えば詳細な位置座標、電気的読み取り値、アブレーションのタイミング又は温度などであるがこれらに限定されないより詳細な情報を更に含んでもよい。
加えて、又は代わりに、フィーチャリストは、ユーザが解剖学的構造のグラフィカル表現上の様々なそれぞれの位置でグラフィカル表現に注釈を追加することによって生成されてもよい。注釈は、アイコン、形状又は更には自由形式の注釈を含んでもよい。ユーザは、フィーチャリストに追加された各注釈に好適な説明テキストを追加して、追加された注釈をユーザが簡単に選択できるようにしてもよい。
システムの説明
参照により本明細書に援用される文書は本出願の一体部分と見なされるべきであり、いずれかの用語が、それらの援用された文書内で、本明細書で明示的又は暗示的に行われる定義と相反するように定義される場合を除き、本明細書における定義のみが考慮されるべきである。
ここで図面を参照すると、最初に参照する図1は、本発明の一実施形態に従って構築され動作する医療用撮像システム10の部分絵画部分ブロック図である。医療用撮像システム10は、生体被験者の身体内の解剖学的構造の三次元(3D)画像を形成する医療機器を含む。解剖学的構造は、例えば手足又はその一部、内臓又は任意の他の好適な身体部分であるがこれらに限定されないいかなる好適な解剖学的構造であってもよい。図1〜図10の例では、心臓12が、本発明のいくつかの実施形態を例示するために使用される解剖学的構造として示されている。解剖学的構造の3D画像は、図2〜図11により詳細に説明するように、ユーザインターフェース画面表示への入力として使用される。3D画像を、以下に図1を参照しながら本明細書中に記載する、(例えば心臓12などの)解剖学的構造の3D画像を、マッピング技術を使用し、プローブ14の位置に基づいて形成することが可能なシステム及び方法を使用して形成してもよい。加えて、又は代わりに、例えば、超音波、磁気共鳴映像法(MRI)又はコンピュータ断層撮影(CT)スキャンを含む任意の好適な医療用撮像方法を使用して3Dスキャンを形成してもよい。
システム10は、患者の血管系を通じて、心臓12の心腔又は血管構造内に操作者16によって経皮的に挿入されるカテーテルなどのプローブ14を備える。典型的には医師である操作者16は、例えば、アブレーション標的部位で、アブレーションを行うために、又は心臓12の1つ以上の心腔の表面上の複数のサンプル位置で経時的に電位を捕捉するために、又は心臓の3D画像を生成するために心臓12の表面上の複数の位置を捕捉するために、プローブ14の遠位先端18を心臓壁と接触させる。その開示が参照により本明細書に援用される、米国特許第6,226,542号及び同第6,301,496号、並びに本願と同一譲受人に譲渡された米国特許第6,892,091号に開示される方法に従って、電気的活動マップが準備され得る。システム10の要素を具現化する1つの市販品は、Biosense Webster,Inc.(33 Technology Drive,Irvine,CA,92618)から市販されているCARTO(登録商標)3システムとして入手可能である。このシステムは、本明細書に説明される本発明の原理を具現化するように、当業者によって変更されてもよい。
例えば電気的活動マップの評価によって異常と判定された領域は、例えば、心筋に高周波エネルギーを印加する遠位先端18の1つ以上の電極に、高周波電流をプローブ14内のワイヤを介して流すなどの熱エネルギーの印加によって、アブレーションすることができる。エネルギーは組織に吸収され、組織を電気的興奮性が永久に失われる温度(一般的には約50℃)まで加熱する。成功裏に行われた場合、この処置によって心臓組織に非伝導性の損傷部が形成され、この損傷部が、不整脈を引き起こす異常な電気経路を遮断する。本発明の原理は、異なる心腔に適用されて、多数の異なる心不整脈を診断及び治療することができる。
プローブ14は、典型的には、ハンドル20を備えており、このハンドル上に好適な制御部を有して、操作者16がアブレーションを行うためにプローブ14の遠位先端18の操舵、位置決め及び方向付けを所望のとおりに行うことを可能にする。操作者16を補助するために、プローブ14の遠位部分には、コンソール24内に配置されたプロセッサ22に信号を供給する位置センサ(図示せず)が収容されている。プロセッサ22は、後述のようないくつかの処理機能を果たすことができる。
アブレーションエネルギー及び電気信号を、プローブ14の遠位先端18に又はその遠位先端の近傍に配置された1つ以上のアブレーション電極32を通して、コンソール24に至るケーブル34を介し、心臓12との間で伝達することができる。このような方法で、プローブ14のアブレーション電極32は、心臓12の1つ以上の心腔の表面上の複数のサンプル位置で経時的に電位を捕捉するように構成されている。加えて、又は代わりに、他の電極が、心臓12の1つ以上の心腔の表面上の複数のサンプル位置で経時的に電位を捕捉するように構成されていてもよい。ペーシング信号及び他の制御信号は、コンソール24から、ケーブル34及び電極32を介して、心臓12へと伝達され得る。また、コンソール24に接続されている検知電極33は、アブレーション電極32の間に配設されて、ケーブル34への接続部を有する。プローブ14は、心臓12の1つ以上の心腔の表面上の複数のサンプル位置で経時的に電位を捕捉するように構成された電極を有する探索デバイスとして、アブレーション電極32なしで具現化されていてもよい。
ワイヤ接続部35は、コンソール24を、身体表面電極30、並びにプローブ14の位置座標及び方向座標を測定するための位置決めサブシステムの他の構成要素と連結する。プロセッサ22又は別のプロセッサ(図示せず)は、位置決めサブシステムの要素であってよい。参照により本明細書に援用される、Govariらに付与された米国特許第7,536,218号において教示されているように、電極32及び身体表面電極30を使用して、アブレーション部位における組織インピーダンスを測定してもよい。生体電気情報用のセンサ(例えば温度センサ(図示せず)、典型的には、熱電対又はサーミスタ)を、電極32のそれぞれの上に、又は電極32のそれぞれの付近に、載置することができる。
コンソール24には、典型的には、1つ以上のアブレーション発電機25が収容されている。プローブ14は、任意の既知のアブレーション技術を使用して、例えば、高周波エネルギー、超音波エネルギー及びレーザー生成光エネルギーを使用して、心臓にアブレーションエネルギーを伝導するように適合されていてもよい。そのような方法は、参照により本明細書に援用される、本願と同一譲受人に譲渡された米国特許第6,814,733号、同第6,997,924号、及び同第7,156,816号に開示されている。
一実施形態では、位置決めサブシステムは、磁場生成コイル28を使用して、所定の作業体積内に磁場を生成し、プローブ14におけるこれらの磁場を検知することによって、プローブ14の位置及び向きを判定する磁気位置追跡配置を備える。位置決めサブシステムは、参照により本明細書に援用される米国特許第7,756,576号、及び上記の同第7,536,218号に記載されている。
上述のように、プローブ14は、コンソール24に連結されており、これにより操作者16は、プローブ14を観察し、その機能を調節することができる。プロセッサ22は、適切な信号処理回路を備えたコンピュータとして具現化されてもよい。プロセッサ22は、ディスプレイ37を含むモニタ29を駆動するように結合されている。信号処理回路は、典型的には、例えば、プローブ14内の遠位に配置された電気センサ、温度センサ及び接触力センサ等のセンサ並びに、複数の位置検知電極(図示せず)によって生成された信号を含む、プローブ14からの信号を受信、増幅、フィルタリング及びデジタル化する。デジタル化された信号は、コンソール24及び位置決めシステムによって受信され、プローブ14の位置及び向きを計算し、電極からの電気信号を解析するために使用される。
電気解剖学的マップを生成するために、プロセッサ22は、典型的に、電気解剖学的マップ生成器と、画像位置合わせプログラムと、画像又はデータ解析プログラムと、モニタ29上にグラフィカル情報を提示するように構成されたグラフィカルユーザインターフェースと、を備える。
実際には、プロセッサ22のこれらの機能の一部又はすべては、組み合わせて単一の物理コンポーネントとするか、あるいは複数の物理コンポーネントを使用して具現化することが可能である。これらの物理コンポーネントは、ハードワイヤードデバイス又はプログラマブルデバイス、あるいはこれら2つの組み合わせで構成されてもよい。いくつかの実施形態では、プロセッサの機能のうちの少なくとも一部は、好適なソフトウェアの制御下でプログラム可能なプロセッサによって実行されてもよい。このソフトウェアは、例えば、ネットワークを介して電子形態でデバイスにダウンロードされてもよい。加えて又は代わりに、このソフトウェアは、光学的、磁気的、又は電子的記憶媒体などの非一時的コンピュータ可読媒体に記憶されていてもよい。
コンソール24は、ディスプレイ37と、操作者16(又はその他のユーザ)からの入力コマンドを、例えば(スタイラスのマウスなどの)ポインティングデバイス、キーボード及び/又はディスプレイ37内に実装されたタッチセンシティブ画面などであるがこれらに限定されない任意の好適なユーザ入力デバイスを介して受信する入力デバイス39とを備えるユーザインターフェースを更に含んでもよい。
簡略化のために図示されないが、典型的には、システム10は、他の要素を含む。例えば、システム10が、心電図(ECG)モニタであって、ECG同期信号をコンソール24に供給するために、身体表面電極30から信号を受信するように連結されているECGモニタを含んでもよい。上述のように、システム10は典型的には、被験者の身体の外側に貼付された外部貼付式参照パッチ上又は、心臓12内に挿入され、心臓12に対して固定位置に維持される体内配置式プローブ上のいずれかに配置された基準位置センサを更に含む。アブレーション部位を冷却するための液体をプローブ14を通して循環させるための従来のポンプ及びラインが設けられている。システム10は、MRIユニットなどのような外部の画像診断モダリティからの画像データを受信することができ、画像を生成及び表示するためにプロセッサ22に組み込まれる又はプロセッサ22によって呼び出されることができる画像プロセッサを含む。
ここで図2を参照すると、図2は、図1の医療用撮像システム10で使用するユーザインターフェース画面表示100の概略図である。ユーザインターフェース画面表示100は、画像パネル102及びフィーチャリストパネル104を含む。画像パネル102は、(例えば、心臓12(図1)又は任意の他の好適な身体部分などの)解剖学的構造のグラフィカル表現106の1つのビューを含む。グラフィカル表現106は、医療用撮像システム10又は任意の好適な撮像装置によって形成された解剖学的構造の三次元(3D)画像から導出される。グラフィカル表現106は、以前のカテーテル位置、現在のカテーテル位置、ECG位置、アブレーションポイント、予定されているアブレーションポイント又は任意のその他の好適なフィーチャなどの、解剖学的構造に関連付けられた様々なフィーチャを表し得る複数のフィーチャ112を含む。図2に示すフィーチャ112は、環状(2Dのドーナツ形状)として示されている。フィーチャ112は、いかなる好適な形状及び/又は(例えば、色及び/又は陰影などの)形式で表されてもよい。異なる種類のフィーチャ112を、異なる形状及び/又は異なる形式を用いて表示してもよい。簡略化のために、すべてのフィーチャ112は同一の記号を含んでいる。図面では、簡略化のために、フィーチャ112のうちの一部のみにラベルが付けられている。
フィーチャリストパネル104は、解剖学的構造の様々なフィーチャ112を列挙したフィーチャリスト108を含む。各フィーチャ112は、3D画像から導出されることの可能な、又はフィーチャ112が追加されたグラフィカル表現106上の位置に基づく、グラフィカル表現106上のそれぞれの位置を有する。図2に示すように、フィーチャ112のうちの一部はグラフィカル表現106の現在のビュー上に表示されるが、他のフィーチャ112は、これらのフィーチャ112がグラフィカル表現106の図2に示されていない側に配設されているために、現在は見えなくなっていてもよい。ユーザインターフェース画面表示100が依然としてグラフィカル表現106の現在のビューを表示している間に、ユーザは、フィーチャリスト108からフィーチャ112のうちの1つを選択することができる。図2は、ユーザによって操作され、フィーチャリスト108内のアイテム5上に置かれているカーソル110を示している。次に、ユーザは選択アクションを実行して、フィーチャリスト108からアイテム5の表示を選択する。プロセッサ22(図1)は、フィーチャリスト108から(例えばアイテム5などの)フィーチャを選択する入力を、ユーザインターフェースの入力デバイス39から受信するように構成されている。アイテム5がグラフィカル表現106の現在のビューに含まれていないため、図3〜図6を参照して以下に説明するように、グラフィカル表現106を回転させてアイテム5を表示する。
ここで図3〜図9を参照すると、図3〜図9は、選択されたフィーチャの回転、平行移動及びこのフィーチャへのズーミングを示す図2のユーザインターフェース画面表示100の概略図である。図3〜図6は、図2に示されるビューから、選択されたアイテム5、フィーチャ112−5を含む図6に示される新たなビューへと徐々に自動的に回転されるグラフィカル表現106を示す。フィーチャ112−5は最初は図5に示されている。
フィーチャ112−5には、選択されたフィーチャ112であることを示すために丸で囲まれた環が含まれている。図6はまた、環から外側に延びる線上に概ね配設されている複数の正方形(ラベルなし)を示している。正方形は、カテーテルが位置5にあったときのカテーテルの電極位置を表す。
選択されたフィーチャ112−5は、まだ画像パネル102の中央に配置されていない。したがって、いくつかの実施形態では、プロセッサ22は、選択されたフィーチャ112−5が図7に示すように画像パネル102の中央に表示されるように、グラフィカル表現106を自動的に(例えば、上、下、左及び/又は右、あるいはこれらの任意の好適な組み合わせなどに)平行移動(シフト)させる。フィーチャ112−5の中央が、フィーチャ112−5の環の中央によって、又は電極位置を表す環及び正方形を包含する形状の重心によって規定されてもよい。
いくつかの実施形態では、グラフィカル表現106が非球形であるために、グラフィカル表現106があるビューから別のビューへと自動的に回転している間、グラフィカル表現106のどの側であっても、ビュー内に示され、画像パネル102のほぼ中央に位置決めされ続けるように、グラフィカル表現106はまた自動的に、(例えば、上、下、左及び/又は右、あるいはこれらの任意の好適な組み合わせなどに)任意の回数だけ自動的に平行移動(シフト)される。いくつかの実施形態では、ユーザが画像パネル102内のグラフィカル表現106を手動で回転及び平行移動させることが可能である。
いくつかの実施形態では、選択されたフィーチャ112−5のより良いビューを提供するために、グラフィカル表現106が、フィーチャ112−5の平面が画像パネル102の平面と平行になるように、自動的に回転及び/又は平行移動される。フィーチャ112−5の平面は、例えば、フィーチャ112−5の点の最小二乗適合を使用して、様々な点の平均位置を規定する平面として定義されてもよい。
図8〜図9は、フィーチャ112−5のビューを拡大するように拡大された(ズームインされた)グラフィカル表現106を示している。プロセッサ22は、フィーチャリスト108から別のフィーチャ112が選択された場合には、グラフィカル表現106をグラフィカル表現106の新たなビューへと回転させる前に、グラフィカル表現106のビューからズームアウトするように構成されている。いくつかの実施形態では、グラフィカル表現106が縮小又は拡大されなくてもよい。
グラフィカル表現106の回転、平行移動及び拡大縮小を、例えばアフィン変換などであるがこれに限定されない好適な関数を使用して実行してもよい。
ここで図10を参照すると、図10は、注釈112−15の追加を図示した図2のユーザインターフェース画面表示100の概略図である。プロセッサ22(図1)は、ユーザインターフェースの入力デバイス39から、注釈112−15をグラフィカル表現106のそれぞれの位置を追加することを指示する入力を受信するように構成されている。注釈112−15は、形状の周囲を形成する。図10に示される形状は、ユーザがマウス又はスタイラスなどの好適なポインティングデバイスを使用してグラフィカル表現106上に線を描くことにより形成される不規則な形状である。形状は、例えば、長方形、正方形、楕円、円、又は三角形などの規則的な形状を含む任意の好適な形状であってもよい。いくつかの実施形態では、注釈は、記号、グラフィック及び/又は写真を含んでもよい。プロセッサ22は、注釈112−15をフィーチャリスト108に追加するように構成されている。図10の例では、注釈112−5がフィーチャリスト108のアイテム15として追加されている。
プロセッサ22は、新たに追加されたフィーチャ112−15がフィーチャリスト108からユーザによって選択された場合に、注釈112−15の形状の重心114に基づいて注釈112−15を中央に配置するように、グラフィカル表現106の現在のビューから別のビューへと自動的に回転(並びに任意選択的に自動的に平行移動及び/又はズーム)されている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をレンダリングするように構成されている。
ここで図11を参照すると、図11は、図1の医療用撮像システム10の動作方法における例示的なステップを含むフローチャート200である。(医療用撮像システム10に含まれるものなどの)医療機器は、生体被験者の身体内の解剖学的構造の3D画像を(例えばスキャン又はマッピングによって)形成するように構成されている(ブロック202)。いくつかの実施形態では、医療機器は、例えばプローブ14(図1)であるがこれに限定されない好適な装置を使用して医学的読み取り値を実行するように構成されている(ブロック204)。医学的読み取り値は、カテーテルの(現在の又は以前の)位置、カテーテルの少なくとも1つの電極の少なくとも1つの位置、ECGが実行された位置、アブレーションが実行された位置、又はアブレーションの実行が予定されている位置のうちのいずれか1つ以上を含んでもよい。
プロセッサ22は、解剖学的構造に関連付けられたフィーチャ112のフィーチャリスト108(図2〜図10)を生成するように構成されている(ブロック206)。各フィーチャ112は、解剖学的構造及び/又は3Dスキャンのグラフィカル表現106に関してそれぞれの位置を有する。いくつかの実施形態では、プロセッサ22は、フィーチャ112の少なくともいくつかに関して医療機器によって実行された医学的読み取り値から、フィーチャリスト108の少なくとも一部を生成するように構成されている。いくつかの実施形態では、フィーチャリスト108は、以下のブロック218〜ブロック220のステップを参照して説明されるユーザ生成の注釈に基づいて生成される。
プロセッサ22は、3D画像に基づいて、解剖学的構造のグラフィカル表現106(図2〜図10)を含むユーザインターフェース画面表示100(図2〜図10)を準備するように構成されている(ブロック208)。プロセッサ22は、解剖学的構造のグラフィカル表現106の第1のビューを表示するユーザインターフェース画面表示100をディスプレイ37(図1)上にレンダリングするように構成されている(ブロック210)。プロセッサ22は、第1のビューを表示している間に、フィーチャリスト108からフィーチャ112のうちの1つを選択する入力をユーザインターフェースの入力デバイス39から受信するように構成されている(ブロック212)。
プロセッサ22は、第1のビューから、グラフィカル表現106上のそれぞれの位置における選択されたフィーチャ112を表示する第2のビューへと自動的に回転されている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をディスプレイ37上にレンダリングするように構成されている(ブロック214)。いくつかの実施形態では、プロセッサ22は、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をディスプレイ37上にレンダリングするように構成されている。いくつかの実施形態では、プロセッサ22は、選択されたフィーチャ112をユーザインターフェース画面表示100の画像パネル102(図2〜図10)の(水平方向及び/又は垂直方向の)中央に配置するように、第1のビューから第2のビューへと自動的に回転及び自動的に平行移動されている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をディスプレイ37上にレンダリングするように構成されている。いくつかの実施形態では、プロセッサ22は、第1のビューから第2のビューへと自動的に回転(及び平行移動)され、かつ選択されたフィーチャ112を拡大するように第2のビューで自動的にズームインされている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をディスプレイ37上にレンダリングするように構成されている。ブロック212及びブロック214のステップは、ユーザ選択の新たに選択されたフィーチャ112に基づいて繰り返されてもよい(矢印216)。
いくつかの実施形態では、プロセッサ22は、ユーザインターフェースの入力デバイス39から、注釈をグラフィカル表現106のそれぞれの位置に追加することを指示する入力を受信するように構成されている(ブロック218)。注釈は、形状の周囲を形成する。形状は、ユーザがマウス又はスタイラスなどの好適なポインティングデバイスを使用してグラフィカル表現106上に線を描くことにより形成される不規則な形状であってもよい。形状は、例えば、長方形、正方形、楕円、円、又は三角形などの規則的な形状を含む任意の好適な形状であってもよい。加えて又は代わりに、注釈は、記号、グラフィック及び/又は写真を含んでもよい。プロセッサ22は、フィーチャリスト108に注釈を追加するように構成されている(ブロック220)。ブロック218〜ブロック220のステップを繰り返す(矢印222)ことにより、リストに更に注釈を追加してもよい。
更なるフィーチャ112がフィーチャリスト108からユーザによって選択され、ブロック212〜ブロック214のステップを繰り返す(矢印224)ことによって、画像パネル102内でグラフィカル表現106は、選択されたフィーチャ112へと自動的に回転(並びに任意選択的に平行移動及び/又はズーム)されてもよい。選択されたフィーチャ112のうちの1つが、ユーザが追加した注釈を含んでもよい。プロセッサ22は、このような場合に、現在のビューから選択された注釈を含む別のビューへと自動的に回転(並びに任意選択的に自動的に平行移動及び/又は自動的にズーム)されている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をディスプレイ37上にレンダリングするように構成されている。いくつかの実施形態では、プロセッサ22は、選択された注釈を注釈の形状の重心114に基づいて中央に配置するように、現在のビューから別のビューへと自動的に回転及び自動的に平行移動(並びに任意選択的に自動的にズーム)されている解剖学的構造のグラフィカル表現106を表示するユーザインターフェース画面表示100をディスプレイ37上にレンダリングするように構成されている。
明確性のために別々の実施形態の文脈において説明されている本発明の様々な特徴が、単一の実施形態中に組み合わせて提供されてもよいことが理解されるであろう。逆に、説明を簡単にするために単一の実施形態の文脈において説明されている本発明の様々な特徴が、別々に又は任意の好適な部分的組み合せとして提供されてもよい。
上述の実施形態は例として引用したものであって、本発明は上記に具体的に示し説明したものに限定されない。むしろ、本発明の範囲は、本明細書で上記された様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の説明を読むことで当業者により想到されるであろう、先行技術において開示されていないこれらの変形及び修正を含むものである。
〔実施の態様〕
(1) 生体被験者の身体内の解剖学的構造の三次元(3D)画像を形成するように構成された医療機器と、
ディスプレイ及び入力デバイスを含むユーザインターフェースと、
プロセッサであって、
前記3D画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力を前記ユーザインターフェースから受信することと、
前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
を行うように構成されている、プロセッサと、
を備える、システム。
(2) 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様1に記載のシステム。
(3) 前記プロセッサは、前記選択されたフィーチャを前記ユーザインターフェース画面表示のパネルの中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様1に記載のシステム。
(4) 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転され、かつ前記選択されたフィーチャを拡大するように前記第2のビューで自動的にズームインされている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様1に記載のシステム。
(5) 前記プロセッサは、前記複数のフィーチャのうちの少なくともいくつかに関して前記医療機器によって実行された医学的読み取り値から前記フィーチャリストの少なくとも一部を生成するように構成されている、実施態様1に記載のシステム。
(6) 前記医学的読み取り値は、カテーテルの位置、前記カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又は前記アブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む、実施態様5に記載のシステム。
(7) 前記複数の電極を含み、かつ、前記アブレーションを実行するように構成されているプローブを更に含む、実施態様6に記載のシステム。
(8) 前記プロセッサは、注釈を前記グラフィカル表現のそれぞれの位置に追加することを指示する入力を前記ユーザインターフェースから受信するように構成されており、前記プロセッサは、前記注釈を前記フィーチャリストに追加するように構成されている、実施態様1に記載のシステム。
(9) 前記注釈は、形状の周囲を形成する、実施態様8に記載のシステム。
(10) 前記プロセッサは、前記注釈の前記形状の重心に基づいて前記注釈を中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様9に記載のシステム。
(11) 生体被験者の身体内の解剖学的構造の三次元(3D)画像を受信することと、
前記3D画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、
前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力をユーザインターフェースから受信することと、
前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
を含む、方法。
(12) 前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、実施態様11に記載の方法。
(13) 前記選択されたフィーチャを前記ユーザインターフェース画面表示のパネルの中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、実施態様11に記載の方法。
(14) 前記第1のビューから前記第2のビューへと自動的に回転され、かつ前記選択されたフィーチャを拡大するように前記第2のビューで自動的にズームインされている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、実施態様11に記載の方法。
(15) 前記生成することは、前記複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値から前記フィーチャリストの少なくとも一部を生成することを含む、実施態様11に記載の方法。
(16) 前記医学的読み取り値は、カテーテルの位置、前記カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又は前記アブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む、実施態様15に記載の方法。
(17) 前記アブレーションを実行することを更に含む、実施態様16に記載の方法。
(18) 注釈を前記グラフィカル表現のそれぞれの位置に追加することを指示する入力を前記ユーザインターフェースから受信することと、前記注釈を前記フィーチャリストに追加することと、を更に含む、実施態様11に記載の方法。
(19) 前記注釈は、形状の周囲を形成する、実施態様18に記載の方法。
(20) 前記注釈の前記形状の重心に基づいて前記注釈を中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、実施態様19に記載の方法。
(21) ディスプレイ及び入力デバイスを含むユーザインターフェースと、
プロセッサであって、
生体被験者の身体内の解剖学的構造の三次元(3D)画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力を前記ユーザインターフェースから受信することと、
前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
を行うように構成されている、プロセッサと、
を備える、システム。
(22) 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様21に記載のシステム。
(23) 前記プロセッサは、前記選択されたフィーチャを前記ユーザインターフェース画面表示のパネルの中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様21に記載のシステム。
(24) 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転され、かつ前記選択されたフィーチャを拡大するように前記第2のビューで自動的にズームインされている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様21に記載のシステム。
(25) 前記プロセッサは、前記複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値から前記フィーチャリストの少なくとも一部を生成するように構成されている、実施態様21に記載のシステム。
(26) 前記医学的読み取り値は、カテーテルの位置、前記カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又は前記アブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む、実施態様25に記載のシステム。
(27) 前記プロセッサは、注釈を前記グラフィカル表現のそれぞれの位置に追加することを指示する入力を前記ユーザインターフェースから受信するように構成されており、前記プロセッサは、前記注釈を前記フィーチャリストに追加するように構成されている、実施態様21に記載のシステム。
(28) 前記注釈は、形状の周囲を形成する、実施態様27に記載のシステム。
(29) 前記プロセッサが、前記注釈の前記形状の重心に基づいて前記注釈を中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、実施態様28に記載のシステム。
(30) プログラム命令を記憶した非一時的なコンピュータ可読媒体を備えるソフトウェア製品であって、前記命令は、中央処理装置(CPU)によって読み込まれると、前記CPUに、
生体被験者の身体内の解剖学的構造の三次元(3D)画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、
前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力をユーザインターフェースから受信することと、
前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
を行わせる、ソフトウェア製品。

Claims (30)

  1. 生体被験者の身体内の解剖学的構造の三次元(3D)画像を形成するように構成された医療機器と、
    ディスプレイ及び入力デバイスを含むユーザインターフェースと、
    プロセッサであって、
    前記3D画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
    前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
    前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
    前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力を前記ユーザインターフェースから受信することと、
    前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
    を行うように構成されている、プロセッサと、
    を備える、システム。
  2. 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項1に記載のシステム。
  3. 前記プロセッサは、前記選択されたフィーチャを前記ユーザインターフェース画面表示のパネルの中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項1に記載のシステム。
  4. 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転され、かつ前記選択されたフィーチャを拡大するように前記第2のビューで自動的にズームインされている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項1に記載のシステム。
  5. 前記プロセッサは、前記複数のフィーチャのうちの少なくともいくつかに関して前記医療機器によって実行された医学的読み取り値から前記フィーチャリストの少なくとも一部を生成するように構成されている、請求項1に記載のシステム。
  6. 前記医学的読み取り値は、カテーテルの位置、前記カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又は前記アブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む、請求項5に記載のシステム。
  7. 前記複数の電極を含み、かつ、前記アブレーションを実行するように構成されているプローブを更に含む、請求項6に記載のシステム。
  8. 前記プロセッサは、注釈を前記グラフィカル表現のそれぞれの位置に追加することを指示する入力を前記ユーザインターフェースから受信するように構成されており、前記プロセッサは、前記注釈を前記フィーチャリストに追加するように構成されている、請求項1に記載のシステム。
  9. 前記注釈は、形状の周囲を形成する、請求項8に記載のシステム。
  10. 前記プロセッサは、前記注釈の前記形状の重心に基づいて前記注釈を中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項9に記載のシステム。
  11. 生体被験者の身体内の解剖学的構造の三次元(3D)画像を受信することと、
    前記3D画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
    前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
    前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、
    前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力をユーザインターフェースから受信することと、
    前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
    を含む、方法。
  12. 前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、請求項11に記載の方法。
  13. 前記選択されたフィーチャを前記ユーザインターフェース画面表示のパネルの中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、請求項11に記載の方法。
  14. 前記第1のビューから前記第2のビューへと自動的に回転され、かつ前記選択されたフィーチャを拡大するように前記第2のビューで自動的にズームインされている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、請求項11に記載の方法。
  15. 前記生成することは、前記複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値から前記フィーチャリストの少なくとも一部を生成することを含む、請求項11に記載の方法。
  16. 前記医学的読み取り値は、カテーテルの位置、前記カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又は前記アブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む、請求項15に記載の方法。
  17. 前記アブレーションを実行することを更に含む、請求項16に記載の方法。
  18. 注釈を前記グラフィカル表現のそれぞれの位置に追加することを指示する入力を前記ユーザインターフェースから受信することと、前記注釈を前記フィーチャリストに追加することと、を更に含む、請求項11に記載の方法。
  19. 前記注釈は、形状の周囲を形成する、請求項18に記載の方法。
  20. 前記注釈の前記形状の重心に基づいて前記注釈を中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることを更に含む、請求項19に記載の方法。
  21. ディスプレイ及び入力デバイスを含むユーザインターフェースと、
    プロセッサであって、
    生体被験者の身体内の解剖学的構造の三次元(3D)画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
    前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
    前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
    前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力を前記ユーザインターフェースから受信することと、
    前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
    を行うように構成されている、プロセッサと、
    を備える、システム。
  22. 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項21に記載のシステム。
  23. 前記プロセッサは、前記選択されたフィーチャを前記ユーザインターフェース画面表示のパネルの中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項21に記載のシステム。
  24. 前記プロセッサは、前記第1のビューから前記第2のビューへと自動的に回転され、かつ前記選択されたフィーチャを拡大するように前記第2のビューで自動的にズームインされている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項21に記載のシステム。
  25. 前記プロセッサは、前記複数のフィーチャのうちの少なくともいくつかに関して医療機器によって実行された医学的読み取り値から前記フィーチャリストの少なくとも一部を生成するように構成されている、請求項21に記載のシステム。
  26. 前記医学的読み取り値は、カテーテルの位置、前記カテーテルの少なくとも1つの電極の少なくとも1つの位置、心電図(ECG)が実行された位置、アブレーションが実行された位置、又は前記アブレーションの実行が予定されている位置、のうちのいずれか1つ以上を含む、請求項25に記載のシステム。
  27. 前記プロセッサは、注釈を前記グラフィカル表現のそれぞれの位置に追加することを指示する入力を前記ユーザインターフェースから受信するように構成されており、前記プロセッサは、前記注釈を前記フィーチャリストに追加するように構成されている、請求項21に記載のシステム。
  28. 前記注釈は、形状の周囲を形成する、請求項27に記載のシステム。
  29. 前記プロセッサが、前記注釈の前記形状の重心に基づいて前記注釈を中央に配置するように、前記第1のビューから前記第2のビューへと自動的に回転及び自動的に平行移動されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングするように構成されている、請求項28に記載のシステム。
  30. プログラム命令を記憶した非一時的なコンピュータ可読媒体を備えるソフトウェア製品であって、前記命令は、中央処理装置(CPU)によって読み込まれると、前記CPUに、
    生体被験者の身体内の解剖学的構造の三次元(3D)画像に基づいて、前記解剖学的構造のグラフィカル表現を含むユーザインターフェース画面表示を準備することと、
    前記解剖学的構造に関連付けられた複数のフィーチャのフィーチャリストを生成することであって、各前記フィーチャはそれぞれの位置を有する、ことと、
    前記解剖学的構造の前記グラフィカル表現の第1のビューを表示する前記ユーザインターフェース画面表示をディスプレイ上にレンダリングすることと、
    前記第1のビューを表示している間に、前記リストからフィーチャを選択する入力をユーザインターフェースから受信することと、
    前記第1のビューから、前記グラフィカル表現上の前記それぞれの位置における前記選択されたフィーチャを表示する第2のビューへと自動的に回転されている前記解剖学的構造の前記グラフィカル表現を表示する前記ユーザインターフェース画面表示を前記ディスプレイ上にレンダリングすることと、
    を行わせる、ソフトウェア製品。
JP2019204483A 2018-11-13 2019-11-12 医療ユーザインターフェース Active JP7460355B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/188,482 2018-11-13
US16/188,482 US10672510B1 (en) 2018-11-13 2018-11-13 Medical user interface

Publications (2)

Publication Number Publication Date
JP2020078551A true JP2020078551A (ja) 2020-05-28
JP7460355B2 JP7460355B2 (ja) 2024-04-02

Family

ID=68583061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019204483A Active JP7460355B2 (ja) 2018-11-13 2019-11-12 医療ユーザインターフェース

Country Status (10)

Country Link
US (1) US10672510B1 (ja)
EP (1) EP3660792A3 (ja)
JP (1) JP7460355B2 (ja)
KR (1) KR20200056927A (ja)
CN (1) CN111179410A (ja)
AU (1) AU2019232883A1 (ja)
BR (1) BR102019023073A2 (ja)
CA (1) CA3057515A1 (ja)
IL (1) IL269646B (ja)
RU (1) RU2019136074A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857318A (zh) * 2018-12-26 2019-06-07 深圳开立生物医疗科技股份有限公司 基于超声诊断系统的超声图像处理方法、设备及存储介质
US20230270500A1 (en) * 2020-06-29 2023-08-31 Koninklijke Philips N.V. Generating and displaying a rendering of a left atrial appendage
TWI760938B (zh) * 2020-11-25 2022-04-11 客制化科技股份有限公司 直覺訂製系統

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301496B1 (en) 1998-07-24 2001-10-09 Biosense, Inc. Vector mapping of three-dimensionally reconstructed intrabody organs and method of display
US6226542B1 (en) 1998-07-24 2001-05-01 Biosense, Inc. Three-dimensional reconstruction of intrabody organs
US6892091B1 (en) 2000-02-18 2005-05-10 Biosense, Inc. Catheter, method and apparatus for generating an electrical map of a chamber of the heart
US6762755B2 (en) 2000-10-16 2004-07-13 Pixel Science, Inc. Method and apparatus for creating and displaying interactive three dimensional computer images
US20030152897A1 (en) 2001-12-20 2003-08-14 Bernhard Geiger Automatic navigation for virtual endoscopy
US6814733B2 (en) 2002-01-31 2004-11-09 Biosense, Inc. Radio frequency pulmonary vein isolation
US6997924B2 (en) 2002-09-17 2006-02-14 Biosense Inc. Laser pulmonary vein isolation
US7156816B2 (en) 2002-11-26 2007-01-02 Biosense, Inc. Ultrasound pulmonary vein isolation
WO2004061544A2 (en) * 2002-11-29 2004-07-22 Bracco Imaging, S.P.A. Method and system for scaling control in 3d displays
US7783094B2 (en) * 2005-06-02 2010-08-24 The Medipattern Corporation System and method of computer-aided detection
US7536218B2 (en) 2005-07-15 2009-05-19 Biosense Webster, Inc. Hybrid magnetic-based and impedance-based position sensing
US7756576B2 (en) 2005-08-26 2010-07-13 Biosense Webster, Inc. Position sensing and detection of skin impedance
US9373181B2 (en) * 2005-10-17 2016-06-21 Siemens Medical Soultions Usa, Inc. System and method for enhanced viewing of rib metastasis
EP1996959A4 (en) 2006-03-03 2012-02-29 Medic Vision Brain Technologies Ltd SYSTEM AND METHOD FOR PRIORITIZE PRIORITIZATION AND AUTOMATIC ANALYSIS OF MEDICAL IMAGES
US20080117225A1 (en) * 2006-11-21 2008-05-22 Rainer Wegenkittl System and Method for Geometric Image Annotation
GB0708358D0 (en) * 2007-05-01 2007-06-06 Cambridge Entpr Ltd Strain image display systems
EP2175810B1 (en) * 2007-07-27 2016-03-16 Vorum Research Corporation Method, apparatus, media and signals for producing a representation of a mold
EP3872794A1 (en) 2009-05-12 2021-09-01 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment
US20100299155A1 (en) * 2009-05-19 2010-11-25 Myca Health, Inc. System and method for providing a multi-dimensional contextual platform for managing a medical practice
US9259290B2 (en) * 2009-06-08 2016-02-16 MRI Interventions, Inc. MRI-guided surgical systems with proximity alerts
US8665268B2 (en) * 2009-09-22 2014-03-04 Siemens Aktiengesellschaft Image data and annotation processing system
US20110160569A1 (en) * 2009-12-31 2011-06-30 Amit Cohen system and method for real-time surface and volume mapping of anatomical structures
JP5662082B2 (ja) * 2010-08-23 2015-01-28 富士フイルム株式会社 画像表示装置および方法、並びに、プログラム
US8867802B2 (en) * 2011-04-19 2014-10-21 Microsoft Corporation Automatic organ localization
US10037820B2 (en) * 2012-05-29 2018-07-31 Medical Avatar Llc System and method for managing past, present, and future states of health using personalized 3-D anatomical models
US9373087B2 (en) * 2012-10-25 2016-06-21 Microsoft Technology Licensing, Llc Decision tree training in machine learning
RU2692206C2 (ru) 2013-05-09 2019-06-21 Конинклейке Филипс Н.В. Роботизированное управление эндоскопом на основе анатомических признаков
JP6272618B2 (ja) 2013-09-25 2018-01-31 ハートフロー, インコーポレイテッド 自動医療画像注釈の検証及び修正のためのシステム、方法及びコンピュータ可読媒体
CN112120736B (zh) * 2015-05-07 2023-04-18 深圳迈瑞生物医疗电子股份有限公司 三维超声成像方法和装置
CN105662466A (zh) * 2016-01-11 2016-06-15 深圳开立生物医疗科技股份有限公司 一种体位图、添加方法、控制装置及其超声设备
EP3420413A1 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
US11350984B2 (en) * 2017-05-31 2022-06-07 Covidien Lp Systems and methods for thermal ablation distortion detection

Also Published As

Publication number Publication date
EP3660792A3 (en) 2020-09-09
CA3057515A1 (en) 2020-05-13
IL269646A (en) 2020-05-31
CN111179410A (zh) 2020-05-19
IL269646B (en) 2022-02-01
JP7460355B2 (ja) 2024-04-02
BR102019023073A2 (pt) 2020-06-02
US20200152315A1 (en) 2020-05-14
AU2019232883A1 (en) 2020-05-28
KR20200056927A (ko) 2020-05-25
US10672510B1 (en) 2020-06-02
EP3660792A2 (en) 2020-06-03
RU2019136074A3 (ja) 2021-11-01
RU2019136074A (ru) 2021-05-11

Similar Documents

Publication Publication Date Title
JP6719885B2 (ja) 心内信号を利用した位置合わせマップ
KR101061670B1 (ko) 심장에 카테터의 전기생리학적 적용을 시각적 지원을 위한 방법 및 장치
JP5207795B2 (ja) 撮像対象中の対象物をナビゲーションするシステム及び方法
EP3422297B1 (en) System and method for glass state view in real-time three-dimensional (3d) cardiac imaging
JP6456621B2 (ja) マッピングされていない領域の可視化
CN114903591A (zh) 3d医学图像的虚拟现实或增强现实可视化
US20130169624A1 (en) Method for visualizing the quality of an ablation process
EP1787594A2 (en) System and method for improved ablation of tumors
JP2021137564A (ja) 電気生理学的ユーザインターフェース
JP7460355B2 (ja) 医療ユーザインターフェース
JP2009131632A (ja) 解剖学的構造の閃光撮影写真図
JP2021049334A (ja) 3d心内活動提示
JP2007083050A (ja) 心臓の侵襲性検査又は処置の視覚的支援方法
EP3639740B1 (en) Mapping of activation wavefronts
JP5807826B2 (ja) 手術支援装置および手術支援プログラム
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
RU2735068C1 (ru) Система и способ для визуализации на дисплее изображения частично уплощенной поверхности внутренней поверхности полости, а также постоянный машиночитаемый носитель

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460355

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150