JP2019055182A - タッチパッドユーザインタフェースとしての患者の顔 - Google Patents

タッチパッドユーザインタフェースとしての患者の顔 Download PDF

Info

Publication number
JP2019055182A
JP2019055182A JP2018170344A JP2018170344A JP2019055182A JP 2019055182 A JP2019055182 A JP 2019055182A JP 2018170344 A JP2018170344 A JP 2018170344A JP 2018170344 A JP2018170344 A JP 2018170344A JP 2019055182 A JP2019055182 A JP 2019055182A
Authority
JP
Japan
Prior art keywords
patient
face
image
dimensional
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018170344A
Other languages
English (en)
Other versions
JP7330677B2 (ja
Inventor
モシェ・インゲル
Ingel Moshe
オハド・インバル
Inbar Ohad
アクラム・ゾアビ
Zoabi Akram
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2019055182A publication Critical patent/JP2019055182A/ja
Application granted granted Critical
Publication of JP7330677B2 publication Critical patent/JP7330677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 患者の顔を位置合わせし、タッチパッドインタフェースとして使用する方法を提供すること。【解決手段】 方法は、患者の顔の三次元解剖学的画像を取得する工程と、第1の座標系において患者の顔の所定の部位で複数の解剖学的点を識別する工程と、少なくとも1つの所定の部位に少なくとも1つの機能を割り当てる工程と、第2の座標系において患者の顔上のそれぞれの所定の部位における複数の位置を受信する工程と、位置と患者の顔上のそれぞれの解剖学的点とを相関させることで第1及び第2の座標系を位置合わせする工程と、少なくとも1つの割り当てられた機能に対応するコマンドをトリガする工程と、コマンドを電子機器に伝達する工程と、を含む。この方法によって患者の顔を位置合わせするためのシステムが説明される。【選択図】 図1

Description

開示の内容
一態様では、本発明は、患者の顔を位置合わせし、それをタッチパッドユーザインタフェースとして使用するための方法に関する。方法は、患者の顔の三次元解剖学的画像を取得する工程と、第1の座標系において患者の顔のそれぞれの所定の部位に対応する複数の解剖学的点を識別する工程と、少なくとも1つの所定の部位に少なくとも1つの機能を割り当てる工程と、を含む。方法は、第2の座標系において患者の顔上のそれぞれの所定の部位における複数の位置を受信する工程と、位置と患者の顔上のそれぞれの解剖学的点とを相関させることで第1及び第2の座標系を位置合わせする工程と、を更に含む。この方法は、少なくとも1つの割り当てられた機能に対応するコマンドをトリガし、そのコマンドを電子機器に伝達する工程も含む。
一態様では、本発明は、患者の顔を位置合わせし、それをタッチパッドユーザインタフェースとして使用するためのシステムに関する。システムは、位置合わせツールであって、患者の顔上のそれぞれの所定の部位に位置合わせツールを位置決めすることにより第2の座標系における複数の位置を取得するように構成された、位置追跡システムの位置センサを備える位置合わせツールと、プロセッサと、を含む。プロセッサは、患者の顔の三次元解剖学的画像内で、第1の座標系におけるそれぞれの所定の部位に対応する複数の解剖学的点を識別して、少なくとも1つの機能を患者の顔上の少なくとも1つの所定の部位に割り当てるように構成される。プロセッサは、第2の座標系において測定された複数の位置を受信し、位置と患者の顔上のそれぞれの解剖学的点とを相関させることで、第1及び第2の座標系を位置合わせするようにも構成される。プロセッサは更に、少なくとも1つの割り当てられた機能に対応するコマンドを読み出すようにも構成される。
以下の本発明の実施形態の詳細な説明は、添付の図面と併せて読むことでより深い理解が得られるであろう。例示のため、図面には、現在の好ましい実施形態が示されている。しかし、本発明は、図示された正確な配置及び手段に限定されるものでないことは理解される。図面は、以下のとおりである。
本発明の一実施形態による、外科システムの概略図である。 本発明の実施形態による、患者の顔と磁気位置追跡システムの座標系とを位置合わせし、機器を制御するためのユーザインタフェースとして患者の顔を使用するための方法を概略的に示すフローチャートである。 図2の位置合わせ方法で用いられる患者の顔の三次元コンピュータ断層撮影画像の概略図である。 機器を制御するためのユーザインタフェースとして用いられる患者の顔の概略図である。
本開示は、一般に、位置合わせ機器の使い勝手を向上させるために、患者の顔をユーザインタフェースとして利用する方法に関する。
本明細書で使用するとき、用語「位置合わせ」とは、身体の部分と、例えば術前のコンピュータ断層撮影(CT)スキャンから構築された三次元(3D)コンピュータ画像との空間的関係を決定するためのプロセスを指す。手術ナビゲーションシステムは、医療処置中の医師の動きを誘導するために用いられる。
耳鼻咽喉(ENT)外科手術などの特定の医療処置では、関連する器官の解剖学的画像を、位置追跡システムの座標系と位置合わせすることができる。位置合わせを使用して、位置センサが嵌着された外科用ツールを、治療される器官にナビゲートし、視覚化して解剖学的画像にオーバーレイすることができる。原理では、術前位置合わせは、位置追跡システムの位置センサが嵌着された外部の位置合わせツールを使用して行われてもよい。こうしたツールは、患者の顔面上の予め選択された部位(例えば、額、及び2つの頬の中心)に適用することができる。次に、解剖学的画像は、予め選定された部位における組織の測定された位置に基づいて、位置追跡システムの座標系に位置合わせすることができる。
コンピュータ断層撮影イメージング・システム及び位置追跡システムが、当該技術分野で知られている。医用画像を位置合わせする方法は、例えば、参照によってあたかもそれらが完全に記載されているかのように本明細書に組み込まれる米国特許第6,560,354号、及び米国特許出願第15/674,380号で説明されている。米国特許第6,560,354号には、点と表面との加重組み合わせを用いて画像を物理的空間に位置合わせするための装置及び方法が記載されている。X線コンピュータ断層撮影を介して得られる患者の画像は、患者身体で得られる物理的測定値に位置合わせされる。患者身体の異なる部分には、異なる数値の重みが与えられており、例えば、骨の測定値が皮膚の測定値よりも正確であると考えられる場合には、骨には皮膚よりも高い重みを与えることができる。重みは、剛体変換係数を決定する反復位置合わせプロセスで用いられる。
米国特許出願第15/674,380号は、耳鼻咽喉(ENT)位置合わせのための方法及び装置を説明している。本方法は、被検者頭部のボクセルのコンピュータ断層撮影(CT)画像を受信することと、画像を解析し、画像内の患者の目のそれぞれの位置を識別して、それぞれの部位を結合する第1の線分を画定することと、を含む。本方法は、頭部の骨性区分を覆い、第1の線分に対して平行な第2の線分上、かつ第1の線分に直交する第3の線分上に存在するボクセルサブセットを識別することを更に含む。被験者の頭部上の位置を測定するように構成された磁気追跡システムが起動され、また、そのシステム内で動作するプローブが、骨性区分にオーバーレイする頭部の表面の位置を測定するために、骨性区分に近接して配置される。これらの位置とボクセルサブセットとの間の対応が形成され、CT画像と磁気追跡システムとの間の位置合わせが、その対応に応じて生成される。
耳鼻咽喉(ENT)医師などの医師は、看護師の補助なしに医療処置を行う場合が多い。例えば、ENTのマッピング及び位置合わせ処置の場合、ENT医師は無菌環境中で処置を行い、かつ自分自身の洗浄及び殺菌を行う。故に、医師が処置中に手袋を取り外して位置合わせを行い、またマウス又はキーボードをタッチするのは不便である。しかし、それでも医師はコンピュータを使用する必要があり、また、独りで機器と接する場合が多い。したがって、医師は、看護師が在室していない場合に、処置中のコンピュータの使用を容易にする改良されたシステムを必要とする。
提案されるシステムは、患者の顔をタッチパッドユーザインタフェースとして利用する。例えば、ENT位置合わせ処置の間、医師(洗浄及び殺菌された)は、マウス又はキーボードを操作するために手袋を取り外す必要がない。代わりに、医師は、患者の顔及び頭部の他の部分をタッチパッドインタフェースとして使用することができる。
システムの説明
図1は、本発明の一実施形態による、外科システム100の概略図である。システム100は、患者101の頭部内の1つ又は複数の位置センサ(図示せず)の位置を追跡するように構成された磁気位置追跡システムを備える。磁気位置追跡システムは、磁場発生器104と、1つ又は複数の位置センサと、を備える。本明細書で説明するとおり、位置センサは、磁場発生器から検知された外部磁場に応答して位置信号を生成し、処理装置102が、位置追跡システムの座標系における各センサの位置をマッピングすることを可能にする。
この方法及び位置システムは当該技術分野で既知であり、また米国特許第5,391,199号、同第6,690,963号、同第6,484,118号、同第6,239,724号、同第6,618,612号、及び同第6,632,089号、国際公開第96/05768号、並びに米国特許出願公開第2002/0065455号、同第2003/0120150号、及び同第2004/0068178号に記載され、上記の全てが参照によってあたかもそれらが完全に記載されているかのように本明細書に組み込まれる。位置システム100は、位置特定パッド103を備え、位置特定パッド103は、フレーム105上に固定された複数の磁場発生器104を備える。図1を参照すると、パッド103は5つの磁場発生器104を備えているが、任意の他の好適な数の磁場発生器104を用いてもよい。パッド103は、発生器104が患者外部の固定された既知の位置に位置決めされるように、患者101の頭部の下に配置された枕106を備える。システム100はコンソール108を更に備え、コンソール108は好適な信号で磁場発生器104を駆動するように構成されたドライバ回路(図示せず)を備えて、頭部107周囲の所定の作業範囲内で磁場を発生させる。
一実施形態では、システム100は位置合わせツールを備える。位置合わせツール112は、手持ち式ワンドであってもよい。ワンド112は、磁気追跡システムの座標系を予め取得されたコンピュータ断層撮影(CT)画像の座標系と位置合わせするためにシステム100によって使用され得る。位置合わせツール112は、位置測定値を取得するように構成される。
一実施形態では、プロセッサ102は、外部ソースからデータと、ケーブル109を介してワンド112の位置センサから測定値と、を受信し、かつシステム100の他の構成要素を制御するための、好適な前方の(front)及びインタフェース回路を備える汎用コンピュータである。コンソール108は、入力装置113と、データを表示するように構成されているスクリーンディスプレイ114と、を更に備える。
医師110はワンド112を患者の頭部107上の所定の部位に配置してよい。各所定の部位は顔115の一部である。所定の部位は、顔の4分の1又は象限、すなわち右上象限、左上象限、右下象限、若しくは左下象限のうちのいずれか、又は任意の他の好適な識別可能な部分であってよい。例示的な患者の顔115の所定の部位を図4に示す。
一実施形態では、処理装置102は、外部CTシステム(図示せず)を使用して得たコンピュータ断層撮影(CT)画像111を受信する。
処理装置102は、医師を補助する、及び/又はユーザインタフェースとして機能するために、画像111を用いて患者の顔115の表面の画像を入力装置113又はスクリーンディスプレイ114に投影することができる。処理装置102は、CT画像111の様々な部分を区別することができる。処理装置102は、ハウンスフィールド単位(HU)のような任意の好適な基準又は技術を使用して、鼻又は目を識別することができる。処理装置102はCT画像111を解析して識別することができ、更に顔の様々な部分を画定することができる。顔の様々な部分は、図3に示すように、象限201、202、203、及び204であってもよい。
一実施形態では、ワンド112は、患者の顔の所定の部位に配置されると、磁気位置追跡システムの座標系内でこの所定の部位を示す位置信号を生成するように構成される。処理装置102は、各象限201、202、203、及び204の所定の部位で取得された位置信号又は点を記憶する。点の最小数は、それぞれ20、20、12、及び12であってもよい。しかしながら、点の最小数は、これらの値のいずれよりも少なくても多くてもよく、また全ての象限で同じであっても異なっていてもよい。
一実施形態では、処理装置102は、CTシステムの座標系における患者頭部の各所定の部位に対する2つの座標、すなわち「解剖学的点」と、位置追跡システムの座標系における「位置」とを計算するように構成される。解剖学的点は、所定の部位におけるワンド112の位置測定値から導出され、これは磁気位置追跡システムの座標系におけるこの部位における顔の部分の座標を示す。解剖学的点は、CT画像111で識別される、顔の部分の座標を示す。
一実施形態では、処理装置102は、画像111内の解剖学的点と所定の部位の位置とを相関させて、CT画像と位置追跡システムの座標系とを位置合わせするように構成される。
図2は、本明細書に開示される実施形態に基づく、装置を制御するためのユーザインタフェースとして、患者の顔と磁気追跡システムの座標系とを位置合わせするための例示的な方法の工程のフローチャートである。図3は、図2の位置合わせ方法で用いられる患者の顔の3DCT画像の概略図である。図2に示すように、本方法は、患者の顔の画像を取得し、かつ/又は表示画面上に画像を表示する工程S1を含むことができる。画像は、三次元(3D)超音波画像、CT画像、MRI画像、又は当該技術分野で既知の任意の他の撮像技術によって得られた画像であってもよい。
工程S2で、処理装置102は、画像処理ソフトウェアを用いて、図3に示すように、患者の顔111の3D CT画像を解析して、画像上の最高点192を求める。通常、この最高点は患者の鼻の先端に相当する。
工程S3で、処理装置102は、図3に示すように、患者の眼の中心190及び191を求める。両目の中心を求めるための方法は、当該技術分野で既知であり、例えば、参照によってあたかもそれらが完全に記載されているかのように本明細書に組み込まれる、6th International Conference on Industrial and Engineering Applications of Artificial Intelligence and Expert Systemsの議事録(1993,ページ507〜517)中で公開された「Locating the Eyes of the Patient」と題する論文で説明されている。両目の中心を求めるための他の方法を用いてもよい。
工程S4で、処理装置102は、取得した画像内の十字形(┼)内のボクセルを描画する画像処理ソフトウェアを用いて、工程S2及びS3で取得した値を用いて、3D画像111の表面を分析することができる。十字形は、十字(┼)の垂直線194(図3)として患者の鼻梁を含む。垂直線のボクセルを求めるために、プロセッサは工程S2で求められた鼻の先端(最高点)から開始して、鼻の先端192に近接し、かつその垂直方向上方に存在する表面画像111内の極大値を探すことによって、鼻梁の他のボクセル、すなわち鼻の骨性区分を求める。プロセッサはこのプロセスを反復的に継続して、十字形の垂直線194の全部に対応するボクセルを求める。十字形の水平線193に対応するボクセルを求めるために、プロセッサは、工程S3で求められた患者の眼の中心を接続する線から事前設定された垂直距離だけ上方にあるボクセルを選択する。一実施形態では、事前設定された距離は目の中心線から5cm上方であるが、他の実施形態では、距離は5cmより大きくても小さくてもよい。事前設定された距離は、水平線のボクセルが患者の額の骨性区分と重なるように選択される。処理装置102は、工程S3で求められた2つの目の中心を接続する線上方に線193を描画する。処理装置は、線193に直交し、患者の顔の画像上の最高点を通過する線194を描画する。通常、垂直線と水平線のボクセルの両方が1ボクセルの幅を超える。図3に示すように、2つの線は顔の画像を4つの象限の201(右上象限)、202(左上象限)、203(右下象限)、及び204(左下象限)に分割する。
画像解析工程S4で、処理装置102は、工程S2及びS3で取得した値を用いて、工程S1で生成された3D画像111を分析することができる。処理装置は、3D画像111を含むボクセルのセットの4つのサブセットを生成することができる。サブセットのそれぞれは、4つの象限の201(右上象限)、202(左上象限)、203(右下象限)、及び204(左下象限)のそれぞれの象限に対応する。
工程S5で、処理装置102は、図4に示すように、コマンドを定義し、また患者の顔の各象限に機能を割り当てることができる。コマンドは、医療処置に用いられる任意のコマンドであってよい。コマンドは、位置合わせに用いられる、又は位置合わせに関連するコマンドであってよい。例えば、患者の顔の右下象限にタッチすることは、位置合わせプロセス中の「はい」機能に関連付けされてもよく、左下象限をタッチすることは、位置合わせ中の「いいえ」機能に関連付けされてもよい。位置合わせを「再実行」するために、医師が患者の額をタッチしてもよい。割り当てられた機能は、データベースに記憶されてもよく、またコンピュータなどの処理装置によって実行される論理命令又はコマンドの形態で実装されてもよい。データベースは、位置合わせテーブルの形態であってもよい。他のコマンドを用いてもよい。例えば、汎用のコマンド「メニュー」を用いて、追加のコマンドを開いてもよい。「取り消し」を用いて前の操作を元に戻してもよい。「表示/非表示」は、コンテンツ、例えば画像を表示又は隠すために使用することができる。コマンドは、3D CT画像を拡大する、アプリケーションを終了する、又は画面を印刷するためのコマンドであってもよい。
工程S6では、医師110は、位置追跡システムの座標系内の位置を取得するため、患者の顔の各象限内の所定の部位に位置センサを備えるワンド112を配置することができる。一実施形態では、所定の部位は、患者の鼻先端の下方にある点、目に隣接する患者の顔の左側及び右側、並びに両目の間にある点の4つの点を含んでもよい。しかしながら、4つよりも少ない点、例えば2つの点が位置合わせを生成するのに十分であり得る。
工程S7では、処理装置102は、反復最近点(Itirated Closest Point)(ICP)アルゴリズムを用いて、工程S6で取得した点を工程S4で生成されたボクセルのサブセットと相関させることができる。このアルゴリズムは、ボクセルのサブセットを点の参照集合として、また工程6で取得された位置を点のソースセットとして用いる。相関を実行する間、処理装置102は、CTの座標系と位置追跡システムとの間で位置合わせを行うことができる。処理装置102は、工程7で実施された位置合わせが十分に正確であるかどうか、すなわち、ICPアルゴリズムによって生成されたコスト関数に関連付けられる誤差が十分に小さい、例えば事前設定されたしきい値未満であるかどうかをチェックすることができる。条件が肯定を返す場合、医師110が点の取得を中止してもよいことを医師110に知らせる通知がスクリーン114上に提示される。その通知はまた、医師110が、所定の位置をタッチし、CT画像上でこれらの位置をプロセッサにマークさせること、及び/又はこうした位置の間の距離を測定することなどによって、位置合わせの検証を実施することを提案してもよい。条件が否定を返した場合、又は検証が失敗した場合、医師は引き続きワンド112を用いて点を取得する。
工程S8で、医師110は、患者の顔の象限のうちのいずれか1つに位置センサを備えたツールを適用することによって、コマンドをトリガしてもよい。ツールは、コマンドをトリガするために、所定の時間、例えば2〜3秒間、象限の同じ場所に配置されてもよい。ツールは、位置センサをクリックすることによってコマンドをトリガする能力を有してもよい。トリガに応答して、コマンド又は機能は、コンピュータであってもよい処理装置に伝達されてよい。
図4は、一実施形態の機器を制御するためのユーザインタフェースとして用いられる患者の顔の概略図である。図4に示すように、患者の顔は、象限などの仮想領域に分割することができ、ここで特定の仮想領域すなわち象限が、特定のユーザ定義パラメータすなわち機能に割り当てられる。各機能は、処理装置102が読み出して実行することのできるコマンドに対応する。
例えば、提案された位置合わせを医師が受諾するか否かを示すため、医師は患者の右下象限203をタッチすることで「はい」を入力してもよく、又は患者の左下象限204をタッチすることで「いいえ」を入力してもよい。医師は、患者の額の右上象限201又は左上象限202のいずれかを押すことで、位置合わせを「再実行」することができる。一実施形態では、処理装置102は、具体的に割り当てられた機能に対応する患者の顔の各象限を識別するように構成される。
一実施形態では、医師のニーズに対応して、ユーザインタフェースとしての機能を提供するため、患者の顔は、必要なだけの数の仮想区分に分割することができる。
位置合わせプロセスは、外科又は任意の他の医療処置を患者に実施する前に実施される。位置合わせプロセスは、一般的には非無菌環境で実施されるが、無菌環境で実施されてもよい。医療処置は無菌環境で実施され得るが、無菌性のレベルは環境に応じて(例えば手術室、診療室、又は診療所)様々である。医療処置中、医師110は、位置追跡システムの追加の位置センサを備える医療用具112又は手術装置で患者の顔115にタッチすることができる。CT画像が既に位置追跡システムと位置合わせされているため、医師110は、医療用具112を患者の顔115の所定の部位に適用し、コンピュータを用いて特定の操作を実施することができる。医療用具は、顔の位置合わせのために使用されるワンドであってもよく、医療処置中に使用される任意の他の用具であってもよい。医療用具は、処置の種類又は使用される環境に応じて無菌又は非無菌であってもよい。
一実施形態では、処理装置102は、好適な撮像技術を用いて1つ又は複数の画像を受信し、本明細書で説明されるように、これらの解剖学的画像を座標系と位置合わせするように構成される。例えば、好適な撮像技術は、超音波、X線透視、又は磁気共鳴撮像(MRI)であってよい。
図1は、簡潔かつ明瞭にするため、本開示の技術に関する要素のみを示す。システム100は、本開示の技術に直接関係しない追加的なモジュール及び要素を備えることができるため、これらは図1及びその説明から意図的に省略されている。
処理装置102はまた、本明細書に記載された実施形態に従ってシステム100の他の構成要素を制御することができる。処理装置102は、システムによって要求される機能を実施するために、好ましくはソフトウェア及び/又はハードウェア内にプログラムされる。処理装置102は、ソフトウェア用のデータをメモリ内に記憶してもよい。ソフトウェアは、ネットワークを介して電子的形態で処理装置102にダウンロードされてもよく、又は光学的、磁気的、若しくは他の不揮発性記憶媒体などの有形媒体上で提供されてもよい。あるいは、処理装置102の機能の一部又は全てが、専用の又はプログラム可能なデジタルハードウェア部品によって実行されてもよい。
このように、位置合わせ機器の使い勝手を向上させるために、患者の顔をユーザインタフェースとして利用することを可能にするシステム及び方法を説明してきた。かくして、提案されるシステムは、ENT位置合わせ処置などの専門的処置の間、機器の使い勝手を向上させ、その結果、医師は、手袋を取り外すことなく、また看護師の介助なしに機器を操作することができる。
提案されるシステムは、処置中に看護師が在室しないときに、ENT位置合わせなどの様々な医療処置のための無菌環境で用いられる専門的機器の使い勝手を向上させる。医師は、患者の顔をユーザインタフェースとして利用して機器を操作することができるため、医師は、処置中に看護師が不在であることを克服することができる。
本明細書の開示に基づいて多くの変更例が可能であることを理解されたい。特徴及び要素が特定の組み合わせで上に説明されているが、各特徴又は要素は、他の特徴及び要素を用いずに単独で、又は他の特徴及び要素を用いて若しくは用いずに他の特徴及び要素との様々な組み合わせで使用されてもよい。
提供される方法は、汎用コンピュータ、プロセッサ、又はプロセッサコアへの実装を含む。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと協力する1つ若しくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意の他の種類の集積回路(IC)、及び/又は状態機械が挙げられる。このようなプロセッサは、処理されたハードウェア記述言語(HDL)命令及びネットリスト等の他の中間データ(このような命令は、コンピュータ可読可能媒体に記憶させることが可能である)の結果を用いて製造プロセスを構成することにより、製造することが可能である。こうした処理の結果は、本明細書に記載の方法を実装するプロセッサを製造するための、半導体製造プロセスで後に使用されるマスクワークであり得る。
本明細書に提供される方法又はフローチャートは、汎用コンピュータ又はプロセッサによる実施のために非一時的コンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア、又はファームウェアにおいて実施することができる。持続性コンピュータ可読記憶媒体の例としては、ROM、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、磁気媒体、例えば内蔵ハードディスク及びリムーバブルディスク、磁気光学媒体、並びに光学媒体、例えば、CD−ROMディスク及びデジタル多用途ディスク(DVD)が挙げられる。
特定の専門用語は、単に便宜上本明細書の説明において使用されるに過ぎず、限定ではない。「右」、「左」、「上」及び「下」という語は、参照する図面における方向を示している。「1つ(a)」及び「1つ(one)」という語は、特許請求の範囲及び本明細書の対応する部分において使用するとき、特に指定しない限り、参照された項目のうちの1つ以上を含むものとして定義される。この専門用語には、上記で具体的に言及した語、その派生語及び同様の意味を有する語が含まれる。「少なくとも1つ」という語句の後に「A、B又はC」などの2つ以上の項目の列挙が続くと、A、B又はCのうちの任意の個々の1つ及びそれらの任意の組み合わせを意味する。
本明細書の更なる実施形態は、ある実施形態に、本明細書の任意の1つ以上の他の実施形態に由来する1つ以上の要素を付加することによって、かつ/又はある実施形態に由来する1つ以上の要素を、本明細書の1つ以上の他の実施形態由来の1つ以上の要素と置換することによって、形成されてもよい。
したがって、本発明は、開示された特定の実施形態に制限されず、添付の特許請求の範囲、上記の説明によって定義され、かつ/又は添付の図面に示される本発明の趣旨及び範囲内にある全ての修正を包含することを意図するものと理解される。
〔実施の態様〕
(1) 患者の顔の三次元解剖学的画像を取得して、第1の座標系において前記患者の顔上のそれぞれの所定の部位に対応する複数の解剖学的点を識別する工程と、
少なくとも1つの機能を前記患者の顔上の少なくとも1つの所定の部位に割り当てる工程と、
第2の座標系において前記患者の顔上の前記それぞれの所定の部位における複数の位置を受信する工程と、
前記位置と前記患者の顔上の前記それぞれの解剖学的点とを相関させることで前記第1及び第2の座標系を位置合わせする工程と、
前記少なくとも1つの割り当てられた機能に対応するコマンドをトリガする工程と、
前記コマンドを電子機器に伝達する工程と、を含む方法。
(2) 前記三次元解剖学的画像はコンピュータ断層撮影画像を含む、実施態様1に記載の方法。
(3) 前記識別する工程は、前記三次元解剖学的画像上で前記所定の部位を決定する工程を更に含む、実施態様1に記載の方法。
(4) 前記決定する工程は、前記三次元解剖学的画像上で最高点を求める工程を含む、実施態様3に記載の方法。
(5) 前記決定する工程は、前記三次元解剖学的画像上で前記右目及び前記左目のそれぞれの中心を求める工程を更に含む、実施態様4に記載の工程。
(6) 前記決定する工程は、前記患者の顔の三次元解剖学的画像を2つの直交する線によって象限に分割する工程を更に含み、前記第1の直交する線は、前記右目の前記中心と前記左目の前記中心とを接続する線上にあり、かつ前記右目の前記中心と前記左目の前記中心とを接続する前記線と平行し、前記第2の直交は、前記三次元画像の前記最高点と交差する、実施態様5に記載の方法。
(7) 前記複数の解剖学的点は、前記所定の部位のそれぞれに少なくとも2つの点を含む、実施態様1に記載の方法。
(8) 前記少なくとも1つの所定の部位は、前記患者の顔の左上象限、右上象限、左下象限、及び右下象限からなる群から選択される、実施態様1に記載の方法。
(9) 前記複数の位置を受信する工程は、位置センサを含む位置合わせツールから前記位置を受信する工程を含む、実施態様1に記載の方法。
(10) 前記複数の位置を受信する工程は、三次元スキャナで前記患者の顔をスキャンすることで前記位置を受信する工程を含む、実施態様1に記載の方法。
(11) 前記コマンドをトリガする工程は、位置センサを備える外科用ツールで前記患者の顔上の前記少なくとも1つの所定の部位に触れる工程を含む、実施態様1に記載の方法。
(12) 前記電子機器がコンピュータである、実施態様1に記載の方法。
(13) システムであって、
位置合わせツールであって、患者の顔上のそれぞれの所定の部位に前記位置合わせツールを位置決めすることにより第2の座標系における複数の位置を取得するように構成された、位置追跡システムの位置センサを備える位置合わせツールと、
プロセッサであって、
前記患者の顔の三次元解剖学的画像内で第1の座標系における前記それぞれの所定の部位に対応する複数の解剖学的点を識別し、
少なくとも1つの機能を前記患者の顔上の少なくとも1つの所定の部位に割り当て、
前記第2の座標系において測定された前記複数の位置を受信し、
前記位置と前記患者の顔上の前記それぞれの解剖学的点とを相関させることで前記第1及び第2の座標系を位置合わせし、
前記少なくとも1つの割り当てられた機能に対応するコマンドを読み出すように構成された、プロセッサと、を備えるシステム。
(14) 前記三次元解剖学的画像はコンピュータ断層撮影画像を含む、実施態様13に記載のシステム。
(15) 前記三次元解剖学的画像は三次元スキャンを含む、実施態様13に記載のシステム。
(16) 前記プロセッサは、前記三次元解剖学的画像上で前記所定の部位を決定するように更に構成され、前記決定する工程は、
前記三次元解剖学的画像上で最高点を求める工程と、
前記三次元解剖学的画像上で前記右目及び前記左目のそれぞれの中心を求める工程と、
前記患者の顔の三次元解剖学的画像を2つの直交する線によって象限に分割する工程であって、前記第1の直交する線は、前記右目の前記中心と前記左目の前記中心とを接続する線上にあり、かつ前記右目の前記中心と前記左目の前記中心とを接続する前記線と平行し、前記第2の直交は、前記三次元画像の前記最高点と交差する、工程と、を含む、実施態様13に記載のシステム。
(17) 前記所定の部位は、前記患者の顔の左上象限、右上象限、左下象限、及び右下象限からなる群から選択される、実施態様13に記載のシステム。

Claims (17)

  1. 患者の顔の三次元解剖学的画像を取得して、第1の座標系において前記患者の顔上のそれぞれの所定の部位に対応する複数の解剖学的点を識別する工程と、
    少なくとも1つの機能を前記患者の顔上の少なくとも1つの所定の部位に割り当てる工程と、
    第2の座標系において前記患者の顔上の前記それぞれの所定の部位における複数の位置を受信する工程と、
    前記位置と前記患者の顔上の前記それぞれの解剖学的点とを相関させることで前記第1及び第2の座標系を位置合わせする工程と、
    前記少なくとも1つの割り当てられた機能に対応するコマンドをトリガする工程と、
    前記コマンドを電子機器に伝達する工程と、を含む方法。
  2. 前記三次元解剖学的画像はコンピュータ断層撮影画像を含む、請求項1に記載の方法。
  3. 前記識別する工程は、前記三次元解剖学的画像上で前記所定の部位を決定する工程を更に含む、請求項1に記載の方法。
  4. 前記決定する工程は、前記三次元解剖学的画像上で最高点を求める工程を含む、請求項3に記載の方法。
  5. 前記決定する工程は、前記三次元解剖学的画像上で前記右目及び前記左目のそれぞれの中心を求める工程を更に含む、請求項4に記載の工程。
  6. 前記決定する工程は、前記患者の顔の三次元解剖学的画像を2つの直交する線によって象限に分割する工程を更に含み、前記第1の直交する線は、前記右目の前記中心と前記左目の前記中心とを接続する線上にあり、かつ前記右目の前記中心と前記左目の前記中心とを接続する前記線と平行し、前記第2の直交は、前記三次元画像の前記最高点と交差する、請求項5に記載の方法。
  7. 前記複数の解剖学的点は、前記所定の部位のそれぞれに少なくとも2つの点を含む、請求項1に記載の方法。
  8. 前記少なくとも1つの所定の部位は、前記患者の顔の左上象限、右上象限、左下象限、及び右下象限からなる群から選択される、請求項1に記載の方法。
  9. 前記複数の位置を受信する工程は、位置センサを含む位置合わせツールから前記位置を受信する工程を含む、請求項1に記載の方法。
  10. 前記複数の位置を受信する工程は、三次元スキャナで前記患者の顔をスキャンすることで前記位置を受信する工程を含む、請求項1に記載の方法。
  11. 前記コマンドをトリガする工程は、位置センサを備える外科用ツールで前記患者の顔上の前記少なくとも1つの所定の部位に触れる工程を含む、請求項1に記載の方法。
  12. 前記電子機器がコンピュータである、請求項1に記載の方法。
  13. システムであって、
    位置合わせツールであって、患者の顔上のそれぞれの所定の部位に前記位置合わせツールを位置決めすることにより第2の座標系における複数の位置を取得するように構成された、位置追跡システムの位置センサを備える位置合わせツールと、
    プロセッサであって、
    前記患者の顔の三次元解剖学的画像内で第1の座標系における前記それぞれの所定の部位に対応する複数の解剖学的点を識別し、
    少なくとも1つの機能を前記患者の顔上の少なくとも1つの所定の部位に割り当て、
    前記第2の座標系において測定された前記複数の位置を受信し、
    前記位置と前記患者の顔上の前記それぞれの解剖学的点とを相関させることで前記第1及び第2の座標系を位置合わせし、
    前記少なくとも1つの割り当てられた機能に対応するコマンドを読み出すように構成された、プロセッサと、を備えるシステム。
  14. 前記三次元解剖学的画像はコンピュータ断層撮影画像を含む、請求項13に記載のシステム。
  15. 前記三次元解剖学的画像は三次元スキャンを含む、請求項13に記載のシステム。
  16. 前記プロセッサは、前記三次元解剖学的画像上で前記所定の部位を決定するように更に構成され、前記決定する工程は、
    前記三次元解剖学的画像上で最高点を求める工程と、
    前記三次元解剖学的画像上で前記右目及び前記左目のそれぞれの中心を求める工程と、
    前記患者の顔の三次元解剖学的画像を2つの直交する線によって象限に分割する工程であって、前記第1の直交する線は、前記右目の前記中心と前記左目の前記中心とを接続する線上にあり、かつ前記右目の前記中心と前記左目の前記中心とを接続する前記線と平行し、前記第2の直交は、前記三次元画像の前記最高点と交差する、工程と、を含む、請求項13に記載のシステム。
  17. 前記所定の部位は、前記患者の顔の左上象限、右上象限、左下象限、及び右下象限からなる群から選択される、請求項13に記載のシステム。
JP2018170344A 2017-09-13 2018-09-12 タッチパッドユーザインタフェースとしての患者の顔 Active JP7330677B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/703,418 US10452263B2 (en) 2017-09-13 2017-09-13 Patient face as touchpad user interface
US15/703,418 2017-09-13

Publications (2)

Publication Number Publication Date
JP2019055182A true JP2019055182A (ja) 2019-04-11
JP7330677B2 JP7330677B2 (ja) 2023-08-22

Family

ID=63579083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170344A Active JP7330677B2 (ja) 2017-09-13 2018-09-12 タッチパッドユーザインタフェースとしての患者の顔

Country Status (7)

Country Link
US (1) US10452263B2 (ja)
EP (1) EP3457406B1 (ja)
JP (1) JP7330677B2 (ja)
CN (1) CN109481016B (ja)
AU (1) AU2018229470A1 (ja)
CA (1) CA3017166A1 (ja)
IL (1) IL261727B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527002B2 (en) 2019-12-05 2022-12-13 Biosense Webster (Israel) Ltd. Registration of an image with a tracking system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置
JP2015212898A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
DE69514238T2 (de) 1994-08-19 2000-05-11 Biosense Inc Medizinisches diagnose-, behandlungs- und darstellungssystem
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
WO1997029685A1 (en) 1996-02-15 1997-08-21 Biosense, Inc. Independently positionable transducers for location system
US6239724B1 (en) 1997-12-30 2001-05-29 Remon Medical Technologies, Ltd. System and method for telemetrically providing intrabody spatial position
US6560354B1 (en) 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
US6632089B2 (en) 1999-11-30 2003-10-14 Orametrix, Inc. Orthodontic treatment planning with user-specified simulation of tooth movement
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
JP3711038B2 (ja) 2001-06-15 2005-10-26 バブコック日立株式会社 頭蓋骨スーパーインポーズ方法と装置
US7729742B2 (en) 2001-12-21 2010-06-01 Biosense, Inc. Wireless position sensor
US20040068178A1 (en) 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
US10546396B2 (en) * 2010-12-30 2020-01-28 St. Jude Medical International Holding S.à r. l. System and method for registration of fluoroscopic images in a coordinate system of a medical system
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
WO2013095330A1 (en) * 2011-12-19 2013-06-27 Shackelford Howard L Anatomical orientation system
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
JP6363608B2 (ja) * 2012-10-12 2018-07-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 患者の顔面データにアクセスするためのシステム
WO2014169225A1 (en) * 2013-04-12 2014-10-16 Iconics, Inc. Virtual touch screen
EP3007635B1 (en) 2013-08-23 2016-12-21 Stryker European Holdings I, LLC Computer-implemented technique for determining a coordinate transformation for surgical navigation
US9921658B2 (en) 2014-02-06 2018-03-20 Sony Mobile Communications, Inc. Device and method for detecting gestures on the skin
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
CA2973479C (en) * 2015-07-21 2019-02-26 Synaptive Medical (Barbados) Inc. System and method for mapping navigation space to patient space in a medical procedure
EP3423972A1 (en) * 2016-03-02 2019-01-09 Truinject Corp. Sensory enhanced environments for injection aid and social training
US10152786B2 (en) * 2016-10-11 2018-12-11 Biosense Webster (Israel) Ltd. Registration of a magnetic tracking system with an imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
WO2012173001A1 (ja) * 2011-06-13 2012-12-20 シチズンホールディングス株式会社 情報入力装置
JP2015212898A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN109481016B (zh) 2024-01-02
CA3017166A1 (en) 2019-03-13
IL261727A (en) 2019-02-28
US10452263B2 (en) 2019-10-22
US20190076197A1 (en) 2019-03-14
CN109481016A (zh) 2019-03-19
AU2018229470A1 (en) 2019-03-28
EP3457406A1 (en) 2019-03-20
JP7330677B2 (ja) 2023-08-22
EP3457406B1 (en) 2022-03-09
IL261727B (en) 2022-02-01

Similar Documents

Publication Publication Date Title
JP7106258B2 (ja) 超音波を使用する位置追跡システムを用いた解剖学的画像の手術前の位置合わせ
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
JP7171220B2 (ja) 骨組織への近接に基づく解剖学的画像の位置追跡座標系との位置合わせ
JP6643362B2 (ja) ロボット手術中に更新された患者画像を供給するための方法および装置
US20070038223A1 (en) Computer-assisted knee replacement apparatus and method
NL2014772B1 (en) A lumbar navigation method, a lumbar navigation system and a computer program product.
JP6559532B2 (ja) X線透視画像のリアルタイムシミュレーション
JP7191539B2 (ja) 骨組織への視覚的近接性に基づく、解剖学的画像の位置追跡座標系との位置合わせの改善
EP1667574A2 (en) System and method for providing computer assistance with spinal fixation procedures
JP7330677B2 (ja) タッチパッドユーザインタフェースとしての患者の顔
AU2017221893A1 (en) Ent image registration
CN114732518A (zh) 用于单个图像配准更新的系统和方法
IL272871A (en) Map of body space
Danilchenko Fiducial-based registration with anisotropic localization error
EP4091570A1 (en) Probe for improving registration accuracy between a tomographic image and a tracking system
US10376335B2 (en) Method and apparatus to provide updated patient images during robotic surgery
Thomas Real-time Navigation Procedure for Robot-assisted Surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R150 Certificate of patent or registration of utility model

Ref document number: 7330677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150