JP2021533484A - 術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置 - Google Patents

術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置 Download PDF

Info

Publication number
JP2021533484A
JP2021533484A JP2021505990A JP2021505990A JP2021533484A JP 2021533484 A JP2021533484 A JP 2021533484A JP 2021505990 A JP2021505990 A JP 2021505990A JP 2021505990 A JP2021505990 A JP 2021505990A JP 2021533484 A JP2021533484 A JP 2021533484A
Authority
JP
Japan
Prior art keywords
surgical
anatomical
depth value
support device
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021505990A
Other languages
English (en)
Other versions
JP7125019B2 (ja
Inventor
リャンイン ユー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2021533484A publication Critical patent/JP2021533484A/ja
Application granted granted Critical
Publication of JP7125019B2 publication Critical patent/JP7125019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)

Abstract

本明細書では、神経外科を支援する外科支援装置及び方法の様々な態様を開示する。外科支援装置は、保護部分の切開に起因する被験者の解剖学的部分の初期位置変位を決定する回路を含む。切開部を通じた解剖学的部分の解剖学的表面のビューを取り込むために異なる指定位置の外科画像取り込み装置から取り込まれた複数の立体画像に基づいて第1の深度値が推定される。推定された第1の深度値に対する関心手術領域の位置の残存変位が決定される。決定された残存変位に基づいて、手術腔内の関心手術領域の正しい深度を示す手術案内情報が生成される。生成された手術案内情報の表示は、外科支援装置に結合されたディスプレイ画面上で制御される。【選択図】 図4A

Description

〔関連出願との相互参照/引用による組み入れ〕
なし。
本開示の様々な実施形態は、医用撮像技術及びコンピュータ支援外科技術に関する。具体的には、本開示の様々な実施形態は、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置及び方法に関する。
医用撮像分野の進歩は、多くの場合に外科医によって手動で行われる複雑な外科的プロセスの自動化及びリアルタイム支援の道を開いてきた。1つのこのようなプロセスでは、手術中に、被験者の脳などの内部器官が、脳液の排出による初期脳変位に起因し得る必然的変形を受け、その後に例えば切除変形を受けることがある。変形の主な原因の1つは、外科医が脳の露出部位の標的脳組織を手術しようと試みている間に発生する組織変形に起因する術中脳変位(intraoperative brain shift)である。脳の露出部位における変形の影響は、術前に(すなわち、術前撮像中に)取得された所定の組織位置に対する手術中の標的脳組織の特定が困難になる原因となる。従って、このような変形は、手術中に外科医を標的組織とは異なる組織に導き、或いは異なる外科医同士の標的組織の不正確な位置決め仮定を引き起こす恐れがある。
通常、外科医は、医療行為中に過去の同様の外科的処置の経験に基づいて脳組織の変形を補償する。しかしながら、過去の経験に基づいて仮定しながら変形を補償するだけでは、外科的処置の正確さ及び精度に影響が及ぶ場合もある。また、外科的処置の実行精度は外科医の経験レベルにも大きく依存し、従って手術中の組織変形に起因する術中脳変位を推定する上で外科医を支援できる改善された解決策が必要とされている。
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。
少なくとも1つの図に実質的に示し、及び/又はこれらの図に関連して説明し、特許請求の範囲にさらに完全に示すような、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置及び方法について説明する。
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援するネットワーク環境を示す図である。 本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する例示的な外科支援装置のブロック図である。 本開示の実施形態による、脳の解剖学的部分の変形による術中変位に見舞われた脳のビューを示すシナリオである。 本開示の実施形態による、脳の解剖学的部分の変形に起因する術中脳変位の推定を示す脳の解剖学的部分の代表図である。 本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する例示的な動作を示すフローチャートである。 本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する例示的な動作を示すフローチャートである。
術中変位に見舞われた内部器官(例えば、脳)の解剖学的部分(例えば、後頭葉、側頭葉など)の手術を支援する外科支援装置及び方法では、本開示のいくつかの実施形態を見出すことができる。本開示の様々な実施形態は、外科画像取り込み装置(例えば、実体顕微鏡)と、外科画像取り込み装置に通信可能に結合された変位補償回路(shift compensation circuitry)とを含むことができる外科支援装置を提供することができる。外科画像取り込み装置は、被験者(例えば、人間の被験者)の身体の解剖学的部分の複数の立体画像を取り込むように構成することができる。解剖学的部分は、内部器官を取り囲む保護部分(例えば、頭蓋骨)の切開後に外科画像取り込み装置に曝される内部器官の規定部分とすることができる。外科支援装置は、内部器官の解剖学的部分の異なる領域が手術を受けた時に、解剖学的部分に発生する(例えば、組織変形に起因する)異なる術中変位を最適にモデル化することができる。開示する外科支援装置は、脳の組織変形に起因し得る異なる術中変位をモデル化することで、外科医が正確に手術を行うのに役立つとともに、(従来、外科医による経験に基づく術中変位仮定に起因して存在していた)全外科的処置に対する偏見を排除する。外科支援装置は、残存変位(residual shift)(すなわち、術中変位)を示す可視化を含むことができる正確な案内情報を確実にする。さらに、外科支援装置は、手術前に(すなわち、術前段階中)に得られた所定の組織位置に対して手術中(すなわち、術中段階中)に外科医が解剖学的部分の標的組織を簡単に特定するための案内を生成して提供することができる。外科支援装置は、手術中、標的組織(例えば、関心手術領域)への手術器具のナビゲーションが正確に支援されるように手術案内情報を生成して、外科支援装置に結合されたディスプレイ画面上に出力することができる。これにより、外科医は、手術中の組織変形に起因する術中脳変位を正しく判定することによって、手術腔(surgical cavity)内の標的組織を特定することができる。
図1に、本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援するネットワーク環境を示す。図1には、外科支援装置102と、複数の医用撮像装置104と、外科画像取り込み装置106と、医用データサーバ108とを含むことができるネットワーク環境100を示す。いくつかの実施形態では、外科支援装置102にディスプレイ画面110を統合することができる。いくつかの実施形態では、ディスプレイ画面110を周辺装置として外科支援装置102に通信可能に結合することができる。ある実施形態によれば、通信ネットワーク112を介して外科支援装置102を外科画像取り込み装置106及び医用データサーバ108に通信可能に結合することができる。さらに、被験者116などの被験者の内部器官の解剖学的部分114、及び外科支援装置102に関連する外科医118又は手術助手などのユーザも示す。
外科支援装置102は、被験者116の解剖学的部分114の関心手術領域の位置における残存変位(すなわち、術中変位)を既知の関心手術領域の位置に対して決定するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。残存変位は、外科医118が被験者116の解剖学的部分114の手術を行うのを支援するために生成される情報の一部とすることができる。外科支援装置102は、手術中における解剖学的部分114の組織変形の場合に外科医118にリアルタイム又は準リアルタイムな支援を提供することができる。外科支援装置102の例としては、以下に限定するわけではないが、専門医療グレード機械、コンピュータ支援外科システム又はロボット支援外科システムを挙げることができる。いくつかの実施形態では、外科支援装置102を、MRI又はX線システムなどの医療機器又は機械の内部に組み込み装置として統合することができる。いくつかの実施形態では、外科支援装置102を、ディスプレイ装置と一体化することもできるコンピュータ装置とすることができる。外科支援装置102の例としては、以下に限定するわけではないが、術中磁気共鳴撮像(MRI)、開放型MRI(open MRI)装置、コンピュータ断層撮影(CT)スキャナ、又は陽電子放出断層撮影(PET)を挙げることができる。
複数の医用撮像装置104は、被験者116の解剖学的部分114などの内部構造又は解剖学的部分の視覚的表現を生成する医療検査機器(例えば、術前又は術中検査)に対応することができる。このような内部構造又は解剖学的部分の視覚的表現は、被験者116が術前状態又は術中状態にある時に臨床分析及び医療介入のために生成することができる。複数の医用撮像装置104は、マルチモーダルソース(multimodal sources)(例えば、MRIデータ、CTスキャンデータ、PETデータ、開放型CTデータなどのソース)とすることができる。これらのマルチモーダルソースは、解剖学的部分114に関連するデータセットを取得するために使用することができる。複数の医用撮像装置104の例としては、以下に限定するわけではないが、X線コンピュータ断層撮影(CT)スキャナ、磁気共鳴撮像(MRI)スキャナ、磁気共鳴血管造影(MRA)スキャナ、流体減衰式反転回復法(FLAIR)に基づくスキャナ、及び/又は陽電子放出断層撮影(PET)スキャナを挙げることができる。
外科画像取り込み装置106は、精密立体カメラ(precision stereoscopic camera)に取り付けられたデジタル実体顕微鏡とすることができる。外科画像取り込み装置106は、被験者116の解剖学的部分114などの解剖学的部分を取り込んで、その3次元(3D)立体画像又は3D構造データを生成するように構成することができる。術中状態の解剖学的部分114の3D立体画像又は3D構造データを生成するために、空間内の異なる視点から複数の画像を取得することができる。立体画像ペアなどの複数の画像は、異なる視点からの複数のカメラ、単一の立体カメラの複数のカメラレンズ、又は単一の移動カメラを使用して取得することができる。或いは、通信ネットワーク112を介して外科画像取り込み装置106に外科支援装置102を通信可能に結合することもできる。外科画像取り込み装置106の例としては、以下に限定するわけではないが、実体顕微鏡、立体カメラ及び外科用カメラを挙げることができる。また、場合によっては、顕微鏡下手術/手術を行うために使用される外科用顕微鏡に外科画像取り込み装置106を取り付ける(又は統合する)こともできる。
医用データサーバ108は、通信ネットワーク112を介して1又は2以上の予め記憶された撮像データのデータセットを外科支援装置102に送信するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。1又は2以上の予め記憶された撮像データのデータセットは、解剖学的部分114の組織変形前に術前状態で測定された解剖学的部分114の画像データに対応することができる。また、1又は2以上の予め記憶されたデータセットは、マルチモーダル画像(例えば、MRI、CTスキャン、PET、開放型CTからのデータ)に対応することもできる。
ある実施形態によれば、医用データサーバ108及び外科支援装置102をコンピュータ支援外科システムとして統合することができる。医用データサーバ108及び外科支援装置102は、いずれもコンピュータ支援外科システムの一部とすることができる。いくつかの実施形態では、医用データサーバ108を、当業者に周知の複数の技術を使用して複数のクラウドベースリソースを通じて実装することができる。他の実施形態では、本開示の範囲から逸脱することなく、医用データサーバ108の機能を外科支援装置102が実装することもできる。医用データサーバ108は、クラウドストレージ、仮想クラウドストレージ、又はオンプレミス(on premise)データストレージのうちの少なくとも1つを含むことができる。医用データサーバ108は、例えば医療保険の相互運用性と説明責任に関する法律(HIPAA)などの1又は2以上の標準又は法律に準拠することができる。
ディスプレイ画面110は、外科支援装置102が生成できる手術案内情報を表示するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。外科支援装置102は、手術中に解剖学的部分114の手術案内情報をディスプレイ画面110上にレンダリングするようにさらに構成することができる。ディスプレイ画面110は、解剖学的部分114の組織のリアルタイム又は準リアルタイムな変形に従う解剖学的部分114の手術案内情報で更新することができる。組織は、手術中に内部器官の保護部分の切開後に変形することがある。ディスプレイ画面110は、スマートフォンなどの異なる装置の一部とすることができる。また、ディスプレイ画面110は、ポータブル電子装置、ウェアラブル電子装置、非ポータブル電子装置、又は被験者116が手術を受けることができる手術室内の医療装置の一部とすることもできる。外科医118などのディスプレイ画面110のユーザは、ディスプレイ画面110のユーザインターフェイスからの視覚的支援、指示及び/又は案内を受けて外科支援装置102を操作することができる。
通信ネットワーク112は、外科支援装置102、外科画像取り込み装置106及び/又は医用データサーバ108が互いに通信できるようにする媒体を含むことができる。通信ネットワーク112は、有線又は無線通信ネットワークとすることができる。通信ネットワーク112の例としては、以下に限定するわけではないが、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、クラウドネットワーク、ロングタームエボリューション(LTE)ネットワーク、従来の電話サービス(POTS)、メトロポリタンエリアネットワーク(MAN)、及び/又はインターネットを挙げることができる。ネットワーク環境100内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク112に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、ファイル転送プロトコル(FTP)、ZigBee、EDGE、赤外線(IR)、IEEE 802.11、802.16、セルラー通信プロトコル、及び/又はBluetooth(BT)通信プロトコルを挙げることができる。
手術中、ユーザ(例えば、外科医118)は、外科支援装置102を利用して被験者116の解剖学的部分114に外科的又は診断的処置を行うことができる。解剖学的部分114は、保護部分(例えば、脳を取り囲む頭蓋骨又は頭蓋)によって取り囲まれた内部器官の一部とすることができる。解剖学的部分114(例えば、頭頂葉、前頭葉、側頭葉又は後頭葉など)は、内部器官を取り囲む保護部分の切開後に露出する内部器官の一部である。換言すれば、解剖学的部分114は、手術中に保護部分の一部を除去した後に露出する内部器官の一部とすることができる。外科医118は、解剖学的部分114の複数の関心手術領域を特定することができる。各関心手術領域は、解剖学的部分に存在する異なる組織タイプに基づく異なる材料特性に関連することができる。これらの材料特性は、解剖学的部分114の組織タイプに関連する引張弾性値(tensile elasticity value)(例えば、ヤング率)及び(例えば、kg/m3の単位で測定される)組織密度を含むことができる。
いくつかの実施形態では、解剖学的部分114を、被験者116の脳(又は大脳)の一部又は少なくとも脳部位とすることができる。解剖学的部分114は、被験者116の頭蓋骨(又は頭蓋)の一部(例えば、頭頂骨、後頭骨、側頭骨又は前頭骨など)を切開又は除去した後に、外科画像取り込み装置106及び外科医118に曝されることができる。このような実施形態では、複数の関心手術領域を、解剖学的部分114に存在する脳組織、血管網及び脳室とすることができる。複数の関心手術領域は、被験者116の脳内に存在する腫瘍構造(例えば、悪性又は良性組織)をさらに含むことができる。
外科支援装置102は、解剖学的部分114に関連する少なくとも術前マルチモーダル画像のデータセットを医用データサーバ108から取り出すように構成することができる。いくつかの実施形態では、外科支援装置102が、複数の医用撮像装置104から術前マルチモーダル画像のデータセットを直接取り出すことができる。データセットは、被験者116の頭蓋骨のスライスなどの、解剖学的部分114の体積のスライス面を表す複数の2D画像を含むことができる。データセットは、手術前に撮影された術前状態の内部器官のMRIデータセットに対応することができる。外科支援装置102は、解剖学的部分114に関連する取り出されたデータセットを画像誘導神経外科システム(IGNS)又はその他の撮像システムに登録するように構成することができる。IGNSは、外科支援装置102の一部とすることも、或いは解剖学的部分114の異なるタイプの変形に起因する変位に関連する入力を外科支援装置102の外部から受け取ることもできる。このような事例では、IGNSが、外科支援装置102から入力として受け取られた情報を強調表示するように解剖学的部分114(又は内部器官)の視覚モデルを更新することができる。
マルチモーダルソースは、以下に限定するわけではないが、磁気共鳴撮像(MRI)、コンピュータ断層撮影(CT)、陽電子放出断層撮影(PET)、流体減衰式反転回復法(FLAIR)、及び磁気共鳴血管造影(MRA)に基づく医用撮像法を含むことができる異なる撮像法を利用できる医用撮像装置104とすることができる。このような異なる技術を利用して、解剖学的部分114の異なる特性を例示する複数のデータセットを取得し、及び/又は解剖学的部分114の測定に分解能を加えることができる。
外科支援装置102は、内部器官の保護部分の切開前に解剖学的部分114に関連する解剖学的表面(例えば、解剖学的部分114の露出面)の第1の位置を決定するように構成することができる。第1の位置は、異なるマルチモーダルソース(例えば、MRIスキャナ)から取り出された術前マルチモーダル画像のデータセットに基づいて決定することができる。その後、いくつかの例では、外科支援装置102を、解剖学的部分114の切開後に露出した組織タイプ(又は組織の様々なタイプ)に関連する材料パラメータを医用データサーバ108から取り出すように構成することができる。材料パラメータは、解剖学的部分114の組織タイプの引張弾性値と、組織タイプに関連する組織密度とを含むことができる。
術中状態では、手術中に保護部分の一部が(切除前)除去された時点で、解剖学的部分114(又は時には内部器官全体)が解剖学的部分114(又は内部器官)の異なる組織の周囲で突然の体液(例えば、脳脊髄液)喪失に見舞われることがある。この突然の体液喪失により、切開後に露出した解剖学的部分114の解剖学的表面が変位することがある。或いは、突然の体液喪失後に、露出した解剖学的表面が(解剖学的表面にわたって均一又は不均一に)変形することもある。さらに、このような喪失は、切除処置中に連続的に(又は不連続的に)発生することもある。
この突然の体液喪失に起因する変形を測定するために、外科画像取り込み装置106は、解剖学的部分114の解剖学的表面(例えば、脳の側頭葉の外面)の初期位置変位を決定するように構成することができる。解剖学的表面の初期位置変位は、保護部分の切開によって発生することがある。解剖学的部分114の解剖学的表面の初期位置変位は、解剖学的表面の第1の位置から解剖学的表面の第2の位置まで決定することができる。第1の位置は、切開前に見られる術前状態において保護部分によって取り囲まれた解剖学的表面の位置に対応することができ、第2の位置は、切開後に見られる術中状態における解剖学的表面の位置に対応することができる。外科画像取り込み装置106は、解剖学的部分114の複数の立体画像を取り込むことができる。
術中状態における解剖学的表面の第2の位置を決定するために、外科支援装置102は、外科画像取り込み装置106のステレオビジョンを利用して解剖学的部分114の解剖学的表面の初期位置変位の第2の位置を決定するように構成することができる。その後、解剖学的表面の第1の位置に関連する術前深度値と、第2の位置における解剖学的表面の対応する深度値との比較に基づいて初期位置変位を決定することができる。第1の位置は、登録データセット内の内部器官の術前マルチモーダル画像から術前状態において推定することができ、第2の位置は、取り込まれた複数の立体画像に基づいて推定することができる。
術中状態では、例えば解剖学的部分114の組織構造の異なる複雑度、重力の影響、及び/又は術中状態において組織(又は解剖学的部分114)が露出している際の解剖学的部分114の周囲の脳脊髄液などの体液のさらなる喪失などの異なる要因に起因して、解剖学的部分114の異なる組織がさらに変形することがある。このような要因は、解剖学的部分114の異なる組織の柔軟度、収縮期/拡張期血圧、及び/又は手術中の解剖学的部分114に関連する保護部分又は支持構造の変位の度合いを含むこともできる。
いくつかの実施形態では、(外科医118が)手術器具を使用して解剖学的部分114に切除処置が行っている間に、解剖学的部分114(又は内部器官)がさらに(切除変形と呼ばれる)変形を受けることがある。切除変形は、外科医118が解剖学的部分114の関心手術領域から(単複の)特定の組織を切除するために手術腔を通じて手術器具を案内する際に発生することがある。組織変形(又は切除変形)は、特定の解剖学的組織構造の変位を引き起こすこともあり、従って手術腔を通じて関心手術領域にアクセスする(及び/又はそれを切除する)ために(外科医118が術前状態で予め推定した)手術器具を案内できる深度が手術中に修正されることがある。
外科支援装置102は、このような変形の影響と、関連する深度の修正とをモデル化することが必要となり得る。初期位置変位は、解剖学的部分114の全体的な術中変位の原因となり得る複数のパラメータのうちの1つにすぎないと考えられる。外科支援装置102は、外科画像取り込み装置106のステレオビジョンを利用して、解剖学的表面の第2の位置から解剖学的部分114の手術腔の底部に存在する関心手術領域までの第1の深度値を推定するようにさらに構成することができる。第1の深度値は、切開後に取得される解剖学的部分114の解剖学的表面のビューを取り込むために異なる指定位置の外科画像取り込み装置106から取り込まれた複数の立体画像に基づいて推定される見掛けの深度とすることができる。
第1の深度値は第2の位置から推定されるので、第1の深度値の推定は、体液の急激な喪失に起因する初期位置変位(例えば、初期術中脳変位)の寄与を考慮する。一方で、第1の深度値は、組織変形の影響を考慮せずに推定することができる。組織変形(又は切除変形)の影響は、初期位置変位の寄与と同様であると考えることができる。例えば、解剖学的表面の初期位置変位を「10mm」とし、同様に組織変形に起因する手術腔の深度の変位を「6mm」とすることができる。このような値は、外科的処置のタイプ、及び切開後に露出する解剖学的表面の面積に基づいて異なることができる。従って、外科画像取り込み装置106は、推定された第1の深度値に対する関心手術領域の位置の残存変位を決定するように構成することができる。この残存変位は、解剖学的部分114の組織変形に起因する第1の深度値の推定の偏差を、決定された残存変位によって手術腔内の関心手術領域の第2の深度値に対して補償できるように決定することができる。残存変位は、解剖学的部分114の組織タイプに関連する材料パラメータと推定された第1の深度値との第1の関係モデルに基づいて決定することができる。第1の関係モデルは、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開とすることができる。手術腔内の関心手術領域の第2の深度値は、外科支援装置102が第2の関係モデルに基づいて決定することができる。第2の関係モデルは、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開によって取得することができる。
外科支援装置102は、外科医118を支援するために、決定された残存変位に基づいて、手術腔内の関心手術領域の正しい深度を示すために第1の深度値から第2の深度値に補正すべき深度量を含む手術案内情報を生成するように構成することができる。換言すれば、手術案内情報は、正しい深さ及び実際の関心手術領域の位置に到達するために手術腔内で手術器具を垂直に移動させることができる深度を示すことができる。外科医118は、外科的処置中に正確な案内情報を利用して解剖学的部分114の術中変位の影響を補償することができる。
いくつかの実施形態では、外科支援装置102が、解剖学的部分114の3次元(3D)グラフィックモデルを生成するようにさらに構成される。解剖学的部分114の3Dグラフィックモデルの生成は、決定された解剖学的表面の初期位置変位、推定された第1の深度値、決定された残存変位、及び決定された手術腔の第2の深度値に基づくことができる。解剖学的部分114の3Dグラフィックモデルの生成は、マルチモーダルソースから受け取られた術前マルチモーダル画像の登録データセットにさらに基づくことができる。
外科支援装置102は、(変形後の)解剖学的部分114の複数の多次元グラフィックビューの表示を制御するように構成することができる。このような組織変形の存在下での解剖学的部分114の複数の多次元グラフィックビューの生成及び表示は、解剖学的部分114に手術を行う外科医118をリアルタイム又は準リアルタイムで支援することができる。複数の多次元グラフィックビューは、ユーザが医学的要件通りに制御、修正及び視覚化することができる。外科支援装置102の詳細な動作については、例えば図2においてさらに説明する。
いくつかの実施形態では、開示する外科支援装置102を使用して、異なる動物被験者の異なる解剖学的部分の手術中に支援を行うこともできる。これらの解剖学的部分は、組織変形及び/又は術中変位に見舞われる恐れがある脳、心臓又はその他の内部器官の一部とすることができる。
図2は、本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する例示的な外科支援装置のブロック図である。図2の説明は、図1の要素に関連して行う。図2には、外科支援装置102を示す。外科支援装置102は、補償回路202などの1又は2以上の回路と、メモリ204と、ネットワークインターフェイス206と、I/O装置208などの1又は2以上の入力/出力(I/O)装置とを含むことができる。補償回路202は、プロセッサ210を含むことができる。補償回路202は、メモリ204、ネットワークインターフェイス206及びI/O装置208に通信可能に結合することができる。また、ネットワークインターフェイス206は、補償回路202の制御下で通信ネットワーク112を介して医用データサーバ108などの1又は2以上の医用データサーバと通信することもできる。
補償回路202は、被験者116の内部器官の解剖学的部分114の変形に起因する術中変位(すなわち、残存変位)を外科医(例えば、外科医118)が補償するのを支援する案内情報をレンダリングするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。外科医118は、レンダリングされた案内情報に基づいて、解剖学的部分114の手術腔内の正しい深度で手術器具を動かすことができる。いくつかの実施形態では、補償回路202を、当業で周知の異なるプロセッサ技術に基づいて実装することができる。補償回路202の例は、x86ベースのプロセッサ、x86−64ベースのプロセッサ、縮小命令セットコンピューティング(RISC)プロセッサ、特定用途向け集積回路(ASIC)プロセッサ、複合命令セットコンピューティング(CISC)プロセッサ、中央処理装置(CPU)、明示的並列命令コンピューティング(EPIC)プロセッサ、超長命令語(VLIW)プロセッサ、及び/又はその他のプロセッサ又は回路とすることができる。
メモリ204は、補償回路202が実行できる命令セットを記憶するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。メモリ204は、解剖学的部分114の関心手術領域の組織タイプに関連する1又は2以上の材料特性のデータセットを記憶するように構成することができる。データセットは、医用データサーバ108から取り出してメモリ204に記憶することができる。メモリ204は、外科画像取り込み装置106が取り込んだ複数の立体画像を記憶するようにさらに構成することができる。メモリ204は、被験者116などの被験者の生理学的データ又は病歴に関連する1又は2以上の患者プロファイルからの情報を記憶するように構成することもできる。
メモリ204は、手術腔内の関心手術領域を切除するために利用される手術器具の垂直基準軸に対する配向情報を記憶するようにさらに構成することができる。メモリ204は、オペレーティングシステム及び関連アプリケーションを記憶するようにさらに構成することができる。メモリ204の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的消去可能なプログラマブルROM(EEPROM)、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、CPUキャッシュ、及び/又はセキュアデジタル(SD)カードを挙げることができる。
ネットワークインターフェイス206は、(図1に示すように)通信ネットワーク112を介して複数の医用撮像装置104、外科画像取り込み装置106、医用データサーバ108及び/又はディスプレイ画面110と通信するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。ネットワークインターフェイス206は、外科支援装置102と通信ネットワーク112との有線又は無線通信をサポートする既知の技術を実装することができる。ネットワークインターフェイス206は、以下に限定するわけではないが、アンテナ、無線周波数(RF)トランシーバ、1又は2以上の増幅器、チューナ、1又は2以上の発振器、デジタルシグナルプロセッサ、コーダ−デコーダ(CODEC)チップセット、加入者識別モジュール(SIM)カード、及び/又はローカルバッファを含むことができる。
I/O装置208は、ユーザから入力を受け取り、受け取った入力に基づいてユーザに出力を提供するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。I/O装置208は、外科画像取り込み装置106から入力を受け取ってディスプレイ画面110に出力を提供することができる。I/O装置208は、専用バス及び/又はチャネルを介して外科画像取り込み装置106及びディスプレイ画面110に結合することができる。入力装置の例としては、以下に限定するわけではないが、外科画像取り込み装置106、タッチ画面、カメラ、キーボード、マウス、ジョイスティック、マイク、モーションセンサ、光センサ及び/又はドッキングステーションを挙げることができる。出力装置の例としては、以下に限定するわけではないが、ディスプレイ画面110、プロジェクタ画面及び/又はスピーカを挙げることができる。
プロセッサ210は、メモリ204に記憶された命令セットを実行するように構成できる好適なロジック、回路及び/又はインターフェイスを含むことができる。プロセッサ210の例は、x86ベースのプロセッサ、x86−64ベースのプロセッサ、ASICプロセッサ、CPU、EPICプロセッサ、VLIWプロセッサ及び/又はその他のプロセッサ又は回路とすることができる。
プロセッサ210によって実行される動作については、図3A及び図3Bにおいて被験者116の脳を関心解剖学的部分114として例に挙げて説明している。それにもかかわらず、解剖学的部分114は、本開示の範囲を限定することなく被験者116の他の解剖学的部分とすることもできる。
図3Aは、本開示の実施形態による、脳の解剖学的部分の変形に起因する術中変位に見舞われた脳のビューを示すシナリオである。図3Aの説明は、図1及び図2の要素に関連して行う。図3Aには、術中段階において切開された頭蓋骨302内の脳の術中ビュー300Aを示す。術中ビュー300Aは、被験者114の頭蓋骨302と、基準点304と、頭蓋骨302の切開後に露出した解剖学的部分306と、解剖学的部分306の手術腔308と、関心手術領域310とを含む。また、手術器具312、手術器具312の配向を示す角度314A、脳の重量が作用する垂直基準軸314B、解剖学的部分306の周囲の既知の位置における実体顕微鏡316A及び実体顕微鏡316Bも示す。
基準点304は、解剖学的部分306の基準位置としての役割を果たすことができ、基準点304の位置は、手術の術前段階及び術中段階全体を通じて不変である。基準点304は、脳脊髄液の喪失と共に組織変形が生じた場合、外科支援装置102が術中変位を特定した後に脳の再構成3Dグラフィックモデルを登録するためにさらに利用することができる。
解剖学的部分306は、頭蓋骨302の切開後に外科画像取り込み装置106(例えば、実体顕微鏡316A及び実体顕微鏡316B)に曝される脳の規定部分とすることができる。手術中、外科医118は、基準点304と、被験者114の術前画像から識別された関心手術領域310(例えば、腫瘍又は異常増殖に関連する領域)の既知の位置とに基づいて頭蓋骨302の切開を行うことができる。悪性癌組織などの組織は、解剖学的部分306の手術腔308から切除することが必要となり得る。このような組織は、手術腔308の関心手術領域310に存在することができる。外科医118は、このような組織が存在する手術腔308の底部に手術器具312をさらに案内することができる。その後、外科医118は、手術器具312を使用して、解剖学的部分306に存在する組織を除去することができる。頭蓋骨302の切開後、脳は、解剖学的部分306の組織の周囲に保持されている脳脊髄液をもはや保持することができず、従って脳、又は具体的には解剖学的部分306は、体液の喪失及び重力の影響によって変形することがある。
解剖学的部分306は、頭蓋骨302の切開後の突然の体液喪失及び解剖学的部分306の明らかな変形に起因して初期位置変位を受けることがある。脳が術中状態にある間は、解剖学的部分306が変形し、従って術中脳変位によって組織の位置が変化する恐れがある。従って、(残存変位とも呼ばれる)術中脳変位の推定が必要となり得る。また、いくつかの例では、術中状態の脳(又は解剖学的部分306)の3Dグラフィックモデルを再構成するために、事前に分かっていた解剖学的部分306の組織の(単複の)位置を更新することがさらに必要となり得る。
手術中、外科医116は、手術器具312を利用して、手術腔308の関心手術領域310の組織を垂直基準軸314Bに対して切除することができる。垂直基準軸314Bは、解剖学的部分306の重量が作用する方向に対応することができる。手術器具312は、垂直基準軸314Bに対して(「θ」で表す)角度314Aを成す。角度314Aは、手術中の手術器具312の配向情報の一部とすることができる。手術器具312の配向情報及び解剖学的部分306の異なる組織の材料特性は、手術中の解剖学的部分306の変形に影響を与えることもある。
プロセッサ210は、外科支援装置のメモリ204から、又は医用データサーバ108から直接脳の材料特性を取り出すように構成することができる。プロセッサ210は、保護部分(例えば、頭蓋骨302)の切開後に露出する(例えば、神経細胞及び神経膠成分などを特徴とする)組織タイプに関連する材料パラメータを考慮して材料特性を処理することができる。材料パラメータとしては、以下に限定するわけではないが、解剖学的部分306内の組織タイプの引張弾性値、及び組織タイプに関連する組織密度(例えば、ヤング率)を挙げることができる。脳の解剖学的部分306の組織タイプは、以下に限定するわけではないが、灰白質、白質、神経組織及び腫瘍組織を含むことができる。
プロセッサ210は、外科支援装置102のメモリ204から手術器具312の配向情報を取り出すようにさらに構成することができる。配向情報は、関心手術領域310の組織を切除するために手術器具312を手術腔308内に案内した時点で取り出すことができる。また、配向情報は、垂直基準軸314Bに対して決定される。手術器具312の配向情報の値は、解剖学的部分306の残存変位(又は術中脳変位)の推定のために第1の関係モデル及び第2の関係モデルを適用する際にさらに実装することができる。術中脳変位の推定の詳細については、図3Bにおいてさらに詳細に説明している。
図3Bは、本開示の実施形態による、脳の解剖学的部分の変形に起因する術中脳変位の推定を示す脳の解剖学的部分の代表図である。図3Bの説明は、図1、図2及び図3Aの要素に関連して行う。図3Bには、いずれも手術中に組織変形及び脳脊髄液の喪失に起因する術中脳変位を受けた解剖学的部分306及び手術腔308の代表図300Bを示す。
代表図300Bには、解剖学的部分306の解剖学的表面の第1の位置318と、解剖学的表面の第2の位置320とを示す。第1の位置318は、頭蓋骨302の切開前に取得され、第2の位置320は頭蓋骨302の切開後に取得される。手術腔308の関心手術領域310の見掛けの位置322及び実際の位置324も示す。見掛けの位置322は、最初に第2の位置320に対する(「d」によって表す)第1の深度値において推定することができ、実際の位置324は、第1の位置318に対する(「l」によって表す)第2の深度値においてさらに推定することができる。第1の位置318と第2の位置320との差分は、(「s」によって表す)初期位置変位とすることができ、第1の深度値(d)と第2の深度値(l)との差分は、(同様に「Δl」によって表す)残存変位とすることができる。
外科画像取り込み装置106(例えば、既知の位置における実体顕微鏡316A及び実体顕微鏡316B)は、解剖学的部分306(すなわち、この例では脳の一部)の複数の立体画像を取り込むように構成することができる。外科画像取り込み装置106は、精密立体カメラに取り付けられたデジタル実体顕微鏡とすることができる。外科支援装置102は、保護部分(すなわち、頭蓋骨302)の切開に起因する解剖学的部分306の解剖学的表面の第1の位置318から第2の位置320への初期位置変位(s)を決定するように構成することができる。第1の位置318は、解剖学的部分306の術前脳表面(すなわち、解剖学的表面)に対応することができる。同様に、第2の位置320は、手術中の頭蓋骨の開放後の脳脊髄液喪失後の解剖学的部分306の術中脳表面(すなわち、解剖学的表面)に対応することができる。
初期位置変位(s)は、脳の術前マルチモーダル画像の第1の位置318における解剖学的表面に関連する術前深度値と、取り込まれた複数の立体画像から推定される第2の位置320における解剖学的表面の対応する深度値との比較に基づいて決定することができる。初期位置変位(s)は、全体的な術中脳変位(すなわち、残存変位(Δl))の一部までしか寄与しないものとすることができる。解剖学的部分306の変形は非線形的な場合もあり、従って解剖学的部分306の一部の変形が大きく、一部の変形が小さいこともある。代表図300Bから、残存変位(Δl)は以下のような多項式(1)によって表すことができる。
Figure 2021533484
(1)
外科支援装置102は、解剖学的表面の第2の位置320から解剖学的部分306の手術腔308の底部に存在する関心手術領域までの第1の深度値(d)を推定するようにさらに構成することができる。第1の深度値(d)は、解剖学的部分306の解剖学的表面のビューを取り込むために切開によって生じた開口部を介して異なる指定位置の外科画像取り込み装置106(例えば、既知の位置にある実体顕微鏡316A及び実体顕微鏡316B)から取り込まれた複数の立体画像に基づいて推定される見掛けの深度とすることができる。
外科支援装置102は、推定された第1の深度値(d)に対する関心手術領域310の位置の残存変位(Δl)を決定するようにさらに構成することができる。残存変位(Δl)は、(解剖学的部分306の組織タイプに関連する)材料パラメータと推定された第1の深度値(d)との第1の関係モデルに基づいて決定することができる。残存変位(Δl)は、第1の深度値(d)の推定の偏差が、決定された残存変位(Δl)によって手術腔308内の関心手術領域310の第2の深度値(l)に対して補償されるように決定することができる。
残存変位(Δl)は、外科支援装置102が少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位(s)と、手術器具312に関連する配向情報と、推定された第1の深度値(d)との間の多変量関係の多項式展開に基づいて導出できる第1の関係モデルに基づいて決定することができる。第1の関係モデルは、取り出された配向情報と、解剖学的部分306の組織タイプの材料パラメータと、推定された第1の深度値(d)との2次関係に基づくことができる。第1の関係モデルは、以下のような方程式(2)によって表され、
Figure 2021533484
(2)
ここでのkの値は、組織密度(ρ)、重力(g)による加速度及び角度314Aの所与の値の定数であり、μは、関心手術領域310の組織タイプのヤング率を表す。「k」は、以下のような方程式(3)によって与えられる。
Figure 2021533484
(3)
第1の関係モデルは、変形及び関連する術中脳変位の異なる可能性を導出するためにさらに利用できる第2の関係モデルから導出することもできる。第2の関係モデルは、解剖学的部分306に関連する組織の材料パラメータと、決定された初期位置変位(s)と、手術器具312に関連する配向情報と、推定された第1の深度値(d)との間の多変量関係の多項式展開によって取得することができる。いくつかの実施形態では、外科支援装置102を、解剖学的部分306の切開後に露出する組織タイプに関連する材料パラメータをメモリ204から取り出すようにさらに構成することができる。材料パラメータは、解剖学的部分306の組織タイプの引張弾性値と、組織タイプ(例えば、灰白質、白質、腫瘍性組織など)に関連する組織密度(ρ)とを含むことができる。引張弾性値は、解剖学的部分306の組織タイプの弾性特性を示すヤング率(μ)に対応することができる。
第2の関係モデルは、以下のような方程式(4)、(5)及び(6)によって表される。
Figure 2021533484
(4)
Figure 2021533484
(5)
関心手術領域310の組織が硬組織である場合、組織のヤング率(μ)は、定数(k)と初期位置変位(s)との積よりも大幅に大きくなり得る。従って、このような場合、方程式(5)は、以下のような方程式(6)に単純化される。
Figure 2021533484
(6)
ある実施形態によれば、方程式(1)及び(2)と(6)との比較に基づいて方程式(2)を導出することもできる。方程式(2)を第1の関係モデルとして利用して、定数(k)と、第1の深度値(d)と、関心手術領域310の組織のヤング率(μ)との2次関係によって与えられる残存変位(Δl)を決定することができる。方程式(6)は、方程式(5)の多項式展開における不定項数の近似後に導出することができる。従って、近似では、方程式(5)の最初の3つの項(例えば、s+(μd/μ+ks)−k(μd)2/(μ+ks)3)のみを採用して残りの項(例えば、Ο((kμd)/(μ+ks)23)を無視することができる。外科支援装置102は、(方程式(6)によって表される)第2の関係モデルを利用して、解剖学的表面の第1の位置318に対する解剖学的部分306の手術腔308内の関心手術領域310の第2の深度値(l)を決定するように構成することができる。
残存変位(Δl)の決定後、外科支援装置102は、解剖学的部分306の3次元(3D)グラフィックモデルを生成するようにさらに構成することができる。3Dグラフィックモデルは、決定された解剖学的表面の初期位置変位(s)と、推定された第1の深度値(d)と、決定された残存変位(Δl)と、手術腔308内の関心手術領域310の決定された第2の深度値(l)とに基づいて生成することができる。
外科支援装置102は、手術腔308内の関心手術領域310の正しい深度を示すために第1の深度値(d)から第2の深度値(l)に補正すべき深度量を含む手術案内情報を生成するようにさらに構成することができる。手術案内情報は、決定された残存変位(Δl)に基づいて生成することもできる。
外科支援装置102は、外科支援装置102に結合されたディスプレイ画面110における生成された手術案内情報の表示を制御するように構成することができる。生成された手術案内情報の表示は、手術腔308内の第2の深度値(l)における関心手術領域310への手術器具312のナビゲーションが容易になるように制御することができる。その後、外科支援装置102は、生成された3Dグラフィックモデル及び手術案内情報の表示をリアルタイム又は準リアルタイムで更新するようにさらに構成することができる。換言すれば、表示は、手術腔308の第1の深度値(d)、残存変位(Δl)及び第2の深度値(l)の推定値のリアルタイム又は準リアルタイムな変化に従って更新することができる。ある実施形態によれば、外科支援装置102は、ディスプレイ画面110における解剖学的部分306の3Dグラフィックモデルのレンダリングを連続して制御するようにさらに構成することができる。これにより、手術腔308内の第2の深度値(l)における関心手術領域310への手術器具312の連続する簡単なナビゲーションが促される。手術案内情報は、生成された解剖学的部分306の3Dグラフィックモデルに基づいてさらに生成することができる。
図4A及び図4Bに、本開示の実施形態による、術中変位に見舞われた内部器官の解剖学的部分の手術を支援する例示的な動作を示すフローチャートを集合的に示す。図4A及び図4Bには、フローチャート400を示す。フローチャート400の説明は、図1、図2、図3A及び図3Bの要素に関連して行う。フローチャート400による方法は、外科支援装置102に実装することができる。方法は、402から開始して404に進む。
404において、解剖学的部分114に関連する1又は2以上のデータセットを被験者116の内部器官のデータベースに登録することができる。1又は2以上のデータセットは、被験者116の解剖学的部分114(又は内部器官全体)の術前マルチモーダル画像を含むことができる。この登録は、術中段階、すなわち手術中に内部器官の解剖学的部分を視覚的にモデル化し、又は手術前に解剖学的部分の関心手術領域を特定するために行うことができる。外科支援装置102は、解剖学的部分114に関連する1又は2以上のデータセットを被験者116の内部器官のデータベースに登録するように構成することができる。
406において、被験者116の身体の解剖学的部分114の複数の立体画像を取り込むことができる。外科画像取り込み装置は、被験者116の身体の解剖学的部分114の複数の立体画像を取り込むように構成することができる。複数の立体画像は、切開部を通じた解剖学的部分114の解剖学的表面のビューを取り込むように、異なる指定位置の外科画像取り込み装置106から取り込むことができる。
408において、解剖学的部分114の切開後に露出した組織タイプに関連する材料パラメータをメモリ204から取り出すことができる。外科支援装置102は、解剖学的部分114の切開後に露出した組織タイプに関連する材料パラメータをメモリ204から取り出すように構成することができる。材料パラメータは、解剖学的部分114の組織タイプの引張弾性値と、組織タイプに関連する組織密度とを含むことができる。
410において、外科支援装置102のメモリ204から、手術腔内の関心手術領域を切除するために利用される手術器具の、手術腔内の垂直基準軸に対する配向情報を取り出すことができる。外科支援装置102は、手術腔内の関心手術領域を切除するために利用される手術器具の垂直基準軸に対する配向情報を取り出すように構成することができる。
412において、データセットの登録に基づいて切開前の解剖学的表面の第1の位置を決定することができる。プロセッサ210は、データセットの登録に基づいて切開前の解剖学的表面の第1の位置を決定するようにさらに構成することができる。
414において、取り込まれた複数の立体画像に基づいて切開後の解剖学的表面の第2の位置を決定することができる。プロセッサ210は、取り込まれた複数の立体画像に基づいて切開後の解剖学的表面の第2の位置を決定するようにさらに構成することができる。
416において、脳の術前マルチモーダル画像における解剖学的表面の第1の位置に関連する術前深度値と、第2の位置における解剖学的表面の対応する深度値との比較に基づいて初期位置変位を決定することができる。プロセッサ210は、脳の術前マルチモーダル画像における解剖学的表面の第1の位置に関連する術前深度値と、第2の位置における解剖学的表面の対応する深度値との比較に基づいて初期位置変位を決定するように構成することができる。
418において、解剖学的表面の第2の位置から解剖学的部分114の手術腔の底部に存在する関心手術領域までの第1の深度値を推定することができる。プロセッサ210は、解剖学的表面の第2の位置から解剖学的部分114の手術腔の底部に存在する関心手術領域までの第1の深度値を推定するように構成することができる。第1の深度値は、切開後に取得される解剖学的部分114の解剖学的表面のビューを取り込むために異なる指定位置の外科画像取り込み装置106から取り込まれた複数の立体画像に基づいて推定される見掛けの深度とすることができる。第1の深度値の推定については、例えば図3Bにおいて図示し説明した。
420において、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開によって第2の関係モデルを取得することができる。プロセッサ210は、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開によって第2の関係モデルを取得するように構成することができる。
422において、解剖学的表面の第1の位置に対する解剖学的部分114の手術腔内の関心手術領域の第2の深度値を決定することができる。プロセッサ210は、解剖学的表面の第1の位置に対する解剖学的部分114の手術腔内の関心手術領域の第2の深度値を決定するように構成することができる。第2の深度値は、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開によって取得される第2の関係モデルに基づいて決定することができる。第2の深度値の決定については、例えば線図3Bにおいて図示し説明した。
424において、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開に基づいて、第2の関係モデルから第1の関係モデルを導出することができる。第1の関係モデルは、取り出された配向情報と、組織タイプの材料パラメータと、推定された第1の深度値(d)との2次関係に基づくことができる。プロセッサ210は、第2の関係モデルから第1の関係モデルを導出するように構成することができる。
426において、推定された第1の深度値に対する関心手術領域の位置の残存変位を決定することができる。プロセッサ210は、推定された第1の深度値に対する関心手術領域の位置の残存変位を決定するように構成することができる。残存変位の決定は、解剖学的部分の組織タイプに関連する材料パラメータと、推定された第1の深度値との第1の関係モデルに基づくことができる。残存変位は、解剖学的部分114の組織変形に起因する第1の深度値の推定の偏差が、決定された残存変位によって手術腔内の関心手術領域の第2の深度値に対して補償されるように決定することができる。
428において、解剖学的部分114の3次元(3D)グラフィックモデルを生成することができる。プロセッサ210は、解剖学的部分114の3次元(3D)グラフィックモデルを生成するように構成することができる。3Dグラフィックモデルは、決定された解剖学的表面の初期位置変位と、推定された第1の深度値と、決定された残存変位と、手術腔内の関心手術領域の決定された第2の深度値とに基づいて生成することができる。
430において、生成された解剖学的部分114の3Dグラフィックモデルに基づいて手術案内情報を生成することができる。プロセッサ210は、手術腔内の関心手術領域の正しい深度を示すために第1の深度値から第2の深度値に補正すべき深度量を含む手術案内情報を生成するように構成することができる。手術案内情報は、決定された残存変位に基づいて生成することができる。
432において、外科支援装置102に結合されたディスプレイ画面上で、生成された手術案内情報の表示を手術腔内の第2の深度値における関心手術領域への手術器具のナビゲーションが容易になるように制御することができる。プロセッサ210は、外科支援装置102に結合されたディスプレイ画面上で、生成された手術案内情報の表示を手術腔内の第2の深度値における関心手術領域への手術器具のナビゲーションが容易になるように制御するよう構成することができる。
434において、手術腔の第1の深度値、残存変位及び第2の深度値の推定のリアルタイム又は準リアルタイムな変化に従って、生成された3Dグラフィックモデル及び手術案内情報の表示を更新することができる。プロセッサ210は、手術腔の第1の深度値、残存変位及び第2の深度値の推定のリアルタイム又は準リアルタイムな変化に従って、生成された3Dグラフィックモデル及び手術案内情報の表示を更新するように構成することができる。
436において、ディスプレイ画面110における解剖学的部分114の3Dグラフィックモデルのレンダリングを、手術腔内の第2の深度値における関心手術領域への手術器具の連続的ナビゲーションを容易にするように連続的に制御することができる。プロセッサ210は、ディスプレイ画面110における解剖学的部分114の3Dグラフィックモデルのレンダリングを、手術腔内の第2の深度値における関心手術領域への手術器具の連続的ナビゲーションを容易にするように連続的に制御するようさらに構成することができる。制御は終了に進む。
本開示の様々な実施形態は、外科医が被験者の内部器官の解剖学的部分の変形の術中変位(すなわち、残存変位)を補償するのを容易にする案内情報をレンダリングするために機械及び/又はコンピュータが実行できる機械コード及び/又は命令セットを記憶した非一時的コンピュータ可読媒体及び/又は記憶媒体、及び/又は非一時的機械可読媒体及び/又は記憶媒体を提供することができる。外科医は、解剖学的部分の手術腔内の正しい深度において手術器具を動かすことによって術中変位を補償することができる。機械及び/又はコンピュータは、これらの命令セットを実行して、被験者の解剖学的部分の複数の立体画像の取り込みを含むステップを実行することができる。解剖学的部分の切開後に露出する組織タイプに関連する材料パラメータをメモリから取り出すことができる。被験者の内部器官の解剖学的部分の術前マルチモーダル画像のデータセットを医用データサーバから登録することができる。関心手術領域を切除するために利用できる手術器具の垂直基準軸に対する外科的配向情報を取り出すことができる。保護部分の切開に起因する解剖学的部分の解剖学的表面の、(切開前の)解剖学的表面の第1の位置から(切開後の)解剖学的表面の第2の位置への初期位置変位を決定することができる。解剖学的表面の第2の位置に対する解剖学的部分の手術腔の底部における手術表面の第1の深度値(d)を推定することができる。第1の深度値は、異なる位置値から取り込まれた複数の立体画像に基づいて推定することができる。解剖学的部分の組織タイプに関連する材料パラメータと推定された第1の深度値との第1の関係モデルに基づいて、推定された第1の深度値に対する手術表面の位置における残存変位を推定することができる。残存変位は、手術表面の組織変形に起因する第1の深度値の推定の偏差が、推定された残存変位によって手術腔内の手術表面の第2の深度値に対して補償されるように推定することができる。手術腔内の手術表面の第2の深度値への手術器具のナビゲーションを容易にするために手術案内情報を表示することができる。
本開示の例示的な態様は、被験者の身体の(解剖学的部分114などの)解剖学的部分の複数の立体画像を外科画像取り込み装置の異なる位置値から取り込むように構成された(外科画像取り込み装置106などの)外科画像取り込み装置を含む(外科支援装置102などの)外科支援装置を含むことができる。解剖学的部分は、内部器官を取り囲む保護部分の切開後に外科画像取り込み装置に曝される内部器官の規定部分とすることができる。外科支援装置102は、保護部分の切開に起因する切開前の解剖学的表面の第1の位置から切開後の解剖学的表面の第2の位置への解剖学的部分の解剖学的表面の初期位置変位を決定するように構成された(補償回路202などの)回路をさらに含むことができる。変位補償回路は、解剖学的表面の第2の位置に対する解剖学的部分の手術腔の底部における手術表面の第1の深度値を推定するように構成することができる。第1の深度値は、異なる位置値から取り込まれた複数の立体画像に基づいて推定することができる。変位補償回路は、推定された第1の深度値に対する手術表面の位置の残存変位を推定するように構成することができる。残存変位の推定は、解剖学的部分の組織タイプに関連する材料パラメータと推定された第1の深度値との第1の関係モデルに基づくことができる。残存変位は、手術表面の組織変形に起因する第1の深度値の推定の偏差が、推定された残存変位によって手術腔内の手術表面の第2の深度値に対して補償されるように推定することができる。変位補償回路は、手術腔内の手術表面の第2の深度値への手術器具のナビゲーションを容易にするために手術案内情報を表示するようにさらに構成することができる。
ある実施形態によれば、初期位置変位は、内部器官の術前マルチモーダル画像の第1の位置における解剖学的表面に関連する深度値と、取り込まれた複数の立体画像から推定される対応する第2の位置における解剖学的表面の深度値との比較に基づいて決定することができる。外科画像取り込み装置は、精密立体カメラに取り付けられたデジタル実体顕微鏡とすることができる。
解剖学的部分は、脳の一部を取り囲む頭蓋骨の切開後に露出する脳の部分とすることができる。手術表面は、少なくとも解剖学的部分に存在する脳組織、血管網及び脳室とすることができる。脳の部分の組織タイプは、灰白質、白質及び腫瘍のうちの少なくとも1つとすることができる。
ある実施形態によれば、補償回路は、解剖学的部分の切開後に露出する組織タイプに関連する材料パラメータを取り出すようにさらに構成することができる。組織の材料パラメータは、解剖学的部分の組織タイプのヤング率及び組織タイプに関連する組織密度の少なくとも一方を含むことができる。補償回路は、手術腔内の手術表面を切除するために利用できる手術器具の垂直基準軸に対する配向情報を取り出すようにさらに構成することができる。
ある実施形態によれば、第1の関係モデルは、取り出された配向情報と、組織タイプに関する材料パラメータと、推定された第1の深度値との2次関係に基づくことができる。変位補償回路は、解剖学的表面の第1の位置に対する解剖学的部分の手術腔内の手術表面の第2の深度値を推定するようにさらに構成することができる。第2の深度値は、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開によって取得される第2の関係モデルに基づいて推定することができる。
ある実施形態によれば、補償回路は、第2の関係モデルから第1の関係モデルを導出するようにさらに構成することができる。このような第2の関係モデルからの第1の関係モデルの導出は、少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開に基づくことができる。
ある実施形態によれば、補償回路は、マルチモーダルソースから受け取られた内部器官の術前マルチモーダル画像のデータセットを登録するようにさらに構成することができる。補償回路は、データセットの登録に基づいて切開前の解剖学的表面の第1の位置を決定するように構成することができる。
ある実施形態によれば、補償回路は、決定された解剖学的表面の初期位置変位と、推定された第1の深度値と、決定された残存変位と、決定された手術腔の第2の深度値とに基づいて解剖学的部分の3次元(3D)グラフィックモデルを生成するようにさらに構成することができる。補償回路は、手術腔の第1の深度値、残存変位及び第2の深度値の推定のリアルタイムな変化に従って、生成された3Dグラフィックモデル及び手術案内情報の表示を更新するようにさらに構成することができる。補償回路は、ディスプレイ装置における解剖学的部分の3Dグラフィックモデルのレンダリングを、手術腔内の関心領域の第2の深度値への手術器具の連続ナビゲーションを容易にするように制御するようさらに構成することができる。いくつかの実施形態では、補償回路を、生成された解剖学的部分の3Dグラフィックモデルに基づいて手術案内情報を生成するようにさらに構成することができる。
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも1つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはa)別の言語、コード又は表記法への変換、b)異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
400:フローチャート
402:開始
404:マルチモーダルソースから受け取られた術前マルチモーダル画像のデータセットを被験者の内部器官のデータベースに登録する
406:被験者の身体の解剖学的部分の複数の立体画像を取り込む
408:解剖学的部分の切開後に露出した組織タイプに関連する材料パラメータをメモリから取り出す
410:外科支援装置に備わるメモリから、手術腔内の関心手術領域を切除するために利用される手術器具の垂直基準軸に対する配向情報を取り出す
412:データセットの登録に基づいて切開前の解剖学的表面の第1の位置を決定する
414:取り込まれた複数の立体画像に基づいて切開後の解剖学的表面の第2の位置を決定する
416:保護部分の切開に起因する解剖学的部分の切開前の解剖学的表面の第1の位置から切開後の解剖学的表面の第2の位置への初期位置変位を決定する
418:解剖学的表面の第2の位置から解剖学的部分の手術腔の底部に存在する関心手術領域までの第1の深度値を推定する
420:少なくとも材料パラメータと、決定された解剖学的表面の初期位置変位と、手術器具に関連する配向情報と、推定された第1の深度値との間の多変量関係の多項式展開によって第2の関係モデルを取得する

Claims (17)

  1. 外科支援装置であって、
    外科画像取り込み装置と、
    補償回路と、
    を備え、前記外科画像取り込み装置は、被験者の身体の解剖学的部分の複数の立体画像を取り込むように構成され、前記解剖学的部分は、内部器官を取り囲む保護部分の切開後に前記外科画像取り込み装置に曝される前記内部器官の規定部分であり、前記補償回路は、
    前記保護部分の切開に起因する切開前の解剖学的表面の第1の位置から切開後の前記解剖学的表面の第2の位置への前記解剖学的部分の前記解剖学的表面の初期位置変位を、前記内部器官の術前マルチモーダル画像の前記第1の位置における前記解剖学的表面に関連する術前深度値と、前記取り込まれた複数の立体画像から推定される前記第2の位置における前記解剖学的表面の対応する深度値との比較に基づいて決定し、
    前記解剖学的表面の前記第2の位置から前記解剖学的部分の手術腔の底部に存在する関心手術領域までの第1の深度値であって、切開部を通じた前記解剖学的部分の前記解剖学的表面のビューを取り込むために異なる指定位置の前記外科画像取り込み装置から取り込まれた前記複数の立体画像に基づいて推定された見掛けの深度である第1の深度値を推定し、
    前記解剖学的部分の組織タイプに関連する材料パラメータと前記推定された第1の深度値との第1の関係モデルに基づいて、前記解剖学的部分の組織変形に起因する前記第1の深度値の前記推定の偏差が前記手術腔内の前記関心手術領域の第2の深度値に対して補償されるように、前記推定された第1の深度値に対する前記関心手術領域の位置の残存変位を決定し、
    前記決定された残存変位に基づいて、前記手術腔内の前記関心手術領域の正しい深度を示すために前記第1の深度値から前記第2の深度値に補正される深度量を含む手術案内情報を生成し、
    前記外科支援装置に結合されたディスプレイ画面上で、前記生成された手術案内情報の表示を、前記手術腔内の前記第2の深度値における前記関心手術領域への手術器具のナビゲーションが容易になるように制御する、
    ように構成される、
    ことを特徴とする外科支援装置。
  2. 前記外科画像取り込み装置は、精密立体カメラに取り付けられたデジタル実体顕微鏡である、
    請求項1に記載の外科支援装置。
  3. 前記解剖学的部分は、脳部分を取り囲む前記保護部分に対応する頭蓋骨の切開後に露出する前記脳部分であり、前記関心手術領域は、少なくとも前記解剖学的部分に存在する脳組織、血管網及び脳室である、
    請求項1に記載の外科支援装置。
  4. 前記脳部分の前記組織タイプは、灰白質、白質及び腫瘍のうちの少なくとも1つである、
    請求項3に記載の外科支援装置。
  5. メモリをさらに備え、前記補償回路は、前記解剖学的部分の前記切開後に露出する前記組織タイプに関連する材料パラメータを前記メモリから取り出すようにさらに構成され、前記材料パラメータは、前記解剖学的部分の前記組織タイプの引張弾性値、及び前記組織タイプに関連する組織密度を含む、
    請求項1に記載の外科支援装置。
  6. 前記補償回路は、前記外科支援装置に備わるメモリから、前記手術腔内の前記関心手術領域を切除するために利用される手術器具の配向情報を取り出すようにさらに構成される、
    請求項1に記載の外科支援装置。
  7. 前記第1の関係モデルは、前記取り出された配向情報と、前記組織タイプの材料パラメータと、前記推定された第1の深度値との2次関係に基づく、
    請求項6に記載の外科支援装置。
  8. 前記補償回路は、前記解剖学的表面の前記第1の位置に対する前記解剖学的部分の前記手術腔内の前記関心手術領域の前記第2の深度値を決定するようにさらに構成される、
    請求項1に記載の外科支援装置。
  9. 前記第2の深度値は、少なくとも前記材料パラメータと、前記決定された前記解剖学的表面の初期位置変位と、前記手術器具に関連する配向情報と、前記推定された第1の深度値との間の多変量関係の多項式展開によって取得される第2の関係モデルに基づいて決定される、
    請求項1に記載の外科支援装置。
  10. 前記補償回路は、少なくとも前記材料パラメータと、前記決定された前記解剖学的表面の初期位置変位と、前記手術器具に関連する前記配向情報と、前記推定された第1の深度値との間の多変量関係の多項式展開に基づいて、前記第2の関係モデルから前記第1の関係モデルを導出するようにさらに構成される、
    請求項9に記載の外科支援装置。
  11. 前記補償回路は、マルチモーダルソースから受け取られた前記術前マルチモーダル画像のデータセットを前記被験者の前記内部器官のデータベースに登録するようにさらに構成される、
    請求項1に記載の外科支援装置。
  12. 前記補償回路は、前記データセットの前記登録に基づいて、前記切開前の前記解剖学的表面の前記第1の位置を決定するようにさらに構成される、
    請求項11に記載の外科支援装置。
  13. 前記補償回路は、前記決定された前記解剖学的表面の初期位置変位と、前記推定された第1の深度値と、前記決定された残存変位と、前記決定された前記手術腔の第2の深度値とに基づいて前記解剖学的部分の3次元(3D)グラフィックモデルを生成するようにさらに構成される、
    請求項1に記載の外科支援装置。
  14. 前記補償回路は、前記手術腔の前記第1の深度値、前記残存変位及び前記第2の深度値の推定のリアルタイム又は準リアルタイムな変化に従って、前記生成された3Dグラフィックモデル及び前記手術案内情報の表示を更新するようにさらに構成される、
    請求項13に記載の外科支援装置。
  15. 前記補償回路は、前記ディスプレイ画面における前記解剖学的部分の前記3Dグラフィックモデルのレンダリングを、前記手術腔内の前記第2の深度値における前記関心手術領域への前記手術器具の連続ナビゲーションを容易にするように連続して制御するようさらに構成される、
    請求項14に記載の外科支援装置。
  16. 前記補償回路は、前記生成された前記解剖学的部分の3Dグラフィックモデルに基づいて前記手術案内情報を生成するようにさらに構成される、
    請求項14に記載の外科支援装置。
  17. 外科画像取り込み装置と補償回路とを備えた外科支援装置において、
    前記外科画像取り込み装置が、被験者の身体の内部器官を取り囲む保護部分の切開後に前記外科画像取り込み装置に曝される前記内部器官の規定部分である解剖学的部分の複数の立体画像を取り込むステップと、
    前記補償回路が、前記保護部分の切開に起因する切開前の解剖学的表面の第1の位置から切開後の前記解剖学的表面の第2の位置への前記解剖学的部分の前記解剖学的表面の初期位置変位を、前記内部器官の術前マルチモーダル画像の前記第1の位置における前記解剖学的表面に関連する術前深度値と、前記取り込まれた複数の立体画像から推定される前記第2の位置における前記解剖学的表面の対応する深度値との比較に基づいて決定するステップと、
    前記補償回路が、前記解剖学的表面の前記第2の位置から前記解剖学的部分の手術腔の底部に存在する関心手術領域までの第1の深度値であって、切開部を通じた前記解剖学的部分の前記解剖学的表面のビューを取り込むために異なる指定位置の前記外科画像取り込み装置から取り込まれた前記複数の立体画像に基づいて推定された見掛けの深度である第1の深度値を推定するステップと、
    前記補償回路が、前記解剖学的部分の組織タイプに関連する材料パラメータと前記推定された第1の深度値との第1の関係モデルに基づいて、前記解剖学的部分の組織変形に起因する前記第1の深度値の前記推定の偏差が前記手術腔内の前記関心手術領域の第2の深度値に対して補償されるように、前記推定された第1の深度値に対する前記関心手術領域の位置の残存変位を決定するステップと、
    前記補償回路が、前記決定された残存変位に基づいて、前記手術腔内の前記関心手術領域の正しい深度を示すために前記第1の深度値から前記第2の深度値に補正される深度量を含む手術案内情報を生成するステップと、
    前記補償回路が、前記外科支援装置に結合されたディスプレイ画面上で、前記生成された手術案内情報の表示を、前記手術腔内の前記第2の深度値における前記関心手術領域への手術器具のナビゲーションが容易になるように制御するステップと、
    を含むことを特徴とする方法。
JP2021505990A 2018-08-07 2019-08-05 術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置 Active JP7125019B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/056,883 2018-08-07
US16/056,883 US10292769B1 (en) 2018-08-07 2018-08-07 Surgical assistive device and method for providing assistance in surgery of anatomical portions of internal organ affected by intraoperative shift
PCT/IB2019/056656 WO2020031070A1 (en) 2018-08-07 2019-08-05 Surgical assistive device for providing assistance in surgery of anatomical portions of internal organ affected by intraoperative shift

Publications (2)

Publication Number Publication Date
JP2021533484A true JP2021533484A (ja) 2021-12-02
JP7125019B2 JP7125019B2 (ja) 2022-08-24

Family

ID=66540917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021505990A Active JP7125019B2 (ja) 2018-08-07 2019-08-05 術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置

Country Status (6)

Country Link
US (1) US10292769B1 (ja)
EP (1) EP3807842A1 (ja)
JP (1) JP7125019B2 (ja)
KR (1) KR102455774B1 (ja)
CN (1) CN112534512A (ja)
WO (1) WO2020031070A1 (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US20190125320A1 (en) 2017-10-30 2019-05-02 Ethicon Llc Control system arrangements for a modular surgical instrument
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11844545B2 (en) 2018-03-08 2023-12-19 Cilag Gmbh International Calcified vessel identification
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11331101B2 (en) 2019-02-19 2022-05-17 Cilag Gmbh International Deactivator element for defeating surgical stapling device lockouts
DE102019208355A1 (de) * 2019-06-07 2020-12-10 Siemens Healthcare Gmbh Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger
CN112463013B (zh) * 2020-11-23 2022-06-24 南京图格医疗科技有限公司 一种触摸操控的医用内窥镜系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516244A (ja) * 2009-12-30 2013-05-13 エーエムエス リサーチ コーポレイション 骨盤状態の治療のシステム、インプラント、用具、および方法
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8083745B2 (en) * 2001-05-25 2011-12-27 Conformis, Inc. Surgical tools for arthroplasty
TWI434675B (zh) * 2006-02-06 2014-04-21 Conformis Inc 患者可選擇式關節置換術裝置及外科工具
US20080058593A1 (en) * 2006-08-21 2008-03-06 Sti Medical Systems, Llc Computer aided diagnosis using video from endoscopes
WO2008063494A2 (en) 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US10568535B2 (en) * 2008-05-22 2020-02-25 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
FR2936890B1 (fr) 2008-10-03 2010-12-03 Univ Grenoble 1 Procede de traitement d'image pour estimer une deformation d'un cerveau d'un patient
WO2011143820A1 (zh) 2010-05-20 2011-11-24 复旦大学 一种模拟脑组织图像变形及矫正的方法
US9336592B2 (en) 2012-02-03 2016-05-10 The Trustees Of Dartmouth College Method and apparatus for determining tumor shift during surgery using a stereo-optical three-dimensional surface-mapping system
WO2014093376A1 (en) * 2012-12-10 2014-06-19 The Cleveland Clinic Foundation Mage fusion with automated compensation for brain deformation
US10383654B2 (en) * 2014-11-20 2019-08-20 Ohio State Innovation Foundation Methods and systems for performing navigation-assisted medical procedures
US10002424B2 (en) * 2016-09-22 2018-06-19 Sony Corporation Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516244A (ja) * 2009-12-30 2013-05-13 エーエムエス リサーチ コーポレイション 骨盤状態の治療のシステム、インプラント、用具、および方法
JP2017507680A (ja) * 2013-12-23 2017-03-23 キャンプレックス インコーポレイテッド 手術可視化システム

Also Published As

Publication number Publication date
KR102455774B1 (ko) 2022-10-19
KR20210027415A (ko) 2021-03-10
CN112534512A (zh) 2021-03-19
WO2020031070A1 (en) 2020-02-13
JP7125019B2 (ja) 2022-08-24
US10292769B1 (en) 2019-05-21
EP3807842A1 (en) 2021-04-21

Similar Documents

Publication Publication Date Title
JP7125019B2 (ja) 術中変位に見舞われた内部器官の解剖学的部分の手術を支援する外科支援装置
KR102013866B1 (ko) 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
CN108701170B (zh) 用于产生解剖部分的三维(3d)视图的图像处理系统和方法
JP6419441B2 (ja) 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
US10002424B2 (en) Image processing system and method to reconstruct a three-dimensional (3D) anatomical surface
CN109152566B (zh) 校正超声融合成像系统中的探头引起的变形
JP2011160882A (ja) 医用画像表示装置及び医用画像表示方法並びにプログラム
WO2016026437A1 (en) Method and system of determining probe position in surgical site
JP5016518B2 (ja) 位置合わせ装置およびそのプログラム
JP7076481B2 (ja) 折れた骨の断片を解剖学的に位置整合させるための変換の決定
US10621728B2 (en) Internal organ localization in computed tomography (CT) images
WO2016175755A1 (en) METHOD AND SYSTEM FOR SYNTHESIZING VIRTUAL HIGH DOSE OR HIGH kV COMPUTED TOMOGRAPHY IMAGES FROM LOW DOSE OR LOW kV COMPUTED TOMOGRAPHY IMAGES
CN108601512B (zh) 在存在组织变形的情况下提供外科手术辅助的系统和方法
US10413364B1 (en) Internal organ localization of a subject for providing assistance during surgery
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
US11986248B2 (en) Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition
US20220044052A1 (en) Matching apparatus, matching method, and matching program
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220420

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220726

R151 Written notification of patent or utility model registration

Ref document number: 7125019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151