JP2022521556A - エンドエフェクタのフィードフォワード連続配置制御 - Google Patents
エンドエフェクタのフィードフォワード連続配置制御 Download PDFInfo
- Publication number
- JP2022521556A JP2022521556A JP2021549791A JP2021549791A JP2022521556A JP 2022521556 A JP2022521556 A JP 2022521556A JP 2021549791 A JP2021549791 A JP 2021549791A JP 2021549791 A JP2021549791 A JP 2021549791A JP 2022521556 A JP2022521556 A JP 2022521556A
- Authority
- JP
- Japan
- Prior art keywords
- placement
- intervention
- intervention device
- pose
- prediction model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000012636 effector Substances 0.000 title claims abstract description 214
- 230000033001 locomotion Effects 0.000 claims abstract description 108
- 238000003384 imaging method Methods 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 58
- 238000013528 artificial neural network Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 7
- 230000002441 reversible effect Effects 0.000 abstract description 22
- 238000012549 training Methods 0.000 description 96
- 239000000523 sample Substances 0.000 description 59
- 238000013175 transesophageal echocardiography Methods 0.000 description 45
- 238000001514 detection method Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 31
- 238000002604 ultrasonography Methods 0.000 description 29
- 210000003484 anatomy Anatomy 0.000 description 27
- 238000010967 transthoracic echocardiography Methods 0.000 description 24
- 239000013598 vector Substances 0.000 description 24
- 230000000306 recurrent effect Effects 0.000 description 21
- 230000006403 short-term memory Effects 0.000 description 17
- 238000013500 data storage Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 239000000835 fiber Substances 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000013480 data collection Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000007774 longterm Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000001537 neural effect Effects 0.000 description 7
- 230000001276 controlling effect Effects 0.000 description 6
- 210000003238 esophagus Anatomy 0.000 description 6
- 230000007787 long-term memory Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 210000002435 tendon Anatomy 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000002324 minimally invasive surgery Methods 0.000 description 3
- 230000000399 orthopedic effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002792 vascular Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000011477 surgical intervention Methods 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 241000333074 Eucalyptus occidentalis Species 0.000 description 1
- 238000012752 Hepatectomy Methods 0.000 description 1
- 102220521681 Insulin-induced gene 1 protein_S94A_mutation Human genes 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000007295 breast benign neoplasm Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000002956 necrotizing effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011471 prostatectomy Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
- G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39286—Forward inverse, dynamics model, relaxation neural network model firm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Robotics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gynecology & Obstetrics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Urology & Nephrology (AREA)
- Probability & Statistics with Applications (AREA)
- Manipulator (AREA)
Abstract
Description
本開示は、任意選択的にこれらの運動学に基づいて訓練された、介入デバイスの運動学を使用して構成された予測モデルに基づく、介入デバイスにより支持されたデバイス部分(例えばエンドエフェクタ)の手動ナビゲート配置又は自動ナビゲート配置のフィードフォワード(好ましくは連続)配置制御のための予測モデルアプローチを更に教示する。
本開示は、目標ポーズへのイメージングデバイスの(又は、イメージングデバイスにリンクされた介入デバイスの部分-例えばエンドエフェクタ-の)手動ナビゲート配置又は自動ナビゲート配置へのフィードバックとしてイメージングデバイスからイメージングデータを受信するための、(任意選択的に画像データに相関した)介入デバイスの運動学を使用して構成されたイメージング予測モデルに基づく、介入デバイスの部分(例えば介入デバイスのエンドエフェクタ)に関連した、又は装着されたイメージングデバイスの手動ナビゲート配置又は(半)自動ナビゲート配置のフィードバック(好ましくは連続)配置制御のための予測モデルアプローチを更に教示する。予測モデルは、デバイス部分(例えばエンドエフェクタ)により生成された画像に基づいて任意選択的に訓練され、又は訓練されている。
更に、環境差(例えば患者間の解剖学的差、例えば患者サイズ、心臓位置など)に対して不変な予測モデルを介した介入デバイスの部分(例えばエンドエフェクタ)の手動ナビゲート配置又は自動ナビゲート配置を(任意選択的な連続)配置制御を円滑化するために、本開示は、既定のデータ点パターンを介した介入デバイス部分のナビゲートされた配置、及び、介入デバイスの順運動学又は逆運動学を推測するために予測モデルのための(訓練)データを結果的に収集するための、介入デバイスの空間配置、及び各データ獲得点における介入デバイス部分のポーズの記録を前提とした(任意選択的には訓練)データ収集技術を更に教示する。
Claims (14)
- デバイス部分を含む介入デバイスのための配置制御装置であって、前記配置制御装置が、
前記介入デバイスの指示された配置運動を受信するために、及び、前記デバイス部分のナビゲートされたポーズの予測に関連したデータを出力するために、介入デバイスの組み込まれた運動学を使用した順予測モデルと、
前記介入デバイスの目標ポーズデータを受信するために、及び前記介入デバイスの配置運動の予測に関連したデータを出力するために、介入デバイスの運動学を使用した制御予測モデルと、
のうちの少なくとも1つを含む、メモリと、
前記メモリと通信する少なくとも1つのプロセッサであって、前記少なくとも1つのプロセッサが、
(i)前記デバイス部分の予測されたナビゲートされたポーズをレンダリングするために、前記介入デバイスの指示された配置運動に前記順予測モデルを適用し、前記デバイス部分の前記予測されたナビゲートされたポーズに基づいて、目標ポーズへの前記デバイス部分の前記介入デバイスによる配置について情報提供する配置データを生成することと、
(ii)前記介入デバイスの予測された配置運動をレンダリングするために、前記デバイス部分の前記目標ポーズに前記制御予測モデルを適用し、前記介入デバイスの前記予測された配置運動に基づいて、前記目標ポーズへの前記デバイス部分の前記介入デバイスの配置を制御する配置指示を生成することと、
のうちの少なくとも1つを行う、少なくとも1つのプロセッサと、
を備える、配置制御装置。 - イメージング予測モデルが、前記介入デバイスの順運動学に基づいて訓練されているか、訓練される、及び/又は、前記制御予測モデルが、前記介入デバイスの逆運動学に基づいて訓練されているか、訓練される逆予測モデルである、
請求項1に記載の配置制御装置。 - 前記デバイス部分が、前記介入デバイスのエンドエフェクタである、
請求項1に記載の配置制御装置。 - 前記配置制御装置が更に連続配置制御装置として考えられるように、前記配置データを連続的に、及び/又は前記配置指示を連続的に生成する、
請求項1に記載の配置制御装置。 - 前記順予測モデルが、
前記介入デバイスの前記指示された配置運動を表す介入ロボットの関節変数を入力する入力層と、前記介入ロボットの前記関節変数の回帰から導出された前記デバイス部分の並進移動、回転、及び旋回のうちの少なくとも1つを出力する出力層とを含むニューラルネットワークベースを含み、
前記デバイス部分の前記並進移動、前記回転、及び前記旋回のうちの前記少なくとも1つが、前記デバイス部分の前記予測されたナビゲートされたポーズの推測を表す、
請求項1又は請求項2に記載の配置制御装置。 - 前記制御予測モデルが、
前記デバイス部分の並進移動、回転、及び旋回のうちの少なくとも1つを入力する入力層と、前記デバイス部分の前記並進移動、前記回転、及び前記旋回のうちの少なくとも1つの回帰から導出された介入ロボットの関節変数を出力する出力層とを含むニューラルネットワークベースを含み、
前記介入ロボットの前記関節変数が、前記介入デバイスの前記予測された配置運動の推測を表す、
請求項1又は請求項2に記載の配置制御装置。 - 前記順予測モデルが、
前記介入デバイスの前記指示された配置運動を表す前記介入デバイスの関節速度を入力する入力層と、前記介入デバイスの前記関節速度の回帰からの前記デバイス部分の線速度及び角速度のうちの少なくとも1つを出力する出力層とを含むニューラルネットワークベースを含み、
前記デバイス部分の線速度及び角速度のうちの少なくとも1つが、前記介入デバイスの前記予測されたナビゲートされたポーズの推測を表す、
請求項1又は請求項2に記載の配置制御装置。 - 前記制御予測モデルが、
前記目標ポーズへの前記デバイス部分の線速度及び角速度のうちの少なくとも1つを入力する入力層と、前記目標ポーズへの前記デバイス部分の線速度及び角速度のうちの少なくとも1つの回帰からの前記介入デバイスの関節速度を出力する出力層とを含むニューラルネットワークベースを含み、
前記介入デバイスの前記関節速度が、前記介入デバイスの前記予測された配置運動の推測を表す、
請求項1又は請求項2に記載の配置制御装置。 - 前記順予測モデルが、
前記介入デバイスの前記指示された配置運動を表す前記介入デバイスの形状の以前のシーケンスを入力する入力層と、前記介入デバイスの形状の前記以前のシーケンスの時系列予測から導出された前記介入デバイスの形状の後続のシーケンスを出力する出力層とを含むニューラルネットワークベースを含み、
前記介入デバイスの形状の前記後続のシーケンスが、前記デバイス部分の前記予測されたナビゲートされたポーズの推測を表す、
請求項1に記載の配置制御装置。 - 前記順予測モデルが、
前記介入デバイスの前記指示された配置運動を表す前記介入デバイスの形状の以前のシーケンスを入力する入力層と、前記介入デバイスの形状の前記以前のシーケンスの時系列予測から導出された前記介入デバイスの後続の形状を出力する出力層とを含むニューラルネットワークベースを含み、
前記介入デバイスの前記後続の形状が、前記デバイス部分の前記予測されたナビゲートされたポーズの推測を表す、
請求項1又は請求項2に記載の配置制御装置。 - 前記順予測モデルが、前記デバイス部分のポーズを予測する前記介入デバイスの前記順運動学に対する補助的な前記介入デバイスの少なくとも1つのナビゲーションパラメータに基づいて更に訓練されることと、
前記制御予測モデルが、前記介入デバイスの前記配置運動を予測する前記介入デバイスの前記逆運動学に対する補助的な前記介入デバイスの前記少なくとも1つのナビゲーションパラメータに基づいて更に訓練されることと、
のうちの少なくとも1つが成立し、
前記少なくとも1つのプロセッサが、
(i’)前記デバイス部分の前記予測されたナビゲートされたポーズをレンダリングするために、前記介入デバイスの前記指示された配置運動と、前記介入デバイスの前記順運動学に対する補助的な前記少なくとも1つのナビゲーションパラメータとの両方に前記順予測モデルを適用することと、
(ii’)前記介入デバイスの前記予測された配置運動をレンダリングするために、前記デバイス部分の前記目標ポーズと、前記介入デバイスの前記逆運動学に対する補助的な前記少なくとも1つのナビゲーションパラメータとの両方に前記制御予測モデルを適用することと、
のうちの少なくとも1つを行う、
請求項2に記載の配置制御装置。 - 前記順予測モデルが、前記介入デバイスの少なくとも1つの補助的なナビゲーションパラメータを更に受信し、及び、前記デバイス部分の前記ナビゲートされたポーズの予測を出力するために、前記少なくとも1つの補助的なナビゲーションパラメータを更に処理することと、
前記制御予測モデルが、前記介入デバイスの少なくとも1つの補助的なナビゲーションパラメータを更に受信し、及び、前記介入デバイスの前記配置運動の予測を出力するために、前記少なくとも1つの補助的なナビゲーションパラメータを更に処理することと、
のうちの少なくとも1つが成立し、
前記少なくとも1つのプロセッサが、
(i’)前記デバイス部分の前記予測されたナビゲートされたポーズをレンダリングするために、前記介入デバイスの前記指示された配置運動と、少なくとも1つの補助的なナビゲーションパラメータとの両方に前記順予測モデルを適用することと、
(ii’)前記介入デバイスの前記予測された配置運動をレンダリングするために、前記デバイス部分の前記目標ポーズと、少なくとも1つの補助的なナビゲーションパラメータとの両方に前記制御予測モデルを適用することと、
のうちの少なくとも1つを行う、
請求項1に記載の配置制御装置。 - デバイス部分を含む介入デバイスに命令する少なくとも1つのプロセッサによる実行のための命令を含んで符号化された機械可読記憶媒体であって、前記機械可読記憶媒体が、
前記介入デバイスの指示された配置運動を受信するために、及び前記デバイス部分のナビゲートされたポーズの予測に関連したデータを出力するために、介入デバイスの運動学を使用した順予測モデルと、
前記介入デバイスの目標ポーズデータを受信するために、及び前記介入デバイスの配置運動の予測に関連したデータを出力するために、介入デバイスの運動学を使用した制御予測モデルと、
のうちの少なくとも1つと、
(i)前記デバイス部分の予測されたナビゲートされたポーズをレンダリングするために、前記介入デバイスの指示された配置運動に前記順予測モデルを適用して、前記デバイス部分の前記予測されたナビゲートされたポーズに基づいて、目標ポーズへの前記デバイス部分の前記介入デバイスによる配置について情報提供する配置データを生成することと、
(ii)前記介入デバイスの予測された配置運動をレンダリングするために、前記デバイス部分の前記目標ポーズに前記制御予測モデルを適用して、前記介入デバイスの前記予測された配置運動に基づいて、前記目標ポーズへの前記デバイス部分の前記介入デバイスの配置を制御する配置指示を生成することと、
のうちの少なくとも1つを行うための命令と、
を記憶した、機械可読記憶媒体。 - デバイス部分を含む介入デバイスのための配置制御装置により実行可能な配置方法であって、
前記配置制御装置が、
前記介入デバイスの指示された配置運動を受信するために、及び前記デバイス部分のナビゲートされたポーズの予測に関連したデータを出力するために、介入デバイスの組み込まれた運動学を使用した順予測モデルと、
前記介入デバイスの目標ポーズデータを受信するために、及び前記介入デバイスの配置運動の予測に関連したデータを出力するために、介入デバイスの運動学を使用した制御予測モデルと、
のうちの少なくとも1つを記憶し、
前記配置方法は、
前記配置制御装置が、
(i)前記デバイス部分の予測されたナビゲートされたポーズをレンダリングするために、前記介入デバイスの指示された配置運動に前記順予測モデルを適用して、前記デバイス部分の前記予測されたナビゲートされたポーズに基づいて、目標ポーズへの前記デバイス部分の前記介入デバイスによる配置について情報提供する配置データを生成するステップと、
(ii)前記介入デバイスの予測された配置運動をレンダリングするために、前記デバイス部分の前記目標ポーズに前記制御予測モデルを適用して、前記介入デバイスの前記予測された配置運動に基づいて、前記目標ポーズへの前記デバイス部分の前記介入デバイスの配置を制御する配置指示を生成するステップと、
のうちの少なくとも1つを実行するステップを有する、
配置方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962811705P | 2019-02-28 | 2019-02-28 | |
US62/811,705 | 2019-02-28 | ||
US201962825905P | 2019-03-29 | 2019-03-29 | |
US201962825914P | 2019-03-29 | 2019-03-29 | |
US62/825,905 | 2019-03-29 | ||
US62/825,914 | 2019-03-29 | ||
PCT/EP2020/054577 WO2020173816A1 (en) | 2019-02-28 | 2020-02-21 | Feedforward continuous positioning control of end-effectors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022521556A true JP2022521556A (ja) | 2022-04-08 |
JPWO2020173816A5 JPWO2020173816A5 (ja) | 2023-03-02 |
Family
ID=69645996
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549791A Pending JP2022521556A (ja) | 2019-02-28 | 2020-02-21 | エンドエフェクタのフィードフォワード連続配置制御 |
JP2021549792A Pending JP2022551778A (ja) | 2019-02-28 | 2020-02-21 | 機械学習モデルのための訓練データ収集 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021549792A Pending JP2022551778A (ja) | 2019-02-28 | 2020-02-21 | 機械学習モデルのための訓練データ収集 |
Country Status (5)
Country | Link |
---|---|
US (3) | US20220125524A1 (ja) |
EP (3) | EP3930614A1 (ja) |
JP (2) | JP2022521556A (ja) |
CN (3) | CN113490465A (ja) |
WO (3) | WO2020173816A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220026879A1 (en) * | 2020-07-22 | 2022-01-27 | Micron Technology, Inc. | Predictive maintenance of components used in machine automation |
JP2023554038A (ja) * | 2020-12-16 | 2023-12-26 | コーニンクレッカ フィリップス エヌ ヴェ | 可撓性デバイスのための予測動作マッピング |
EP4016455A1 (en) * | 2020-12-16 | 2022-06-22 | Koninklijke Philips N.V. | Predictive motion mapping for flexible devices |
DE102021102867A1 (de) * | 2021-02-08 | 2022-08-11 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Robotersystem sowie Verfahren zum automatisierten Durchführen von serologischen Tests |
JP2024515068A (ja) * | 2021-04-12 | 2024-04-04 | コーニンクレッカ フィリップス エヌ ヴェ | 介入装置のナビゲート |
CN113910218B (zh) * | 2021-05-12 | 2024-02-06 | 华中科技大学 | 一种基于运动学与深度神经网络融合的机器人标定方法和装置 |
WO2023280732A1 (en) * | 2021-07-08 | 2023-01-12 | Koninklijke Philips N.V. | System and device control using shape clustering |
EP4154810A1 (en) * | 2021-09-28 | 2023-03-29 | Koninklijke Philips N.V. | System and device control using shape clustering |
CN113712671B (zh) * | 2021-11-02 | 2022-02-08 | 极限人工智能(北京)有限公司 | 末端执行器的自动啮合方法、装置、存储介质及电子设备 |
WO2023110598A1 (en) * | 2021-12-16 | 2023-06-22 | Koninklijke Philips N.V. | System and method for estimating and visualizing trajectories of robotically controlled interventional device |
EP4197476A1 (en) * | 2021-12-16 | 2023-06-21 | Koninklijke Philips N.V. | System and method for estimating and visualizing trajectories of robotically controlled interventional device |
CN114714349B (zh) * | 2022-03-23 | 2024-04-16 | 武汉库柏特科技有限公司 | 一种遥操作超声扫描机器人姿态测试方法、装置及设备 |
WO2024088836A1 (en) * | 2022-10-24 | 2024-05-02 | Koninklijke Philips N.V. | Systems and methods for time to target estimation from image characteristics |
CN115844545B (zh) * | 2023-02-27 | 2023-05-23 | 潍坊医学院附属医院 | 一种血管介入智能手术机器人及控制方法 |
CN116187399B (zh) * | 2023-05-04 | 2023-06-23 | 北京麟卓信息科技有限公司 | 一种基于异构芯片的深度学习模型计算误差定位方法 |
CN117601122B (zh) * | 2023-11-23 | 2024-04-30 | 哈尔滨工业大学 | 一种气动人工肌肉位置跟踪控制系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011123669A1 (en) * | 2010-03-31 | 2011-10-06 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems |
US20140046128A1 (en) * | 2012-08-07 | 2014-02-13 | Samsung Electronics Co., Ltd. | Surgical robot system and control method thereof |
JP2014180751A (ja) * | 2013-03-15 | 2014-09-29 | Samsung Electronics Co Ltd | ロボット及びその制御方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314103A (ja) * | 1993-04-30 | 1994-11-08 | Fujitsu Ltd | 制御装置と能動的センシング装置 |
US10555775B2 (en) * | 2005-05-16 | 2020-02-11 | Intuitive Surgical Operations, Inc. | Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery |
US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
WO2010046802A1 (en) * | 2008-10-20 | 2010-04-29 | Koninklijke Philips Electronics, N.V. | Image-based localization method and system |
JP5306313B2 (ja) * | 2010-12-20 | 2013-10-02 | 株式会社東芝 | ロボット制御装置 |
US20130211244A1 (en) * | 2012-01-25 | 2013-08-15 | Surgix Ltd. | Methods, Devices, Systems, Circuits and Associated Computer Executable Code for Detecting and Predicting the Position, Orientation and Trajectory of Surgical Tools |
CN104244830B (zh) * | 2012-03-29 | 2017-11-14 | 皇家飞利浦有限公司 | 使用形状感测的伪影去除 |
US9326823B2 (en) * | 2012-05-02 | 2016-05-03 | University Of Maryland, College Park | Real-time tracking and navigation system and method for minimally invasive surgical procedures |
US9827054B2 (en) * | 2014-03-14 | 2017-11-28 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
US20170265946A1 (en) * | 2013-12-17 | 2017-09-21 | Koninklijke Philips N.V. | Shape sensed robotic ultrasound for minimally invasive interventions |
EP2901957A1 (en) * | 2014-01-31 | 2015-08-05 | Universität Basel | Controlling a surgical intervention to a bone |
WO2015128761A2 (en) * | 2014-02-28 | 2015-09-03 | Koninklijke Philips N.V. | Adaptive instrument kinematic model optimization for optical shape sensed instruments |
JP6854237B2 (ja) * | 2014-03-28 | 2021-04-07 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 視野内の器具の定量的三次元視覚化 |
CN105100682B (zh) * | 2014-04-30 | 2018-12-25 | 通用电气公司 | 具有导航功能的管道镜 |
KR20150128049A (ko) * | 2014-05-08 | 2015-11-18 | 삼성전자주식회사 | 수술 로봇 및 그 제어방법 |
WO2016164311A1 (en) * | 2015-04-06 | 2016-10-13 | Intuitive Surgical Operations, Inc. | Systems and methods of registration compensation in image guided surgery |
KR20160138780A (ko) * | 2015-05-26 | 2016-12-06 | 현대중공업 주식회사 | 바늘 가이드형 중재시술 로봇시스템 |
JP6586243B2 (ja) * | 2016-03-03 | 2019-10-02 | グーグル エルエルシー | ロボットの把持のための深層機械学習方法および装置 |
KR101980603B1 (ko) * | 2016-05-20 | 2019-05-22 | 구글 엘엘씨 | 오브젝트(들)를 캡처하는 이미지(들)에 기초하는 그리고 환경에서의 미래 로봇 움직임에 대한 파라미터(들)에 기초하여 로봇 환경에서의 오브젝트(들)의 모션(들)을 예측하는 것과 관련된 머신 학습 방법들 및 장치 |
US10695134B2 (en) * | 2016-08-25 | 2020-06-30 | Verily Life Sciences Llc | Motion execution of a robotic system |
US11810318B2 (en) * | 2016-09-09 | 2023-11-07 | Intel Corporation | Training and deploying pose regressions in neural networks in autonomous machines |
US9931025B1 (en) * | 2016-09-30 | 2018-04-03 | Auris Surgical Robotics, Inc. | Automated calibration of endoscopes with pull wires |
US10251709B2 (en) * | 2017-03-05 | 2019-04-09 | Samuel Cho | Architecture, system, and method for developing and robotically performing a medical procedure activity |
-
2020
- 2020-02-21 WO PCT/EP2020/054577 patent/WO2020173816A1/en unknown
- 2020-02-21 JP JP2021549791A patent/JP2022521556A/ja active Pending
- 2020-02-21 EP EP20706486.6A patent/EP3930614A1/en active Pending
- 2020-02-21 US US17/434,501 patent/US20220125524A1/en active Pending
- 2020-02-21 EP EP20706484.1A patent/EP3930617A1/en active Pending
- 2020-02-21 WO PCT/EP2020/054572 patent/WO2020173814A1/en unknown
- 2020-02-21 US US17/434,397 patent/US20220142712A1/en active Pending
- 2020-02-21 JP JP2021549792A patent/JP2022551778A/ja active Pending
- 2020-02-21 EP EP20706706.7A patent/EP3930615A1/en active Pending
- 2020-02-21 US US17/434,734 patent/US20220125530A1/en active Pending
- 2020-02-21 CN CN202080017183.1A patent/CN113490465A/zh active Pending
- 2020-02-21 CN CN202080017187.XA patent/CN113490464A/zh active Pending
- 2020-02-21 WO PCT/EP2020/054576 patent/WO2020173815A1/en unknown
- 2020-02-21 CN CN202080017332.4A patent/CN113507899A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011123669A1 (en) * | 2010-03-31 | 2011-10-06 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems |
US20140046128A1 (en) * | 2012-08-07 | 2014-02-13 | Samsung Electronics Co., Ltd. | Surgical robot system and control method thereof |
JP2014180751A (ja) * | 2013-03-15 | 2014-09-29 | Samsung Electronics Co Ltd | ロボット及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2022523933A (ja) | 2022-04-27 |
JP2022551778A (ja) | 2022-12-14 |
EP3930617A1 (en) | 2022-01-05 |
WO2020173816A1 (en) | 2020-09-03 |
CN113490464A (zh) | 2021-10-08 |
CN113490465A (zh) | 2021-10-08 |
CN113507899A (zh) | 2021-10-15 |
EP3930615A1 (en) | 2022-01-05 |
US20220125530A1 (en) | 2022-04-28 |
EP3930614A1 (en) | 2022-01-05 |
US20220125524A1 (en) | 2022-04-28 |
US20220142712A1 (en) | 2022-05-12 |
WO2020173815A1 (en) | 2020-09-03 |
WO2020173814A1 (en) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022521556A (ja) | エンドエフェクタのフィードフォワード連続配置制御 | |
US11696746B2 (en) | Ultrasound imaging system having automatic image presentation | |
JP7293265B2 (ja) | 管状網のナビゲーション | |
JP7304873B2 (ja) | ニューラルネットワークの訓練のための超音波撮像データセットの取得及び関連するデバイス、システム、及び方法 | |
JP7277967B2 (ja) | 超音波画像データの三次元撮像およびモデリング | |
US8041413B2 (en) | Systems and methods for three-dimensional ultrasound mapping | |
US20090088634A1 (en) | Tool tracking systems and methods for image guided surgery | |
JP7407725B2 (ja) | ニューラルネットワークのための超音波撮像平面整列ガイダンス並びに関連するデバイス、システム、及び方法 | |
JP7401447B2 (ja) | ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法 | |
US20210290310A1 (en) | Hybrid-dimensional, augmented reality, and/or registration of user interface and simulation systems for robotic catheters and other uses | |
WO2021257897A1 (en) | Axial insertion and movement along a partially constrained path for robotic catheters and other uses | |
JP7493528B2 (ja) | エンドエフェクタのフィードバック連続配置制御 | |
WO2023053333A1 (ja) | 処理システム及び情報処理方法 | |
US20220409292A1 (en) | Systems and methods for guiding an ultrasound probe | |
Hashemi | 3D Shape Estimation Of Tendon-Driven Catheters Using Ultrasound Imaging | |
WO2023037367A1 (en) | Self-steering endoluminal device using a dynamic deformable luminal map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240123 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240408 |