CN117503348A - 手术机器人控制系统、方法、电子设备及存储介质 - Google Patents
手术机器人控制系统、方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117503348A CN117503348A CN202311585778.9A CN202311585778A CN117503348A CN 117503348 A CN117503348 A CN 117503348A CN 202311585778 A CN202311585778 A CN 202311585778A CN 117503348 A CN117503348 A CN 117503348A
- Authority
- CN
- China
- Prior art keywords
- interest
- environment
- motion
- global
- feature set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 250
- 230000007246 mechanism Effects 0.000 claims abstract description 82
- 230000008447 perception Effects 0.000 claims abstract description 73
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000001356 surgical procedure Methods 0.000 claims description 109
- 230000008569 process Effects 0.000 claims description 50
- 230000002980 postoperative effect Effects 0.000 claims description 49
- 230000007613 environmental effect Effects 0.000 claims description 35
- 230000004438 eyesight Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000004387 environmental modeling Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 210000000056 organ Anatomy 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 239000007943 implant Substances 0.000 claims description 3
- 238000000338 in vitro Methods 0.000 claims description 3
- 238000001727 in vivo Methods 0.000 claims description 3
- 230000035807 sensation Effects 0.000 claims description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 3
- 210000004209 hair Anatomy 0.000 description 27
- 230000008439 repair process Effects 0.000 description 19
- 230000002792 vascular Effects 0.000 description 15
- 210000000988 bone and bone Anatomy 0.000 description 14
- 238000011282 treatment Methods 0.000 description 14
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 238000002271 resection Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 208000010392 Bone Fractures Diseases 0.000 description 8
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000002513 implantation Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000002357 laparoscopic surgery Methods 0.000 description 5
- 210000002435 tendon Anatomy 0.000 description 5
- 238000001574 biopsy Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000010339 dilation Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 206010019909 Hernia Diseases 0.000 description 3
- 206010027145 Melanocytic naevus Diseases 0.000 description 3
- 208000007256 Nevus Diseases 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000002583 angiography Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000010102 embolization Effects 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 238000000227 grinding Methods 0.000 description 3
- 230000000399 orthopedic effect Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 210000003371 toe Anatomy 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 206010002329 Aneurysm Diseases 0.000 description 2
- 206010003226 Arteriovenous fistula Diseases 0.000 description 2
- 208000005189 Embolism Diseases 0.000 description 2
- 206010014513 Embolism arterial Diseases 0.000 description 2
- 206010061159 Foot deformity Diseases 0.000 description 2
- 241000283984 Rodentia Species 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 208000007536 Thrombosis Diseases 0.000 description 2
- 206010052428 Wound Diseases 0.000 description 2
- 238000002399 angioplasty Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 239000002246 antineoplastic agent Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000003325 follicular Effects 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 201000011066 hemangioma Diseases 0.000 description 2
- 238000013152 interventional procedure Methods 0.000 description 2
- 238000001990 intravenous administration Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 210000003041 ligament Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005499 meniscus Effects 0.000 description 2
- 238000013146 percutaneous coronary intervention Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 210000000513 rotator cuff Anatomy 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 208000022211 Arteriovenous Malformations Diseases 0.000 description 1
- 208000017234 Bone cyst Diseases 0.000 description 1
- 208000018084 Bone neoplasm Diseases 0.000 description 1
- 206010006487 Bronchostenosis Diseases 0.000 description 1
- 206010006585 Bunion Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010008254 Cervical cyst Diseases 0.000 description 1
- 241001456553 Chanodichthys dabryi Species 0.000 description 1
- 208000005443 Circulating Neoplastic Cells Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000032170 Congenital Abnormalities Diseases 0.000 description 1
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 206010012426 Dermal cyst Diseases 0.000 description 1
- 208000032589 Diaphragmatic Congenital Hernias Diseases 0.000 description 1
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 1
- 208000010305 Epidermal Cyst Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 208000027536 Femoral Hernia Diseases 0.000 description 1
- 206010016717 Fistula Diseases 0.000 description 1
- 208000001963 Hallux Valgus Diseases 0.000 description 1
- 241000489045 Helosis Species 0.000 description 1
- HTTJABKRGRZYRN-UHFFFAOYSA-N Heparin Chemical compound OC1C(NC(=O)C)C(O)OC(COS(O)(=O)=O)C1OC1C(OS(O)(=O)=O)C(O)C(OC2C(C(OS(O)(=O)=O)C(OC3C(C(O)C(O)C(O3)C(O)=O)OS(O)(=O)=O)C(CO)O2)NS(O)(=O)=O)C(C(O)=O)O1 HTTJABKRGRZYRN-UHFFFAOYSA-N 0.000 description 1
- 208000029836 Inguinal Hernia Diseases 0.000 description 1
- 208000002260 Keloid Diseases 0.000 description 1
- 206010023330 Keloid scar Diseases 0.000 description 1
- 206010023825 Laryngeal cancer Diseases 0.000 description 1
- 206010023851 Laryngeal polyp Diseases 0.000 description 1
- 206010024612 Lipoma Diseases 0.000 description 1
- 206010027339 Menstruation irregular Diseases 0.000 description 1
- 208000000592 Nasal Polyps Diseases 0.000 description 1
- 206010029098 Neoplasm skin Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 206010033078 Otitis media Diseases 0.000 description 1
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 208000006735 Periostitis Diseases 0.000 description 1
- 206010060862 Prostate cancer Diseases 0.000 description 1
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 1
- 208000004680 Rectal Fistula Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 208000005250 Spontaneous Fractures Diseases 0.000 description 1
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 206010053615 Thermal burn Diseases 0.000 description 1
- 206010045168 Tumour embolism Diseases 0.000 description 1
- 208000006568 Urinary Bladder Calculi Diseases 0.000 description 1
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 description 1
- 241000469816 Varus Species 0.000 description 1
- 208000004002 Vascular Fistula Diseases 0.000 description 1
- 208000009443 Vascular Malformations Diseases 0.000 description 1
- 208000002223 abdominal aortic aneurysm Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 210000000142 acromioclavicular joint Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000001467 acupuncture Methods 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 206010002156 anal fistula Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000007486 appendectomy Methods 0.000 description 1
- 210000000784 arm bone Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005744 arteriovenous malformation Effects 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 208000012851 brain cyst Diseases 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 208000003295 carpal tunnel syndrome Diseases 0.000 description 1
- 238000002585 cerebral angiography Methods 0.000 description 1
- 229940044683 chemotherapy drug Drugs 0.000 description 1
- 238000002192 cholecystectomy Methods 0.000 description 1
- 201000001883 cholelithiasis Diseases 0.000 description 1
- 230000015271 coagulation Effects 0.000 description 1
- 238000005345 coagulation Methods 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000002586 coronary angiography Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000007428 craniotomy Methods 0.000 description 1
- 238000000315 cryotherapy Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 229940127089 cytotoxic agent Drugs 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001804 debridement Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 208000032625 disorder of ear Diseases 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000009297 electrocoagulation Methods 0.000 description 1
- 238000007459 endoscopic retrograde cholangiopancreatography Methods 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001105 femoral artery Anatomy 0.000 description 1
- 210000002082 fibula Anatomy 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000003890 fistula Effects 0.000 description 1
- 238000011902 gastrointestinal surgery Methods 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 238000002695 general anesthesia Methods 0.000 description 1
- 210000001255 hallux Anatomy 0.000 description 1
- 238000002683 hand surgery Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 208000014617 hemorrhoid Diseases 0.000 description 1
- 229960002897 heparin Drugs 0.000 description 1
- 229920000669 heparin Polymers 0.000 description 1
- 230000002440 hepatic effect Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000011540 hip replacement Methods 0.000 description 1
- 208000003906 hydrocephalus Diseases 0.000 description 1
- 238000009802 hysterectomy Methods 0.000 description 1
- 208000008384 ileus Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 238000002697 interventional radiology Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 238000007912 intraperitoneal administration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000000281 joint capsule Anatomy 0.000 description 1
- 210000001117 keloid Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000013150 knee replacement Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 206010023841 laryngeal neoplasm Diseases 0.000 description 1
- 238000002430 laser surgery Methods 0.000 description 1
- 238000002647 laser therapy Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007443 liposuction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 208000004396 mastitis Diseases 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 201000000349 mediastinal cancer Diseases 0.000 description 1
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000016366 nasal cavity polyp Diseases 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 238000013188 needle biopsy Methods 0.000 description 1
- 208000018280 neoplasm of mediastinum Diseases 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 210000003460 periosteum Anatomy 0.000 description 1
- 230000019612 pigmentation Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011471 prostatectomy Methods 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 210000002321 radial artery Anatomy 0.000 description 1
- 238000011472 radical prostatectomy Methods 0.000 description 1
- 238000007674 radiofrequency ablation Methods 0.000 description 1
- 238000002278 reconstructive surgery Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 201000009890 sinusitis Diseases 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 208000028528 solitary bone cyst Diseases 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000002537 thrombolytic effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000009211 ultrasonic lithotripsy Methods 0.000 description 1
- 206010045458 umbilical hernia Diseases 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 208000026517 ureter neoplasm Diseases 0.000 description 1
- 201000011476 ureteral benign neoplasm Diseases 0.000 description 1
- 210000001635 urinary tract Anatomy 0.000 description 1
- 206010055031 vascular neoplasm Diseases 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 210000001631 vena cava inferior Anatomy 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
Abstract
本申请提供一种手术机器人控制系统、方法、电子设备及存储介质。该系统包括:环境感知模块、上位计算模块、下位计算模块和执行机构模块,执行机构模块包括执行机构和采集执行机构的运动信息的运动传感器;环境感知模块用于对手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;上位计算模块用于基于至少一个感兴趣物体的特征集合,获取导航决策信息;下位计算模块用于获取执行机构的当前运动信息,并基于当前运动信息和导航决策信息,生成控制执行机构的运动指令;执行机构模块用于执行下位计算模块生成的运动指令。该系统通过环境感知对手术环境进行建模和定位,提高了手术机器人的准确性。
Description
技术领域
本申请涉及医疗机器人的技术领域,具体而言,涉及一种手术机器人控制系统、方法、电子设备及存储介质。
背景技术
在应用手术机器人进行手术操作的场景下,例如手术器械进入患者体内,或者手术器械被遮挡等情况下,手术机器人的视觉传感器的感知精度会受到影响,甚至无法感知。
且由于一些手术机器人的执行机构在运动范围上存在一定限制,导致执行机构不能快速准确的运行到特定工作区域或工作位置以进行手术,因此现有的手术机器人实现手术操作的准确性不高。此外,在患者体内进行作业的手术机器人,执行机构的移动或执行方式需按照特定的轨迹或者时机进行,对手术机器人的控制方式和系统提出了更为严苛的要求。
发明内容
本申请实施例的目的在于提供一种手术机器人控制系统、方法、电子设备及存储介质,通过环境感知对手术环境进行建模和定位,提高了手术机器人的准确性。
第一方面,提供了一种手术机器人控制系统,该系统包括:环境感知模块、上位计算模块、下位计算模块和执行机构模块,所述执行机构模块包括执行机构和采集所述执行机构的运动信息的运动传感器;其中:
所述环境感知模块,用于对手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;
所述上位计算模块,用于基于所述环境感知模块和所述运动信息得到的至少一个感兴趣物体的特征集合,获取导航决策信息,获取导航决策信息;
所述下位计算模块,用于获取所述运动传感器采集的所述执行机构的当前运动信息;基于所述执行机构的当前运动信息和所述上位计算模块获取的导航决策信息,生成控制所述执行机构的运动指令;
所述执行机构模块,用于获取所述运动传感器采集的所述执行机构的当前运动信息,以及执行所述下位计算模块生成的运动指令。
在一种可能的实现中,所述环境感知模块包括视觉传感器、透视类传感器和信号传感器;
所述视觉传感器按照类型分为:可见光视觉传感器、红外光视觉传感器和深度视觉传感器;所述视觉传感器按照是否会进入患者体内的工作状态分为:体外视觉传感器和体内视觉传感器;
所述透视类传感器包括使用X光的CR、DR、CT和DSA成像装置、使用伽马光的PET和SPECT成像装置、使用声波的超声成像装置和使用磁场的MRI成像装置、以及混合上述多个成像技术的PET-CT和PET-MRI;
所述信号传感器包括使用激光的激光扫描仪、使用电磁波的雷达和电信号传感器。
在一种可能的实现中,所述上位计算模块包括环境建模单元、环境建模更新单元、定位单元和导航决策单元;
环境建模单元,用于基于所述至少一个感兴趣物体的特征集合,对所述手术环境内至少一个感兴趣物体进行建模,得到所述手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合;
环境建模更新单元,用于采用所述局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
定位单元,用于基于所述至少一个感兴趣物体的特征集合和所述运动传感器采集的执行机构的当前运动信息,对所述手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息;
导航决策单元,用于基于全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息;
其中,从执行逻辑上讲,所述环境建模单元的建模过程、所述环境建模更新单元的更新过程和所述定位单元的定位过程为并行过程,可同时进行,没有约束固定的逻辑先后顺序。
在一种可能的实现中,环境建模单元,还用于对所述术中手术环境内全部或部分感兴趣物体进行建模,得到所述感兴趣物体的特征集合;
遍历所述全部感兴趣物体,针对遍历到的当前的感兴趣物体,对所述术中手术环境内的所述感兴趣物体进行建模,得到所述感兴趣物体对应的局部感兴趣物体的特征集合;
环境建模更新单元,还用于采用所述感兴趣物体对应的局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体,返回执行对所述术中手术环境内的所述感兴趣物体进行建模的步骤,直至遍历完所述全部感兴趣物体。
在一种可能的实现中,在术前阶段,使用所述环境建模单元中的全局环境感知单元对全部或部分感兴趣物体进行感知,并使用全局环境建模单元建立全局感兴趣物体的特征集合;
在术中阶段,使用所述环境建模单元中的局部环境感知单元对全部或部分感兴趣物体进行感知,并使用局部环境建模单元建立局部感兴趣物体的特征集合;
在术中阶段,遍历局部感兴趣物体的特征集合中的感兴趣物体的特征,对全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新,获得更新后的全局感兴趣物体的特征集合;
或者,在术中阶段,遍历局部感兴趣物体的特征集合中的感兴趣物体的特征,对任一时刻所述环境建模单元中的全局环境感知单元建立的全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新,获得更新后的全局感兴趣物体的特征集合。
在一种可能的实现中,所述执行机构包括机械臂和附着在所述机械臂上的手术器械;
所述机械臂是由一个或多个可动组件结合或间接控制形成的可动机械结构,所述可动机械结构为刚性机械结构、柔性机械结构、或由刚性机械结构和柔性机械结构组合的混合型机械结构;
其中,所述运动传感器包括关节角度传感器、形变传感器、压力传感器、惯性传感器和磁力传感器中的至少一种。
在一种可能的实现中,所述下位计算模块包括机械臂运动建模单元、手术器械运动建模单元和运动传感器控制单元;
机械臂运动建模单元,用于对机械臂的导航决策信息进行建模,并将其转化为控制所述机械臂运动的运动信息;
手术器械运动建模单元,用于对手术器械的导航决策信息进行建模,并将其转化为控制手术器械运动的运动信息;
运动传感器控制单元,用于对所述运动传感器进行控制;所述运动传感器控制单元包括运动传感器的开关、运动传感器的参数设置和运动传感器的数据获取。
在一种可能的实现中,所述运动信息包括所述执行机构的位置、速度、加速度、角速度、角加速度、拉力和压力中的至少一个。
在一种可能的实现中,所述手术机器人控制系统在控制手术机器人进行手术过程中,包括:
a、数学符号和表示方法:
a1、进行术前、术中和术后的观测或者操作,均分别用上标pre、j和post表示,其中术中的j表示该迭代步骤的序号;
a2、所述环境感知模块得到的至少一个感兴趣物体的特征集合中分别用上标global和local来区分全局感兴趣物体的特征集合和局部感兴趣物体的特征集合;
a3、所述环境感知模块中不同的传感器、机械臂或者手术器械的相同类型的组件,或者同一阶段的观测、运动、操作用下标区分;
a4上标区分了阶段,以及全局感兴趣物体的特征集合或局部感兴趣物体的特征集合,下标区分不同组件或者控制行为;
a5、所述环境感知模块采用的环境感知方程用F表示,所述至少一个感兴趣物体的特征集合表示的环境感知结果用f表示,下标i_1表示一个环境感知结果,来源于一个传感器的环境感知;
a6、所述上位计算模块采用的感兴趣物体定位方程用G表示,所述各感兴趣物体的几何特征和/或状态信息表示的感兴趣物体定位结果用g表示,下标i_2表示一个感兴趣物体;
a7、所述下位计算模块采用的运动感知方程用P表示,运动信息表示的运动感知结果用p表示,下标i_3表示一个运动感知结果,来源于一个运动感知传感器的一次运动感知;
a8、所述上位计算模块采用的导航决策方程用Q表示,导航决策结果用q表示,下标i_4表示一个独立的导航决策;
a9、所述上位计算模块基于至少一个感兴趣物体的特征集合对应的导航决策信息生成手术计划,其采用的手术计划方程用Q’表示,手术计划用q’表示,由一系列导航决策所组成;
a10、所述下位计算模块采用的运动控制方程用R表示,运动控制结果用r表示,下标i_5表示一个运动组件,运动组件为机械臂或手术器械;
a11、所述上位计算模块的环境建模单元采用的建模方程用M表示,建模结果用m表示,其中对于局部感兴趣物体的特征集合的局部环境建模结果,下标i_6代表一个感兴趣物体;
a12、至少一个感兴趣物体的特征集合的更新方程用M’表示;
b、术前阶段:
b1、进行一次或多次术前感知,环境感知结果为运动感知结果为/>
b2、根据环境感知结果和运动感知结果,建立全部感兴趣物体的特征集合的全局环境建模结果,表示为:
b3、根据全局环境建模结果,术前建立一系列全局导航决策
b4、根据术前建立的一系列导航决策结果,建立手术计划
c、术中阶段:
c1、术中阶段是迭代进行的,下述描述是对其中一个迭代步而言的:
c2、进行一次或多次术中感知,环境感知结果为运动感知结果为/>
c3、根据环境感知结果和运动感知结果,建立局部建模结果,表示为:
c4、根据局部环境建模结果,更新全局环境建模结果,表示为:
c5、进行感兴趣物体局部定位,表示为:
c6、进行感兴趣物体全局定位,表示为:
c7、建立局部导航决策,该导航决策与手术计划,建模结果和定位结果相关,表示为:
c8、生成运动指令,表示为:
c9、执行机构按照运动指令执行,包括机械臂执行运动指令和手术器械执行运动指令;
d、术后阶段:
d1、进行一次或多次术后感知,环境感知结果为运动感知结果为/>
d2、根据环境感知结果和运动感知结果,建立全局环境建模结果,表示为:
d3、根据术后的全局环境建模结果,进行术后评估。
在一种可能的实现中,所述建模过程和定位过程之间有如下形式的关系:
a、建模时使用定位结果:m=M({fi_1},{pi_3},{gi_2});
b、定位时使用建模结果:gi_2=Gi_2({fi_1},{pi_3},m)。
在一种可能的实现中,所述感知过程和运动过程之间有如下形式的关系:
a、
b、
c、
其中,表示机械臂或者手术器械真实的运动状态,/>代表感兴趣物体的真实空间位置或几何信息。
第二方面,提供了一种手术机器人控制方法,应用于第一方面的任一项所述的系统中,该方法包括:
对术中手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;
基于所述至少一个感兴趣物体的特征集合,确定所述术中手术环境的局部感兴趣物体的特征集合;同时,基于所述至少一个感兴趣物体的特征集合和获取的执行机构的当前运动信息,对所述术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息;
基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的位置坐标,获取导航决策信息;
基于所述执行机构的当前运动信息和所述导航决策信息,生成控制执行机构的运动指令;
控制所述执行机构执行所述运动指令。
在一种可能的实现中,基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息,包括:
对所述术中手术环境内至少一个感兴趣物体进行建模,得到所述术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合;
采用所述局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
基于所述全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息。
其中,从执行逻辑上讲,上述的建模过程、更新过程和定位过程为并行过程,可同时进行,没有约束固定的逻辑先后顺序。
在一种可能的实现中,对所述术中手术环境内至少一个感兴趣物体进行建模,得到所述术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合,包括:
对所述术中手术环境内全部感兴趣物体进行建模,得到全局感兴趣物体的特征集合;
遍历所述全部感兴趣物体,针对遍历到的当前的感兴趣物体,对所述术中手术环境内的所述感兴趣物体进行建模,得到所述感兴趣物体对应的局部感兴趣物体的特征集合;
采用所述局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合,包括:
采用所述感兴趣物体对应的局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体,返回执行对所述术中手术环境内的所述感兴趣物体进行建模的步骤,直至遍历完所述全部感兴趣物体,以基于所述全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息。
在一种可能的实现中,对术中手术环境内的至少一个感兴趣物体进行感知之前,所述方法还包括:
对术前手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的术前特征集合;
基于至少一个感兴趣物体的术前特征集合,确定所述术前手术环境的全局导航决策信息;
基于所述全局导航决策信息,生成手术计划;
对所述术中手术环境内至少一个感兴趣物体进行建模,得到所述术中手术环境的全局感兴趣物体的特征集合,包括:
基于所述手术计划,对所述术中手术环境的至少一个感兴趣物体的特征集合进行局部建模,得到所述术中手术环境的局部感兴趣物体的特征集合。
在一种可能的实现中,所述方法还包括:
将所述导航决策信息,对所述全局导航决策信息进行更新;
根据更新后的全局导航决策信息,更新原有手术计划和/或生成新的手术计划。
在一种可能的实现中,所述方法还包括:
若检测到所述执行机构完成所述手术环境的手术操作,则对术后手术环境内的至少一个感兴趣物体进行感知,得到所述术后手术环境的全局感兴趣物体的术后特征集合;
生成针对所述术后手术环境的全局感兴趣物体的术后特征集合、所述至少一个感兴趣物体的特征集合和全局感兴趣物体的新特征集合的术后评估信息。
在一种可能的实现中,所述导航决策信息包括避开风险器官操作流程、限制执行机构的运动范围、限制执行机构的运动速度和目标手术操作的操作流程;
所述目标手术操作包括对机械臂和/或手术器械的自动/半自动控制;
所述对机械臂和/或手术器械的自动/半自动控制,包括:自动/半自动寻径、自动/半自动调整位姿、自动/半自动的流程化操作、自动/半自动器械退出操作;
所述自动/半自动调整位姿包括对准、跟随和去抖动;
所述自动/半自动的流程化操作包括缝合、打结和植入物释放。
在一种可能的实现中,对所述术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息之后,所述方法还包括:
针对任一感兴趣物体,对所述感兴趣物体进行回环检测;
若检测到所述感兴趣物体的当前位置坐标与历史时刻的观测结果相同,则确定所述感兴趣物体的几何特征与历史几何特征之间存在相关性,并根据所述相关性对所述感兴趣物体的几何特征估计结果进行修正。
第三方面,提供了一种电子设备,该电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面中任一所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。
本申请实施例提供的手术机器人控制系统可以包括:环境感知模块、上位计算模块、下位计算模块和执行机构模块,执行机构模块包括执行机构和采集执行机构的运动信息的运动传感器;环境感知模块用于对手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;上位计算模块用于基于环境感知模块得到的至少一个感兴趣物体的特征集合,获取导航决策信息;下位计算模块用于获取运动传感器采集的所述执行机构的当前运动信息;基于执行机构的当前运动信息和上位计算模块获取的导航决策信息,生成控制执行机构的运动指令;执行机构模块用于执行下位计算模块生成的运动指令。该系统通过环境感知对手术环境进行建模和定位,提高了手术机器人的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种手术机器人控制系统的结构示意图;
图2为本申请实施例提供的一种手术机器人控制方法的流程示意图;
图3为本申请实施例提供的另一种手术机器人控制方法的流程示意图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,并不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的手术机器人控制系统,如图1所示,该系统可以包括:环境感知模块、上位计算模块、下位计算模块和执行机构模块。
(1)环境感知模块,用于对手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;
在一些实施例中,环境感知模块可以包括视觉传感器、透视类传感器和信号传感器;其中,视觉传感器按照类型可以分为:可见光视觉传感器、红外光视觉传感器和深度视觉传感器;视觉传感器按照是否会进入患者体内的工作状态可以分为:体外视觉传感器和体内视觉传感器;透视类传感器可以包括使用X光的CR、DR、CT和DSA成像装置、使用伽马光的PET和SPECT成像装置、使用声波的超声成像装置和使用磁场的MRI成像装置、以及混合上述多个成像技术的PET-CT和PET-MRI等;信号传感器可以包括使用激光的激光扫描仪、使用电磁波的雷达和电信号传感器。
也就是说,环境感知模块借用包含的传感器,按照手术进程和环境感知精度等因素对手术机器人所处手术环境(或称“手术区域”)进行感知,得到感知信息,即至少一个感兴趣物体的特征集合,即包括全局环境感知的感知信息和局部环境感知的感知信息。
需要说明的是,根据手术业务需求,环境感知模块还可以包括其他传感器,本申请实施例在此不做赘述。
(2)上位计算模块,用于基于环境感知模块和运动信息得到的至少一个感兴趣物体的特征集合,获取导航决策信息。
在一些实施例中,上位计算模块可以包括环境建模单元、环境建模更新单元、定位单元和导航决策单元;其中:
环境建模单元,用于基于至少一个感兴趣物体的特征集合,对手术环境内至少一个感兴趣物体进行建模,得到手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合;具体的,按照手术进程和环境感知精度等因素分为,对手术环境内至少一个感兴趣物体进行:全局环境建模(或称“建立全局地图”)和局部环境建模(或称“建立局部地图”)。
通常来说,在手术机器人应用场景下,手术的术中阶段的环境感知范围和精度会显著差于术前阶段,但是从工作范围、生产成本和安全性等方面角度考虑,术中阶段的环境感知效果很难显著改善。因此在大多数情况下,术前阶段的环境感知可以产生大范围的全局环境建模,而术中阶段的环境感知仅可产生局部环境建模,因此本申请中采用局部环境建模来更新全局环境建模的方式进行。但是随着手术进程的进行,在所有历史的环境感知和建模结果中,越接近于当前时间点的结果的可信度越高,因此在全局环境建模的更新过程中,可以采用诸如滑动窗口的方式进行,也即使用当前时间点之前的若干近邻时间点的局部环境建模来更新,也可以使用相应的权重策略。
环境建模更新单元,用于采用局部感兴趣物体的特征集合,对全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;具体的,使用新建立的环境建模,即手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合,来更新原有的环境建模,即原有的全局感兴趣物体的特征集合,特别的可以用新建的局部感兴趣物体的特征集合去更新原有的全局感兴趣物体的特征集合。
定位单元,用于基于至少一个感兴趣物体的特征集合和运动传感器采集的执行机构的当前运动信息,对手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息。
需要说明的是,本申请采用SLAM算法,实现从逻辑上来讲,定位和环境建模或环境建模更新是并行的、可同时发生的,但是为了方便描述,本申请将其分开描述。需要注意的是,这里所说的逻辑上同时,并不意味着严格时间上的同时,其在实际实现过程中可能会有先后之分,甚至交替进行,本申请在此不做限定。
导航决策单元,用于基于全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息。也就是说,根据环境建模结果和定位结果,制定后续的导航决策信息。导航决策信息指的是后续手术过程中执行机构为了完成手术目标所需进行的行为,例如操作机械臂移动或者操作手术器械做特定操作等。
进一步的,可以使用环境感知数据,即至少一个感兴趣物体的特征集合,来检测是否存在回环。所谓回环指的是,手术机器人在手术环境中运动过程中,经过一段时间后是否又回到了原来位置的检测,以对定位结果进行修正,保证检测定位的准确性。
(3)下位计算模块,用于获取运动传感器采集的执行机构的当前运动信息;基于执行机构的当前运动信息和上位计算模块获取的导航决策信息,生成控制执行机构的运动指令。
在一些实施例中,下位计算模块可以包括机械臂运动建模单元、手术器械运动建模单元和运动传感器控制单元;
机械臂运动建模单元,用于对机械臂的导航决策信息进行建模,并将其转化为控制机械臂运动的运动信息;
手术器械运动建模单元,用于对手术器械的导航决策信息进行建模,并将其转化为控制手术器械运动的运动信息;
运动传感器控制单元,用于对运动传感器进行控制;所述运动传感器控制单元包括运动传感器的开关、运动传感器的参数设置和运动传感器的数据获取。
(4)执行机构模块,用于获取运动传感器采集的执行机构的当前运动信息,以及执行下位计算模块生成的运动指令。
执行机构模块可以包括执行机构和采集执行机构的运动信息的运动传感器。运动信息可以包括执行机构的位置、方向、速度、加速度、角速度、角加速度、拉力和压力中的至少一个。执行机构可以包括机械臂和附着在机械臂上的手术器械。
运动传感器可以包括关节角度传感器、形变传感器、压力传感器、惯性传感器和磁力传感器中的至少一种。手术器械主要泛指手术机器人实施手术目标的装置,附着在机械臂上,并且通常可更换。广义来说,手术器械从属于执行机构,并协同完成手术操。
可以理解的是,机械臂其形式不一定是“臂”型,可能仅仅是由一个或多个可动组件结合或间接控制形成的可动机械结构,可动机械结构为刚性机械结构、柔性机械结构、或由刚性机械结构和柔性机械结构组合的混合型机械结构;在一些手术机器人系统中,可能包括一种或多种机械臂,每种机械臂也可以不只一个。在一些机器人系统中,机械臂通常是不可更换的,主要用于完成手术器械的运动。
本申请实施例提供的手术机器人控制系统主要解决了现有手术机器人存在的以下三个问题:
A、“看不清”
所谓的“看不清”是指手术机器人的感知精度不足:
在特定场景下,例如手术器械进入患者体内,或者手术器械被遮挡等情况下,视觉传感器的感知精度会受到影响,甚至无法感知。在一些术式中,为了获取对目标区域或者风险区域更好的术前或术中建模,会需要使用诸如DSA等透视技术来进行成像,然而这些透视技术往往是带有辐射暴露风险的。然而一些较为安全的透视技术往往成像质量很大,例如超声成像。因此,亟需一种新的技术或者手段来进一步提高术中成像,尤其是对手术区域和风险区域的感知精度提升。
本申请的手术机器人控制系统中所使用的技术通过对一个目标的多次感知,结合三维建模修正(环境建模更新),来基于现有硬件设备的基础上获得更准确的感知结果。
本申请中所使用的上位计算模块中不仅会进行更准确的三维建模(环境建模建立并多次修正),还会同时对执行机构的位姿进行定位,也即”同时定位和建图”(SLAM)。进一步的,在手术机器人使用场景下,定位会进一步提高对环境感知的建模精度,原因有三:
(1)在眼在手上的手术机器人构型下,感知机构处于执行机构上。定位本身便是在修正感知机构本身的感知配置,例如视觉传感器外参(相对与环境坐标系)。
(2)在眼在手外的手术机器人构型下,环境中还会包含执行机构,而对执行机构的定位在一定程度上可以利用到执行机构本身的传感器(执行机构传感器),以综合包括环境感知和执行机构状态来共同进行环境感知和定位。二者存在相辅相成的关系。
(3)在一些手术机器人使用场景下,环境可能会受到执行机构的影响从而形成一定程度的形变。所述定位有助于对这些形变进行相应的建模,该建模过程与执行机构的定位结果是息息相关的。在本方案中所提及的建立(更新)环境模型和定位所获取的结果都是基于感知的实时结果。
B、“到不了”
所谓的“到不了”是指手术机器人的机械臂运动受限:
手术机器人使用场景下,往往需要使执行机构运行到特定工作区域(或者工作位置)以进行手术,因此是否可以正确到达手术位置是手术机器人使用场景下非常重要的环节,其所包含的内核是尽可能”低成本的”到达目标位置,该低成本包含如下三方面考虑,均是本申请在原有方案的基础上所具有的优势所在:
快捷性:根据所建立的准确而实时的环境建模和定位结果,可以用来尽可能准确地规划和实施手术计划,减少因为环境建模或者定位错误所导致的误操作继而导致无效操作。例如在自然腔道手术中,随着执行机构的进入,会导致腔道发生形变。因此错误的建模可能会导致执行机构按照不准确的方向行进,而通过对环境建模和定位实时而准确的更新可以避免这一点。
便捷性:在实时而准确的环境建模和定位的基础上,可以推进自动导航模块的进行,也即使用自动导航技术以部分甚至全部地代替人工操作。原有人工操作手术中可能需要依靠触感来修正,而自动导航则要通过环境建模和定位的结果来进行手术。
计划性:在实时而准确的环境建模和定位的基础上,可以一定程度上预知变化或者风险。通过对其提前预知,可以进一步优化和更新手术规划。
C、“做不精”
所谓的“做不精”是指手术机器人的手术器械操控精度不足:
在执行机构到达预定手术位置,并进行手术实施的阶段,需要将手术器械准确放置在特定位置(放置类手术),或者使用手术器械进行特定操作(操作类手术)。二者均依赖于感知精度和操作精度,而感知精度和操作精度,与环境建模精度,手术器械定位精度和手术器械(硬件)绝对操作精度相关。
上述三者(环境建模精度,手术器械定位精度和手术器械绝对操作精度)中,手术器械操作精度一方面依赖于对手术器械的更新换代,另一方面依赖于基于手术器械定位精度对手术器械操作的修正和补偿。因此,在现有硬件发展的基础上,提升环境建模精度和手术器械定位精度可以有效提高手术器械操控精度。
一个前瞻性的例子是,只有基于高精度高延时性的环境建模精度和手术器械定位精度,才可以逐步利用机器人自动操作代替人工操作,实现绝对意义上的自动化手术机器人。
在一种可能的实现中,手术机器人控制系统中各模块和功能之间可以用如下公式和数学符号进行逻辑抽象。
需要注意的是,下述公式和数学符号仅为描述所需技术内核的需要,某些公式和数学符号可能在实际场景中并无实际数学意义。
手术机器人控制系统在控制手术机器人进行手术过程中,包括:
a、数学符号和表示方法:
a1、进行术前、术中和术后的观测或者操作,均分别用上标pre、j和post表示,其中术中的j表示该迭代步骤(控制步骤)的序号;
a2、环境感知模块得到的至少一个感兴趣物体的特征集合中分别用上标global和local来区分全局感兴趣物体的特征集合和局部感兴趣物体的特征集合;
a3、环境感知模块中不同的传感器、机械臂或者手术器械的相同类型的组件,或者同一阶段的观测、运动、操作等用下标区分;
a4、综合来说,上标区分了阶段,以及全局感兴趣物体的特征集合或局部感兴趣物体的特征集合,下标区分不同组件或者控制行为。对于控制系统中的不同组成部分,下标会有特定用法,后文将一一说明;
a5、环境感知模块采用的环境感知方程用F表示,至少一个感兴趣物体的特征集合表示的环境感知结果用f表示,下标i_1表示一个环境感知结果,来源于一个传感器的环境感知;
a6、上位计算模块采用的感兴趣物体定位方程用G表示,各感兴趣物体的几何特征和/或状态信息表示的感兴趣物体定位结果用g表示,下标i_2表示一个感兴趣物体;
a7、下位计算模块采用的运动感知方程用P表示,运动信息表示的运动感知结果用p表示,下标i_3表示一个运动感知结果,来源于一个运动感知传感器的一次运动感知;
a8、上位计算模块采用的导航决策方程用Q表示,导航决策结果用q表示,下标i_4表示一个独立的导航决策;
a9、上位计算模块基于至少一个感兴趣物体的特征集合对应的导航决策信息生成手术计划,其采用的手术计划方程用Q’表示,手术计划用q’表示,由一系列导航决策所组成;
a10、下位计算模块采用的运动控制方程用R表示,运动控制结果用r表示,下标i_5表示一个运动组件,运动组件为机械臂或手术器械;
a11、上位计算模块的环境建模单元采用的建模方程用M表示,建模结果用m表示,其中对于局部感兴趣物体的特征集合的局部环境建模结果,下标i_6代表一个感兴趣物体;
a12、至少一个感兴趣物体的特征集合的更新方程用M’表示;
b、术前阶段:
b1、进行一次或多次术前感知,环境感知结果为运动感知结果为/>
b2、根据环境感知结果和运动感知结果,建立全部感兴趣物体的特征集合的全局环境建模结果,表示为:
b3、根据全局环境建模结果,术前建立一系列全局导航决策
b4、根据术前建立的一系列导航决策结果,建立手术计划
c、术中阶段:
c1、对术中阶段的每一个时间节点,都会进行一系列相似控制,因此可以认为术中阶段是迭代进行的,每一迭代步看做是由逻辑上同时而时间上相近的一系列控制步骤组成的。下述描述是对其中一个迭代步而言的:
c2、进行一次或多次术中感知,环境感知结果为运动感知结果为/>
c3、根据环境感知结果和运动感知结果,建立局部建模结果,表示为:
c4、根据局部环境建模结果,更新全局环境建模结果,表示为:
c5、进行感兴趣物体局部定位,表示为:
c6、进行感兴趣物体全局定位,表示为:
c7、建立局部导航决策,该导航决策与手术计划,建模结果和定位结果相关,表示为:
c8、生成运动指令,表示为:
c9、执行机构按照运动指令执行,包括机械臂执行运动指令和手术器械执行运动指令;
d、术后阶段:
d1、进行一次或多次术后感知,环境感知结果为运动感知结果为/>
d2、根据环境感知结果和运动感知结果,建立全局环境建模结果,表示为:
d3、根据术后的全局环境建模结果,进行术后评估。
在一种可能的实现中,所述建模过程(无论是全局还是局部)和定位过程(无论是全局还是局部)之间有如下形式的关系:
a、建模时使用定位结果:m=M({fi_1},{pi_3},{gi_2});
b、定位时使用建模结果:gi_2=Gi_2({fi_1},{pi_3},m)。
注意在上述表述中,我们为了表述简洁省略了上标,但是这不会带来理解难度。
在一种可能的实现中,所述感知过程和运动过程之间有如下形式的关系:
a、
b、
c、
其中表示机械臂或者手术器械真实的运动状态,/>代表感兴趣物体的真实空间位置或几何信息。此外,虽然在运动感知过程(上述c)中也使用了g来表示“感兴趣物体”,但是在大多数场景下运动感知过程所感知的是机械臂或者手术器械的运动状态。
在一些实施例中,使用不同时刻的相同或不同感知单元所获取的一个或多个感兴趣物体的特征集合所建立的环境建模之间可以相互更新;其中,包括本申请中使用局部感兴趣物体的特征集合,对全局感兴趣物体的特征集合进行更新;
在术前阶段,使用环境建模单元中的全局环境感知单元对全部或部分感兴趣物体进行感知,并使用全局环境建模单元建立全局感兴趣物体的特征集合;
在术中阶段,使用环境建模单元中的局部环境感知单元对全部或部分感兴趣物体进行感知,并使用局部环境建模单元建立局部感兴趣物体的特征集合;
在术中阶段,遍历局部感兴趣物体的特征集合中的感兴趣物体的特征,对全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新,获得更新后的全局感兴趣物体的特征集合;
或者,在术中阶段,遍历局部感兴趣物体的特征集合中的感兴趣物体的特征,对任一时刻的环境建模单元中全局环境感知单元建立的全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新,获得更新后的全局感兴趣物体的特征集合。
以下结合说明书附图对本申请的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
图2为本申请实施例提供的一种手术机器人控制方法的流程示意图。如图2所示,该方法可以包括:
步骤S210、对术中手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合。
步骤S220、基于至少一个感兴趣物体的特征集合,确定术中手术环境的局部感兴趣物体的特征集合;同时,基于至少一个感兴趣物体的特征集合和执行机构的当前运动信息,对术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息。
步骤S230、基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的位置坐标,获取导航决策信息。
具体实施中,对术中手术环境内至少一个感兴趣物体进行建模,得到术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合;
采用局部感兴趣物体的特征集合,对全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
基于全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息。其中,从执行逻辑上讲,上述的建模过程、更新过程和定位过程为并行过程,可同时进行,没有约束固定的逻辑先后顺序。
其中,得到术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合,包括:
对术中手术环境内全部感兴趣物体进行建模,得到全局感兴趣物体的特征集合;
遍历全部感兴趣物体,针对遍历到的当前的感兴趣物体,对术中手术环境内的感兴趣物体进行建模,得到感兴趣物体对应的局部感兴趣物体的特征集合;
采用局部感兴趣物体的特征集合,对全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合,包括:
采用感兴趣物体对应的局部感兴趣物体的特征集合,对全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体,返回执行对术中手术环境内的所述感兴趣物体进行建模的步骤,直至遍历完全部感兴趣物体,以基于全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息。
进一步的,导航决策信息可以包括避开风险器官操作流程、限制执行机构的运动范围、限制执行机构的运动速度和目标手术操作的操作流程;
目标手术操作包括对机械臂和/或手术器械的自动/半自动控制;
对机械臂和/或手术器械的自动/半自动控制,包括:自动/半自动寻径、自动/半自动调整位姿、自动/半自动的流程化操作、自动/半自动器械退出操作;
其中,自动/半自动调整位姿可以包括对准、跟随和去抖动;自动/半自动的流程化操作可以包括缝合、打结和植入物释放。
步骤S240、基于执行机构的当前运动信息和导航决策信息,生成控制执行机构的运动指令。
步骤S250、控制执行机构执行运动指令。
在一些实施例中,在步骤S220对术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息之后,可以执行回环检测,具体的:
针对任一感兴趣物体,对感兴趣物体进行回环检测;
若检测到感兴趣物体的当前位置坐标与历史时刻的观测结果相同,则确定感兴趣物体的几何特征与历史几何特征之间存在相关性,并根据相关性对感兴趣物体的几何特征估计结果进行修正。
在一些实施例中,在术中之前还可以包括术前的手术过程,对于术前的手术过程,可以执行以下步骤:
在步骤S210对术中手术环境内的至少一个感兴趣物体进行感知之前,可以包括:
对术前手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的术前特征集合;
基于至少一个感兴趣物体的术前特征集合,确定术前手术环境的全局导航决策信息;
基于全局导航决策信息,生成手术计划。之后,进入术中过程后,可以基于手术计划,对术中手术环境的至少一个感兴趣物体的特征集合进行局部建模,得到术中手术环境的局部感兴趣物体的特征集合。
进一步的,将导航决策信息,对术前得到的全局导航决策信息进行更新;
根据更新后的全局导航决策信息,更新原有手术计划和/或生成新的手术计划。
在一些实施例中,在术中之后还可以包括术后的手术过程,对于术后的手术过程,可以执行以下步骤:
若检测到执行机构完成手术环境的手术操作,则对术后手术环境内的至少一个感兴趣物体进行感知,得到术后手术环境的全局感兴趣物体的术后特征集合;
生成针对术后手术环境的全局感兴趣物体的术后特征集合、至少一个感兴趣物体的特征集合和全局感兴趣物体的新特征集合的术后评估信息。
在一个例子中,对于包括术前、术中和术后的手术过程可以如图3所示,具体实施过程可以参考上述手术机器人控制方法的实施步骤进行,本申请在此不作赘述。
由于不同的手术术式和使用场景下,阶段划分和实施过程可能有所差异,故下面结合图3详细介绍四种不同场景下的手术机器人:植发机器人、腔镜手术机器人、血管介入手术机器人和骨科手术机器人。该四种手术机器人场景覆盖了现有常见的手术机器人使用场景,虽然在其具体感知方式、阶段划分和实施过程中与前文中的公式会有所差异,但是在其逻辑内核上并无明显差别。对本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以将其直接或间接套用在前文的公式中,以获得符合其特定手术机器人使用场景下的技术方案。
对于植发机器人(取发的手术过程):
环境感知:来源于视觉传感器;
运动感知:来源于机械臂编码器;
机械臂:单个刚性机械臂,支持在工作区域内的刚性移动;
手术器械:取发针,安装于机械臂上;
全局环境建模(全局地图):对头皮上较大区域的三维建模结果;
局部环境建模(局部地图):对目标头发和周围邻域内头发的三维建模结果;
局部定位:对手术器械当前所处位置在局部地图上的定位结果;
全局定位:对手术器械当前所处位置在全局地图上的定位结果;
运动指令:将手术器械移动到对目标头发操作的位置所需的下位指令;
导航决策:计算对一根头发进行操作所需进行的下针位置和方向;
需要注意的是,“定位”特指对手术器械(取发针)在地图中的定位。
此外,在整个围手术期内(术前,术中,术后),环境感知和运动感知会保持一直开启(因为没有辐射暴露),因此将感知步骤改为:
术前(建立全局地图和手术计划)
1、环境&运动感知开启:在植发手术机器人场景下的感知机构为视觉传感器和机械臂编码器,并不会导致辐射暴露,因此可以认为是功能开启,并在所需的时候获取相应数据。
2、建立全局环境建模:在多个位置获取感知数据,并建立全局环境建模,也即对整个手术区域内的头发进行三维建。
3、全局导航决策:根据全局环境建模,筛选合适的头发。并制定合适的取发策略(下针角度)。
4、制定手术计划:根据全局导航决策结果,建立手术计划,也即建立将取头发的队列,以及每根头发的取发策略。在制定手术计划期间,还可以根据医生所需来进行手术计划的修改。
术中(逐根实施取发过程)
其中,术中的每一步都是在完成前一根头发取发的基础上进行的,因此仅需介绍一根头发的取发过程即可。
1、环境&运动感知开启:在植发手术机器人场景下的感知机构为视觉传感器和机械臂编码器,并不会导致辐射暴露,因此可以认为是功能开启,并在所需的时候获取相应数据。
2、建立局部环境建模:获取目标头发临近区域的感知数据,并建立局部环境建模,也即对目标头发和周围邻域内头发进行三维建模。
3、更新全局环境建模:使用局部环境建模结果来更新全局环境建模。
4、局部目标定位:根据局部环境建模结果和全局环境建模结果,对手术器械进行定位(逻辑上来说,这一步和第2步是同步的,即SLAM)。
5、全局目标定位:根据局部定位结果,更新手术器械在全局环境建模中的定位。
6、局部导航决策:根据手术计划和全局导航决策,以及上述各种环境建模和定位结果,制定局部导航决策,即对当前目标下针所需的目标下针位置和方向。
7、生成运动指令:根据对当前目标下针所需的目标下针位置和方向,以及上述各种环境建模和定位结果,生成运动指令,也即将手术器械移动到对目标头发操作的位置所需的下位指令。
8、执行机构执行运动指令:包括机械臂执行运动指令(机械臂移动到指定位置)和手术器械执行运动指令(下针)。
术后(术后评估)
1、环境&运动感知开启:在植发手术机器人场景下的感知机构为视觉传感器和机械臂编码器,并不会导致辐射暴露,因此可以认为是功能开启,并在所需的时候获取相应数据。
2、建立全局环境建模:在多个位置获取感知数据,并建立全局环境建模,也即对整个手术区域内的头发进行三维建。
3、术后评估:根据术后全局环境建模结果,对比术中,术前环境建模,进行术后评估。
可以使用本术式的手术术式有很多,为了更加准确地陈述其可能的应用场景,在此列举所使用的术式。其中部分术式已有相应手术机器人机器人,仍有部分术式尚无对应的手术机器人技术:
-体表手术:1.切除术:皮肤肿瘤切除术、痣(痣瘤)切除术、脂肪瘤切除术、粉瘤切除术、瘢痕疙瘩切除术;2.活组织检查:针吸活检、切片活检、冲击活检;3.疝修补术:腹股沟疝修补术、股疝修补术、脐疝修补术、疝囊切除术;4.激光手术:激光去除皮肤痣、色素沉着、激光美容,如去皱、嫩肤、激光治疗血管畸形;5.环扎术或结扎术:血管结扎术、精索静脉结扎术、痔结扎术;6.瘘管处理术:肛瘘切开术、颈部囊肿切开术;7.修复术:皮瓣移植、皮肤移植术、瘢痕修复术;引流术:脓肿切开引流术、乳腺炎切开引流术;9.穿刺术:胸腔穿刺、腹腔穿刺、关节腔穿刺;10.减压术:颅骨减压术(虽然是神经外科范畴,但是减压过程涉及体表手术);11.烧伤和烫伤的处理:清创术、烧伤创面的覆盖术、瘢痕松解术;12.整形手术:双眼皮成形术、眼袋去除术、面部填充术、鼻部整形术(鼻翼缩小、隆鼻等)、颞部提升术、吸脂术、隆胸术、腹部整形术、脂肪移植术、面部拉皮术;13.切开术:皮脂腺囊肿切开术、鸡眼切开术;14.毛发移植术:毛囊单位移植、毛囊单位提取;14.针灸术;15.冷冻治疗术;16.射频消融术;17.声波治疗(如超声波碎石)。
-内镜手术:1.消化系统内镜手术:胃镜手术(如胃息肉切除、早期胃癌切除等)、结肠镜手术(如大肠息肉切除、早期结肠癌切除等)、内镜逆行胰胆管造影(如胆石取出、胆道狭窄扩张等)、内镜下黏膜切除术、内镜下黏膜剥离术;2.呼吸系统内镜手术:支气管镜手术(如取异物、支气管活检、治疗支气管狭窄等);3.泌尿生殖系统内镜手术:膀胱镜手术(如膀胱肿瘤切除、膀胱结石取出等)、输尿管镜手术(如输尿管结石取出、输尿管肿瘤切除等)、经尿道前列腺切除术、经皮肾镜手术;4.关节内镜手术:膝关节镜手术(如半月板切除、十字韧带重建等)、肩关节镜手术(如肩袖修复、松解术等)、髋关节镜手术;5.腹腔镜手术:腹腔镜下阑尾切除术、腹腔镜下胆囊切除术、腹腔镜下疝修补术、腹腔镜下妇科手术(如子宫切除术、子宫肌瘤切除术等)、腹腔镜下胃肠道手术(如胃旁路术、结直肠切除术等);6.胸腔镜手术:胸腔镜下肺叶切除、肺楔形切除、胸腔镜下纵隔肿瘤切除、胸腔镜下食管癌切除术、胸腔镜下心脏手术;7.鼻内镜手术:鼻窦内镜手术(如鼻窦炎手术、鼻息肉切除等);8.神经内镜手术:脑室内镜手术(如脑积水治疗、脑囊肿切除等)、脊柱内镜手术(如椎间盘切除术、神经根减压术等);9.喉内镜手术:喉息肉切除、声带囊肿切除、喉癌早期切除;10.小儿内镜手术:小儿腹腔镜手术(如先天性肠梗阻的诊断和治疗)、小儿胸腔镜手术(如先天性隔膜疝修复)、泌尿系统内镜手术(如尿道下裂的修复);11.鼻内窥镜手术:鼻内镜下颅底修复术、鼻内镜下泪囊开窗术、鼻内镜下鼻中隔矫正术;12.眼内镜手术:眼内镜下玻璃体手术、眼内镜下视网膜手术、眼内镜下异物取出;13.心脏内镜手术:内镜下心脏瓣膜修复或置换、内镜下冠状动脉搭桥手术;14.耳内镜手术:耳内镜下中耳疾病手术(如中耳炎治疗、听骨链重建等);15.微创内镜联合手术:内镜辅助微创开颅手术、内镜与机器人技术结合的手术;16.内镜下介入手术:内镜下血管内治疗(如血管瘤栓塞术)、内镜下胆道、泌尿道支架植入术。
-血管介入手术:1.冠状动脉介入手术(如冠状动脉造影)、经皮冠状动脉介入治疗、球囊扩张术、支架植入术、冠状动脉旋磨术;2.脑血管介入手术:脑血管造影、动脉瘤栓塞、动脉瘤夹闭术、动静脉畸形栓塞、颅内血管内支架植入术、机械性血栓取出术;3.外周血管介入手术:外周动脉造影、外周血管球囊扩张术、外周血管支架植入、动静脉瘘形成术、动静脉瘘成熟术、下肢动脉瘤栓塞术;4.静脉介入手术:静脉插管术、静脉血栓溶解术、静脉内激光治疗、静脉栓塞术、下腔静脉滤器植入术;5.血管瘤与瘘的栓塞术:血管瘤填塞术、血管瘘栓塞术;6.肿瘤的血管介入治疗:经动脉化疗栓塞、放射性微球治疗、经动脉肿瘤栓塞、经皮肿瘤热消融术、7.肝脏介入手术:经皮经肝胆管引流、经皮肝穿刺胆道引流术、肝动脉栓塞术;8.血管造影及血管成形术:介入放射学下的血管成形术;9.血管关闭术;10.血管造影及血管活检;11.腹主动脉瘤的介入治疗(如内脏动脉支架植入术);12.脾动脉栓塞术;13.腔静脉插管和穿刺术;14.经导管肺动脉球囊扩张术;15.经皮门静脉内介入手术(如门静脉分流术);16.经皮放置长期中心静脉导管。
-骨科手术:1.关节镜手术;2.关节置换手术(如髋关节置换、膝关节置换);3.脊柱内固定手术;4.脊柱矫形手术(如治疗脊柱侧弯);5.人工椎体置换手术;6.骨折内固定手术(如金属钉、钢板、钢丝固定);7.骨折复位手术;8.骨盆和髋臼手术;9.腱鞘释放手术(如治疗腕管综合症);10.肌腱修复或重建手术;11.肩袖修复手术;12.半月板修复或切除手术;13.十字韧带重建手术;14.骨缺损修复手术;15.畸形矫正手术(如治疗弓形腿或驼背);16.脱位修复手术;17.植骨手术;18.足踝手术(如足部矫形、足踝融合);19.手部手术(如杜比特伦病的手术治疗);20.股骨头坏死凿除术;21.骨肿瘤切除手术;22.病理性骨折的治疗手术;23.腰椎间盘摘除手术;24.髋臼杯翻修手术;25.腱转位手术;26.骨外固定手术;27.指(趾)关节置换手术;28.骨折外固定手术;29.肘关节镜手术;30.肘关节置换手术;31.尺桡关节固定或融合手术;32.腕关节融合手术;33.腕关节镜手术;34.掌骨和掌指关节手术;35.指(趾)扳直手术;36.拇外翻手术;37.拇长收缩手术;38.拇囊炎切开手术;39.肱骨外科颈骨折手术;40.肱骨内科颈骨折手术;41.髌骨半月板修复手术;42.髌骨半月板切除手术;43.股骨转子间骨折内固定手术;44.肩锁关节重建手术;45.前臂双骨骨折内固定手术;46.前臂骨不连手术;47.前臂骨融合手术;48.桡骨头切除手术;49.足部畸形矫正手术(如高弓足矫正);50.外翻足手术;51.马蹄内翻足矫正手术;52.足跟骨切除术;53.阿基里斯腱修复手术;54.阿基里斯腱延长手术;55.骨折伴脱位的复位固定手术;56.手指(趾)重建手术;57.手部软组织缺损修复手术;58.腓骨短缩手术;59.骨软骨病变清除手术;60.骨囊肿清除术;61.骨软骨移植手术;62.关节囊松解术;63.骨刺切除术;64.重度骨质疏松椎体成形术。
对于腔镜手术机器人:
腔镜手术机器人有多种入路,这里以前列腺癌根治手术(Robot-AssistedRadical Prostatectomy,RARP)为例,其基本流程如下。
需要注意的是,该流程中部分环节和操作与常规情况不同,而是应用本申请中所提出的系统以进行的改进:
环境感知:
术前-CT,磁共振等透视成像,建模手术区域和风险器官多种不同的手段。
术中-内窥镜视觉感知。
术后-CT,磁共振等透视成像,评估手术效果。
运动感知:
(1)动力反馈:集成触觉或力反馈,这允许外科医生在操作时感知到组织的硬度和反应,从而增加了操作的准确性。
(2)视觉传感器:3D高清摄像头提供清晰、放大的手术视图。它们有两个摄像头,为医生提供立体感,使其有更好的深度知觉。位置和方向传感器:用于跟踪机器人臂和手术工具的确切位置和方向,确保精确移动。
(3)安全监测传感器:监控机械臂的运动和位置,确保它们不会移动到不应该去的地方或对患者造成伤害。
机械臂:多个柔性机械臂,分为视觉臂和操作臂。
(1)视觉臂:携带高清、三维的摄像头,使医生可以在操作台上看到高清晰度、放大的、三维手术场景。内窥镜安装在视觉臂的末端,可以在手术过程中移动和旋转,以便医生可以看到手术区域的不同部分。
(2)操作臂:通常有三个操作臂,用于插入和操作手术工具。这些臂具有高度的灵活性,模仿人类手和手指的动作,允许外科医生进行各种复杂的手术操作。
手术器械:
(1)第一个操作臂:通常操纵一个用于牵引和悬吊的工具,如钳子或其它操纵器,来固定、提拉或移动组织以提供更好的手术视野或访问特定的解剖结构。
(2)第二个操作臂:主要操纵一个切割或电凝工具,如剪刀、射频刀或激光,用于切割组织、止血或执行其他与切割或凝固相关的操作。
(3)第三个操作臂:常常用于其他辅助工具,如缝合针、夹子或者其他特定的手术工具,根据手术步骤的需要进行更换。
(4)全局环境建模:根据术前透视成像结果进行腹腔内工作区域的环境建模,重点关注目标器官(前列腺和肿瘤)和风险器官。
(5)局部环境建模:根据术中内窥镜视觉感知结果进行局部环境建模。
(6)更新全局环境建模:局部环境建模真实地反映出术中所面临的环境情况,可以用来更新全局环境建模。
局部定位:对手术器械当前所处位置在局部地图上的定位结果。
全局定位:对手术器械当前所处位置在全局地图上的定位结果。
运动指令:腔镜手术机器人普遍是半自动的,因此运动指令是由医生发出的,并由机器人执行。运动指令主要由医生发出,并由下位计算模块进行处理。常见的处理包括:除颤,去抖动等,并由下位计算模块将医生所发出的运动指令翻译成对执行机构的运动指令。
导航决策:常规的腔镜手术中不存在导航决策。在本申请中,尝试加入一些导航决策指令,以辅助医生进行手术,除了常规的去抖动,还可以包括:
(1)加入了简单常规操作的自动化/半自动化执行。例如,在常规手术中往往有一些常规操作,例如缝合,打结等。在本申请中,可以将这些常规操作的操作流程进行建模,并在医生发出相应指令时,由机器人自动执行。
(2)加入了避开风险器官/风险操作。在医生进行某些操作时,可能带来医疗风险,此时,机械臂会产生提示,并且在医生继续操作时,会对操作进行限制,例如限制操作器械的运动范围,限制操作器械的运动速度等。
(3)术中手术计划的更新。例如,在常规手术中,术中可能会发现肿瘤的位置和术前不同,此时,可以根据术中的情况,更新术中手术计划,并提示医生进行相应操作。
术前(建立全局地图和手术计划)
1、环境&运动感知开启:CT,磁共振等透视成像。
2、建立全局环境建模:建立对手术区域的环境建模。
3、全局导航决策:制定手术步骤,例如打结,缝合,切除等操作,并且进一步制定对每一个步骤进行操作时,所需的操作器械的位置和方向。由于腔镜手术是半自动手术,全局导航决策在大多数情况下是对医生的建议。
4、制定手术计划:制定完整的手术计划。
手术准备(附加)
1、手术室准备:
确保所有的设备和仪器都已经准备就绪。
检查手术机器人系统的功能是否正常。
准备手术台、手术器械和消耗品。
2、患者定位和麻醉:
患者被安全地固定在手术台上。
麻醉师进行全身麻醉。
3、设备定位:
在患者的体表上作出适当的标记,指导微创手术入口的位置。
在指定位置创建几个小切口,以插入腔镜和工具。
4、机器人定位:
将手术机器人的机械臂定位到患者的体侧,并将其锁定。
将手术器械和腔镜插入到患者体内,并连接到机器人的机械臂上。
术中
1、环境&运动感知开启:在腔镜手术场景下,所使用的术中感知手段是安装在机械臂上的内窥镜。
2、建立局部环境建模:使用内窥镜进行局部建模,并更新全局环境建模。
3、更新全局环境建模:使用局部环境建模结果来更新全局环境建模。
4、局部目标定位:根据局部建模,全局建模等感知结果定位机械臂和手术器械以及各风险器官在局部地地图的位置。
5、全局目标定位:根据局部建模,全局建模等感知结果定位机械臂和手术器械以及各风险器官在全局地图的位置。
6、局部导航决策:根据手术计划和全局导航决策,以及上述各种环境建模和定位结果,制定局部导航决策。主要根据医生的指令翻译成对执行机构的相应操作。在所提及的一些全自动步骤中(例如避开风险器官),制定相应的操作步骤或提示语句。
7、生成运动指令:根据对当前目标的操作所需的运动指令,以及上述各种环境建模和定位结果,生成运动指令,也即将机械臂移动到指定位置或者手术器械进行操作所需的下位指令。
8、执行机构执行运动指令:包括机械臂执行运动指令(机械臂移动到指定位置)和手术器械执行运动指令(操作)。
术后(术后评估)
1、环境&运动感知开启:CT,磁共振等透视成像。
2、建立全局环境建模:在多个位置获取感知数据,并建立全局环境建模。
3、后评估:根据术后全局环境建模结果,对比术中,术前环境建模,进行术后评估。
血管介入手术机器人:
血管介入手术属于精细操作,因此血管介入手术机器人机械臂在完成把持、定位、推送、旋转导管等操作时,同样应具备很高的柔顺性和灵活性,同时完成任务需要多余个活动度,才能保证导管快速、安全传递到病灶区。传统的机器人机构不能满足这些特征,因此需要开发具有利用零空间的自运动产生不同的关节活动的机器人,从而使机器人能够躲避障碍、灵活性提高以及获得较好的动力性能等,进而适合微创外科手术复杂操作的需求。
环境感知:
术前/术后,CT透视成像;
术中,DSA;
运动感知:
(1)力反馈;
(2)机械臂关节传感器;
机械臂:
从端机器人(机械臂)型为一个支持把持、定位、推送、旋转导管
/导丝,并且可以放置手术器械的机械臂平台。
手术器械:
主要以放置类为主,放置的手术器械可以是药物,弹簧圈,支架和球囊。手术器械还包括导管、导丝、穿刺针、导管鞘等。在针对肿瘤介入治疗的场景下,手术器械为通过导管注射的化疗药物。具体来说:心血管疾病:球囊/支架;肿瘤:化疗药物;脑血管:弹簧圈。
术前(建立全局地图和手术计划)
1、环境&运动感知开启:CT成像;
2、建立全局环境建模:通过术前CT数据来获取患者手术区域内的三维建模。
3、全局导航决策:根据CT数据确定血管长度,形状等信息,继而确定送管长度,转向角度,器械放置时机等信息。由于血管介入手术属于高精度高风险手术,在多数情况下手术机器人起到辅助作用,这些决策也是对医生的建议。
4、制定手术计划:制定完整的手术计划。
术中(基于SLAM的术中是根据当前和历史的感知结果决策后续操作,因此可以看做是一个迭代过程)
1、环境&运动感知开启:时刻获取运动传感器读数不定期开启DSA获取透视影像。
2、建立局部环境建模:根据不定期开启的DSA影像和力反馈信息,对局部环境建模进行构建。
3、更新全局环境建模:使用局部环境建模结果来更新全局环境建模。
4、局部目标定位:根据环境建模和当前所处位置的传感器信息,对当前目标定位,这里所指的目标主要是导丝前端,导管前端或者器械(球囊、支架)。
5、全局目标定位:根据局部建模,全局建模等感知结果定位机械臂和手术器械以及各风险器官在全局地图的位置。
6、局部导航决策:(送管过程)根据手术计划和全局导航决策,以及上述各种环境建模和定位结果,制定局部导航决策。例如全自动或半自动的完成机械臂控制,即将导丝/导管/器械进行何种运动/操作(治疗过程)在医生操作导管和导丝到达指定治疗位置后,指导医生在合适的时机和位置上放置手术器械。
7、生成运动指令:根据对当前目标的操作所需的运动指令,以及上述各种环境建模和定位结果,生成运动指令,也即将机械臂移动到指定位置或者手术器械进行操作所需的下位指令。
8、首次执行机构执行:动脉穿刺:选择桡动脉或股动脉穿刺,将穿刺针刺入,插入至血液随脉搏股状喷出后立刻送入导丝。导丝送入穿刺位置后在按压下撤出穿刺针,送入动脉鞘管,并用肝素盐水清洗。
9、执行机构执行:导管和导丝到达目标位置后,撤出导丝,通过压力注射器注入造影剂,观察血管的形态,对病变定位和定性,最终确认治疗方案。
术后(术后评估)
1、环境&运动感知开启:CT等透视成像.
2、建立全局环境建模:在多个位置获取感知数据,并建立全局环境建模.
3、术后评估:根据术后全局环境建模结果,对比术中,术前环境建模,进行术后评估。在血管介入手术的术后过程中,需要撤出导管和其他手术器材。医生需要回抽血液确认是否存在血栓问题,无问题后拔出动脉鞘管,按压穿刺位置,包扎伤口等。
骨科手术机器人:
骨科手术存在多种术式,其中以关节置换手术机器人为例,主要由于传统存在病人个体差异大、医生视野局限等问题,造成手术创伤大,并发症多,对医生经验依赖性强等问题。
环境感知:
术前/术后,CT等透视成像;
术中,C臂CT;
运动感知:
(1)力反馈;
(2)机械臂关节传感器;
机械臂:
1个刚性机械臂
手术器械:放置类和操作类均有。
1、放置类,在关节置换手术中比如人工膝关节,人工髋关节。
2、操作类,在关节置换手术中,手术器械包括:咬骨钳、咬骨剪、持骨钳、复位钳、钢丝剪、钢丝钳、骨刮匙、骨膜剥离器、骨凿、骨刀、骨撬、骨锤、打入器、骨锉、骨锯、骨钻、克氏针牵开器、髓核钳、椎板咬骨钳等。
术前(建立全局地图和手术计划)
1、环境&运动感知开启:CT成像和手术区域附近的触感信息
2、建立全局环境建模:通过术前CT数据来获取患者手术区域内的三维建模
3、全局导航决策:根据CT数据确定需要切开的位置和尺寸,以及需要研磨,钻孔的位置和深度,以及人工关节置入位置。
4、制定手术计划:根据全局导航决策,制定完整的手术计划。
术中(基于SLAM的术中是根据当前和历史的感知结果决策后续操作,因此可以看做是一个迭代过程)
1、环境&运动感知开启:CT和手术区域附近的触感信息。
2、建立局部环境建模:自动或半自动将机械臂引导到手术区域内,并获取触感信息。在必要情况下,可以采用C臂CT来获取透视信息。
3、更新全局环境建模:使用局部环境建模结果来更新全局环境建模。
4、局部目标定位:根据触感信息和CT信息来自动或者半自动完成对手术区域,机械臂和手术器械的定位。
5、全局目标定位:根据局部建模,全局建模等感知结果定位机械臂和手术器械以及各风险器官在全局地图的位置。
6、局部导航决策:根据手术计划和全局决策,以及上述各种环境建模和定位结果,制定局部导航决策。例如对目标关节的研磨过程中,在医生操作下自动或半自动的完成对指定位置的研磨。
7、生成运动指令:根据对当前目标的操作所需的运动指令,以及上述各种环境建模和定位结果,生成运动指令,也即将机械臂移动到指定位置或者手术器械进行操作所需的下位指令。
8、执行机构执行:包括机械臂执行运动指令和手术器械执行运动指令(操作或放置)。
术后(术后评估)
1、环境&运动感知开启:CT等透视成像。
2、建立全局环境建模:在多个位置获取感知数据,并建立全局环境建模。
3、术后评估:根据术后全局环境建模结果,对比术中,术前环境建模,进行术后评估。
本申请实施例还提供了一种电子设备,如图4所示,包括处理器410、通信接口420、存储器430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。
存储器430,用于存放计算机程序;
处理器410,用于执行存储器430上所存放的程序时,实现如下步骤:
对术中手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;
基于所述至少一个感兴趣物体的特征集合,确定所述术中手术环境的局部感兴趣物体的特征集合;同时,基于所述至少一个感兴趣物体的特征集合和获取的执行机构的当前运动信息,对所述术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息;
基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的位置坐标,获取导航决策信息;
基于所述执行机构的当前运动信息和所述导航决策信息,生成控制执行机构的运动指令;
控制所述执行机构执行所述运动指令。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图2所示的实施例中的各步骤来实现,因此,本申请实施例提供的电子设备的具体工作过程和有益效果,在此不复赘述。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的手术机器人控制方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的手术机器人控制方法。
本领域内的技术人员应明白,本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此,本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样,倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内,则本申请实施例中也意图包含这些改动和变型在内。
Claims (21)
1.一种手术机器人控制系统,其特征在于,所述系统包括:环境感知模块、上位计算模块、下位计算模块和执行机构模块,所述执行机构模块包括执行机构和采集所述执行机构的运动信息的运动传感器;其中:
所述环境感知模块,用于对手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;
所述上位计算模块,用于基于所述环境感知模块和所述运动信息得到的至少一个感兴趣物体的特征集合,获取导航决策信息;
所述下位计算模块,用于获取所述运动传感器采集的所述执行机构的当前运动信息,用于基于所述执行机构的当前运动信息和所述上位计算模块获取的导航决策信息,生成控制所述执行机构的运动指令;
所述执行机构模块,用于获取所述运动传感器采集的所述执行机构的当前运动信息,以及执行所述下位计算模块生成的运动指令。
2.如权利要求1所述的系统,其特征在于,所述环境感知模块包括视觉传感器、透视类传感器和信号传感器;
所述视觉传感器按照类型分为:可见光视觉传感器、红外光视觉传感器和深度视觉传感器;所述视觉传感器按照是否会进入患者体内的工作状态分为:体外视觉传感器和体内视觉传感器;
所述透视类传感器包括使用X光的CR、DR、CT和DSA成像技术的成像装置、使用伽马光的PET和SPECT成像技术的成像装置、使用声波的超声成像装置和使用磁场的MRI成像装置、以及混合上述多个成像技术的PET-CT和PET-MRI;
所述信号传感器包括使用激光的激光扫描仪、使用电磁波的雷达和电信号传感器。
3.如权利要求2所述的系统,其特征在于,所述上位计算模块包括环境建模单元、环境建模更新单元、定位单元和导航决策单元;
环境建模单元,用于基于所述至少一个感兴趣物体的特征集合,对所述手术环境内至少一个感兴趣物体进行建模,得到所述手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合;
环境建模更新单元,用于采用所述局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
定位单元,用于基于所述至少一个感兴趣物体的特征集合和所述运动传感器采集的执行机构的当前运动信息,对所述手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息;
导航决策单元,用于基于全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息;
其中,从执行逻辑上讲,所述定位单元的定位过程和所述环境建模单元的建模过程和/或所述环境建模更新单元的更新过程为并行过程。
4.如权利要求3所述的系统,其特征在于,环境建模单元,还用于对所述术中手术环境内全部或部分感兴趣物体进行建模,得到所述感兴趣物体的特征集合;
遍历全部感兴趣物体,针对遍历到的当前的感兴趣物体,对所述术中手术环境内的所述感兴趣物体进行建模,得到所述感兴趣物体对应的局部感兴趣物体的特征集合;
环境建模更新单元,还用于采用所述感兴趣物体对应的局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体,返回执行对所述术中手术环境内的所述感兴趣物体进行建模的步骤,直至遍历完所述全部感兴趣物体。
5.如权利要求4所述的系统,其特征在于,在术前阶段,使用所述环境建模单元中的全局环境感知单元对全部或部分感兴趣物体进行感知,并使用全局环境建模单元建立全局感兴趣物体的特征集合;
在术中阶段,使用所述环境建模单元中的局部环境感知单元对全部或部分感兴趣物体进行感知,并使用局部环境建模单元建立局部感兴趣物体的特征集合;
在术中阶段,遍历局部感兴趣物体的特征集合中的感兴趣物体的特征,对全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新,获得更新后的全局感兴趣物体的特征集合;
或者,在术中阶段,遍历局部感兴趣物体的特征集合中的感兴趣物体的特征,对任一时刻下所述环境建模单元中全局环境感知单元建立的全局感兴趣物体的特征集合中的部分或全部感兴趣物体的特征进行更新,获得更新后的全局感兴趣物体的特征集合。
6.如权利要求1所述的系统,其特征在于,所述执行机构包括机械臂和附着在所述机械臂上的手术器械;
所述机械臂是由一个或多个可动组件结合或间接控制形成的可动机械结构,所述可动机械结构为刚性机械结构、柔性机械结构、或由刚性机械结构和柔性机械结构组合的混合型机械结构;
其中,所述运动传感器包括关节角度传感器、形变传感器、压力传感器、惯性传感器和磁力传感器中的至少一种。
7.如权利要求6所述的系统,其特征在于,所述下位计算模块包括机械臂运动建模单元、手术器械运动建模单元和运动传感器控制单元;
机械臂运动建模单元,用于对机械臂的导航决策信息进行建模,并将其转化为控制所述机械臂运动的运动信息;
手术器械运动建模单元,用于对手术器械的导航决策信息进行建模,并将其转化为控制手术器械运动的运动信息;
运动传感器控制单元,用于对所述运动传感器进行控制;所述运动传感器控制单元包括运动传感器的开关、运动传感器的参数设置和运动传感器的数据获取。
8.如权利要求1所述的系统,其特征在于,所述运动信息包括所述执行机构的位置、方向、速度、加速度、角速度、角加速度、拉力和压力中的至少一个。
9.如权利要求3所述的系统,其特征在于,所述手术机器人控制系统在控制手术机器人进行手术过程中,包括:
a、数学符号和表示方法:
a1、进行术前、术中和术后的观测或者操作,均分别用上标pre、j和post表示,其中术中的j表示迭代步骤的序号;
a2、所述环境感知模块得到的至少一个感兴趣物体的特征集合中分别用上标global和local来区分全局感兴趣物体的特征集合和局部感兴趣物体的特征集合;
a3、所述环境感知模块中不同的传感器、机械臂或者手术器械的相同类型的组件,或者同一阶段的观测、运动、操作用下标区分;
a5、所述环境感知模块采用的环境感知方程用F表示,所述至少一个感兴趣物体的特征集合表示的环境感知结果用f表示,下标i_1表示一个环境感知结果,来源于一个传感器的环境感知;
a6、所述上位计算模块采用的感兴趣物体定位方程用G表示,所述各感兴趣物体的几何特征和/或状态信息表示的感兴趣物体定位结果用g表示,下标i_2表示一个感兴趣物体;
a7、所述下位计算模块采用的运动感知方程用P表示,运动信息表示的运动感知结果用p表示,下标i_3表示一个运动感知结果,来源于一个运动感知传感器的一次运动感知;
a8、所述上位计算模块采用的导航决策方程用Q表示,导航决策结果用q表示,下标i_4表示一个独立的导航决策;
a9、所述上位计算模块基于至少一个感兴趣物体的特征集合对应的导航决策信息生成手术计划,其采用的手术计划方程用Q’表示,手术计划用q’表示,由一系列导航决策所组成;
a10、所述下位计算模块采用的运动控制方程用R表示,运动控制结果用r表示,下标i_5表示一个运动组件,运动组件为机械臂或手术器械;
a11、所述上位计算模块的环境建模单元采用的建模方程用M表示,建模结果用m表示,其中对于局部感兴趣物体的特征集合的局部环境建模结果,下标i_6代表一个感兴趣物体;
a12、至少一个感兴趣物体的特征集合的更新方程用M’表示;
b、术前阶段:
b1、进行一次或多次术前感知,环境感知结果为运动感知结果为/>
b2、根据环境感知结果和运动感知结果,建立全部感兴趣物体的特征集合的全局环境建模结果,表示为:
b3、根据全局环境建模结果,术前建立一系列全局导航决策
b4、根据术前建立的一系列导航决策结果,建立手术计划
c、术中阶段:
c1、术中阶段是迭代进行的,下述描述是对其中一个迭代步而言的:
c2、进行一次或多次术中感知,环境感知结果为运动感知结果为/>
c3、根据环境感知结果和运动感知结果,建立局部建模结果,表示为:
c4、根据局部环境建模结果,更新全局环境建模结果,表示为:
c5、进行感兴趣物体局部定位,表示为:
c6、进行感兴趣物体全局定位,表示为:
c7、建立局部导航决策,该导航决策与手术计划,建模结果和定位结果相关,表示为:
c8、生成运动指令,表示为:
c9、执行机构按照运动指令执行,包括机械臂执行运动指令和手术器械执行运动指令;
d、术后阶段:
d1、进行一次或多次术后感知,环境感知结果为运动感知结果为/>
d2、根据环境感知结果和运动感知结果,建立全局环境建模结果,表示为:
d3、根据术后的全局环境建模结果,进行术后评估。
10.如权利要求9所述的系统,其特征在于,所述建模过程和定位过程之间有如下形式的关系:
a、建模时使用定位结果:m=M({fi_1},{pi_3},{gi_2});
b、定位时使用建模结果:gi_2=Gi_2({fi_1},{pi_3},m)。
11.如权利要求9所述的系统,其特征在于,感知过程和运动过程之间有如下形式的关系:
a、
b、
c、
其中,表示机械臂或者手术器械真实的运动状态,/>代表感兴趣物体的真实空间位置或几何信息。
12.一种手术机器人控制方法,其特征在于,应用于权利要求1-9任一项所述的系统中,所述方法包括:
对术中手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的特征集合;
基于所述至少一个感兴趣物体的特征集合,确定所述术中手术环境的局部感兴趣物体的特征集合;同时,基于所述至少一个感兴趣物体的特征集合和获取的执行机构的当前运动信息,对所述术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息;
基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的位置坐标,获取导航决策信息;
基于所述执行机构的当前运动信息和所述导航决策信息,生成控制执行机构的运动指令;
控制所述执行机构执行所述运动指令。
13.如权利要求12所述的方法,其特征在于,基于至少一个感兴趣物体的特征集合、局部感兴趣物体的特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息,包括:
对所述术中手术环境内至少一个感兴趣物体进行建模,得到所述术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合;
采用所述局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
基于所述全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息;
其中,从执行逻辑上讲,上述的建模过程、更新过程和定位过程为并行过程。
14.如权利要求13所述的方法,其特征在于,对所述术中手术环境内至少一个感兴趣物体进行建模,得到所述术中手术环境的局部感兴趣物体的特征集合和/或全局感兴趣物体的特征集合,包括:
对所述术中手术环境内全部感兴趣物体进行建模,得到全局感兴趣物体的特征集合;
遍历所述全部感兴趣物体,针对遍历到的当前的感兴趣物体,对所述术中手术环境内的所述感兴趣物体进行建模,得到所述感兴趣物体对应的局部感兴趣物体的特征集合;
采用所述局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合,包括:
采用所述感兴趣物体对应的局部感兴趣物体的特征集合,对所述全局感兴趣物体的特征集合进行更新,得到全局感兴趣物体的新特征集合;
将未遍历到的任一感兴趣物体作为新的当前的感兴趣物体,返回执行对所述术中手术环境内的所述感兴趣物体进行建模的步骤,直至遍历完所述全部感兴趣物体,以基于所述全局感兴趣物体的新特征集合和各感兴趣物体的几何特征和/或状态信息,获取导航决策信息。
15.如权利要求12所述的方法,其特征在于,对术中手术环境内的至少一个感兴趣物体进行感知之前,所述方法还包括:
对术前手术环境内的至少一个感兴趣物体进行感知,得到至少一个感兴趣物体的术前特征集合;
基于至少一个感兴趣物体的术前特征集合,确定所述术前手术环境的全局导航决策信息;
基于所述全局导航决策信息,生成手术计划;
对所述术中手术环境内至少一个感兴趣物体进行建模,得到所述术中手术环境的全局感兴趣物体的特征集合,包括:
基于所述手术计划,对所述术中手术环境的至少一个感兴趣物体的特征集合进行局部建模,得到所述术中手术环境的局部感兴趣物体的特征集合。
16.如权利要求15所述的方法,其特征在于,所述方法还包括:
将所述导航决策信息,对所述全局导航决策信息进行更新;
根据更新后的全局导航决策信息,更新原有手术计划和/或生成新的手术计划。
17.如权利要求13所述的方法,其特征在于,所述方法还包括:
若检测到所述执行机构完成所述手术环境的手术操作,则对术后手术环境内的至少一个感兴趣物体进行感知,得到所述术后手术环境的全局感兴趣物体的术后特征集合;
生成针对所述术后手术环境的全局感兴趣物体的术后特征集合、所述至少一个感兴趣物体的特征集合和全局感兴趣物体的新特征集合的术后评估信息。
18.如权利要求12所述的方法,其特征在于,所述导航决策信息包括避开风险器官操作流程、限制执行机构的运动范围、限制执行机构的运动速度和目标手术操作的操作流程;
所述目标手术操作包括对机械臂和/或手术器械的自动/半自动控制;
所述对机械臂和/或手术器械的自动/半自动控制,包括:自动/半自动寻径、自动/半自动调整位姿、自动/半自动的流程化操作、自动/半自动器械退出操作;
所述自动/半自动调整位姿包括对准、跟随和去抖动;
所述自动/半自动的流程化操作包括缝合、打结和植入物释放。
19.如权利要求12所述的方法,其特征在于,对所述术中手术环境内的至少一个感兴趣物体进行定位,得到各感兴趣物体的几何特征和/或状态信息之后,所述方法还包括:
针对任一感兴趣物体,对所述感兴趣物体进行回环检测;
若检测到所述感兴趣物体的当前位置坐标与历史时刻的观测结果相同,则确定所述感兴趣物体的几何特征与历史几何特征之间存在相关性,并根据所述相关性对所述感兴趣物体的几何特征估计结果进行修正。
20.一种电子设备,其特征在于,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存储的程序时,实现权利要求12-19任一所述的手术机器人控制方法。
21.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求12-19任一所述的手术机器人控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311585778.9A CN117503348A (zh) | 2023-11-24 | 2023-11-24 | 手术机器人控制系统、方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311585778.9A CN117503348A (zh) | 2023-11-24 | 2023-11-24 | 手术机器人控制系统、方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117503348A true CN117503348A (zh) | 2024-02-06 |
Family
ID=89760571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311585778.9A Pending CN117503348A (zh) | 2023-11-24 | 2023-11-24 | 手术机器人控制系统、方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117503348A (zh) |
-
2023
- 2023-11-24 CN CN202311585778.9A patent/CN117503348A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948674B2 (en) | Surgical procedure planning system with multiple feedback loops | |
US11452567B2 (en) | Dynamic planning method for needle insertion | |
CN109195527B (zh) | 用于与骨骼手术一起使用的设备及方法 | |
Marescaux et al. | Inventing the future of surgery | |
Antico et al. | Ultrasound guidance in minimally invasive robotic procedures | |
Govindaraj et al. | Endoscopic sinus surgery: evolution and technical innovations | |
JP4815054B2 (ja) | 信頼基準システムを利用しない画像指図式ロボット整形外科処置手順を実施するシステムおよび方法 | |
US20210386491A1 (en) | Multi-arm robotic system enabling multiportal endoscopic surgery | |
AU2018364406A1 (en) | Robotic device for a minimally invasive medical intervention on soft tissues | |
JP2018522695A (ja) | 血管構造内で血管内器具を誘導する助けとなるための方法及びシステム | |
Rivero-Moreno et al. | Robotic surgery: a comprehensive review of the literature and current trends | |
US20210298836A1 (en) | Holographic treatment zone modeling and feedback loop for surgical procedures | |
RU2653836C2 (ru) | Управляемый микроманипулятором локальный вид с неподвижным общим видом | |
Biswas et al. | Recent advances in robot-assisted surgical systems | |
RU2637826C1 (ru) | Способ планирования мини-доступа для создания экстра-интракраниального микроанастомоза с использованием МСКТ-ангиографии головного мозга в 3D реконструкции. | |
Li et al. | Advanced surgical tool: progress in clinical application of intelligent surgical robot | |
CN117503348A (zh) | 手术机器人控制系统、方法、电子设备及存储介质 | |
Chatterjee et al. | Advancements in robotic surgery: innovations, challenges and future prospects | |
JP7473377B2 (ja) | ロボット手術支援装置、ロボット手術支援方法、及びプログラム | |
Langlotz et al. | Minimally invasive approaches in orthopaedic surgery | |
RU2610069C2 (ru) | Способ хирургического лечения грыжи межпозвоночного диска грудопоясничного отдела у собак | |
Atesok et al. | CT (ISO-C-3D) image based computer assisted navigation in trauma surgery: a preliminary report | |
Yeisson et al. | Robotic Surgery: A Comprehensive Review of the Literature and Current Trends | |
Ogando-Rivas et al. | Evolution and revolution of imaging technologies in neurosurgery | |
CN116269800A (zh) | 一种脊柱内镜手术机器人系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |