CN111916195A - 一种医疗用机器人装置,系统及方法 - Google Patents
一种医疗用机器人装置,系统及方法 Download PDFInfo
- Publication number
- CN111916195A CN111916195A CN202010780479.0A CN202010780479A CN111916195A CN 111916195 A CN111916195 A CN 111916195A CN 202010780479 A CN202010780479 A CN 202010780479A CN 111916195 A CN111916195 A CN 111916195A
- Authority
- CN
- China
- Prior art keywords
- robot
- module
- medical
- voice
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000003814 drug Substances 0.000 claims abstract description 60
- 238000002347 injection Methods 0.000 claims abstract description 49
- 239000007924 injection Substances 0.000 claims abstract description 49
- 210000004369 blood Anatomy 0.000 claims abstract description 43
- 239000008280 blood Substances 0.000 claims abstract description 43
- 229940079593 drug Drugs 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 18
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 239000000523 sample Substances 0.000 claims description 71
- 210000000214 mouth Anatomy 0.000 claims description 69
- 230000010391 action planning Effects 0.000 claims description 59
- 238000007726 management method Methods 0.000 claims description 39
- 210000002700 urine Anatomy 0.000 claims description 39
- 210000000056 organ Anatomy 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 21
- 230000003993 interaction Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 17
- 201000010099 disease Diseases 0.000 claims description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 15
- 238000011084 recovery Methods 0.000 claims description 15
- 210000001835 viscera Anatomy 0.000 claims description 15
- 239000007927 intramuscular injection Substances 0.000 claims description 14
- 238000010255 intramuscular injection Methods 0.000 claims description 14
- 210000000707 wrist Anatomy 0.000 claims description 14
- 210000001503 joint Anatomy 0.000 claims description 13
- 210000004072 lung Anatomy 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000003296 saliva Anatomy 0.000 claims description 10
- 210000003462 vein Anatomy 0.000 claims description 10
- 238000010253 intravenous injection Methods 0.000 claims description 9
- 210000000697 sensory organ Anatomy 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 7
- 229920000742 Cotton Polymers 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 210000003205 muscle Anatomy 0.000 claims description 5
- 230000000241 respiratory effect Effects 0.000 claims description 5
- 210000000323 shoulder joint Anatomy 0.000 claims description 5
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 claims description 4
- 210000000481 breast Anatomy 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000008103 glucose Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 208000024891 symptom Diseases 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 210000001015 abdomen Anatomy 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 210000004392 genitalia Anatomy 0.000 claims description 3
- 230000002792 vascular Effects 0.000 claims description 3
- 230000036772 blood pressure Effects 0.000 claims description 2
- 210000002445 nipple Anatomy 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 238000001990 intravenous administration Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 210000003371 toe Anatomy 0.000 description 13
- 210000000887 face Anatomy 0.000 description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 206010035148 Plague Diseases 0.000 description 2
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 150000007523 nucleic acids Chemical class 0.000 description 2
- 102000039446 nucleic acids Human genes 0.000 description 2
- 108020004707 nucleic acids Proteins 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0045—Devices for taking samples of body liquids
- A61B10/0051—Devices for taking samples of body liquids for taking saliva or sputum samples
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/0045—Devices for taking samples of body liquids
- A61B10/007—Devices for taking samples of body liquids for taking urine samples
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/151—Devices specially adapted for taking samples of capillary blood, e.g. by lancets, needles or blades
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/15—Devices for taking samples of blood
- A61B5/151—Devices specially adapted for taking samples of capillary blood, e.g. by lancets, needles or blades
- A61B5/15101—Details
- A61B5/15103—Piercing procedure
- A61B5/15107—Piercing being assisted by a triggering mechanism
- A61B5/15109—Fully automatically triggered, i.e. the triggering does not require a deliberate action by the user, e.g. by contact with the patient's skin
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
- A61M5/42—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests having means for desensitising skin, for protruding skin to facilitate piercing, or for locating point where body is to be pierced
- A61M5/427—Locating point where body is to be pierced, e.g. vein location means using ultrasonic waves, injection site templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Hematology (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Vascular Medicine (AREA)
- Artificial Intelligence (AREA)
- Epidemiology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Dermatology (AREA)
- Anesthesiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
Abstract
一种医疗用机器人装置,系统及方法是利用人工智能机器人技术,提供一种医疗用远端联合诊断辅助治疗的机器人装置,远端会诊,多科室联合会诊,远端医嘱,解决病患‑医生沟通不畅,病情理解不清,治疗方法不配合等问题,利用机器人搭载的B超图像采集装置,口腔内采集装置,血液采集装置,CT图像以及DR放射科图像远端控制采集与共享实现图像共享,解决了人为的诊断治疗失误,以及单一诊疗科诊断的局限性及诊断方案的单一性等问题,通过机器人搭载的血管放大器,静脉注射器,及其他注射装置实现机器人远端控制,自主注射,自主配置药品,巡回取放医疗设备,解决医护人员作业压力大,夜班多等问题。提高专家,医生远端问诊,查房,多科室联合会诊的灵活性,高效率多治疗方案多专家共同意见解决临床案例。应用于门诊,病房,海外医疗机构。
Description
技术领域:
本发明属于人工智能机器人健康医疗设备技术领域,涉及机器人技术领域,图像智能识别方法,智能化设备及系统。
背景技术:
目前应用于医疗领域;在检查过程,由于各种人为因素分析,识别病情精准度差,各专科医生领域及医疗专业受限,多科室多专家联合会诊,在门诊,病房与患者一起讨论病情很难实现。管理员远端控制,远端联合会诊,病房专家联合查房,联合治疗的机器人装置,机器人平台涉及机器人理论,实践技术。因疫情等感染性高,效率低下,人工采集不精准,瘟疫传播等问题严重,利用机器臂自主采集口腔检测样本,血液检测样本,尿液,粪便检测样本,自主注射,自主管理,配置药品,医疗用品。
利用机器人搭载的机器臂及摄像头,机器视觉及各种智能识别方法,辅助识别疾病征兆关联疾病的识别,实现远端检测,自主检测,感染性检测,智能化分析数据,有效防止传染病,瘟疫等重大疾病蔓延。
发明内容:
本发明的目的就在于克服上述现有技术的缺点和不足,提供一种医疗用机器人装置,利用远端会诊,多科室联合会诊,远端医嘱,病患-医生沟通不畅,病情理解不清,治疗方法不配合等问题,利用机器人搭载的B超图像采集装置,口腔内采集装置,血液采集装置,CT图像以及DR放射科图像远端控制采集与共享实现图像共享,解决了人为的诊断治疗失误,以及单一诊疗科的局限性及诊断方案的单一性等问题。
通过机器人搭载的血管放大器,静脉注射器,及其他注射装置实现机器人远端控制,自主注射,自主配置药品,巡回取放医疗设备,解决医护人员作业压力大,夜班多等问题。提高专家,医生远端问诊,查房,多科室联合会诊的灵活性,高效率多治疗方案多专家共同意见解决临床案例。本发明还提供了一种门诊病房多任务分配最优化管理系统及图片共享医疗图片实时采集共享多用户-机器人语音交互联合问诊方法;一种医护,患者,机器人三方匹配的药品医疗器械自主拾取发放管理方法;一种医护,患者,机器人三方匹配远端控制及自主采集样本,注射管理方法。一种自主定位识别人体器官特征位置,采集,分类内部脏器B超,CT图像的方法。
本发明的采用的技术方案:
一种医疗用机器人装置包括:
机器人主系统,所述机器人主系统模块用于实现机器人的主控制,语音模块和用户间交互,语音模块,视觉识别模块,心音,肺部螺音识别模块,医疗场景识别,雷达自主移动实时建图模块,血液采集,注射动作规划模块动作规划模块,机器臂拾取,放置,扫码,管理动作规划控制模块。
语音模块,所述语音模块用于采集医患者声音,门诊病房场景声音。所述语音模块用于主控制系统与用户间交互和语音引导,语音命令,语音交互。
视觉识别模块,与摄像头装置连接,采集并识别图像,所述视觉识别模块,包括:人脸识别,人体五官识别,人体特征位置识别,医疗场景识别,医疗用品识别,药品识别。
所述人脸识别,是患者用户,医护管理员的人脸识别。人体五官识别,是人脸五官及其位置的识别,口腔角度位置,用于核酸检测,生物特征检测,及其他口腔检测。人体特征位置识别,是指关节位置识别,包括:肩部,腕部,臂肘部,手指各关节及其位置识别,用于识别手指,趾末端,腕,肘部,肩的手臂关节,在血管放大器下,腕静脉,肘部静脉血管的位置,近肩部肌肉注射位置识别,用于血管定位,其他关键位置定位。
所述医疗场景识别,应用改进的神经网络方法,识别医疗场景。包括门诊,病房,病患,医生,门牌字母数字文字等对综合场景的识别。
所述医疗用品识别,包括:机器人搭载的基本的医疗设备区的血压仪,血糖仪,体温计,听诊器,心率设备用于采集医疗信息,呼吸设备,负压设备,及24小时监测设备,及其他用于各专科的医疗器械。应用形状,颜色,数字码,二维码特征改进的神经网络方法,识别并管理医疗用品设备。遵照医嘱,按照医生任务安排,识别的医疗用品与识别的患者人脸,手环二维码对应,并对其进行匹配管理。
所述药品识别,包括:药品的外标签数字码,二维码,文字,颜色,形状的特征识别药品的名称,数量,及其与识别的患者人脸,手环二维码对应,并对其进行匹配管理。
心音,肺部螺音识别模块,所述心音,肺部螺音识别模块用于心音,肺部螺音声纹特征提取,利用改进的声音识别算法,智能识别心音,螺音异常。
雷达自主移动,医疗场景识别,建图模块。所述雷达自主定位,导航,实时建图模块,应用视觉识别模块的医疗场景识别科室,病房门牌字母数字文字,床位号与雷达实时建图融合,利用自主定位,导航,移动至对应科室,病房,床位位置。
所述的动作规划,是通过管理员调解设置参数及通过神经网络改进方法训练机器人学习规划动作及自适应调解设置动作规划参数,用于动作规划,包括:采集,注射模块,医疗设备佩戴使用动作规划模块,医疗用品,药品取放配置管理模块。
所述的采集,注射模块,包括:血液采集,注射模块,口腔检测样本采集模块,尿液,粪便样本收纳管理模块,医疗图像采集共享模块。
所述血液采集,注射模块,指端末梢血液采集模块,采集注射针头模块,在识别手指,趾末端,手臂各关节位置的基础上,应用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,应用采集针,注射针头采集血液,静脉注射,肌肉注射。
进一步,口腔检测样本采集模块,所述口腔采集动作规划模块,应用视觉识别模块的人脸五官识别,识别,定位口腔位置,牙齿位置,口腔壁位置,利用机器臂搭载的口腔采集器,口腔采集器棉,口腔镜,规划移动,左右前后方向沿壁滑动,采集动作,精准采集唾液,口腔内的口腔特征物,口腔内图像。
进一步,尿液,粪便样本收纳管理模块,所述尿液,粪便样本收纳动作规划模块用于机器人巡回与对应的病房,病床,患者及其对应二维码,数字码匹配,利用机器臂自动识别并抓取,移动,放置尿液,粪便样本在样本收集区。
进一步,医疗图像采集共享模块,其特征在于,所述医疗图像采集共享模块用于采集B超图像CT图像,图像共享,DR放射科图像远端控制采集与共享及远端会诊,多科室联合会诊。
作为本发明的又一步改进,医疗设备佩戴使用动作规划模块。其特征在于,所述医疗设备是指机器人搭载的设备及医疗区的呼吸设备,负压设备,24小时监测设备及其他各项医疗设备,由机器人主系统控制,机器人应用视觉识别模块的五官识别及身体特征识别,识别口,鼻,耳,眼,身体的特征位置,定位位置,设计及自适应学习规划机器臂拾取,移动,放置,佩戴,摘取,使用设备,监测设备正常运行动作。
作为本发明的又一步改进,所述的医疗用品,药品取放配置管理模块,其特征在于,药品,治疗设备,康复设备及其他医疗用品,拾取,放置,扫描数字码,二维码,有效管理,配送设备。应用视觉识别模块识别患者人脸,手环扫描二维码比对床位,手牌信息,医疗器械及药物的数字码,二维码匹配,比对医嘱信息。自主取物,扫描信息,归还,管理医疗器械。
一种最优化任务管理系统,包括一种医疗用机器人装置、多个科室的医护任务和一个呼叫系子统,所述医疗用机器人装置为上述任一方案中医疗用机器人装置,所有多个科室的医护任务子系统和一个呼叫系子统与机器人主控制系统连接,搭建在最优化任务管理系统平台上。
利用最优化任务管理系统,实现医护管理员为多个科室,病房的的患者排配时间-及其各时间段对应的任务,添加,修改,删除,查询,动态实时排班机器人各种任务,与医疗区呼叫系统连接,远端问诊,联合会诊治疗管辖区患者,发送医嘱信息,接受患者留言,回复患者留言。远端控制机器人,管理各自科室,病房管辖区下的机器人,按照时间段及对应时间段的机器人任务。
一种医疗图片实时采集共享多用户-机器人语音交互联合问诊方法,所述方法包括以下步骤:
S1、利用管理员通过机器人平台上搭载的语音装置,及其连接语音模块,与其他用户连接,通信。
S2、机器人利用语音识别,语音合成技术,语音解说患者病情。
S3、管理员利用机器人平台搭载的消息信息,图片数据服务订阅,发布图像,多用户-机器人共享医疗信息,如图片,语音。
S4、管理员利用机器人平台搭载的实时语音交互,语音识别模块,实时多用户语音会话,语音转文字附加图片信息,记录多用户语音交互,语音会议;
一种医护,患者,机器人三方匹配的药品医疗器械自主拾取发放管理方法,所述方法包括以下步骤:
S1、管理员通信模块,发布医嘱消息,服务,机器人语音模块订阅接受医嘱消息,病患用户订阅接受医嘱消息,服务。
S2、机器人利用语音识别,语音合成技术,语音记录,语音转文字识别医嘱。
S3、机器人利用视觉识别模块,识别器材,药品及其对应的位置信息。
S4、机器人利用视觉模块,通信模块发布的器材,药品位置信息服务,雷达定位导航模块订阅位置信息服务,自主移动到器材,药品位置放置区。
S5、机器人利用动作规划模块,拾取器材,药品,扫描数字码,二维码。
S6、机器人利用通信模块,发布病患位置信息包括:病患病房,科室,床位位置信息。雷达定位导航模块订阅病患位置信息,自主移动到病床。
S7、机器人利用视觉识别模块的医疗场景识别科室,病房门牌字母数字文字,病床号利用机器人视觉模块识别人脸,核对匹配,如果一致,执行步骤8如果不一致,重新定位导航。
S8、机器人利用动作规划模块,扫描患者手环的数字码,二维码,与器材,药品上的二维码,数字码,医嘱信息数字码核对,匹配。如果扫码结果正确,发放器材,药品。否则返回信息至管理员。
S9、利用机器臂动作规划模块,放置,发放器材,药品至药品箱,器械放置区.
S10、结束此时间段的任务。
一种医护,患者,机器人三方匹配远端控制及自主采集样本,注射管理方法,所述方法包括以下步骤:
S1、管理员通信模块,发布医嘱消息,服务,机器人语音模块订阅接受医嘱消息,病患用户订阅接受医嘱消息,服务。
S2、机器人利用语音识别,语音合成技术,语音记录,语音转文字识别医嘱。
S3、机器人利用通信模块,发布病患位置信息包括:病患病房,科室,床位位置信息。雷达定位导航模块订阅病患位置信息,自主移动到病床。
S4、机器人利用视觉模块,识别通信模块发布信息服务,雷达定位导航模块订阅位置信息服务,自主移动到器材,药品位置放置区。
S5、机器人利用视觉识别模块识别,人脸,五官,特征,及其位置。识别手指,趾末端,手臂各关节,各关节位置。应用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,位置信息。
S6、机器人利用通信模块发布采集位置信息,机器臂订阅固定装置,采集位置信息,注射位置信息,动作规划模块订阅位置信息。
S7、机器人依照步骤S6的位置信息,按照动作规划模块,采集口腔,图像,血液,注射动作,所述采集模块包括:血液采集,注射动作规划模块,口腔采集动作规划模块,尿液粪便样本收纳动作规划模块。
步骤S7中,所述血液采集,注射动作规划模块,指端末梢血液采集模块,采集注射针头模块,在识别手指,趾末端,手臂各关节位置的基础上,应用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,应用采集针,注射针头采集血液,静脉注射,肌肉注射。
步骤S7中,所述口腔采集动作规划模块,所述口腔采集动作规划模块,应用视觉识别模块的人脸五官识别,定位口腔位置,牙齿位置,口腔壁位置,利用机器臂搭载的口腔采集器,口腔采集器棉,口腔镜,规划移动,左右前后方向沿壁滑动,采集动作,精准采集唾液,口腔内的口腔特征物,口腔内图像。
步骤S7中,所述尿液,粪便样本收集模块,所述尿液,粪便样本收纳动作规划模块用于机器人巡回与对应的病房,病床,患者及其对应二维码,数字码匹配,利用机器臂自动识别并抓取,移动,放置尿液,粪便样本在样本收集区。
S8、机器人利用通信模块发布回收区位置信息,雷达定位导航模块订阅回收区位置信息服务,自主移动到,唾液样本回收区,生物信息样本回收区,血液样本回收区,尿液样本回收区,粪便样本回收区,利用机器臂动作模块,放置,回收样本。
S9、返回任务完成信息至管理员。如果未完成,将任务移入下一时间段。
一种机器人自主定位并识别人体器官特征位置方法,分类图像的脏器,图像的采集方法包括以下步骤:
人体器官特征位置及医疗图像的内部脏器分类识别方法:
S1、建立人体器官特征模型,包括:肩关节,乳房及乳头,肚腩肚脐,特征生殖器,腰关节。
S2、抽取图像器官的内部轮廓,各器官的特征值及其对应的外部特征所对应的人体外部位置区。
S3、输入各器官外部特征值所对应的人体内部器官图像的特征值,改进深度神经网络方法及权值优化器,通过图像训练,得到输出值及内部器官分类,器官识别结果。
S4、输出结果,精准分类,识别人体器官的图像。
机器人自主定位,采集医疗图像的方法:
S1、机器人视觉识别模块发布各器官外部特征所对应的人体外部位置区坐标
S2、依据各器官外部特征所对应的人体外部位置区坐标,机器人机器臂搭载的B超探头,主系统订阅外部位置采集区位置及坐标。
S3、远端主控制系统及自主机器臂搭载的B超探头依照订阅的采集区位置,依照机器臂图像采集动作规划模块的动作,移动,扫描人体采集区。B超探头及B超装置发布采集的图像信息,机器人主系统及视觉识别模块订阅图像信息。
S4、机器人主系统及视觉识别模块输入图像内部轮廓,各器官的特征值,利用深度神经网络方法及权值优化器,得到输出值及内部器官分类识别结果。
S5、依据输出结果,精准分类,识别人体器官的图像,识别结果关联各器官疾病智能识别系统。发布识别结果及其对应的疾病征兆,疾病信息至机器人主系统的管理员及用户。
综上,本发明的有益效果是:
本发明能够通过医疗用机器人装置,解决远端控制机器人远端隔离采集,自主注射,自主定位,移动,导航。实现无人采集,隔离采集,自主完成门诊,病房的各项医护任务。以及为改善了医生,护士工作压力大,夜班多等问题。同时,实现实时多专家远端联合会诊,实时获取机器人采集的数据及图像,大幅度提高工作效率。本发明能够通过最优化任务管理系统,管理,排配机器人任务,实时动态排班各机器人任务,可有效与医疗用机器人装置,与医疗区呼叫系统联合作业。
附图说明:
图1是本申请说明书中医疗用机器人装置模块示意图;
附图1标记:
101-机器人主系统;102-采集,注射动作规划模块;103-摄像头视觉模块;104-B超,CT,DR图像采集模块;105-语音模块;106-心音肺音采集模块;107-医疗数据采集模块;108-雷达建图定位导航模块;109-放置扫码管理动作规划模块
图2是本申请说明书中医疗用机器人装置组成结构示意图;
附图2标记:
201-摄像头;202-机器人主系统;203-B超装置;204-B超探头;
205-右上臂;206-医疗设备区;207-雷达;208-左上臂;209-血管放大器;210-采集器;
211-注射器;212-信息扫描装置;213-手臂固定装置;214-样本存储区;215-语音装置;
具体实施方式
本发明的目的是设计取代人类工作的可远端控制机器人,实现远端控制机器臂采集,同时有效解决自主采集,采集口腔检测样本用于核酸检测,生物特征检测,采集血液样本,采集尿液,粪便样本。利用人工智能机器人技术,自动化领域的自主采集,机器臂动作规划,深度摄像头采集人脸,口腔,手臂,人体外部特征,关节图像。
实现自主查房,实现远端多用户-机器人语音会诊,多科室联合会诊,远端语音医嘱,多用户语音交互,多专家联合会诊。
实现远端控制机器人及自主采集B超图像,口腔内采集唾液及其他生理特征物图像,采集血液,远端控制CT采集装置及DR放射科图像,共享图像,解决了人为的诊断治疗失误,实现机器人远端及自主静脉注射及肌肉注射,自主配置药品,巡回取放药品,医疗设备,提高了智能采集的精准度和医疗数据异常识别的准确度。为了更好的理解上述技术方案,下面结合实施例及附图,对本发明作进一步地的详细说明,但本发明的实施方式不限于此。
本申请实施中的技术方案为解决上述技术问题的总体思路如下:
通过机器人的主控制系统,机器人搭载的B超图像采集装置,口腔内采集装置,血液采集装置,CT图像以及DR放射科图像远端控制采集与共享图像,通过机器人搭载的血管放大器,静脉注射器,及其他注射装置实现机器人远端控制,自主注射,自主配置药品,通过雷达及视觉摄像头,巡回查房,取放医疗设备。本发明还提供了一种门诊病房多任务分配最优化管理系统及医疗图片实时采集共享多用户-机器人语音交互联合问诊方法;一种医护,患者,机器人三方匹配的药品医疗器械自主拾取发放管理方法;一种医护,患者,机器人三方匹配远端控制及自主采集样本,注射管理方法;一种自主定位识别人体器官特征位置,采集,分类内部脏器B超,CT图像的方法。
实施例1:
如图1所示,一种医疗用机器人装置包括:
机器人主系统101,所述机器人主系统101用于实现机器人的主控制,语音模块105和机器人主系统101连接,用于用户间交互,视觉识别模块103,用于人脸,人体器官,医疗场景识别,心音,肺部螺音识别模块106,用于采集心音,肺部螺音。雷达108用于自主移动实时建图,机器臂搭载血液采集,注射动作规划模块102用于图像样本,口腔检测物样本,血液样本,尿液粪便样本采集,静脉注射,肌肉注射。机器臂与拾取,放置,扫码,管理动作规划控制模块109用于医疗器械,药品拾取,放置,扫码,管理。
语音模块105,所述语音模块用于采集医患者声音,门诊病房场景声音。机器人主控制系统101与用户间交互和语音引导,语音命令,语音交互。
视觉识别模块103,所述视觉识别模块103中人脸识别,识别患者用户,医护管理员的人脸,用于患者及其对应样本采集,医疗器械,药品管理。所述视觉识别模块103中人体五官识别,识别人脸五官及其位置,口腔位置,用于采集需检测的口腔样本。所述视觉识别模块103中人体特征位置识别,识别腕部,臂肘部,手指各关节及其位置,在血管放大器下,腕静脉,肘部静脉血管的位置,用于血管定位,血液采集,静脉注射。识别肩部关节,腰部关节,用于近肩部肌肉注射位置识别,定位,远端及自主注射。
所述的视觉识别模块103中所述医疗场景识别,识别门诊,病房,病患,医生,门牌字母数字文字等,以及语音模块采集105的医疗场景语音,对医疗场景综合识别。
所述的视觉识别模块103中所述医疗用品识别呼吸设备,负压设备,及24小时监测设备,及其他用于各专科的医疗器械。用于遵照医嘱的医疗用品与识别的医疗用品,患者人脸手环信息码匹配管理。
所述的视觉识别模块103中所述药品识别药品的外标签的数字码,二维码,文字,颜色,形状,药品的名称,数量与患者的人脸,手环二维码,数字码对应匹配管理。
所述的心音,肺部螺音识别模块106,用于心音,肺部螺音声纹特征提取,利用改进的声音识别方法,智能识别心音,螺音异常。
雷达自主移动,医疗场景识别,建图模块108与所述的视觉识别模块103中医疗场景识别科室,病房门牌字母数字文字,床位号与雷达实时建图融合,用于自主定位,导航移动至对应科室,病房,床位位置。
血液采集,注射动作规划模块102,与所述的视觉识别模块103中手指,趾末端,手臂各关节位置的识别,利用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部,腰部关节肌肉注射位置,应用采集针,注射针头采集血液,静脉注射,肌肉注射。机器臂自主采集,移动,放置血液样本至样本放置区。
口腔采集与所述的视觉识别模块103中人脸五官识别,定位口腔位置,牙齿位置,口腔壁位置,利用机器臂搭载的口腔采集器,口腔采集器棉,口腔镜,规划移动,左右前后方向沿壁滑动,采集动作,精准采集唾液,口腔内的生物检测物,口腔内图像。
尿液,粪便样本收纳动作规划模块,所述尿液,粪便样本收纳动作与所述的视觉识别模块103中用于机器人巡回与对应的病房,病床,患者及其对应二维码,数字码匹配,利用机器臂自动识别并抓取,移动,放置尿液,粪便样本在样本收集区。
医疗图像采集共享模块104,与机器人主系统101连接,用于采集B超图像CT图像,图像共享,DR放射科图像远端控制采集与共享及远端会诊,多科室联合会诊。
呼吸设备,负压设备,及24小时监测设备的动作规划模块。所述呼吸设备,负压设备,及24小时监测设备的动作规划模块应用视觉识别模块的五官识别及身体特征识别,识别口,鼻,耳,眼,身体的特征位置,定位位置,设计机器臂拾取,移动,放置,佩戴,摘取设备,监测设备正常运行动作。
医疗用品,药品取,放,配置,管理模块109,用于药品,治疗设备,康复设备,拾取,放置,扫描数字码,二维码,有效管理,配送设备。应用视觉识别模块103识别患者人脸,手环扫描二维码比对床位,手牌信息,医疗器械及药物的数字码,二维码匹配,比对医嘱信息。自主取物,扫描,管理医疗器械。
如图2所示,一种最优化任务管理系统及一种医疗用机器人装置使用方法如下:
利用最优化任务管理系统,医护管理员为多个科室,病房的的患者排配时间-及其各时间段对应的任务,将所有的任务添加到最优化任务管理系统,医疗用机器人装置按照日期,时间、对应科室,病房,收到最优化任务管理系统管理员分配的任务。
管理员用户,专家用户登录最优化任务管理系,远端控制机器人,管理各自科室,病房管辖区下的机器人,添加,修改,删除,查询,动态实时排班机器人各种任务,与医疗区呼叫系统连接,远端问诊,联合会诊治疗管辖区患者,发送医嘱信息,接受患者留言,回复患者留言。
按照时间段及对应时间段的机器人任务,各时间段的对任务用雷达模块108及视觉模块103进行路径规划。并应用医疗用品,药品取,放,配置,管理模块109,血液采集,注射动作规划模块102,语音模块105,B超,CT,DR图像采集模块104分别处理不同任务。
当机器人在固定时间段接收到发放,配置任务时,管理配置任务利用机器人动作规划的医疗用品,药品取,放,配置,管理模块109,步骤如下:
S1、管理员通发布医嘱,排配任务.
S2、机器人利用语音装置215语音识别模块105,语音合成技术,语音记录,语音转文字识别医嘱。
S3、当机器人在固定时间段接收到发放,配置任务时,机器人利用视觉识别模块103,识别器材,药品及其对应的位置。
S4、机器人利用雷达207及雷达自主移动,医疗场景识别,建图模块108,定位,导航,自主移动到器材,药品位置放置区。
S5、机器人利用医疗用品,药品取,放,配置,管理模块109,拾取器材,药品,扫描信息码。
S6、机器人利病患位置信息包括:病患病房,科室,床位位置信息。雷达定位,导航自主移动到病床。
S7、机器人利用视觉识别模块103的医疗场景识别科室,病房门牌字母数字文字,病床号利用机器人视觉模块识别人脸,核对匹配,如果一致,执行步骤8如果不一致,重新定位导航。
S8、机器人利用212信息扫描装置,扫描患者手环的数字码,二维码,与器材,药品上的二维码,数字码,医嘱信息数字码核对,匹配。如果扫码结果正确,发放器材,药品。否则返回信息至管理员。
S9、利用机器臂左上臂208,右上臂205,放置发放器材药品至药品箱器械放置区.
S10、结束此时间段的任务。如果未完成,将任务移入下一时间段。
当处理采集任务时,机器人利用动作规划的血液采集,注射动作规划模块102。采集注射步骤如下:
S1、管理员通发布医嘱,排配任务.
S2、机器人利用语音装置215语音模块105,语音合成技术,语音记录,语音转文字识别医嘱。
S3、机器人利用病患位置信息,病患病房,科室,床位位置信息。雷达207导航自主移动到病床。
S4、机器人利用摄像头201及视觉模块103,识别人脸,五官,特征,及其位置。识别手指,趾末端,手臂各关节,各关节位置。应用血管放大器209,手臂固定装置213,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,位置信息。
S5、机器人依照步骤S4的位置信息,按照动作规划模块,采集口腔,图像,血液,注射动作。
步骤S5中,所述血液采集,注射动作规划模块,指端末梢血液采集模块,采集器210注射器针211,在识别手指,趾末端,手臂各关节位置的基础上,应用血管放大器209,手臂固定装置213,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,应用采集器210,采集血液,利用注射器211,静脉注射,肌肉注射。
步骤S5中,所述口腔采集动作规划模块,应用视觉识别模块103的人脸五官识别,识别,定位口腔位置,牙齿位置,口腔壁位置,利用机器臂搭载的口腔采集器210,口腔采集器棉210,口腔镜210,规划移动,左右前后方向沿壁滑动,采集动作,精准采集唾液,口腔内的口腔特征物,口腔内图像。
步骤S5中,所述尿液,粪便样本收集模块,块用于机器人巡回与对应的病房,病床,患者利用信息扫描装置212扫描其对应二维码,数字码匹配,利用机器臂机械爪右上臂205,左上臂208自动识别并抓取,移动,放置尿液,粪便样本在样本放置区214。
S6、机器人利用雷达207定位导航自主移动到样本回收区。
S7、返回任务完成信息至管理员。如果未完成,将任务移入下一时间段。
当处理查房,多科室多专家联合会诊,远端联合问诊任务,利用语音装置215,语音模块105,医疗图片实时采集共享多用户-机器人语音交互联合问诊方法,所述方法包括以下步骤:
S1、利用管理员通过机器人平台上搭载的语音装置215,及其连接语音模块105,与其他用户连通信。
S2、机器人利用语音识别,语音合成技术,语音解说患者病情。
S3、管理员利用机器人利用B超,CT,DR图像采集模块104,实时采集B超图像,CT图像。采集步骤如S6。
S4、管理员利用机器人平台共享语音,已采集的及实时采集的医疗图片,文字,多用户-机器人共享医疗信息。
S5利用机器人搭载的基本的医疗设备区的血压仪,血糖仪,体温计,听诊器,心率设备采集基本的医疗信息,并多用户共享医疗信息。
S6、管理员利用机器人平台搭载的实时语音交互,语音识别模块105,实时多用户语音会话,语音转文字附加图片信息,记录多用户语音交互,语音会议。
S7、管理员人体器官特征位置及B超图像CT图像的内部脏器分类识别,自主定位,采集B超,CT图像的步骤:
Step1、机器人视觉识别模块103识别器官外部特征包括:肩关节,乳房及乳房头,肚腩肚脐,特征生殖器,腰关节及其对应的人体外部位置区坐标。
Step2、依据各器官外部特征所对应的人体外部位置区坐标,机器人机器臂搭载的B超探头203,及B超装置204,扫描外部位置采集区。
Step3、远端主控制系统202及自主机器臂搭载的B超探头203,依照机器臂图像采集动作规划模块的动作,移动,扫描人体采集区。B超探头203及B超装置204采集的图像信息。
Step4、机器人主系统202及视觉识别模块103输入B超,CT图像内部轮廓,各器官的特征值,利用深度神经网络方法及权值优化器,得到输出值及内部器官分类识别结果。
Step5、依据输出结果,精准分类,识别人体器官的B超,CT图像,识别结果关联各器官疾病智能识别系统。发布识别结果及其对应的疾病征兆,疾病信息至机器人主系统的管理员及用户。
Claims (10)
1.一种医疗用机器人装置备,系统及方法的特征在于,一种医疗用机器人装置包括:
机器人主系统,所述机器人主系统模块,用于连接并控制机器人装置模块,包括:语音模块,视觉模块及视觉识别模块,心音,肺部螺音识别模块,雷达定位导航模块,采集,注射模块,医疗设备佩戴使用动作规划模块,医疗用品,药品取放配置管理的动作规划模块。
摄像头及视觉识别模块,机器人主系统与摄像头连接,用于采集并识别图像,包括:人脸识别,五官识别,人体特征位置识别,医疗场景识别,医疗用品识别,药品识别。所述的人体特征位置识别是指:关键关节位置及其识别,以及人体的其他特殊特征。
语音装置及语音模块,机器人主控制系统与语音装置连接,用于采集并识别声音,用户间管理员间的语音交互,语音命令,语音文字互转,语音合成,声纹识别。
雷达自主移动,医疗场景识别,建图模块。机器人主控制系统与雷达,摄像头连接,所述雷达自主移动医疗场景识别建图模块是将雷达,摄像头与主系统连接。
采集,注射模块,机器人主控制系统与摄像头,机器臂,采集注射装置,B超探头,B超装置,其他医疗图像采集控制装置,采集器,注射器,血管放大器,手臂固定装置连接,所述模块包括:血液样本采集,注射动作规划模块,口腔唾液及身体特征物采集动作规划模块,尿液粪便样本收纳动作规划模块,医疗图像采集模块。
医疗设备佩戴使用动作规划模块及医疗用品,药品取放配置管理的动作规划模块。机器人主控制系统与所述的机器人主控制系统与摄像头,雷达,机器臂,信息扫描装置连接,所述医疗设备包括:机器人搭载的医疗设备区的血压仪,血糖仪,体温计,听诊器,心率设备及医疗区的呼吸设备,呼吸设备,负压设备,及24小时监测设备的摘戴动作规划及医疗用品,药品取,放,配置,管理。
2.根据权利要求1所述的一种医疗用机器人装置,其特征在于,所述的语音装置及语音模块,采集并识别医患声音,门诊病房场景声音。机器人主控制系统与多用户,管理员间的语音交互,语音命令,语音文字互转,语音合成,声纹识别。
3.根据权利要求1所述的一种医疗用机器人装置,其特征在于,所述雷达自主移动医疗场景识别建图模块是将雷达,摄像头与主系统连接,雷达自主定位,导航,实时建图,及视觉识别人脸及医疗场景,医疗场景包括:科室,病房门牌字母数字文字床位号与雷达实时建图融合,自主定位,导航,移动至对应科室,病房,床位位置。
4.根据权利要求1所述的一种医疗用机器人装置,其特征在于,采集注射模块,是通过管理员调解设置参数及通过神经网络改进方法训练机器人学习规划动作及自适应调解设置动作规划参数,用于动作规划,实现所述的采集,注射。所述的采集,注射模块包括:血液样本采集,注射模块,口腔检测样本采集模块,尿液,粪便样本收纳管理模块,医疗图像采集共享模块。
所述血液样本采集,注射模块是通过采集器,在识别趾末端,手臂各关节位置的基础上,应用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,应用采集器,采集血液,利用注射器,在肩关节腰关节部肌肉注射位置,应用注射器静脉注射,肌肉注射。
所述的口腔采集模块,应用视觉识别模块的人脸五官识别,识别口腔位置,牙齿位置,口腔壁位置,利用机器臂搭载的口腔采集器,口腔采集器棉,口腔镜,规划移动,左右前后方向沿壁滑动,采集动作,精准采集唾液,口腔内的口腔特征物,口腔内图像。
所述的尿液,粪便样本收纳,管理模块,所述尿液,粪便样本收纳动作规划模块用于机器人巡回与对应的病房,病床,患者及其对应二维码,数字码匹配,利用机器臂自动识别并抓取,移动,放置尿液,粪便样本在样本收集区。
所述的医疗图像采集共享模块,其特征在于,所述医疗图像采集共享模块用于采集B超图像CT图像,图像共享,DR放射科图像远端控制采集与共享及远端会诊,多科室联合会诊。
5.根据权利要求1所述的一种医疗用机器人装置,其特征在于,所述的医疗设备佩戴使用动作规划模块及医疗用品,药品取放配置管理模块,是通过管理员调解设置参数及通过神经网络改进方法训练机器人学习规划动作及自适应调解设置动作规划参数,用于机器人搭载的医疗设备区的血压仪,血糖仪,体温计,听诊器,心率设备及医疗区的呼吸设备,负压设备,24小时监测设备及其他各项医疗设备使用的动作规划。所述的医疗设备佩戴使用动作规划模块是指机器人搭载的设备及医疗区的呼吸设备,负压设备,24小时监测设备及其他各项医疗设备,由机器人主系统控制,机器人应用视觉识别模块的五官识别及身体特征识别,识别口,鼻,耳,眼,身体的特征位置,定位位置,设计及自适应学习规划机器臂拾取,移动,放置,佩戴,摘取,使用设备,监测设备正常运行动作。
进一步,所述的医疗设备区的听诊器与机器人主控制系统搭载与所述心音,肺部螺音识别模块连接,采集并识别心音,肺部螺音肺部螺音声纹特征提取,利用改进的声音识别算法,智能识别心音,螺音异常。
所述的医疗用品,药品取放配置管理模块,用于药品,治疗设备,康复设备及其他各医疗用品的拾取,放置,扫描数字码,二维码,有效管理,配送设备。应用视觉识别模块识别患者人脸,手环扫描二维码比对床位,手牌信息,医疗器械及药物的数字码,二维码匹配,比对医嘱信息。自主取物,扫描信息,归还,管理医疗器械。
6.一种最优化任务管理系统,其特征在于,包括:一种医疗用机器人装置、多个科室的医护任务子系统和1个呼叫系子统,所述医疗用机器人装置为上述任一方案中医疗用机器人装置,所有多个科室的医护任务子系统和1个呼叫系子统与机器人主控制系统连接,搭建在最优化任务管理系统平台上。
7.一种医疗图片实时采集共享多用户-机器人语音交互联合问诊方法,其特征在于,所述方法包括以下步骤:
S1、利用管理员通过机器人平台上搭载的语音装置,及其连接语音模块,与其他用户连接,通信。
S2、机器人利用语音识别,语音合成技术,语音解说患者病情。
S3、管理员利用机器人平台搭载的消息信息,图片数据服务订阅,发布图像,多用户-机器人共享医疗信息,如图片,语音。
S4、管理员利用机器人平台搭载的实时语音交互,语音识别模块,实时多用户语音会话,语音转文字附加图片信息,记录多用户语音交互,语音会议。
8.一种医护,患者,机器人三方匹配的药品医疗器械自主拾取发放管理方法,其特征在于,所述管理方法包括以下步骤:
S1、管理员通信模块,发布医嘱消息,服务,机器人语音模块订阅接受医嘱消息,病患用户订阅接受医嘱消息,服务。
S2、机器人利用语音识别,语音合成技术,语音记录,语音转文字识别医嘱。
S3、机器人利用视觉识别模块,识别器材,药品及其对应的位置信息。
S4、机器人利用视觉模块,通信模块发布的器材,药品位置信息服务,雷达定位导航模块订阅位置信息服务,自主移动到器材,药品位置放置区。
S5、机器人利用动作规划模块,拾取器材,药品,扫描数字码,二维码。
S6、机器人利用通信模块,发布病患位置信息包括:病患病房,科室,床位位置信息。雷达定位导航模块订阅病患位置信息,自主移动到病床。
S7、机器人利用视觉识别模块的医疗场景识别科室,病房门牌字母数字文字,病床号利用机器人视觉模块识别人脸,核对匹配,如果一致,执行步骤8如果不一致,重新定位导航。
S8、机器人利用动作规划模块,扫描患者手环的数字码,二维码,与器材,药品上的二维码,数字码,医嘱信息数字码核对,匹配。如果扫码结果正确,发放器材,药品。否则返回信息至管理员。
S9、利用机器臂动作规划模块,放置,发放器材,药品至药品箱,器械放置区.
S10、结束此时间段的任务。
9.一种医护,患者,机器人三方匹配远端控制及自主采集样本,注射管理方法,其特征在于,所述采集方法包括以下步骤:
S1、管理员通信模块,发布医嘱消息,服务,机器人语音模块订阅接受医嘱消息,病患用户订阅接受医嘱消息,服务。
S2、机器人利用语音识别,语音合成技术,语音记录,语音转文字识别医嘱。
S3、机器人利用通信模块,发布病患位置信息包括:病患病房,科室,床位位置信息。雷达定位导航模块订阅病患位置信息,自主移动到病床。
S4、机器人利用视觉模块,识别通信模块发布信息服务,雷达定位导航模块订阅位置信息服务,自主移动到器材,药品位置放置区。
S5、机器人利用视觉识别模块识别,人脸,五官,特征,及其位要。识别手指,趾末端,手臂各关节,各关节位置。应用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,位置信息。
S6、机器人利用通信模块发布采集位置信息,机器臂订阅固定装置,采集位置信息,注射位置信息,动作规划模块订阅位置信息。
S7、机器人依照步骤S6的位置信息,按照动作规划模块,采集口腔,图像,血液,注射动作,所述采集模块包括:血液采集,注射动作规划模块,口腔采集动作规划模块,尿液,粪便样本收纳动作规划模块。
进一步,所述采集动作规划模块。
步骤S7中,所述血液采集,注射动作规划模块,指端末梢血液采集模块,采集注射针头模块,在识别手指,趾末端,手臂各关节位置的基础上,应用血管放大器,手臂固定装置,定位趾端末位置,手臂腕部,肘部静脉血管位置,上臂部肌肉注射位置,应用采集针,注射针头采集血液,静脉注射,肌肉注射。
步骤S7中,所述口腔采集动作规划模块,所述口腔采集动作规划模块,应用视觉识别模块的人脸五官识别,识别,定位口腔位置,牙齿位置,口腔壁位置,利用机器臂搭载的口腔采集器,口腔采集器棉,口腔镜,规划移动,左右前后方向沿壁滑动,采集动作,精准采集唾液,口腔内的口腔特征物,口腔内图像。
步骤S7中,所述尿液,粪便样本收集模块,所述尿液,粪便样本收纳动作规划模块用于机器人巡回与对应的病房,病床,患者及其对应二维码,数字码匹配,利用机器臂自动识别并抓取,移动,放置尿液,粪便样本在样本收集区。
S8、机器人利用通信模块发布回收区位置信息,雷达定位导航模块订阅回收区位置信息服务,自主移动到,唾液样本回收区,生物信息样本回收区,血液样本回收区,尿液样本回收区,粪便样本回收区,利用机器臂动作模块,放置,回收样本。
S9、返回任务完成信息至管理员。如果未完成,将任务移入下一时间段。
10.根据权利要求4所述的医疗图像采集共享模块中的一种机器人自主定位并识别人体器官特征位置方法,分类图像的内部脏器,图像的采集方法包括以下步骤:
人体器官特征位置及医疗图像的内部脏器分类识别方法,包括以下步骤:
S1、建立人体器官特征模型,包括:肩关节,乳房及乳头,肚腩肚脐,特征生殖器,腰关节。
S2、抽取图像器官的内部轮廓,各器官的特征值及其对应的外部特征所对应的人体外部位置区。
S3、输入各器官外部特征值所对应的人体内部器官图像的特征值,改进深度神经网络方法及权值优化器,通过图像训练,得到输出值及内部器官分类,器官识别结果。
S4、输出结果,精准分类,识别人体器官的图像。
机器人自主定位,采集医疗图像的方法,包括以下步骤:
S1、机器人视觉识别模块发布各器官外部特征所对应的人体外部位置区坐标
S2、依据各器官外部特征所对应的人体外部位置区坐标,机器人机器臂搭载的B超探头,主系统订阅外部位置采集区位置及坐标。
S3、远端主控制系统及自主机器臂搭载的B超探头依照订阅的采集区位置,依照机器臂图像采集动作规划模块的动作,移动,扫描人体采集区。B超探头及B超装置发布采集的图像信息,机器人主系统及视觉识别模块订阅图像信息。
S4、机器人主系统及视觉识别模块输入图像内部轮廓,各器官的特征值,利用深度神经网络方法及权值优化器,得到输出值及内部器官分类识别结果。
S5、依据输出结果,精准分类,识别人体器官的图像,识别结果关联各器官疾病智能识别系统。发布识别结果及其对应的疾病征兆,疾病信息至机器人主系统的管理员及用户。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010780479.0A CN111916195A (zh) | 2020-08-05 | 2020-08-05 | 一种医疗用机器人装置,系统及方法 |
PCT/CN2021/100562 WO2021254427A1 (zh) | 2020-06-17 | 2021-06-17 | 超声图像数据采集分析识别一体化机器人,平台 |
AU2021292112A AU2021292112A1 (en) | 2020-06-17 | 2021-06-17 | Integrated robot and platform for ultrasound image data acquisition, analysis, and recognition |
PCT/CN2021/000125 WO2021253809A1 (zh) | 2020-06-19 | 2021-06-18 | 血液采集分析、图像智能识别诊断一体化装置、系统及方法 |
AU2021291903A AU2021291903A1 (en) | 2020-06-19 | 2021-06-18 | Integrated device, system and method for blood collection and analysis as well as intelligent image identification and diagnosis |
PCT/CN2021/000162 WO2022027921A1 (zh) | 2020-08-05 | 2021-07-29 | 一种医疗用机器人装置、系统及方法 |
AU2021321650A AU2021321650A1 (en) | 2020-08-05 | 2021-07-29 | Medical robotic device, system, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010780479.0A CN111916195A (zh) | 2020-08-05 | 2020-08-05 | 一种医疗用机器人装置,系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111916195A true CN111916195A (zh) | 2020-11-10 |
Family
ID=73287855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010780479.0A Pending CN111916195A (zh) | 2020-06-17 | 2020-08-05 | 一种医疗用机器人装置,系统及方法 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN111916195A (zh) |
AU (1) | AU2021321650A1 (zh) |
WO (1) | WO2022027921A1 (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112951230A (zh) * | 2021-02-08 | 2021-06-11 | 谈斯聪 | 一种远端及自主实验机器人装置、管理系统及方法 |
CN112990101A (zh) * | 2021-04-14 | 2021-06-18 | 深圳市罗湖医院集团 | 基于机器视觉的面部器官定位方法及相关设备 |
CN113425332A (zh) * | 2021-06-29 | 2021-09-24 | 尹丰 | 核酸采集和疫苗接种一体化装置及方法 |
CN113478457A (zh) * | 2021-08-03 | 2021-10-08 | 爱在工匠智能科技(苏州)有限公司 | 一种医疗服务机器人 |
WO2021254427A1 (zh) * | 2020-06-17 | 2021-12-23 | 谈斯聪 | 超声图像数据采集分析识别一体化机器人,平台 |
WO2021253809A1 (zh) * | 2020-06-19 | 2021-12-23 | 谈斯聪 | 血液采集分析、图像智能识别诊断一体化装置、系统及方法 |
CN113858219A (zh) * | 2021-08-23 | 2021-12-31 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
CN113855068A (zh) * | 2021-08-27 | 2021-12-31 | 谈斯聪 | 智能识别胸部器官、自主定位扫查胸部器官的方法 |
CN113855067A (zh) * | 2021-08-23 | 2021-12-31 | 谈斯聪 | 视觉图像与医疗图像融合识别、自主定位扫查方法 |
WO2022027921A1 (zh) * | 2020-08-05 | 2022-02-10 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
CN114310957A (zh) * | 2022-01-04 | 2022-04-12 | 中国科学技术大学 | 用于医疗检测的机器人系统及检测方法 |
CN114800538A (zh) * | 2021-01-21 | 2022-07-29 | 谈斯聪 | 一种陪伴陪护机器人装置、自适应学习系统及方法 |
WO2022217982A1 (zh) * | 2021-04-12 | 2022-10-20 | 谈斯聪 | 一种多臂分拣作业移动投递装置、最优化的管理系统及方法 |
WO2023024397A1 (zh) * | 2021-08-27 | 2023-03-02 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
CN116079720A (zh) * | 2022-12-23 | 2023-05-09 | 深圳优地科技有限公司 | 机器人控制方法、机器人和存储介质 |
WO2023167830A1 (en) * | 2022-03-01 | 2023-09-07 | The Johns Hopkins University | Autonomous robotic point of care ultrasound imaging |
CN117245635A (zh) * | 2022-12-12 | 2023-12-19 | 北京小米机器人技术有限公司 | 机器人及其控制方法、装置、存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114886476B (zh) * | 2022-07-14 | 2022-09-20 | 清华大学 | 咽拭子自动采集机器人 |
CN115781686A (zh) * | 2022-12-26 | 2023-03-14 | 北京悬丝医疗科技有限公司 | 一种用于远程诊脉的机械手臂及控制方法 |
CN116129112A (zh) * | 2022-12-28 | 2023-05-16 | 深圳市人工智能与机器人研究院 | 一种核酸检测机器人的口腔三维点云分割方法及机器人 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120130739A1 (en) * | 2010-11-21 | 2012-05-24 | David Crane | Unsupervised Telemedical Office for Remote &/or Autonomous & Automated Medical Care of Patients |
CN206780416U (zh) * | 2017-05-23 | 2017-12-22 | 周葛 | 一种智能医疗助理机器人 |
CN111358439A (zh) * | 2020-03-14 | 2020-07-03 | 厦门波耐模型设计有限责任公司 | 全科医师机器人系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150273697A1 (en) * | 2014-03-27 | 2015-10-01 | Fatemah A.J.A. Abdullah | Robot for medical assistance |
CN107030714A (zh) * | 2017-05-26 | 2017-08-11 | 深圳市天益智网科技有限公司 | 一种医用看护机器人 |
CN107322602B (zh) * | 2017-06-15 | 2020-02-14 | 重庆柚瓣家科技有限公司 | 用于远程医疗的家庭服务机器人 |
CN107788958A (zh) * | 2017-10-20 | 2018-03-13 | 深圳市前海安测信息技术有限公司 | 医疗监护机器人及医疗监护方法 |
WO2019175675A2 (en) * | 2019-07-01 | 2019-09-19 | Wasfi Alshdaifat | Dr robot medical artificial intelligence robotic arrangement |
CN110477956A (zh) * | 2019-09-27 | 2019-11-22 | 哈尔滨工业大学 | 一种基于超声图像引导的机器人诊断系统的智能扫查方法 |
CN111916195A (zh) * | 2020-08-05 | 2020-11-10 | 谈斯聪 | 一种医疗用机器人装置,系统及方法 |
-
2020
- 2020-08-05 CN CN202010780479.0A patent/CN111916195A/zh active Pending
-
2021
- 2021-07-29 AU AU2021321650A patent/AU2021321650A1/en active Pending
- 2021-07-29 WO PCT/CN2021/000162 patent/WO2022027921A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120130739A1 (en) * | 2010-11-21 | 2012-05-24 | David Crane | Unsupervised Telemedical Office for Remote &/or Autonomous & Automated Medical Care of Patients |
CN206780416U (zh) * | 2017-05-23 | 2017-12-22 | 周葛 | 一种智能医疗助理机器人 |
CN111358439A (zh) * | 2020-03-14 | 2020-07-03 | 厦门波耐模型设计有限责任公司 | 全科医师机器人系统 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021254427A1 (zh) * | 2020-06-17 | 2021-12-23 | 谈斯聪 | 超声图像数据采集分析识别一体化机器人,平台 |
WO2021253809A1 (zh) * | 2020-06-19 | 2021-12-23 | 谈斯聪 | 血液采集分析、图像智能识别诊断一体化装置、系统及方法 |
WO2022027921A1 (zh) * | 2020-08-05 | 2022-02-10 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
CN114800538A (zh) * | 2021-01-21 | 2022-07-29 | 谈斯聪 | 一种陪伴陪护机器人装置、自适应学习系统及方法 |
CN112951230A (zh) * | 2021-02-08 | 2021-06-11 | 谈斯聪 | 一种远端及自主实验机器人装置、管理系统及方法 |
WO2022217982A1 (zh) * | 2021-04-12 | 2022-10-20 | 谈斯聪 | 一种多臂分拣作业移动投递装置、最优化的管理系统及方法 |
CN112990101A (zh) * | 2021-04-14 | 2021-06-18 | 深圳市罗湖医院集团 | 基于机器视觉的面部器官定位方法及相关设备 |
CN112990101B (zh) * | 2021-04-14 | 2021-12-28 | 深圳市罗湖医院集团 | 基于机器视觉的面部器官定位方法及相关设备 |
CN113425332A (zh) * | 2021-06-29 | 2021-09-24 | 尹丰 | 核酸采集和疫苗接种一体化装置及方法 |
CN113478457A (zh) * | 2021-08-03 | 2021-10-08 | 爱在工匠智能科技(苏州)有限公司 | 一种医疗服务机器人 |
WO2023024396A1 (zh) * | 2021-08-23 | 2023-03-02 | 谈斯聪 | 视觉图像与医疗图像融合识别、自主定位扫查方法 |
CN113855067A (zh) * | 2021-08-23 | 2021-12-31 | 谈斯聪 | 视觉图像与医疗图像融合识别、自主定位扫查方法 |
CN113858219A (zh) * | 2021-08-23 | 2021-12-31 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
WO2023024399A1 (zh) * | 2021-08-23 | 2023-03-02 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
CN113855068A (zh) * | 2021-08-27 | 2021-12-31 | 谈斯聪 | 智能识别胸部器官、自主定位扫查胸部器官的方法 |
WO2023024397A1 (zh) * | 2021-08-27 | 2023-03-02 | 谈斯聪 | 一种医疗用机器人装置、系统及方法 |
WO2023024398A1 (zh) * | 2021-08-27 | 2023-03-02 | 谈斯聪 | 智能识别胸部器官、自主定位扫查胸部器官的方法 |
CN114310957A (zh) * | 2022-01-04 | 2022-04-12 | 中国科学技术大学 | 用于医疗检测的机器人系统及检测方法 |
WO2023167830A1 (en) * | 2022-03-01 | 2023-09-07 | The Johns Hopkins University | Autonomous robotic point of care ultrasound imaging |
CN117245635A (zh) * | 2022-12-12 | 2023-12-19 | 北京小米机器人技术有限公司 | 机器人及其控制方法、装置、存储介质 |
CN116079720A (zh) * | 2022-12-23 | 2023-05-09 | 深圳优地科技有限公司 | 机器人控制方法、机器人和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
AU2021321650A1 (en) | 2023-04-13 |
WO2022027921A1 (zh) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111916195A (zh) | 一种医疗用机器人装置,系统及方法 | |
US20210030275A1 (en) | System and method for remotely adjusting sound acquisition sensor parameters | |
CA2827523C (en) | System and method for performing an automatic and self-guided medical examination | |
US20220331028A1 (en) | System for Capturing Movement Patterns and/or Vital Signs of a Person | |
CN109243605A (zh) | 一种基于人工智能的精神障碍诊断治疗系统 | |
WO2021185049A1 (zh) | 医疗服务机器人装置及其方法、系统 | |
WO2021254444A1 (zh) | 五官及外科医疗数据采集分析诊断机器人,平台 | |
WO2023024399A1 (zh) | 一种医疗用机器人装置、系统及方法 | |
US20200027568A1 (en) | Physician House Call Portal | |
CN109044656B (zh) | 医用护理设备 | |
WO2022142271A1 (zh) | 面向高传染性隔离病区的全方位智能护理系统及方法 | |
CN202206423U (zh) | 一种远程医疗系统及智能家居医疗系统 | |
CN112151137A (zh) | 医疗查房伴随机器人人机协同的方法、装置、系统、存储介质 | |
CN105825056B (zh) | 一种智慧病区信息中心系统 | |
CN107714006A (zh) | 一种基于虚拟现实头戴式显示装置的远程互动系统及方法 | |
AU2022335276A1 (en) | Recognition, autonomous positioning and scanning method for visual image and medical image fusion | |
CN110673721A (zh) | 基于视觉与意念信号协同控制的机器人看护系统 | |
WO2012111013A1 (en) | System and method for performing an automatic and remote trained personnel guided medical examination | |
WO2023024397A1 (zh) | 一种医疗用机器人装置、系统及方法 | |
Gritsenko et al. | Current state and prospects for the development of digital medicine | |
Kumar et al. | AI-based robotics in E-healthcare applications | |
CN108735303A (zh) | 一种云智诊疗系统 | |
TW202044268A (zh) | 醫療機器人及病歷資訊整合系統 | |
Nita et al. | Distributed system for long-term monitoring of cardiopulmonary activity | |
AU2021343234A1 (en) | Medical remote-controlled and autonomously controlled collection and inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 510403 room 801, No. 27, Tangjing South Street, Jichang Road, Baiyun District, Guangzhou, Guangdong Applicant after: Tan Sicong Applicant after: Yu Hao Address before: 510540 439-a807 Baiyun Avenue, Baiyun District, Guangzhou City, Guangdong Province Applicant before: Tan Sicong Applicant before: Yu Hao |
|
CB02 | Change of applicant information | ||
DD01 | Delivery of document by public notice |
Addressee: Yu Zhiying Document name: Rejection decision |
|
DD01 | Delivery of document by public notice |