CN113855067A - 视觉图像与医疗图像融合识别、自主定位扫查方法 - Google Patents

Abstract

视觉图像与医疗图像融合识别、自主定位扫查方法是利用人工智能机器人技术，提供自主定位识别人体器官特征位置，采集超声图像的方法，远端及自适应采集颈部，甲状腺左右叶，峡部，腮腺，图像，视频的方法；远端及自适应采集下肢血管的扫查方式，采集器官，组织医疗图像，视频的方法；远端及自适应采集骨骼关节，肌肉，神经扫查方式。医疗图像自主及远端控制采集与共享实现图像共享，缓解医护作业压力大，夜班多等问题。提高专家，医生远端采集与共享医疗图像，问诊，查房效率，专家共同意见解决临床案例，应用于门诊，病房，海外医疗机构。

Description

视觉图像与医疗图像融合识别、自主定位扫查方法

技术领域

本发明属于医疗类人工智能技术领域，涉及数据的分析技术，机器人动作规划技术领域，图像智能识别方法，人工智能与医疗数据分析识别的技术及方法。

背景技术

目前应用于医疗领域，在检查过程，由于各种人为因素分析，医疗图像，视频采集质量差，标准化程度低，识别病情精准度差。各专科医生领域及医疗专业受限，管理员远端控制，利用机器人搭载的机器臂，视觉装置，深度视觉装置及各种神经网络方法及其改进方法，智能识别人脸，人体器官，骨骼，辅助采集医疗图像，视频。

疫情时期，感染性高，采集传染风险大，效率低下，人工采集不精准，人工采集会导致瘟疫传播等问题，利用机器臂远端及自主采集医疗图像，视频，实现远端采集，自主采集，智能化识别分析数据，图像，视频，自主定位，扫查有效防止传染病，瘟疫等重大疾病蔓延。

视觉图像与医疗图像融合的智能识别，自主定位扫查方法，自适应调整机器臂，智能识别人体，器官，骨骼，识别，远端及自主移动机器臂，扫查探头，扫查装置，自主定位，扫查部位，器官，依照智能扫查方法，自主扫查，采集医疗图像，视频，大大提高智能识别，采集医疗数据，医疗图像视频的效率。

技术问题

本发明的目的就在于克服上述现有技术的缺点和不足，提供一种利用远端，自主机器人采集医疗图像装置，以及本发明的视觉图像与医疗图像融合的智能识别，机器臂自主定位扫查方法，解决了人为的扫查，检查采集诊断治疗失误问题。

一种多种医疗图像融合智能识别人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法以及机器人，机器臂，医疗装置自主定位，人体外部位置区，扫查采集医疗图像的方法成为自主定位，扫查的关键技术问题。

有效扫查，完整扫查方法，成为超声扫查另一种重要的技术难题。本发明提供了一种远端及自适应扫查颈部，甲状腺左右叶，峡部，腮腺，采集图像，视频的方法；一种远端及自适应采集下肢血管的扫查方式，采集器官，组织医疗图像，视频的方法；一种远端及自适应采集骨骼关节，肌肉，神经扫查方式，采集器官，组织医疗图像，视频的方法。

本发明的采用的技术方案

视觉图像与医疗图像融合智能识别人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法，所述方法是将一般视觉图像，深度图像及超声图像，内窥镜图像一体化智能识别人体器官，骨骼，关节，血管，人体特征点及其位置的方法以及自主定位人体器官，骨骼，关节，血管，人体特征点位置的方法，包括以下骤：

S1、建立一般视觉图像模型，人体器官模型，血管模型及特征模型，一般图像的模型包括：人脸，五官，耳部，嘴唇，下颌骨，颈部，肚脐，乳头，特征生殖器，特征部位及其位置作为特征项，用神经网络算法及其改进方法，智能识别人体特征及其位置。

S2、建立深度视觉装置及深度视觉图像模型，骨骼模型。

S3、将深度信息及骨骼所在人体的位置信息，以及S1所述的一般图像模型识别的近邻特征器官信息作为骨骼智能识别模型的特征项结合，作为输入项。

S4、应用神经网络算法及其改进方法，智能识别各骨骼以及各骨骼所在的位置，下颌骨，肋底端骨骼，剑突，脊椎，脊椎位置，骨骼下界位置，肩关节，膝关节，足，骨，足关节，腰关节及其位置，各关节位置。

S5、将S1所述的一般图像模型识别的近邻特征器官信息标准为外部扫查特征信息，将S4识别的骨骼信息外部扫查骨骼信息，

S6、建立超声图像下特征模型，将超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。

S7、将血管信息，血管位置信息与超声图像下器官信息，器官特征结合为综合为信息结合项作为超声图像模型的特征项，输入项。

S8、将外部扫查特征信息及外部扫查骨骼信息作为外部扫查信息，将S1所述的一般图像模型识别的近邻特征器官信息将S4识别的骨骼信息与S7所述的超声图像模型的特征项及其位置区输入神经网络及其改进方法及权值优化器，通过图像训练，得到输出值。

S9、改进深度神经网络方法及权值优化器，通过图像训练，得到输出值及器官，血管，骨骼，以及其所在人体扫查器官及位置信息识别结果。

S10、输出结果，作为外部扫查自主定位器官，血管，骨骼，以及其所在人体的位置的结果。

一种机器人自主定位人体外部位置区坐标，扫查采集医疗图像的方法，包括以下步骤：

S1、依据管理员，医生通信模块，机器人，医疗装置发布采集任务，医嘱消息，获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标。

S2、机器人视觉采集装置及视觉识别模块发布各器官对应的外部特征，一般图像模型识别的近邻特征器官的外部扫查特征信息人体外部位置区坐标；深度摄像头发布的深度信息，近邻的骨骼信息外部扫查骨骼信息。

S3、机器臂，超声装置，超声探头，机器人，医疗装置订阅对应的器官外部扫查区位置信息，

订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳

S4、远端主控制系统及自主机器臂搭载的超声探头依照订阅的采集区位置，依照机器臂图像采集动作规划模块的动作，移动，扫查人体采集区。超声探头及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。

S5、机器人，医疗装置及视觉识别模块订阅图像信息。按照权利要求8，抽取超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征输入计算模型，按照权利要求8智能识别图像是否为目标器官组织，如果为扫查目标器官。

S6、设置采集目标参数(位姿标记，时间戳，目标对于头部id，COG目标位姿，方向值)，设置位置和姿态的允许误差，当运动规划失败后，允许重新规划，设置目标位置的参考坐标系，设置每次运动规划的时间限制.

S7、机器人，医疗装置及机器臂远端及自适应调节采集医疗装置的图像参数，视频的参数，图像采集方法，是否符合图像，视频的识别标准，是否有效采集。

S8、机器人，医疗装置及机器臂远端及自适应调节超声探头的扫查方式，探头角度，参数，检查目标器官采集位置，采集器官，组织的全部图像及视频是否为全部的扫查方式下的图像，视频，是否为目标器官，组织的完整采集。

S9、返回目标器官采集完成信息，机器人，医疗装置及机器臂订阅任务信息，机器人，医疗装置及机器臂远端及自适应移动超声探头至下一目标器官的外部扫查位置区。

S10、机器人，医疗装置依照返回的目标器官采集完成信息，判定所有的目标器官采集任务完成。

一种远端及自适应扫查颈部，甲状腺左右叶，峡部，腮腺，采集医疗图像，视频的方法：

S1、依据权利要求6，依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体耳部，耳郭部及其位置，智能识别人体嘴唇及其位置，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，智能识别耳部底端下颌骨，脊柱，骨骼位置，脊椎位置，智能识别骨骼，唇中线下方的骨骼位置。

S2、依据权利要求7，依照机器人自主定位，人体外部位置区坐标，扫查采集医疗图像的方法，机器臂，超声装置，超声探头，机器人，医疗装置订阅颈部，甲状腺左右叶，峡部，腮腺外部扫查区位置信息，扫查方法，探头角度，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳。

S3、机器人，医疗装置及机器臂远端及自适应调节采集医疗装置的图像参数，增益参数，颜色增益参数，灵敏度时间控制调节参数，时间增益控制参数，聚焦参数，深度参数，取框尺寸，血流流速标尺参数，视频的参数，图像采集方法，机器臂，超声探头，远端控制及自适应调整探头旋转角度，倾斜角度，超声探头的扫查方式，探头角度，参数至以下器官，组织有效采集，完整采集。

S4、远端控制及自适应移动机器臂，超声探头沿耳部底端骨骼下界，扫查，采集颈部，脊椎，颈总动脉，颈内动脉，颈外动脉图像及视频。

S5、远端控制及自适应移动机器臂，超声探头沿嘴唇中线下方的骨骼位置，沿颈动脉从头侧向足侧移动扫查甲状腺的左右叶及峡部，采集医疗图像及视频。

S6、远端控制及自适应移动机器臂，超声探头，沿耳部底端，骨骼位置，沿下颌骨，骨骼位置，扫查腮腺，颌下腺，舌下腺至唇中线下方的骨骼位置，采集医疗图像及视频。

一种远端及自适应扫查下肢血管，采集下肢血管，器官，组织医疗图像，视频的方法：

S1、依据权利要求6，依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体耳部，耳郭部及其位置，智能识别肚脐及其位置。

S2、通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，肋底端骨骼及剑突位置，坐骨，膝关节及其位置，背测腘窝及其位置，足骨，足关节及其位置。

S3、依据权利要求6，通过超声图像及多种医疗图像融合智能识别方法，将血管颜色信息，血管位置信息与超声图像下器官信息，智能识别腹主动脉，腹股沟，股浅动脉，腘动脉，胫前动脉，胫后动脉。

S4、依据权利要求6，通过超声图像及多种医疗图像融合智能识别方法，利用超声图像下动态识别方法，识别搏动位置为腹股沟区。

S5、远端控制及自适应移动机器臂，超声探头至腹股沟区，超声探头扫查腹股沟区自剑突位置向下肚脐方向沿腹主动脉，采集医疗图像及视频。

S6、远端控制及自适应移动机器臂，超声探头沿腹股沟区，扫查股浅动脉，移动至膝关节及其位置，背测腘窝位置，由背测腘窝位置向膝关节背侧附近血管扫查，采集医疗图像及视频。

S7、远端控制及自适应移动机器臂，超声探头沿腘动脉，胫前动脉，胫后动脉向下方扫查，利用按压装置按压，由膝关节沿胫前动脉，扫查附近血管，采集医疗图像及视频。

S8、远端控制及自适应移动机器臂，超声探头至足骨，足关节及其位置，沿足背扫查足背动脉，沿足底扫查足底动脉，采集医疗图像及视频。

S9、远端控制及自适应移动机器臂，超声探头至膝关节及其位置，将探头移动至背测腘窝位置与膝关节中线内侧位置，沿血管向下方扫查，扫查下肢静脉，包括：股静脉，股浅静脉，股深静脉，骼外静脉，大隐静脉，采集医疗图像及视频。

一种远端及自适应扫查骨骼，关节，肌肉，神经，采集骨骼，器官，组织医疗图像，视频的方法：

S1、依据权利要求6，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别肩部，肩关节及其位置，骨骼及其位置，肘关节及其位置，踝关节及其位置。

S2、通过超声图像及多种医疗图像融合智能识别方法，将血管颜色信息，血管位置信息与超声图像下器官信息，智能识别腹主动脉，腹股沟，股浅动脉，腘动脉，胫前动脉，胫后动脉。

S3、远端控制及自适应移动机器臂，超声探头至肩关节，沿肩关节朝手臂方向扫查长头肌腱，三角肌，肩胛下肌腱和肌鞘，沿肩部中心骨形状扫查冈上肌肌腱与冈下肌肌腱，采集医疗图像及视频。

S4、远端控制及自适应移动机器臂，超声探头至肘关节，鹰嘴窝，沿肘关节背侧向手方向扫查耾骨小头，桡骨头前方，沿肘关节外侧，鹰嘴外侧边缘位置扫查耾骨小头，桡骨头后方，肌肉，神经，推拉翻转角度调解装置调解肘关节弯曲90度位置，扫查内上骨果和尺骨，采集医疗图像及视频。

S5、远端控制及自适应移动机器臂，超声探头至膝关节及位置，沿膝关节外侧，髌骨侧扫查，向手方向扫查耾骨小头，桡骨头前方，沿肘关节外侧，鹰嘴外侧边缘位置扫查耾骨小头，桡骨头后方，采集医疗图像及视频。

S6、远端控制及自适应移动机器臂，超声探头至踝关节及位置，腓骨及距骨。机器臂推拉翻转角度调解装置协助弯曲踝关节，扫查距腓前韧带，移动探头至腓骨圆形骨表面，扫查距骨外侧边缘，采集距骨三角图像，距骨，腓骨前韧带，采集医疗图像及视频。

综上，本发明的有益效果

本发明能够通过医疗用机器人装置，远端隔离自主采集，隔离采集，自主定位识别人体器官特征位置，采集超声图像的方法。自主完成门诊，病房的各项医护任务。以及为改善了采集任务多，工作压力大，夜班多等问题。

同时，本发明提供了一种远端及自适应采集颈部，甲状腺左右叶，峡部，腮腺，图像，视频的方法；一种远端及自适应采集下肢血管的扫查方式，采集器官，组织医疗图像，视频的方法；一种远端及自适应采集骨骼关节，肌肉，神经扫查方式，采集器官，组织医疗图像，视频的方法，实现远端及自主有效采集，完整采集的医疗图像，视频，共享医疗图片，视频，多专家远端联合会诊，实时获取机器人采集的数据及图像，视频，大幅度提高工作效率。

附图说明

图1是本申请说明书中视觉图像与医疗图像融合智能识别人体五官，器官，骨骼，关节，血管人体特征及其位置的智能识别方法的流程图；

图2是本申请说明书中机器人，医疗装置自主定位人体外部位置区，扫查采集医疗图像视频的方法流程图；

具体实施方式

本发明的目的是设计取代人类工作的可远端控制机器人，实现远端控制机器臂采集，同时有效解决自主采集图像，视频。利用人工智能机器人技术，自动化领域的自主采集，机器臂动作规划，深度摄像头采集人脸，五官，手臂，人体外部特征，骨骼，关节图像。

视觉图像与医疗图像融合智能识别人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法以及机器人，机器臂，医疗装置自主定位，人体外部位置区，扫查采集医疗图像的方法成为自主定位，扫查。

本发明提供了一种远端及自适应智能识别，扫查颈部，甲状腺左右叶，峡部，腮腺，采集图像，视频的方法；一种远端及自适应智能识别，采集下肢血管的扫查方式，采集器官，组织医疗图像，视频的方法；一种远端及自适应智能识别，采集骨骼关节，肌肉，神经扫查方式，采集器官，组织医疗图像，视频的方法。

实现远端控制机器人及自主采集医疗图像，视频，远端控制医疗图像，视频采集装置及共享图像，解决了人为的诊断治疗失误，提高了智能采集的精准度和医疗数据异常识别的准确度。为了更好的理解上述技术方案，下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

本申请实施中的技术方案为解决上述技术问题的总体思路如下：

本发明提供了医疗图像与视觉图像融合，智能识别人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法，建立一般视觉图像模型，人体器官模型，血管模型及特征模型，一般图像的模型包括：人脸，五官，耳部，嘴唇，下颌骨，颈部，肚脐，乳头，特征生殖器，特征部位及其位置作为特征项，用神经网络算法及其改进方法，智能识别人体特征及其位置。建立深度视觉装置及深度视觉图像模型，骨骼模型。将深度信息及骨骼所在人体的位置信息一种自主定位识别人体器官特征位置，采集超声图像的方法；

以及一种远端及自适应采集颈部，甲状腺左右叶，峡部，腮腺，图像，视频的方法；一种远端及自适应采集下肢血管的扫查方式，采集器官，组织医疗图像，视频的方法；一种远端及自适应采集骨骼关节，肌肉，神经扫查方式，采集器官，组织医疗图像，视频的方法。

实施例1：

下面结合实施例及附图1，对本发明作进一步地的详细说明，但本发明的实施方式不限于此，输入一般视觉图像，人体器官，血管及特征，包括：人脸，五官，耳部，嘴唇，下颌骨，颈部，肚脐，乳头，特征生殖器，特征部位及其位置，输入深度视觉图像，骨骼信息，下颌骨，肋底端骨骼，剑突，脊椎，脊椎位置，骨骼下界位置，肩关节，膝关节，足，骨，足关节，腰关节及其位置，各关节位置。

超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。将血管信息，血管位置信息与超声图像下器官信息，器官特征结合为综合为信息结合项作为超声图像模型的特征项，输入项。将外部扫查特征信息及外部扫查骨骼信息作为外部扫查信息，应用改进深度神经网络方法及权值优化器，通过图像训练，得到输出值及器官，血管，骨骼，以及其所在人体扫查器官及位置信息，输出自主定位器官，血管，骨骼，以及其所在人体的位置的结果。

依据管理员，医生发布采集任务，医嘱消息，获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标。

机器人视觉采集装置及视觉识别模块发布各器官对应的外部特征，一般图像模型识别的近邻特征器官的外部扫查特征信息人体外部位置区坐标；深度摄像头发布的深度信息，近邻的骨骼信息外部扫查骨骼信息。

机器臂，超声装置，超声探头，机器人订阅对应的器官外部扫查区位置信息，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳，远端主控制系统及自主机器臂搭载的超声探头依照订阅的采集区位置，依照机器臂图像采集动作规划模块的动作，移动，扫查人体采集区。超声探头及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。机器人，医疗装置及视觉识别模块订阅图像信息。抽取超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征输入计算模型，智能识别图像是否为目标器官组织，如果为扫查目标器官。

设置采集目标参数(位姿标记，时间戳，目标对于头部id，COG目标位姿，方向值)，设置位置和姿态的允许误差，当运动规划失败后，允许重新规划，设置目标位置的参考坐标系，设置每次运动规划的时间限制。机器人，医疗装置及机器臂远端及自适应调节采集医疗装置的图像参数，视频的参数，图像采集方法，是否符合图像，视频的识别标准，是否有效采集。机器人，医疗装置及机器臂远端及自适应调节超声探头的扫查方式，探头角度，参数，检查目标器官采集位置，采集器官，组织的全部图像及视频是否为全部的扫查方式下的图像，视频，是否为目标器官，组织的完整采集，返回目标器官采集完成信息，机器人及机器臂订阅任务信息，机器人，医疗装置及机器臂远端及自适应移动超声探头至下一目标器官的外部扫查位置区。机器人，医疗装置依照返回的目标器官采集完成信息，判定所有的目标器官采集任务完成。

实施例2：

下面结合实施例及附图1，2，对本发明作进一步地的详细说明，但本发明的实施方式不限于此一种远端及自适应扫查颈部，甲状腺左右叶，峡部，腮腺，采集图像，视频的方法，

依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体耳部，耳郭部及其位置，智能识别人体嘴唇及其位置，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，智能识别耳部底端下颌骨，脊柱，骨骼位置，脊椎位置，智能识别骨骼，唇中线下方的骨骼位置。

依照机器人自主定位，人体外部位置区坐标，扫查采集医疗图像的方法，机器臂，超声装置，超声探头，机器人，医疗装置订阅颈部，甲状腺左右叶，峡部，腮腺外部扫查区位置信息，扫查方法，探头角度，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳。

机器人，医疗装置及机器臂远端及自适应调节采集医疗装置的图像参数，增益参数，颜色增益参数，灵敏度时间控制调节参数，时间增益控制参数，聚焦参数，深度参数，取框尺寸，血流流速标尺参数，视频的参数，图像采集方法，机器臂，超声探头，远端控制及自适应调整探头旋转角度，倾斜角度，超声探头的扫查方式，探头角度，参数至以下器官，组织有效采集，完整采集。

远端控制及自适应移动机器臂，超声探头沿耳部底端骨骼下界，扫查，采集颈部，脊椎，颈总动脉，颈内动脉，颈外动脉图像及视频。

远端控制及自适应移动机器臂，超声探头沿嘴唇中线下方的骨骼位置，沿颈动脉从头侧向足侧移动扫查甲状腺的左右叶及峡部，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头，沿耳部底端，骨骼位置，沿下颌骨，骨骼位置，扫查腮腺，颌下腺，舌下腺至唇中线下方的骨骼位置，采集医疗图像及视频。

实施例3

下面结合实施例及附图1，2，对本发明作进一步地的详细说明远端及自适应采集下肢血管的扫查方式，采集器官，组织医疗图像，视频的方法：

依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体耳部，耳郭部及其位置，智能识别肚脐及其位置。

通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，肋底端骨骼及剑突位置，坐骨，膝关节及其位置，背测腘窝及其位置，足骨，足关节及其位置。

通过超声图像及多种医疗图像融合智能识别方法，将血管颜色信息，血管位置信息与超声图像下器官信息，智能识别腹主动脉，腹股沟，股浅动脉，腘动脉，胫前动脉，胫后动脉。

通过超声图像及多种医疗图像融合智能识别方法，利用超声图像下动态识别方法，识别搏动位置为腹股沟区。

远端控制及自适应移动机器臂，超声探头至腹股沟区，超声探头扫查腹股沟区自剑突位置向下肚脐方向沿腹主动脉，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头沿腹股沟区，扫查股浅动脉，移动至膝关节及其位置，背测腘窝位置，由背测腘窝位置向膝关节背侧附近血管扫查，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头沿腘动脉，胫前动脉，胫后动脉向下方扫查，利用按压装置按压，由膝关节沿胫前动脉，扫查附近血管，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头至足骨，足关节及其位置，沿足背扫查足背动脉，沿足底扫查足底动脉，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头至膝关节及其位置，将探头移动至背测腘窝位置与膝关节中线内侧位置，沿血管向下方扫查，扫查下肢静脉，包括：股静脉，股浅静脉，股深静脉，骼外静脉，大隐静脉，采集医疗图像及视频。

实施例4

下面结合实施例及附图1，2，对本发明作进一步地的详细说明，远端及自适应采集骨骼关节，肌肉，神经扫查方式，采集器官，组织医疗图像，视频的方法：

通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别肩部，肩关节及其位置，骨骼及其位置，肘关节及其位置，踝关节及其位置。

通过超声图像及多种医疗图像融合智能识别方法，将血管颜色信息，血管位置信息与超声图像下器官信息，智能识别腹主动脉，腹股沟，股浅动脉，腘动脉，胫前动脉，胫后动脉。

远端控制及自适应移动机器臂，超声探头至肩关节，沿肩关节朝手臂方向扫查长头肌腱，三角肌，肩胛下肌腱和肌鞘，沿肩部中心骨形状扫查冈上肌肌腱与冈下肌肌腱，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头至肘关节，鹰嘴窝，沿肘关节背侧向手方向扫查耾骨小头，桡骨头前方，沿肘关节外侧，鹰嘴外侧边缘位置扫查耾骨小头，桡骨头后方，肌肉，神经，推拉翻转角度调解装置调解肘关节弯曲90度位置，扫查内上骨果和尺骨，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头至膝关节及位置，沿膝关节外侧，髌骨侧扫查，向手方向扫查耾骨小头，桡骨头前方，沿肘关节外侧，鹰嘴外侧边缘位置扫查耾骨小头，桡骨头后方，采集医疗图像及视频。

远端控制及自适应移动机器臂，超声探头至踝关节及位置，腓骨及距骨。机器臂推拉翻转角度调解装置协助弯曲踝关节，扫查距腓前韧带，移动探头至腓骨圆形骨表面，扫查距骨外侧边缘，采集距骨三角图像，距骨，腓骨前韧带，采集医疗图像及视频。

Claims (6)

1.视觉图像与医疗图像融合识别、自主定位扫查方法，其特征在于，融合人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法，所述方法是将一般视觉图像，深度图像及超声图像，内窥镜图像一体化智能识别人体器官，骨骼，关节，血管，人体特征点及其位置的方法以及自主定位人体器官，骨骼，关节，血管，人体特征点位置的方法，包括以下骤：

S1、建立一般视觉图像模型，人体器官模型，血管模型及特征模型，一般图像的模型包括：人脸，五官，耳部，嘴唇，下颌骨，颈部，肚脐，乳头，特征生殖器，特征部位及其位置作为特征项，用神经网络算法及其改进方法，智能识别人体特征及其位置。

S2、建立深度视觉装置及深度视觉图像模型，骨骼模型。

S3、将深度信息及骨骼所在人体的位置信息，以及S1所述的一般图像模型识别的近邻特征器官信息作为骨骼智能识别模型的特征项结合，作为输入项。

S4、应用神经网络算法及其改进方法，智能识别各骨骼以及各骨骼所在的位置，下颌骨，肋底端骨骼，剑突，脊椎，脊椎位置，骨骼下界位置，肩关节，膝关节，足，骨，足关节，腰关节及其位置，各关节位置。

S5、将S1所述的一般图像模型识别的近邻特征器官信息标准为外部扫查特征信息，将S4识别的骨骼信息外部扫查骨骼信息，

S6、建立超声图像下特征模型，将超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。

S7、将血管信息，血管位置信息与超声图像下器官信息，器官特征结合为综合为信息结合项作为超声图像模型的特征项，输入项。

S8、将外部扫查特征信息及外部扫查骨骼信息作为外部扫查信息，将S1所述的一般图像模型识别的近邻特征器官信息将S4识别的骨骼信息与S7所述的超声图像模型的特征项及其位置区输入神经网络及其改进方法及权值优化器，通过图像训练，得到输出值。

S9、改进深度神经网络方法及权值优化器，通过图像训练，得到输出值及器官，血管，骨骼，以及其所在人体的位置信息识别结果。

S10、输出结果，作为外部扫查自主定位器官，血管，骨骼，以及其所在人体的位置的结果。

2.视觉图像与医疗图像融合识别、自主定位扫查方法，其特征在于，一种机器人自主定位人体外部位置区，扫查采集医疗图像的方法，包括以下步骤：

S1、依据管理员，医生通信模块，机器人主系统发布采集任务，医嘱消息，获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标。

S2、机器人视觉采集装置及视觉识别模块发布各器官对应的外部特征，一般图像模型识别的近邻特征器官的外部扫查特征信息人体外部位置区坐标；深度摄像头发布的深度信息，近邻的骨骼信息外部扫查骨骼信息。

S3、机器臂，超声装置，超声探头，机器人订阅对应的器官外部扫查区位置信息，

订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳

S4、远端主控制系统及自主机器臂搭载的超声探头依照订阅的采集区位置，依照机器臂图像采集动作规划模块的动作，移动，扫查人体采集区。超声探头及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。

S5、机器人主系统及视觉识别模块订阅图像信息。按照权利要求1，抽取超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征输入计算模型，按照权利要求1，智能识别图像是否为目标器官组织，如果为扫查目标器官。

S6、设置采集目标参数(位姿标记，时间戳，目标对于头部id，COG目标位姿，方向值)，设置位置和姿态的允许误差，当运动规划失败后，允许重新规划，设置目标位置的参考坐标系，设置每次运动规划的时间限制.

S7、机器人主系统及机器臂远端及自适应调节采集医疗装置的图像参数，视频的参数，图像采集方法，是否符合图像，视频的识别标准，是否有效采集。

S8、机器人主系统及机器臂远端及自适应调节超声探头的扫查方式，探头角度，参数，检查目标器官采集位置，采集器官，组织的全部图像及视频是否为全部的扫查方式下的图像，视频，是否为目标器官，组织的完整采集。

S9、返回目标器官采集完成信息，机器人主系统及机器臂订阅任务信息，机器人主系统及机器臂远端及自适应移动超声探头至下一目标器官的外部扫查位置区。

S10、机器人主系统依照返回的目标器官采集完成信息，判定所有的目标器官采集任务完成。

3.视觉图像与医疗图像融合识别、自主定位扫查方法，其特征在于，一种远端及自适应扫查颈部，甲状腺左右叶，峡部，腮腺，采集医疗图像，视频的方法，步骤如下：

S1、依据权利要求1，依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体耳部，耳郭部及其位置，智能识别人体嘴唇及其位置，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，智能识别耳部底端下颌骨，脊柱，骨骼位置，脊椎位置，智能识别骨骼，唇中线下方的骨骼位置。

S2、依据权利要求2，依照机器人自主定位，人体外部位置区坐标，扫查采集医疗图像的方法，机器臂，超声装置，超声探头，机器人主系统订阅颈部，甲状腺左右叶，峡部，腮腺外部扫查区位置信息，扫查方法，探头角度，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳。

S3、机器人主系统及机器臂远端及自适应调节采集医疗装置的图像参数，增益参数，颜色增益参数，灵敏度时间控制调节参数，时间增益控制参数，聚焦参数，深度参数，取框尺寸，血流流速标尺参数，视频的参数，图像采集方法，机器臂，超声探头，远端控制及自适应调整探头旋转角度，倾斜角度，超声探头的扫查方式，探头角度，参数至以下器官，组织有效采集，完整采集。

S4、远端控制及自适应移动机器臂，超声探头沿耳部底端骨骼下界，扫查，采集颈部，脊椎，颈总动脉，颈内动脉，颈外动脉图像及视频。

S5、远端控制及自适应移动机器臂，超声探头沿嘴唇中线下方的骨骼位置，沿颈动脉从头侧向足侧移动扫查甲状腺的左右叶及峡部，采集医疗图像及视频。

S6、远端控制及自适应移动机器臂，超声探头，沿耳部底端，骨骼位置，沿下颌骨，骨骼位置，扫查腮腺，颌下腺，舌下腺至唇中线下方的骨骼位置，采集医疗图像及视频。

4.视觉图像与医疗图像融合识别、自主定位扫查方法，其特征在于，一种远端及自适应扫查下肢血管，采集下肢血管，器官，组织医疗图像，视频的方法，步骤如下：

S1、依据权利要求1，依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体耳部，耳郭部及其位置，智能识别肚脐及其位置。

S2、通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，肋底端骨骼及剑突位置，坐骨，膝关节及其位置，背测腘窝及其位置，足骨，足关节及其位置。

S3、依据权利要求1，通过超声图像及多种医疗图像融合智能识别方法，将血管颜色信息，血管位置信息与超声图像下器官信息，智能识别腹主动脉，腹股沟，股浅动脉，腘动脉，胫前动脉，胫后动脉。

S4、依据权利要求1，通过超声图像及多种医疗图像融合智能识别方法，利用超声图像下动态识别方法，识别搏动位置为腹股沟区。

S5、远端控制及自适应移动机器臂，超声探头至腹股沟区，超声探头扫查腹股沟区自剑突位置向下肚脐方向沿腹主动脉，采集医疗图像及视频。

S6、远端控制及自适应移动机器臂，超声探头沿腹股沟区，扫查股浅动脉，移动至膝关节及其位置，背测腘窝位置，由背测腘窝位置向膝关节背侧附近血管扫查，采集医疗图像及视频。

S7、远端控制及自适应移动机器臂，超声探头沿腘动脉，胫前动脉，胫后动脉向下方扫查，利用按压装置按压，由膝关节沿胫前动脉，扫查附近血管，采集医疗图像及视频。

S8、远端控制及自适应移动机器臂，超声探头至足骨，足关节及其位置，沿足背扫查足背动脉，沿足底扫查足底动脉，采集医疗图像及视频。

S9、远端控制及自适应移动机器臂，超声探头至膝关节及其位置，将探头移动至背测腘窝位置与膝关节中线内侧位置，沿血管向下方扫查，扫查下肢静脉，包括：股静脉，股浅静脉，股深静脉，骼外静脉，大隐静脉，采集医疗图像及视频。

5.视觉图像与医疗图像融合识别、自主定位扫查方法，其特征在于，一种远端及自适应扫查骨骼，关节，肌肉，神经，采集骨骼，器官，组织医疗图像，视频的方法，步骤如下：

S1、依据权利要求1，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别肩部，肩关节及其位置，骨骼及其位置，肘关节及其位置，踝关节及其位置。

S2、通过超声图像及多种医疗图像融合智能识别方法，将血管颜色信息，血管位置信息与超声图像下器官信息，智能识别腹主动脉，腹股沟，股浅动脉，腘动脉，胫前动脉，胫后动脉。

S3、远端控制及自适应移动机器臂，超声探头至肩关节，沿肩关节朝手臂方向扫查长头肌腱，三角肌，肩胛下肌腱和肌鞘，沿肩部中心骨形状扫查冈上肌肌腱与冈下肌肌腱，采集医疗图像及视频。

S4、远端控制及自适应移动机器臂，超声探头至肘关节，鹰嘴窝，沿肘关节背侧向手方向扫查耾骨小头，桡骨头前方，沿肘关节外侧，鹰嘴外侧边缘位置扫查耾骨小头，桡骨头后方，肌肉，神经，推拉翻转角度调解装置调解肘关节弯曲90度位置，扫查内上骨果和尺骨，采集医疗图像及视频。

S5、远端控制及自适应移动机器臂，超声探头至膝关节及位置，沿膝关节外侧，髌骨侧扫查，向手方向扫查耾骨小头，桡骨头前方，沿肘关节外侧，鹰嘴外侧边缘位置扫查耾骨小头，桡骨头后方，采集医疗图像及视频。

S6、远端控制及自适应移动机器臂，超声探头至踝关节及位置，腓骨及距骨。机器臂推拉翻转角度调解装置协助弯曲踝关节，扫查距腓前韧带，移动探头至腓骨圆形骨表面，扫查距骨外侧边缘，采集距骨三角图像，距骨，腓骨前韧带，采集医疗图像及视频。

6.视觉图像与医疗图像融合识别、自主定位扫查方法，其特征在于，视觉图像与医疗图像融合识别，自主定位扫查方法适用于远端及自主定位扫查的装置，其包含机器人，机器臂，医疗装置，医疗装置的控制装置，超声装置，超声探头装置上述包含扫查装置及扫查控制装置中的一种及多种，以及平面视觉装置的一种及多种，深度视觉装置中的一种及多种。

Images