CN113855068A - 智能识别胸部器官、自主定位扫查胸部器官的方法 - Google Patents

Abstract

智能识别胸部器官、自主定位扫查胸部器官的方法是利用人工智能机器人技术，提供自主定位识别人体器官特征位置，自主定位胸部器官，采集超声图像的方法，远端及自适应采集胸部，乳头，乳房，心脏器官的图像，视频的方法。自主及远端控制采集与共享实现医疗图像，视频共享，缓解医护采集作业压力大，夜班多等问题。提高专家，医生远端，自主定位扫查胸部器官，采集与共享医疗图像，远端问诊，查房，提供专家共同意见，高效，专业解决临床案例，广泛应用于门诊，病房，海外医疗机构。

Description

智能识别胸部器官、自主定位扫查胸部器官的方法

技术领域

本发明属于医疗类人工智能技术领域，涉及数据的分析技术，机器人动作规划技术领域，图像智能识别方法，人工智能与医疗数据分析识别的技术及方法。

背景技术

目前应用于医疗领域，在检查过程，由于各种人为因素分析，胸部，乳房，心脏医疗图像，视频采集质量差，心脏，乳房的结构较为复杂，超声检查医疗图像，视频标准化程度低，识别病情精准度差。医生通常专业技能差异较大，基于超声检查医疗图像的诊断不正确，利用机器人搭载的机器臂，视觉装置，深度视觉装置及各种神经网络方法及其改进方法，智能识别人脸，人体器官，骨骼，辅助采集超声的医疗图像，视频。

超声的医疗图像，视频采集效率低下，人工采集不精准，人工采集会导致瘟疫传播等问题，利用机器臂远端及自主采集医疗图像，视频，实现远端采集，自主采集，智能化识别分析超声数据，图像，视频，自主定位，扫查心脏，有效防止传染病，瘟疫等重大疾病蔓延。

视觉图像与医疗图像融合的智能识别，自主定位扫查方法，自适应调整机器臂，智能识别人体，器官，骨骼，识别，远端及自主移动机器臂，扫查探头，扫查装置，自主定位，扫查部位，器官，依照智能扫查方法，自主扫查，采集医疗图像，视频，大大提高智能识别，采集医疗数据，医疗图像视频的效率。

技术问题

本发明的目的就在于克服上述现有技术的缺点和不足，提供一种利用远端，自主机器人识别胸部，心脏，乳房，自主定位，动作规划，移动采集胸部，心脏，乳房的医疗图像，本发明的视觉图像与医疗图像融合的智能识别，机器臂自主定位扫查方法，实现高精准的定位方式，解决了人为的扫查，检查采集诊断治疗失误问题。

一种多种医疗图像融合智能识别人体五官，骨骼，肩关节，关节，肋骨，乳房，乳头，人体特征及其位置的智能识别方法，机器人，机器臂，医疗装置自主定位器官位置的方法，以及扫查采集心脏，乳房医疗图像的方法成为自主识别定位扫查心脏，乳房，胸部器官的关键技术问题。

智能识别心脏，乳房，胸部器官的基础上，心脏，乳房，胸部器官的有效扫查，完整扫查采集，成为超声扫查另一种重要的技术难题。本发明提供了一种远端及自适应扫查心脏，乳房，胸部采集图像，视频的方法。

本发明的采用的技术方案

智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，融合人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法，所述方法是将平面视觉图像，深度图像及超声图像，视频，内窥镜图像一体化智能识别人体器官，骨骼，关节，血管，人体特征点及其位置的方法，包括以下骤：

S1、建立一般视觉图像模型，人体器官模型，血管模型及特征模型，一般图像的模型包括：人脸，乳头，乳房，肚脐，特征部位及其位置作为特征项，用神经网络算法及其改进方法，智能识别人体特征及其位置；

S2、建立深度视觉装置及深度视觉图像模型，胸部骨骼模型，将深度信息及骨骼所在人体的胸骨，肩关节，第二肋骨，第三肋骨，第四肋骨，第五肋骨骨骼，剑突，脊椎位置信息，以及S1所述的一般图像模型识别的近邻特征器官信息作为骨骼智能识别模型的特征项结合，作为输入项；

S3、应用神经网络算法及其改进方法，智能识别各骨骼以及各骨骼所在的位置，第二肋骨，第三肋骨，第四肋骨，第五肋骨，肋底端骨骼，剑突，脊椎，脊椎位置，骨骼下界位置，肩关节及其位置，各关节位置；

S4、将S1所述的一般图像模型识别的乳头，乳房近邻特征器官心脏的信息作为外部扫查特征信息，将S2识别的骨骼信息外部扫查骨骼信息，以及超声图像，视频，视频下血管颜色信息，血管位置信息及超声图像，视频器官的轮廓形状特征，结构特征，颜色特征，位置特征作为输入项；

S5、特征项作为输入项输入神经网络及其改进方法及权值优化器，通过图像训练，得到输出值；

S6、识别器官，血管，骨骼，以及其所在人体的位置信息，扫查自主定位器官，血管，骨骼，以及其所在人体的位置；

智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，机器臂，超声装置，超声扫查装置自主识别心脏，乳房，胸部器官，定位扫查器官的方法，步骤如下：

S1、获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标；

S2、机器臂，超声装置，超声扫查装置，机器人订阅对应的器官外部扫查区位置信息，

订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳；

S3、远端主控制系统及自主机器臂搭载的超声扫查装置依照订阅的采集区位置，依照机器臂的图像采集动作规划动作，移动，扫查人体采集区。超声扫查装置及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像，视频器官的轮廓形状特征，结构特征，颜色特征；

S4、机器人主系统依照返回的目标器官采集完成信息判定所有目标器官采集任务；

S5、依据S2，依照机器人自主定位，人体外部位置区坐标，扫查采集医疗图像的方法，机器臂，超声装置，超声扫查装置，机器人主系统订阅乳房，心脏外部扫查区位置信息，扫查方法，探头角度，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳；

S6、依据S1，依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体乳头，乳房，心脏及其位置，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，胸骨，第二肋骨，第三肋骨，第四肋骨，第五肋骨，及对应心脏器官各结构部位的扫查位置；

S7、机器人主系统及机器臂远端及自适应调节采集医疗装置的图像参数，增益参数，颜色增益参数，灵敏度时间控制调节参数，时间增益控制参数，聚焦参数，深度参数，取框尺寸，血流流速标尺参数，视频的参数，图像采集方法，机器臂，超声扫查装置，远端控制及自适应调整探头旋转角度，倾斜角度，超声扫查装置的扫查方式，探头角度，参数至以下器官，组织有效采集，完整采集；

S8、远端控制及自适应移动机器臂，依据S2，通过深度视觉装置采集的图像智能识别胸部肋骨，依据S1，平面视觉装置智能识别乳房及其位置，机器臂沿胸骨左缘第二肋骨，第三肋骨，第四肋骨，肋间扫查心脏；

智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，远端控制及自适应移动机器臂自主肋间扫查心脏的方法，步骤如下：

S1、通过超声探头扫描图像，智能识别动态搏动器官，机器臂沿右肩方向移动扫查左室长轴图像。探头扫描向内侧，外侧倾斜，显示二尖瓣前叶及左室，旋转探头，沿升主动脉方向扫查；

S2、通过视觉装置采集的图像智能识别乳头及其位置，探头逆时针方向旋转扫描，机器臂沿前乳头肌，腱索，二尖瓣前叶扫查前叶长轴及图像；

S3、通过视觉装置采集的图像智能识别乳头及其位置，探头逆时针方向旋转扫描，机器臂沿后乳头肌，腱索，二尖瓣后叶扫查后叶长轴及图像；

S4、超声探头下降一个肋间扫查，探头向内侧或外侧倾斜，扫查下一个肋的乳头肌，腱索，二尖瓣后叶，正中部长轴及图像，前叶长轴及图像，后叶长轴及图像；

S5、通过深度视觉装置采集的图像智能识别胸部肋骨，通过视觉装置采集的图像智能识别乳房及其位置，机器臂沿胸骨左缘第二肋骨，第三肋骨，肋骨间扫查高位肋间长轴及图像；

S6、通过超声采集的图像各部位的位置特征，结构特征，通过探头扫描图像智能识别其在舒张期及收缩期的圆形形状，倒三角形状，Y形状的特征，智能识别部位，位置，结构，探头稍微向外下方移动，机器臂沿胸骨左缘移动，顺时针方向90度旋转，扫查四个心腔与二尖瓣，三尖瓣，左胸壁四腔心，肺动脉，主动脉瓣，肺动脉瓣及图像；

S7、通过超声图像，视频下的各部位的位置特征，结构特征，机器臂沿胸骨左缘，移动扫查，自左室长轴图像，探头逆时针旋转，右室流入道长轴图像及右室流出道长轴图像，探头逆时针扫查右室漏斗部，肺动脉瓣，脉动脉干；

S8、通过探头扫描采集的图像，智能识别动态搏动器官，通过超声图像，视频下的各部位的位置特征，结构特征，探头放置在搏动位置心尖，胸壁侧向背侧倾斜，旋转移动扫查四个心腔与二尖瓣，三尖瓣，心尖部四腔心图像；

S9、超声探头逆时针旋转移动扫查心尖部二腔心图像及心尖部长轴图像，左室，右室图像；

S10、视觉装置智能识别乳头及其位置，利用深度视觉装置采集的图像智能识别肋底端骨骼及剑突位置，识别心尖位置，机器人手臂自剑突位置，利用压力装置，加压，向头侧倾斜，旋转探头，自适应调整倾斜角度，扫查四个心腔与二尖瓣，三尖瓣，剑突下四腔心图像；

S11、探头顺时针旋转，自四腔心图像依次记录三腔切面(左室，左房，主动脉)及两腔切面(左室，左房)；

S12、通过探头采集的图像，智能识别圆形形状并标记为左室，扫查自适应调整，图像中心，剑突下左室短轴图像，下腔静脉长轴，短轴图像，腹主动脉图像，沿右方向自适应调整倾斜角度，扫查下腔静脉长轴图像，短轴图像，腹主动脉图像；

S13、利用深度视觉装置采集的图像智能识别胸骨上窝，胸骨左缘第一肋间，向头侧倾斜，旋转探头，自适应调整探头旋转角度，倾斜角度，扫查升主动脉弓，远端，动脉弓，降主动脉，胸骨上窝主动脉弓图像；

S14、利用深度视觉装置采集的图像智能识别胸骨右缘第三肋，第四肋，将探头移动到第三肋，第四肋间，自适应调整探头旋转角度，倾斜角度，扫查左房，右房，房间隔，胸骨右缘心水平图像。调整探头逆时针旋转90度，扫查胸骨右缘心矢状图像；

S15、利用深度视觉装置采集的图像智能识别胸骨右缘第二肋，第三肋，将探头移动到第二肋或第三肋间，自适应调整探头旋转角度，倾斜角度，扫查胸骨右缘升动脉长轴图像；

智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，远端控制及自适应移动机器臂自主肋间扫查乳房的方法，步骤如下：

S1、通过视觉装置采集的图像智能识别乳头，乳房及其位置，范围，轮廓；

S2、建立深度视觉装置及深度视觉图像模型，胸部骨骼模型，双肩关节腋侧模型，利用深度信息及骨骼所在人体的位置，输入神经网络及其改进方法，智能识别胸骨，双肩关节，双肩关节腋侧及其位置信息；

S3、利用深度视觉装置采集的图像智能识别的胸骨，双肩关节，双肩关节腋侧及其位置信息，将探头从腋中线，纵断方向扫查，从乳腺的外侧向内侧移动探头，从内侧向外侧移动探头，将探头置于腋中线，使探头扫查经乳头，至乳腺下缘，直至腺体消失，结束纵断方向扫查；

S4、利用深度视觉装置采集的图像智能识别的胸骨，双肩关节，双肩关节腋侧及其位置信息，将探头置于锁骨，从锁骨，腋中线，横断方向扫查，使探头自上部乳腺的头侧，向下部足侧方向移动，自足侧向上部乳腺的头侧方向扫查，直至腺体消失，结束纵断方向扫查；

S5、利用视觉装置采集的图像智能识别的乳头及其位置，将探头置于乳头，以乳头为中心，超声探头旋转状方向扫查，自乳头向乳腺的外缘方向扫查，直至反方向肋骨，腺体消失，结束旋转方向扫查；

综上，本发明的有益效果

本发明能够通过医疗用机器人装置，机器臂，医疗装置远端隔离自主采集，隔离采集，自主定位识别人体器官特征位置，采集超声图像，视频的方法，自主完成，病房的各项医护任务，以及为改善了采集任务多，工作压力大，夜班多等问题。

同时，本发明提供了一种远端及自适应采集心脏，乳房图像，视频的方法；实现远端及自主有效采集，完整采集的医疗图像，视频，共享医疗图片，视频，多专家远端联合会诊，实时获取机器人采集的数据及图像，视频，大幅度提高工作效率。

附图说明

图1是本申请说明书中智能识别人体器官，骨骼，关节，血管，人体特征点及其位置的方法以及自主定位的方法流程图；

图2是本申请说明书中机器人，医疗装置，机器臂，超声装置，超声扫查装置自主识别心脏，乳房，定位扫查器官的方法的方法流程图；

图3是本申请说明书中机器人，医疗装置，机器臂，超声装置，超声扫查装置，自主扫查心脏的方法流程图。

具体实施方式

本发明的目的是设计取代人类工作的可远端控制机器人，实现远端控制机器臂采集，同时有效解决自主采集图像，视频。利用人工智能机器人技术，自动化领域的自主采集，机器臂动作规划，自主识别人脸，五官，手臂，人体外部特征，深度摄像头骨骼，关节图像。

视觉图像与医疗图像融合智能识别人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法以及机器人，机器臂，医疗装置自主定位，人体外部位置区，扫查采集医疗图像的方法成为自主定位，扫查。

本发明提供了一种远端及自适应智能识别，扫查心脏，乳房的方法，实现远端控制机器人及自主采集医疗图像，视频，远端控制医疗图像，视频采集装置及共享图像，解决了人为的采集不标准，诊断治疗失误，提高了智能采集的精准度和智能识别疾病，医疗数据异常识别的准确度。为了更好的理解上述技术方案，下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

本申请实施中的技术方案为解决上述技术问题的总体思路如下：

本发明提供了医疗图像与视觉图像融合，智能识别人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法，建立一般视觉图像模型，人体器官模型，血管模型及特征模型，一般图像的模型包括：人脸，五官，乳房，乳头，肚脐，特征生殖器，特征部位及其位置作为特征项，用神经网络算法及其改进方法，智能识别人体特征及其位置。建立深度视觉装置及深度视觉图像模型，骨骼模型。将深度信息及骨骼所在人体的位置信息一种自主定位识别人体器官特征位置，采集超声图像的方法，以及一种远端及自适应采集心脏，乳房，胸部位置图像，视频的方法。

实施例1：

下面结合实施例及附图1，附图2，附图3，对本发明作进一步地的详细说明，但本发明的实施方式不限于此，输入一般视觉图像，人体器官，血管及特征，包括：人脸，五官，耳部，嘴唇，下颌骨，颈部，肚脐，乳头，特征生殖器，特征部位及其位置，输入深度视觉图像，骨骼信息，下颌骨，肋底端骨骼，剑突，脊椎，脊椎位置，骨骼下界位置，肩关节，膝关节，足，骨，足关节，腰关节，各关节及其位置。

超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。将血管信息，血管位置信息与超声图像下器官信息，器官特征结合为综合为信息结合项作为超声图像模型的特征项，输入项，将外部扫查特征信息及外部扫查骨骼信息作为外部扫查信息，应用改进深度神经网络方法及权值优化器，通过图像训练，得到输出值及器官，血管，骨骼，以及其所在人体扫查器官及位置信息，输出自主定位器官，血管，骨骼，以及其所在人体的位置的结果。

依据管理员，医生发布采集任务，医嘱消息，获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标。

机器人视觉采集装置及视觉识别模块发布各器官对应的外部特征，一般图像模型识别的近邻特征器官的外部扫查特征信息人体外部位置区坐标；深度摄像头发布的深度信息，近邻的骨骼信息外部扫查骨骼信息。

机器臂，超声装置，超声探头，机器人订阅对应的器官外部扫查区位置信息，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳，远端主控制系统及自主机器臂搭载的超声探头依照订阅的采集区位置，依照机器臂图像采集动作规划模块的动作，移动，扫查人体采集区。超声探头及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。机器人，医疗装置及视觉识别模块订阅图像信息。抽取超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征输入计算模型，智能识别图像是否为目标器官组织，如果为扫查目标器官。

设置采集目标参数(位姿标记，时间戳，目标对于头部id，COG目标位姿，方向值)，设置位置和姿态的允许误差，当运动规划失败后，允许重新规划，设置目标位置的参考坐标系，设置每次运动规划的时间限制。机器人，医疗装置及机器臂远端及自适应调节采集医疗装置的图像参数，视频的参数，图像采集方法，是否符合图像，视频的识别标准，是否有效采集。机器人，医疗装置及机器臂远端及自适应调节超声探头的扫查方式，探头角度，参数，检查目标器官采集位置，采集器官，组织的全部图像及视频是否为全部的扫查方式下的图像，视频，是否为目标器官，组织的完整采集，返回目标器官采集完成信息，机器人及机器臂订阅任务信息，机器人，医疗装置及机器臂远端及自适应移动超声探头至下一目标器官的外部扫查位置区。机器人，医疗装置依照返回的目标器官采集完成信息，判定所有的目标器官采集任务完成。

采集方法是通过超声探头扫描图像，智能识别动态搏动器官，机器臂沿右肩方向移动扫查左室长轴图像。探头扫描向内侧，外侧倾斜，显示二尖瓣前叶及左室，旋转探头，沿升主动脉方向扫查；通过视觉装置采集的图像智能识别乳头及其位置，探头逆时针方向旋转扫描，机器臂沿前乳头肌，腱索，二尖瓣前叶扫查前叶长轴及图像；通过视觉装置采集的图像智能识别乳头及其位置，探头逆时针方向旋转扫描，机器臂沿后乳头肌，腱索，二尖瓣后叶扫查后叶长轴及图像；超声探头下降一个肋间扫查，探头向内侧或外侧倾斜，扫查下一个肋的乳头肌，腱索，二尖瓣后叶，正中部长轴及图像，前叶长轴及图像，后叶长轴及图像；

通过深度视觉装置采集的图像智能识别胸部肋骨，通过视觉装置采集的图像智能识别乳房及其位置，机器臂沿胸骨左缘第二肋骨，第三肋骨，肋骨间扫查高位肋间长轴及图像；

通过超声采集的图像各部位的位置特征，结构特征，通过探头扫描图像智能识别其在舒张期及收缩期的圆形形状，倒三角形状，Y形状的特征，智能识别部位，位置，结构，探头稍微向外下方移动，机器臂沿胸骨左缘移动，顺时针方向90度旋转，扫查四个心腔与二尖瓣，三尖瓣，左胸壁四腔心，肺动脉，主动脉瓣，肺动脉瓣及图像；

通过超声图像，视频下的各部位的位置特征，结构特征，机器臂沿胸骨左缘，移动扫查，自左室长轴图像，探头逆时针旋转，右室流入道长轴图像及右室流出道长轴图像，探头逆时针扫查右室漏斗部，肺动脉瓣，脉动脉干；

通过探头扫描采集的图像，智能识别动态搏动器官，通过超声图像，视频下的各部位的位置特征，结构特征，探头放置在搏动位置心尖，胸壁侧向背侧倾斜，旋转移动扫查四个心腔与二尖瓣，三尖瓣，心尖部四腔心图像；超声探头逆时针旋转移动扫查心尖部二腔心图像及心尖部长轴图像，左室，右室图像；视觉装置智能识别乳头及其位置，利用深度视觉装置采集的图像智能识别肋底端骨骼及剑突位置，识别心尖位置，机器人手臂自剑突位置，利用压力装置，加压，向头侧倾斜，旋转探头，自适应调整倾斜角度，扫查四个心腔与二尖瓣，三尖瓣，剑突下四腔心图像；探头顺时针旋转，自四腔心图像依次记录三腔切面(左室，左房，主动脉)及两腔切面(左室，左房)；

通过探头采集的图像，智能识别圆形形状并标记为左室，扫查自适应调整，图像中心，剑突下左室短轴图像，下腔静脉长轴，短轴图像，腹主动脉图像，沿右方向自适应调整倾斜角度，扫查下腔静脉长轴图像，短轴图像，腹主动脉图像；利用深度视觉装置采集的图像智能识别胸骨上窝，胸骨左缘第一肋间，向头侧倾斜，旋转探头，自适应调整探头旋转角度，倾斜角度，扫查升主动脉弓，远端，动脉弓，降主动脉，胸骨上窝主动脉弓图像；

利用深度视觉装置采集的图像智能识别胸骨右缘第三肋，第四肋，将探头移动到第三肋，第四肋间，自适应调整探头旋转角度，倾斜角度，扫查左房，右房，房间隔，胸骨右缘心水平图像。调整探头逆时针旋转90度，扫查胸骨右缘心矢状图像；

利用深度视觉装置采集的图像智能识别胸骨右缘第二肋，第三肋，将探头移动到第二肋或第三肋间，自适应调整探头旋转角度，倾斜角度，扫查胸骨右缘升动脉长轴图像；

实施例2：

下面结合实施例及附图1，2，3，对本发明作进一步地的详细说明，但本发明的实施方式不限于此，输入一般视觉图像，人脸，乳头，特征生殖器，特征部位，人体器官，血管及特征，输入深度视觉图像，识别骨骼信息，肋底端骨骼，肩关节，各关节，骨骼下界及其位置。

依据超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征，将血管信息，血管位置信息与超声图像下器官信息作为输入项，应用改进深度神经网络方法及权值优化器，通过图像训练，得到输出值，器官，血管，骨骼，以及其所在人体扫查器官及位置信息，输出自主定位器官，血管，骨骼，以及其所在人体的位置的结果。

依据管理员，医生发布采集任务，医嘱消息，获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标。

机器人视觉采集装置及视觉识别模块发布各器官对应的外部特征，一般图像模型识别的近邻特征器官的外部扫查特征信息人体外部位置区坐标；深度摄像头发布的深度信息，近邻的骨骼信息外部扫查骨骼信息。

机器臂，超声装置，超声探头，机器人订阅对应的器官外部扫查区位置信息，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳，远端主控制系统及自主机器臂搭载的超声探头依照订阅的采集区位置，依照机器臂图像采集动作规划模块的动作，移动，扫查人体采集区。

超声探头及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征。机器人，医疗装置及视觉识别模块订阅图像信息。抽取超声图像下血管颜色信息，血管位置信息及超声图像器官的轮廓形状特征，结构特征，颜色特征输入计算模型，智能识别图像是否为目标器官组织，如果为扫查目标器官。

设置采集目标参数，设置位置和姿态的允许误差，当运动规划失败后，允许重新规划，设置目标位置的参考坐标系，设置每次运动规划的时间限制。机器人，医疗装置及机器臂远端及自适应调节采集医疗装置的图像参数，视频的参数，图像采集方法，是否符合图像，视频的识别标准，是否有效采集。

机器人，医疗装置及机器臂远端及自适应调节超声探头的扫查方式，探头角度，参数，检查目标器官采集位置，采集器官，组织的全部图像及视频是否为全部的扫查方式下的图像，视频，是否为乳头，乳房的完整采集图像及视频，返回目标器官采集完成信息，机器人及机器臂订阅任务信息，机器人，医疗装置及机器臂远端及自适应移动超声探头至下一目标器官的外部扫查位置区。机器人，医疗装置依照返回的乳头，乳房器官采集完成信息，判定乳头，乳房采集任务完成。

通过视觉装置采集的图像智能识别乳头，乳房及其位置，范围，轮廓；建立深度视觉装置及深度视觉图像模型，胸部骨骼模型，双肩关节腋侧模型，利用深度信息及骨骼所在人体的位置，输入神经网络及其改进方法，智能识别胸骨，双肩关节，双肩关节腋侧及其位置信息；

利用深度视觉装置采集的图像智能识别的胸骨，双肩关节，双肩关节腋侧及其位置信息，将探头从腋中线，纵断方向扫查，从乳腺的外侧向内侧移动探头，从内侧向外侧移动探头，将探头置于腋中线，使探头扫查经乳头，至乳腺下缘，直至腺体消失，结束纵断方向扫查；

利用深度视觉装置采集的图像智能识别的胸骨，双肩关节，双肩关节腋侧及其位置信息，将探头置于锁骨，从锁骨，腋中线，横断方向扫查，使探头自上部乳腺的头侧，向下部足侧方向移动，自足侧向上部乳腺的头侧方向扫查，直至腺体消失，结束纵断方向扫查；

利用视觉装置采集的图像智能识别的乳头及其位置，将探头置于乳头，以乳头为中心，超声探头旋转状方向扫查，自乳头向乳腺的外缘方向扫查，直至反方向肋骨，腺体消失，结束旋转方向扫查。

Claims (4)

1.智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，融合人体五官，器官，骨骼，关节，血管，人体特征及其位置的智能识别方法，所述方法是将平面视觉图像，深度图像及超声图像，视频，内窥镜图像一体化智能识别人体器官，骨骼，关节，血管，人体特征点及其位置的方法，包括以下骤：

S1、建立一般视觉图像模型，人体器官模型，血管模型及特征模型，一般图像的模型包括：人脸，乳头，乳房，肚脐，特征部位及其位置作为特征项，用神经网络算法及其改进方法，智能识别人体特征及其位置；

S2、建立深度视觉装置及深度视觉图像模型，胸部骨骼模型，将深度信息及骨骼所在人体的胸骨，肩关节，第二肋骨，第三肋骨，第四肋骨，第五肋骨骨骼，剑突，脊椎位置信息，以及S1所述的一般图像模型识别的近邻特征器官信息作为骨骼智能识别模型的特征项结合，作为输入项；

S3、应用神经网络算法及其改进方法，智能识别各骨骼以及各骨骼所在的位置，第二肋骨，第三肋骨，第四肋骨，第五肋骨，肋底端骨骼，剑突，脊椎，脊椎位置，骨骼下界位置，肩关节及其位置，各关节位置；

S4、将S1所述的一般图像模型识别的乳头，乳房近邻特征器官心脏的信息作为外部扫查特征信息，将S2识别的骨骼信息外部扫查骨骼信息，以及超声图像，视频，视频下血管颜色信息，血管位置信息及超声图像，视频器官的轮廓形状特征，结构特征，颜色特征，位置特征作为输入项；

S5、特征项作为输入项输入神经网络及其改进方法及权值优化器，通过图像训练，得到输出值；

S6、识别器官，血管，骨骼，以及其所在人体的位置信息，扫查自主定位器官，血管，骨骼，以及其所在人体的位置。

2.智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，机器臂，超声装置，超声扫查装置自主识别心脏，乳房，胸部器官，定位扫查器官的方法，步骤如下：

S1、获得采集任务对应的人体采集图像的器官及其外部位置区坐标，设置其为目标，设置目标名，目标参数，位置信息，设置通信目标；

S2、机器臂，超声装置，超声扫查装置，机器人订阅对应的器官外部扫查区位置信息，

订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳；

S3、远端主控制系统及自主机器臂搭载的超声扫查装置依照订阅的采集区位置，依照机器臂的图像采集动作规划动作，移动，扫查人体采集区。超声扫查装置及超声装置发布采集的图像信息，血管颜色信息，血管位置信息及超声图像，视频器官的轮廓形状特征，结构特征，颜色特征；

S4、机器人主系统依照返回的目标器官采集完成信息判定所有目标器官采集任务；

S5、依据S2，依照机器人自主定位，人体外部位置区坐标，扫查采集医疗图像的方法，机器臂，超声装置，超声扫查装置，机器人主系统订阅乳房，心脏外部扫查区位置信息，扫查方法，探头角度，订阅目标，参数，目标位姿，位姿标记，设置目标对于头部id，目标位姿，方向值，设置时间戳；

S6、依据S1，依照一般视觉装置及多种医疗图像融合智能识别方法，智能识别人体乳头，乳房，心脏及其位置，通过深度视觉采集装置及及多种医疗图像融合智能识别方法，智能识别骨骼，胸骨，第二肋骨，第三肋骨，第四肋骨，第五肋骨，及对应心脏器官各结构部位的扫查位置；

S7、机器人主系统及机器臂远端及自适应调节采集医疗装置的图像参数，增益参数，颜色增益参数，灵敏度时间控制调节参数，时间增益控制参数，聚焦参数，深度参数，取框尺寸，血流流速标尺参数，视频的参数，图像采集方法，机器臂，超声扫查装置，远端控制及自适应调整探头旋转角度，倾斜角度，超声扫查装置的扫查方式，探头角度，参数至以下器官，组织有效采集，完整采集；

S8、远端控制及自适应移动机器臂，依据S2，通过深度视觉装置采集的图像智能识别胸部肋骨，依据S1，平面视觉装置智能识别乳房及其位置，机器臂沿胸骨左缘第二肋骨，第三肋骨，第四肋骨，肋间扫查心脏。

3.智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，远端控制及自适应移动机器臂自主肋间扫查心脏的方法，步骤如下：

S1、依据权利要求1，权利要求2，通过超声探头扫描图像，智能识别动态搏动器官，机器臂沿右肩方向移动扫查左室长轴图像。探头扫描向内侧，外侧倾斜，显示二尖瓣前叶及左室，旋转探头，沿升主动脉方向扫查；

S2、依据权利要求1，权利要求2，通过视觉装置采集的图像智能识别乳头及其位置，探头逆时针方向旋转扫描，机器臂沿前乳头肌，腱索，二尖瓣前叶扫查前叶长轴及图像；

S3、依据权利要求1，权利要求2，通过视觉装置采集的图像智能识别乳头及其位置，探头逆时针方向旋转扫描，机器臂沿后乳头肌，腱索，二尖瓣后叶扫查后叶长轴及图像；

S4、超声探头下降一个肋间扫查，探头向内侧或外侧倾斜，扫查下一个肋的乳头肌，腱索，二尖瓣后叶，正中部长轴及图像，前叶长轴及图像，后叶长轴及图像；

S5、依据权利要求1，权利要求2，通过深度视觉装置采集的图像智能识别胸部肋骨，通过视觉装置采集的图像智能识别乳房及其位置，机器臂沿胸骨左缘第二肋骨，第三肋骨，肋骨间扫查高位肋间长轴及图像；

S6、依据权利要求1，权利要求2，通过超声采集的图像各部位的位置特征，结构特征，通过探头扫描图像智能识别其在舒张期及收缩期的圆形形状，倒三角形状，Y形状的特征，智能识别部位，位置，结构，探头稍微向外下方移动，机器臂沿胸骨左缘移动，顺时针方向90度旋转，扫查四个心腔与二尖瓣，三尖瓣，左胸壁四腔心，肺动脉，主动脉瓣，肺动脉瓣及图像；

S7、依据权利要求1，权利要求2，通过超声图像，视频下的各部位的位置特征，结构特征，机器臂沿胸骨左缘，移动扫查，自左室长轴图像，探头逆时针旋转，右室流入道长轴图像及右室流出道长轴图像，探头逆时针扫查右室漏斗部，肺动脉瓣，脉动脉干；

S8、依据权利要求1，权利要求2，通过探头扫描采集的图像，智能识别动态搏动器官，通过超声图像，视频下的各部位的位置特征，结构特征，探头放置在搏动位置心尖，胸壁侧向背侧倾斜，旋转移动扫查四个心腔与二尖瓣，三尖瓣，心尖部四腔心图像；

S9、超声探头逆时针旋转移动扫查心尖部二腔心图像及心尖部长轴图像，左室，右室图像；

S10、依据权利要求1，权利要求2，视觉装置智能识别乳头及其位置，利用深度视觉装置采集的图像智能识别肋底端骨骼及剑突位置，识别心尖位置，机器人手臂自剑突位置，利用压力装置，加压，向头侧倾斜，旋转探头，自适应调整倾斜角度，扫查四个心腔与二尖瓣，三尖瓣，剑突下四腔心图像；

S11、依据权利要求1，权利要求2，探头顺时针旋转，自四腔心图像依次记录三腔切面(左室，左房，主动脉)及两腔切面(左室，左房)；

S12、依据权利要求1，权利要求2，通过探头采集的图像，智能识别圆形形状并标记为左室，扫查自适应调整，图像中心，剑突下左室短轴图像，下腔静脉长轴，短轴图像，腹主动脉图像，沿右方向自适应调整倾斜角度，扫查下腔静脉长轴图像，短轴图像，腹主动脉图像；

S13、依据权利要求1，权利要求2，利用深度视觉装置采集的图像智能识别胸骨上窝，胸骨左缘第一肋间，向头侧倾斜，旋转探头，自适应调整探头旋转角度，倾斜角度，扫查升主动脉弓，远端，动脉弓，降主动脉，胸骨上窝主动脉弓图像；

S14、依据权利要求1，权利要求2，利用深度视觉装置采集的图像智能识别胸骨右缘第三肋，第四肋，将探头移动到第三肋，第四肋间，自适应调整探头旋转角度，倾斜角度，扫查左房，右房，房间隔，胸骨右缘心水平图像。调整探头逆时针旋转90度，扫查胸骨右缘心矢状图像；

S15、依据权利要求1，权利要求2，利用深度视觉装置采集的图像智能识别胸骨右缘第二肋，第三肋，将探头移动到第二肋或第三肋间，自适应调整探头旋转角度，倾斜角度，扫查胸骨右缘升动脉长轴图像。

4.智能识别胸部器官、自主定位扫查胸部器官的方法，其特征在于，远端控制及自适应移动机器臂自主肋间扫查乳房的方法，步骤如下：

S1、依据权利要求1，权利要求2，通过视觉装置采集的图像智能识别乳头，乳房及其位置，范围，轮廓；

S2、依据权利要求1，权利要求2，建立深度视觉装置及深度视觉图像模型，胸部骨骼模型，双肩关节腋侧模型，利用深度信息及骨骼所在人体的位置，输入神经网络及其改进方法，智能识别胸骨，双肩关节，双肩关节腋侧及其位置信息；

S3、依据权利要求1，权利要求2，利用深度视觉装置采集的图像智能识别的胸骨，双肩关节，双肩关节腋侧及其位置信息，将探头从腋中线，纵断方向扫查，从乳腺的外侧向内侧移动探头，从内侧向外侧移动探头，将探头置于腋中线，使探头扫查经乳头，至乳腺下缘，直至腺体消失，结束纵断方向扫查；

S4、依据权利要求1，权利要求2，利用深度视觉装置采集的图像智能识别的胸骨，双肩关节，双肩关节腋侧及其位置信息，将探头置于锁骨，从锁骨，腋中线，横断方向扫查，使探头自上部乳腺的头侧，向下部足侧方向移动，自足侧向上部乳腺的头侧方向扫查，直至腺体消失，结束纵断方向扫查；

S5、依据权利要求1，权利要求2，利用视觉装置采集的图像智能识别的乳头及其位置，将探头置于乳头，以乳头为中心，超声探头旋转状方向扫查，自乳头向乳腺的外缘方向扫查，直至反方向肋骨，腺体消失，结束旋转方向扫查。

Images