CN116507286A - 超声图像数据采集分析识别一体化机器人，平台 - Google Patents

Abstract

超声图像数据采集分析识别一体化机器人，平台是利用机器人技术与图像采集装置(50)，医疗大数据图像识别技术结合。利用机器臂(60)与超声设备通信，实现远端控制机器手臂动作采集及自主采集图像数据，分析采集数据，智能识别疾病，机器人语音互动等功能。通过机器人平台上搭载的摄像头(20)和图像采集装置(50)结合，智能识别体外器官位置和医疗图像识别的内脏器官相结合，双精准定位脏器内器官，高精度采集图像，分类图像，智能识别图像异常，智能诊断脏器内的常见疾病。利用神经网络方法及机器学习方法分类图像，智能识别内脏器官疾病。语音指引，远端自主采集数据。远程问诊，采集，分析，智能诊断各脏器内常见疾病，有效排查异常症状。

Description

超声图像数据采集分析识别一体化机器人，平台 技术领域

本发明属于人工智能机器人健康体检设备技术领域，涉及医疗数据分析，医疗图像智能识别系统。

背景技术

目前应用于健康体检领域；在检查过程，由于各种人为因素，很难有效肉超声图像识别，识别超声图像中等存在的疾病问题。体检效率低下，数据采集难，数据采集不精准等问题。

造成体检效率低，费时间，费精力等后果，针对体检效率低下，数据采集难，数据采集不精准等问题，利用机器人搭载的摄像头，超声探头等通过医疗图像数据智能监测超声腹腔的各项异常指标，有效识别超声内疾病，超声脏器异常，脏器图像分类，远程控制，自主采集，智能识别，分类医疗数据，筛查异常数据，分类识别，智能反馈异常和疾病结果，定期检查。健康检测，体检等问题。

技术解决方案

本发明的目的是提供一种基于人工智能机器人的健康体检系统。人工智能机器人系统与各数据采集装置等节点相结合搭建的平台体检医疗数据采集分析机器人平台系统。

人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：

机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头及医疗超声设备采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。

摄像头及传感器数据采集模块，所述数据采集模块用于采集超声医疗图像和摄像头等被测医疗数据。

语音模块，所述数据模块用于主控制系统与用户间交互和语音引导。

医疗数据分析，所述数据分析模块用于比照标准值分析医疗数据，发现医疗异常数据。

图像分类模块，所述数据模块用于分类超声医疗图像及脏器内超声图像。

超声图像模块，医疗超声设备数据采集模块，所述数据采集模块用于采集超声检测设备医疗数据和超声设备的医疗图像。

机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互。

本方案中，能够通过机器人的主控制系统，摄像头及传感器数据采集模块，超声模块等心脏检测设备医疗数据，及超声脏器内的医疗图像；并依据机器臂动作规划采集模块，语音模块，语音指令远端控制，加强机器人与用户间的交互，实现智能化采集。医疗数据分析，用于比照标准值分析医疗数据，智能发现医疗异常数据；图像分类模块，用于精准分类超声图像，智能定位超声位置及分类脏内超声图像。提高了智能采集的精准度和医疗数据异常识别的准确度，提高了医疗图像分类，分析的远端采集，远端识别的灵活性和可能性。

进一步，机器人主系统用于实现机器人的主控制，数据采集，图像分类，语音交互，动作交互，实现智能采集，智能分析异常数据，智能识别，远端识别。

作为本发明的进一步改进，用摄像头识别人脸，颜色标记，体外器官采集区，用医疗检测设备及超声设备采集医疗数据及超声脏器内的医疗图像。

作为本发明的进一步改进，语音模块，包括语音指令远端采集，语音识别，用于主控制系统与用户间交互和语音引导。

作为本发明的又一步改进，动作模块，包括动作规划模块，动作采集模块，用于主控制系统与用户间动作交互，机器臂动作图像采集。

作为本发明的又一步改进，动作模块，包括动作规划模块，超声部采集动作规划，心脏医疗数据采集规划，用于主控制系统与用户间动作交互，机器臂动作图像采集。

进一步，手臂伸向腹部目标采集方法（头部跟踪超声采集器）：

STEP1：设置目标

STEP2：设置目标参数（目标名，左右臂关节）

STEP3：设置通信目标

STEP4：发布目标，参数（目标位姿，位姿标记）

STEP5：设置位姿标记

STEP6：设置目标对于头部id，目标位姿，方向值

STEP7：设置时间戳

STEP8：设置位姿标记为坐标原点和方向值

又进一步，视觉摄像头与超声采集器通信：

Step1：初始点云节点

Step2：设置夹持器发布方节点参数（目标名，位姿标记)

Step3：设置摄像头订阅方节点参数（点云，最近点云list)

Step4：定义并取得最近点云list

Step5：定义最近的点并将其转化成点数组

Step6：计算COG

Step7：确认参数，返回点云信息

Step8：设置位姿方向值作为点对象

Step9：发布COG作为目标位姿

Step10：设置目标参数（位姿标记，时间戳，目标对于头部id，COG目标位姿，方向值）

Step11：发布夹持器目标节点

又进一步，超声图像采集方法：

Step1：设置位置和姿态的允许误差

Step2：当运动规划失败后，允许重新规划

Step3：设置目标位置的参考坐标系

Step4：设置每次运动规划的时间限制

Step5：设置医疗床，手臂，腿放置位置，设置医疗床的高度，手臂放置区位置，腿放置区位置

Step6：设置医疗床，手臂，腿位置体检诊DEMO（包括：医疗床ID，医疗床位姿，左手臂ID，左手臂位姿，右手臂ID，右手臂，左腿ID，左腿位姿，右腿ID，右腿位姿)将以上参数加入体检诊疗DEMO

Step7：将医疗床和手臂，腿位置设置颜色和AR标签及其他特殊标记

Step8：设置位置目标，即移动位置（人体位置标记间平躺颜色标签，左侧卧颜色标签，右侧卧颜色标签）

Step9：设置场景颜色

Step10：设置平躺颜色标签，左侧标签卧颜色，右侧卧标签颜色及其他特殊标记

Step11：设置颜色到DEMO中，包括：初始化规划场景对象，监测设置场景差异，设置颜色，发布颜色标签平躺场景颜色，左侧卧场景颜色，右侧卧场景颜色及其他特殊标记

一种病患人脸识别，人体器官外部位置识别，颜色标记识别方法，所述方法包括以下步骤：

S1、建立人脸数学模型及个体脸图像识别的数学模型

S2、抽取人脸特征，颜色标签及对应人体器官外部位置，包括颜色，人脸，关节等的特征

S3、提取人体外部器官位置图像的特征值（标记颜色值，肩，腰，下肢关节位置，人脸)等

S4、输入检测项目特征值

S5、改进权值优化器，通过图像训练，得到输出值

S6、依据输出结果人体器官外部采集的位置图像及器官采集区的外部位置信息，利用改进深度神经网络算法智能人脸图像，关节图像，颜色标记图像，精准定位器官外部采集位置，智能采集

进一步，一种机器学习分类算法改进方法分类脏器图像，所述方法包括以下步骤：

S1、建立内部脏器数学模型

S2、抽取脏器内轮廓特征，包括颜色，形状，轮廓等的特征

S3、输入项目特征值

S4、改进机器学习算法，计算得到输出值

S5、依据输出结果分类脏器图像，精准分类脏器包括乳房，肺，肝胆脾，肾脏等图像，利用改进机器学习算法智能分类脏器图像，精准定位各脏器位置

一种深度神经网络算法器官模型下的疾病识别方法，所述方法包括以下步骤：

S1、输入对应器官的数学模型

S2、抽取疾病的特征包括器官图像的颜色，轮廓，纹理，常见器官对应疾病的图像特征，包括：肩关节，乳房及乳头，肚腩肚脐，特征生殖器，腰关节及血管颜色的特征，血管颜色值等的特征转化为输入数据

S3、抽取图像器官的内部轮廓，各器官的特征值及其对应的外部特征所对应的人体外部位置区，建立图像的特征的数学模型，输入检测项目特征值

S4、输入各器官外部特征值所对应的人体内部器官图像的特征值，改进深度神经网络方法及权值优化器，通过图像训练，得到输出值及内部器官分类，器官识别结果

S5、改进权值优化器，快速训练图像，得到输出值

S6、依据输出结果分类此种器官的疾病种类，精准识别疾病

综上，本发明的有益效果是：

本发明针对体检效率低，费时间，费精力，疾病识别度低等问题，通过机器人搭载的摄像头及超声探头采集数据解决现有技术中，体检效率低下，数据采集难，数据采集不精准等问题。

通过超声医疗图像和医疗数据各项医疗指标，识别很难有效肉超声识别的异常和疾病，识别超声腔存在的器官模型下的疾病问题。高效识别与管理疾病。体检智能研究与开发平台能实现健康管理，有效检测，分析，识别心脏，乳房，腹腔脏器异常，实现智能识别，远端识别超声腔内等问题，及脏器内异常疾病等健康问题。

远端识别脏器内异常和疾病，改善了体检的精确度和效率，智能检测，分析，识别疾病。有效创建人工智能机器人+体检医疗体系。

有益效果

实现有效采集图像，超声探头采集心脏，身体内部脏器图像等数据。实现准确分析，分类各器官异常数据。实现准确识别超声内部脏器，心脏病等常见问题。

附图说明

图1是本申请实施例一中体检医疗数据采集分析机器人的结构示意图。

图2是本申请实施例一中摄像头与超声图像采集模块示意图。

图3是人体超声采集位置定位图。

附图1标记：100-机器人主系统；101-语音模块；102-医疗图像采集模块；103-机器臂动作规划模块；104-摄像头图像采集模块。

附图2标记：10-机器人主控制系统模拟装置，20-摄像头模拟装置，30-语音模块，40-雷达移动底座，50-图像采集装置模块，60-机器臂模块，100-人脸，300-对应人体器官外部位置（采集区内脏）。

附图3标记：200-颜色标记，400-肩关节，601-心房，602-乳房，603-肝脏，604-脾胃，605-肾脏，606-子宫、膀胱、女卵巢，607-男前列腺。

本发明的实施方式

本申请实施例通过提供一种体检机器人系统及分析医疗数据采集超声装置、器官分类疾病识别方法，解决现有技术中体检效率低下，数据远端，自主采集困难，数据采集不精准等问题的问题，实现了有效检测，数据分析，识别身体异常，实现智能识别，识别超声腔内疾病等问题，及脏器内异常疾病等健康问题。

本申请实施中的技术方案为解决上述技术问题的总体思路如下：

人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头采集模块，超声模块设备数据采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。摄像头，所述数据采集模块用于采集超声医疗图像，心脏等被测医疗数据；语音模块，所述数据模块用于主控制系统与用户间交互和语音引导；图像分类模块，所述数据模块用于超声图像模块，超声检查设备数据采集模块，所述数据采集模块用于采集超声检测设备医疗数据和超声设备的医疗图像；机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互。

为了更好的理解上述技术方案，下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例 1

如图1所示，一种人工智能机器人医疗数据采集，分析健康体检系统，机器人装置包括：

机器人的主控制系统10，所述模块用于实现机器人的主控制与摄像头模块，超声图像采集模块通信，主控制系统与机器臂搭载，超声检查设备数据采集模块通信，用于机器臂动作规划采集，与语音模块通信，用于机器人与用户间语音交互。

摄像头20，语音模块30，超声图像采集模块50，医疗超声用于采集超声脏器内的医疗图像。并依据机器臂动作规划采集模块103，语音模块101，引导用户，加强机器人与用户间的交互，实现智能化采集。医疗数据分析，用于比照标准值分析医疗数据，智能发现医疗异常数据；图像分类模块，用于精准分类超声，超声，超声医疗图像，智能定位超声位置及分类脏器内超声图像。

机器人的主控制系统10，所述机器人主控制系统与各模块间的通信所述模块用于实现机器人的主控制，与摄像头20及语音模块30，超声图像采集模块50通信，主控制系统与机器臂搭载，超声模块50，用于机器臂动作规划采集，与语音模块30通信，用于机器人与用户间语音交互。

其中，在本申请实施例中，所述机器人主控制系统通过系统10与深度摄像头模拟单元20与所述机器臂模拟装置60的连接；以及所述模拟机器人主控制系统装置10与语音模块30的通信连接。以及所述模拟机器人主控制系统装置10与超声图像采集模块102通信被测的通信连接；以及所述模拟机器人主控制系统装置10与机器臂搭载，超声检查设备数据采集模块50的通信连接。以及所述模拟机器人主控制系统装置10与语音模块30的通信连接。本实施例中，所述机器人主控制系统与深度摄像头连接用于人脸，超声，图像采集用于语音交互，用于图像采集。

摄像头模拟单元20用于采集人脸，依据机器人主控制系统模拟装置10指令，发布图像数据，与图像识别节点通信，识别人脸，颜色标记，关节。机器人主控系统返回颜色标记信息，关节信息，身体器官外部位置信息，机器臂60移动到人体外部部位采集位置。从而精准定位人脸，关节，超声采集区。利用机器人主系统规划动作交互，实现数据采集。设计机器人动作，并针对摄像头等采集位置，实现人-机器人友善交互设，高效采集数据。

语音模块30用于用语音指令，语音识别，语音问诊。平台机器人主控系统10与语音模块30通信实现语音控制主系统。由主系统10发送动作指令到机器臂动作规划采集模块60。语音模块用于语音识别，语音合成，机器人语音自主问诊，疾病知识解答。远端与家庭医生，专科医生语音问诊。

超声采集模块50用于采集超声脏器内的医疗图像，依据机器人主控制系统模拟装置10指令，发布医疗图像数据，用机器人主控系统10下TF包返回身体各位置信息，机器臂60移动到身体内脏位置采集数据。从而精准定位脏器内器官。返回各脏器器官名称，图像，数据值。

机器臂动作规划采集模60用于移动采集超声的医疗图像，依据动作规划计算位置和时间，机器人主控制系统模拟装置10动作指令，依据摄像头模块20与器官识别程序节点通信，识别颜色标记，关节标记，识别确定超声采集脏器内器官位置。移动到外部器官位置。在机器人系统下采用机器臂包实现机器臂动作规划及数据采集。采用机器人系统下机器臂工程包规划机器臂动作，拟采用摄像头等搭载机器臂上，通过机器臂移动规划，动作交互等有效采集超声心脏，乳房，腹腔内脏器数据，实现精准数据采集。

实施例 2

在实施例1的基础上，提供几种超声定位，识别方法，如图3所示：

所述病患人脸识别，人体器官外部位置识别，颜色标记识别方法包括：

建立人脸100数学模型，个体脸图像识别的数学模型，抽取人脸特征，颜色标签200及对应人体器官外部位置300，包括颜色，人脸，关节400等的特征，提取人体外部器官位置图像的特征值（标记颜色值，肩，腰，下肢关节位置，人脸)等，输入检测项目特征值。改进权值优化器，通过图像训练，得到输出值。依据输出结果人体器官外部采集的位置图像及器官采集区的外部位置信息。利用改进深度神经网络算法智能识别人脸图像100，颜色标记图像200，精准定位器官外部采集位置300，关节400，智能采集数据。

所述的超声器官图像分类方法，所述方法包括：

针对对应人体器官外部位置300，建立超声内部采集区500。建立内部脏器600数学模型，抽取脏器内轮廓特征，包括颜色，形状，轮廓等的特征，提取图像的特征值（颜色，形状，轮廓)等，输入项目特征值。计算得到输出值。依据输出结果分类脏器图像，精准分类超声图像包括心房601，乳房602，肝脏 603，脾胃604，肾脏605，子宫、膀胱、女卵巢606，男前列腺607等图像。

所述的深度神经网络算法器官601-607的疾病识别方法包括：

超声器官图像输入对应器官601-607的数学模型，抽取输入图像的特征包括器官图像的颜色，轮廓，纹理，常见器官对应疾病的图像特征加速器，血管颜色值等的特征转化为输入数据，经过算法权值加速器及优化器计算，得到输出值，依据输出结果分类此种器官的疾病种类，精准识别疾病。

Claims (8)

1. 超声图像数据采集分析识别一体化机器人，平台，其特征在于，采用人工智能机器人主系统，通过机器臂搭载摄像头和超声等装置智能采集医疗数据和医疗图像，对数据进行分析，对超声等图像进行分类，提高了体检及数据采集的效率，人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：

   机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头及医疗超声设备采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互；

   摄像头及传感器数据采集模块，所述数据采集模块用于采集图像和被测医疗数据；

   语音模块，所述数据模块用于主控制系统与用户间交互和语音引导；

   医疗数据分析，所述数据分析模块用于比照标准值分析医疗数据，发现医疗异常数据；

   图像分类模块，所述数据模块用于分类医疗图像；

   医疗图像模块，医疗设备数据采集模块，所述数据采集模块用于采集医疗数据和医疗图像；

   机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互。
2. 超声图像数据采集分析识别一体化机器人，平台，其特征在于，利用改进的神经网络方法实现人体超声图像分类识别，实现智能定位身体组织器官，从而精准识别内部组织器官并对其定位采集。
3. 根据权利要求1所述的机器人装置，其特征在于，利用机器人系统颜色标记关节标记特殊标记，坐标转换包返回颜色标记及身体超声各位置信息，用机器人系统连接机器臂移动到身体各部位数据采集位置，从而精准定位内部组织器官，精准采集内部组织器官图像。
4. 根据权利要求1所述的机器人装置，其特征在于，利用机器人手臂，摄像头，采用机器人手臂连接超声探头采集图像，摄像头及传感器数据采集模块，利用机器人手臂搭载摄像头，采集人脸部，体外部位，关节图像数据，利用神经网络算法，识别人脸，身体外部位置，关节图像，计算返回值，大大提高了疾病的智能识别，智能体检数据异常识别效率。
5. 根据权利要求1所述的机器人装置，其特征在于，利用机器人与机器臂搭载的摄像头，传感器，探头连接，采用机器人手臂搭载探头采集图像，利用超声采集装置，采集器官数据，超声图像模块及图像分类模块，基于机器学习改进方法，建立超声部轮廓和内部组织器官的特征模型，利用机器学习改进方法智能分类脏器部位，从而指示机器臂移动的方向和位置，实现超声部轮廓和内部组织器官的分类，精准识别，智能定位，识别超声图像疾病的方法。
6. 超声图像数据采集分析识别一体化机器人，平台，其特征在于，基于SVM方法及不限于SVM方法的机器学习改进方法，建立超声部轮廓和内部组织器官的特征模型，利用SVM方法及不限于SVM方法的机器学习方法改进智能分类超声图像的脏器位置，从而指示机器臂移动的方向和位置，实现高效分类超声脏器图像轮廓和内部组织器官。
7. 超声图像数据采集分析识别一体化机器人，平台，其特征在于，利用神经网络算法改进的方法，建立图像识别的数学模型，疾病的表象特征，包括：对图像超声腔的图形特征进行提取，引导可变模型轮廓演化到目标特征，通过脏器轮廓，血管位置形状，通过图像颜色，灰度对比，病症特征识别脏器疾病提取图像的特征值（颜色，形状，轮廓)等，输入检测项目特征值，利用改进深度神经网络方法调整权值参数，得到输出值，依据输出值的范围来识别对应器官正常体征或疾病。
8. 超声图像数据采集分析识别一体化机器人，平台，其特征在于，利用机器人手臂及其动作规划设计方法，实现机器人手臂移动，抓取，有效动作向导，从而实现数据远端自主采集功能。