CN111973228A - B超数据采集分析诊断一体化机器人，平台 - Google Patents

Abstract

B超数据采集，分析，诊断一体化机器人平台是利用人工智能机器人系统与B采集装置等机器人采集节点搭建的医疗大数据平台系统。利用机器臂与B超设备搭载采集技术，数据分析，结合机器人节点通信原理，实现机器人语音互动，远端控制机器手臂动作采集B超数据及自主采集，分析B超数据，智能诊断疾病等功能.通过机器人平台上搭载的摄像头和B超采集装置，识别体外器官位置和内部B超图像识别内脏器官相结合，双精准定位脏器内器官，高精度采集B超图像，分类B超器官图像，智能识别B超图像异常，智能诊断脏器内的常见疾病。利用深度神经网络方法及机器学习方法分类B超图像，分析，智能诊断内脏疾病。在机器人语音指引下，远端，自主采集医疗数据。远程问诊，采集分析智能诊断各脏器内常见疾病，有效排查异常症状。

Description

B超数据采集分析诊断一体化机器人，平台

技术领域：

本发明属于人工智能机器人健康体检设备技术领域，涉及医疗数据分析，医疗图像智能识别系统。

背景技术：

目前应用于健康体检领域；在检查过程，由于各种人为因素，很难有效肉B超图像识别，诊断B 超图像中等存在的疾病问题。体检效率低下，数据采集难，数据采集不精准等问题。

造成体检效率低，费时间，费精力等后果，针对体检效率低下，数据采集难，数据采集不精准等问题，利用机器人搭载的摄像头，B超探头等通过医疗图像数据智能监测B超腹腔的各项异常指标，有效识别B超内疾病，B超脏器异常，脏器图像分类，远程控制，自主采集，智能识别，分类医疗数据，筛查异常数据，分类识别，智能反馈异常和疾病结果，定期检查。健康检测，体检等问题。

发明内容：

本发明的目的是提供一种基于人工智能机器人的健康体检系统。人工智能机器人系统与各数据采集装置等节点相结合搭建的平台体检医疗数据采集分析机器人平台系统。

实现有效采集图像，B超探头采集心脏，身体内部脏器图像等数据。实现准确分析，分类各器官异常数据。实现准确识别B超内部脏器，心脏病等常见问题。

本发明的采用的技术方案：

人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：

机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头及医疗B超设备采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。

摄像头及传感器数据采集模块，所述数据采集模块用于采集B超医疗图像和摄像头等被测医疗数据.

语音模块，所述数据模块用于主控制系统与用户间交互和语音引导.

医疗数据分析，所述数据分析模块用于比照标准值分析医疗数据，发现医疗异常数据.

图像分类模块，所述数据模块用于分类B超医疗图像及脏器内B超图像.

B超图像模块，医疗B超设备数据采集模块，所述数据采集模块用于采集B超检测设备医疗数据和B超设备的医疗图像.

机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互.

本方案中，能够通过机器人的主控制系统，摄像头及传感器数据采集模块，B超模块等心脏检测设备医疗数据，及B超脏器内的医疗图像；并依据机器臂动作规划采集模块，语音模块，语音指令远端控制，加强机器人与用户间的交互，实现智能化采集。医疗数据分析，用于比照标准值分析医疗数据，智能发现医疗异常数据；图像分类模块，用于精准分类B超图像，智能定位B超位置及分类脏内

B超图像。提高了智能采集的精准度和医疗数据异常识别的准确度，提高了医疗图像分类，分析的远端采集，远端诊断的灵活性和可能性。

进一步，机器人ROS主系统用于实现机器人的主控制，数据采集，图像分类，语音交互，动作交互，实现智能采集，智能分析异常数据，智能诊断，远端诊断。

作为本发明的进一步改进，用摄像头识别人脸，颜色标记，体外器官采集区，用医疗检测设备及B超设备采集医疗数据及B超脏器内的医疗图像。

作为本发明的进一步改进，语音模块，包括语音指令远端采集，语音识别，用于主控制系统与用户间交互和语音引导。

作为本发明的又一步改进，动作模块，包括动作规划模块，动作采集模块，用于主控制系统与用户间动作交互，机器臂动作图像采集。

作为本发明的又一步改进，动作模块，包括动作规划模块，B超部采集动作规划，心脏医疗数据采集规划，用于主控制系统与用户间动作交互，机器臂动作图像采集。

手臂伸向腹部目标采集方法：

头部跟踪B超采集器：

STEP1：设置目标

STEP2：设置目标参数(目标名，左右臂关节)

STEP3：设置通信目标

STEP4：发布目标，参数(目标位姿，位姿标记)

STEP5：设置位姿标记

STEP6：设置目标对于头部id，目标位姿，方向值

STEP7：设置时间戳

STEP8：设置位姿标记为坐标原点和方向值

视觉摄像头与B超采集器通信：

Step1：初始点云节点

Step2：设置夹持器发布方节点参数(目标名，位姿标记)

Step3：设置摄像头订阅方节点参数(点云，最近点云list)

Step4：定义并取得最近点云list

Step5：定义最近的点并将其转化成点数组

Step6：计算COG

Step7：确认参数，返回点云信息

Step8：设置位姿方向值作为点对象

Step9：发布COG作为目标位姿

Step10：设置目标参数(位姿标记，时间戳，目标对于头部id，COG目标位姿，方向值)

Step11：发布夹持器目标节点

B超图像采集-心电采集方法：

Step1：设置位置和姿态的允许误差

Step2：当运动规划失败后，允许重新规划

Step3：设置目标位置的参考坐标系

Step4：设置每次运动规划的时间限制

Step5：设置医疗床，手臂，腿放置位置

设置医疗床的高度，手臂放置区位置，腿放置区位置

Step6：设置医疗床，手臂，腿位置体检诊DEMO (包括：医疗床ID，医疗床位姿bed.pose.position.x，bed.pose.position.y， bed.pose.position.z，bed.pose.oriententaion.w；左手臂ID，左手臂位姿， leftarm.pose.position.x，leftarm.pose.position.y，leftarm.pose.position.z，leftarm.pose.oriententaion.w；右手臂ID，右手臂，rightarm.pose.position.x，rightarm.pose.position.y，rightarm.pose.position.z，rightarm.pose.oriententaion.w；左腿ID，左腿位姿，leftleg.pose.position.x，leftleg.pose.position.y，leftleg.pose.position.z，leftleg.pose.orient entaion.w；石腿ID，右腿位姿)将以上参数加入体检诊疗DEMO.

Step7：将医疗床和手臂，腿位置设置颜色和AR标签

Step8：设置位置目标，即移动位置(人体位置标记间平躺颜色标签，左侧卧颜色标签，右侧卧颜色标签)

Step9：设置场景颜色

Step10：设置平躺颜色标签，左侧标签卧颜色，右侧卧标签颜色

Step11：设置颜色到DEMO中.包括：初始化规划场景对象，监测设置场景差异，设置颜色

发布颜色标签下平躺场景颜色，左侧卧场景颜色，右侧卧场景颜色

一种病患人脸识别，人体器官外部位置识别，颜色标记识别方法方法，所述方法包括以下步骤：

S1、建立人脸数学模型及个体脸图像识别的数学模型，

S2、抽取人脸特征，颜色标签及对应人体器官外部位置，包括颜色，人脸，关节等的特征

S3、提取人体外部器官位置图像的特征值(标记颜色值，肩，腰，下肢关节位置，人脸)等

S4、输入检测项目特征值

S5、改进权值优化器，通过图像训练，得到输出值

S6、依据输出结果人体器官外部采集的位置图像及器官采集区的外部位置信息

利用改进深度神经网络算法智能人脸图像，关节图像，颜色标记图像，精准定位器官外部采集位置，智能采集。

一种SVM分类算法改进方法，所述方法包括以下步骤：

S1、建立内部脏器数学模型

S2、抽取脏器内轮廓特征，包括颜色，形状，轮廓等的特征

S3、提取图像的特征值(颜色，形状，轮廓)等

S4、输入项目特征值

S5、改进SVM机器学习算法，计算得到输出值

S6、依据输出结果分类脏器图像，精准分类脏器包括乳房，肺，肝胆脾，肾脏等图像

利用改进SVM算法智能分类脏器图像，精准定位各脏器位置

一种深度神经网络算法器官模型下的疾病识别方法，所述方法包括以下步骤：

S1、输入对应器官的数学模型

S2、抽取疾病的特征包括器官图像的颜色，轮廓，纹理，常见器官对应疾病的图像特征，血管颜色值等的特征转化为输入数据

S3、建立图像的特征的数学模型，输入检测项目特征值.

S4、改进权值优化器，快速训练图像，得到输出值

S5、依据输出结果分类此种器官的疾病种类，精准识别疾病

综上，本发明的有益效果是：

本发明针对体检效率低，费时间，费精力，疾病识别度低等问题，通过机器人搭载的摄像头及B超探头采集数据解决现有技术中，体检效率低下，数据采集难，数据采集不精准等问题。

通过B超医疗图像和医疗数据各项医疗指标，识别很难有效肉B超识别的异常和疾病，诊断B超腔存在的器官模型下的疾病问题。高效识别与管理疾病。体检智能研究与开发平台能实现健康管理，有效检测，分析，识别心脏，乳房，腹腔脏器异常，实现智能诊断，远端诊断B超腔内等问题，及脏器内异常疾病等健康问题。

远端诊断脏器内异常和疾病，改善了体检的精确度和效率，智能检测，分析，诊断疾病。有效创建人工智能机器人+体检医疗体系。

附图说明：

图1是本申请实施例一中体检医疗数据采集分析机器人的结构示意图.

图2是本申请实施例一中摄像头.与B超图像采集模块示意图.

图3是人体B超采集位置定位图.

附图2标记：10-机器人主系统模拟装置，20-摄像头模拟装置，30--语音模块，40--雷达，50-B超图像采集模块，60-机器臂模块，100-人脸，300-对应人体器官外部位置.

附图3标记：200-颜色标签，400-关节。601-心脏，602-乳房，603-肺，604-肝胆脾，605-肾脏，606-子宫， 607-前列腺。

具体实施方式

本申请实施例通过提供一种体检机器人系统及分析医疗数据采集B超装置、器官分类疾病识别方法，解决现有技术中体检效率低下，数据远端，自主采集困难，数据采集不精准等问题的问题，实现了有效检测，数据分析，识别身体异常，实现智能诊断，诊断B超腔内疾病等问题，及脏器内异常疾病等健康问题。

本申请实施中的技术方案为解决上述技术问题的总体思路如下：

人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头采集模块，B超模块设备数据采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。摄像头，所述数据采集模块用于采集B超医疗图像，心脏等被测医疗数据；语音模块，所述数据模块用于主控制系统与用户间交互和语音引导；图像分类模块，所述数据模块用于B超图像模块，B超检查设备数据采集模块，所述数据采集模块用于采集B超检测设备医疗数据和B超设备的医疗图像；机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互。

为了更好的理解上述技术方案，下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例1：

如图1所示，一种人工智能机器人医疗数据采集，分析健康体检系统，机器人装置包括：

机器人的主控制系统10，所述模块用于实现机器人的主控制与摄像头模块，B超图像采集模块通信，主控制系统与机器臂搭载，B超检查设备数据采集模块通信，用于机器臂动作规划采集，与语音模块通信，用于机器人与用户间语音交互。

摄像头20，语音模块30，B超图像采集模块50，医疗B超用于采集B超脏器内的医疗图像。并依据机器

臂动作规划采集模块103，语音模块101，引导用户，加强机器人与用户间的交互，实现智能化采集。医疗数据分析，用于比照标准值分析医疗数据，智能发现医疗异常数据；图像分类模块，用于精准分类B 超，B超，B超医疗图像，智能定位B超位置及分类脏器内B超图像。

机器人的主控制系统10，所述机器人主控制系统与各模块间的通信所述模块用于实现机器人的主控制，与摄像头20及语音模块30，B超图像采集模块50通信，主控制系统与机器臂搭载，B超模块50，用于机器臂动作规划采集，与语音模块30通信，用于机器人与用户间语音交互。

其中，在本申请实施例中，所述机器人主控制系统通过ROS系统10与深度摄像头模拟单元20与所述机器臂模拟装置60的连接；以及所述模拟机器人主控制系统装置10与语音模块30的通信连接。以及所述模拟机器人主控制系统装置10与B超图像采集模块102通信被测的通信连接；以及所述模拟机器人主控制系统装置10与机器臂搭载，B超检查设备数据采集模块50的通信连接。以及所述模拟机器人主控制系统装置10与语音模块30的通信连接。本实施例中，所述机器人主控制系统与深度摄像头连接用于人脸， B超，图像采集用于语音交互，用于图像采集。

摄像头模拟单元20用于采集人脸，依据机器人主控制系统模拟装置10指令，发布图像数据，与图像识别节点通信，识别人脸，颜色标记，关节。用ROS机器人主控系统10下TF包返回颜色标记信息，关节信息，身体器官外部位置信息，机器臂60移动到人体外部部位采集位置。从而精准定位人脸，关节，B超采集区。利用ROS机器人系统下的MoveIt包，利用机器人主系统规划动作交互，实现数据采集.设计机器人动作，并针对摄像头等采集位置，实现人-机器人友善交互设，高效采集数据。

语音模块30用于用语音指令，语音识别，语音问诊。ROS机器人主控系统10与语音模块30通信实现语音控制主系统。由主系统10发送动作指令到机器臂动作规划采集模块60。语音模块用于语音识别，语音合成，机器人语音自主问诊，疾病知识解答。远端与家庭医生，专科医生语音问诊。

B超采集模块50用于采集B超脏器内的医疗图像，依据机器人主控制系统模拟装置10指令，发布医疗图像数据，用ROS机器人主控系统10下TF包返回身体各位置信息，机器臂60移动到身体内脏位置采集数据。从而精准定位脏器内器官。返回各脏器器官名称，图像，数据值。

机器臂动作规划采集模60用于移动采集B超的医疗图像，依据动作规划计算位置和时间，机器人主控制系统模拟装置10动作指令，依据摄像头模块20与器官识别程序节点通信，识别颜色标记，关节标记，识别确定B超采集脏器内器官位置。移动到外部器官位置。在机器人系统下采用MoveIt实现机器臂动作规划及数据采集。采用ROS机器人系统下MoveIt工程包规划机器臂动作，拟采用摄像头等搭载机器臂上，通过机器臂移动规划，动作交互等有效采集B超心脏，乳房，腹腔内脏器数据，实现精准数据采集。

实施例2：

在实施例1的基础上，提供几种B超定位，识别方法方法，如图3所示：

所述病患人脸识别，人体器官外部位置识别，颜色标记识别方法包括：

建立人脸100数学模型，个体脸图像识别的数学模型，抽取人脸特征，颜色标签200及对应人体器官外部位置300，包括颜色，人脸，关节400等的特征，提取人体外部器官位置图像的特征值(标记颜色值，肩，腰，下肢关节位置，人脸)等，输入检测项目特征值。改进权值优化器，通过图像训练，得到输出值。依据输出结果人体器官外部采集的位置图像及器官采集区的外部位置信息。利用改进深度神经网络算法智能识别人脸图像100，颜色标记图像200，精准定位器官外部采集位置300，关节400，智能采集数据。

所述的B超器官图像分类方法，所述方法包括：

针对对应人体器官外部位置300，建立B超内部采集区500。建立内部脏器600数学模型，抽取脏器内轮廓特征，包括颜色，形状，轮廓等的特征，提取图像的特征值(颜色，形状，轮廓)等，输入项目特征值。计算得到输出值。依据输出结果分类脏器图像，精准分类B超图像包括心脏601，乳房602，肺603，肝胆脾604，肾脏605，子宫606，前列腺607等图像。

所述的深度神经网络算法器官601-607的疾病识别方法包括：

B超器官图像输入对应器官601-607的数学模型，抽取输入图像的特征包括器官图像的颜色，轮廓，纹理，常见器官对应疾病的图像特征加速器，血管颜色值等的特征转化为输入数据，经过算法权值加速器及优化器计算，得到输出值，依据输出结果分类此种器官的疾病种类，精准识别疾病。

Claims (8)

1.B超数据采集分析诊断一体化机器人，平台其特征在于，采用人工智能机器人主控制机器人系统，通过机器臂搭载摄像头和智能采集身体B超等装置的医疗数据和医疗图像，对数据进行分析，对B超等图像进行分类，提高了体检及数据采集的效率。人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：

机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头及医疗B超设备采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。

摄像头及传感器数据采集模块，所述数据采集模块用于采集B超医疗图像和摄像头等被测医疗数据.

语音模块，所述数据模块用于主控制系统与用户间交互和语音引导.

医疗数据分析，所述数据分析模块用于比照标准值分析医疗数据，发现医疗异常数据.

图像分类模块，所述数据模块用于分类B超医疗图像及脏器内B超图像.

B超图像模块，医疗B超设备数据采集模块，所述数据采集模块用于采集B超检测设备医疗数据和B超设备的医疗图像.

机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互.

2.B超数据采集分析诊断一体化机器人，平台其特征在于，利用改进的人工神经网络方法实现人体B超分类器识别，实现智能定位身体组织器官，从而精准识别内部组织器官并对其定位采集。

3.根据权利要求1所述的机器人装置，其特征在于，利用机器人系统下的坐标转换包返回颜色标记及身体B超各位置信息，用机器人系统搭载机器臂移动到身体各部位数据采集位置，从而精准定位内部组织器官。

4.根据权利要求1所述的机器人装置，其特征在于，利用机器人手臂，摄像头，采用机器人手臂搭载探头采集图像，摄像头及传感器数据采集模块，利用机器人手臂搭载摄像头，采集人脸部，体外部位，关节图像数据，利用人工神经网络算法，识别人脸，身体外部位置，关节图像，计算返回值，大大提高了疾病的智能诊断，智能体检数据异常识别效率。

5.根据权利要求1所述的机器人装置，其特征在于，利用B超采集装置，采集腔内数据，B超图像模块及图像分类模块，基于SVM算法机器学习改进方法，建立B超部轮廓和内部组织器官的特征模型，利用SVM等机器学习改进方法智能分类脏器部位，从而指示机器臂移动的方向和位置。大大提高了B超部轮廓和内部组织器官的分类，精准识别，智能定位，提高了识别效率。B超内疾病的方法。

6.根据权利要求1所述的机器人装置，其特征在于，基于SVM算法机器学习改进方法，建立B超部轮廓和内部组织器官的特征模型，利用SVM等机器学习方法改进智能分类B超脏器位置，从而指示机器臂移动的方向和位置，大大提高了B超脏器图像轮廓和内部组织器官的分类，精准识别，智能定位，提高了识别效率。

7.根据权利要求1所述的机器人装置，其特征在于，利用人工神经网络算法改进方法，改进的人工神经网络算法，建立图像识别的数学模型，病的表象特征，包括：对图像B超腔的图形特征进行提取，引导可变模型轮廓演化到目标特征.通过脏器轮廓，血管位置形状，通过图像颜色，灰度对比，病症特征识别脏器疾病提取图像的特征值(颜色，形状，轮廓)等，输入检测项目特征值，利用改进深度神经网络调整权值参数，得到输出值，依据输出值的范围来识别对应器官正常体征或疾病。

8.根据权利要求1所述的机器人装置，其特征在于，利用机器人手臂及其动作规划设计方法，实现机器人手臂移动，抓取，有效动作向导，从而实现数据采集等功能。

Images