CN112206006A - 自主评估甲状腺结节良恶性的智能辅助识别设备及方法 - Google Patents

自主评估甲状腺结节良恶性的智能辅助识别设备及方法 Download PDF

Info

Publication number
CN112206006A
CN112206006A CN202011031769.1A CN202011031769A CN112206006A CN 112206006 A CN112206006 A CN 112206006A CN 202011031769 A CN202011031769 A CN 202011031769A CN 112206006 A CN112206006 A CN 112206006A
Authority
CN
China
Prior art keywords
benign
malignant
ultrasonic probe
module
nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011031769.1A
Other languages
English (en)
Inventor
付庄
费健
卢晨卓
赵艳娜
谢荣理
张俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011031769.1A priority Critical patent/CN112206006A/zh
Publication of CN112206006A publication Critical patent/CN112206006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种自主评估甲状腺结节良恶性的智能辅助识别设备及方法，包括模拟超声探头、模拟皮肤平台、控制模块、现场执行机构、DICOM工作站、结节良恶性分类模块、结节区域计算模块、可视化操作模块、报告输出设备。其中，进行超声扫描的方法为根据模拟超声探头在模拟皮肤平台上的运动，获取模拟超声探头的位姿、模拟超声探头和模拟皮肤平台间的正压力以及模拟超声探头在模拟皮肤平台表面的二维坐标，从而控制现场机械手进行超声扫描。甲状腺结节的良恶性分类方法为使用机器学习方法完成甲状腺结节超声图像的分类任务。本发明提供了辅助工作站，便于操作。本发明大大增加了操作者的临场感，并可以及时得到识别结果，为医生进一步诊断提供参考。

Description

自主评估甲状腺结节良恶性的智能辅助识别设备及方法
技术领域
本发明涉及机器人人机协作技术领域的一种医学图像分析、机器学习及顺应性控制技术，具体地，涉及一种自主评估甲状腺结节良恶性的智能辅助识别设备及方法。
背景技术
甲状腺结节是指在甲状腺内的肿块，可随吞咽动作随甲状腺而上下移动，是临床常见的病症，可由多种病因引起。甲状腺结节分为良性、恶行两种类型，就现阶段两种类型甲状腺结节的发病率分析，良性占95％左右，故于术前进行及时、准确、有效的诊断有利于减少过度治疗对患者的损伤，降低对医疗资源的损耗，以及降低甲状腺癌症的发病率。
检测甲状腺结节有很多种方式，其中首选方案是超声检测。医学超声成像技术通过组织结构对超声声束的不同声阻抗来获取不同的反射信号，从而判断生物组织的内部结构信息。作为四大医学成像技术之一，超声成像不但不会对人体造成辐射污染，而且计量累积误差小、成像速度快，在价格上还远低于其余三种医学成像技术，因此在临床上业已成为一种广泛使用的病症检查方式。
现有的超声诊断方式大多是由医生手持超声探头对患者的甲状腺进行超声波扫描得到甲状腺的超声图像，然后对其进行人工识别诊断。因此其具有诊断效率慢、医生工作量大、对医师的操作和使用技术要求较高等缺点。
而随着机器学习的发展，基于超声图像的甲状腺结节的识别诊断问题已经处于机器学习所能完成的任务范畴之内。图像分类问题是计算机视觉中的重要研究部分，自卷积神经网络诞生以来，研究者提出了诸多方法增加其识别准确率，如针对卷积层通过局部感受野、共享权重、上下采样来抑制平移、放缩和扭曲对图片判断的影响；针对池化层通过二次特征提取的方式减少特征数量，进而降低计算量，增强鲁棒性。此外，研究者也在不断优化卷积神经网络模型，如Alex Krizhevsky等人提出的AlexNet模型，采用了ReLU(Rectified Linear Unit)作为激活函数，增加了收敛速度，抑制了梯度消失的问题，并且加入了剪枝层(Dropout)，以抑制过拟合的发生，提升了测试的准确率。常用的激活函数除了ReLU外，还有tanh，sigmoid，SoftMax等。而由于神经网络训练时间长、训练结果受到数据量和参数初始位置影响，研究者们提出了迁移学习使网络的训练更加方便快捷。针对深度神经网络难以训练的问题，又提出了残差网络，并使用了批标准化操作对CNN进行优化。为了解决机器学习训练样本不足的问题，需要进行数据增强，而随着深度神经网络的发展，利用机器学习进行数据增强的方式也推陈出新，生成对抗网络为图像领域的数据增强提供了新的方法和手段,对机器视觉的研究起到了巨大的推动作用。
用机器学习算法对甲状腺结节DICOM文件进行辅助诊断的准确率达到了一定高度。机器人的运动精度和控制算法也达到了应用于医疗设备的水平。因此使用机器人完成自主超声扫描及诊断对甲状腺结节的及时有效诊断具有极大的意义。
经过检索发现：
公开号为CN206390926U的中国实用新型专利，公开了一种自动化超声诊断机没有安装力传感器，操作者使用机械臂控制柄进行扫描操作，操作者无法准确把握扫描力度，操作临场感差，操作不便，且不具备辅助诊断功能。
公开号为CN110575203A的中国发明专利申请中，由扫查装置自行运行对被检测部位进行扫查，并合成和存储三维图像，扫描路径相对固定，合成三维图像耗时较长，且不具备自主评估甲状腺结节的良恶性的功能。
公开号为CN110384519A的中国发明专利申请，公开了一种甲状腺结节良恶性的识别辅助设备，其机械结构相对固定，因而扫描范围相对固定，无法根据需求灵活调整扫描区域和角度等，且只具有扫描功能，无法自主进行良恶性的识别。
公开号为CN108577886A的中国发明专利申请中，操作者在远程端控制机器人让现场机器人复现其扫描动作，使得操作者临场感差，操作不便，亦不具备辅助诊断功能。
公开号为CN108994861A的中国发明专利申请中，采用触摸屏采集位置信息，使得模拟扫描介质过硬，操作者临场感差，而且没有现场音视频反馈，同样不具备辅助诊断功能。
公开号为CN109288540A的中国发明专利申请中，操作者利用圆形手柄进行模拟扫描操作，不能将操作者的手感实时反应到实际扫描中，临场感不高，不具备辅助诊断功能。
公开号为CN109998590A的中国发明专利申请中，使用可三维重构的体模增加操作者的临场感，但是操作前的三维扫描耗时大、硬件成本高而且实时重构对数据传输的实时性要求过高，此外机械臂上没有安装力传感器，难以准确复现操作者的手感到实际扫描中，也不具备辅助诊断功能。
公开号为CN111127391A的中国发明专利申请，公开了一种良恶性评估方法，基于甲状腺超声视频流识别甲状腺结节良恶性，对于超声视频的处理方法复杂，模型结构复杂，训练难度大，因而识别耗时长，且识别准确率无明显优势。
公开号为CN106056595A的中国发明专利申请，公开了另一种良恶性评估方法，但是该方法所需样本量大，前期截取、标注准备工作繁重，耗时长，且未研究模型的自动更新。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种自主评估甲状腺结节良恶性的智能辅助识别设备及方法。
本发明是通过以下技术方案实现的。
根据本发明的第一个方面，提供了一种自主评估甲状腺结节良恶性的智能辅助识别设备，包括：模拟超声探头、模拟皮肤平台、控制模块、现场执行机构、摄像头、DICOM工作站以及辅助工作站；其中：
所述模拟超声探头，用于模拟实际超声探头的运动，并将模拟中所述模拟超声探头的姿态旋转以及所述模拟超声探头与所述模拟皮肤平台之间的正压力发送至所述控制模块；
所述模拟皮肤平台，用于模拟实际超声探头在皮肤上的运动，并将所述模拟超声探头在所述模拟皮肤平台表面的二维坐标发送至所述控制模块；
所述控制模块，接收所述模拟超声探头和所述模拟皮肤平台发送的信息，并作为控制信号传递至所述现场执行机构；
所述现场执行机构，包括机械手和实际超声探头；其中，所述机械手接收所述控制模块发送的控制信号，将所述控制信号与所述实际超声探头扫描过程中受到的压力进行融合，形成所述实际超声探头的最终控制信号，并根据所述最终控制信号对所述实际超声探头进行控制；
所述摄像头，采集现场执行机构的扫描状况，并将所述扫描状况的音视频信息进行反馈，作为对所述模拟超声探头进行下一步的移动和旋转控制的参考信息；
所述DICOM工作站，获取所述实际超声探头扫描得到的甲状腺结节超声图像，并将所述超声图像进行反馈，作为对所述模拟超声探头进行下一步的移动和旋转控制的参考信；同时，将所述超声图像传递至辅助工作站；
所述辅助工作站，包括结节良恶性分类模块、结节区域计算模块和可视化操作模块；其中，所述结节良恶性分类模块接收所述可视化操作模块的调用信号，根据所述超声图像对结节的类型进行分类；所述结节区域计算模块接收所述可视化操作模块的调用信号，根据所述超声图像进行甲状腺结节区域计算；所述可视化操作模块用于提供可视化操作界面。
优选地，所述模拟超声探头包括探头本体、陀螺仪传感器和压电传感器；其中：所述陀螺仪传感器安装在所述探头本体的内部，用于采集所述探头本体的姿态信息；所述压电传感器安装在所述探头本体的表面，用于采集所述探头本体与所述模拟皮肤平台接触的正压力。
优选地，所述模拟皮肤平台包括模拟平台、红外线传感器和仿真橡胶皮肤；其中：所述红外线传感器安装在所述模拟平台的四周，用于采集所述模拟超声探头在所述模拟平台表面运动时的平面二维坐标；所述仿真橡胶皮肤安装在所述红外线传感器的下方，为所述模拟超声探头提供扫描的介质。
优选地，所述机械手包括：控制器、力传感器以及机械臂；其中：
所述力传感器安装在所述机械臂末端，用于实时反馈所述实际超声探头扫描过程中受到的压力；
所述控制器分别与所述控制模块、模拟超声探头、模拟皮肤平台、力传感器和机械臂连接，将所述控制模块输出的控制信号与所述力传感器得到的力信号进行融合，并将融合结果作为最终控制信号，对所述机械臂进行实时控制；
所述机械臂根据所述最终控制信号，驱动所述实际超声探头完成扫描任务；
所述实际超声探头通过医用超声仪器与所述DICOM工作连接，将所述超声图像传递至所述DICOM工作站。
优选地，所述控制器将所述控制信号和所述力信号进行融合，包括：
所述控制器接收所述控制信号，同时，所述力传感器采集实际超声探头与患者皮肤之间的正压力，并将该正压力与所述模拟超声探头与所述模拟皮肤平台之间的正压力进行对比，将所得误差转换成实际超声探头垂直于皮肤表面方向的位移，并与接收到的实际超声探头姿态旋转及其平行于皮肤表面方向的位移，组合成实际超声探头在下一个控制周期的目标位姿，利用得到的目标位姿作为最终控制信号对所述机械臂进行控制。
优选地，所述结节良恶性分类模块，读取超声图像，经过除噪和图像增强后，使用cRes-GAN特征提取模型提取甲状腺结节超声DICOM文件的深度特征，并融合传统特征提取方式得到的图像特征，将得到的图像特征通过机器学习分类算法进行分类，得到分类结果；其中，所述甲状腺结节超声DICOM文件包括甲状腺超声图像数据集中的样本图像和接收自DICOM工作站的实时超声图像。
优选地，所述结节区域计算模块，在已有甲状腺超声图像数据集的基础上，通过神经网络进行有监督学习计算甲状腺结节的区域，所述数据集中的每个甲状腺超声图像均具有对应的结节位置信息。
优选地，所述cRes-GAN特征提取模型包括：生成良恶性标签编码矩阵模块、合成模块、生成器模块、判别器模块以及特征提取模块；其中：
所述生成良恶性标签编码矩阵模块，针对良性和恶性两个标签，根据矩阵分别获得两个标签的向量表现形式，生成标签向量；所述标签向量通过高斯分布，生成噪声向量；
所述合成模块，将所述噪声向量与所述标签向量进行向量相乘获得生成器的输入；
所述生成器，将大小为100维的输入向量，经过一层全连接层并进行结构调整，得到维度为[128,32,32]的张量，所述张量经过两次上采样、卷积、批标准化以及LeakyReLU激活函数构成[1,128,128]的张量，再经过卷积层和tanh激活函数即获得生成图片；
所述判别器，其输入为所述生成图片和真实图片各自加入高斯噪声后的图片，其中，所述真实图片为所述甲状腺超声图像数据集中的样本图像；其输出为当前输入图像为真实图片的概率和当前输入图像的良恶性概率；所述判别器主要由1个卷积层、1个最大池化层、6个残差模块、1个平均池化层和2个并联的全连接层串联而成，其中每一个残差模块中包含2个卷积层；其中，所述卷积层的核大小为7x7，通道数量为64；每一个残差模块的卷积核大小都为3x3，六个残差模块的通道数分别为64、64、128、128、256、512；所述两个全连接层的输入层由每一个残差模块的输出特征拼接而成，共960维；
所述判别器中的两个全连接层分别为用于完成对于真实图片/生成图片的判断任务的真伪判断层和用于完成对于良性结节/恶性结节的判断任务的良恶判断层，真伪判断层输出一个值作为对于当前输入图像为真实图片的概率，良恶判断层输出一个二维数组，数组的每个值分别表示判断输入图像为该标签的概率；
所述特征提取模块输出甲状腺结节超声DICOM文件的深度特征，其中，所述甲状腺结节超声DICOM文件的深度特征为各残差模块输出的960维数据以及判断层输出的概率数值。
优选的，所述用于甲状腺超声图像良恶性分类的机器学习分类算法包括且不限于：随机森林、朴素贝叶斯、多层感知器、支持向量机。
优选地，对所述cRes-GAN特征提取模型和所述良恶性分类器模型进行训练，包括：
将甲状腺超声图像数据集中的样本图像划分为训练集和测试集，其中，每一张样本图像均具有其对应的良恶性标签以及真实或生成标签，利用划分的训练集和测试集对模型进行训练和测试，获得最优模型参数。
优选地，所述可视化操作模块，包括如下任意一个或任意多个单元：
录入核对相关人员信息单元，用于录入和核对相关人员信息，如患者身份信息、医生信息、扫描和识别日期等，保证相关人员信息正确；
调用结节良恶性分类模块单元，用于调用结节良恶性分类模块单元对甲状腺超声DICOM图像进行特征提取及良恶性分类；
结节区域圈画显示单元，包括自动圈画部分和手动圈画部分；其中，所述自动圈画部分调用结节区域计算模块，用于自动圈画超声图像上的甲状腺结节位置；所述手动圈画部分用于在自动圈画部分不准确的情况下通过点击超声图像合适位置圈画结节区域；
生成报告单元，用于报告的生成。
优选地，所述设备还包括报告输出设备，所述报告输出设备与所述可视化操作模块连接，并根据可视化操作模块的指令打印报告。
根据本发明的第二个方面，提供了一种上述任一项所述的自主评估甲状腺结节良恶性的智能辅助识别设备的智能辅助方法方法，包括：
观察扫描现场的实时音视频信息以及扫描得到的实时超声图像，操纵模拟探头在模拟皮肤平台上运动，进行扫描；
对扫描得到的实时超声图像进行良恶性类型分类，得到良恶性分类结果；
对扫描得到的实时超声图像进行结节区域圈画；
所述良恶性分类结果和结节区域圈画作为参考结论输出。
优选地，所述方法还包括：
单次过程结束后，自动更新所述良恶性分类过程。
优选地，所述良恶性分类过程的更新方法包括：
由分类结果或医生诊断结果生成良性和恶性标签，并与超声图像组成训练样本，加入数据库中，重新训练良恶性分类过程和测试良恶性分类过程，从而更新所述良恶性分类过程。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一种有益效果：
本发明提供的自主评估甲状腺结节良恶性的智能辅助识别设备及方法，采集包括探头位移、旋转和压力三个方面的信息，使得模拟超声扫描能更为真实得反应到现场实际扫描上，大大增加了操作者的临场感，使操作者在进行扫描时更为方便，解决了现有技术难以准确复现操作者的手感到实际扫描中的问题。
本发明提供的自主评估甲状腺结节良恶性的智能辅助识别设备及方法，通过压电传感器测量模拟探头和皮肤表面间的压力更为真实，并由机械臂根据力反馈来复现操作者的力度有助于提高超声成像的质量。
本发明提供的自主评估甲状腺结节良恶性的智能辅助识别设备及方法，由操作者控制探头的五个自由度，由机械臂根据力反馈自主控制余下的一个自由度，而无需现场医护人员的辅助，大大减轻了他们的负担。
本发明提供的自主评估甲状腺结节良恶性的智能辅助识别设备及方法，在超声扫描结束后可对甲状腺结节的良恶性进行自主评估，且分类准确率较高，所得结果为医生提供辅助参考，减轻医务人员负担，提高效率，及时给出报告。
本发明提供的自主评估甲状腺结节良恶性的智能辅助识别设备及方法，为医生提供可视化操作界面，易于操作。便于录入、审核和查看相关人员信息。圈画结节区域便于医生查看，同时提高识别准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中一优选实施例中自主评估甲状腺结节良恶性的智能辅助识别设备总体连接示意图；
图2为本发明中一优选实施例中自主评估甲状腺结节良恶性的智能辅助识别设备的相关模块组成示意图；
图3为本发明中一优选实施例中甲状腺结节超声DICOM文件的深度特征提取过程示意图；
图4为本发明一优选实施例中cRes-GAN模型结构示意图；
图5本发明中一优选实施例中智能辅助方法流程图；
图中标记分别表示为：1为模拟超声探头、2为模拟皮肤平台、3为服务器、4为显示器、5为报告输出设备、6为DICOM工作站、7为医用超声仪器、8为控制器、9为机械臂、10为力传感器、11为实际超声探头、12为摄像头、13为患者。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
为了实现甲状腺结节的扫描和辅助识别一体化，并填补现有技术中的不足，本发明一实施例提供了一种自主评估甲状腺结节良恶性的智能辅助识别设备，该设备包括：模拟超声探头、模拟皮肤平台、控制模块、现场执行机构、摄像头、DICOM工作站以及辅助工作站；其中：
模拟超声探头，用于模拟实际超声探头的运动，并将模拟中模拟超声探头的姿态旋转以及模拟超声探头与模拟皮肤平台之间的正压力发送至控制模块；
模拟皮肤平台，用于模拟实际超声探头在皮肤上的运动，并将模拟超声探头在模拟皮肤平台表面的二维坐标发送至控制模块；
控制模块，接收模拟超声探头和模拟皮肤平台发送的信息，并作为控制信号传递至现场执行机构；
现场执行机构，包括机械手和实际超声探头；其中，机械手接收控制模块发送的控制信号，将控制信号与实际超声探头扫描过程中受到的压力进行融合，形成实际超声探头的最终控制信号，并根据最终控制信号对实际超声探头进行控制；
摄像头，采集现场执行机构的扫描状况，并将扫描状况的音视频信息进行反馈，作为对模拟超声探头进行下一步的移动和旋转控制的参考信息；
DICOM工作站，获取实际超声探头扫描得到的甲状腺结节超声图像，并将超声图像进行反馈，作为对模拟超声探头进行下一步的移动和旋转控制的参考信；同时，将超声图像传递至辅助工作站；
辅助工作站，包括结节良恶性分类模块、结节区域计算模块和可视化操作模块；其中，所述结节良恶性分类模块接收可视化操作模块的调用信号，根据所述超声图像对结节的类型进行分类；所述结节区域计算模块接收可视化操作模块的调用信号，根据所述超声图像进行甲状腺结节区域计算(即对甲状腺结节区域进行圈画)；所述可视化操作模块用于提供可视化操作界面。
作为一优选实施例，模拟超声探头包括探头本体、陀螺仪传感器和压电传感器；其中：陀螺仪传感器安装在探头本体的内部，用于采集探头本体的姿态信息；压电传感器安装在探头本体的表面，用于采集探头本体与模拟皮肤平台接触的正压力。
作为一优选实施例，模拟皮肤平台包括模拟平台、红外线传感器和仿真橡胶皮肤；其中：红外线传感器安装在模拟平台的四周，用于采集模拟超声探头在模拟平台表面运动时的平面二维坐标；仿真橡胶皮肤安装在红外线传感器的下方，为模拟超声探头提供扫描的介质。
作为一优选实施例，机械手包括：控制器、力传感器以及机械臂；其中：
力传感器安装在机械臂末端，用于实时反馈实际超声探头扫描过程中受到的压力；
控制器分别与控制模块、模拟超声探头、模拟皮肤平台、力传感器和机械臂连接，将控制模块输出的控制信号与力传感器得到的力信号进行融合，并将融合结果作为最终控制信号，对机械臂进行实时控制；
机械臂根据最终控制信号，驱动实际超声探头完成扫描任务；
实际超声探头通过医用超声仪器与DICOM工作连接，将超声图像传递至DICOM工作站。
作为一优选实施例，控制器将控制信号和力信号进行融合，包括：
控制器接收控制信号，同时，力传感器采集实际超声探头与患者皮肤之间的正压力，并将该正压力与模拟超声探头与模拟皮肤平台之间的正压力进行对比，将所得误差转换成实际超声探头垂直于皮肤表面方向的位移，并与接收到的实际超声探头姿态旋转及其平行于皮肤表面方向的位移，组合成实际超声探头在下一个控制周期的目标位姿，利用得到的目标位姿作为最终控制信号对机械臂进行控制。
作为一优选实施例，结节良恶性分类模块，读取超声图像，经过除噪和图像增强后，使用cRes-GAN特征提取模型提取甲状腺结节超声DICOM文件的深度特征，并融合传统特征提取方式得到的图像特征，将得到的图像特征通过机器学习分类算法进行分类，得到分类结果；其中，甲状腺结节超声DICOM文件包括甲状腺超声图像数据集中的样本图像和接收自DICOM工作站的实时超声图像。
作为一优选实施例，结节区域计算模块，在已有甲状腺超声图像数据集的基础上，通过神经网络进行有监督学习计算甲状腺结节的区域，所述数据集中的每个甲状腺超声图像均具有对应的结节位置信息，其中，结节位置可由专业医生圈画，结节位置信息包括圈画结节的圆形的圆心坐标和圆形半径。
作为一优选实施例，cRes-GAN特征提取模型包括：生成良恶性标签编码矩阵模块、合成模块、生成器模块、判别器模块以及特征提取模块；其中：
生成良恶性标签编码矩阵模块，针对良性和恶性两个标签，根据矩阵分别获得两个标签的向量表现形式，生成标签向量；所述标签向量通过高斯分布，生成噪声向量；
合成模块，将噪声向量与标签向量进行向量相乘获得生成器的输入；
生成器，将大小为100维的输入向量，经过一层全连接层并进行结构调整，得到维度为[128,32,32]的张量，张量经过两次上采样、卷积、批标准化以及LeakyReLU激活函数构成[1,128,128]的张量，再经过卷积层和tanh激活函数即获得生成图片；
判别器，其输入为生成图片和真实图片各自加入高斯噪声后的图片，其中真实图片为甲状腺超声图像数据集中的样本图像；其输出为当前输入图像为真实图片的概率和当前输入图像的良恶性概率；判别器主要由1个卷积层、1个最大池化层、6个残差模块、1个平均池化层和2个并联的全连接层串联而成，其中每一个残差模块中包含2个卷积层；其中，卷积层的核大小为7x7，通道数量为64；每一个残差模块的卷积核大小都为3x3，六个残差模块的通道数分别为64、64、128、128、256、512；两个全连接层的输入层由每一个残差模块的输出特征拼接而成，共960维；
判别器中的两个全连接层分别为用于完成对于真实图片/生成图片的判断任务的真伪判断层和用于完成对于良性结节/恶性结节的判断任务的良恶判断层，真伪判断层输出一个值作为对于当前输入图像为真实图片的概率，良恶判断层输出一个二维数组，数组的每个值分别表示判断输入图像为该标签的概率；
特征提取模块输出甲状腺结节超声DICOM文件的深度特征，其中，甲状腺结节超声DICOM文件的深度特征为各残差模块输出的960维数据以及判断层输出的概率数值。
作为一优选实施例，机器学习分类算法包括但不限于：随机森林、朴素贝叶斯、多层感知器、支持向量机。
作为一优选实施例，对cRes-GAN特征提取模型和良恶性分类器模型进行训练，包括：
将甲状腺超声图像数据集中的样本图像划分为训练集和测试集，其中，每一张样本图像均具有其对应的良恶性标签以及真实或生成标签，利用划分的训练集和测试集对模型进行训练和测试，获得最优模型参数。
作为一优选实施例，可视化操作模块，包括如下任意一个或任意多个单元：
录入核对相关人员信息单元，用于录入和核对相关人员信息，如患者身份信息、医生信息、扫描和识别日期等，保证相关人员信息正确；
调用结节良恶性分类模块单元，用于调用结节良恶性分类模块单元对甲状腺超声DICOM图像进行特征提取及良恶性分类；
结节区域圈画显示单元，包括自动圈画部分和手动圈画部分；其中，自动圈画部分调用结节区域计算模块，用于自动圈画超声图像上的甲状腺结节位置；手动圈画部分用于在自动圈画部分不准确的情况下通过点击超声图像合适位置圈画结节区域；
生成报告单元，用于报告的生成。
作为一优选实施例，该设备还包括报告输出设备，报告输出设备与可视化操作模块连接，并根据可视化操作模块的指令打印报告。
在该设备中，控制模块接收模拟超声探头和模拟皮肤平台发送的信息，并作为控制信号传递给现场执行机构，来实现对实际超声探头的对应控制，即：根据姿态旋转和正压力控制实际超声探头的姿态旋转以及实际超声探头与患者皮肤间的正压力；根据模拟皮肤平台的二维坐标来控制实际超声探头在患者皮肤表面的平面运动；可视化操作模块在软件启动后载入经过训练的机器学习模型，包括图片特征提取网络、结节良恶性分类器、区域位置检测网络几个模型；可视化操作模块中的结节边缘圈画显示可由软件自动完成，若圈画位置不够理想，软件亦支持点击手动确认位置，为了保证识别正确性，建议将结节完全圈入，圈画结束后可再次进行识别，可根据圈画情况重新进行良恶性识别
在本发明部分实施例中：
DICOM工作站还用于接收、储存、处理超声图像。
可视化操作模块，为医生提供可视化操作界面，具有录入核对相关人员信息、调用结节良恶性分类模块、结节区域圈画显示、生成报告等功能，为医生提供辅助参考，最终由医生综合给出结论。
可视化操作模块设置“输出报告”按钮，由操作者单击执行输出命令，输出为单独报告，其文件类型由操作者自己定义，推荐的存储方式是.pdf格式，即要在报告名字后添加.pdf字样；其内容包括了患者信息、医生信息、识别日期、圈画出结节区域的超声图像、参考结论等。
报告输出设备，接收相关人员信息、参考结论、超声图片等信息并打印输出报告。
本发明另一实施例提供了一种本发明上述实施例中任一项的自主评估甲状腺结节良恶性的智能辅助识别设备的智能辅助方法方法，包括如下步骤：
观察扫描现场的实时音视频信息以及扫描得到的实时超声图像，操纵模拟探头在模拟皮肤平台上运动，进行扫描；
对扫描得到的实时超声图像进行良恶性类型分类，得到良恶性分类结果；
对扫描得到的实时超声图像进行结节区域圈画；
良恶性分类结果和结节区域圈画作为参考结论输出。
作为一优选实施例，该方法还包括：
单次过程结束后，自动更新良恶性分类过程。
作为一优选实施例，良恶性分类过程的更新方法包括：
由分类结果生成良性和恶性标签，并与超声图像组成训练样本，加入数据库中，重新训练良恶性分类过程和测试良恶性分类过程，从而更新良恶性分类过程。
下面结合附图对本发明上述实施例所提供的技术方案进一步详细描述如下。
如图1和图2所示，为本发明一实施例中的设备构成以及模块连接示意图，实现了甲状腺结节超声图像的扫描和辅助识别一体化。具体的，该实施例中的设备包括：模拟操作探头1、模拟皮肤平台2、服务器3、显示器4、报告输出设备5、DICOM工作站6、医用超声仪器7、控制器8、机械臂9、力传感器10、实际超声探头11、摄像头12。其中，服务器3中包括控制模块、辅助工作站、音视频信息管理模块。
如图1和图2所示，该实施例中甲状腺结节的扫描操纵方法为：操作员控制模拟操作探头1，模拟超声探头1输出端连接服务器3，将其实时姿态和压力信息输出到控制模块；模拟皮肤平台2输出端连接服务器3，将模拟超声探头1在其上的实时平面运动坐标输出到控制模块；服务器3的控制模块的输入端连接模拟超声探头1和模拟皮肤平台2以及，输出端连接控制器8，由服务器3的控制模块向控制器8发送控制信号；控制器8的输入端连接服务器3和力传感器10，输出端连接机械臂9，通过控制机械臂9操纵实际超声探头11进行超声扫描。
具体的，模拟超声探头1用于模拟实际超声探头的运动，同时，在操作者操作过程中，模拟超声探头1实时将以下信号传给服务器3的控制模块：模拟超声探头1的姿态旋转，模拟超声探头1与模拟皮肤平台2之间的正压力；这两种信号分别用于控制实际超声探头11的姿态旋转，以及实际超声探头11与患者13皮肤间的正压力。
类似的，模拟皮肤平台2用于模拟实际超声探头在皮肤上的运动，同时，在操作者操作过程中，模拟皮肤平台2实时模拟超声探头1在模拟皮肤平台2表面的二维坐标(平面运动坐标)，并传给服务器3的控制模块，用于控制实际超声探头11在患者13皮肤表面的平面运动。
具体的，力传感器10采集实际超声探头11和患者13皮肤间的正压力，控制器8将接收到的服务器3中控制模块发出的控制信号和力传感器10实时采集的力信号融合，将融合结果作为机械臂9的最终控制信号，实现对机械臂9进行实时控制。
该实施例中的具体控制方法为：将力传感器10实时采集得到的正压力和控制信号中的模拟超声探头1与模拟皮肤平台2之间的正压力进行对比，将所得两者误差通过阻抗控制方式转换成实际超声探头11垂直于皮肤表面方向的位移，并和接收到的控制信号(实际超声探头11的姿态旋转，以及其平行于皮肤表面方向的位移)组合成实际超声探头11在下一个控制周期的目标位姿，利用得到的目标位姿作为最终控制信号，对机械臂9进行控制；此处目标位姿是六维矢量，其中从控制信号中得到五个维度信息，即三个旋转姿态信息(x、y、z方向)和两个平行于皮肤表面的平面位移信息，从正压力误差转换得到一个维度信息，即一个垂直于皮肤表面的平面位移信息，组合在一起成为六维目标位姿矢量，用来控制机械臂。
如图1和图2所示，该实施例中扫描状况和超声图像反馈方法为：摄像头12连接服务器3的音视频信息管理模块，采集扫描现场的音视频信息，服务器3连接显示器4，操作员可在显示器4上查看扫描现场的实时音视频信息；DICOM工作站6输入端连接医用超声仪器7，实际超声探头11扫描得到的超声图像由医用超声仪器7发送给DICOM工作站处理并存储，DICOM工作站连接显示器4，供操作员查看实时扫描超声图像。操作员根据反馈信息决定下一步操作。
如图1和图2所示，该实施例中自主评估甲状腺结节良恶性的智能辅助识别设备的智能辅助方法为：DICOM工作站通过本地传输或云传输的方式将超声图像发送至设置于服务器3的辅助工作站，该辅助工作站接收并存储超声图像，其包括了结节良恶性分类模块和可视化操作模块；其中结节良恶性分类模块读取超声图像，并通过机器学习算法对其进行良恶性分类、圈画结节区域等；可视化操作模块则为操作员提供可视化操作界面，包括：录入核对相关人员信息、良恶性、结节区域自动圈画、结节区域手动圈画、给出参考结论、输出报告等功能；报告输出设备接收可视化操作模块中的命令和信息，包括相关人员信息、参考结论、超声图片，根据打印命令输出报告。
具体的，可视化操作模块设置“输出报告”按钮，由操作者单击执行输出命令，输出为单独报告，其文件类型由操作者自己定义，推荐的存储方式是.pdf格式，即要在报告名字后添加.pdf字样。
如图3所示，为本发明一实施例中的甲状腺结节超声DICOM文件的深度特征提取过程示意图。其中包括了甲状腺结节超声图像的预处理、特征提取以及良恶性分类，单次识别过程结束后，生成训练样本加入数据集，更新模型从而不断提高分类准确率。
具体的，甲状腺结节超声图像的预处理包括非局部平均除噪和直方图变换。其中，非局部平均除噪算法为构建以目标像素为中心、大小为21×21的矩阵作为目标像素的搜索区域，对于搜索区域内的像素灰度值，计算其与目标像素的灰度值相似性，并以此为权重进行加权求和，作为新的灰度值。直方图变换是一种图像增强方法，首先记录图像中像素的直方图情况，而后进行归一化操作，最后将归一化后的直方图通过线性映射得到新的像素值。
具体的，甲状腺结节超声图像的特征提取包括基于Gabor滤波的整体特征提取和cRes-GAN特征提取。其中，基于Gabor滤波的整体特征提取算法在Gabor滤波算法的基础上，计算滤波后的纹理均值与方差，从而完成作为图片的整体特征。针对灰度图像，使用对应的二维Gabor核。该函数是由二维高斯核以及复数三角函数共同构成的滤波函数：
Figure BDA0002703965860000141
其中σx、σy，和θ是高斯函数特征值，σx与σy的比值表现为该高斯核的空间纵横比，θ表现为旋转角度，λ作为复数三角函数的关键参数，体现的是其尺度大小。
Gabor核函数由实部和虚部构成，使用虚函数进行滤波后可以提取图像特征,按照下式设置Gabor核函数的参数：
Figure BDA0002703965860000142
构造30个不同的Gabor核函数，而后对图像进行滤波，继而计算均值与方差以获取图片整体特征。
cRes-GAN为条件残差生成对抗网络，如图4所示，为其模型结构。首先生成良恶性标签编码矩阵，对于良性和恶性两个标签，根据矩阵可以分别获得其向量表现形式。通过高斯分布，生成噪声向量，通过与标签向量进行向量相乘获得生成器的输入。cRes-GAN的生成器输入值为大小为100维的向量，经过一层全连接层并进行结构调整，可以得到维度为[128,32,32]的张量。该张量经过两次上采样、卷积、批标准化，以及LeakyReLU激活函数构成[1,128,128]的张量，再经过卷积层和tanh激活函数即获得生成图片。此后，将生成器生成的图片和真实图片各自加入高斯噪声后输入判别器。cRes-GAN的判别器由1个卷积层，1个最大池化层，6个残差模块，1个平均池化层和2个并联的全连接层串联而成。每一个残差模块中包含2个卷积层。卷积层的核大小为7x7，通道数量为64。残差网络结构由六个残差网络模块组成，每个模块的卷积核大小都为3x3，其通道数分别为64、64、128、128、256、512。两个全连接层的输入层由不同通道数的残差模块每个模块的输出特征拼接而成，共960维。判别器中的两个全连接层分别完成对于真实图片/生成图片的判断任务(真伪判断层)，和良性结节/恶性结节的判断任务(良恶判断层)。真伪判断层输出一个值作为对于当前输入图像为真实图片的概率，良恶判断层输出一个二维数组，数组的每个值分别表示判断输入图像为该标签的概率。提取cRes-GAN中各残差模块的输出以及分类层的输出作为cRes-GAN特征。
如图3所示，本实施例中甲状腺结节的良恶性分类的分类器为随机森林分类器。具体的，经过训练，最终采用以25为最大深度，并以25为决策树最大迭代次数的随机森林进行分类，达到最大正确率为95％。
如图3所示，分类结束后，由辅助软件给出结节良恶性分类结果供医生参考，医生给出最终结论。本实例可以利用最终的结论，生成良恶性标签，也可以直接采用分类结果生成良恶性标签，与DICOM图像组成一个样本，加入样本数据库内。使用增加样本后的数据库重新训练和测试模型，并更新cRes-GAN模型和随机森林模型。
使用有监督的神经网络分类模型进行甲状腺结节的区域识别。所用数据集中每一个甲状腺结节图像文件均有对应的圆形位置标签，包括圆心横坐标、圆心纵坐标和圆形半径。
如图5所示，为本发明一实施例中所提供的方法的使用流程图。具体步骤如下：
S1：录入核对相关人员信息。
相关人员信息包括患者身份信息、医生信息、扫描和识别日期等。
S2：操纵模拟超声探头进行扫描。
观察扫描现场的实时音视频信息、扫描得到的实时超声图像，操纵模拟探头在模拟皮肤平台上运动。
S3：完成扫描。
完成扫描后，操作员发出扫描完成信号，结束扫描过程。
S4：自主良恶性评估。
进入良恶性评估可视化操作界面，检查相关人员信息，单击“良恶性评估”按钮开始进行良恶性分类。分类结束后，在可视化操作界面显示良恶性结果。
S5：自动圈画结节区域。
由系统自动进行结节区域的圈画，并在可视化操作界面显示圈画结果图像。
S6：操作者判断圈画情况。
若圈画正确，则执行S8。否则，执行S7。
S7：手动圈画。
在自动圈画结果不佳的情况下，单击“手动圈画”，而后在超声图像中选择正确的结节位置完成圈画。
S8：圈画完成，保存圈画图像。
S9：输出参考结论
将良恶性分类结果和结节区域圈画作为参考结论输出。
S10：生成并保存报告。
S11：输出报告。
操作者在可视化操作模块点击“输出报告”按钮，以.pdf格式存储报告，并通过报告输出设备打印输出纸质版报告。
S12：自动更新模型。
医生结合参考结论给出最终结论，根据最终结论生成良恶性标签，与超声图像组成训练样本，加入数据库，并自动进行训练、测试和更新。
具体地，上述方法主要包括超声扫描操纵过程和甲状腺结节良恶性评估过程。
超声扫描操纵过程，包括：
S1：录入核对相关人员信息，包括患者身份信息、医生信息、扫描和识别日期等；
S2：操作者手持模拟超声探头并将其置于模拟皮肤平台上，将模拟超声探头摆放到指定位姿后按下开始按钮，此时模拟超声探头和模拟皮肤平台所采集的控制信号作为初始值存储于控制模块；控制模块同时保存实际超声探头此时各项对应的状态，将两者进行同步；
S3：扫描状况和超声图像以设定的周期回传给操作者的客户端，并通过显示器呈现给操作者；操作者根据显示的现场扫描状况判断模拟超声探头的下一步移动的距离和旋转的角度，根据显示的超声图像判断模拟超声探头进一步压紧或放松对皮肤的挤压；模拟超声探头和模拟皮肤平台采集操作者的下一步动作后，由控制模块按照设定的周期发送相应的控制信号给现场执行机构进行动作的复现以完成扫描过程；
扫描完成后，按下按钮终止扫描，控制模块回传确认信息并下达停止指令给控制器，控制器则停止机械臂运动。
进一步地，该过程包括：控制器利用接收的控制信号控制实际超声探头的三个旋转自由度和两个平行于患者皮肤表面的平移自由度，而通过力传感器反馈的压力信号自主控制垂直于患者皮肤表面的平移自由度。
本实施例中模拟超声探头和模拟皮肤平台中，实时采集得到操作者对模拟超声探头的操作，进而将其发送到现场，通过控制模块接收和传递到达控制器，使得实际超声探头按照操作者的动作进行驱动，来复现操作者的扫描动作；其中，操作者对模拟超声探头的旋转以及平行于模拟皮肤的平移被直接复现到实际超声探头上，而垂直于模拟皮肤的平移被模拟探头对模拟皮肤的正压力替代，使得实际超声探头将复现操作者手持探头挤压皮肤的力度，也促使实际超声探头和皮肤间的挤压力处于一定范围内而让扫描过程更为安全；同时，现场执行机构将实时反馈扫描现场的音视频流和超声图像，操作者根据图像做出反应来完成整个扫描过程。
甲状腺结节良恶性评估过程，包括：
完成超声扫描后，扫描得到的超声图像存储于DICOM工作站，由DICOM工作站通过本地传输或云传输的方式发送至良恶性模块，良恶性模块读取收到的超声图像，而后通过图像除噪和图像增强的预处理操作，剔除因光照差别和图像噪声而可能产生的干扰；
S4：进行甲状腺结节超声图像特征提取及融合；
使用机器学习分类器完成分类任务从而给出良恶性结果，分类器例如：多层感知器、随机森林、基于多项式分布先验的朴素贝叶斯、基于高斯核的支持向量机、基于CART树的Adaboost集成分类等；
S5：识别超声图像中甲状腺结节的位置，对结节区域位置进行圈画。
进一步地，使用非局部平均除噪算法。构建以目标像素为中心、大小为21×21的矩阵作为目标像素的搜索区域，对于搜索区域内的像素灰度值，计算其与目标像素的灰度值相似性，并以此为权重进行加权求和，作为新的灰度值。
进一步地，比较四种图像增强算法：对数变换、伽马矫正、直方图变换和拉普拉斯变换。通过在DICOM图像样本上进行实验，择优选取。
进一步地，图像增强算法的实验优选标准结合两种方法：通过算法所得图像直接感受算法效果和从数据层面进行实验比较不同算法对于分类准确率的影响。
进一步地，特征为融合传统特征提取算法提取的特征和cRes-GAN模型提取的特征。
cRes-GAN模型首先生成良恶性标签编码矩阵，对于良性和恶性两个标签，根据矩阵分别获得其向量表现形式。通过高斯分布生成噪声向量，通过与标签向量进行向量相乘获得生成器的输入。生成器将生成的图片和真实图片各自加入高斯噪声后输入判别器。判别器的良恶判断曾输出一个二维数组，二维数组的每个值分别表示判断输入图像为该标签的概率。
进一步地，生成器的卷积模块中，使用LeakyREeLU作为激活函数帮助收敛，在输出前使用Tanh代替LeakyREeLU作为激活函数。
进一步地，传统特征提取算法方面，比较使用梯度方向直方图算法、局部二值化算法、基于词袋的尺度不变特征转换算法、基于词袋的加速鲁棒特征算法和基于Gabor滤波的整体特征提取算法提取的特征，择优选取。
进一步地，对传统特征提取算法从两个角度进行实验：通过算法所得图像直观感受算法效果和从数据层面进行实验比较不同算法对于分类准确率的影响。结合两种实验结果，从而选取更合适的特征提取算法。
甲状腺结节的区域识别为使用圆形圈出结节位置。所用数据集中每一个甲状腺结节图像文件均有对应的圆形位置标签，包括圆心横坐标、圆心纵坐标和圆形半径。甲状腺结节的区域识别问题抽象为监督学习下的回归问题，通过神经网络计算输出圆心的横、纵坐标以及圆的半径。
进一步地，将工作过程中产生的超声图像和对应的结论加入样本数据库，用于模型的更新。结论包括：甲状腺结节良恶性、结节区域位置圈画结果等。通过增加样本不断提高模型的分类准确率和位置圈画正确性。
本发明上述实施例提供的自主评估甲状腺结节良恶性的智能辅助识别设备及方法。根据模拟超声探头在模拟皮肤平台上的运动，获取模拟超声探头的位姿、模拟超声探头和模拟皮肤平台间的正压力以及模拟超声探头在模拟皮肤平台表面的二维坐标，从而控制现场机械手进行超声扫描。甲状腺结节的良恶性分类方法为使用机器学习方法完成甲状腺结节超声图像的分类任务。并提供了辅助工作站，便于操作。本发明上述实施例所提供的设备记方法，大大增加了操作者的临场感，并可以及时得到识别结果，为医生进一步诊断提供参考。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (12)

1.一种自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，包括：模拟超声探头、模拟皮肤平台、控制模块、现场执行机构、摄像头、DICOM工作站以及辅助工作站；其中：
所述模拟超声探头，用于模拟实际超声探头的运动，并将模拟中所述模拟超声探头的姿态旋转以及所述模拟超声探头与所述模拟皮肤平台之间的正压力发送至所述控制模块；
所述模拟皮肤平台，用于模拟实际超声探头在皮肤上的运动，并将所述模拟超声探头在所述模拟皮肤平台表面的二维坐标发送至所述控制模块；
所述控制模块，接收所述模拟超声探头和所述模拟皮肤平台发送的信息，并作为控制信号传递至所述现场执行机构；
所述现场执行机构，包括机械手和实际超声探头；其中，所述机械手接收所述控制模块发送的控制信号，将所述控制信号与所述实际超声探头扫描过程中受到的压力进行融合，形成所述实际超声探头的最终控制信号，并根据所述最终控制信号对所述实际超声探头进行控制；
所述摄像头，采集现场执行机构的扫描状况，并将所述扫描状况的音视频信息进行反馈，作为对所述模拟超声探头进行下一步的移动和旋转控制的参考信息；
所述DICOM工作站，获取所述实际超声探头扫描得到的甲状腺结节超声图像，并将所述超声图像进行反馈，作为对所述模拟超声探头进行下一步的移动和旋转控制的参考信；同时，将所述超声图像传递至辅助工作站；
所述辅助工作站，包括结节良恶性分类模块、结节区域计算模块和可视化操作模块；其中，所述结节良恶性分类模块接收所述可视化操作模块的调用信号，根据所述超声图像对结节的类型进行分类；所述结节区域计算模块接收所述可视化操作模块的调用信号，根据所述超声图像进行甲状腺结节区域计算；所述可视化操作模块用于提供可视化操作界面。
2.根据权利要求1所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述模拟超声探头包括探头本体、陀螺仪传感器和压电传感器；其中：所述陀螺仪传感器安装在所述探头本体的内部，用于采集所述探头本体的姿态信息；所述压电传感器安装在所述探头本体的表面，用于采集所述探头本体与所述模拟皮肤平台接触的正压力；和/或
所述模拟皮肤平台包括模拟平台、红外线传感器和仿真橡胶皮肤；其中：所述红外线传感器安装在所述模拟平台的四周，用于采集所述模拟超声探头在所述模拟平台表面运动时的平面二维坐标；所述仿真橡胶皮肤安装在所述红外线传感器的下方，为所述模拟超声探头提供扫描的介质。
3.根据权利要求1所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述机械手包括：控制器、力传感器以及机械臂；其中：
所述力传感器安装在所述机械臂末端，用于实时反馈所述实际超声探头扫描过程中受到的压力；
所述控制器分别与所述控制模块、模拟超声探头、模拟皮肤平台、力传感器和机械臂连接，将所述控制模块输出的控制信号与所述力传感器得到的力信号进行融合，并将融合结果作为最终控制信号，对所述机械臂进行实时控制；
所述机械臂根据所述最终控制信号，驱动所述实际超声探头完成扫描任务；
所述实际超声探头通过医用超声仪器与所述DICOM工作连接，将所述超声图像传递至所述DICOM工作站；
所述控制器将所述控制信号和所述力信号进行融合，包括：
所述控制器接收所述控制信号，同时，所述力传感器采集实际超声探头与患者皮肤之间的正压力，并将该正压力与所述模拟超声探头与所述模拟皮肤平台之间的正压力进行对比，将所得误差转换成实际超声探头垂直于皮肤表面方向的位移，并与接收到的实际超声探头姿态旋转及其平行于皮肤表面方向的位移，组合成实际超声探头在下一个控制周期的目标位姿，利用得到的目标位姿作为最终控制信号对所述机械臂进行控制。
4.根据权利要求1所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述结节良恶性分类模块，读取超声图像，经过除噪和图像增强后，使用cRes-GAN特征提取模型提取甲状腺结节超声DICOM文件的深度特征，并融合传统特征提取方式得到的图像特征，将得到的图像特征通过机器学习分类算法进行分类，得到分类结果；其中，所述甲状腺结节超声DICOM文件包括甲状腺超声图像数据集中的样本图像和接收自DICOM工作站的实时超声图像。
5.根据权利要求1所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述结节区域计算模块，在已有甲状腺超声图像数据集的基础上，通过神经网络进行有监督学习计算甲状腺结节的区域，所述数据集中的每个甲状腺超声图像均具有对应的结节位置信息。
6.根据权利要求4所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述cRes-GAN特征提取模型包括：生成良恶性标签编码矩阵模块、合成模块、生成器模块、判别器模块以及特征提取模块；其中：
所述生成良恶性标签编码矩阵模块，针对良性和恶性两个标签，根据矩阵分别获得两个标签的向量表现形式，生成标签向量；所述标签向量通过高斯分布，生成噪声向量；
所述合成模块，将所述噪声向量与所述标签向量进行向量相乘获得生成器的输入；
所述生成器，将大小为100维的输入向量，经过一层全连接层并进行结构调整，得到维度为[128,32,32]的张量，所述张量经过两次上采样、卷积、批标准化以及LeakyReLU激活函数构成[1,128,128]的张量，再经过卷积层和tanh激活函数即获得生成图片；
所述判别器，其输入为所述生成图片和真实图片各自加入高斯噪声后的图片，其输出为当前输入图像为真实图片的概率和当前输入图像的良恶性概率；所述判别器主要由1个卷积层、1个最大池化层、6个残差模块、1个平均池化层和2个并联的全连接层串联而成，其中每一个残差模块中包含2个卷积层；其中，所述卷积层的核大小为7x7，通道数量为64；每一个残差模块的卷积核大小都为3x3，六个残差模块的通道数分别为64、64、128、128、256、512；所述两个全连接层的输入层由每一个残差模块的输出特征拼接而成，共960维；
所述判别器中的两个全连接层分别为用于完成对于真实图片/生成图片的判断任务的真伪判断层和用于完成对于良性结节/恶性结节的判断任务的良恶判断层，真伪判断层输出一个值作为对于当前输入图像为真实图片的概率，良恶判断层输出一个二维数组，数组的每个值分别表示判断输入图像为该标签的概率；
所述特征提取模块输出甲状腺结节超声DICOM文件的深度特征，其中，所述甲状腺结节超声DICOM文件的深度特征为各残差模块输出的960维数据以及判断层输出的概率数值。
7.根据权利要求4所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述机器学习分类算法包括：随机森林、朴素贝叶斯、多层感知器、支持向量机。
8.根据权利要求4所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，对所述cRes-GAN特征提取模型和所述结节良恶性分类器模型进行训练，包括：
将甲状腺超声图像数据集中的样本图像划分为训练集和测试集，其中，每一张样本图像均具有其对应的良恶性标签以及真实或生成标签，利用划分的训练集和测试集对模型进行训练和测试，获得最优模型参数。
9.根据权利要求1所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，所述可视化操作模块，包括如下任意一个或任意多个单元：
录入核对相关人员信息单元，用于录入和核对相关人员信息，保证相关人员信息正确；
调用结节良恶性分类模块单元，用于调用结节良恶性分类模块单元对甲状腺超声DICOM图像进行特征提取及良恶性分类；
结节区域圈画显示单元，包括自动圈画部分和手动圈画部分；其中，所述自动圈画部分调用结节区域计算模块，用于自动圈画超声图像上的甲状腺结节位置；所述手动圈画部分用于在自动圈画部分不准确的情况下通过点击超声图像合适位置圈画结节区域；
生成报告单元，用于报告的生成。
10.根据权利要求1-9任一项所述的自主评估甲状腺结节良恶性的智能辅助识别设备，其特征在于，还包括报告输出设备，所述报告输出设备与所述可视化操作模块连接，并根据可视化操作模块的指令打印报告。
11.一种权利要求1-10任一项所述的自主评估甲状腺结节良恶性的智能辅助识别设备的智能辅助方法，其特征在于，包括：
观察扫描现场的实时音视频信息以及扫描得到的实时超声图像，操纵模拟探头在模拟皮肤平台上运动，进行扫描；
对扫描得到的实时超声图像进行良恶性类型分类，得到良恶性分类结果；
对扫描得到的实时超声图像进行结节区域圈画；
所述良恶性分类结果和结节区域圈画作为参考结论输出。
12.根据权利要求11所述的智能辅助方法，其特征在于，还包括：
单次过程结束后，自动更新所述良恶性分类过程，包括：
由分类结果或医生诊断结果生成良性和恶性标签，并与超声图像组成训练样本，加入数据库中，重新训练良恶性分类过程和测试良恶性分类过程，从而更新所述良恶性分类过程。
CN202011031769.1A 2020-09-27 2020-09-27 自主评估甲状腺结节良恶性的智能辅助识别设备及方法 Pending CN112206006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011031769.1A CN112206006A (zh) 2020-09-27 2020-09-27 自主评估甲状腺结节良恶性的智能辅助识别设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011031769.1A CN112206006A (zh) 2020-09-27 2020-09-27 自主评估甲状腺结节良恶性的智能辅助识别设备及方法

Publications (1)

Publication Number Publication Date
CN112206006A true CN112206006A (zh) 2021-01-12

Family

ID=74052025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011031769.1A Pending CN112206006A (zh) 2020-09-27 2020-09-27 自主评估甲状腺结节良恶性的智能辅助识别设备及方法

Country Status (1)

Country Link
CN (1) CN112206006A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级系统及方法
CN113743463A (zh) * 2021-08-02 2021-12-03 中国科学院计算技术研究所 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
CN113951934A (zh) * 2021-11-30 2022-01-21 上海深至信息科技有限公司 一种甲状腺扫查方法及系统
CN115177210A (zh) * 2022-07-05 2022-10-14 重庆医科大学 一种光声断层成像系统及方法
WO2023061113A1 (zh) * 2021-10-14 2023-04-20 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
CN117219267A (zh) * 2023-11-09 2023-12-12 北京大学第三医院（北京大学第三临床医学院） 模拟诊断恶性高热方法、装置、设备和介质
CN113951934B (zh) * 2021-11-30 2024-06-04 上海深至信息科技有限公司 一种甲状腺扫查方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107693050A (zh) * 2017-11-23 2018-02-16 复旦大学附属中山医院 一种远程医学超声检查系统以及方法
CN107749308A (zh) * 2017-10-18 2018-03-02 北京航空航天大学 一种为甲状腺超声诊断app提供支撑的后台管理系统
CN109998590A (zh) * 2019-04-15 2019-07-12 深圳华大智造科技有限公司 远程超声操作系统及远程超声操作系统的控制方法
WO2019232346A1 (en) * 2018-05-31 2019-12-05 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules
CN110993087A (zh) * 2019-11-06 2020-04-10 上海交通大学 一种远程超声扫描操纵设备及方法
CN111481231A (zh) * 2019-01-29 2020-08-04 昆山华大智造云影医疗科技有限公司 超声检测控制方法、装置、及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749308A (zh) * 2017-10-18 2018-03-02 北京航空航天大学 一种为甲状腺超声诊断app提供支撑的后台管理系统
CN107693050A (zh) * 2017-11-23 2018-02-16 复旦大学附属中山医院 一种远程医学超声检查系统以及方法
WO2019232346A1 (en) * 2018-05-31 2019-12-05 Mayo Foundation For Medical Education And Research Systems and media for automatically diagnosing thyroid nodules
CN111481231A (zh) * 2019-01-29 2020-08-04 昆山华大智造云影医疗科技有限公司 超声检测控制方法、装置、及计算机可读存储介质
CN109998590A (zh) * 2019-04-15 2019-07-12 深圳华大智造科技有限公司 远程超声操作系统及远程超声操作系统的控制方法
CN110993087A (zh) * 2019-11-06 2020-04-10 上海交通大学 一种远程超声扫描操纵设备及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李语心，赵艳娜，谢荣理，刘浚嘉，付庄，王尧，张俊，费健: "面向甲状腺结节良恶分类的cRes-GAN算法", 《机械与电子》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927808A (zh) * 2021-03-01 2021-06-08 北京小白世纪网络科技有限公司 一种基于甲状腺超声图像的结节分级系统及方法
CN113743463A (zh) * 2021-08-02 2021-12-03 中国科学院计算技术研究所 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
CN113743463B (zh) * 2021-08-02 2023-09-26 中国科学院计算技术研究所 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
WO2023061113A1 (zh) * 2021-10-14 2023-04-20 合肥合滨智能机器人有限公司 便携式远程超声扫查系统与安全超声扫查柔顺控制方法
CN113951934A (zh) * 2021-11-30 2022-01-21 上海深至信息科技有限公司 一种甲状腺扫查方法及系统
CN113951934B (zh) * 2021-11-30 2024-06-04 上海深至信息科技有限公司 一种甲状腺扫查方法及系统
CN115177210A (zh) * 2022-07-05 2022-10-14 重庆医科大学 一种光声断层成像系统及方法
CN117219267A (zh) * 2023-11-09 2023-12-12 北京大学第三医院（北京大学第三临床医学院） 模拟诊断恶性高热方法、装置、设备和介质
CN117219267B (zh) * 2023-11-09 2024-02-06 北京大学第三医院（北京大学第三临床医学院） 模拟诊断恶性高热方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
CN112206006A (zh) 自主评估甲状腺结节良恶性的智能辅助识别设备及方法
KR101565311B1 (ko) 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
CN102460471B (zh) 用于胸腔层析x射线合成成像中的计算机辅助肺结节检测的系统
JP2021520939A (ja) 適応的超音波スキャニング
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
EP3657433B1 (en) Medical image data
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
CN112151169B (zh) 一种仿人操作的超声机器人自主扫描方法及系统
CN111242921A (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
US11980491B2 (en) Automatic recognition method for measurement point in cephalo image
CN111820948B (zh) 胎儿生长参数测量方法、系统及超声设备
CN110163907B (zh) 胎儿颈部透明层厚度测量方法、设备及存储介质
US20210100530A1 (en) Methods and systems for diagnosing tendon damage via ultrasound imaging
Karkanis et al. Image recognition and neuronal networks: Intelligent systems for the improvement of imaging information
US20240062498A1 (en) Systems and methods for rendering models based on medical imaging data
CN112132805B (zh) 一种基于人体特征的超声机器人状态归一化方法及系统
WO2022059539A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
JP6996303B2 (ja) 医用画像生成装置
US20230137369A1 (en) Aiding a user to perform a medical ultrasound examination
CN115035207A (zh) 胎儿颅脑标准切面生成方法、装置和超声成像显示系统
CN111862091A (zh) 一种基于表型测量早期发现综合征的系统
CN111696085A (zh) 一种肺冲击伤伤情现场快速超声评估方法及设备
WO2024114507A1 (zh) 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统
Pant et al. X-rays imaging analysis for early diagnosis of thoracic disorders using capsule neural network: a deep learning approach
Paul et al. EchoTrace: A 2D Echocardiography Deep Learning Approach for Left Ventricular Ejection Fraction Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210112

WD01 Invention patent application deemed withdrawn after publication