CN115778429A - 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统 - Google Patents

基于强化学习的机器人乳腺超声探头的自动调整方法及其系统 Download PDF

Info

Publication number
CN115778429A
CN115778429A CN202211500873.XA CN202211500873A CN115778429A CN 115778429 A CN115778429 A CN 115778429A CN 202211500873 A CN202211500873 A CN 202211500873A CN 115778429 A CN115778429 A CN 115778429A
Authority
CN
China
Prior art keywords
reinforcement learning
expert
pool
probe
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211500873.XA
Other languages
English (en)
Inventor
胡颖
赵保亮
姚亮
徐亚文
王琼
王子文
韩莹莹
张朋
李世博
齐晓志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202211500873.XA priority Critical patent/CN115778429A/zh
Publication of CN115778429A publication Critical patent/CN115778429A/zh
Priority to PCT/CN2023/133778 priority patent/WO2024114507A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及机器人乳腺超声技术领域，特别涉及基于强化学习的机器人乳腺超声探头的自动调整方法及其系统；本发明通过构建马尔可夫决策模型及专家示教经验池、实时交互经验池和训练数据池，实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据，然后根据强化学习的数据，将探头调整到目标姿态，达到高效地调整超声探头来获得高质量超声图像。

Description

基于强化学习的机器人乳腺超声探头的自动调整方法及其 系统
技术领域
本发明涉及机器人乳腺超声技术领域，特别涉及基于强化学习的机器人乳腺超声探头的自动调整方法及其系统。
背景技术
乳腺癌是一种有致命危险的疾病，每年都会有200多万病例确诊以及68.4万多人死亡；乳腺超声检查和X光检查可以实现对疾病的早发现早治疗。而超声检查在检测乳腺癌方面比X光更有效。此外，超声检查在价格、安全和实时显示重点区域图像方面更有优势。因此手持式超声在世界范围内被广泛用于乳腺癌筛查。然而，手持式超声操作高度依赖于医生的经验，而且其程序很耗时。长时间的扫描超声图像工作会使医生感到疲劳，从而降低乳腺癌的正确诊断率。机器人乳腺超声可以使超声检查标准化、简单化，从而减轻医生的工作量。
机器人乳腺超声一般分两步进行，第一步是基于个体乳腺差异的术前路径规划和通过机器臂实现自动路径跟踪，在乳房的垂直投影平面上，用几条平行且等距的线生成单独的边界，然后将其投影到乳房表面，即可得到最终的扫描路径。通常使用RGB-D图像或CT/MRI图像生成扫描路径，该路径应确保对乳房全面覆盖。在路径跟踪过程中，可以使用基于置信图的控制或基于力的控制，以保证探头接触到扫描区域；第二步是在重点区域(ROI)周围进行定点探头调整，这一步是机器人乳腺超声系统的基础，具有重要意义；针对机器人自主超声检查中的超声探头的定点调整，目前并没有成熟的解决方案。
发明内容
本发明主要解决的技术问题是提供基于强化学习的机器人乳腺超声探头的自动调整方法，其通过构建马尔可夫决策模型及专家示教经验池、实时交互经验池和训练数据池，实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据，然后根据强化学习的数据，将探头调整到目标姿态，达到高效地调整超声探头来获得高质量超声图像；基于强化学习的机器人乳腺超声探头的自动调整系统。
为解决上述技术问题，本发明采用的一个技术方案是：提供基于强化学习的机器人乳腺超声探头的自动调整方法，其中，包括如下步骤：
步骤S1、构建马尔可夫决策模型；
步骤S2、建立专家示教经验池、实时交互经验池和训练数据池；
步骤S3、实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据；
步骤S4、根据强化学习的数据，将探头调整到目标姿态。
作为本发明的一种改进，在步骤S2内，专家示教经验池用于存储专家示教数据，实时交互经验池用于存储强化学习生成的数据，训练数据池从专家示教经验池、实时交互经验池中取样数据。
作为本发明的进一步改进，在步骤S3内，利用预训练好的MobileNet-v2作为特征提取器，构建了三个任务神经网络，第一任务神经网络为对实时超声图像质量进行专家评估，第二任务神经网络为对超声图像是否存在病变进行分类，第三任务神经网络为对超声图像进行病变位置分割。
作为本发明的更进一步改进，第一任务神经网络的结构由两个卷积层(3×3核128通道和3×3核64通道)以及三个全连接层组成。
作为本发明的更进一步改进，第二任务神经网络的结构与第一任务神经网络的结构相同。
作为本发明的更进一步改进，以预训练的MobileNet-v2主干作为其编码器，解码器由五个上卷积块组成，通道数分别为256、128、64、32、16，训练时，每个超声图像会被重塑为
Figure BDA0003967553000000021
然后超声图像被映射为大小为14×14×256的特征图，然后让这些特征图做不同的卷积运算。
作为本发明的更进一步改进，在第三任务神经网络内，上采样核用于使分割图S的空间分辨率恢复到224×224像素。
作为本发明的更进一步改进，在步骤S3内，输出强化学习的数据包括终止状态、专家评分、是否病变、病灶分割。
基于强化学习的机器人乳腺超声探头的自动调整系统，包括：
构建模块，用于构建马尔可夫决策模型、专家示教经验池、实时交互经验池和训练数据池；
轻量级多任务神经模块，用于学习专家的分级能力来确定病变是否存在，并输出分割结果；
置信图处理器，用于获得超声探头和乳腺之间的接触信息并输出专家对超声图像质量的评分、病变信息、置信图、病变分割结果和强化学习的终端状态；
辅助分类器，用于学习分类且强化学习终端状态。
本发明的有益效果是：与现有技术相比，本发明通过构建马尔可夫决策模型及专家示教经验池、实时交互经验池和训练数据池，实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据，然后根据强化学习的数据，将探头调整到目标姿态，达到高效地调整超声探头来获得高质量超声图像。
附图说明
图1为本发明的自动调整方法的步骤框图；
图2为本发明的自动调整系统的框图；
图3为本发明实时超声图像预处理轻量级多任务的框图；
图4为本发明的超声探头动作姿态图；
图5为本发明的超声图像收集示意图。
具体实施方式
请参照图1至图5，本发明的基于强化学习的机器人乳腺超声探头的自动调整方法，包括如下步骤：
步骤S1、构建马尔可夫决策模型；
步骤S2、建立专家示教经验池、实时交互经验池和训练数据池；
步骤S3、实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据；
步骤S4、根据强化学习的数据，将探头调整到目标姿态。
本发明通过构建马尔可夫决策模型及专家示教经验池、实时交互经验池和训练数据池，实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据，然后根据强化学习的数据，将探头调整到目标姿态，达到高效地调整超声探头来获得高质量超声图像。
其中，在步骤S2内，专家示教经验池用于存储专家示教数据，实时交互经验池用于存储强化学习生成的数据，训练数据池从专家示教经验池、实时交互经验池中取样数据。
在步骤S3内，利用预训练好的MobileNet-v2作为特征提取器，构建了三个任务神经网络，第一任务神经网络为对实时超声图像质量进行专家评估，第二任务神经网络为对超声图像是否存在病变进行分类，第三任务神经网络为对超声图像进行病变位置分割；第一任务神经网络的结构由两个卷积层(3×3核128通道和3×3核64通道)以及三个全连接层组成；第二任务神经网络的结构与第一任务神经网络的结构相同。以预训练的MobileNet-v2主干作为其编码器，解码器由五个上卷积块组成，通道数分别为256、128、64、32、16，训练时，每个超声图像会被重塑为
Figure BDA0003967553000000041
然后超声图像被映射为大小为14×14×256的特征图，然后让这些特征图做不同的卷积运算；在第三任务神经网络内，上采样核用于使分割图S的空间分辨率恢复到224×224像素。
在步骤S3内，输出强化学习的数据包括终止状态、专家评分、是否病变、病灶分割。
本发明还提供了基于强化学习的机器人乳腺超声探头的自动调整系统，包括：
构建模块，用于构建马尔可夫决策模型、专家示教经验池、实时交互经验池和训练数据池；
轻量级多任务神经模块，用于学习专家的分级能力来确定病变是否存在，并输出分割结果；
置信图处理器，用于获得超声探头和乳腺之间的接触信息并输出专家对超声图像质量的评分、病变信息、置信图、病变分割结果和强化学习的终端状态；
辅助分类器，用于学习分类且强化学习终端状态。
具体地讲，本发明的自动调整系统内设有轻量级多任务神经网络模块(LiMuNN)、置信图处理器和一个用于决定强化学习终端状态的辅助分类器，LiMuNN用于学习专家的分级能力来确定病变是否存在，并输出分割结果；置信图处理器可以明确获得超声探头和乳腺之间的接触信息LiMuCA输出专家对超声图像质量的评分、病变信息、置信图、病变分割结果和强化学习的终端状态。
本发明利用预训练好的MobileNet-v2作为特征提取器，随后构建了三个任务神经网络，如图3所示，任务1对实时超声图像质量进行专家评估，网络结构由两个卷积层(3×3核128通道和3×3核64通道)以及三个全连接层组成，任务2对是否存在病变进行分类，其网络结构与任务1相同，任务3进行病变位置分割。采用基于U-Net的网络，以预训练的MobileNet-v2主干作为其编码器，解码器由五个上卷积块组成，通道数分别为256、128、64、32、16，训练时，每个超声图像会被重塑为
Figure BDA0003967553000000051
然后，它们被映射为大小为14×14×256的特征图，然后让这些特征图做不同的卷积运算。对于任务3即病变位置分割，上采样核用于使分割图S的空间分辨率恢复到224×224像素，LiMuCA的代价函数如下：
Figure BDA0003967553000000052
其中，
Figure BDA0003967553000000053
是标签预测的损失值，N是总样本数，j是超声图像中的像素位置，损失函数为交叉熵损失函数，而αk(k＝1，…，3)是不同任务的权重，通过梯度下降法寻求多任务网络的参数
Figure BDA0003967553000000061
Figure BDA0003967553000000062
在本发明内，置信图可以衡量超声图像在像素层面上的不确定性，它的像素C(i，j)是通过随机漫步从原始图像I中映射出来的，其范围从0到1，置信图可以突出超声图像的衰减和阴影部分，用于评估探头与皮肤的接触情况，置信图的置信度加权边界中心μ给出了一个衡量图像上如何划分的标准，并在两个方向上计算如下：
Figure BDA0003967553000000063
Figure BDA0003967553000000064
其中，
Figure BDA0003967553000000065
表示总置信度，平均置信度Cm表示传感器的哪一部分与皮肤接触，它的计算方法如下：
Figure BDA0003967553000000066
其中，Ki和Kj指的是置信图C的长度和高度。所提取的参数(μi，μi，Cm)被保存起来用于后续的辅助分类。
在本发明内，用于高度不平衡分类的辅助网络，由于目标状态与其他状态相比非常稀少，所以这个分类问题是高度不平衡的，很难通过普通方法来处理，BLS(CS-BLS)是一种高效的高度不平衡分类方法，在医疗应用中性能显著，因此，我们使用它来预测目标状态，在CS-BLS中，使用加权交叉熵损失函数，且有四种权重计算方法，四种CS-BLS方法(Log-CS-BLS,Lin-CS-BLS,Sqr-CS-BLS,和EN-CS-BLS)的权重计算方法列举如下：
Figure BDA0003967553000000071
Figure BDA0003967553000000072
其中，ωLog，ωLin，ωSqr，ωEN分别是四种方法的权重计算方法，N是不平衡训练集中的样本总数，Nc是训练集中的类的数量，c类的有效样本数εc被定义为样本体积，计算如下：
Figure BDA0003967553000000073
β∈[0，1)是一个超参数。
在本发明内网络的输入是通过LiMuCA和置信图对实时超声图像的统计，分别为专家评分y1,Cm,μi，μj,分类结果y2和实时分割结果的边界中心(Si，Sj)，(Si，Sj)的计算如下：
Figure BDA0003967553000000081
其中，
Figure BDA0003967553000000082
辅助网络的输出是一个二维向量，用于预测目标状态。
在本发明内，探头调整任务被建模为马尔可夫决策问题(MDP)，然后实时收集专家在乳房模型上的探头调整经验，最后，提出了基于专家示教指导的宽度强化学习算法(BRLfD)，以解决具有接近最优策略的MDP问题。
1)用于乳腺超声探头调整的马尔可夫决策模型(MDP)
该MDP中的组件定义如下：
1、行动空间，乳腺超声探头控制器可以通过压下或抬起，或在平面内向左或向右旋转来控制探头运动，图5定义了探头的四个动作，其中，动作0和动作2分别代表超声探头被压下和在一个恒定的高度被抬起。动作1和动作3分别代表探头向左和向右旋转到一个恒定的角度。
A＝{0，1，2，3} (8)
2、状态和观察量，当超声探头被调整到一个新的姿势时，可以在时间点t观察到一个新的超声图像It，然后将图像通过LiMuCA进行处理，提取输出并串联为状态st，在数据采集过程中，状态的随机性来自于被采集者的病变差异以及探头与乳房模型之间的干扰。
3、奖励函数，当强化学习智能体(agent)在时间步长t后进入一个新的状态st时，它也会收到一个奖励rt，代表当前帧的图像质量。乳腺超声图像质量有几个影响因素，考虑到从LiMuCA提取的状态，我们将其输出纳入奖励函数，奖励函数是以下因素的权重之和，第一项考虑了置信度分数的影响:
Figure BDA0003967553000000091
第二项是评估超声图像置信图的重心：
Figure BDA0003967553000000092
第三项是专家对当前状况Ot观察的评分：
Figure BDA0003967553000000093
最后一项是基于智能体观察的病变位置：
Figure BDA0003967553000000094
其中，r4中的两个项分别表示当前帧上是否存在病变。奖励函数中δ1，δ2，...，δ5是常数超参数。奖励函数设计如下：
Figure BDA0003967553000000095
其中，St表示当前状态，G表示超声图像的目标姿势。k1、k2、k3和k4是常量超参数。
在本明内，专家经验收集与提取，在BRLfD训练过程中，采用了16个不同的对象来获得BUS探头调整策略，在每个研究对象中，专家通过探头对乳房模型中的不同病灶进行实际扫描，通过带有被动标记的光学跟踪系统收集位置，以恒定的频率收集超声图像然后根据他们的实际姿势，归入乳腺超声探头调整姿态。
如图5所示，专家使用超声探头按压乳腺模型，系统采集到超声图像并保存在一个固定的工作站上，专家根据实时显示的图像进行调整以获取更高质量的图像，从图中可以发现，专家的策略不是最优的，在整个探头调整过程中存在多余的动作，图中第二行中的姿势3和4以及第三行中的姿势5和6是多余的，如果我们对探头调整非常熟悉，我们会采取使用动作3(按压)三次来进入目标姿态。BRLfD则可以解决这个问题，找到一个接近最优的路线，示教过程结束后，专家的示教经验被保存在专家示教池D中作为MDP样式(s，a，r，s′)。
在本发明内，基于专家示教指导的宽度强化学习算法(BRLfD)方法，宽度强化学习(BRL)是在DQN的基础上改进的，由于宽度学习(BLS)的应用,它在实际应用中非常有效。此外，考虑到专家经验的指导，我们提出了一种改进的BRL方法，即构建一个专家示教池D，并采用宽度学习来近似强化学习的动作状态值函数。
如图2所示，所提出的BRLfD包括两个BLS网络，用来近似动作状态函数QBLS和目标动作状态函数,行动状态函数
Figure BDA0003967553000000101
以及三个经验池，即人类示教池D、通过强化学习智能体的经验池M和训练池T，BRLfD的学习过程描述如下：
第一步是人类经验的收集，值得注意的是，对于每个对象，都会收集若干专家示教的轨迹，将它们输入到D中保存，直到它被满足。然后，使用训练池T中的样本来训练QBLS时，目标
Figure BDA0003967553000000111
的计算方法如下：
Figure BDA0003967553000000112
其中，W-是学习到的
Figure BDA0003967553000000117
的权重。当迭代指标大于L1，小于L2时，样本从D和M中取样，D的指标值如下所示。
Figure BDA0003967553000000114
在与乳腺模型交互时，采用
Figure BDA0003967553000000116
-贪心法选择动作：
at＝argmaxa∈AQ(st，a；W) (12)
其中，W是QBLS学习到的权重。
以下步骤是应用基于梯度的宽度学习来近似评估Q函数QBLS。首先，将状态s映射到特征空间Ei。
Ei＝φi(sWei+βei) (13)
其中，φi表示第i个线性激活函数，然后，将所有特征节点组合为En，En≡[E1，...，En]，n是特征节点集的数量，随后，En通过非线性激活函数ξj进行处理生成增强节点Hj。
Figure BDA0003967553000000121
然后，将所有增强节点组合为Hm，Hm≡[H1，...，Hm]，其中m是增强节点的组数,增强节点Hm和特征节点En组合为
Figure BDA0003967553000000122
Figure BDA0003967553000000123
所以，BLS的权重可以通过岭回归获得。
Figure BDA0003967553000000124
为了节省计算资源，在BRLfD中，采用梯度下降来获得BLS。
最后进行参数同步，即每k次QBLS训练，QBLS的结构与参数都会被复制到
Figure BDA0003967553000000125
中以完成同步。
总的来说，提出的L-PA方法，具体如下。
Figure BDA0003967553000000126
Figure BDA0003967553000000131
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，包括如下步骤：
步骤S1、构建马尔可夫决策模型；
步骤S2、建立专家示教经验池、实时交互经验池和训练数据池；
步骤S3、实时输入超声图像，采用宽度强化学习的方法，从而输出强化学习的数据；
步骤S4、根据强化学习的数据，将探头调整到目标姿态。
2.根据权利要求1所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，在步骤S2内，专家示教经验池用于存储专家示教数据，实时交互经验池用于存储强化学习生成的数据，训练数据池从专家示教经验池、实时交互经验池中取样数据。
3.根据权利要求2所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，在步骤S3内，利用预训练好的MobileNet-v2作为特征提取器，构建了三个任务神经网络，第一任务神经网络为对实时超声图像质量进行专家评估，第二任务神经网络为对超声图像是否存在病变进行分类，第三任务神经网络为对超声图像进行病变位置分割。
4.根据权利要求3所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，第一任务神经网络的结构由两个卷积层(3×3核128通道和3×3核64通道)以及三个全连接层组成。
5.根据权利要求4所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，第二任务神经网络的结构与第一任务神经网络的结构相同。
6.根据权利要求5所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，以预训练的MobileNet-v2主干作为其编码器，解码器由五个上卷积块组成，通道数分别为256、128、64、32、16，训练时，每个超声图像会被重塑为
Figure FDA0003967552990000011
然后超声图像被映射为大小为14×14×256的特征图，然后让这些特征图做不同的卷积运算。
7.根据权利要求6所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，在第三任务神经网络内，上采样核用于使分割图S的空间分辨率恢复到224×224像素。
8.根据权利要求7所述的基于强化学习的机器人乳腺超声探头的自动调整方法，其特征在于，在步骤S3内，输出强化学习的数据包括终止状态、专家评分、是否病变、病灶分割。
9.基于强化学习的机器人乳腺超声探头的自动调整系统，其特征在于，包括：
构建模块，用于构建马尔可夫决策模型、专家示教经验池、实时交互经验池和训练数据池；
轻量级多任务神经模块，用于学习专家的分级能力来确定病变是否存在，并输出分割结果；
置信图处理器，用于获得超声探头和乳腺之间的接触信息并输出专家对超声图像质量的评分、病变信息、置信图、病变分割结果和强化学习的终端状态；
辅助分类器，用于学习分类且强化学习终端状态。
CN202211500873.XA 2022-11-28 2022-11-28 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统 Pending CN115778429A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211500873.XA CN115778429A (zh) 2022-11-28 2022-11-28 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统
PCT/CN2023/133778 WO2024114507A1 (zh) 2022-11-28 2023-11-23 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211500873.XA CN115778429A (zh) 2022-11-28 2022-11-28 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统

Publications (1)

Publication Number Publication Date
CN115778429A true CN115778429A (zh) 2023-03-14

Family

ID=85442152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211500873.XA Pending CN115778429A (zh) 2022-11-28 2022-11-28 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统

Country Status (2)

Country Link
CN (1) CN115778429A (zh)
WO (1) WO2024114507A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114507A1 (zh) * 2022-11-28 2024-06-06 中国科学院深圳先进技术研究院 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104809465A (zh) * 2014-01-23 2015-07-29 北京三星通信技术研究有限公司 分类器训练方法、目标检测、分割或分类方法和装置
US10650286B2 (en) * 2017-09-07 2020-05-12 International Business Machines Corporation Classifying medical images using deep convolution neural network (CNN) architecture
US10832406B2 (en) * 2017-11-15 2020-11-10 President And Fellows Of Harvard College Quantitative pathology analysis and diagnosis using neural networks
CN110432930A (zh) * 2019-07-26 2019-11-12 德迈特医学技术（北京）有限公司 乳腺癌超声筛查系统及筛查方法
CN110728674B (zh) * 2019-10-21 2022-04-05 清华大学 图像处理方法及装置、电子设备和计算机可读存储介质
CN110675398B (zh) * 2019-10-22 2022-05-17 深圳瀚维智能医疗科技有限公司 乳腺超声筛查方法、装置及计算机设备
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113313265A (zh) * 2021-06-04 2021-08-27 南京航空航天大学 基于带噪声专家示范的强化学习方法
CN114159099A (zh) * 2021-11-08 2022-03-11 中国医学科学院北京协和医院 乳腺超声成像方法及设备
CN115778429A (zh) * 2022-11-28 2023-03-14 中国科学院深圳先进技术研究院 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024114507A1 (zh) * 2022-11-28 2024-06-06 中国科学院深圳先进技术研究院 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统

Also Published As

Publication number Publication date
WO2024114507A1 (zh) 2024-06-06

Similar Documents

Publication Publication Date Title
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
US10664979B2 (en) Method and system for deep motion model learning in medical images
JP4318465B2 (ja) 人物検出装置および人物検出方法
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN111932520A (zh) 医学图像显示方法、查看设备以及计算机设备
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
WO2024114507A1 (zh) 基于强化学习的机器人乳腺超声探头的自动调整方法及其系统
KR20190046471A (ko) 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
CN112206006A (zh) 自主评估甲状腺结节良恶性的智能辅助识别设备及方法
CN110459303B (zh) 基于深度迁移的医疗影像异常检测装置
CN114882301B (zh) 基于感兴趣区域的自监督学习医学图像识别方法及装置
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
JP4419543B2 (ja) 検出装置および検出方法
da Cruz et al. Enabling autonomous medical image data annotation: A human-in-the-loop reinforcement learning approach
Men et al. Multimodal-GuideNet: Gaze-probe bidirectional guidance in obstetric ultrasound scanning
Tao et al. Building a visual tracking system for home-based rehabilitation
CN118155868A (zh) 具有远程监控功能的风湿病诊疗系统及方法
CN114693790A (zh) 基于混合注意力机制的自动图像描述方法与系统
CN117876690A (zh) 一种基于异构UNet的超声影像多组织分割方法和系统
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
WO2022059539A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
WO2022209574A1 (ja) 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法
JP6996303B2 (ja) 医用画像生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination