CN108784636B - 一种基于深度强化学习的人工智能胶囊内镜检查方法及系统 - Google Patents

一种基于深度强化学习的人工智能胶囊内镜检查方法及系统 Download PDF

Info

Publication number
CN108784636B
CN108784636B CN201810555536.8A CN201810555536A CN108784636B CN 108784636 B CN108784636 B CN 108784636B CN 201810555536 A CN201810555536 A CN 201810555536A CN 108784636 B CN108784636 B CN 108784636B
Authority
CN
China
Prior art keywords
reinforcement learning
deep reinforcement
capsule endoscope
value
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810555536.8A
Other languages
English (en)
Other versions
CN108784636A (zh
Inventor
于红刚
吴练练
宫德馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN201810555536.8A priority Critical patent/CN108784636B/zh
Publication of CN108784636A publication Critical patent/CN108784636A/zh
Application granted granted Critical
Publication of CN108784636B publication Critical patent/CN108784636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度强化学习的人工智能胶囊内镜检查方法及系统，该方法包括：胶囊内镜采集胃腔环境的图像，提取图像的特征值；将图像特征值输入预先训练的深度强化学习模型中，得到可执行的最大价值动作；利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；自主运动动作完成后，根据实际完成情况获取回报值；并判定胶囊内镜是否到达终点位置。本发明旨在通过训练，使胶囊内镜能在复杂的高度动态的胃腔环境中，作出正确的决策；能控制胶囊内镜在复杂的胃腔环境中进行自主运动，智能化地、高效地、不遗漏地实现对全胃的检查。

Description

一种基于深度强化学习的人工智能胶囊内镜检查方法及系统
技术领域
本发明涉及医疗器械领域，尤其涉及一种基于深度强化学习的人工智能胶囊内镜检查方法及系统。
背景技术
我国是胃病大国，尤其是胃癌，发病率和死亡率一直居高不下。现有技术中,内镜检查在消化系统疾病诊断中具有重要意义。
传统的电子胃镜作为一项侵入性检查，在实施过程中，会刺激患者咽喉，给患者带来生理不适，患者的依从性降低，耽误病情的早期诊断；此外，对医生操作水平和经验要求较高，培训一名优秀的消化内镜医生周期长耗费大；新世纪初，胶囊内镜登上舞台。患者只需吞入一颗小小的胶囊，就能在消化道的蠕动下历经整个消化过程，便于医生了解患者消化道内具体情况。胶囊内镜需要拍摄到胃底，贲门，胃体中上部，胃体下部，胃角，胃窦等部位的各个象限，才能避免漏诊。但是，胃是一个空腔器官，体积较大，胶囊内镜通过速度快，很难完整拍摄到上述部位的图像，存在许多观察盲区；磁控胶囊内镜是一种由医师推动操控杆遥控改变外部磁场来操纵胃内胶囊内镜的诊断工具，实现小步长(2mm)平移和小角度(3°)转动，提高了胃腔检查的完整度，已应用于少数高端体检中。但磁场对胶囊内镜的磁力取决磁铁距离胶囊的角度和距离，这要求操控者有丰富的经验能适应这些变化。
我们拟在现有胶囊内镜检查技术中，加入深度强化学习算法和动作控制模块，使内镜检查不再需要医生操作，能自己做出正确决策，不遗漏地完成全胃检查，减少医生工作量，节约时间、金钱和脑力成本。此外，本发明提供的检查技术安全舒适，检查过程无痛无创，易于被患者接受，有望尽早发现消化道疾病。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度强化学习的人工智能胶囊内镜检查方法及系统。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种基于深度强化学习的人工智能胶囊内镜检查方法，该方法包括以下步骤：
步骤S10、胶囊内镜通过摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，将其作为运动前状态；
步骤S20、将图像特征值输入预先训练的深度强化学习模型中，得到运动前状态下，胶囊内镜可执行的最大价值动作；
步骤S30、利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；
步骤S40、自主运动动作完成后，根据实际完成情况获取回报值；并判定胶囊内镜是否到达终点位置，若是，则本次检查结束；若否，则返回步骤S10重复执行，直至到达终点位置。
进一步地，本发明的步骤S10中提取图像的特征值的方法具体为：利用卷积神经网络对图像进行卷积处理，得到卷积特征。
进一步地，本发明的步骤S20中深度强化学习模型的训练方法具体为：
获取训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；
胶囊内镜通过摄像头采集图像，处理图像，提取特征值，将此作为运动前状态s，任意选择一个动作a执行；若胶囊内镜执行动作a到达或接近期望位置，给予相应的奖励值；反之，若胶囊内镜执行动作a后偏离期望位置，则给予相应的惩罚值；
将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmax Q’，其中γ为折扣因子；
其中，反向传播过程采用梯度下降法进行迭代更新；Q值计算方法使用贝尔曼方程；执行动作的选择采用ε-greedy方式，随机选取动作。
进一步地，本发明的步骤S20中深度强化学习模型的训练方法还包括：
根据选择的算法，设计深度神经网络，构建合适的深度强化学习模型，算法包括：DQN算法、A3C算法和UNREAL算法。
进一步地，本发明的步骤S40中获取的回报值用于对深度强化学习模型进行优化，其方法具体为：
自主运动动作完成后，根据期望和实际完成情况获取回报值，并对深度强化学习模型参数进行更新，不断调整优化深度强化学习模型；
在进行胶囊内镜实际检查时，训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行，将实际操作中的运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r作为经验，供已经训练好的深度强化学习模型进行学习更新，即重复步骤S20的操作，不断完善深度强化学习模型。
进一步地，本发明的步骤S20中的深度强化学习模型的表达形式为：
深度强化学习模型即构建损失函数，训练过程就是对损失函数的优化，损失函数的表达形式为：
L(w)＝E[(r+γmaxQ’-Q)2]
其中，r执行对应动作a后的回报值；γ为折扣因子；将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmax Q’。
本发明提供一种基于深度强化学习的人工智能胶囊内镜检查系统，该系统包括以下模块：
状态获取模块：用于根据胶囊内镜的摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，进而获得当前状态；
深度强化学习模块：用于获取训练数据，将其输入深度强化学习模块，训练深度强化学习模型；并将特征值输入深度强化学习模型进行处理，得到胶囊内镜可执行的最大价值对应的动作；
控制指令生成与执行模块：利用深度强化学习模块输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，调整胶囊内镜的体外梯度线圈和匀场线圈的电压，改变磁场强度，控制胶囊内镜在复杂的胃腔环境中进行自主运动；
通信模块：用于实现状态获取模块、深度强化学习模块、控制指令生成与执行模块之间的连接，并实现它们之间的数据通信。
进一步地，本发明的状态获取模块包括：
图像采集单元：通过胶囊内镜搭载的摄像头，拍摄检查环境的图像，用于获取胶囊内镜当前状态；
特征值提取单元：根据图像采集单元采集的环境图像，利用卷积神经网络处理，提取特征值，并将特征值输入到深度强化学习模块。
进一步地，本发明的深度强化学习模块包括：
训练数据存储单元：用于获取并存储训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；
奖惩单元：用于根据胶囊内镜执行动作a后到达位置的情况，给予对应的奖惩值。
本发明产生的有益效果是：本发明的基于深度强化学习的人工智能胶囊内镜检查方法及系统，1、胃部的内镜检查实现全自动化，不再需要医生进行操作：本发明训练后的深度强化学习模型能够自动帮助胶囊内镜进行决策，按照一定的顺序不遗漏地进行检查，不再需要医生操作，节约时间成本。2、检查过程无创无痛，更易被患者接受，可早期发现消化道疾病，早期进行治疗，患者预后更好。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的基于深度强化学习的人工智能胶囊内镜检查方法的流程图。
图2是本发明的基于深度强化学习的人工智能胶囊内镜检查系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例一：
本发明实施例的基于深度强化学习的人工智能胶囊内镜检查方法，该方法包括：
步骤S10：胶囊内镜通过摄像头采集图像，处理图像，提取图像特征值，将此作为运动前状态；
通过胶囊内镜拍摄图像作为当前agent的状态，输入深度强化学习模块，以期得到决策动作。本实施例中，为减少计算机处理时间，可对采集图像做预处理，包括进行灰度化与降采样等操作，然后将预处理后的图像输入卷积神经网络进行特征值的提取。
步骤S20：将步骤S10中提取的图像特征值，输入预先训练的深度强化学习模型中，得到此状态下胶囊内镜可执行的最大价值动作；
深度强化学习是将深度学习与增强学习结合起来，输入感知信息，然后通过深度神经网络，直接输出最大价值动作。
深度强化学习模型训练方法包括：获取训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r。
胶囊内镜通过摄像头采集图像，处理图像，提取特征值，将此作为运动前状态s，任意选择一个动作a执行。若胶囊内镜执行动作a到达或接近期望位置，给予相应的奖励值；反之，若胶囊内镜执行动作a后偏离期望位置，则给予相应的惩罚值。
将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmax Q’，其中γ为折扣因子；需要说明的是，反向传播过程采用梯度下降法进行迭代更新；Q值计算方法使用贝尔曼方程；执行动作的选择采用ε-greedy方式，随机选取动作；
本实施例中，利用上述操作完成深度强化学习模型的训练。需要清楚的是，模型的训练并不局限于上述操作，可根据选择的深度强化学习算法，设计深度神经网络，构建合适的深度强化学习模型。
深度强化学习的前沿算法有三种。DQN算法是第一个被提出的深度强化学习算法，仅使用价值网络，训练效率较低，需要大量的时间训练，并且只能面向低维的离散控制问题，通用性有限。A3C算法相比DQN算法而言，是一个更好更通用的深度强化学习算法。相比DQN算法，A3C算法不需要使用经验池来存储历史样本，节约了存储空间，并且采用异步训练，大大加倍了数据的采样速度，也因此提升了训练速度。与此同时，采用多个不同训练环境采集样本，样本的分布更加均匀，更有利于神经网络的训练。UNREAL算法是最新的深度强化学习算法，在A3C算法的基础上对性能和速度进行进一步提升，UNREAL算法通过设置多个辅助任务，同时训练同一个A3C网络，从而加快学习的速度，并进一步提升性能。
完整的胶囊内镜检查，需要拍摄到胃底，贲门，胃体中上部，胃体下部，胃角，胃窦等部位的各个象限的图像，才能避免漏诊。本发明具体实施中，我们希望胶囊内镜能按照一定的顺序自动完成上述各个部位的检查，若当前状态为胃底，根据深度强化学习模块的输出，可以将胶囊内镜转移到贲门部拍摄图像。
深度强化学习模型的表达形式为：
深度强化学习模型即构建损失函数，训练过程就是对损失函数的优化，损失函数的表达形式为：
L(w)＝E[(r+γmaxQ’-Q)2]
其中，r执行对应动作a后的回报值；γ为折扣因子；将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmax Q’。
步骤S30：利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；
本实施例中，被检查患者处于含有电磁线圈产生的磁场中，线圈包括梯度线圈和匀场线圈，梯度线圈产生均匀场强梯度磁场，匀场线圈产生均匀磁场强度磁场，通过调节供电电压来调节其电流，进而有效地调整磁场，对内置有永磁体的胶囊内镜产生不同电磁作用力，完成状态的转移。
步骤S40：动作执行完成后，根据期望和实际完成情况获取回报值；同时，判定胶囊内镜是否到达终点位置，若是，则本次检查结束；若否，则重复执行上述步骤，直至到达所述终点位置。
胶囊内镜在胃内需要拍到胃底、贲门(远景)、贲门(近景)、胃体后壁、胃体大小弯、胃体前壁、胃角、胃窦、幽门、十二指肠球部十个部位的清晰图像，我们希望胶囊内镜能够按照上述一定的顺序进行运动。举例而言，根据图像特征值提取到胶囊内镜处于胃底这部位，将特征值输入深度强化学习模型得到当前可执行的最大价值动作，执行最大价值动作后，能够拍摄到贲门(远景)，与期望相符，则给予正回报值，为胶囊内镜加分；若胶囊内镜执行动作后，拍摄到的部位是胃体后壁，虽然也观察到了胃内情况，但是没有按照我们期望的顺序进行，则给予负回报值。
更优选地，步骤S40中，根据运动前状态和最大价值对应的执行控制指令，获取胶囊内镜运动后状态，获取回报值，并对深度强化学习模型参数进行更新，不断调整优化深度强化学习模型。同时，判断运动后状态是否为胃部检查的终点位置，是则本次检查结束，否则将运动后状态设置为下一轮操作的运动前状态，并循环上述操作。
参数更新时，在进行胶囊内镜实际检查时，训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行，可以将实际操作中的运动前状态s，执行动作a，运动后状态s，，执行对应动作后的回报值r作为经验，供已经训练好的深度强化学习模型进行学习更新，即重复步骤S20的操作，不断完善深度强化学习模型。
通常一份完整的胃镜检查报告需要包含口咽部、食管、贲门、胃底、胃体、胃角、胃窦、幽门、十二指肠球部及降部10个部位的至少31张图片，本实施例中，胶囊内镜按照上述顺序进行移动，拍摄到十二指肠降部图像即可结束本次检查。
本发明实施例建立深度强化学习模型，通过采集图像提取特征值获得胶囊内镜当前状态，输入模型，以获得当前状态最有价值动作并执行，将执行动作后的回报值反馈给深度强化学习模型，不断优化该模型。本发明不需要医生进行操作，实现全自动化，同时检查过程无创无痛，易于被患者接受，尽早发现疾病，尽早治疗疾病，使患者利益最大化。
实施例二
另一方面，本发明实施例的基于深度强化学习的人工智能胶囊内镜检查系统，包括：
状态获取模块：用于根据胶囊内镜摄像头拍摄图像获得胶囊内镜当前状态；
深度强化学习模块：用于将所述特征值输入深度强化学习模型进行处理，得到最大价值对应的动作；用于将训练数据输入该模块，训练深度强化学习模型，以使经过训练后的深度强化学习模型能够进行决策分析；
控制指令生成与执行模块：利用深度强化学习模块输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，调整体外梯度线圈和匀场线圈的电压，改变磁场强度，控制胶囊内镜在复杂的胃腔环境中进行自主运动。
通信模块：用于状态获取模块、深度强化学习模块、控制指令生成与执行模块的连接。
更优选地，状态获取模块包括：
图像采集单元：通过胶囊内镜搭载的摄像头，拍摄检查环境的图像，用于获取胶囊内镜当前状态；
特征值提取单元：根据图像采集模块采集的环境图像，利用卷积神经网络处理，用于提取特征值，便于输入深度强化学习模块进行分析。
更优选地，深度强化学习模块包括：
训练数据存储单元：包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；
奖惩单元：用于根据胶囊内镜执行动作a后到达位置的情况，给予对应的奖励值；反之，根据胶囊内镜执行动作a后偏离位置的情况，给予相应的惩罚值。
其中，状态获取模块具体用于，采集胃内图像，使用卷积神经网络提取特征值，获得胶囊内镜的当前状态。
其中，深度强化学习模型的训练可根据选择的深度强化学习算法，设计合适的深度神经网络，构建适合的深度强化学习模型。
本发明实施例中通信模块将状态获取模块、深度强化学习模块、控制指令生成和执行模块连接，传递信息。通过采集图像提取特征值获得胶囊内镜当前状态，输入模型，以获得当前状态最有价值动作并执行，将执行动作后的回报值反馈给深度强化学习模型，不断优化该模型。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，该系统包括以下模块：
状态获取模块：用于根据胶囊内镜的摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，进而获得当前状态；
深度强化学习模块：用于获取训练数据，将其输入深度强化学习模块，训练深度强化学习模型；并将特征值输入深度强化学习模型进行处理，得到胶囊内镜可执行的最大价值对应的动作；
控制指令生成与执行模块：利用深度强化学习模块输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，调整胶囊内镜的体外梯度线圈和匀场线圈的电压，改变磁场强度，控制胶囊内镜在复杂的胃腔环境中进行自主运动；
通信模块：用于实现状态获取模块、深度强化学习模块、控制指令生成与执行模块之间的连接，并实现它们之间的数据通信；
通过该系统的各模块执行基于深度强化学习的人工智能胶囊内镜检查方法，该方法包括以下步骤：
步骤S10、胶囊内镜通过摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，将其作为运动前状态；
步骤S20、将图像特征值输入预先训练的深度强化学习模型中，得到运动前状态下，胶囊内镜可执行的最大价值动作；
步骤S30、利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；
步骤S40、自主运动动作完成后，根据实际完成情况获取回报值；并判定胶囊内镜是否到达终点位置，若是，则本次检查结束；若否，则返回步骤S10重复执行，直至到达终点位置；
步骤S20中深度强化学习模型的训练方法具体为：
获取训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；
胶囊内镜通过摄像头采集图像，处理图像，提取特征值，将此作为运动前状态s，任意选择一个动作a执行；若胶囊内镜执行动作a到达或接近期望位置，给予相应的奖励值；反之，若胶囊内镜执行动作a后偏离期望位置，则给予相应的惩罚值；
将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmax Q’，其中γ为折扣因子；
其中，反向传播过程采用梯度下降法进行迭代更新；Q值计算方法使用贝尔曼方程；执行动作的选择采用ε-greedy方式，随机选取动作。
2.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，步骤S10中提取图像的特征值的方法具体为：利用卷积神经网络对图像进行卷积处理，得到卷积特征。
3.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，步骤S20中深度强化学习模型的训练方法还包括：
根据选择的算法，设计深度神经网络，构建合适的深度强化学习模型，算法包括：DQN算法、A3C算法和UNREAL算法。
4.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，步骤S40中获取的回报值用于对深度强化学习模型进行优化，其方法具体为：
自主运动动作完成后，根据期望和实际完成情况获取回报值，并对深度强化学习模型参数进行更新，不断调整优化深度强化学习模型；
在进行胶囊内镜实际检查时，训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行，将实际操作中的运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r作为经验，供已经训练好的深度强化学习模型进行学习更新，即重复步骤S20的操作，不断完善深度强化学习模型。
5.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，根据步骤S20中的深度强化学习模型的表达形式为：
深度强化学习模型即构建损失函数，训练过程就是对损失函数的优化，损失函数的表达形式为：
L(w)＝E[(r+γmaxQ’-Q)2]
其中，r执行对应动作a后的回报值；γ为折扣因子；将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmaxQ’。
6.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，状态获取模块包括：
图像采集单元：通过胶囊内镜搭载的摄像头，拍摄检查环境的图像，用于获取胶囊内镜当前状态；
特征值提取单元：根据图像采集单元采集的环境图像，利用卷积神经网络处理，提取特征值，并将特征值输入到深度强化学习模块。
7.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，深度强化学习模块包括：
训练数据存储单元：用于获取并存储训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；
奖惩单元：用于根据胶囊内镜执行动作a后到达位置的情况，给予对应的奖惩值。
CN201810555536.8A 2018-06-01 2018-06-01 一种基于深度强化学习的人工智能胶囊内镜检查方法及系统 Active CN108784636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810555536.8A CN108784636B (zh) 2018-06-01 2018-06-01 一种基于深度强化学习的人工智能胶囊内镜检查方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810555536.8A CN108784636B (zh) 2018-06-01 2018-06-01 一种基于深度强化学习的人工智能胶囊内镜检查方法及系统

Publications (2)

Publication Number Publication Date
CN108784636A CN108784636A (zh) 2018-11-13
CN108784636B true CN108784636B (zh) 2021-03-23

Family

ID=64089929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810555536.8A Active CN108784636B (zh) 2018-06-01 2018-06-01 一种基于深度强化学习的人工智能胶囊内镜检查方法及系统

Country Status (1)

Country Link
CN (1) CN108784636B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570425B (zh) * 2019-10-18 2023-09-08 北京理工大学 一种基于深度强化学习算法的肺结节分析方法及装置
WO2021078377A1 (en) * 2019-10-23 2021-04-29 Huawei Technologies Co., Ltd. Feature detector and descriptor
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法
CN112529892A (zh) * 2020-12-21 2021-03-19 苏州中科华影健康科技有限公司 消化道内镜病变图像检测方法、系统和计算机存储介质
CN115861718B (zh) * 2023-02-22 2023-05-05 赛维森(广州)医疗科技服务有限公司 胃活检图像分类方法、装置、设备、介质和程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873585A (zh) * 2017-01-18 2017-06-20 无锡辰星机器人科技有限公司 一种导航寻路方法、机器人及系统
CN107967946A (zh) * 2017-12-21 2018-04-27 武汉大学 基于深度学习的胃镜操作实时辅助系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873585A (zh) * 2017-01-18 2017-06-20 无锡辰星机器人科技有限公司 一种导航寻路方法、机器人及系统
CN107967946A (zh) * 2017-12-21 2018-04-27 武汉大学 基于深度学习的胃镜操作实时辅助系统及方法

Also Published As

Publication number Publication date
CN108784636A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108784636B (zh) 一种基于深度强化学习的人工智能胶囊内镜检查方法及系统
JP4615963B2 (ja) カプセル型内視鏡装置
JP4794765B2 (ja) カプセル内視鏡
Harada et al. A reconfigurable modular robotic endoluminal surgical system: vision and preliminary results
CN101862174B (zh) 用于生物体腔内的多视角图像采集与存储系统和方法
JP5388657B2 (ja) 画像処理装置、画像処理装置の作動方法、およびシステム
CN113081075B (zh) 一种具有主动式活检与施药功能的磁控胶囊
CN101674769A (zh) 能够控制图像的帧率的胶囊型内窥镜
CN102302356B (zh) 胶囊内镜诊疗系统的控制方法
CN105559736A (zh) 一种超声胶囊内窥镜
CN103356150A (zh) 方位跟踪引导下的胶囊内窥镜磁场驱动系统
CN102397052B (zh) 基于图像识别技术的可调节拍摄速率的无线胶囊内窥镜系统及方法
CN109948671A (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
US20230008154A1 (en) Capsule endoscope apparatus and method of supporting lesion diagnosis
CN113159238A (zh) 内窥镜影像识别方法、电子设备及存储介质
CN102139137B (zh) 基于数字图像导航的体外磁控制药物释放胶囊系统
Zhang et al. Deep reinforcement learning-based control for stomach coverage scanning of wireless capsule endoscopy
CN110269580A (zh) 一种微型无线内窥机器人系统
JP4746308B2 (ja) 体内医療装置および体内医療システム
CN115721422A (zh) 介入手术的操作方法、装置、设备和存储介质
KR102388737B1 (ko) 캡슐 내시경
CN109171619A (zh) 一种组合式胶囊内窥镜系统
Kim et al. Micro capsule endoscope for gastro intestinal tract
Ng et al. A Simultaneous Polyp and Lumen Detection Framework Towards Autonomous Robotic Colonoscopy
CN113538335A (zh) 一种无线胶囊内窥镜的体内相对定位方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190726

Address after: 430223 Room 001, Building D2, 10 Building, Phase III, Huacheng Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant after: Wuhan Chujingling Medical Technology Co., Ltd.

Address before: 430060 Jiefang Road 238, Wuchang District, Wuhan City, Hubei Province

Applicant before: People's Hospital of Wuhan University (Hubei Provincial People's Hospital)

GR01 Patent grant
GR01 Patent grant