CN111768389A - 基于卷积神经网络和随机森林的消化道操作自动计时方法 - Google Patents
基于卷积神经网络和随机森林的消化道操作自动计时方法 Download PDFInfo
- Publication number
- CN111768389A CN111768389A CN202010620044.XA CN202010620044A CN111768389A CN 111768389 A CN111768389 A CN 111768389A CN 202010620044 A CN202010620044 A CN 202010620044A CN 111768389 A CN111768389 A CN 111768389A
- Authority
- CN
- China
- Prior art keywords
- vivo
- neural network
- convolutional neural
- random forest
- vitro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000007637 random forest analysis Methods 0.000 title claims abstract description 55
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 51
- 210000001035 gastrointestinal tract Anatomy 0.000 title claims abstract description 30
- 238000001727 in vivo Methods 0.000 claims abstract description 75
- 238000000338 in vitro Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000004913 activation Effects 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000007689 inspection Methods 0.000 claims abstract description 9
- 238000003066 decision tree Methods 0.000 claims description 25
- 238000002052 colonoscopy Methods 0.000 claims description 14
- 238000002575 gastroscopy Methods 0.000 claims description 10
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002496 gastric effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 210000002784 stomach Anatomy 0.000 description 5
- 238000013145 classification model Methods 0.000 description 4
- 238000001839 endoscopy Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001079 digestive effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 206010017993 Gastrointestinal neoplasms Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000002255 anal canal Anatomy 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 210000001815 ascending colon Anatomy 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000002318 cardia Anatomy 0.000 description 1
- 210000000080 chela (arthropods) Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000001731 descending colon Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002183 duodenal effect Effects 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 206010016766 flatulence Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003300 oropharynx Anatomy 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000001599 sigmoid colon Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003384 transverse colon Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及医疗辅助技术领域，具体为基于卷积神经网络和随机森林的消化道操作自动计时方法，包括：S1、收集消化道检查的体内外图像数据和案例图像数据，形成图像数据集；S2、基于卷积神经网络算法，训练体内外图像数据集，得到模型1；S3、基于随机森林算法，训练案例图像数据，得到模型2；S4、建立体内外激活方法，在获取连续消化道检查视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法判断当前消化道检查视频影像是否符合计时标准，并自动计时。本发明可自动监控消化道操作计时，节省医护资源，保证检查计时的准确性和客观性，提高了检查质量，不需要额外的设备干预，提升用户体验。
Description
技术领域
本发明涉及医疗辅助技术领域，具体为基于卷积神经网络和随机森林的消化道操作自动计时方法。
背景技术
内镜检查是发现胃肠癌最常用的检查方法。改革开放以来，我国消化内镜行业迅速发展。然而，在技术蓬勃发展的背后，一些医疗质量和安全隐患也现实存在。如消化内镜检查中需通过记录操作时间来评估医师的操作水平和检查质量。内窥镜检查中经常会出现操作时间短而影响患者病变检查质量，检查不全，病变漏检；操作时间长而引起患者剧烈胀气，身体不适的现象。
目前，在消化道内镜检查过程中，医生主要是依靠人工记录的方式。医师在内窥镜进入人体时，通知旁边的护士掐表计算内窥镜操作时间。这种记录方式需要护士的手动操作来执行，具有一定的主观性，计算的精度也不高。为此，我们提出基于卷积神经网络和随机森林的消化道操作自动计时方法。
发明内容
本发明的目的在于提供基于卷积神经网络和随机森林的消化道操作自动计时方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于卷积神经网络和随机森林的消化道操作自动计时方法，包括如下步骤：
S1、收集消化道检查的体内外图像数据和案例图像数据，形成图像数据集；
S2、构建卷积神经网络模型，基于卷积神经网络算法，训练体内外图像数据集，得到模型1；
S3、构建随机森林模型，基于随机森林算法，训练案例图像数据，得到模型2；
S4、建立体内外激活方法，在获取连续消化道检查视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法，判断当前消化道检查视频影像是否符合计时标准，若为符合，则自动开始进镜计时，直至不符合标准，则自动停止计时。
优选的，当消化道检查为胃镜检查时，所述步骤S1中的案例数据包括开始进镜片段、进镜后体内片段和退出体外片段的连续图像，并对收集的数据进行预处理，根据胃镜检查的进镜顺序和图像的不同特征，对图像数据进行划分和标记，使得此标记具有前后的顺序关系，得到体内和体外的图像数据集。
优选的，所述步骤S4中建立体内外激活方法，在获取连续胃镜视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法，判断当前胃镜视频影像是否为体内，若在体内，则自动开始进镜计时，直至当前胃镜视频影像到达体外，则自动停止计时。
优选的，当消化道检查为结肠镜检查时，所述步骤S1中需收集结肠镜检查的体内外图像数据、回盲部图像数据和案例数据，案例数据包括开始进镜片段、进镜后体内片段、进入回盲部前片段、回盲部片段、退镜片段和退出体外片段的连续图像；并对收集的数据进行预处理，根据结肠镜检查的进镜顺序和图像的不同特征，对图像数据进行划分和标记，得到体内、回盲部、体外的案例数据集。
优选的，所述步骤S2中基于卷积神经网络模型训练案例图像，对得到的体内外图像数据集进行训练得到模型1，对得到的回盲部图像数据集进行训练得到模型3。
优选的，所述步骤S3中基于随机森林算法，对步骤S2中得到的体内外案例数据集进行训练，得到模型2，对步骤S2中得到的回盲部案例数据集进行训练，得到模型4。
优选的，所述步骤S4中建立体内外激活方法和回盲部激活方法，在获取连续结肠镜视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2和模型4进行判断，基于体内外激活方法，判断当前结肠镜视频影像是否为体内，若在体内，则自动开始进镜计时，基于回盲部激活方法，判断当前结肠镜视频影像到达回盲部，若到达回盲部，则进镜计时自动停止，同时退镜计时自动开始计时，直至结肠镜视频影像体外，退镜计时自动停止。
优选的，所述步骤S4中体内外激活方法对图像片段进行连续判断，如果连续10次判断结果中，有7次显示在体内，则最终结果为体内，反之，则为体外；回盲部激活方法对图像片段进行连续判断，如果连续5次判断结果中，有3次显示在回盲部，则该最终结果为回盲部，反之，则未到达回盲部。
优选的，所述步骤S2中搭建卷积神经网络的具体步骤如下：
S21、训练数据；
S22、定义节点准备接收数据；
S23、定义神经层：隐藏层和预测层；
S24、定义loss表达式；
S25、选择optimizer使loss达到最小。
优选的，所述步骤S3中搭建随机森林的具体步骤如下：
S31、为N棵决策树抽样产生N个训练集；
S32、构建决策树；
S33、形成森林及算法执行。
与现有技术相比，本发明的有益效果是：本发明通过基于颜色和纹理特征的图像增强技术进行处理后供卷积神经网络算法训练，训练完成的模型，区别于传统的深度学习模型处理方式，训练后不需要对该模型进行剪枝处理，同时采用随机森林算法，优势在于利用多个决策树对样本进行训练、分类并预测，降低了决策树之间的相关性。也是因为这个原因使得随机森林算法摒弃了训练后对模型进行剪枝处理的传统步骤。基于卷积神经网络和随机森林模型的判断，可自动监控消化道操作计时，无需人工计时，节省了医护资源，同时保证了检查计时的准确性和客观性，有助于医生提高检查质量，本方案也不需要额外的设备干预，提升了用户体验。
附图说明
图1为本发明的流程图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：基于卷积神经网络和随机森林的消化道操作自动计时方法，包括如下步骤：
S1、收集消化道检查的体内外图像数据和案例图像数据，形成图像数据集；
S2、构建卷积神经网络模型，基于卷积神经网络算法，训练体内外图像数据集，得到模型1；
S3、构建随机森林模型，基于随机森林算法，训练案例图像数据，得到模型2；
S4、建立体内外激活方法，在获取连续消化道检查视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法，判断当前消化道检查视频影像是否符合计时标准，若为符合，则自动开始进镜计时，直至不符合标准，则自动停止计时。
实施例一：
当消化道检查为胃镜检查时，具体技术方案如下：
S1、收集消化道检查的体内外图像数据和案例图像数据，案例数据包括开始进镜片段、进镜后体内片段和退出体外片段的连续图像，并对收集的数据进行预处理，根据胃镜检查的进镜顺序和图像的不同特征，对图像数据进行划分和标记，使得此标记具有前后的顺序关系，得到体内和体外的图像数据集。此过程需要内镜医师完成，由医师完成图像部位的判断。
一般情况下，胃镜检查操作过程从口咽部开始，依次经过食管、贲门、正镜胃体上部、正镜胃体中下部、胃窦、十二指肠球部、十二指肠降部、胃角、倒镜胃底中上部、倒镜胃底下部，即可抽出内窥镜至体外，便可视为胃镜检查结束。
医师划分好的胃镜图像数据集，通过基于颜色和纹理特征的图像增强技术进行处理后，将图像数据集输入卷积神经网络算法进行训练，需人工排查训练完成的模型1预测出错的图片，其得到案例样本集。
S2、构建卷积神经网络模型，基于卷积神经网络算法，训练体内外图像数据集，得到模型1；搭建卷积神经网络的具体步骤如下：
S21、训练数据；
S22、定义节点准备接收数据；
S23、定义神经层：隐藏层和预测层；
S24、定义loss表达式；
S25、选择optimizer使loss达到最小。
胃镜案例图像样本集通过基于颜色和纹理特征的图像增强技术进行处理后供卷积神经网络算法训练，训练完成的模型1，区别于传统的深度学习模型处理方式，训练后不需要对该模型进行剪枝处理。
S3、构建随机森林模型，基于随机森林算法，训练案例图像数据，得到模型2；搭建随机森林的具体步骤如下：
S31、为N棵决策树抽样产生N个训练集；
S32、构建决策树；
S33、形成森林及算法执行。
随机森林算法的特征在于采用Bootstrap方法抽取数据，有放回且不设置权重的随机抽取N个新的训练案例样本集，每棵决策树根据所收到案例样本集进行训练，根据所述训练样本集构建N棵决策树，将案例样本集和案例样本集本身的标签进行关联，形成案例样本集和案例样本集标签的映射函数。
处理的消化道视频，采取相等间隔(可以根据硬件环境设置)抽帧，每帧图片经过体内外分类模型预测后组成顺序案例结果数组传递给体内外识别模型。胃镜检查的模型1识别过程包括：
将抽帧图片按顺序成组输入体内外识别模型进行预测，输出如[0、1、0、0、1、1……]这样的数组结果；(结果真为0，结果假为1)；
树的投票，步骤S4中所得的M棵决策树，会使用训练得到的映射函数分别对输入的图片进行映射，得到该树对当前图片类别的判断结果，投票决定最优结果，此过程称为“树的投票”。
综合M棵决策树的子分类结果，判断当前图片属于步骤S4中体内外中的某一项。
S4、建立体内外激活方法，在获取连续胃镜视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法，判断当前胃镜视频影像是否为体内，若在体内，则自动开始进镜计时，直至当前胃镜视频影像到达体外，则自动停止计时。
体内外激活方法对图像片段进行连续判断，如果连续10次判断结果中，有7次显示在体内，则最终结果为体内，反之，则为体外；(10选7这个数据可以根据实际情况进行调整)。
实施例二：
当消化道检查为结肠镜检查时，具体技术方案如下：
S1中需收集结肠镜检查的体内外图像数据、回盲部图像数据和案例数据，案例数据包括开始进镜片段、进镜后体内片段、进入回盲部前片段、回盲部片段、退镜片段和退出体外片段的连续图像；并对收集的数据进行预处理，根据结肠镜检查的进镜顺序和图像的不同特征，对图像数据进行划分和标记，得到体内、回盲部、体外的案例数据集。此过程需要内镜医师完成，由医师完成图像部位的判断。
一般情况下，结肠镜操作过程从肛管部开始，依次经过直肠、乙状结肠、降结肠、横结肠、升结肠直至到达回盲部，便可视为结肠镜进境结束，从回盲部退回到肛门至抽出内窥镜到体外，便可视为结肠镜退镜结束。
医师划分好的结肠镜图像数据集，通过基于颜色和纹理特征的图像增强技术进行处理后供卷积神经网络算法训练，需人工排查训练完成的模型1和模型3预测出错的图片，其得到案例样本集。
S2、构建卷积神经网络模型，基于卷积神经网络算法，对得到的体内外图像数据集进行训练得到模型1，对得到的回盲部图像数据集进行训练得到模型3。搭建卷积神经网络的具体步骤如下：
S21、训练数据；
S22、定义节点准备接收数据；
S23、定义神经层：隐藏层和预测层；
S24、定义loss表达式；
S25、选择optimizer使loss达到最小。
结肠镜图像案例数据集通过基于颜色和纹理特征的图像增强技术进行处理后供卷积神经网络算法训练，训练完成的结肠镜模型1和模型3，区别于传统的深度学习模型处理方式，训练后不需要对该模型进行剪枝处理。
S3、构建随机森林模型，基于随机森林算法，对得到的体内外案例数据集进行训练，得到模型2，对步骤S2中得到的回盲部案例数据集进行训练，得到模型4。搭建随机森林的具体步骤如下：
S31、为N棵决策树抽样产生N个训练集；
S32、构建决策树；
S33、形成森林及算法执行。
基于随机森林算法，训练体内外分类模型和回盲部分类模型过程包括：
在步骤S1得到案例数据集，继续基于随机森林进行案例数据集训练，得到体模型2和模型4。
随机森林算法的特征在于采用Bootstrap方法抽取数据，有放回且不设置权重的随机抽取N个新的训练案例样本集，每棵决策树根据所收到案例样本集进行训练，根据所述训练案例样本集构建N棵决策树，将案例样本集和案例样本集本身的标签进行关联，形成案例数据集和案例数据集标签的映射函数。
处理的消化道视频，采取相等间隔(可以根据硬件环境设置)抽帧，每帧图片经过体内外分类模型预测后组成顺序案例结果数组传递给体内外识别模型。结肠镜检查的模型2的识别过程包括：
将抽帧图片按顺序成组输入模型2和模型4进行预测，输出如[0、1、0、0、1、1……]这样的数组结果；(结果真为0，结果假为1)；
树的投票，步骤S3中所得的N棵决策树，会使用自己训练得到的映射函数分别对输入的案例数据集进行映射，得到该树对当前案例数据集类别的判断结果，投票决定最优结果，此过程称为“树的投票”。
综合N棵决策树的多子分类结果，判断当前案例样本集属于子分类结果中的某一项。
S4、建立体内外激活方法和回盲部激活方法，在获取连续结肠镜视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2和模型4进行判断，基于体内外激活方法，判断当前结肠镜视频影像是否为体内，若在体内，则自动开始进镜计时，基于回盲部激活方法，判断当前结肠镜视频影像到达回盲部，若到达回盲部，则进镜计时自动停止，同时退镜计时自动开始计时，直至结肠镜视频影像体外，退镜计时自动停止。
体内外激活方法对图像片段进行连续判断，如果连续10次判断结果中，有7次显示在体内，则最终结果为体内，反之，则为体外；(10选7这个数据可以根据实际情况进行调整)。回盲部激活方法对图像片段进行连续判断，如果连续5次判断结果中，有3次显示在回盲部，则该最终结果为回盲部，反之，则未到达回盲部。(5选3这个数据可以根据实际情况进行调整)。
具体增强方式包括：
1.旋转：可通过在原图上先放大图像，然后剪切图像得到。
2.平移：先放大图像，然后水平或垂直偏移位置剪切。
3.缩放：缩放图像。
4.随机遮挡：对图像进行小区域遮挡。
5.水平翻转：以过图像中心的竖直轴为对称轴，将左、右两边像素交换。
6.颜色色差(饱和度、亮度、对比度、锐度等)。
7.噪声扰动:对图像的每个像素RGB进行随机扰动，常用的噪声模式是椒盐噪声和高斯噪声。
使用随机森林算法训练体内外识别模型和回盲部识别模型；
具体的算法流程如下所示：
1、从所述根据学习集数据中选取样本集，假设选取的样本集中包含有X个样例，通过有放回抽样的方式抽取M个样例，得到一个大小为M的训练集，所述X和M为大于0的整数，且X的值大于等于M的值；
2、根据每个训练集生成决策树，得到M个决策树，假设每个训练集的特征空间共有D个特征，则在每一轮生成决策树的过程中，从D个特征中随机选择其中的d个特征，D为大于1的整数，d为大于0的整数，且d<D；
3、根据随机选取d个特征生成M个新的决策树，其中，所述M个新的决策树之间相互独立。
随机森林算法具有易处理高维度数据、易形成并行化算法且不易产生过拟合等优点。其核心优势在于利用多个决策树对样本进行训练、分类并预测，降低了决策树之间的相关性。也是因为这个原因使得随机森林算法摒弃了训练后对模型进行剪枝处理的传统步骤。
本发明基于卷积神经网络和随机森林模型的判断，可自动监控消化道操作计时，无需人工计时，节省了医护资源，同时保证了检查计时的准确性和客观性，有助于医生提高检查质量，本方案也不需要额外的设备干预，提升了用户体验。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：包括如下步骤：
S1、收集消化道检查的体内外图像数据和案例图像数据，形成图像数据集；
S2、构建卷积神经网络模型，基于卷积神经网络算法，训练体内外图像数据集，得到模型1；
S3、构建随机森林模型，基于随机森林算法，训练案例图像数据，得到模型2；
S4、建立体内外激活方法，在获取连续消化道检查视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法，判断当前消化道检查视频影像是否符合计时标准，若为符合，则自动开始进镜计时，直至不符合标准，则自动停止计时。
2.根据权利要求1所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：当消化道检查为胃镜检查时，所述步骤S1中的案例数据包括开始进镜片段、进镜后体内片段和退出体外片段的连续图像，并对收集的数据进行预处理，根据胃镜检查的进镜顺序和图像的不同特征，对图像数据进行划分和标记，使得此标记具有前后的顺序关系，得到体内和体外的图像数据集。
3.根据权利要求2所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S4中建立体内外激活方法，在获取连续胃镜视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2进行判断；基于体内外激活方法，判断当前胃镜视频影像是否为体内，若在体内，则自动开始进镜计时，直至当前胃镜视频影像到达体外，则自动停止计时。
4.根据权利要求1所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：当消化道检查为结肠镜检查时，所述步骤S1中需收集结肠镜检查的体内外图像数据、回盲部图像数据和案例数据，案例数据包括开始进镜片段、进镜后体内片段、进入回盲部前片段、回盲部片段、退镜片段和退出体外片段的连续图像；并对收集的数据进行预处理，根据结肠镜检查的进镜顺序和图像的不同特征，对图像数据进行划分和标记，得到体内、回盲部、体外的案例数据集。
5.根据权利要求4所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S2中基于卷积神经网络模型训练案例图像，对得到的体内外图像数据集进行训练得到模型1，对得到的回盲部图像数据集进行训练得到模型3。
6.根据权利要求5所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S3中基于随机森林算法，对步骤S2中得到的体内外案例数据集进行训练，得到模型2，对步骤S2中得到的回盲部案例数据集进行训练，得到模型4。
7.根据权利要求6所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S4中建立体内外激活方法和回盲部激活方法，在获取连续结肠镜视频影像的图像片段经卷积神经网络和随机森林处理后，传递给模型2和模型4进行判断，基于体内外激活方法，判断当前结肠镜视频影像是否为体内，若在体内，则自动开始进镜计时，基于回盲部激活方法，判断当前结肠镜视频影像到达回盲部，若到达回盲部，则进镜计时自动停止，同时退镜计时自动开始计时，直至结肠镜视频影像体外，退镜计时自动停止。
8.根据权利要求7所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S4中体内外激活方法对图像片段进行连续判断，如果连续10次判断结果中，有7次显示在体内，则最终结果为体内，反之，则为体外；回盲部激活方法对图像片段进行连续判断，如果连续5次判断结果中，有3次显示在回盲部，则该最终结果为回盲部，反之，则未到达回盲部。
9.根据权利要求1所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S2中搭建卷积神经网络的具体步骤如下：
S21、训练数据；
S22、定义节点准备接收数据；
S23、定义神经层：隐藏层和预测层；
S24、定义loss表达式；
S25、选择optimizer使loss达到最小。
10.根据权利要求1所述的基于卷积神经网络和随机森林的消化道操作自动计时方法，其特征在于：所述步骤S3中搭建随机森林的具体步骤如下：
S31、为N棵决策树抽样产生N个训练集；
S32、构建决策树；
S33、形成森林及算法执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620044.XA CN111768389A (zh) | 2020-07-01 | 2020-07-01 | 基于卷积神经网络和随机森林的消化道操作自动计时方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620044.XA CN111768389A (zh) | 2020-07-01 | 2020-07-01 | 基于卷积神经网络和随机森林的消化道操作自动计时方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111768389A true CN111768389A (zh) | 2020-10-13 |
Family
ID=72723197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620044.XA Pending CN111768389A (zh) | 2020-07-01 | 2020-07-01 | 基于卷积神经网络和随机森林的消化道操作自动计时方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768389A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418307A (zh) * | 2020-11-20 | 2021-02-26 | 中国电子科技集团公司第二十九研究所 | 一种结合深度学习和集成学习的辐射源个体识别方法 |
| CN115331787A (zh) * | 2022-10-11 | 2022-11-11 | 武汉楚精灵医疗科技有限公司 | 医学图像处理方法、装置及其相关设备 |
| CN117392449A (zh) * | 2023-10-24 | 2024-01-12 | 青岛美迪康数字工程有限公司 | 基于进镜图像特征的肠镜部位识别方法、装置和设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194512A (zh) * | 2017-05-24 | 2017-09-22 | 上海应用技术大学 | 鸡精的货架期预测方法 |
| US20180165810A1 (en) * | 2016-12-13 | 2018-06-14 | Shanghai Sixth People's Hospital | Method of automatically detecting microaneurysm based on multi-sieving convolutional neural network |
| CN108350510A (zh) * | 2015-09-09 | 2018-07-31 | 优比欧迈公司 | 用于胃肠健康相关病症的源自微生物群系的诊断及治疗方法和系统 |
| US20180225820A1 (en) * | 2015-08-07 | 2018-08-09 | Arizona Board Of Regents On Behalf Of Arizona State University | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| CN109102885A (zh) * | 2018-08-20 | 2018-12-28 | 北京邮电大学 | 基于卷积神经网络与随机森林组合的白内障自动分级方法 |
| CN110490686A (zh) * | 2019-07-08 | 2019-11-22 | 西北大学 | 一种基于时间感知的商品评分模型构建、推荐方法及系统 |
| CN110543832A (zh) * | 2019-08-13 | 2019-12-06 | 同济大学 | 基于随机森林和卷积神经网络的脑电数据分类方法 |
| CN110598726A (zh) * | 2019-07-16 | 2019-12-20 | 广东工业大学 | 一种基于随机森林的输电杆塔鸟害风险预测方法 |
| US10602940B1 (en) * | 2018-11-20 | 2020-03-31 | Genetesis, Inc. | Systems, devices, software, and methods for diagnosis of cardiac ischemia and coronary artery disease |
| CN110974122A (zh) * | 2019-12-23 | 2020-04-10 | 山东大学齐鲁医院 | 一种判断内窥镜进入人体消化道的监测方法及系统 |
| CN111000633A (zh) * | 2019-12-20 | 2020-04-14 | 山东大学齐鲁医院 | 一种内镜诊疗操作过程的监控方法及系统 |
-
2020
- 2020-07-01 CN CN202010620044.XA patent/CN111768389A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180225820A1 (en) * | 2015-08-07 | 2018-08-09 | Arizona Board Of Regents On Behalf Of Arizona State University | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| CN108350510A (zh) * | 2015-09-09 | 2018-07-31 | 优比欧迈公司 | 用于胃肠健康相关病症的源自微生物群系的诊断及治疗方法和系统 |
| US20180165810A1 (en) * | 2016-12-13 | 2018-06-14 | Shanghai Sixth People's Hospital | Method of automatically detecting microaneurysm based on multi-sieving convolutional neural network |
| CN107194512A (zh) * | 2017-05-24 | 2017-09-22 | 上海应用技术大学 | 鸡精的货架期预测方法 |
| CN109102885A (zh) * | 2018-08-20 | 2018-12-28 | 北京邮电大学 | 基于卷积神经网络与随机森林组合的白内障自动分级方法 |
| US10602940B1 (en) * | 2018-11-20 | 2020-03-31 | Genetesis, Inc. | Systems, devices, software, and methods for diagnosis of cardiac ischemia and coronary artery disease |
| CN110490686A (zh) * | 2019-07-08 | 2019-11-22 | 西北大学 | 一种基于时间感知的商品评分模型构建、推荐方法及系统 |
| CN110598726A (zh) * | 2019-07-16 | 2019-12-20 | 广东工业大学 | 一种基于随机森林的输电杆塔鸟害风险预测方法 |
| CN110543832A (zh) * | 2019-08-13 | 2019-12-06 | 同济大学 | 基于随机森林和卷积神经网络的脑电数据分类方法 |
| CN111000633A (zh) * | 2019-12-20 | 2020-04-14 | 山东大学齐鲁医院 | 一种内镜诊疗操作过程的监控方法及系统 |
| CN110974122A (zh) * | 2019-12-23 | 2020-04-10 | 山东大学齐鲁医院 | 一种判断内窥镜进入人体消化道的监测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 李勇等: "《复杂情感分析方法及其应用》", vol. 978, 30 April 2020, 冶金工业出版社, pages: 169 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418307A (zh) * | 2020-11-20 | 2021-02-26 | 中国电子科技集团公司第二十九研究所 | 一种结合深度学习和集成学习的辐射源个体识别方法 |
| CN115331787A (zh) * | 2022-10-11 | 2022-11-11 | 武汉楚精灵医疗科技有限公司 | 医学图像处理方法、装置及其相关设备 |
| CN117392449A (zh) * | 2023-10-24 | 2024-01-12 | 青岛美迪康数字工程有限公司 | 基于进镜图像特征的肠镜部位识别方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768389A (zh) | 基于卷积神经网络和随机森林的消化道操作自动计时方法 | |
| CN109146884B (zh) | 内窥镜检查监控方法及装置 | |
| US7684599B2 (en) | System and method to detect a transition in an image stream | |
| KR102210806B1 (ko) | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 | |
| US8055033B2 (en) | Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same | |
| US7319781B2 (en) | Method and system for multiple passes diagnostic alignment for in vivo images | |
| KR102287364B1 (ko) | 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 | |
| EP1994878A1 (en) | Image processing device for medical use and image processing method for medical use | |
| WO2021147429A1 (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| WO2005039411A1 (en) | Real-time abnormality detection for in vivo images | |
| WO2023143014A1 (zh) | 一种基于人工智能的内窥镜辅助检查方法及装置 | |
| JP4749732B2 (ja) | 医用画像処理装置 | |
| KR102255311B1 (ko) | 인공지능 기반의 위내시경 영상 분석 방법 | |
| US8666135B2 (en) | Image processing apparatus | |
| WO2020215807A1 (zh) | 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法 | |
| CN109859827A (zh) | 胃肠镜操作水平实时评分系统和方法 | |
| CN111767958A (zh) | 基于随机森林算法的肠镜退镜时间的实时监测方法 | |
| WO2022149836A1 (ko) | 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 | |
| CN113962998A (zh) | 肠镜检查的有效退镜时间评估方法、装置及存储介质 | |
| CN116596927B (zh) | 一种内镜视频处理方法、系统及装置 | |
| CN116188466B (zh) | 医疗器械体内停留时长确定方法和装置 | |
| CN113744266B (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
| CN114581408A (zh) | 一种基于yolov5的胃镜息肉检测方法 | |
| EP3066976A1 (en) | Organ image capturing device | |
| Khryashchev et al. | Analysis of Pathologies on Endoscopic Images of the Stomach Using SSD and RetinaNet Neural Network Architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |