CN110334582A - 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法 - Google Patents

智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法 Download PDF

Info

Publication number
CN110334582A
CN110334582A CN201910385761.6A CN201910385761A CN110334582A CN 110334582 A CN110334582 A CN 110334582A CN 201910385761 A CN201910385761 A CN 201910385761A CN 110334582 A CN110334582 A CN 110334582A
Authority
CN
China
Prior art keywords
picture
video
network model
value
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910385761.6A
Other languages
English (en)
Other versions
CN110334582B (zh
Inventor
曾凡
黄勇
邰海军
段惠峰
黄锦
柯钦瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Xuanwei Digital Medical Technology Co ltd
Original Assignee
Henan Xuan Yongtang Medical Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Xuan Yongtang Medical Information Technology Co Ltd filed Critical Henan Xuan Yongtang Medical Information Technology Co Ltd
Priority to CN201910385761.6A priority Critical patent/CN110334582B/zh
Publication of CN110334582A publication Critical patent/CN110334582A/zh
Application granted granted Critical
Publication of CN110334582B publication Critical patent/CN110334582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，从视频中批量抓取手术视频特征图片，建立神经网络模型并进行训练，再次遍历视频以进行神经网络模型的验证，生产预测图片，比较预测图片中相似度较高的图片，并将无相似度的图片进行归档存储到数据集，以归档后的数据集再次对卷积神经网络进行训练，得到高精度神经网络模型，将实时内镜视频输入高精度神经网络模型，用于读取手术过程图片并进行分类，并识别视频中的特定手术器具以进行视频的有效录取，具有快速精准识的有益效果。

Description

智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法
技术领域
本发明涉及图像识别技术领域，具体涉及智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法。
背景技术
消化内窥镜在结肠内对患者病变部位进行内镜黏膜下剥离术，即ESD手术是近年来出现的一项新的治疗手段，是临床应用前景很好的技术，它免除了对患者进行开腹手术的痛苦，具有创伤小，病变部位可多次治疗，复发率少等特点，但所述ESD手术的学习成本较高，需要医生观摩大量手术过程并参与实践，录制手术视频可以让医生更方便地接触到操作视频，但是视频获取一般需要医院和相关科室人员的配合，当今，国内医疗资源不均衡发展，具有所述ESD手术操作能力的医生和科室在日常工作过程中无暇进行手术视频的录制，不利于ESD技术的扩散，此外，内镜录制的全段视频存储较大，若视频分辨率为1920*1080，压缩视频文件大小约为每分钟20MB，30分钟的手术视频需要占用600MB的存储空间，同样不利于扩散，同时，手术时间过长，实际手术操作的时间只占其中一部分，实际需要截取视频中手术操作部分的视频观看即可。
发明内容
鉴于此，本发明提供一种智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，具有快速精准的有益效果。
本发明通过以下技术方案实现：
智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，包括如下步骤：
步骤一：批量从视频中抓取手术视频特征图片；
步骤二：建立神经网络模型，并对神经网络模型进行训练；
步骤三：批量遍历视频验证神经网络模型，根据神经网络模型生成预测图片；
步骤四：智能比对相似度较高的图片，并将无相似度的图片进行归档到数据集；
步骤五：根据无相似度图片的数据集进行神经网络模型的再训练，得到高精度神经网络模型；
步骤六：高精度神经网络模型读取手术过程图片并分类；
步骤七：神经网络模型识别特定手术器具确认视频开始时间并开始录制视频；
步骤八：神经网络模型识别特定手术器具确认视频结束时间结并束录制；
步骤九：对视频进行剪辑并保存。
所述步骤一中批量从视频中抓取手术视频特征图片，包括如下步骤：
a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；
b）：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；
c）：获取目标特征图片：根据目标特征，获取目标特征图片；
d）：对目标特征图片进行灰度转换与二值化处理：
e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；
f)：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；
g)：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果；
步骤g）中，判定视频帧是否满足截取判定条件包括如下步骤：
g1）：判断步骤e）中的目标特征点的统计总数是否大于5000，若大于则转入步骤g2），否则，直接进行下一帧的转换；
g2）：判断步骤e）中的目标特征轮廓的宽和高的比例是否为宽高比在5倍以下，且大于五分之一，若是，则转入步骤g3），否则，直接进行下一帧的转换；
g3）：判断步骤f）中的目标特征在整个图片中的比例是否在2%-20%范围内，若在，则截取帧中目标特征，保存到结果集，否则，直接进行下一帧的转换。
步骤二中，建立神经网络模型，并对神经网络模型进行训练包括如下步骤：
h）：建立数据集：将从消化道内镜检测中采集到的目标特征图片分类存储以建立分类数据集；
i）：建立训练集、验证集和测试集：从各分类数据集中抽取一定比例的数据生成测试集；依据K折交叉验证法将各分类数据集划分为训练集和验证集，将所述的测试集、训练集和验证集进行数据向量化处理；
j）：建立深度学习神经网络模型：根据3D卷积、最大池化、全链接神经元、数据扁平化和概率输出创建卷积神经网络模型，并对测试集、训练集和验证集进行正则化处理；
k）：对神经网络模型进行训练；
l）：对神经网络模型进行测试：
使用训练模型对向量正则化后的测试集进行测试，以测试其泛化能力和识别能力；
m）：获取实时消化道内镜视频并对其进行识别和记录：获取实时的消化道内镜视频图像，将其均匀分割为多个子区域，将每个子区域压缩至训练模型输入的图片格式大小，遍历所述消化道内镜图像的所有子区域，将每个子区域进行向量化，输入到神经网络模型中，模型返回识别概率向量，使用其中值最大的概率标量作为结果，判定概率标量是否大于标量阈值，若大于则将识别后的目标特征子区域进行存储。
步骤i）中，所述一定比例的数据集为各分类数据集总数量的60%以上,所述测试集、训练集和验证集进行向量化处理包括如下步骤：
i1）：创建图片路径向量imagePaths存储单元，将每类数据集的地址信息依次存储图片路径向量imagePaths中；
i2）：分别创建data和label存储单元，遍历imagePaths中的所有存储图片，将图片进行压缩，然后将图片均值按列遍历，拼接首尾行得到图片的向量；
i3）：将图片向量的色值除255，以使得色值转换为0至1范围内的小数并依次存储于data中，将图片向量对应的类别名称依次存入label中。
步骤m）中，所述实时的消化道内镜图像均匀分割为多个子区域包括如下步骤：
m1）：获取内镜实时图像的图像宽度和图像高度，将图像宽度和图像高度均除十以将所述消化道内镜图像分割为100个子区域；
m2）：遍历所有子区域，压缩所有子区域图片，将各子区域图片向量化，并将向量化后的各子区域的色值除255，将RGB三个通道值压缩为0至1范围内的小数。
步骤四中，比对相似度较高的图片，并将无相似度的图片进行归档到数据集包括如下步骤：
比较和归档人工智能训练数据集中高相似度图片的方法，包括如下步骤：
p）：处理器获取图片的输入路径和输出路径，并依据图片修改时间对数据集中的图片进行排序；
q）：依次读取数据集中的两张图片，所述两张图片为数据集中的任意一张图片以及与该图片在修改时间上相邻的上一张图片或下一张图片；
r）：判断所述两张图片的尺寸大小的比例值是否在预设比例范围内，若在，则转入步骤s），否则，将所述两张图片同时保存在输出路径指向的数据集中，并转入步骤q）；
s）：将所述两张图片转换为大小相同的灰度化图，对所述灰度化图进行子区域转换处理，并创建灰度均值矩阵；
t）：判断所述两张图片的均值矩阵相减得到的矩阵的标准差是否小于指定的阈值，若小于，则转入步骤u），否则，将所述两张图片同时保存在输出路径指向的数据集中，并转入步骤q）；
u）：对所述两张图片进行特征值检测，分别得到两张图片特征点集合；
v）：统计两图片特征点集合中相同特征点的数量；
w）：计算得到相同特征点数量阈值，判断相同特征点数量是否超过特征点数量阈值，没有超过，则将修改时间在后的图片保存至输出路径指向的数据集中，超过，则不做处理，比较完成后进入步骤q）重新进行下一张图片的比对。
步骤r）中，所述两张图片的尺寸大小的比例值为修改时间在前图片的尺寸大小除以修改时间在后图片的尺寸大小，所述图片的尺寸大小为图片的高度和宽度的乘积，所述预设比例范围为小于0.5或大于1.5；
步骤t）中，所述指定阈值为15；
步骤w）中，所述特征点数量阈值为：所述两张图片尺寸大小的均值与数据集中图片总数量的比值。
步骤s）中，所述两张图片转换为大小相同的灰度化图包括如下步骤：
s1）：依次获取所述两张图片的宽度、高度和色彩通道信息；
s2）：依据通道信息依次获取两张图片的RGB各单通道色值，采用灰度转换公式对所述两张图片依次进行灰度转换；
s3）：分别计算两张图片的宽度和高度的乘积结果值，将乘积结果值大的图片转换为乘积结果值小的图片。
步骤s）中，所述灰度化图进行子区域转换处理，并创建灰度均值矩阵包括如下步骤：
S1）：获取图片的宽度和高度信息；
S2）：将图片的宽度和高度信息分别除同一常数，得到每个子区域的宽度CellWidth和每个子区域的高度CellHeigh大小，所述常数为整数且为图片在宽度或高度上的子区域个数；
S3）：创建矩阵，所述矩阵的行或列的大小与图片在宽度或高度上的子区域的数量相等；
S4）：遍历图片的宽度像素，将当前遍历的像素除以子区域的宽度CellWidth，得到当前像素在图片宽度方向上为第几个子区域，遍历图片的高度像素，将当前遍历的像素除以子区域的高度CellHeigh，得到当前像素在图片高度方向上为第几个子区域，将确定的当前子区域的像素值与该子区域像素之前的像素值进行累加，并将累加结果存入与当前像素位置相对应的矩阵的行列位置处；
S5）：将矩阵中的每个值除以子区域总数量值，得到灰度值的平均色值，并将255减去空间内平均色值，得到取反值，将取反后的空间平均色值存入相应的矩阵中。
本发明公开了智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，从视频中批量抓取手术视频特征图片，建立神经网络模型并进行训练，再次遍历视频以进行神经网络模型的验证，生产预测图片，比较预测图片中相似度较高的图片，并将无相似度的图片进行归档存储到数据集，以归档后的数据集再次对卷积神经网络进行训练，得到高精度神经网络模型，高精度神经网络模型读取手术过程图片并进行分类，将手术器具作为训练数据训练高精度神经网络模型，并识别视频中的特定手术器具以进行视频的有效录取，具有快速精准的有益效果。
附图说明
图1是智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法流程图。
图2是参数H，S和V调节的进度条示意图。
图3是目标特征为手术器械时二值化后的特征图。
图4是从确定目标特征在图片中的位置和宽度的图片。
图5是从视频中截取的目标特征为手术器械的部分图片。
图6是各分类数据集中图片向量化的存储结构示意图。
图7是神经网络模型识别实时图片中的组织或异物的结果图。
图8是记录图7中识别异物的结果图。
图9是两图片特征点集合中相同特征点的数量。
图10是未比较和归档的数据集中的图片。
图11是将图10数据集中的图片比较和归档后的结果。。
图12是高精度卷积神经网络识别手术过程并分类的结果图。
图13是识别的手术过程中电烧切除环金属套圈的图片结果。
图14是识别的手术过程中金属夹张开的图片结果。
图15是识别的手术过程中止血钛夹闭合后未脱离的图片。
图16是识别的手术过程中止血钛夹闭合后脱离的图片。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例实例仅仅是本发明一部分实施实例，而不是全部的实施实例，基于本发明的实施实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施实例，都属于本发明保护的范围。
如图1所示，智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，包括如下步骤：
步骤一：批量从视频中抓取手术视频特征图片：
a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV，以便于寻找可以剥离特定目标识别区域的背景掩码；
b）：定位视频中目标并除去视频背景：如图2所示，调节HSV颜色空间中参数H、S和V的范围以定位视频内容，采用视频背景中的HSV颜色空间得到相应的HSV掩码，通过HSV掩码定位视频中的目标特征，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；
c）：获取目标特征图片：利用掩码与目标特征中的每个像素进行掩码运算，且所述目标特征图片包括目标特征区图像和非目标特征区图像，所述目标特征区图像内的像素值保持不变，非目标特征区图像的像素值为零；
d）：对目标特征图片进行灰度转换与二值化处理：采用灰度转换公式Gray=(R*299+G*587+B*114+500）/1000得到目标特征图片，将目标特征图片的灰度图通过二进制阈值算法得到二值化图，并对二值化图进行形态学腐蚀操作和膨胀操作来去噪，所述目标特征图片的灰度图为单通道灰度图，且单通道值范围为0-255，所述二值化图为单通道为0或255的二值化图，如图3所示；
e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；如图4所示，此时，目标特征为手术器械，图片中的线框位置为目标特征在图片中的位置，线框的宽度大小为目标特征的轮廓范围；
f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；
g）：逐帧判定视频帧是否满足截取判定条件，若满足，则对图片中目标特征图进行截取，并保存截取结果。图5是从视频中截取的目标特征为手术器械的部分图片。
步骤g）中，判定视频帧是否满足截取判定条件包括如下步骤：
g1）：判断步骤e）中的目标特征点的统计总数是否大于5000，若大于则转入步骤g2），否则，直接进行下一视频帧的转换；
g2）：判断步骤e）中的目标特征轮廓的宽和高的比例是否为宽高比在5倍以下，且大于五分之一，若是，则转入步骤g3），否则，直接进行下一视频帧的转换；
g3）：判断步骤f）中的目标特征在图片中的比例是否在2%-20%范围内，若在，则截取帧中目标特征，保存到结果集，否则，进行下一视频帧的转换。
医生对结果集进行人工筛选，需要删除其中非相关特征的图片，最终剩下的就是标准且精确的特征图。
步骤二：建立神经网络模型，并对神经网络模型进行训练：
h）：建立数据集：将从消化道内镜检测中采集到的目标特征图片分类存储以建立分类数据集；
根据目标特征属性建立目标特征图片的数学和业务模型，自动化批量抓取从消化道内镜检测中出现的目标特征图片，并分类存储以建立分类数据集；
目标特征属性包括，目标特征无规律，离散分布在视频中、目标特征的大小在图片中所占比例为3%-20%、目标特征颜色与消化道颜色不一致，消化道内镜镜头移动并屏蔽消化道背景后，可以得到目标特征在区域内移动的错觉、以及目标特特征视频帧数较高和需要专业医疗人员对图片进行标注，得到的数据量小；
所述分类数据集为在存储器件上开辟的存储空间，优选为文件夹格式进行存储，所述存储器件包括磁盘或移动硬盘。所述分类数据集包括背景类数据集、消化道组织数据集和异物类数据集，所述背景类数据集的目标特征图片包括肠壁、胃壁和食道等非识别内容图片，所述消化道组织数据集内的目标特征图片包括贲门、胃底、息肉和肿瘤等需要识别和记录的肠道组织，所述异物类数据集内的目标特征图片包括粪便、夹子、套圈和吸管等需要识别和记录非肠道组织内容。
i）：建立训练集、验证集和测试集：从各分类数据集中抽取60%以上数据生成测试集；依据K折交叉验证法将各分类数据集划分为训练集和验证集，将所述的测试集、训练集和验证集进行数据向量化处理；
所述K折交叉验证法为将各数据集划分为K个分区，并进行K次图片获取，每次随机获取K-1个分区作为训练集，并将剩余的一个分区作为验证集以进行验证。
所述训练集和验证集以进行深度神经网络模型的训练，所述测试集用来评估深度神经网络模型的实际识别结果；
由于医疗数据中的标记数据较少且从视频中提取的内容相似度较高，使得验证集的数据会很小，这样验证的会有较大波动，验证集的划分方式会造成深度学习的神经网络模型在评估时有很大方差，因此，优选为K折交叉验证法为训练集和验证集的划分方法，将K次图片获取的测试结果求取平均数来评估神经网络模型的可靠性。
步骤i）中，所述测试集、训练集和验证集进行向量化处理包括如下步骤：
i1）：创建图片路径向量imagePaths存储单元，将每类数据集的地址信息依次存储图片路径向量imagePaths中；
i2）：分别创建data和label存储单元，遍历imagePaths中的所有存储图片，将图片进行压缩为96x96大小的图片，然后将图片均值按列遍历，拼接首尾行得到图片的向量；
i3）：将图片向量的色值除255，以使得色值转换为0至1范围内的小数并依次存储于data中，将图片向量对应的类别名称依次存入label中；
如图6所示，是各分类数据集中图片向量化的存储结构示意图。
j）：根据3D卷积、最大池化、全链接神经元、数据扁平化和概率输出创建神经网络模型，并对测试集、训练集和验证集进行正则化处理，神经网络模型包括输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层，数据扁平过渡层、全链接数据层和概率输出层；
所述输入层是向量化的图片的输入入口，所述输入层的模型宽高均为150，色彩通道为三通道；
所述第一卷积层将输入内容输入卷积核，所述卷积核的大小为3*3，64隐藏节点，激活函数为修正线性单元；
所述第一最大池化层将第一卷积层的卷积结果进行2*2池化；
所述第二卷积层的卷积核的大小为3*3，128隐藏节点，激活函数为修正线性单元；
所述第二最大池化层将第二卷积层的卷积结果进行2*2池化；
所述第三卷积层的卷积核的大小为3*3，256隐藏节点，激活函数为修正线性单元；
所述第三最大池化层将第三卷积层的卷积结果进行2*2池化；
所述数据扁平过渡层将多维数据一维化，是卷积层到全链接层的过渡；
所述全链接数据层，将输入参数传入1024个隐藏节点，其激活函数为修正线性单元；
所述概率输出层通过有限项离散概率分布的梯度对数归一化来实现对不同分类的概率分配；
对神经网络模型的正则化采用权重正则化中的权重为L2范数的正则化方法，以降低神经网络模型的过拟合。
k）：对神经网络模型进行训练：设置神经网络模型的损失函数，初始化各层网络参数，输入向量正则化后的训练集和验证集进行训练，设置均方根误差作为优化器，通过多分类交叉熵损失函数值的梯度下降，对各层网络中权值参数进行更新，以得到训练模型。
l）：对神经网络模型进行测试：使用训练模型对向量正则化后的测试集进行测试，以测试其泛化能力和识别能力，如果泛化能力和识别能力不足，需要重新进行训练。
m）：获取实时消化道内镜视频并对其进行识别和记录：获取实时的消化道内镜视频图像，将其均匀分割为多个子区域，将每个子区域压缩至训练模型输入的图片格式大小，遍历所述消化道内镜图像的所有子区域，将每个子区域进行向量化，输入到神经网络模型中，模型返回识别概率向量，使用其中值最大的概率标量作为结果，判定概率标量是否大于95%，若大于则将识别后的目标特征子区域进行存储。
步骤m）中，所述实时的消化道内镜图像均匀分割为多个子区域包括如下步骤：
m1）：获取内镜实时图像的图像宽度和图像高度，将图像宽度和图像高度均除十以将所述消化道内镜图像分割为100个子区域；
m2）：遍历所有子区域，压缩所有子区域图片，将各子区域图片向量化，并将向量化后的各子区域的色值除255，将RGB三个通道值压缩为0至1范围内的小数。
将图片子区域向量输入到深度学习神经网络模型中，输出概率向量预测值和与预测值相对应的索引值，将预测值乘100，若大于95，则在画面中进行标示，如图7所示图片中采用方框形式标识出肠道中的组织和异物，而后依据索引值找到label中对应值，识别出实时图片中的特征图的组织或异物的名称，将特征组织或异物的网格图片以系统所在时间进行命名后，对图片进行存储记录，如图8所示。
步骤三：批量遍历视频验证神经网络模型，根据神经网络模型生成预测图片。
步骤四：智能比对相似度较高的图片，并将无相似度的图片进行归档到数据集；
p）：处理器获取图片的输入路径和输出路径，并依据图片修改时间对数据集中的图片进行排序；
q）：依次读取数据集中的两张图片，所述两张图片为数据集中的任意一张图片以及与该图片在修改时间上相邻的上一张图片或下一张图片；
r）：判断所述两张图片的尺寸大小的比例值是否在预设比例范围内，若在，则转入步骤s），否则，将所述两张图片同时保存在输出路径指向的数据集中，并转入步骤q），所述两张图片的尺寸大小的比例值为修改时间在前图片的尺寸大小除以修改时间在后图片的尺寸大小，所述图片的尺寸大小为图片的高度和宽度的乘积，所述预设比例范围为小于0.5或大于1.5；
s）：将所述两张图片转换为大小相同的灰度化图，对所述灰度化图进行子区域转换处理，并创建灰度均值矩阵；
t）：判断所述两张图片的均值矩阵相减得到的矩阵的标准差是否小于指定的阈值，若小于，则转入步骤u），否则，将所述两张图片同时保存在输出路径指向的数据集中，并转入步骤q），所述指定阈值为15；
u）：对所述两张图片进行特征值检测，分别得到两张图片特征点集合，所述特征值检测为SIFT（Scale invariant feature transform）特征值检测器；
v）：统计两图片特征点集合中相同特征点的数量，采用LANN进行匹配和 KNN得到特征点集合中相同特征点的数量，如图9所示，所述LANN为（Library for Approximate NearestNeighbors）快速近似最近邻搜索；
w）：计算得到相同特征点数量阈值，判断相同特征点数量是否超过特征点数量阈值，没有超过，则将修改时间在后的图片保存至输出路径指向的数据集中，超过，则不做处理，比较完成后进入步骤q）重新进行下一张图片的比对，所述特征点数量阈值为：所述两张图片尺寸大小的均值与数据集中图片总数量的比值。
如图10所示，是未比较和归档的数据集中的图片，图11是图10数据集中的图片比较和归档后的结果。
步骤s）中，所述两张图片转换为大小相同的灰度化图包括如下步骤：
s1）：依次获取所述两张图片的宽度、高度和色彩通道信息；
s2）：依据通道信息依次获取两张图片的RGB各单通道色值，采用灰度转换公式对所述两张图片依次进行灰度转换；
s3）：分别计算两张图片的宽度和高度的乘积结果值，将乘积结果值大的图片转换为乘积结果值小的图片。
步骤s）中，所述灰度化图进行子区域转换处理，并创建灰度均值矩阵包括如下步骤：
S1）：获取图片的宽度和高度信息；
S2）：将图片的宽度和高度信息分别除同一常数，得到每个子区域的宽度CellWidth和每个子区域的高度CellHeigh大小，所述常数为整数且为图片在宽度或高度上的子区域个数；
S3）：创建维矩阵，所述矩阵的行或列的大小与图片在宽度或高度上的子区域的数量相等；
S4）：遍历图片的宽度像素，将当前遍历的像素除以子区域的宽度CellWidth，得到当前像素在图片宽度方向上为第几个子区域，遍历图片的高度像素，将当前遍历的像素除以子区域的高度CellHeigh，得到当前像素在图片高度方向上为第几个子区域，将确定的当前子区域的像素值与该子区域像素之前的像素值进行累加，并将累加结果存入与当前像素位置相对应的矩阵的行列位置处；
S5）：将矩阵中的每个值除以子区域总数量值，得到灰度值的平均色值，并将255减去空间内平均色值，得到取反值，将取反后的空间平均色值存入相应的矩阵中。
步骤五：根据无相似度图片的数据集进行神经网络模型的再训练，得到高精度神经网络模型；依据步骤二中的方法，将无相似度图片的数据集作为训练集，重新进行网络模型训练，直到总体分类精度达到95%。
步骤六：高精度神经网络模型读取手术过程图片并分类；
标记止血钳子打开和关闭的图片作为训练数据以识别手术过程中的止血钳，标记金属夹打开和关闭的图片作为训练数据以识别手术过程中的金属夹，标记电烧金属套圈的打开和收紧作为训练数据以识别电烧金属套圈，标记止血钛夹闭合后未脱落和脱离的图片作为训练数据以识别止血钛夹，识别分类结果如图12所示，其中，（I）图是分类后的止血钳，（II）图是分类后的电烧金属套圈，（III）图是分类后的金属夹，（IV）图是分类后的止血钛夹。
步骤七：神经网络模型识别特定手术器具确认视频开始时间并开始录制视频；
如图13所示，高精度神经网络模型识别手术过程中的电烧切除环金属套圈的第一张图，并记录电烧切除环金属套圈的时间；
如图14所示，高精度神经网络模型识别金属夹张开的第一张图片，并记录金属夹张开时间；
判断记录的电烧切除环金属套圈的时间和记录金属夹张开时间，以记录时间在前的时间为时间基准，若高精度神经网络模型识别出现三张以上的电烧切除环金属套圈或金属夹张开的图，且没有视频录制，则开始视频的录制。
步骤八：神经网络模型识别特定手术器具确认视频结束时间并结束录制；
高精度神经网络模型识别止血钛夹闭合后未脱离的图片，并记录止血钛夹闭合后未脱离时最后一张图片出现的时间，如图15所示；
高精度神经网络模型识别止血钛夹闭合后脱离的图片，并记录止血钛夹闭合后脱离时最后一张图片出现的时间，如图16所示；
若连续出现止血钛夹闭合后未脱离的图片，则以止血钛夹闭合后脱离的图片的时间为结束时间；
若出现止血钛夹闭合后脱离的图片，则以最后一个止血钛夹闭合后脱离图片的时间为最终结束时间。
步骤九：对视频进行剪辑并保存。
以记录的开始时间和结束时间为准，对视频进行剪辑，并保存到默认指定轮径中存档。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：包括如下步骤：
步骤一：批量从视频中抓取手术视频特征图片；
步骤二：建立神经网络模型，并对神经网络模型进行训练；
步骤三：批量遍历视频验证神经网络模型，根据神经网络模型生成预测图片；
步骤四：智能比对相似度较高的图片，并将无相似度的图片进行归档到数据集；
步骤五：根据无相似度图片的数据集进行神经网络模型的再训练，得到高精度神经网络模型；
步骤六：高精度神经网络模型读取手术过程图片并分类；
步骤七：神经网络模型识别特定手术器具确认视频开始时间并开始录制视频；
步骤八：神经网络模型识别特定手术器具确认视频结束时间结并束录制；
步骤九：对视频进行剪辑并保存。
2.智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：所述步骤一中批量从视频中抓取手术视频特征图片，包括如下步骤：
a）：视频读取和色彩通道格式转换：读取存储设备上消化道内镜诊治过程的视频，将视频的颜色通道格式由RGB转换为HSV；
b）：定位视频中目标并除去视频背景：调节HSV颜色空间中参数H、S和V的范围以定位视频内容，调节参数H、S和V除去除目标特征外所有的背景，所述目标特征为消化道内组织器官、粪便、检查和手术器具中的任意一种；
c）：获取目标特征图片：根据目标特征，获取目标特征图片；
d）：对目标特征图片进行灰度转换与二值化处理：
e）：对目标特征进行轮廓检测与定位：采用Freeman链码对二值化图进行轮廓检测，返回目标特征图片的位置、目标特征轮廓范围和目标特征点的统计总数；
f）：计算目标特征在图片中的比例：将二值化图像中的目标特征图映射到矩阵，并将矩阵转换为行首尾相接的向量，将向量值累加并除以255得到特征值所有白色像素点的数量，计算白色像素在背景黑色像素的比例，得出目标特征在图片上的大小；
g）：逐帧判定视频中目标特征是否满足截取判定条件，若满足，则对目标特征图中进行截取，并保存截取结果；
根据权利要求2所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤g）中，判定视频帧是否满足截取判定条件包括如下步骤：
g1）：判断步骤e）中的目标特征点的统计总数是否大于5000，若大于则转入步骤g2），否则，直接进行下一帧的转换；
g2）：判断步骤e）中的目标特征轮廓的宽和高的比例是否为宽高比在5倍以下，且大于五分之一，若是，则转入步骤g3），否则，直接进行下一帧的转换；
g3）：判断步骤f）中的目标特征在整个图片中的比例是否在2%-20%范围内，若在，则截取帧中目标特征，保存到结果集，否则，直接进行下一帧的转换。
3.根据权利要求1所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤二中，建立神经网络模型，并对神经网络模型进行训练包括如下步骤：
h）：建立数据集：将从消化道内镜检测中采集到的目标特征图片分类存储以建立分类数据集；
i）：建立训练集、验证集和测试集：从各分类数据集中抽取一定比例的数据生成测试集；依据K折交叉验证法将各分类数据集划分为训练集和验证集，将所述的测试集、训练集和验证集进行数据向量化处理；
j）：建立深度学习神经网络模型：根据3D卷积、最大池化、全链接神经元、数据扁平化和概率输出创建卷积神经网络模型，并对测试集、训练集和验证集进行正则化处理；
k）：对神经网络模型进行训练；
l）：对神经网络模型进行测试：
使用训练模型对向量正则化后的测试集进行测试，以测试其泛化能力和识别能力；
m）：获取实时消化道内镜视频并对其进行识别和记录：获取实时的消化道内镜视频图像，将其均匀分割为多个子区域，将每个子区域压缩至训练模型输入的图片格式大小，遍历所述消化道内镜图像的所有子区域，将每个子区域进行向量化，输入到神经网络模型中，模型返回识别概率向量，使用其中值最大的概率标量作为结果，判定概率标量是否大于标量阈值，若大于则将识别后的目标特征子区域进行存储。
4.根据权利要求4所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤i）中，所述一定比例的数据集为各分类数据集总数量的60%以上,所述测试集、训练集和验证集进行向量化处理包括如下步骤：
i1）：创建图片路径向量imagePaths存储单元，将每类数据集的地址信息依次存储图片路径向量imagePaths中；
i2）：分别创建data和label存储单元，遍历imagePaths中的所有存储图片，将图片进行压缩，然后将图片均值按列遍历，拼接首尾行得到图片的向量；
i3）：将图片向量的色值除255，以使得色值转换为0至1范围内的小数并依次存储于data中，将图片向量对应的类别名称依次存入label中。
5.根据权利要求4所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤m）中，所述实时的消化道内镜图像均匀分割为多个子区域包括如下步骤：
m1）：获取内镜实时图像的图像宽度和图像高度，将图像宽度和图像高度均除十以将所述消化道内镜图像分割为100个子区域；
m2）：遍历所有子区域，压缩所有子区域图片，将各子区域图片向量化，并将向量化后的各子区域的色值除255，将RGB三个通道值压缩为0至1范围内的小数。
6.根据权利要求1所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤四中，比对相似度较高的图片，并将无相似度的图片进行归档到数据集包括如下步骤：
p）：处理器获取图片的输入路径和输出路径，并依据图片修改时间对数据集中的图片进行排序；
q）：依次读取数据集中的两张图片，所述两张图片为数据集中的任意一张图片以及与该图片在修改时间上相邻的上一张图片或下一张图片；
r）：判断所述两张图片的尺寸大小的比例值是否在预设比例范围内，若在，则转入步骤s），否则，将所述两张图片同时保存在输出路径指向的数据集中，并转入步骤q）；
s）：将所述两张图片转换为大小相同的灰度化图，对所述灰度化图进行子区域转换处理，并创建灰度均值矩阵；
t）：判断所述两张图片的均值矩阵相减得到的矩阵的标准差是否小于指定的阈值，若小于，则转入步骤u），否则，将所述两张图片同时保存在输出路径指向的数据集中，并转入步骤q）；
u）：对所述两张图片进行特征值检测，分别得到两张图片特征点集合；
v）：统计两图片特征点集合中相同特征点的数量；
w）：计算得到相同特征点数量阈值，判断相同特征点数量是否超过特征点数量阈值，没有超过，则将修改时间在后的图片保存至输出路径指向的数据集中，超过，则不做处理，比较完成后进入步骤q）重新进行下一张图片的比对。
7.根据权利要求7所述的智能识别和记录内镜黏膜小剥离术摘除息肉视频的方法，其特征在于：
步骤r）中，所述两张图片的尺寸大小的比例值为修改时间在前图片的尺寸大小除以修改时间在后图片的尺寸大小，所述图片的尺寸大小为图片的高度和宽度的乘积，所述预设比例范围为小于0.5或大于1.5；
步骤t）中，所述指定阈值为15；
步骤w）中，所述特征点数量阈值为：所述两张图片尺寸大小的均值与数据集中图片总数量的比值。
8.根据权利要求7所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤s）中，所述两张图片转换为大小相同的灰度化图包括如下步骤：
s1）：依次获取所述两张图片的宽度、高度和色彩通道信息；
s2）：依据通道信息依次获取两张图片的RGB各单通道色值，采用灰度转换公式对所述两张图片依次进行灰度转换；
s3）：分别计算两张图片的宽度和高度的乘积结果值，将乘积结果值大的图片转换为乘积结果值小的图片。
9.根据权利要求7所述的智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法，其特征在于：步骤s）中，所述灰度化图进行子区域转换处理，并创建灰度均值矩阵包括如下步骤：
S1）：获取图片的宽度和高度信息；
S2）：将图片的宽度和高度信息分别除同一常数，得到每个子区域的宽度CellWidth和每个子区域的高度CellHeigh大小，所述常数为整数且为图片在宽度或高度上的子区域个数；
S3）：创建矩阵，所述矩阵的行或列的大小与图片在宽度或高度上的子区域的数量相等；
S4）：遍历图片的宽度像素，将当前遍历的像素除以子区域的宽度CellWidth，得到当前像素在图片宽度方向上为第几个子区域，遍历图片的高度像素，将当前遍历的像素除以子区域的高度CellHeigh，得到当前像素在图片高度方向上为第几个子区域，将确定的当前子区域的像素值与该子区域像素之前的像素值进行累加，并将累加结果存入与当前像素位置相对应的矩阵的行列位置处；
S5）：将矩阵中的每个值除以子区域总数量值，得到灰度值的平均色值，并将255减去空间内平均色值，得到取反值，将取反后的空间平均色值存入相应的矩阵中。
CN201910385761.6A 2019-05-09 2019-05-09 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法 Active CN110334582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910385761.6A CN110334582B (zh) 2019-05-09 2019-05-09 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385761.6A CN110334582B (zh) 2019-05-09 2019-05-09 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法

Publications (2)

Publication Number Publication Date
CN110334582A true CN110334582A (zh) 2019-10-15
CN110334582B CN110334582B (zh) 2021-11-12

Family

ID=68139963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385761.6A Active CN110334582B (zh) 2019-05-09 2019-05-09 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法

Country Status (1)

Country Link
CN (1) CN110334582B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767430A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 视频资源推送方法、视频资源推送装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120136208A1 (en) * 2010-11-26 2012-05-31 Fujifilm Corporation Medical image processing apparatus method and program
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN108830294A (zh) * 2018-05-09 2018-11-16 四川斐讯信息技术有限公司 一种图像数据的增广方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109343920A (zh) * 2018-09-10 2019-02-15 深圳市腾讯网络信息技术有限公司 一种图像处理方法及其装置、设备和存储介质
CN109460796A (zh) * 2018-12-26 2019-03-12 河南通域医疗科技有限公司 一种批量截取并分析内窥镜视频中病变特征的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120136208A1 (en) * 2010-11-26 2012-05-31 Fujifilm Corporation Medical image processing apparatus method and program
CN108292366A (zh) * 2015-09-10 2018-07-17 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
CN108830294A (zh) * 2018-05-09 2018-11-16 四川斐讯信息技术有限公司 一种图像数据的增广方法
CN109102491A (zh) * 2018-06-28 2018-12-28 武汉大学人民医院（湖北省人民医院） 一种胃镜图像自动采集系统及方法
CN109343920A (zh) * 2018-09-10 2019-02-15 深圳市腾讯网络信息技术有限公司 一种图像处理方法及其装置、设备和存储介质
CN109460796A (zh) * 2018-12-26 2019-03-12 河南通域医疗科技有限公司 一种批量截取并分析内窥镜视频中病变特征的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767430A (zh) * 2020-06-30 2020-10-13 平安国际智慧城市科技股份有限公司 视频资源推送方法、视频资源推送装置及存储介质

Also Published As

Publication number Publication date
CN110334582B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN110309329A (zh) 内镜检查中智能化识别和记录消化道组织和异物的方法
RU2765619C1 (ru) Компьютерная классификация биологической ткани
dos Santos Ferreira et al. Convolutional neural network and texture descriptor-based automatic detection and diagnosis of glaucoma
CN110335241A (zh) 肠镜检查后对肠道准备自动进行评分的方法
US7027627B2 (en) Medical decision support system and method
Song et al. Automated wound identification system based on image segmentation and artificial neural networks
CN109523535B (zh) 一种病变图像的预处理方法
CN110852396A (zh) 一种宫颈图像的样本数据处理方法
US11954593B2 (en) Method to determine a degree of abnormality, a respective computer readable medium and a distributed cancer analysis system
CN111275041A (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
Adel et al. Oral epithelial dysplasia computer aided diagnostic approach
CN110334582A (zh) 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法
Pushpa et al. Deep learning model for plant species classification using leaf vein features
CN110334730A (zh) 比较和归档人工智能训练数据集中高相似图片的方法
KAZI TANI et al. Gas-Net: A deep neural network for gastric tumor semantic segmentation.
Sun et al. Detection of breast tumour tissue regions in histopathological images using convolutional neural networks
Seetah et al. A convolutional neural network approach to diabetic retinopathy detection and its automated classification
CN110335240A (zh) 自动批量抓取消化道内组织或异物特征图片的方法
Sadhana et al. Prediction of Skin Cancer using Convolutional Neural Network
Kumari et al. A Review on Brain Tumor Detection Using Convolutional Neural Network
Yin et al. Hybrid regional feature cutting network for thyroid ultrasound images classification
Kumar et al. A Neoteric Procedure for Spotting and Segregation of Ailments in Mediciative Plants using Image Processing Techniques.
Gu et al. A ranking-based multi-scale feature calibration network for nuclear cataract grading in AS-OCT images
Kanimozhi et al. Fundus image quality assessment through analysis of illumination, naturalness, and structure level

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 450007 1st floor, building 4, 220 Huashan Road, Zhongyuan District, Zhengzhou City, Henan Province

Patentee after: Henan Xuanwei Digital Medical Technology Co.,Ltd.

Address before: 450007 1st floor, building 4, 220 Huashan Road, Zhongyuan District, Zhengzhou City, Henan Province

Patentee before: Henan Xuan Yongtang Medical Information Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder