CN111341441A - 一种肠胃科病模型构建方法及诊断系统 - Google Patents

一种肠胃科病模型构建方法及诊断系统 Download PDF

Info

Publication number
CN111341441A
CN111341441A CN202010137308.6A CN202010137308A CN111341441A CN 111341441 A CN111341441 A CN 111341441A CN 202010137308 A CN202010137308 A CN 202010137308A CN 111341441 A CN111341441 A CN 111341441A
Authority
CN
China
Prior art keywords
image
gastroscope
focus
feature library
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010137308.6A
Other languages
English (en)
Inventor
刘四花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010137308.6A priority Critical patent/CN111341441A/zh
Publication of CN111341441A publication Critical patent/CN111341441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种肠胃科病模型构建方法及诊断系统。所述诊断系统包括包括图像采集单元、图像标注单元、图像数据库构建单元、图像识别单元和数据输出单元；所述图像数据库构建单元包括正常图像特征库和病灶图像特征库，所述图像识别单元包含病灶类型识别模型。首先构建正常胃镜图像的正常图像特征库和病变胃镜图像的若干种病灶图像特征库，再通过病灶类型识别模型，将待检胃镜图像进行颜色特征和纹理特征融合，再依次与正常图像特征库和病灶图像特征库进行匹配和识别，然后输出待检胃镜图像是否包含病灶以及病灶类型，从而实现快速准确地对胃部种类繁多的病灶进行识别。

Description

一种肠胃科病模型构建方法及诊断系统
技术领域
本发明属于图像识别技术领域，涉及一种肠胃科病模型构建方法及诊断系统。
背景技术
肠胃科病是消化系统常见疾病，发病率呈现逐年上升趋势，严重危害人体身心健康。临床上常见的胃病有急性胃炎、慢性胃炎、胃溃疡、十二指肠溃疡、胃十二指肠复合溃疡、胃息肉、胃结石、胃的良恶性肿瘤等。胃部病变常见的病灶类型有胃粘膜充血、水肿、出血、糜烂、溃疡、肿瘤、结石、息肉等，大多数胃部病灶均可通过胃镜检查识别出病灶。但目前胃镜图像的识别和诊断大多依靠临床医师自己的经验对可疑病灶区域进行判断，并将图像抓取下来保存到内镜报告系统中，再由诊断医生根据这些抓取的影像出具诊断报告。由于胃部病灶类型种类繁多，单纯依靠医生的肉眼识别诊断，诊断速度慢、误差大，医生经验的不足或认知的差异导致病变识别的主观依赖性过强，无法快速对病变做出全面准确的评估。
随着机器学习的不断发展，人工智能技术已逐步用于疾病的诊断，并显示出优异的诊断性能。申请号为201811431014.3的中国发明专利公开了一种基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统及方法，该诊断系统利用图像识别技术，实时监测内镜视频，自动采集包含重点器官部位和可疑病灶区域的影像，利用神经网络模型对图像进行自动图像筛选，能够从全局视频中提取最有价值图像，为下溃疡性结肠炎的生诊断提供更可靠、高效的支持。
但目前公开的相关肠胃镜辅助系统及方法，只关注如何识别肠胃镜图像中是否包含病灶及如何提高对单张肠胃镜图像识别的精度，很少对肠胃镜图像的病灶类型进行识别。由于胃镜图像的病灶种类繁多，且还可能出现同时包含多种病灶的情况，给辨别带来极大困难，人工辨别难度和准确度都较大，采用常用的人工识别模型，需要大量的训练集，模型构建难度大。因此，急需提供一种能够快速准确地识别胃部病灶类型的模型和诊断系统，从而为胃镜诊断提供可靠和高效的支持。
发明内容
针对上述现有技术存在的缺陷，本发明的目的在于提供一种肠胃科病模型构建方法及诊断系统。首先构建正常胃镜图像的正常图像特征库和病变胃镜图像的若干种病灶图像特征库，再通过病灶类型识别模型，将待检胃镜图像依次与正常图像特征库和病灶图像特征库进行智能对比，识别出待检胃镜图像是否包含病灶以及病灶类型，实现快速准确地对胃部种类繁多的病灶进行识别。
为实现上述目的，本发明采用以下技术方案：
一种肠胃科病诊断系统，包括图像采集单元、图像标注单元、图像数据库构建单元、图像识别单元和数据输出单元；所述图像识别单元包含病灶类型识别模型；
所述图像采集单元用于采集胃镜图像；
所述图像标注单元用于对所述胃镜图像进行标注，以及保证标注的图像标签和图像的真实结果一致，获得包含胃镜图像及对应的图像标签的图像集；
所述图像数据库构建单元用于根据所述胃镜图像及对应的图像标签构建正常胃镜图像的正常图像特征库和病变胃镜图像的若干种病灶图像特征库；
所述病灶类型识别模型用于根据所述病灶图像特征库识别胃镜图像是否包含病灶以及病灶类型；
所述数据输出单元用于输出肠胃科病诊断结果。
进一步的，所述病灶图像特征库包括充血图像特征库、水肿图像特征库、出血图像特征库、糜烂图像特征库、溃疡图像特征库、肿瘤图像特征库、结石图像特征库和息肉图像特征库。
进一步的，所述正常图像特征库和病灶图像特征库包含图像颜色特征库和纹理特征库。
进一步的，所述正常图像特征库和所述病灶图像特征库的构建方法为：
(1)根据所述胃镜图像及对应的图像标签，分别筛选出正常胃镜图像和病变胃镜图像；
(2)分别提取所述正常胃镜图像和病变胃镜图像的颜色特征库和纹理特征库，且所述病变胃镜图像的颜色特征库和纹理特征库仅包含病灶区域的颜色特征和纹理特征；
(3)构建得到所述正常胃镜图像的颜色特征库和纹理特征库，以及所述病灶的颜色特征库和纹理特征库。
进一步的，所述图像标签包括图像所属部位、图像是否包含病灶以及病灶类型。
进一步的，所述肠胃科病诊断结果包括胃镜图像以及病灶类型。
进一步的，所述肠胃科病诊断系统的诊断方法包括以下步骤：
(1)图像采集单元采集待检胃镜图像；
(2)图像标注单元标注出所述待检胃镜图像所属部位，获得包含胃镜图像及图像所属部位的图像集；
(3)病灶类型识别模型根据所述正常图像特征库识别待检胃镜图像是否包含病灶；
(4)若待检胃镜图像包含病灶，则病灶类型识别模型继续根据所述病灶图像特征库识别待检胃镜图像的病灶类型；若待检胃镜图像不包含病灶，则病灶类型识别模型不再识别；
(5)数据输出单元输出胃镜图像及相应的诊断结果。
一种以上所述病灶类型识别模型构建方法，包括以下步骤：
S1.通过图像采集单元获取M张诊断结果已知的胃镜图像，得到图像训练集，所述M张诊断结果已知的胃镜图像包括正常胃镜图像以及若干种病灶胃镜图像，M为5000-100000的自然数；
S2.提取所述图像训练集中每张图像的特征，构建训练集图像特征库；
S3.利用训练集图像特征库及所述正常图像特征库和病灶图像特征库对基于特征融合的病灶类型识别模型进行训练，得到病灶类型识别模型；
所述病灶类型识别模型先与所述正常图像特征库进行图像融合和匹配，然后提取包含病灶的胃镜图像中病灶区域的图像特征，将所述病灶区域的图像特征与所述病灶图像特征库进行匹配，根据匹配度确认是否包含病灶以及病灶类型。
进一步的，所述特征融合包括颜色特征和纹理特征的融合。
进一步的，所述颜色特征的提取方法为提取胃镜图像的HSV颜色直方图；所述纹理特征的提取方法为提取胃镜图像小波分解后的高频系数向量作为纹理特征；所述特征融合方法为采用加权数据融合算法对提取的颜色特征和纹理特征向量进行融合。
有益效果
与现有技术相比，本发明提供的肠胃科病模型构建方法及诊断系统具有如下有益效果：
(1)本发明提供的肠胃科病诊断系统，首先根据已经被正确诊断出结果的正常胃镜图像集和病变胃镜图像集，构建得到正常胃镜图像的正常图像特征库和病变胃镜图像的各种病灶图像特征库；再通过病灶类型识别模型和病灶类型识别模型，将待检胃镜图像依次与正常图像特征库和病灶图像特征库进行智能对比，识别出待检胃镜图像是否包含病灶以及病灶类型，从而实现快速准确地对胃部种类繁多的病灶进行识别。而且将待检胃镜图像先与正常图像特征库进行图像匹配识别，若包含病灶，则再取病灶区域的图像特征与灶图像特征库进行图像匹配识别，识别的特征点明显减少，提高了识别速度和精度。
(2)本发明提供的肠胃科病诊断系统，利用正常胃镜图像和病变胃镜图像，以及不同病灶的病变胃镜图像在颜色和纹理上均具有明显差别，分别构建正常图像特征库和病灶图像特征库的颜色特征库和纹理特征库，将颜色特征和纹理特征的融合特征向量作为图像识别的输入向量，能够准确地识别出胃镜图像中的病灶类型。而且采用融合特征向量，特征点数量明显减少，相比基于灰度的图像匹配，识别难度显著降低。
(3)本发明提供的肠胃科病诊断系统，分别构建胃镜图像不同部位(胃底、胃体和胃窦)的不同病灶类型的图像特征库，将此作为胃镜图像诊断的基础图像特征库，通过病灶类型识别模型的匹配合识别，能够实现胃镜检查和诊断的智能化和全面化，克服了“胃镜图像病灶种类繁多，人工诊断难度大、准确度低的问题”，为胃镜诊断提供可靠和高效的支持。
附图说明
图1为本发明提供的肠胃科病诊断系统的组成框图；
图2为本发明提供的肠胃科病诊断系统的诊断方法流程框图。
具体实施方式
以下将对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
实施例1
请参阅图1所示，一种肠胃科病诊断系统，包括图像采集单元、图像标注单元、图像数据库构建单元、图像识别单元和数据输出单元；所述图像识别单元包含病灶类型识别模型。
所述图像采集单元用于采集胃镜图像，所属胃镜图像包括用于构建图像数据库的已经被正确诊断出结果的图像集及待检胃镜图像。
所述图像标注单元用于对所述胃镜图像进行标注，以及保证标注的图像标签和图像的真实结果一致，获得包含胃镜图像及对应的图像标签的图像集；
所述图像标签包括图像所属部位、图像是否包含病灶以及病灶类型。胃部胃镜图像通常包含胃底、胃体和胃窦三个部位的胃镜图像，因此需要对胃镜图像所属部位进行标注，以提高诊断准确率，并有助于确定病灶位置。对于待检胃镜图像无需标注图像是否包含病灶以及病灶类型，仅需标注其所属部位，然后进行识别。
所述图像数据库构建单元用于根据所述胃镜图像及对应的图像标签构建正常胃镜图像的正常图像特征库和病变胃镜图像的若干种病灶图像特征库；
正常图像特征库包括胃底正常图像特征库、胃体正常图像特征库和胃窦正常图像特征库，识别待检胃镜图像是否包含病灶时，先标注出待检胃镜图像所属部位，再以相应部位的正常图像特征库为基准进行识别。
所述病灶图像特征库包括充血图像特征库、水肿图像特征库、出血图像特征库、糜烂图像特征库、溃疡图像特征库、肿瘤图像特征库、结石图像特征库和息肉图像特征库。以充血图像特征库为例，充血图像特征库包含胃底充血图像特征库、胃体充血图像特征库和胃窦充血图像特征库，识别待检胃镜图像病灶类型时，先标注出待检胃镜图像所属部位，再以相应部位的充血图像特征库为基准进行识别。
所述正常图像特征库和病灶图像特征库包含图像颜色特征库和纹理特征库。正常胃部胃镜图像和病变胃镜图像，以及不同病灶的病变胃镜图像在颜色和纹理上均具有明显区别，因此，通过构建正常图像特征库和病灶图像特征库的图像颜色特征库和纹理特征库，即可识别出待检胃镜图像是否包含病灶以及病灶类型。例如：正常的胃粘膜呈淡粉红色，表面光滑粘液覆盖，而在胃炎、出血性胃炎，胃粘膜糜烂时，胃壁有红褐色斑点，条状隆起，可以看到突起的粘膜下血管，有白色与红色片状区域，胃镜报告即为胃粘膜充血。再如：胃部发生胃溃疡病变时，内镜下溃疡可分为三个病期：①活动期：溃疡基底部蒙有白色或黄白色厚苔，周围黏膜充血、水肿，或周边黏膜充血、水肿开始消退，四周出现再生上皮所形成的红晕。②愈合期：溃疡缩小变浅，苔变薄，四周再生上皮所形成的红晕向溃疡围拢，黏膜皱襞向溃疡集中，或溃疡面几乎为再生上皮所覆盖，黏膜皱襞更加向溃疡集中。③瘢痕期：溃疡基底部白苔消失，呈现红色瘢痕，最后转变为白色瘢痕。胃部不同病灶表现出不同颜色和纹理特征，这些特征属于胃部胃镜图像的固有特征，且这些特征与病灶空间位置关系不大，因此通过构建正常图像特征库和病灶图像特征库的图像颜色特征库和纹理特征库，再将待检胃镜图像与正常图像特征库和病灶图像特征库进行比对，即可诊断出待检胃镜图像是否包含病灶，以及病灶的类型。
进一步的，所述正常图像特征库和所述病灶图像特征库的构建方法为：
(1)根据所述胃镜图像及对应的图像标签，分别筛选出正常胃镜图像和病变胃镜图像；
(2)分别提取所述正常胃镜图像和病变胃镜图像的颜色特征库和纹理特征库；提取图像颜色特征和纹理特征之前，先对图像进行预处理：(1)去除图像背景噪声：将获取图像周围的黑边框去掉，对图像进行简单处理，避免噪声干扰。(2)数据归一化：将图像作局部归一化，使所有图像的色调统一，去除由光线问题而产生的噪声。
对于正常胃镜图像，需提取整张胃镜图像的颜色特征和纹理特征。对于病变胃镜图像，仅需提取病灶的颜色特征和纹理特征，所述病变胃镜图像的纹理特征提取区域为病灶所在区域的纹理特征，结合病灶颜色特征和纹理特征，可精确识别出病灶类型；
(3)构建得到所述正常胃镜图像的颜色特征库和纹理特征库，以及所述病灶的颜色特征库和纹理特征库。
所述病灶类型识别模型用于根据所述正常图像特征库识别胃镜图像是否包含病灶；所述病灶类型识别模型用于根据所述病灶图像特征库识别胃镜图像的病灶类型。
一种以上所述病灶类型识别模型构建方法，包括以下步骤：
S1.通过图像采集单元获取M张诊断结果已知的胃镜图像，得到图像训练集，所述M张诊断结果已知的胃镜图像包括正常胃镜图像以及若干种病灶胃镜图像，M为5000-100000的自然数；所述若干种病灶胃镜图像包括充血、水肿、出血、糜烂、溃疡、肿瘤、结石、息肉中的任一种或多种组合的胃镜图像；图像训练集中图像按所属部位及病灶类型进行分类存储；
S2.提取所述图像训练集中每张图像的特征，构建训练集图像特征库；
S3.利用训练集图像特征库及所述正常图像特征库和病灶图像特征库对基于特征融合的病灶类型识别模型进行训练，得到病灶类型识别模型；所示训练方法为有监督训练；
所述病灶类型识别模型先与所述正常图像特征库进行图像融合和匹配，然后提取包含病灶的胃镜图像中病灶区域的图像特征，将所述病灶区域的图像特征与所述病灶图像特征库进行匹配，根据匹配度确认是否包含病灶以及病灶类型。
进一步的，所述特征融合包括颜色特征和纹理特征的融合。
进一步的，所述颜色特征的提取方法为提取胃镜图像的HSV颜色直方图；所述纹理特征的提取方法为提取胃镜图像小波分解后的高频系数向量作为纹理特征；所述特征融合方法为采用加权数据融合算法对提取的颜色特征和纹理特征向量进行融合。
胃镜图像颜色特征的提取方法：
Figure BDA0002397794570000091
Figure BDA0002397794570000092
Figure BDA0002397794570000093
式中，pi,j表示HSV彩色胃镜图像第j个像素点的第i个颜色分量的值；i＝0,1,2分别表示H、S、V分量；μi、σi和si分别表示第i个颜色通道的一阶、二阶和三阶矩，三个颜色通道的三个矩组成一个9维直方图向量，表示如下：
Fcolor＝[μH,σH,sH,μs,σs,ss,μv,σv,sv] (4)
采用小波变化提取胃镜图像的纹理特征，提取方法如下：
小波变换的小波函数和尺度函数如下：
Figure BDA0002397794570000094
式中，
Figure BDA0002397794570000095
是二维尺度函数；ΨH、ΨV、ΨD是3个二维小波函数。小波上的H表示水平方向，V表示垂直方向，D表示对角线方向。由此可得到一个伸缩和平移的基函数：
Figure BDA0002397794570000096
Figure BDA0002397794570000101
Figure BDA0002397794570000102
Figure BDA0002397794570000103
利用基函数对胃镜图像进行分解，得到低频部分(L)与高频部分(H)，提取每层小波系数矩阵的平均能量组成纹理特征向量：
W＝[ELL,EHL2,ELH2,EHH2,EHL1,ELH1,EHH1] (10)
式中，数字1和2表示一层和二层分解；图像在每一层上被分解成4个方向的子带，LH、HL、HH分别表示图像在水平、垂直和对角线方向上的子带情况，LL为低频子带。
颜色特征和纹理特征融合的方法为：
在进行融合前需要将颜色和纹理特征向量进行归一化，再进行融合。归一化公示如下：
Figure BDA0002397794570000104
式中：G为特征向量；g为特征向量中的元素；g'为归一化后的元素。则颜色特征向量和纹理特征向量归一化处理后表达式如下：
F'color＝[μ'H,σ'H,s'H,μ's,σ's,s's,μ'v,σ'v,s'v] (12)
W'＝[E'LL,E'HL2,E'LH2,E'HH2,E'HL1,E'LH1,E'HH1] (13)
将颜色特征向量和纹理特征进行融合后，变为16维的特征向量:
Z＝{F'color,W'} (14)
所述基于特征融合的病灶类型识别模型识别原理为：输入一张待检胃镜图像，然后提取胃镜图像的颜色特征和纹理特征后融合，得到式(14)所示的特征向量，图像识别模型将该特征向量依次与正常图像特征库和病灶图像特征库的融合特征进行融合匹配，从而确定胃镜图像是否包含病灶以及病灶类型。
进一步的，数据输出单元用于输出肠胃科病诊断结果，所述肠胃科病诊断结果包括胃镜图像以及病灶类型。
请参阅图2所示，根据以上方法得到所述肠胃科病诊断系统后，用于对胃镜图像进行诊断识别，诊断方法包括以下步骤：
(1)图像采集单元采集待检胃镜图像；
(2)图像标注单元标注出所述待检胃镜图像所属部位(如胃底、胃体或胃窦)，获得包含胃镜图像及图像所属部位的数据组；
(3)病灶类型识别模型根据所述正常图像特征库识别待检胃镜图像是否包含病灶；
(4)若包含病灶，则病灶类型识别模型根据所述病灶图像特征库识别待检胃镜图像的病灶类型；若不包含病灶，则病灶类型识别模型不再识别；
(5)数据输出单元输出胃镜图像及相应的诊断结果，包含是否包含病灶及病灶类型。
综上所述，本发明首先构建正常胃镜图像的正常图像特征库和病变胃镜图像的若干种病灶图像特征库，再通过病灶类型识别模型，将待检胃镜图像进行颜色特征和纹理特征融合，再依次与正常图像特征库和病灶图像特征库进行匹配和识别，然后输出待检胃镜图像是否包含病灶以及病灶类型，从而实现快速准确地对胃部种类繁多的病灶进行识别。将待检胃镜图像先与正常图像特征库进行图像匹配识别，若包含病灶，则再取病灶区域的图像特征与灶图像特征库进行图像匹配识别，识别的特征点明显减少，提高了识别速度和精度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种肠胃科病诊断系统，其特征在于，包括图像采集单元、图像标注单元、图像数据库构建单元、图像识别单元和数据输出单元；所述图像识别单元包含病灶类型识别模型；
所述图像采集单元用于采集胃镜图像；
所述图像标注单元用于对所述胃镜图像进行标注，以及保证标注的图像标签和图像的真实结果一致，获得包含胃镜图像及对应的图像标签的图像集；
所述图像数据库构建单元用于根据所述胃镜图像及对应的图像标签构建正常胃镜图像的正常图像特征库和病变胃镜图像的若干种病灶图像特征库；
所述病灶类型识别模型用于根据所述病灶图像特征库识别胃镜图像是否包含病灶以及病灶类型；
所述数据输出单元用于输出肠胃科病诊断结果。
2.根据权利要求1所述的一种肠胃科病诊断系统，其特征在于，所述病灶图像特征库包括充血图像特征库、水肿图像特征库、出血图像特征库、糜烂图像特征库、溃疡图像特征库、肿瘤图像特征库、结石图像特征库和息肉图像特征库。
3.根据权利要求1所述的一种肠胃科病诊断系统，其特征在于，所述正常图像特征库和病灶图像特征库包含图像颜色特征库和纹理特征库。
4.根据权利要求3所述的一种肠胃科病诊断系统，其特征在于，所述正常图像特征库和所述病灶图像特征库的构建方法为：
（1）根据所述胃镜图像及对应的图像标签，分别筛选出正常胃镜图像和病变胃镜图像；
（2）分别提取所述正常胃镜图像和病变胃镜图像的颜色特征库和纹理特征库，且所述病变胃镜图像的颜色特征库和纹理特征库仅包含病灶区域的颜色特征和纹理特征；
（3）构建得到所述正常胃镜图像的颜色特征库和纹理特征库，以及所述病灶的颜色特征库和纹理特征库。
5.根据权利要求1所述的一种肠胃科病诊断系统，其特征在于，所述图像标签包括图像所属部位、图像是否包含病灶以及病灶类型。
6.根据权利要求1所述的一种肠胃科病诊断系统，其特征在于，所述肠胃科病诊断结果包括胃镜图像以及病灶类型。
7.根据权利要求1所述的一种肠胃科病诊断系统，其特征在于，所述肠胃科病诊断系统的诊断方法包括以下步骤：
（1）图像采集单元采集待检胃镜图像；
（2）图像标注单元标注出所述待检胃镜图像所属部位，获得包含胃镜图像及图像所属部位的图像集；
（3）病灶类型识别模型根据所述正常图像特征库识别待检胃镜图像是否包含病灶；
（4）若待检胃镜图像包含病灶，则病灶类型识别模型继续根据所述病灶图像特征库识别待检胃镜图像的病灶类型；若待检胃镜图像不包含病灶，则病灶类型识别模型不再识别；
（5）数据输出单元输出胃镜图像及相应的诊断结果。
8.一种权利要求1所述的病灶类型识别模型的构建方法，其特征在于，包括以下步骤：
S1.通过图像采集单元获取M张诊断结果已知的胃镜图像，得到图像训练集，所述M张诊断结果已知的胃镜图像包括正常胃镜图像以及若干种病灶胃镜图像，M为5000-100000的自然数；
S2.提取所述图像训练集中每张图像的特征，构建训练集图像特征库；
S3.利用训练集图像特征库及所述正常图像特征库和病灶图像特征库对基于特征融合的病灶类型识别模型进行训练，得到病灶类型识别模型；
所述病灶类型识别模型先与所述正常图像特征库进行图像融合和匹配，然后提取包含病灶的胃镜图像中病灶区域的图像特征，将所述病灶区域的图像特征与所述病灶图像特征库进行匹配，根据匹配度确认是否包含病灶以及病灶类型。
9.根据权利要求8所述的一种病灶类型识别模型的构建方法，其特征在于，所述特征融合包括颜色特征和纹理特征的融合。
10.根据权利要求9所述的一种病灶类型识别模型的构建方法，其特征在于，所述颜色特征的提取方法为提取胃镜图像的HSV颜色直方图；所述纹理特征的提取方法为提取胃镜图像小波分解后的高频系数向量作为纹理特征；所述特征融合方法为采用加权数据融合算法对提取的颜色特征和纹理特征向量进行融合。
CN202010137308.6A 2020-03-02 2020-03-02 一种肠胃科病模型构建方法及诊断系统 Pending CN111341441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010137308.6A CN111341441A (zh) 2020-03-02 2020-03-02 一种肠胃科病模型构建方法及诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010137308.6A CN111341441A (zh) 2020-03-02 2020-03-02 一种肠胃科病模型构建方法及诊断系统

Publications (1)

Publication Number Publication Date
CN111341441A true CN111341441A (zh) 2020-06-26

Family

ID=71187478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010137308.6A Pending CN111341441A (zh) 2020-03-02 2020-03-02 一种肠胃科病模型构建方法及诊断系统

Country Status (1)

Country Link
CN (1) CN111341441A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111939444A (zh) * 2020-08-25 2020-11-17 东北电力大学 一种靶向药物输送微纳机器人
CN113268623A (zh) * 2021-06-01 2021-08-17 上海市第一人民医院 一种人工智能化胃镜图像识别处理系统
CN113570592A (zh) * 2021-08-05 2021-10-29 印迹信息科技（北京）有限公司 肠胃病检测和模型训练方法、装置、设备及介质
CN114188017A (zh) * 2021-11-25 2022-03-15 广州思德医疗科技有限公司 基于胶囊系统的图像处理方法、装置及电子设备
CN115578385A (zh) * 2022-12-01 2023-01-06 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181489A1 (en) * 2007-01-31 2008-07-31 Microsoft Corporation Segment-discriminating minimum classification error pattern recognition
CN106127263A (zh) * 2016-07-06 2016-11-16 中国人民解放军国防科学技术大学 基于三维特征提取的人脑磁共振图像分类识别方法及系统
CN106599051A (zh) * 2016-11-15 2017-04-26 北京航空航天大学 一种基于生成图像标注库的图像自动标注的方法
CN107292347A (zh) * 2017-07-06 2017-10-24 中冶华天南京电气工程技术有限公司 一种胶囊内窥镜图像识别方法
CN107967946A (zh) * 2017-12-21 2018-04-27 武汉大学 基于深度学习的胃镜操作实时辅助系统及方法
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN109473168A (zh) * 2018-10-09 2019-03-15 五邑大学 一种医学影像机器人及其控制、医学影像识别方法
CN109615633A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的肠镜下克罗恩病辅助诊断系统及方法
CN109616195A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 基于深度学习的纵隔超声内镜图像实时辅助诊断系统及方法
CN110414631A (zh) * 2019-01-29 2019-11-05 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110705440A (zh) * 2019-09-27 2020-01-17 贵州大学 一种基于神经网络特征融合的胶囊内镜图像识别模型

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181489A1 (en) * 2007-01-31 2008-07-31 Microsoft Corporation Segment-discriminating minimum classification error pattern recognition
CN106127263A (zh) * 2016-07-06 2016-11-16 中国人民解放军国防科学技术大学 基于三维特征提取的人脑磁共振图像分类识别方法及系统
CN106599051A (zh) * 2016-11-15 2017-04-26 北京航空航天大学 一种基于生成图像标注库的图像自动标注的方法
CN107292347A (zh) * 2017-07-06 2017-10-24 中冶华天南京电气工程技术有限公司 一种胶囊内窥镜图像识别方法
CN107967946A (zh) * 2017-12-21 2018-04-27 武汉大学 基于深度学习的胃镜操作实时辅助系统及方法
CN109473168A (zh) * 2018-10-09 2019-03-15 五邑大学 一种医学影像机器人及其控制、医学影像识别方法
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN109615633A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的肠镜下克罗恩病辅助诊断系统及方法
CN109616195A (zh) * 2018-11-28 2019-04-12 武汉大学人民医院（湖北省人民医院） 基于深度学习的纵隔超声内镜图像实时辅助诊断系统及方法
CN110414631A (zh) * 2019-01-29 2019-11-05 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110705440A (zh) * 2019-09-27 2020-01-17 贵州大学 一种基于神经网络特征融合的胶囊内镜图像识别模型

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111939444A (zh) * 2020-08-25 2020-11-17 东北电力大学 一种靶向药物输送微纳机器人
CN113268623A (zh) * 2021-06-01 2021-08-17 上海市第一人民医院 一种人工智能化胃镜图像识别处理系统
CN113570592A (zh) * 2021-08-05 2021-10-29 印迹信息科技（北京）有限公司 肠胃病检测和模型训练方法、装置、设备及介质
CN114188017A (zh) * 2021-11-25 2022-03-15 广州思德医疗科技有限公司 基于胶囊系统的图像处理方法、装置及电子设备
CN115578385A (zh) * 2022-12-01 2023-01-06 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质
CN115578385B (zh) * 2022-12-01 2023-03-14 武汉楚精灵医疗科技有限公司 肠镜下病灶信息获取方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
CN111341441A (zh) 一种肠胃科病模型构建方法及诊断系统
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
Li et al. Computer-based detection of bleeding and ulcer in wireless capsule endoscopy images by chromaticity moments
Li et al. Computer-aided detection of bleeding regions for capsule endoscopy images
CN111899229A (zh) 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
WO2020224153A1 (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
CN105657580B (zh) 一种胶囊内镜视频摘要生成方法
JP7550409B2 (ja) 画像診断装置、画像診断方法、および画像診断プログラム
CN111667453A (zh) 一种基于局部特征和类标嵌入约束字典学习的胃肠镜图像异常检测方法
Bulat et al. Data processing tasks in wireless GI endoscopy: Image-based capsule localization & navigation and video compression
KR102505791B1 (ko) 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
TWI738367B (zh) 以卷積神經網路檢測物件影像之方法
CN117764995B (zh) 基于深度神经网络算法的胆胰成像系统及方法
CN114782760A (zh) 一种基于多任务学习的胃部疾病图片分类系统
KR102095730B1 (ko) 딥러닝 기반의 대장 병변 검출 방법
KR101118211B1 (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
CN111476312A (zh) 一种基于卷积神经网络的病变图像的分类方法
Akbari et al. Wavelet-based compression and segmentation of hyperspectral images in surgery
CN114391792B (zh) 基于窄带成像的肿瘤预测方法、装置及成像内镜
Li et al. Computer aided detection of bleeding in capsule endoscopy images
Sindhu et al. A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images
CN112950601A (zh) 用于食管癌模型训练的图片的筛选方法、系统及存储介质
Nguyen et al. Endoscopic image classification using block-based color feature descriptors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430000 Tianyu Wanxiang international city, Guchuan 2nd Road, Bugu District, Wuhan City, Hubei Province

Applicant after: Liu Sihua

Address before: 350009 Fuzhou first hospital, No.190 Da Road, Taijiang District, Fuzhou City, Fujian Province

Applicant before: Liu Sihua

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626