CN111275041A - 内窥镜图像展示方法、装置、计算机设备及存储介质 - Google Patents

内窥镜图像展示方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111275041A
CN111275041A CN202010067143.XA CN202010067143A CN111275041A CN 111275041 A CN111275041 A CN 111275041A CN 202010067143 A CN202010067143 A CN 202010067143A CN 111275041 A CN111275041 A CN 111275041A
Authority
CN
China
Prior art keywords
image
endoscope
target area
matching
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067143.XA
Other languages
English (en)
Other versions
CN111275041B (zh
Inventor
邱俊文
孙钟前
付星辉
尚鸿
郑瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010067143.XA priority Critical patent/CN111275041B/zh
Publication of CN111275041A publication Critical patent/CN111275041A/zh
Priority to PCT/CN2020/124483 priority patent/WO2021147429A1/zh
Priority to US17/674,126 priority patent/US20220172828A1/en
Application granted granted Critical
Publication of CN111275041B publication Critical patent/CN111275041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本申请是关于一种内窥镜图像展示方法、装置、计算机设备及存储介质。涉及机器学习技术领域，该方法包括：获取由内窥镜采集得到的内窥镜图像；从内窥镜图像中定位出目标区域图像；将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。通过上述方法，使得在内窥镜的使用过程中，通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。

Description

内窥镜图像展示方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及机器学习技术领域，特别涉及一种内窥镜图像展示方法、装置、计算机设备及存储介质。
背景技术
随着医学技术的不断发展，内窥镜(比如胃镜或者肠镜等)已经逐渐成为辅助医生诊断消化道疾病的重要手段。
在相关技术中，内窥镜设备的操作人员(比如医生或护士)操作内窥镜的镜头探入患者的消化道，内窥镜的镜头实时拍摄患者体内的消化道影像，并将消化道影像显示在外接显示器的显示界面上，医生通过消化道影像来对患者的消化道疾病进行初步诊断。
然而，通过内窥镜辅助诊断对于医生的经验要求较高，目前很多医生缺乏借助于内窥镜准确的进行消化道疾病诊断的能力，导致借助于内窥镜进行辅助诊断的准确性较低。
发明内容
本申请实施例提供了一种内窥镜图像展示方法、装置、计算机设备及存储介质，可以提高借助于内窥镜进行辅助诊断的准确性，技术方案如下：
第一方面，提供了一种内窥镜图像展示方法，所述方法包括：
获取由内窥镜采集到的内窥镜图像；
从所述内窥镜图像中定位出目标区域图像，所述目标区域图像是所述内窥镜图像中包含目标区域的部分图像；
将所述目标区域图像输入编码网络，获得所述编码网络输出的，所述目标区域图像的语义特征；所述编码网络是图像分类网络中用于提取图像特征的网络部分；所述图像分类网络是通过第一训练图像以及所述第一训练图像的图像类别训练得到的机器学习网络；
将所述目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；所述匹配结果用于指示所述各个图像样本中与所述目标区域图像相匹配的目标图像样本；
在内窥镜图像显示界面显示所述内窥镜图像，以及所述匹配结果。
第二方面，提供了一种内窥镜图像展示方法，所述方法包括：
在内窥镜图像显示界面中显示第一内窥镜图像，所述第一内窥镜图像是内窥镜在白光模式下采集的图像；
响应于所述内窥镜的拍摄模式切换为内镜窄带成像术NBI模式，在所述内窥镜图像显示界面中显示第二内窥镜图像，所述第二内窥镜图像是所述内窥镜在所述NBI模式下采集的图像；
在所述内窥镜图像显示界面中，对应所述第二内窥镜图像显示匹配结果，所述匹配结果用于指示与所述第二内窥镜图像中的目标区域图像相匹配的目标图像样本。
第三方面，提供了一种内窥镜图像展示装置，所述装置包括：
内窥镜图像获取模块，用于获取由内窥镜采集到的内窥镜图像；
区域图像定位模块，用于从所述内窥镜图像中定位出目标区域图像，所述目标区域图像是所述内窥镜图像中包含目标区域的部分图像；
语义特征提取模块，用于将所述目标区域图像输入编码网络，获得所述编码网络输出的，所述目标区域图像的语义特征；所述编码网络是图像分类网络中用于提取图像特征的网络部分；所述图像分类网络是通过第一训练图像以及所述第一训练图像的图像类别训练得到的机器学习网络；
匹配模块，用于将所述目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；所述匹配结果用于指示所述各个图像样本中与所述目标区域图像相匹配的目标图像样本；
显示模块，用于在内窥镜图像显示界面显示所述内窥镜图像，以及所述匹配结果。
可选的，所述匹配模块，包括：
匹配分值获取子模块，用于将所述目标区域图像的语义特征与所述各个图像样本的语义特征输入匹配网络，获得所述匹配网络输出的，所述目标区域图像分别与所述各个图像样本之间的匹配分值；所述匹配网络是通过标注有匹配标签的语义特征对进行训练得到的，所述语义特征对包含两个图像的语义特征，所述匹配标签用于指示对应的语义特征对是否匹配；
图像样本确定子模块，用于根据所述目标区域图像分别与所述各个图像样本之间的匹配分值确定所述目标图像样本；
匹配结果获取子模块，根据所述目标图像样本获取所述匹配结果。
可选的，所述图像样本确定子模块，用于，
将所述各个图像样本按照对应的匹配分值从高到低的顺序排序后，排列在前n位的图像样本作为所述目标图像样本，n≥1，n为整数；
或者，将所述各个图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为所述目标图像样本；
或者，将所述各个图像样本按照对应的匹配分值从高到低的顺序排序后排列在前n位的图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为所述目标图像样本，n≥1，n为整数。
可选的，所述匹配结果包括以下内容中的至少一项：
所述目标图像样本；
所述目标图像样本对应的图像类别；
以及，所述目标图像样本与所述目标区域图像的匹配度。
可选的，所述装置还包括：
第二显示模块，用于在所述内窥镜图像显示界面中，对应所述内窥镜图像显示区域标记，所述区域标记用于指示所述内窥镜图像中的所述目标区域。
可选的，所述区域图像定位模块，包括：
区域坐标获取子模块，用于将所述内窥镜图像输入目标区域定位网络，获得所述目标区域定位网络输出的区域坐标；所述目标区域定位网络是通过标注有目标区域的第二训练图像训练得到的机器学习网络；
第一区域图像获取子模块，用于将所述内窥镜图像中对应所述区域坐标的图像获取为所述目标区域图像。
可选的，所述区域图像定位模块，包括：
用户操作接收子模块，用于接收用户在所述内窥镜图像中执行的框选操作；
第二区域图像获取子模块，用于将所述内窥镜图像中对应所述框选操作的区域的图像获取为所述目标区域图像。
可选的，所述区域图像定位模块，用于响应于所述内窥镜图像的图像模式为内镜窄带成像术NBI模式，执行从所述内窥镜图像中定位出目标区域图像的步骤。
可选的，所述装置还包括：
图像模式信息获取模块，用于将所述内窥镜图像输入图像模式分类网络，获得所述图像模式分类网络输出的图像模式信息；所述图像模式分类网络是通过标注有图像模式的第三训练图像训练得到的机器学习网络；所述图像模式信息指示所述内窥镜图像的图像模式是否为所述NBI模式。
可选的，所述装置还包括：
工作状态获取模块，用于获取所述内窥镜采集所述内窥镜图像时的工作状态；
响应于所述工作状态是NBI状态，确定所述内窥镜图像的图像模式为所述NBI模式。
可选的，所述装置还包括：
图像质量信息获取模块，用于获取所述内窥镜图像的图像质量信息，所述图像质量信息包括模糊度、曝光及色调异常度、以及有效分辨率中的至少一项；
区域图像定位模块，用于响应于所述图像质量信息满足图像质量阈值，执行从所述内窥镜图像中定位出目标区域图像的步骤。
第四方面，提供了一种内窥镜图像展示装置，所述装置包括：
第一显示模块，用于在内窥镜图像显示界面中显示第一内窥镜图像，所述第一内窥镜图像是内窥镜在白光模式下采集的图像；
第二显示模块，用于响应于所述内窥镜的拍摄模式切换为内镜窄带成像术NBI模式，在所述内窥镜图像显示界面中显示第二内窥镜图像，所述第二内窥镜图像是所述内窥镜在所述NBI模式下采集的图像；
第三显示模块，用于在所述内窥镜图像显示界面中，对应所述第二内窥镜图像显示匹配结果，所述匹配结果用于指示与所述第二内窥镜图像中的目标区域图像相匹配的目标图像样本。
第五方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述的内窥镜图像展示方法。
第六方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的内窥镜图像展示方法。
本申请提供的技术方案可以包括以下有益效果：
通过获取由内窥镜采集到的内窥镜图像；从内窥镜图像中定位出目标区域图像，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。使得在内窥镜的使用过程中，通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种图像识别以及图像显示框架图；
图2示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图；
图3示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图；
图4示出了本申请一示例性实施例示出的有效像素面积的示意图；
图5示出了本申请一示例性实施例提供的编码网络的结构示意图；
图6示出了本申请一示例性实施例提供的匹配网络的训练示意图；
图7示出了本申请一示例性实施例示出的内窥镜图像显示界面的界面图；
图8示出了本申请一示例性实施例示出的一种内窥镜图像识别过程的示意图；
图9示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图；
图10示出了本申请一示例性实施例示出的内窥镜图像检索系统的示意图；
图11示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图；
图12是根据一示例性实施例示的一种内窥镜图像展示装置的结构方框图；
图13是根据一示例性实施例示的一种内窥镜图像展示装置的结构方框图；
图14是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提出了一种高效并且高准确率的内窥镜辅助诊断方案，该方案能够通过对内窥镜图像中的病灶区域的图像进行定位并与已有的图像样本进行匹配，来帮助用户及其医生快速识别出可能的消化道疾病(比如早期胃癌)。为了便于理解，下面对本申请实施例涉及的几个名词进行解释。
1)内窥镜
在本申请中，内窥镜是指一种由可弯曲部分、光源及镜头组成的，常用的医疗器械。内窥镜可以经人体的天然孔道，或者是经手术做的小切口进入人体内，在使用时，将内窥镜导入预检查的器官，即可直接窥视有关部位的变化。
常用的内窥镜包括胃镜、肠镜等。
其中，胃镜是一种借助一条纤细、柔软的管子从咽部伸入胃中，使得通过管子头部的镜头可以实时拍摄患者体内的消化道影像的内窥镜。借助于胃镜，医生可以通过外接显示器的画面直接观察食道、胃和十二指肠的病变。通过胃镜检查，医生能直接观察到被检查部位的真实情况，更可以通过对可疑病变部位进行活检及细胞学检查，以进一步明确诊断，是上消化道病变的首选检查方法。
2)病灶区域：通常指代机体上发生病变的部分区域，而消化道疾病的病灶区域即为消化道器官部产生病变的区域。比如，胃粘膜表面长出突起状组织，那么突起状组织对应的胃粘膜区域便是胃息肉病的病灶区域；再比如，胃部的十二指肠在高胃酸、胃蛋白酶的侵袭下，消化自身粘膜，形成局部炎性缺损，则被消化的十二指肠粘膜上皮对应的区域就是十二指肠溃疡的病灶区域。
3)内镜窄带成像术(Narrow Band Imaging，NBI)
NBI，又称窄带成像内镜，是一种新兴的内镜技术，它是利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱，仅留下窄带光谱用于诊断消化道的各种疾病。开启NBI模式后的影像不仅能够精确地观察消化道黏膜上皮形态，比如上皮腺凹结构，还可以观察上皮血管网的形态。这种新技术能够更好地帮助内镜医生区分胃肠道上皮，胃肠道炎症中血管形态的改变，以及胃肠道早期肿瘤腺凹不规则改变，从而提高内镜诊断的准确率。
4)损失函数
损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
5)AI(Artificial Intelligence，人工智能)盒子
AI盒子部署在医院的一套硬件设备及服务，AI引擎服务及视频采集卡均集成在AI盒子中，AI盒子可以获取内镜实时视频流的画面，并向AI引擎服务做输入，由AI定位实时内镜画面中的病灶，并即时分析是否为早癌和概率。
本申请实施例的方案包括识别阶段和显示阶段。图1是根据一示例性实施例示出的一种图像识别以及图像显示框架图。如图1所示，在图像识别阶段，图像识别设备110根据内窥镜设备120输入的内窥镜图像，实时进行病灶识别，该图像识别设备110可以是AI盒子，该图像识别设备可以包括视频采集模块，图像识别模块以及图像输出模块，其中视频采集模块用以实时获取内窥镜采集到得图像画面，并将该图像输入到该图像识别模块中，该视频采集模块可以实现为图1所示的视频采集卡；图像识别模块用以对输入该图像识别设备的图像画面进行识别处理，获得识别结果，该图像识别模块可以实现为图1所示的AI引擎和CPU服务器，在一种可能的情况下，AI引擎和CPU服务器可以集成在AI盒子中，或者也可以AI引擎和CPU服务器也可以通过有线或者无线的方式与AI盒子进行信息交互；图像输出模块用以将图像识别模块获得的识别结果输到图像显示设备130进行显示，其中，图像显示设备130可以是该图像识别设备110的内置显示模块，也可以是该图像识别设备110外接的图像显示设备120。在图像显示阶段，图像显示设备130在图像显示界面中显示该内窥镜图像以及图像识别设备110的识别结果。
其中，上述图像识别设备110可以是具有机器学习能力的计算机设备，该计算机设备可以是个人电脑、服务器以及固定式医疗设备(比如上述AI盒子)等固定式计算机设备，或者，该计算机设备也可以是平板电脑、电子书阅读器或者便携式医疗设备等移动式计算机设备。
可选的，上述图像识别设备110和图像显示设备130可以是同一个设备，或者，图像识别设备110和图像显示设备130也可以是不同的设备。并且，当图像识别设备110和图像显示设备130是不同的设备时，图像识别设备110和图像显示设备130可以是同一类型的设备，比如图像识别设备110和图像显示设备130可以都是个人电脑；或者，图像识别设备110和图像显示设备130也可以是不同类型的设备，比如图像识别设备110可以是AI盒子，而图像显示设备120可以是固定式医疗设备或者固定式医疗设备等，比如图像显示设备可以是图1所示的影像信息系统(Picture Archiving&Communication System，PACS)医生报告工作站。本申请实施例对于图像识别设备110和图像显示设备130的具体类型不做限定。
本申请实施例以图像显示设备是图像识别设备(例如AI盒子)的外接设备为例对本申请进行说明。
请参考图2，其示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图，该内窥镜图像展示方法可以用于计算机设备，比如，该计算机设备可以是上述图1所示的图像识别设备。如图2所示，该内窥镜图像展示方法可以包括以下步骤：
步骤210，获取由内窥镜采集得到的内窥镜图像。
其中，内窥镜采集得到的内窥镜图像可以是白光图像，也可以是NBI图像，NBI图像是指在内窥镜图像采集过程中利用滤光器过滤掉内镜光源所发出的红蓝绿光波中的宽带光谱后所采集到的图像。内窥镜采集得到是白光图像还是NBI图像可以由医疗工作者通过对内窥镜的工作模式的改变进行调节，当内窥镜的工作模式为白光模式时，内窥镜所采集到的图像为白光图像，当内窥镜的工作模式为NBI模式时，内窥镜所采集到的图像为NBI图像。
步骤220，从内窥镜图像中定位出目标区域图像，该目标区域图像是内窥镜图像中包含目标区域的部分图像。
当内窥镜图像中显示可能存在病灶疑似区域时，计算机设备可以在内窥镜图像中将该病灶疑似区域所处的一定范围内的图像作为目标区域图像，并定位该目标区域图像在内窥镜图像中的位置。
步骤230，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；该编码网络是图像分类网络中用于提取图像特征的网络部分；图像分类网络是通过第一训练图像以及第一训练图像的图像类别训练得到的机器学习网络。
其中，编码网络可以是卷积网络(比如全卷积网络)，该编码网络用以提取图像特征，从而获得输入该编码网络的目标区域图像的语义特征。
在本申请实施例中，编码网络可以是图像分类网络的一部分，而图像分类网络可以由编码网络和分类网络构成，在图像分类网络的训练过程中，可以通过向模型训练设备中输入第一训练图像以及第一训练图像的图像类别，来对图像分类网络进行训练，例如，可以根据该图像分类网络的输出结果与第一训练图像的图像类别进行损失函数计算，并依据该损失函数对图像分类网络中的参数进行调整，以使得训练获得的图像分类网络的输出结果尽可能的指示接近于第一训练图像的图像类别，其中损失函数用以规范图像分类网络的输出结果与第一训练图像的图像类别之间的关系。
在本申请实施例中，第一训练图像可以是内窥镜图像中标记的区域图像，第一训练图像的图像类别可以是该区域图像所对应的图像类型，即是否是目标区域，例如，是否为病灶区域。
步骤240，将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；该匹配结果用于指示各个图像样本中与目标区域图像相匹配的目标图像样本。
其中，各个图像样本的语义特征是指将各个图像样本通过与目标区域图像相同的编码模型预先获得的各个图像样本对应的语义特征。
可选的，各个图像样本都有与之对应的病灶属性，目标区域图像的语义特征与各个图像样本的语义特征的匹配结果即可指示该目标区域图像可能对应的病灶属性。
步骤250，在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。
其中，内窥镜图像显示界面可以是与计算机设备连接的外置图像显示设备的显示屏幕，该内窥镜显示界面中可以实时显示内窥镜采集到的图像，或者经计算机设备处理过后的内窥镜采集到的图像，比如，标注有目标图像区域位置的图像。在本申请实施例中，还可以在内窥镜显示界面中显示匹配结果。
可选的，该匹配结果可以包括通过匹配网络获取的该目标图像区域可能对应的病灶属性和/或与该匹配结果对应的图像样本的图像。
综上所述，本申请提供的内窥镜图像展示方法，通过获取由内窥镜采集到的内窥镜图像；从内窥镜图像中定位出目标区域图像，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。使得在内窥镜的使用过程中，通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
基于图2所示的内窥镜图像展示方法，当从内窥镜图像中定位出目标区域图像的步骤由计算机设备执行时，请参考图3，其示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图，该内窥镜图像展示方法可以用于计算机设备，比如上述图1所示的图像识别设备中。如图3所示，该内窥镜图像展示方法可以包括以下步骤：
步骤310，获取由内窥镜采集到的内窥镜图像。
例如，以计算机设备包括AI盒子和AI引擎为例，当通过AI盒子中的视频采集卡进行视频采集时，上述过程可以表现为，AI盒子获取内窥镜实时视频流的画面，并向与AI盒子连接，或者集成在AI盒子中的AI引擎服务器输入内窥镜实时视频流画面，相应的AI引擎服务器获取由内窥镜采集到的内窥镜图像。
步骤320，获取内窥镜采集的内窥镜图像时的图像模式。
由于内窥镜图像的图像模式的改变可以由医务人员通过人工调节进行切换，比如，当医务人员通过观察到白光模式的内窥镜图像发现疑似病灶时，即可将白光模式切换为NBI模式，NBI模式的图片相较于白光模式的图片可以更清晰的显示出血管走向，腺管开口等信息，在NBI模式下对内窥镜图像进一步方法观察更多疑似病灶的细节，以便于医务人员对疑似病灶进行判断。
因此，可选的，获取内窥镜采集的内窥镜图像时的图像模式的过程可以实现为：
获取内窥镜采集内窥镜图像时的工作状态；
响应于工作状态是NBI状态，确定内窥镜图像的图像模式为NBI模式。
比如，计算机设备可以根据医护人员对模式选择的用户操作获取内窥镜采集图像时的工作状态，当该用户操作指示内窥镜处于白光模式时，在该模式下内窥镜采集的内窥镜图像的图像模式即为白光模式，当该用户操作指示内窥镜处于NBI模式时，在该模式下，内窥镜采集的内窥镜图像的图像模式即为NBI模式。
或者，可选的，计算机设备可以将内窥镜图像输入图像模式分类网络，获得图像模式分类网络输出的图像模式信息；其中，图像模式分类网络是通过标注有图像模式的第三训练图像训练得到的机器学习网络；图像模式信息指示内窥镜图像的图像模式是否为NBI模式。
可选的，上述图像模式分类网络可以是密集卷积网络(DenseNet)，用以对内窥镜图像进行分类识别，该图像模式分类网络可以预先通过机器学习模型训练获得。
比如，在训练过程中，模型训练设备可以将内窥镜图像样本以及对应的图像模式输入到模型训练设备中，以构建图像模式分类网络，根据该图像模式分类网络的输出结果与对应的图像模式进行损失函数计算，并依据损失函数对图像模式分类网络中的参数进行调整，以使得训练获得的图像模式分类网络的输出结果尽可能的指示接近于内窥镜图像样本对应的图像模式。
在该图像模式分类网络的使用过程中，计算机设备可以向图像模式分类网络中输入内窥镜图像，该图像模式分类网络即可输出该内窥镜图像所对应的图像模式。
可选的，图像模式分类网络可以对输入的内窥镜图像进行缩放，以使得缩放后的内窥镜图像的大小满足图像模式分类网络的要求，比如，图像模式分类网络所要求的内窥镜图像的大小为224*224，则在进行图像模式判断前，先将输入的内窥镜图像的大小缩放为224*224。
基于本申请实施例中对图像模式分类网络的工作需求，本申请提供一种图像模式分类网络，其模型结构如下表1：
表1
Figure BDA0002376319210000121
由于在本申请中，图像模式分类网络更偏好于较低级的特征组合，如血管颜色等，因此在设置密集卷积网络结构深度和宽度的组合时，可以采用更宽更浅的模式，最终所使用的网络结构可以是上述的DenseNet-40(密集卷积网络结构-40)，再进行网络参数调优，比如，将growth-rate(增长率)设置为48，特征经过转换层压缩比为0.5。
可选的，计算机设备从内窥镜图像中定位出目标区域图像之前，还包括：
获取内窥镜图像的图像质量信息，图像质量信息包括模糊度、曝光及色调异常度、以及有效分辨率中的至少一项；
响应于图像质量信息满足图像质量阈值，执行从内窥镜图像中定位出目标区域图像的步骤。
在内窥镜进行图像采集的过程中，采集到的内窥镜图像中可能存在由于拍摄模糊或者由消化道未消化的食物残渣造成的模糊图像，这些模糊图像的存在会对后续的分析判断造成严重的误差，因此需要对内窥镜采集到的图像中的低质量图像进行筛选，其中低质量图片可以包括但不限于以下三种情况：模糊图片、色调异常以及过曝欠曝图片、低分辨率图片。
对于低分辨率图片，计算机设备可以通过计算图片中的有效像素面积来进行识别，其中，有效像素面积是指剪裁图片上下左右的黑边之后的面积，请参考图4，其示出了本申请一示例性实施例示出的有效像素面积的示意图，如图4所示，图4界面中上下左右黑边之外的区域410即为有效像素面积。对黑边的剪裁过程可以由计算机设备通过统计图片每行或者每列像素值的灰度值分布，当图片中某行或者某列像素值的灰度值分布低于预设阈值的比例达到一定阈值时，则确定该行或者该列应该剪除，比如，当图片中某行或者某列像素值的灰度值分布低于预设阈值的比例达到50％时，确定该行或该列应该剪除。对剪除黑边后的有效像素面积进行判断，若有效像素面积小于一定阈值，则该图片被判断为低分辨率图片。其中，上诉说明中的阈值均可根据实际应用所需进行设定。
对于模糊图片，本申请实施例提供一种示例性的对模糊图片的检测算法，通过对内窥镜图片进行高斯滤波，以消除内窥镜采样时所产生的摩尔纹，其中，摩尔纹是指感光元件出现的高频干扰的条纹，是一种会使图片出现彩色的高频率不规则的条纹；将经过高斯滤波后的内窥镜图像定义为R，将高斯滤波后的内窥镜图像再经过一次中值滤波，将中值滤波后的内窥镜图像定义为P，比如，该中值滤波可以是3*3的中值滤波。分别计算图像P与图像R的梯度，利用像素图像边缘检测算子的到G_P和G_R图像，该像素图像边缘检测算子可以是索贝尔算子(Sobel算子)；计算G_P和G_R的相似度，根据相似度计算结果对该内窥镜图像是否为模糊图片进行判断，G_P和G_R的相似度越高，内窥镜图像越模糊，G_P和G_R的相似度越低，内窥镜图像越清晰。
对于色调异常以及过曝欠曝图片，本申请提供一种示例性的色调异常以及过曝欠曝图片检测算法。由于色调异常以及过曝欠曝存在多种异常现象，因此需要建设色调合格、拍摄正常的标准库文件，在对内窥镜图像进行检测时，首先，将图像平均分成n个图像框，并从中随机选取m个图像块，m，n均为正整数，且m<n。在HSV(Hue、Saturation、Value)空间下分别计算m个图像块的H、S、V。其中，H是指色调、色相，S是指饱和度。色彩纯净度、V是指明度/亮度，HSV空间多用于图像处理中。其次，以H和S为特征，将m个图像块的H、S与标准库文件中的标准图像的H、S进行匹配，对每个图像块计算相应的相似度，在一种可能的情况下，对于一个图像块而言，若标准图像为一个，则获取图像块与该标准图像的相似度值为该图像块与标准库文件中的标准图像的相似度；若标准图像为多个，则获取图像块与多个标准图像的相似度的平均值作为该图像块与标准文件中的标准图像的相似度。设定一个相似度阈值，若m个图像块中存在一定阈值的图像块与标准图像的相似度达到该相似度阈值，那么则判定该内窥镜图像为匹配成功图像，即色调正常且不存在过曝欠曝的图片，否则，若m个图像块中存在一定阈值的图像块与标准图像的相似度未达到相似度阈值，那么判定该内窥镜图像为匹配失败图像，即色调不正常和/或存在过曝或欠曝的图片。比如，可以将内窥镜图像划分为7*7的图像块，并从中随机出去9个图像块进行H、S、V计算，以H、S为特征，将9个图像块分别于标准图像进行相似度计算，若9个图像块中大于或等于5个匹配成功，则认为该内窥镜图像为色调正常且不存在过曝欠曝现象，若9个图像块中匹配成功的图像块小于5个，则认为该内窥镜图像为色调不正常和/或存在过曝或欠曝的图片。其中，相似度阈值以及对图像块的匹配进行判断的一定阈值均可以根据实际应用所需进行设置和调整，本申请实施例对此不进行限定。
可选的，图像质量信息的获取和判断可以在获取内窥镜采集内窥镜图像时的工作状态之前进行，以保证输入图像模式分类网络的内窥镜图像均为高质量图片，便于图像模式分类网络的判断，提高图像模式分类网络的识别精度。也就是说，响应于图像质量信息满足图像质量阈值，执行获取内窥镜采集内窥镜图像时的工作状态的步骤。
步骤330，响应于内窥镜图像的图像模式为NBI模式，将内窥镜图像输入目标区域定位网络，获得目标区域定位网络输出的区域坐标；目标区域定位网络是通过标注有目标区域的第二训练图像训练得到的机器学习网络。
当经由步骤320获取的内窥镜采集的内窥镜图像的图像模式指示该图像为NBI模式时，则将该内窥镜图像输入目标区域定位网络，相应的，若经由步骤320获取的内窥镜采集的内窥镜图像的图像模式指示该图像为白光模式，则将不执行将该内窥镜图像输入目标区域定位网络的步骤。
其中，该目标区域定位网络用以在输入的NBI模式的内窥镜图像中定位目标区域，比如，该目标区域可以是疑似病灶区域，当计算机设备通过该目标区域定位网络在内窥镜图像中确认存在疑似病灶区域时，可以获取并输出该疑似病灶区域的定位坐标。
目标区域定位网络可以是一种端到端的实时的目标检测与识别网络，该目标定位网络可以预先通过机器学习模型进行训练获得。
比如，在训练过程中，模型训练设备可以将标注有目标区域的第二训练图像输入到模型训练设备中，以构建目标区域定位网络，根据该目标区域定位网络的输出结果与对应的目标区域的坐标进行损失函数计算，并依据损失函数对目标定位网络中的参数进行调整，以使得训练获得的目标区域定位网络的输出结果尽可能的指示接近于具有目标区域的第二训练图像对应的目标区域坐标。
在一种可能的情况下，可以采用YOLO v2算法对目标区域进行定位检测，YOLO v2利用单个神经网络，将目标检测问题转化为提取图像中的边框(bounding boxes)和类别概率的回归问题。YOLO v2采用多出度训练方法，以及借用快速RCNN锚框(Faster RCNNanchor box)思想，可以在保证检测速度的同时，提升模型检测的进度以及泛化能力。在将YOLO v2算法应用到本申请的病灶定位场景中时，anchor box(锚框)的尺寸设置可以根据自由的训练数据聚类得到，在对该目标区域定位网络进行训练时，可以先使用Imagenet(图像数据库)数据好该目标区域定位网络的初始化参数，再利用本领域数据对该目标区域定位网络的初始化参数进行调整，以使得所得的目标区域定位网络能够对本领域表现良好。其中Imagenet数据是计算机视觉领域有关图像分类和目标检测的开源数据集，其中的图像数据涵盖各个领域的成千上万中类别，数据量在百万以上，本申请实施例可以通过Imagenet数据训练所得的模型的初始化参数，能够更好的使模型收敛以得到全局最优解，在该基础上，针对特定领域进行特定训练，以使提高该模型在特定领域的判断精度。比如，采用医疗领域的内窥镜图像对初始化的模型进行再训练，得到在医疗领域具有更高精度的模型。
在目标区域网络的使用过程中，计算机设备可以向目标区域网络中输入的NBI模式的内窥镜图像，该目标区域网络即可输出该内窥镜图像中的目标区域的坐标。
步骤340，将内窥镜图像中对应区域坐标的图像获取为目标区域图像。
可选的，该目标区域的坐标可以是能够框住目标区域的多边形(比如矩形)的几个端点的坐标，在获取到对应区域坐标后，计算机设备即可通过对各个端点的坐标依次进行连接来获取目标区域范围，并将该范围内的图像获取为目标区域图像。
步骤350，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；编码网络是图像分类网络中用于提取图像特征的网络部分；图像分类网络是通过第一训练图像以及第一训练图像的图像类别训练得到的机器学习网络。
根据图2所示实施例中对编码网络的说明，编码网络用于获得输入该编码网络的目标区域图像的语义特征，而无需对该目标区域图像进行分类。在该编码网络工作过程中，编码网络可以对输入该编码网络的目标区域图像进行降维处理，并将该降维后的目标区域图像数据作为数据库和匹配网络的输入，用以进行后续样本的匹配比对。
请参考图5，其示出了本申请一示例性实施例提供的编码网络的结构示意图，如图5所示，该编码网络可以包括全卷积网络510以及全局池化层520，其中全卷积网络510用以将输入该编码网络的目标区域图像解析为高维语义特征，该高维语义特征可以表现为H*W*K大小的特征图，其中，H对应于特征图的长，W对应于特征图的宽，K对应于特征图的个数。该特征图后续将会被导入全集池化层520进行后续处理，以将高维语义特征进行降维，获得1*K维的语义特征向量，便于后续对语义特征的匹配。
可选的，在编码网络获取目标区域图像的语义特征的同时，数据库可以根据编码网络获取的语义特征对数据库中存储的图像样本进行初步过滤，以获取包含与该目标区域图像的语义特征相近的语义特征相近的样本，从而减少后续匹配过程中的无意义匹配，减少匹配网络的工作压力。
例如，数据库可以获取上述目标区域图像对应的图像类型，并根据图像类型，筛选出具有相同图像类型的图像样本对应的语义特征，后续只需要将目标区域图像的语义特征与筛选出的图像样本对应的语义特征进行匹配即可，不需要将目标区域图像的语义特征与数据库中的所有图像样本对应的语义特征进行匹配。例如，上述图像类型可以指示图像中的器官类型等。
其中，数据库用以存储原始样本对应的K维语义特征，同时，为了能回溯到原始图片，该数据库中还保存有能追溯到原始图片的相关信息，并且，为了能实现根据输入的目标区域图像对数据库中的样本进行初步过滤，数据库对K维语义特征的存储进行了特殊规划，其中数据库中存储的原始样本的K维语义特征是通过对目标区域图像进行语义特征提取的编码网络所获取的。
步骤360，将目标区域图像的语义特征与各个图像样本的语义特征输入匹配网络，获得匹配网络输出的，目标区域图像分别与各个图像样本之间的匹配分值；匹配网络是通过标注有匹配标签的语义特征对进行训练得到的，语义特征对包含两个图像的语义特征，匹配标签用于指示对应的语义特征对是否匹配。
可选的，匹配网络可以由一个双分支输入的相似度量网络(Siamese netwoke)构成，用以评估输入该匹配网络的两个输入样本之间的匹配关系，这种匹配关系可以是两者之间的相似程度，也可以是两者之间的空间距离等。在匹配网络工作过程中，当一个需要进行检索的目标区域图像的语义特征输入到该匹配网络时，数据库中也会向该匹配网络中输入与之具有对应类型的图像样本的语义特征，并在匹配网络中对目标区域图像的语义特征依次与数据库中筛选出来的各个图像样本的语义特征进行匹配，匹配网络可以根据目标区域的语义特征与图像样本的语义特征的匹配程度输出匹配结果，其中该匹配结果可以是对两者之间的匹配关系进行计分，其中，匹配关系得分可以为多种形式，比如欧式距离，余弦(Cosine)相似度等，本申请对此不做限制。
在匹配网络的训练过程中，可以通过向模型训练设备中输入标注有匹配标签的语义特征对来对匹配网络进行训练，其中，每个语义特征对可以包含成对的两个语义特征，该匹配标签用以指示对应的语义特征对是否匹配，也就是说输入该匹配网络的是若干对语义特征对，以及各个语义特征对分别对应的匹配标签，然后，模型训练设备根据该匹配网络的输出结果与匹配标签进行损失函数计算，并基于该损失函数的计算结果对匹配网络中的参数进行调整，以使得训练获得的匹配网络的输出结果能够尽可能的指示接近于匹配标签。
在一种可能的情况下，请参考图6，其示出了本申请一示例性实施例提供的匹配网络的训练示意图，如图6所示。匹配网络同时输入内窥镜图像1的K维语义特征610和内窥镜图像2的K维语义特征620，通过多个全连接层与激活函数的非线性变化至M维，并计算两者间的关系得分，记为D。若匹配网络中对目标区域图像的语义特征与图像样本的语义特征之间的关系得分定义为欧式距离，那么损失函数可以定义为以下形式：
Figure BDA0002376319210000181
其中，τ表示平滑参数，用以抑制关系得分。当两个样本正相关时，Y＝0，否则Y＝1。
步骤370，根据目标区域图像分别与各个图像样本之间的匹配分值确定目标图像样本。
可选的，计算机设备将各个图像样本按照对应的匹配分值从高到低的顺序排序后，排列在前n位的图像样本作为目标图像样本，n≥1，n为整数；
或者，计算机设备将各个图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为目标图像样本；
或者，计算机设备将各个图像样本按照对应的匹配分值从高到低的顺序排序后排列在前n位的图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为目标图像样本，n≥1，n为整数。
其中，目标区域图像分别与各个图像样本之间的匹配分值用以指示目标区域图像与各个图像样本之间的相似程度，对于目标图像样本的获取，由于匹配分值越高，则目标区域图像与图像样本的相似程度越高，因此，计算机设备在对各个图像样本按照对应的匹配分值从高到低的顺序排序后，排序越靠前，则证明该图像样本与目标区域图像的相似程度越高，因此，可以选取排在前n位的图像样本作为目标图像样本。
或者，同一匹配分值可能对应有多个图像样本，只取前n位可能无法将排位靠前的匹配分值对应的全部图像样本全部筛选出来，由此，计算机设备可以选择设置一个匹配分值阈值，将高于该匹配分值阈值的图像样本全部作为目标图像样本。
或者，计算机设备也可以先对各个图像样本按照对应的匹配分值从高到低的顺序排序，再对排序后前n位图像样本根据匹配分值阈值进行筛选，从而获取到既排位靠前，又高于匹配分值阈值的图像样本。
步骤380，根据目标图像样本获取匹配结果。
可选的，匹配结果包括以下内容中的至少一项：
目标图像样本；
目标图像样本对应的图像类别；
以及，目标图像样本与目标区域图像的匹配度。
其中，计算机设备可以根据数据库中保存的能追溯到图像样本的相关信息获取目标图像样本。
步骤390，在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。
可选的，在内窥镜图像显示界面中，对应内窥镜图像显示区域标记，区域标记用于指示内窥镜图像中的目标区域。
请参考图7，其示出了本申请一示例性实施例示出的内窥镜图像显示界面的界面图，如图7所示，区域710中显示有内窥镜图像，在该内窥镜图像上显示有区域标记711，区域720中显示有匹配结果，该匹配结果可以包括目标图像样本721，目标图像样本的图像类别722，以及目标图像样本与目标区域图像的匹配度723。
可选的，在内窥镜图像中的区域标记711处，可以对应显示有匹配结果中匹配度最高的目标图像样本的相关信息，比如，目标图像样本对应的图像类别以及与内窥镜图像的匹配程度等。
综上所述，本申请提供的内窥镜图像展示方法，通过获取由内窥镜采集到的内窥镜图像；从内窥镜图像中定位出目标区域图像，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。使得在内窥镜的使用过程中，通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
示例性的，当内窥镜的采集对象是胃部时，请参考图8，其示出了本申请一示例性实施例示出的一种内窥镜图像识别过程的示意图，如图8所示，用户将内窥镜经由人体的天然孔道或者经手术做的小切口进入到人体胃部，进行内窥镜图像采集，并将采集到的被窥镜图像输入到计算机设备中；由于胃部可能存在食物残渣等对内窥镜图像的画面质量造成影响的因素，因此需要图计算机设备将内窥镜图像进行低质图像过滤810，以筛选出高质量的内窥镜图像，以便于下一步处理；计算机设备对筛选出的高质量的内窥镜图像进行预处理，将图像大小调整为满足图像模式分类网络的要求的大小后，开始进行图像类型识别820；在图像类型识别过程中可以依靠于图像模式分类网络，从输入该图像模式分类网络的内窥镜图像中筛选出NBI模式的内窥镜图像，并对NBI模式的内窥镜图像进行疑似病灶定位830；在疑似病灶定位过程中可以依靠于目标区域定位网络，对输入该目标区域定位网络的内窥镜图像中的疑似病灶进行定位，获取到疑似病灶所对应的病灶区域的区域坐标；针对该疑似病灶区域进行库内相似数据检索与分析840，该过程可以依靠于编码网络和匹配网络，对输入的内窥镜图像进行编码，获得内窥镜图像的语义特征，并与存储在数据中的经过初步筛选的样本图像的语义特征进行匹配，以获取疑似病灶区域的图像相匹配的样本图像，从而获取到该疑似病灶的相关信息，比如，病灶类型，与样本图像的匹配程度等等。
基于图2或图3所示的内窥镜图像展示方法，当从内窥镜图像中定位出目标区域图像的步骤由用户操作执行时，请参考图9，其示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图，该内窥镜图像展示方法可以用于计算机设备中，比如上述图1所示的图像识别设备中。如图9所示，该内窥镜图像展示方法可以包括以下步骤：
步骤910，获取由内窥镜采集到的内窥镜图像。
可选的，在内窥镜采集内窥镜图像时，内窥镜图像显示界面中可以实时显示内窥镜图像，且在该内窥镜显示界面中，用户可以对该内窥镜图像显示界面中的内窥镜图像进行用户操作。
可选的，该用户操作可以包括但不限于放大操作、缩小操作、框选操作。
计算机设备可以获取由内窥镜采集的内窥镜图像，也可以获取到用户通过界面交互产生的用户操作。
步骤920，接收用户在内窥镜图像中执行的框选操作。
用户在内窥镜图像中执行的框选操作可以是用户通过鼠标等外接设备对用户内窥镜图像中的部分区域进行选取，或者，也可以是用户直接与内窥镜显示界面进行交互，以对内窥镜界面中的部分区域进行选取。
步骤930，将内窥镜图像中对应框选操作的区域的图像获取为目标区域图像。
响应于用户在内窥镜界面中进行框选操作，在该框选操作的作用区域可以显示一个框选框，用以指示该区域为框选区域，并将位于该框选区域的图像获取为目标区图像。
可选的，在NBI模式下，用户可以进行框选操作，或者，在NBI模式下，对应与框选区域的图像可以被获取为目标区域图像。
可选的，用户进行框选操作获取到目标区域图像后，可以获取该目标区域图像的图像质量信息，该图像质量信息包括模糊度、曝光及色调异常度、以及有效分辨率中的至少一项；
响应于图像质量信息满足图像质量阈值，计算机设备执行将目标区域图像输入编码网络的步骤，以使得编码网络所处理的目标区域图像是图像质量较高的目标区域图像，减少低质量图像对后续识别匹配过程的影响，减少不必要的工作量。
对目标区域图像的图像质量信息的获取和判断过程可以参考图3实施例中获取内窥镜图像的图像质量信息的相关说明，此处不再赘述。
步骤940，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；编码网络是图像分类网络中用于提取图像特征的网络部分；图像分类网络是通过第一训练图像以及第一训练图像的图像类别训练得到的机器学习网络。
步骤950，将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；匹配结果用于指示各个图像样本中与目标区域图像相匹配的目标图像样本。
请参考图10，其示出了本申请一示例性实施例示出的内窥镜图像检索系统的示意图，如图10所示，该内窥镜图像系统可以包括编码网络1010，数据库1020以及匹配网络1030。当有目标区域图像输入到该内窥镜图像检索系统时，首先将该内窥镜图像通过编码网络1010，得到内窥镜图像对应的K维语义特征，并将该K维语义特征作为数据库1020和匹配网络1030的输入，该K维语义特征是降维后的语义特征；数据库1020根据该K维语义特征对数据库中的图像样本进行初步筛选，以获得与该内窥镜图像的语义特征接近的图像样本的语义特征，并将上述图像样本的语义特征输入到匹配网络1030中；匹配网络1030对编码网络1010输入的内窥镜图像的语义特征以及数据库1020输入的图像样本的语义特征进行匹配，并对内窥镜图像的语义特征与各个图像样本的语义特征的匹配关系进行评分，获得评分结果；计算机设备可以对上述评分结果按照分值高低进行排序，按照一定的确定规则，从数据库1020输入的图像样本的语义特征对应的图像样本中获取目标图像样本。
步骤960，在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。
内窥镜图像显示界面中显示的内窥镜图像是用户进行框选操作时所对应的内窥镜图像，匹配结果是指与用户框选操作的框选区域中的图像所对应的匹配结果。
综上所述，本申请提供的内窥镜图像展示方法，通过获取由内窥镜采集到的内窥镜图像；从内窥镜图像中定位出目标区域图像，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。使得在内窥镜的使用过程中，通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
请参考图11，其示出了本申请一示例性实施例示出的一种内窥镜图像展示方法的流程图，该内窥镜图像展示方法可以用于计算机设备，比如上述图1所示的图像显示设备中。如图11所示，该内窥镜图像展示方法可以包括以下步骤：
步骤1111，在内窥镜图像显示界面中显示第一内窥镜图像，该第一内窥镜图像是内窥镜在白光模式下采集的图像。
在内窥镜的使用过程中，用户首先会在白光模式下使用内窥镜对器官进行图像采集，以获取器官的全局图像，当用户发现在内窥镜的采集图像中存在疑似病灶区域时，可以将内窥镜的拍摄模式切换为NBI模式，其中，在NBI模式下，用户可以观测到血管流向，且血液在NBI模式的采集图像中表现为黑色，在NBI模式下，还可以精确观察消化道粘膜的上皮形态，便于用户对病灶区域的观察和判断。
步骤1120，响应于内窥镜的拍摄模式切换为NBI模式，在内窥镜图像显示界面中显示第二内窥镜图像，该第二内窥镜图像是内窥镜在NBI模式下采集的图像。
步骤1130，在内窥镜图像显示界面中，对应第二内窥镜图像显示匹配结果，匹配结果用于指示与第二内窥镜图像中的目标区域图像相匹配的目标图像样本。
上述对第二内窥镜图像的匹配结果是由图像识别是被对第二内窥镜图像进行识别匹配后获得的与第二内窥镜图像相匹配的目标图像样本以及其他相关信息，计算机设备对第二内窥镜图像进行识别的过程可以参考上述图2、图3或图8任一实施例所示的内窥镜图像展示方法中的相关内容。
综上所述，本申请提供的内窥镜图像展示方法，通过在内窥镜图像显示界面中显示内窥镜在白光模式下采集的图像；响应于内窥镜的拍摄模式切换为NBI模式，在内窥镜图像显示界面中显示内窥镜在NBI模式下采集的图像；在内窥镜图像显示界面中，对应第二内窥镜图像显示匹配结果。通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
图12是根据一示例性实施例示的一种内窥镜图像展示装置的结构方框图。该内窥镜图像展示装置可以用于计算机设备中，比如，该计算机设备可以是上述图1所示的图像识别设备中，以执行图2、图3或图9任一实施例所示的方法的全部或部分步骤。如图12所示，该内窥镜图像展示装置可以包括：
内窥镜图像获取模块1210，用于获取由内窥镜采集到的内窥镜图像；
区域图像定位模块1220，用于从内窥镜图像中定位出目标区域图像，该目标区域图像是内窥镜图像中包含目标区域的部分图像；
语义特征提取模块1230，用于将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；该编码网络是图像分类网络中用于提取图像特征的网络部分；该图像分类网络是通过第一训练图像以及第一训练图像的图像类别训练得到的机器学习网络；
匹配模块1240，用于将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；该匹配结果用于指示各个图像样本中与目标区域图像相匹配的目标图像样本；
第一显示模块1250，用于在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。
可选的，匹配模块1240，包括：
匹配分值获取子模块，用于将目标区域图像的语义特征与各个图像样本的语义特征输入匹配网络，获得匹配网络输出的，目标区域图像分别与各个图像样本之间的匹配分值；该匹配网络是通过标注有匹配标签的语义特征对进行训练得到的，语义特征对包含两个图像的语义特征，该匹配标签用于指示对应的语义特征对是否匹配；
图像样本确定子模块，用于根据目标区域图像分别与各个图像样本之间的匹配分值确定目标图像样本；
匹配结果获取子模块，用于根据目标图像样本获取匹配结果。
可选的，该图像样本确定子模块1220，用于，
将各个图像样本按照对应的匹配分值从高到低的顺序排序后，排列在前n位的图像样本作为目标图像样本，n≥1，n为整数；
或者，将各个图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为目标图像样本；
或者，将各个图像样本按照对应的匹配分值从高到低的顺序排序后排列在前n位的图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为目标图像样本，n≥1，n为整数。
可选的，匹配结果包括以下内容中的至少一项：
目标图像样本；
目标图像样本对应的图像类别；
以及，目标图像样本与目标区域图像的匹配度。
可选的，该装置还包括：
第二显示模块，用于在内窥镜图像显示界面中，对应内窥镜图像显示区域标记，该区域标记用于指示内窥镜图像中的目标区域。
可选的，该区域图像定位模块1220，包括：
区域坐标获取子模块，用于将内窥镜图像输入目标区域定位网络，获得目标区域定位网络输出的区域坐标；目标区域定位网络是通过标注有目标区域的第二训练图像训练得到的机器学习网络；
第一区域图像获取子模块，用于将内窥镜图像中对应区域坐标的图像获取为目标区域图像。
可选的，该区域图像定位模块1220，包括：
用户操作接收子模块，用于接收用户在内窥镜图像中执行的框选操作；
第二区域图像获取子模块，用于将内窥镜图像中对应框选操作的区域的图像获取为目标区域图像。
可选的，该区域图像定位模块1220，用于响应于内窥镜图像的图像模式为NBI模式，执行从内窥镜图像中定位出目标区域图像的步骤。
可选的，该装置还包括：
图像模式信息获取模块，用于将内窥镜图像输入图像模式分类网络，获得图像模式分类网络输出的图像模式信息；该图像模式分类网络是通过标注有图像模式的第三训练图像训练得到的机器学习网络；该图像模式信息指示内窥镜图像的图像模式是否为NBI模式。
可选的，该装置还包括：
工作状态获取模块，用于获取内窥镜采集内窥镜图像时的工作状态；
响应于工作状态是NBI状态，确定内窥镜图像的图像模式为NBI模式。
可选的，该装置还包括：
图像质量信息获取模块，用于获取内窥镜图像的图像质量信息，图像质量信息包括模糊度、曝光及色调异常度、以及有效分辨率中的至少一项；
该区域图像定位模块1220，用于响应于图像质量信息满足图像质量阈值，执行从内窥镜图像中定位出目标区域图像的步骤。
综上所述，本申请提供的内窥镜图像展示装置，应用于计算机设备中，通过获取由内窥镜采集到的内窥镜图像；从内窥镜图像中定位出目标区域图像，将目标区域图像输入编码网络，获得编码网络输出的，目标区域图像的语义特征；将目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；在内窥镜图像显示界面显示内窥镜图像，以及匹配结果。使得在内窥镜的使用过程中，通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
图13是根据一示例性实施例示的一种内窥镜图像展示装置的结构方框图。该内窥镜图像展示装置可以用于计算机设备中，比如，该计算机设备可以是上述图1所示的图像显示设备，以执行图11所示的方法的全部或部分步骤。如图13所示，该内窥镜图像展示装置可以包括：
第一显示模块1310，用于在内窥镜图像显示界面中显示第一内窥镜图像，该第一内窥镜图像是内窥镜在白光模式下采集的图像；
第二显示模块1320，用于响应于内窥镜的拍摄模式切换为NBI模式，在内窥镜图像显示界面中显示第二内窥镜图像，该第二内窥镜图像是内窥镜在NBI模式下采集的图像；
第三显示模块1330，用于在内窥镜图像显示界面中，对应第二内窥镜图像显示匹配结果，该匹配结果用于指示与第二内窥镜图像中的目标区域图像相匹配的目标图像样本。
综上所述，本申请提供的内窥镜图像展示装置，应用于计算机设备中，通过在内窥镜图像显示界面中显示内窥镜在白光模式下采集的图像；响应于内窥镜的拍摄模式切换为NBI模式，在内窥镜图像显示界面中显示内窥镜在NBI模式下采集的图像；在内窥镜图像显示界面中，对应第二内窥镜图像显示匹配结果。通过对内窥镜图像中的病灶的图像进行定位和匹配，提高了借助于内窥镜进行辅助诊断的准确性。
图14是根据一示例性实施例示出的计算机设备1400的结构框图。该计算机设备可以实现为本申请上述方案中图像识别设备或图像显示设备。所述计算机设备1400包括中央处理单元(Central Processing Unit，CPU)1401、包括随机存取存储器(Random AccessMemory，RAM)1402和只读存储器(Read-Only Memory，ROM)1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。所述计算机设备1400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output系统，I/O系统)1406，和用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1409。
所述基本输入/输出系统1406包括有用于显示信息的显示器1408和用于用户输入信息的诸如鼠标、键盘之类的输入设备1407。其中所述显示器1408和输入设备1407都通过连接到系统总线1405的输入输出控制器1410连接到中央处理单元1401。所述基本输入/输出系统1406还可以包括输入输出控制器1410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1410还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1409通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。所述大容量存储设备1409及其相关联的计算机可读介质为计算机设备1400提供非易失性存储。也就是说，所述大容量存储设备1409可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)、闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1409可以统称为存储器。
根据本申请的各种实施例，所述计算机设备1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1400可以通过连接在所述系统总线1405上的网络接口单元1411连接到网络1412，或者说，也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1401通过执行该一个或一个以上程序来实现图2、图3、图9或图11所示的方法的全部或者部分步骤。
本领域技术人员可以理解，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本申请实施例还提供了一种计算机可读存储介质，用于存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述内窥镜图像展示方法。例如，该计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种内窥镜图像展示方法，其特征在于，所述方法包括：
获取由内窥镜采集到的内窥镜图像；
从所述内窥镜图像中定位出目标区域图像，所述目标区域图像是所述内窥镜图像中包含目标区域的部分图像；
将所述目标区域图像输入编码网络，获得所述编码网络输出的，所述目标区域图像的语义特征；所述编码网络是图像分类网络中用于提取图像特征的网络部分；所述图像分类网络是通过第一训练图像以及所述第一训练图像的图像类别训练得到的机器学习网络；
将所述目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；所述匹配结果用于指示所述各个图像样本中与所述目标区域图像相匹配的目标图像样本；
在内窥镜图像显示界面显示所述内窥镜图像，以及所述匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得用于指示匹配图像样本的匹配结果，包括：
将所述目标区域图像的语义特征与所述各个图像样本的语义特征输入匹配网络，获得所述匹配网络输出的，所述目标区域图像分别与所述各个图像样本之间的匹配分值；所述匹配网络是通过标注有匹配标签的语义特征对进行训练得到的，所述语义特征对包含两个图像的语义特征，所述匹配标签用于指示对应的语义特征对是否匹配；
根据所述目标区域图像分别与所述各个图像样本之间的匹配分值确定所述目标图像样本；
根据所述目标图像样本获取所述匹配结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标区域图像分别与所述各个图像样本之间的匹配分值确定所述目标图像样本，包括：
将所述各个图像样本按照对应的匹配分值从高到低的顺序排序后，排列在前n位的图像样本作为所述目标图像样本，n≥1，n为整数；
或者，将所述各个图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为所述目标图像样本；
或者，将所述各个图像样本按照对应的匹配分值从高到低的顺序排序后排列在前n位的图像样本中，对应的匹配分值高于匹配分值阈值的图像样本作为所述目标图像样本，n≥1，n为整数。
4.根据权利要求1所述的方法，其特征在于，所述匹配结果包括以下内容中的至少一项：
所述目标图像样本；
所述目标图像样本对应的图像类别；
以及，所述目标图像样本与所述目标区域图像的匹配度。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述内窥镜图像显示界面中，对应所述内窥镜图像显示区域标记，所述区域标记用于指示所述内窥镜图像中的所述目标区域。
6.根据权利要求1所述的方法，其特征在于，所述从所述内窥镜图像中定位出目标区域图像，包括：
将所述内窥镜图像输入目标区域定位网络，获得所述目标区域定位网络输出的区域坐标；所述目标区域定位网络是通过标注有目标区域的第二训练图像训练得到的机器学习网络；
将所述内窥镜图像中对应所述区域坐标的图像获取为所述目标区域图像。
7.根据权利要求1所述的方法，其特征在于，所述从所述内窥镜图像中定位出目标区域图像，包括：
接收用户在所述内窥镜图像中执行的框选操作；
将所述内窥镜图像中对应所述框选操作的区域的图像获取为所述目标区域图像。
8.根据权利要求1所述的方法，其特征在于，所述从所述内窥镜图像中定位出目标区域图像，包括：
响应于所述内窥镜图像的图像模式为内镜窄带成像术NBI模式，执行从所述内窥镜图像中定位出目标区域图像的步骤。
9.根据权利要求8所述的方法，其特征在于，所述从所述内窥镜图像中定位出目标区域图像之前，还包括：
将所述内窥镜图像输入图像模式分类网络，获得所述图像模式分类网络输出的图像模式信息；所述图像模式分类网络是通过标注有图像模式的第三训练图像训练得到的机器学习网络；所述图像模式信息指示所述内窥镜图像的图像模式是否为所述NBI模式。
10.根据权利要求8所述的方法，其特征在于，所述从所述内窥镜图像中定位出目标区域图像之前，还包括：
获取所述内窥镜采集所述内窥镜图像时的工作状态；
响应于所述工作状态是NBI状态，确定所述内窥镜图像的图像模式为所述NBI模式。
11.根据权利要求1所述的方法，其特征在于，所述从所述内窥镜图像中定位出目标区域图像之前，还包括：
获取所述内窥镜图像的图像质量信息，所述图像质量信息包括模糊度、曝光及色调异常度、以及有效分辨率中的至少一项；
所述从所述内窥镜图像中定位出目标区域图像，包括：
响应于所述图像质量信息满足图像质量阈值，执行从所述内窥镜图像中定位出目标区域图像的步骤。
12.一种内窥镜图像展示方法，其特征在于，所述方法包括：
在内窥镜图像显示界面中显示第一内窥镜图像，所述第一内窥镜图像是内窥镜在白光模式下采集的图像；
响应于所述内窥镜的拍摄模式切换为内镜窄带成像术NBI模式，在所述内窥镜图像显示界面中显示第二内窥镜图像，所述第二内窥镜图像是所述内窥镜在所述NBI模式下采集的图像；
在所述内窥镜图像显示界面中，对应所述第二内窥镜图像显示匹配结果，所述匹配结果用于指示与所述第二内窥镜图像中的目标区域图像相匹配的目标图像样本。
13.一种内窥镜图像展示装置，其特征在于，所述装置包括：
内窥镜图像获取模块，用于获取由内窥镜采集到的内窥镜图像；
区域图像定位模块，用于从所述内窥镜图像中定位出目标区域图像，所述目标区域图像是所述内窥镜图像中包含目标区域的部分图像；
语义特征提取模块，用于将所述目标区域图像输入编码网络，获得所述编码网络输出的，所述目标区域图像的语义特征；所述编码网络是图像分类网络中用于提取图像特征的网络部分；所述图像分类网络是通过第一训练图像以及所述第一训练图像的图像类别训练得到的机器学习网络；
匹配模块，用于将所述目标区域图像的语义特征与各个图像样本的语义特征进行匹配，获得匹配结果；所述匹配结果用于指示所述各个图像样本中与所述目标区域图像相匹配的目标图像样本；
显示模块，用于在内窥镜图像显示界面显示所述内窥镜图像，以及所述匹配结果。
14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至12任一所述的内窥镜图像展示方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至12任一所述的内窥镜图像展示方法。
CN202010067143.XA 2020-01-20 2020-01-20 内窥镜图像展示方法、装置、计算机设备及存储介质 Active CN111275041B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010067143.XA CN111275041B (zh) 2020-01-20 2020-01-20 内窥镜图像展示方法、装置、计算机设备及存储介质
PCT/CN2020/124483 WO2021147429A1 (zh) 2020-01-20 2020-10-28 内窥镜图像展示方法、装置、计算机设备及存储介质
US17/674,126 US20220172828A1 (en) 2020-01-20 2022-02-17 Endoscopic image display method, apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067143.XA CN111275041B (zh) 2020-01-20 2020-01-20 内窥镜图像展示方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111275041A true CN111275041A (zh) 2020-06-12
CN111275041B CN111275041B (zh) 2022-12-13

Family

ID=71003339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067143.XA Active CN111275041B (zh) 2020-01-20 2020-01-20 内窥镜图像展示方法、装置、计算机设备及存储介质

Country Status (3)

Country Link
US (1) US20220172828A1 (zh)
CN (1) CN111275041B (zh)
WO (1) WO2021147429A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985457A (zh) * 2020-09-11 2020-11-24 北京百度网讯科技有限公司 交通设施损坏识别方法、装置、设备和存储介质
WO2021147429A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN113989125A (zh) * 2021-12-27 2022-01-28 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
CN114092426A (zh) * 2021-11-12 2022-02-25 数坤(北京)网络科技股份有限公司 一种图像关联方法、装置、电子设备和存储介质
CN114549482A (zh) * 2022-02-25 2022-05-27 数坤(北京)网络科技股份有限公司 一种图像关联方法、装置、电子设备和存储介质
CN116229522A (zh) * 2023-05-10 2023-06-06 广东电网有限责任公司湛江供电局 一种变电站作业人员安全防护装备检测方法和系统
CN116913455A (zh) * 2023-09-15 2023-10-20 紫东信息科技(苏州)有限公司 一种胃镜检查报告生成装置、设备及计算机可读存储介质
CN117528131A (zh) * 2024-01-05 2024-02-06 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377376A (zh) * 2012-04-13 2013-10-30 阿里巴巴集团控股有限公司 图像分类的方法和系统、图像检索的方法和系统
CN106934799A (zh) * 2017-02-24 2017-07-07 安翰光电技术（武汉）有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN107832335A (zh) * 2017-10-10 2018-03-23 西安电子科技大学 一种基于上下文深度语义信息的图像检索方法
CN108596884A (zh) * 2018-04-15 2018-09-28 桂林电子科技大学 一种胸部ct图像中的食管癌分割方法
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN109410185A (zh) * 2018-10-10 2019-03-01 腾讯科技（深圳）有限公司 一种图像分割方法、装置和存储介质
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和系统
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN110414607A (zh) * 2019-07-31 2019-11-05 中山大学 胶囊内窥镜图像的分类方法、装置、设备及介质
CN110475503A (zh) * 2017-03-30 2019-11-19 富士胶片株式会社 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
US20200005072A1 (en) * 2018-06-28 2020-01-02 General Electric Company Systems and methods of 3d scene segmentation and matching for robotic operations
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377376A (zh) * 2012-04-13 2013-10-30 阿里巴巴集团控股有限公司 图像分类的方法和系统、图像检索的方法和系统
CN106934799A (zh) * 2017-02-24 2017-07-07 安翰光电技术（武汉）有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN110475503A (zh) * 2017-03-30 2019-11-19 富士胶片株式会社 医疗用图像处理装置及内窥镜系统以及医疗用图像处理装置的工作方法
CN107832335A (zh) * 2017-10-10 2018-03-23 西安电子科技大学 一种基于上下文深度语义信息的图像检索方法
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法
CN108596884A (zh) * 2018-04-15 2018-09-28 桂林电子科技大学 一种胸部ct图像中的食管癌分割方法
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
US20200005072A1 (en) * 2018-06-28 2020-01-02 General Electric Company Systems and methods of 3d scene segmentation and matching for robotic operations
CN109410185A (zh) * 2018-10-10 2019-03-01 腾讯科技（深圳）有限公司 一种图像分割方法、装置和存储介质
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN109978002A (zh) * 2019-02-25 2019-07-05 华中科技大学 基于深度学习的内窥镜图像胃肠道出血检测方法和系统
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110414607A (zh) * 2019-07-31 2019-11-05 中山大学 胶囊内窥镜图像的分类方法、装置、设备及介质
CN110689025A (zh) * 2019-09-16 2020-01-14 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147429A1 (zh) * 2020-01-20 2021-07-29 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN111985457A (zh) * 2020-09-11 2020-11-24 北京百度网讯科技有限公司 交通设施损坏识别方法、装置、设备和存储介质
CN114092426A (zh) * 2021-11-12 2022-02-25 数坤(北京)网络科技股份有限公司 一种图像关联方法、装置、电子设备和存储介质
CN113989125A (zh) * 2021-12-27 2022-01-28 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
CN114549482A (zh) * 2022-02-25 2022-05-27 数坤(北京)网络科技股份有限公司 一种图像关联方法、装置、电子设备和存储介质
CN116229522A (zh) * 2023-05-10 2023-06-06 广东电网有限责任公司湛江供电局 一种变电站作业人员安全防护装备检测方法和系统
CN116913455A (zh) * 2023-09-15 2023-10-20 紫东信息科技(苏州)有限公司 一种胃镜检查报告生成装置、设备及计算机可读存储介质
CN116913455B (zh) * 2023-09-15 2023-12-15 紫东信息科技(苏州)有限公司 一种胃镜检查报告生成装置、设备及计算机可读存储介质
CN117528131A (zh) * 2024-01-05 2024-02-06 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法
CN117528131B (zh) * 2024-01-05 2024-04-05 青岛美迪康数字工程有限公司 一种医学影像的ai一体化显示系统及方法

Also Published As

Publication number Publication date
WO2021147429A1 (zh) 2021-07-29
WO2021147429A9 (zh) 2021-12-09
US20220172828A1 (en) 2022-06-02
CN111275041B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
US8705818B2 (en) Image processing device, computer readable storage medium storing image processing program, and image processing method
JP5094036B2 (ja) 内視鏡挿入方向検出装置
CN110738655B (zh) 影像报告生成方法、装置、终端及存储介质
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
US7907775B2 (en) Image processing apparatus, image processing method and image processing program
WO2014155778A1 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
CN110727097A (zh) 一种病理显微图像实时采集分析系统、方法、装置及介质
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
US9342881B1 (en) System and method for automatic detection of in vivo polyps in video sequences
CN113543694B (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
CN110335241B (zh) 肠镜检查后对肠道准备自动进行评分的方法
JP2013524988A (ja) 複数の生体内画像のうちの一部を表示するシステム及び方法
CN109978015B (zh) 一种图像处理方法、装置及内窥镜系统
CN113129287A (zh) 一种针对上消化道内镜影像的病灶自动留图方法
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
JP4832794B2 (ja) 画像処理装置及び画像処理プログラム
CN114842000A (zh) 一种内窥镜图像质量评估方法和系统
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
US20080165247A1 (en) Image processing apparatus and method
CN113139937A (zh) 一种基于深度学习的消化道内窥镜视频图像识别方法
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
CN110334582B (zh) 智能识别和记录内镜黏膜下剥离术摘除息肉视频的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024082

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant