CN116681681B - 内窥镜图像的处理方法、装置、用户设备及介质 - Google Patents

内窥镜图像的处理方法、装置、用户设备及介质 Download PDF

Info

Publication number
CN116681681B
CN116681681B CN202310699734.2A CN202310699734A CN116681681B CN 116681681 B CN116681681 B CN 116681681B CN 202310699734 A CN202310699734 A CN 202310699734A CN 116681681 B CN116681681 B CN 116681681B
Authority
CN
China
Prior art keywords
image
recognition model
image recognition
trained
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310699734.2A
Other languages
English (en)
Other versions
CN116681681A (zh
Inventor
马文超
侯英秋
原建宇
缪建锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm China Investment Co ltd
Original Assignee
Fujifilm China Investment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm China Investment Co ltd filed Critical Fujifilm China Investment Co ltd
Priority to CN202310699734.2A priority Critical patent/CN116681681B/zh
Publication of CN116681681A publication Critical patent/CN116681681A/zh
Application granted granted Critical
Publication of CN116681681B publication Critical patent/CN116681681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)

Abstract

本申请提供一种内窥镜图像的处理方法，所述方法包括，接收待检测图像，基于训练后的各个图像识别模型确定所述待检测图像的质量；以及输出符合质量要求的图像；其中，所述各个图像识别模型是通过以下方法训练的：对上消化道的第一部分分别获取第一图像和第二图像；对所述上消化道的第二部分获取第三图像；以及基于所述第一图像、所述第二图像、所述第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到所述训练后的各个图像识别模型。

Description

内窥镜图像的处理方法、装置、用户设备及介质
技术领域
本申请属于图像显示领域，特别涉及一种内窥镜图像的处理方法、装置、用户设备及介质。
背景技术
随着内镜医疗设备的普及以及人们对自身健康的重视，上消化道的检查需求激增。由于食管狭长、胃内部位较多且容易蜷缩不易观察，医生在检查过程中难免出现观察时间不足、观察角度不对、易漏检的部位。
发明内容
本申请提供的一种内窥镜图像的处理方法、装置、用户设备及介质，能够提高消化道检查的可靠性。
本申请的第一方面公开了一种内窥镜图像的处理方法，所述方法包括，接收待检测图像，基于训练后的各个图像识别模型确定所述待检测图像的质量；输出符合质量要求的图像；其中，所述各个图像识别模型是通过以下方法训练的：对上消化道的第一部分分别获取第一图像和第二图像；对所述上消化道的第二部分获取第三图像；以及基于所述第一图像、所述第二图像、所述第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到所述训练后的各个图像识别模型。
在上述第一方面的一种可能的实现中，所述第一图像是根据蓝激光成像BLI得到的，所述第二图像是根据白光成像WLI或者联动成像LCI得到的。
在上述第一方面的一种可能的实现中，所述第三图像是根据白光成像WLI或者联动成像LCI得到的。
在上述第一方面的一种可能的实现中，基于训练后的各个图像识别模型确定所述待检测图像的质量包括，将所述训练后的各个图像识别模型的输出与特定阈值进行比较，所述特定阈值表示检测部位的暴露情况和展开状态；当满足所述特定阈值时，判定所述训练后的各个图像识别模型输出的图像为所述符合所述质量的图像。
在上述第一方面的一种可能的实现中，对于不同的检测部位设置不同的所述特定阈值。
在上述第一方面的一种可能的实现中，还包括，获取采集所述内窥镜图像的光源信息；确定所述内窥镜图像对应的检测部位；以及基于所述光源信息和所述检测部位确定相应的图像识别模型。
本申请的第二方面公开了一种内窥镜图像处理装置，包括，接收模块，用于接收待检测图像，基于训练后的各个图像识别模型确定所述待检测图像的质量；输出模块，用于输出符合质量要求的图像；训练模块，用于对上消化道的第一部分分别获取第一图像和第二图像；对所述上消化道的第二部分获取第三图像；以及基于所述第一图像、所述第二图像、所述第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到所述训练后的各个图像识别模型。
本申请的第三方面公开了一种用户设备，所述设备包括存储有计算机可执行指令的存储器和处理器；当所述指令被所述处理器执行时，使得所述设备实施根据实施本申请第一方面的方法。
本申请的第四方面公开了一种计算机可读存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面的方法。
本申请的第五方面公开了一种计算机程序产品，所述计算机程序被处理器执行时实现上述第一方面的方法。
本申请提供用于用户设备的内窥镜图像处理方法、设备和介质，对于内窥镜图像分别训练了三个图像识别模型，利用训练好的图像识别模型来确定待检测图像的质量，并将符合质量的图像输出。对上消化道的不同部分采用不同图像识别模型的方法，可以有利于多光源的策略来提高检查的质量，从而保证上消化道检查的充分性和可靠性。
附图说明
图1为本申请一个实施例的内窥镜图像的处理方法100的流程示意图；
图2为本申请一个实施例的待检测图像符合质量时的输出显示的示意图；
图3为本申请一个实施例的确定待检测图像的质量的方法300的流程示意图；
图4为本申请一个实施例的确定图像识别模型的方法400的流程示意图；
图5为本申请一个实施例的内窥镜图像处理装置500的示意图；
图6为本申请一个实施例的用户设备600的结构示意图。
具体实施方式
下面结合具体实施例和附图对本申请做进一步说明。可以理解的是，本公开的说明性实施例包括但不限于内窥镜图像的处理方法、装置、用户设备及介质，此处描述的具体实施例仅仅是为了解释本申请，而非对本申请的限定。此外，为了便于描述，附图中仅示出了与本申请相关的部分而非全部的结构或过程。
在附图中，以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可以不需要这样的特定布置和/或排序。在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包含结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元或是数据，但是这些单元或数据不应当受这些术语限制。使用这些术语仅仅是为了将一个特征与另一个特征进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一特征可以被称为第二特征，并且类似地第二特征可以被称为第一特征。
应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。
内镜医疗设备在上消化道的检查中具有广泛的应用。在内镜检查中，由于白光照明模式较贴近人眼视觉效果，所以医生通常采用白光照明模式对消化道做全程检查。在发现可疑病灶后，再切换到BLI、LCI等特殊光照明模式进行进一步精查。
BLI(Blue Laser Imaging，蓝激光成像)是采用波长在440-460nm的窄带光源对检测场景进行照明成像，BLI对光中的红色分量更为敏感，因而可以提高浅表血管和黏膜的可视化。LCI(Linked Color Imaging，联动成像)结合白光和窄带波长光对检测场景进行照明成像，其可以通过对白光和窄带波长光的调整与转换来使黏膜附近的细微色差更易于识别。
在上消化道中，由于食管狭长、胃内部的部位较多且容易蜷缩不易观察等因素，在内镜检查过程中难免出现观察时间不足、观察角度不对等状况，造成漏检，从而不能够保证上消化道检查的可靠性。
为了解决上述问题，本申请的一个实施例提供了一种内窥镜图像的处理方法100。包括如下步骤。
在S110中，接收待检测图像，基于训练后的各个图像识别模型确定待检测图像的质量。
可以根据镜头直接获取视频流的方式来获取内窥镜图像。先根据专用处理器对视频流进行H.264快速解码，再将实时的图像信息实时储存至共享内存中。可以从共享内存中获取待检测图像。
将待检测图像输入至训练后的各个图像识别模型，以确定待检测图像的质量。各个图像识别模型是通过分区的多个部位分别进行训练得到的。即，对于对上消化道的第一部分分别获取第一图像和第二图像；对上消化道的第二部分获取第三图像；以及基于第一图像、第二图像、第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到所述训练后的各个图像识别模型。
不同部位的第一图像、第二图像、第三图像可以是根据不同的成像方式得到的。在一些实施方式中，上消化道的第一部分为食管，第一图像可以是根据蓝激光成像BLI得到，第二图像是根据白光成像WLI或者联动成像LCI得到的。第一图像和第二图像可以是在进管和出管时分别对食管检查时获取的图像，这里可以是指进管时采用BLI成像，在出管时采用WLI成像或LCI成像。在其它的一些示例中，可以是进管时采用WLI成像或LCI成像，在出管时采用BLI成像。BLI光源下的蓝光成像可以增加黏膜表层微血管和微结构的对比度，从而可以在较远距离就发现病变的黏膜结构。因为食管结构狭长，镜头只能单向向内，因此在进镜时可以使用BLI光源对食管进行观察。
在一些实施方式中，上消化道的第二部分为胃部区域，或者胃部及十二指肠区域。第三图像可以是根据白光成像WLI或者联动成像LCI得到的。LCI光源下的联动成像可以使黏膜红色区域更明显，提升微小病变的发现率。相较食管而言，胃部空间更加宽阔，使用LCI成像可以多角度地精细排查。
在一些实施方式中，在进管时采用WLI成像对食管进行检查，在胃部及十二指肠区域采用LCI成像采集图片，在退镜时经过食管时，可以采用WLI或LCI进行二次检查。
上述对上消化道的不同部位采用不同的光源检查的方法，可以充分地利用各个光源的信息，利用不同光源下的图像特征，提高检查的可靠性。在训练模型时，可以采用不同光源的图像数据进行学习，生成针对各个光源的模型，以提高在各个光源下的图像的查全率和查准率。
在S120中，输出符合质量要求的图像。
如果待检测图像满足质量要求，则该图像识别成功，可以对该图像对应的检测部位做标记。例如，可以将上消化道划分为多个不同位置的部位，当在某个部位的检测图像符合质量时，可以在操作者的显示页面中显示相应的标识。
方法100中，对于内窥镜图像分别训练了三个图像识别模型，利用训练好的图像识别模型来确定待检测图像的质量，并将符合质量的图像输出。对上消化道的不同部分采用不同图像识别模型的方法，可以有利于多光源的策略来提高检查的质量，从而保证上消化道检查的充分性和可靠性。
图2示出了本申请的一个实施例的待检测图像符合质量时的输出显示。在图2中对上消化道各个部位，例如食管，胃窦、胃体上部、胃体中部、胃体下部的前壁和后壁，胃体的前角和后角等，其中箭头的方向表示内窥镜检查的正镜和倒镜。当对应于某个部位的待检测图像符合质量时，该部位被点亮。例如，在进管时，采用BLI成像技术采集的食管区域的图像符合质量，则食管区域被点亮。在一些实施方式中，当采用不同的成像方式采集对应同一部位的图像时，可以采用不同颜色的来点亮该部位。例如，在进管时，采用BLI成像技术采集的食管区域的图像符合质量时，则用绿色点亮该区域，即图2中的食管部分显示未绿色；在退管时，采用WLI或LCI成像技术采集的食管区域的图像符合质量时，可用橙色点亮该区域，即图2中的食管部分显示为橙色。如果进管的BLI、退管时的WLI或LCI在该区域对应的图像均符合质量，则可以采用红色点亮该区域，即图2中的食管部分显示为红色。因此，通过食管区域不同的显示颜色还可得知当前的成像模式，进而得知检测进度。
通常，上消化道可以分为26个待检测部位，其中存在一些易漏诊的部位，如图2中的6个叹号标注的位置。当图2中所有部位被点亮才表明上消化道的检测完成，能够避免漏检。
图3示出了本申请的一个实施例中的确定待检测图像的质量的方法300。方法300包括如下步骤。
在S310中，将训练后的各个图像识别模型的输出与特定阈值进行比较，其中特定阈值表示检测部位的暴露情况和展开状态。
将待检测图像输入至图像识别模型后得到的输出可以与预先设计好的阈值进行比较。例如，对应于某个部位的待检测图像得分为5分，而特定阈值为3分，高于该阈值。特定阈值表示检测部位的暴露情况和展开状态，换句话说，只有那些暴露充分、充气展开良好的检测图像才为合格的图像。
在一些实施方式中，可以对不同的检测部位设定不同的阈值。例如对于褶皱较少的A部位，阈值可以设定为3分；而对于褶皱较多的B部位，阈值可以设定为4分。在一些实施方式中，对于那些通常需要停留一段时间观察的部位，可以设定连续多张图像和特定阈值进行比较。这种差异化的比较方法能够提高检测的质量。在一些示例中，可以对不同的部位预设不同的图像数目。
在S320中，当满足特定阈值时，判定训练后的各个图像识别模型输出的图像为符合质量的图像。
若满足上述特定阈值，则可以确定对应的待检测图像为识别成功。对于连续多张图像和特定阈值比较的情况，当连续多张图像均满足特定阈值，才将其对应的部位判定为识别成功。
在S330中，不满足特定阈值时，则将该图像判定为识别不成功。
根据S320和S330，只有满足阈值时，即某个部位暴露充分、展开良好时，才会将对应的图像归类为该部位；如果不满足阈值，则将该图像判定为“难以界定”。与相关技术中将待检测图像均判定为某一部位不同，方法300剔除了质量不佳的图像，需要重新获取待检测的图像，直到识别成功，从而保证检测图像的质量。
对于各个检测部位，可以在UI界面上实时显示识别结果。例如，在检查过程中，对于识别成功的情况，可以在对应的检测部位点亮，或者发出提示音，便于操作员的操作。还可以通过配置选择记录每个部位得分最高的图像、每个部位最清晰的图像、每个部位首次被识别的图像，来表示每个部位的状态。
在一些实施方式中，UI界面还可以显示统计耗时。在识别到口腔后，开启计时功能，由于食管的检查耗时较长，计时分为食管检查耗时和胃部检查耗时两部分。值得一提的是，本申请所统计的食管检查耗时是单纯的食管检查耗时，不同于包含口腔和咽喉的经过时间的情况。检查计时会实时显示在UI界面。并且一旦检测到图像离开体内环境，计时会暂停。
在一些实施方式中，UI界面还可以显示综合评分。对于上消化道的各个部位，可以计算总评分并实时显示。UI界面中显示的上述参数可以和检查实况显示于同一个显示器平面上，无需操作员移动头部，从而提高效率。
在一些实施方式中，图像识别模型可以为AlexNet、VGG19、ResNet_152、InceptionV4、DenseNet、ShuffleNet中的任一种，也可以是足以完成图像识别功能的任意模型。
在一些实施方式中，可以建立神经网络算法的运算单元和图像特征的储存模型。首先在内存中申请相应的大小，用于存储图像和经过预处理的各步骤结果，然后在GPU显存中申请相应的大小，用于存储神经网络各层的输出特征。使用C++和opencv定义预处理的各步骤操作，包括图像裁剪、边缘填充、缩放、归一化，使得内存中的各个模型关联。并使用C++和CUDA定义神经网络的各步骤算子，包括卷积、池化、全连接层，使得内存和GPU显存中的模型产生关联、GPU显存中的各个模型之间也产生关联。
图4中示出了本申请的一个实施例的确定图像识别模型的方法400的示意图。方法400包括如下步骤。
在S410中，获取采集内窥镜图像的光源信息。
对于采用了不同的光源采集不同部位的图像的情况，可以获取当前采集的图像对应的光源信息。在一些实施方式中，可以通过OCR技术获取当前图像中的带有的光源信息。在其它的一些实施方式中，可以通过和主机直接单独设置一个接口，根据接口返回的信息确定当前所采用的光源。这种方法无需OCR识别，可以节约计算成本。
在S420中，确定内窥镜图像对应的检测部位。
对于当前采集的图像，还需确定对应的检测部位。因上消化道的不同检测部位，如第一部分和第二部分可能是采取的同样的光源成像模式，因而还需确定当前的检测部位。在一些示例中，可以根据内窥镜的移动速度、当前图像在整个检测流程中所处的检测进度来判断当前检测是第一部分还是第二部分。
在S430中，基于光源信息和检测部位确定相应的图像识别模型。
本申请中因采用了多种图像识别模型，在确定光源信息得到成像信息和确定检测部位之后，可以确定相应的图像识别模型，进而可以将待检测图像输入至对应的图像识别模型进行处理。在确定光源信息和检测部位之后还可以在不同的模型之间实时切换。
参考图5，本申请提供一种内窥镜图像处理装置500，包括：
接收模块510，用于接收待检测图像，基于训练后的各个图像识别模型确定待检测图像的质量。
输出模块520，用于输出符合质量要求的图像。
训练模块530，用于对上消化道的第一部分分别获取第一图像和第二图像；对上消化道的第二部分获取第三图像；以及基于第一图像、第二图像、第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到训练后的各个图像识别模型。
现在参考图6，所示为根据本申请的一个实施例的电子设备600的框图。电子设备600可以包括一个或多个处理器602，与处理器602中的至少一个连接的系统控制逻辑608，与系统控制逻辑608连接的系统内存604，与系统控制逻辑608连接的非易失性存储器(NVM)606，以及与系统控制逻辑608连接的网络接口610。
处理器602可以包括一个或多个单核或多核处理器。处理器602可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任何组合。在本文的实施例中，处理器602可以被配置为执行根据如图1-5所示的各种实施例的一个或多个实施例。
在一些实施例中，系统控制逻辑608可以包括任意合适的接口控制器，以向处理器602中的至少一个和/或与系统控制逻辑608通信的任意合适的设备或组件提供任意合适的接口。
在一些实施例中，系统控制逻辑608可以包括一个或多个存储器控制器，以提供连接到系统内存604的接口。系统内存604可以用于加载以及存储数据和/或指令。在一些实施例中设备600的内存604可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。
NVM/存储器606可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器606可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。
NVM/存储器606可以包括安装在设备600的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口610通过网络访问NVM/存储606。
特别地，系统内存604和NVM/存储器606可以分别包括：指令620的暂时副本和永久副本。指令620可以包括：由处理器602中的至少一个执行时导致设备600实施如图1、3-4所示的方法的指令。在一些实施例中，指令620、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑608，网络接口610和/或处理器602中。
网络接口610可以包括收发器，用于为设备600提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口610可以集成于设备600的其他组件。例如，网络接口610可以集成于处理器602的，系统内存604，NVM/存储器606，和具有指令的固件设备(未示出)中的至少一种，当处理器602中的至少一个执行所述指令时，设备600实现图1-5所示的各种实施例的一个或多个实施例。
网络接口610可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口610可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
在一个实施例中，处理器602中的至少一个可以与用于系统控制逻辑608的一个或多个控制器的逻辑封装在一起，以形成系统封装(SiP)。在一个实施例中，处理器602中的至少一个可以与用于系统控制逻辑608的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(SoC)。
设备600可以进一步包括：输入/输出(I/O)设备612。I/O设备612可以包括用户界面，使得用户能够与设备600进行交互；外围组件接口的设计使得外围组件也能够与设备600交互。
在一些实施例中，用户界面可包括但不限于显示器(例如，液晶显示器，触摸屏显示器等)，扬声器，麦克风，一个或多个相机(例如，静止图像照相机和/或摄像机)，手电筒(例如，发光二极管闪光灯)和键盘。
在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。
本申请的各方法实施方式均可以以软件、磁件、固件等方式实现。
可将程序代码应用于输入指令，以执行本文描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本文中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
至少一个实施例的一个或多个方面可以由存储在计算机可读存储介质上的表示性指令来实现，指令表示处理器中的各种逻辑，指令在被机器读取时使得该机器制作用于执行本文所述的技术的逻辑。被称为“IP核”的这些表示可以被存储在有形的计算机可读存储介质上，并被提供给多个客户或生产设施以加载到实际制造该逻辑或处理器的制造机器中。
以上由特定的具体实施例说明本申请的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本申请的其他优点及功效。虽然本申请的描述将结合较佳实施例一起介绍，但这并不代表此发明的特征仅限于该实施方式。恰恰相反，结合实施方式作发明介绍的目的是为了覆盖基于本申请的权利要求而有可能延伸出的其它选择或改造。为了提供对本申请的深度了解，以下描述中将包含许多具体的细节。本申请也可以不使用这些细节实施。此外，为了避免混乱或模糊本申请的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个离散操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别是，这些操作不需要按呈现顺序执行。
除非上下文另有规定，否则术语“包含”，“具有”和“包括”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A和B)或者(A或B)”。
如这里所使用的，术语“模块”或“单元”可以指代、是或者包括：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的(共享、专用或组)处理器和/或存储器、组合逻辑电路和/或提供所描述的功能的其他合适的组件。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质的途径分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制、但不限于、软盘、光盘、光盘、只读存储器(CD-ROM)、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、磁卡或光卡、闪存、或用于通过电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)通过因特网传输信息的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

Claims (10)

1.一种内窥镜图像的处理方法，其特征在于，所述方法包括，
接收待检测图像，基于训练后的各个图像识别模型确定所述待检测图像的质量；以及
输出符合质量要求的图像，其中所述符合质量要求的图像指检测部位暴露充分、展开良好；
其中，所述各个图像识别模型是通过以下方法训练的：
对上消化道的第一部分分别获取第一图像和第二图像，其中所述第一图像和所述第二图像是在不同的光源下得到的，所述第一部分为食管区域；
对所述上消化道的第二部分获取第三图像，其中所述第二部分是胃部区域，或者胃部及十二指肠区域；以及
基于所述第一图像、所述第二图像、所述第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到所述训练后的各个图像识别模型。
2.根据权利要求1所述的方法，其特征在于，所述第一图像是根据蓝激光成像BLI得到的，所述第二图像是根据白光成像WLI或者联动成像LCI得到的。
3.根据权利要求1所述的方法，其特征在于，所述第三图像是根据白光成像WLI或者联动成像LCI得到的。
4.根据权利要求3所述的方法，其特征在于，基于训练后的各个图像识别模型确定所述待检测图像的质量包括，
将所述训练后的各个图像识别模型的输出与特定阈值进行比较，所述特定阈值表示检测部位的暴露情况和展开状态；以及
当满足所述特定阈值时，判定所述训练后的各个图像识别模型输出的图像为所述符合所述质量的图像。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括，对于不同的检测部位设置不同的所述特定阈值。
6.根据权利要求1所述的方法，其特征在于，还包括，
获取采集所述内窥镜图像的光源信息；
确定所述内窥镜图像对应的检测部位；以及
基于所述光源信息和所述检测部位确定相应的图像识别模型。
7.一种内窥镜图像处理装置，其特征在于，包括，
接收模块，用于接收待检测图像，基于训练后的各个图像识别模型确定所述待检测图像的质量；
输出模块，用于输出符合质量要求的图像，其中所述符合质量要求的图像指检测部位暴露充分、展开良好；
训练模块，用于对上消化道的第一部分分别获取第一图像和第二图像，其中所述第一图像和所述第二图像是在不同的光源下得到的，所述第一部分为食管区域；对所述上消化道的第二部分获取第三图像，其中所述第二部分是胃部区域，或者胃部及十二指肠区域；以及基于所述第一图像、所述第二图像、所述第三图像分别训练第一图像识别模型、第二图像识别模型和第三图像识别模型，得到所述训练后的各个图像识别模型。
8.一种用户设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器；当所述指令被所述处理器执行时，使得所述设备实施根据权利要求1-6中任一项所述的方法。
9.一种计算机可读介质，其特征在于，所述计算机可读介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
CN202310699734.2A 2023-06-13 2023-06-13 内窥镜图像的处理方法、装置、用户设备及介质 Active CN116681681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310699734.2A CN116681681B (zh) 2023-06-13 2023-06-13 内窥镜图像的处理方法、装置、用户设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310699734.2A CN116681681B (zh) 2023-06-13 2023-06-13 内窥镜图像的处理方法、装置、用户设备及介质

Publications (2)

Publication Number Publication Date
CN116681681A CN116681681A (zh) 2023-09-01
CN116681681B true CN116681681B (zh) 2024-04-02

Family

ID=87788781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310699734.2A Active CN116681681B (zh) 2023-06-13 2023-06-13 内窥镜图像的处理方法、装置、用户设备及介质

Country Status (1)

Country Link
CN (1) CN116681681B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910184A (zh) * 2017-01-12 2017-06-30 杭州电子科技大学 基于深度卷积神经网络的内窥镜图像肠道出血检测方法
CN108389172A (zh) * 2018-03-21 2018-08-10 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN109146884A (zh) * 2018-11-16 2019-01-04 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置
WO2019052062A1 (zh) * 2017-09-15 2019-03-21 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
CN109949281A (zh) * 2019-03-11 2019-06-28 哈尔滨工业大学（威海） 一种胃镜图像质量检测方法及装置
CN110020610A (zh) * 2019-03-16 2019-07-16 复旦大学 基于深度学习的肠镜质量检查控制系统
CN110991561A (zh) * 2019-12-20 2020-04-10 山东大学齐鲁医院 一种下消化道内窥镜图像识别方法及系统
CN111127426A (zh) * 2019-12-23 2020-05-08 山东大学齐鲁医院 一种基于深度学习的胃黏膜清洁度评价方法及系统
CN111242920A (zh) * 2020-01-10 2020-06-05 腾讯科技（深圳）有限公司 一种生物组织图像检测方法、装置、设备及介质
CN111462112A (zh) * 2020-04-23 2020-07-28 上海联影医疗科技有限公司 一种判断图像质量的方法和系统
CN112386213A (zh) * 2021-01-20 2021-02-23 深圳开立生物医疗科技股份有限公司 一种内窥成像方法、装置、设备及存储介质
CN113240662A (zh) * 2021-05-31 2021-08-10 萱闱(北京)生物科技有限公司 基于人工智能的内镜检查辅助系统
CN113288007A (zh) * 2019-12-06 2021-08-24 腾讯科技（深圳）有限公司 内窥镜移动时间确定方法、装置和计算机设备
CN113989236A (zh) * 2021-10-27 2022-01-28 北京医院 一种胃镜图像智能目标检测系统及方法
CN114049934A (zh) * 2021-11-10 2022-02-15 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质
WO2022057897A1 (zh) * 2020-09-21 2022-03-24 安翰科技(武汉)股份有限公司 胶囊内窥镜无参考图像评价方法、电子设备及介质
CN114417037A (zh) * 2022-03-30 2022-04-29 武汉大学 图像处理方法、装置、终端及可读存储介质
CN114842000A (zh) * 2022-07-01 2022-08-02 杭州同花顺数据开发有限公司 一种内窥镜图像质量评估方法和系统
CN116051421A (zh) * 2023-01-29 2023-05-02 深圳大学 基于多维度的内窥镜图像质量评价方法、装置、设备及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367896A (zh) * 2018-07-09 2021-02-12 富士胶片株式会社 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
US20220405927A1 (en) * 2021-06-18 2022-12-22 AI Optics Inc. Assessment of image quality for a medical diagnostics device

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910184A (zh) * 2017-01-12 2017-06-30 杭州电子科技大学 基于深度卷积神经网络的内窥镜图像肠道出血检测方法
WO2019052062A1 (zh) * 2017-09-15 2019-03-21 深圳市前海安测信息技术有限公司 基于人工智能的医学影像报告生成系统及方法
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
CN108389172A (zh) * 2018-03-21 2018-08-10 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN109146884A (zh) * 2018-11-16 2019-01-04 青岛美迪康数字工程有限公司 内窥镜检查监控方法及装置
CN109949281A (zh) * 2019-03-11 2019-06-28 哈尔滨工业大学（威海） 一种胃镜图像质量检测方法及装置
CN110020610A (zh) * 2019-03-16 2019-07-16 复旦大学 基于深度学习的肠镜质量检查控制系统
CN113288007A (zh) * 2019-12-06 2021-08-24 腾讯科技（深圳）有限公司 内窥镜移动时间确定方法、装置和计算机设备
CN110991561A (zh) * 2019-12-20 2020-04-10 山东大学齐鲁医院 一种下消化道内窥镜图像识别方法及系统
CN111127426A (zh) * 2019-12-23 2020-05-08 山东大学齐鲁医院 一种基于深度学习的胃黏膜清洁度评价方法及系统
CN111242920A (zh) * 2020-01-10 2020-06-05 腾讯科技（深圳）有限公司 一种生物组织图像检测方法、装置、设备及介质
CN111462112A (zh) * 2020-04-23 2020-07-28 上海联影医疗科技有限公司 一种判断图像质量的方法和系统
WO2022057897A1 (zh) * 2020-09-21 2022-03-24 安翰科技(武汉)股份有限公司 胶囊内窥镜无参考图像评价方法、电子设备及介质
CN112386213A (zh) * 2021-01-20 2021-02-23 深圳开立生物医疗科技股份有限公司 一种内窥成像方法、装置、设备及存储介质
CN113240662A (zh) * 2021-05-31 2021-08-10 萱闱(北京)生物科技有限公司 基于人工智能的内镜检查辅助系统
CN113989236A (zh) * 2021-10-27 2022-01-28 北京医院 一种胃镜图像智能目标检测系统及方法
CN114049934A (zh) * 2021-11-10 2022-02-15 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质
CN114417037A (zh) * 2022-03-30 2022-04-29 武汉大学 图像处理方法、装置、终端及可读存储介质
CN114842000A (zh) * 2022-07-01 2022-08-02 杭州同花顺数据开发有限公司 一种内窥镜图像质量评估方法和系统
CN116051421A (zh) * 2023-01-29 2023-05-02 深圳大学 基于多维度的内窥镜图像质量评价方法、装置、设备及介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A deep learning framework for quality assessment and restoration in video endoscopy;Sharib Ali 等;《Medical Image Analysis》;1-25 *
Evaluation of the visibility of early gastric cancer using linked color imaging and blue laser imaging;Yoshikazu Yoshifuku 等;《BMC Gastroenterology》;1-7 *
Image Quality Assessment for Endoscopy Applications;Nishitha R 等;《2021 MeMeA》;20210712;1-6 *
Sharib Ali 等.A deep learning framework for quality assessment and restoration in video endoscopy.《Medical Image Analysis》.2020,1-25. *
人工智能在上消化道内镜检查质量控制中的应用;王士旭 等;《中国肿瘤临床》;20211215;第48卷(第23期);1215-1219 *
基于深度学习实现磁控胶囊内镜操作质量控制的可行性研究;沈大伟 等;《中华消化病与影像杂志(电子版)》;20220201;第12卷(第1期);11-15 *
基于深度学习实现磁控胶囊内镜操作质量控制的可行性研究;沈大伟 等;《中国消化病与影像杂志》;第12卷(第1期);11-15 *

Also Published As

Publication number Publication date
CN116681681A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
US9486123B2 (en) Endoscope system which enlarges an area of a captured image, and method for operating endoscope system
KR100896864B1 (ko) 전자 내시경 장치
US20150287192A1 (en) Image processing device, electronic device, endoscope apparatus, information storage device, and image processing method
CN112423645B (zh) 内窥镜系统
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
WO2021147429A9 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
EP4446983A1 (en) Image processing method, apparatus and device
JP2012245161A (ja) 内視鏡装置
JP7289296B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
WO2012153568A1 (ja) 医用画像処理装置及び医用画像処理方法
JP6952214B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
CN113744266B (zh) 一种病灶检测框的显示方法、装置、电子设备及存储介质
US20150363942A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
JPWO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
US20220222840A1 (en) Control device, image processing method, and storage medium
CN116681681B (zh) 内窥镜图像的处理方法、装置、用户设备及介质
JP2019111040A (ja) 画像解析装置及び画像解析方法
JP6476610B2 (ja) ダーモスコピー用撮像装置及びその制御方法並びにプログラム
US20220351350A1 (en) Endoscope processor, method for operating endoscope processor, and storage medium
CN114376491A (zh) 内窥镜成像装置及其方法、系统以及电子设备
CN214231268U (zh) 内窥镜成像装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant