CN114842000A - 一种内窥镜图像质量评估方法和系统 - Google Patents
一种内窥镜图像质量评估方法和系统 Download PDFInfo
- Publication number
- CN114842000A CN114842000A CN202210763289.7A CN202210763289A CN114842000A CN 114842000 A CN114842000 A CN 114842000A CN 202210763289 A CN202210763289 A CN 202210763289A CN 114842000 A CN114842000 A CN 114842000A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- determining
- invalid
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 22
- 230000011218 segmentation Effects 0.000 claims abstract description 87
- 210000003608 fece Anatomy 0.000 claims abstract description 19
- 230000007547 defect Effects 0.000 claims abstract description 18
- 239000012535 impurity Substances 0.000 claims abstract description 13
- 239000007788 liquid Substances 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 64
- 238000001303 quality assessment method Methods 0.000 claims description 21
- 241001633942 Dais Species 0.000 claims description 2
- 238000002360 preparation method Methods 0.000 abstract description 10
- 210000000056 organ Anatomy 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000002674 endoscopic surgery Methods 0.000 description 6
- 210000002784 stomach Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- -1 feces Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 239000010871 livestock manure Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000009278 visceral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Biodiversity & Conservation Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供一种内窥镜图像质量评估方法和系统，用于确定内窥镜图像的图像质量。该内窥镜图像质量评估方法包括：获取目标视频的第一图像；基于分割模型分割第一图像，获得第一图像中的无效区域，其中，无效区域为第一图像中的无效信息所在的区域，无效信息包括杂质异物和/或图像缺陷，杂质异物包括粪便、粪水或气泡，图像缺陷包括阴影、高光或模糊；基于第一图像以及无效区域，确定第一图像中的有效区域的占比，其中，有效区域为第一图像中无效区域以外的区域；基于有效区域的占比，确定第一图像的目标图像质量，从而能够基于前述目标图像质量，对内窥镜手术术前准备是否完善和医生操作手法是否规范进行评估。
Description
技术领域
本说明书涉及图像质量评估领域，特别涉及一种内窥镜图像质量评估方法和系统。
背景技术
随着医疗技术的不断发展，内窥镜已逐渐成为辅助医生诊断疾病的重要手段。医生可以将内窥镜经口腔进入胃内或经其他天然孔道进入体内，并基于内窥镜进行拍摄，获得相关器官的图像和/或视频信息。在医疗内镜手术中，可以通过对内窥镜图像的图像质量进行评估，确定相关器官在术前的清洁度以及医生的操作是否符合规范。而现有的图像和/或视频质量评估方法，一般着重于图像的峰值信噪比、边缘结构、清晰度等因素，并不适用于对内窥镜图像的图像质量进行评估。
由此，期望可以提供一种内窥镜图像质量评估方法，可以确定内镜手术中的内窥镜图像的图像质量，从而可以对内镜手术术前准备是否完善和医生操作手法是否规范进行评估。
发明内容
本说明书实施例之一提供一种内窥镜图像质量评估方法。所述方法包括：获取目标视频的第一图像，所述第一图像为所述目标视频中的视频帧；基于分割模型分割所述第一图像，获得所述第一图像中的无效区域，其中，所述无效区域为所述第一图像中的无效信息所在的区域，所述无效信息包括杂质异物和/或图像缺陷，所述杂质异物包括粪便、粪水或气泡，所述图像缺陷包括阴影、高光或模糊；基于所述第一图像以及所述无效区域，确定所述第一图像中的有效区域的占比，其中，所述有效区域为所述第一图像中所述无效区域以外的区域；基于所述有效区域的占比，确定所述第一图像的目标图像质量。
本说明书实施例之一提供一种内窥镜图像质量评估方法。所述方法包括：获取目标视频的第一图像以及第二图像，其中，所述第一图像与所述第二图像为所述目标视频中的两个相邻帧；确定所述第一图像以及所述第二图像的结构相似性；基于所述结构相似性，确定所述第一图像的目标图像质量。
本说明书实施例之一提供一种内窥镜图像质量评估系统，所述系统包括：第一获取模块，用于获取目标视频的第一图像；第二获取模块，用于基于分割模型分割所述第一图像，获得所述第一图像中的无效区域，其中，所述无效区域为所述第一图像中的无效信息所在的区域，所述无效信息包括杂质异物和/或图像缺陷，所述杂质异物包括粪便、粪水或气泡，所述图像缺陷包括阴影、高光或模糊；第一确定模块，用于基于所述第一图像以及所述无效区域，确定所述第一图像的有效区域的占比，其中，所述有效区域为所述第一图像中所述无效区域以外的区域；第二确定模块，用于基于所述有效区域的占比，确定所述第一图像的目标图像质量。
本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如上述实施例中任一项所述内窥镜图像质量评估方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的内窥镜图像质量评估系统的应用场景示意图；
图2是根据本说明书一些实施例所示的内窥镜图像质量评估系统的示例性模块图；
图3是根据本说明书一些实施例所示的内窥镜图像质量评估方法的示例性流程图；
图4A是根据本说明书一些实施例所示的第一图像的示例图；
图4B是根据本说明书一些实施例所示的分割图像的示例图；
图5是根据本说明书一些实施例所示的训练分割模型的示意图；
图6是根据本说明书一些实施例所示的又一内窥镜图像质量评估方法的示例性流程图；
图7是根据本说明书一些实施例所示的确定目标视频的目标视频质量的流程图；
图8是根据本说明书一些实施例所示的又一内窥镜图像质量评估方法的示例性流程图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的内窥镜图像质量评估系统的应用场景示意图。
如图1所示，内窥镜图像质量评估系统的应用场景100可以包括存储器110、处理器120、网络130、用户终端140、内窥镜150、目标器官160以及目标视频170。
存储器110可以用于存储数据、指令和/或任何其他信息。在一些实施例中，存储器110可以存储从应用场景100中其他组件（例如，处理器120、用户终端140、内窥镜150等）中获得的数据和/或信息。例如，存储器110可以存储图像数据。在一些实施例中，存储器110可以设置在处理器120中。在一些实施例中，存储器110可包括大容量存储器、可移除存储器等或其任意组合。
处理器120可以处理与内窥镜图像质量评估系统相关的数据和/或信息。在一些实施例中，处理器120可以访问存储器110、用户终端140和/或内窥镜150以获取信息和/或数据。例如，处理器120可以从存储器110和/或内窥镜150获取图像数据、视频数据等。又例如，处理器120可以从用户终端140获取用户指令信息。在一些实施例中，处理器120可以处理获取的信息和/或数据。例如，处理器120可以对获取的第一图像进行分割，得到第一图像的无效区域；基于第一图像以及无效区域，确定第一图像中的有效区域的占比；基于有效区域的占比，确定第一图像的目标图像质量。在一些实施例中，处理器120可以包括一个或以上处理引擎（例如，单芯片处理引擎或多芯片处理引擎）。仅作为示例，处理器120可以包括中央处理单元（CPU）。处理器120可以处理从其他设备或系统组成部分中获得的数据、信息和/或处理结果，并基于这些数据、信息和/或处理结果执行程序指令，以执行本说明书中描述的一个或以上功能。
网络130可以包括能够提供应用场景100中各个组件进行信息和/或数据交换的任意网络。内窥镜图像质量评估系统的应用场景100中的一个或多个组件（例如，存储器110、处理器120、用户终端140、内窥镜150等）之间可以通过网络130交换信息和/或数据。例如，网络130可以将存储器110中的图像数据发送至处理器120。在一些实施例中，网络130可以是有线网络或无线网络中的任意一种或多种。在一些实施例中，网络130可以包括一个或以上网络接入点。例如，网络130可以包括有线或无线网络接入点。在一些实施例中，网络可以是点对点的、共享的、中心式的等各种拓扑结构或者多种拓扑结构的组合。
用户终端140可以指用户所使用的一个或多个终端设备或软件。用户可以指内窥镜的操作人员，例如，医生。用户终端140可以包括但不限于手机140-1、平板电脑140-2、笔记本电脑140-3等。用户可以通过用户终端140输入指令和/或信息。用户终端140可以将数据和/或信息展示给用户。例如，将第一图像的内窥镜图像质量评估结果展示给用户。
内窥镜150可以指用于协助医疗检测或手术操作的仪器。例如，腹腔镜、胃镜、喉镜等。内窥镜150可以获取生物体的体内器官内部的视频数据。例如，可以通过胃镜获取目标器官的视频数据。内窥镜150可以对获取目标视频170，并通过网络130将目标视频170发送至应用场景100的其他组件（如存储器110、处理器120、用户终端140等）。
目标器官160可以指生物体体内需要进行拍摄的器官。目标器官160可以包括但不限于胃、胰腺、食道等。可以通过内窥镜150对目标器官160进行拍摄，获取目标视频170。
目标视频170可以是指通过内窥镜150获取的生物体体内器官内部的视频数据。例如，胃内壁、肠道内壁、子宫内壁等的视频。目标视频中可以包括多个视频帧，例如，视频帧170-1、170-2…170-n等。在一些实施例中，可以基于目标视频170确定第一图像。例如，可以将视频帧170-1确定为第一图像。
应当注意的是，基于内窥镜图像质量评估系统的应用场景100仅仅是为了说明的目的而提供，并不意图限制本说明书的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，应用场景还可以包括数据库。又例如，应用场景100可以在其他设备上实现以实现类似或不同的功能。然而，变化和修改不会背离本说明书的范围。
图2是根据本说明书一些实施例所示的内窥镜图像质量评估系统的模块图。
如图2所示，内窥镜图像质量评估系统200可以包括第一获取模块202、第二获取模块204、第一确定模块206和第二确定模块208。
第一获取模块202可以用于获取目标视频的第一图像。在一些实施例中，第一图像包括内窥镜图像。关于目标视频、第一图像的更多内容可以参见图3及其相关描述。
第二获取模块204可以用于基于分割模型分割第一图像，获得第一图像中的无效区域，其中，所述无效区域为所述第一图像中的无效信息所在的区域，所述无效信息包括杂质异物和/或图像缺陷，所述杂质异物包括粪便、粪水或气泡，所述图像缺陷包括阴影、高光或模糊。关于分割模型、无效区域以及无效信息的更多内容可以参见图3及其相关描述。在一些实施例中，第二获取模块204可以进一步用于：将第一图像输入分割模型，分割模型的输出为带有目标掩膜的分割图像；其中，目标掩膜在分割图像中对应的区域为第一图像中的无效区域。关于目标掩膜以及分割图像的更多内容可以参见图3及其相关描述。
第一确定模块206可以用于基于第一图像以及无效区域，确定第一图像的有效区域的占比，其中，所述有效区域为所述第一图像中所述无效区域以外的区域。关于有效区域的更多内容可以参见图3及其相关描述。在一些实施例中，第一确定模块206可以进一步用于：获取第一图像的总面积；基于带有目标掩膜的分割图像确定第一图像中的无效区域的无效区域面积；基于总面积以及无效区域面积确定有效区域的占比。
第二确定模块208可以用于基于有效区域的占比，确定第一图像的目标图像质量。关于目标图像质量的更多内容可以参见图3及其相关描述。在一些实施例中，第一图像为目标视频中的视频帧，第二确定模块208可以进一步用于：基于有效区域的占比，确定第一图像的第一图像质量；获取目标视频的第二图像，第二图像为第一图像在目标视频中的相邻帧；确定第一图像与第二图像的结构相似性；基于结构相似性，确定第一图像的第二图像质量；基于第一图像质量以及第二图像质量，确定第一图像的目标图像质量。关于第一图像质量、第二图像以及第二图像质量的更多内容可以参见图6及其相关描述。
如图2所示，内窥镜图像质量评估系统200还可以包括第三获取模块210以及训练模块212。
第三获取模块210可以用于获取多组训练样本，其中，所述训练样本包括携带有标签的历史图像，所述标签为通过第一掩膜标记所述历史图像中的无效区域的历史分割图像。
训练模块212可以用于基于所述多组训练样本对初始分割模型进行多轮训练，获得训练好的分割模型，其中，在对所述初始分割模型进行每预设轮次训练后，针对每一组所述训练样本，将该训练样本输入预设轮次训练后的所述初始分割模型中，获得带有第二掩膜的初始分割图像；确定所述第一掩膜与所述第二掩膜的交并比与戴斯相似性系数；当所述交并比与所述戴斯相似性系数满足预设条件时，在下一预设轮次的训练中，将该训练样本的标签更换为所述带有第二掩膜的初始分割图像。
如图2所示，内窥镜图像质量评估系统200还可以包括第三确定模块214、第四确定模块216、第五确定模块218、第六确定模块220以及第七确定模块222。
第三确定模块214可以用于针对所述目标视频中的每一帧，确定该帧对应的有效区域的占比。
第四确定模块216可以用于基于所述目标视频中各帧的有效区域的占比，确定所述目标视频中每一帧的有效区域的平均占比。
第五确定模块218可以用于针对所述目标视频中的每一帧，确定该帧与其相邻帧的结构相似性。
第六确定模块220可以用于基于所述目标视频中各帧与其相邻帧的所述结构相似性，确定所述目标视频中每一帧与其相邻帧的平均结构相似性。
第七确定模块222可以用于基于所述平均有效区域的占比以及所述平均结构相似性，确定所述目标视频的目标视频质量。
应当理解，图2所示的系统及其模块可以利用各种方式来实现。
需要注意的是，以上对于内窥镜图像质量评估系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的各模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
图3是根据本说明书一些实施例所示的内窥镜图像质量评估方法的示例性流程图。在一些实施例中，流程300可以由处理器120执行。如图3所示，流程300可以包括下述步骤：
步骤310，获取目标视频的第一图像。在一些实施例中，步骤310可以由第一获取模块202执行。
目标视频可以指需要进行质量评估的视频。目标视频可以通过内窥镜、B超（B-scan ultrasonography）等方式对生物体器官进行拍摄获取。例如，可以通过内窥镜对人体胃部进行拍摄获取目标视频。前述质量评估的内容可以包括但不限于评估术前是否未按要求排空肠道导致肠道内存在一定的粪便、粪水、气泡等杂质异物；是否由于医生操作不规范引起镜头对着内脏壁太近导致图像呈现模糊；医生是否操作过快或抖动导致整体出现的运动模糊；是否由于镜头角度没操作到位导致的器官遮挡过多呈现出的画面局部光线过暗或曝光过度等内容。
在一些实施例中，质量评估可以包括对目标视频进行质量评估。关于对目标视频进行质量评估的更多内容参见图7及其相关描述。
在一些实施例中，质量评估可以包括对目标视频中的图像进行质量评估。当需要对目标视频中的图像进行质量评估时，可以基于目标视频，获得第一图像。第一图像可以为目标视频中的某一视频帧，也可以为目标视频中的某一视频帧的局部图像。在一些实施例中，目标视频可以为通过内窥镜对生物体的器官进行拍摄获取的视频，对应的，第一图像可以包括内窥镜图像。
步骤320，基于分割模型分割第一图像，获得第一图像中的无效区域。在一些实施例中，步骤320可以由第二获取模块204执行。
第一图像中的无效区域可以为第一图像中的无效信息所在的区域。其中，前述无效信息可以指对识别第一图像中的内容没有帮助或造成负面影响的信息。无效信息可以包括杂质异物和/或图像缺陷，其中，杂质异物包括粪便、粪水或气泡，图像缺陷至少包括阴影、高光或模糊。当第一图像为内窥镜图像时，该第一图像中的无效区域可以包括粪便、粪水、气泡等杂质异物等存在的区域，其中，无效信息可以包括粪便、粪水、气泡等杂质异物。第一图像中的无效区域还可以包括第一图像中的存在阴影、高光、模糊等区域，其中，无效信息可以包括阴影、高光、模糊等图像缺陷。对应的，第一图像还可以包括有效区域，第一图像中的有效区域可以为第一图像中无效区域之外的区域。第一图像中的有效区域可以包括第一图像中的有效信息，其中，前述有效信息指对有利于识别第一图像中的内容的信息。当第一图像为内窥镜图像时，该第一图像中的有效区域可以包括第一图像中预先设定需要拍摄的、且不存在图像缺陷的生物体器官的区域。应当理解的是，当第一图像中的某一区域为预先设定需要拍摄的生物体器官的区域，但该区域存在影、高光、模糊等图像缺陷时，该区域仍为无效区域。
在一些实施例中，可以基于分割模型对第一图像进行分割处理，确定第一图像中的无效区域。
在一些实施例中，分割模型可以为卷积神经网络（Convolutional NeuralNetworks, CNN）模型。分割模型的输入可以包括第一图像，输出为第一图像中的无效区域。当分割模型为CNN模型时，可以通过训练获得分割模型：训练样本可以为样本第一图像，训练样本的标签可以为样本第一图像中的无效区域，其中，训练样本的标签可以通过人工对样本第一图像进行标注获取。将多组训练样本输入初始分割模型，基于初始分割模型的输出与标签构建损失函数，并基于前述损失函数迭代更新初始分割模型的参数，直至满足预设条件，训练完成，获得训练好的分割模型。其中，预设条件可以包括但不限于是损失函数小于阈值、损失函数收敛或训练周期达到阈值。
在一些实施例中，分割模型还可以为UNet++模型。可以将第一图像输入分割模型，分割模型的输出可以为带有目标掩膜的分割图像，其中，目标掩膜在分割图像中对应的区域为第一图像中的无效区域。分割图像可以包括但不限于二值图像、三值图像等。例如，当分割图像为二值图像时，目标掩膜为分割图像中的白色区域，其表征第一图像中的无效区域，分割图像中的黑色区域表征第一图像中的有效区域。再例如，当分割图像为三值图像时，目标掩膜为分割图像中的白色区域以及灰色区域，灰色区域可以表征第一图像中粪便、粪水、气泡等杂质异物存在的区域，白色区域可以表征第一图像中存在阴影、高光、模糊等图像缺陷的区域，分割图像中的黑色区域可以表征第一图像中的有效区域。
示例性的，可以将如图4A所示的第一图像输入分割模型，分割模型的输出可以为如图4B所示的带有目标掩膜的分割图像，其中，前述目标掩膜为图4B中的白色区域与灰色区域。
关于训练分割模型的更多内容可以参见图5及其相关描述。
步骤330，基于第一图像以及无效区域，确定第一图像中的有效区域的占比。在一些实施例中，步骤330可以由第一确定模块206执行。
在一些实施例中，可以对第一图像与无效区域进行计算，确定出第一图像中有效区域的占比。
在一些实施例中，可以获取第一图像的总面积；基于带有目标掩膜的分割图像，确定第一图像中的所述无效区域的无效区域面积。前述总面积可以根据预设的图像大小确定。无效区域面积可以基于目标掩膜的面积确定，当第一图像与分割图像的大小相同时，可以直接将目标掩膜的面积确定为无效区域的面积；当第一图像与分割图像为等比例图像时，可以基于目标掩膜的面积与第一图像与分割图像的比值大小确定。
在一些实施例中，可以基于第一图像的总面积以及无效区域面积，确定有效区域的占比。有效区域的占比可以基于以下公式确定：
其中，
表示有效区域的占比，
表示第一图像的总面积，
表示无效区域面积。
步骤340，基于有效区域的占比，确定第一图像的目标图像质量。在一些实施例中，步骤340可以由第二确定模块208执行。
目标图像质量可以指第一图像的图像质量。应当理解的是，内镜手术中的质量取决于术前手术准备的标准性以及医生操作手法的规范性。因此，当第一图像为内窥镜图像时，可以通过对内窥镜图像的图像质量进行评估，从而确定内镜手术术前准备是否完善以及医生操作手法是否规范。目标图像质量可以通过多种方式表示，例如，目标图像质量可以通过0~100的分值表示。第一图像的分值越高，表示该第一图像的图像质量越好，对应的，内镜手术术前准备越完善以及医生操作手法越规范。再例如，目标图像质量还可以通过Ⅰ~Ⅴ的等级表示。第一图像的分级越高，表示该第一图像的图像质量越好，对应的，内镜手术术前准备越完善以及医生操作手法越规范。
在一些实施例中，可以对第一图像中的图像内容进行评估，确定第一图像的目标图像质量。在一些实施例中，可以基于有效区域的占比，确定第一图像的第一图像质量。第一图像质量可以指对第一图像中的图像内容进行评估后确定的图像质量。与目标图像质量类似的，第一图像质量也可以通过多种方式表示，包括但不限于分值、等级等。第二确定模块208可以基于第一图像的有效区域的占比，根据预设规则，确定第一图像的第一图像质量。例如，某一第一图像的有效区域的占比为92%，预设规则包括有效区域的占比的比值与第一图像质量的分值对应，故该第一图像的第一图像质量可以为92分。在一些实施例中，可以直接将第一图像质量确定为目标图像质量。
在一些实施例中，当第一图像为目标视频中的视频帧时，还可以对第一图像及其相邻帧的结构相似性进行评估，确定第一图像的第二图像质量；基于第一图像质量以及第二图像质量，确定第一图像的目标图像质量。关于上述实施例的更多内容参见图6及其相关描述。
在一些实施例中，当分割图像为三值图像时，可以确定分割图像中不同颜色区域的面积，并根据各个区域的面积，确定术前手术准备的标准性和/或医生操作手法的规范性对第一图像的目标图像质量的影响。例如，分割图像为三值图像，分割图像中的灰色区域表征第一图像中粪便、粪水、气泡等杂质异物存在的区域，白色区域表征第一图像中存在阴影、高光、模糊等图像缺陷存在的区域，分割图像中的黑色区域表征第一图像中的有效区域时；当目标图像质量低于预设图像质量阈值时，可以确定分割图像中白色区域的面积以及灰色区域的面积；当分割图像中灰色区域的面积大于预设面积阈值时，表示内镜手术术前准备不够完善，当分割图像中白色区域的面积大于预设面积阈值时，表示医生操作手法的不够规范。
本说明书的一些实施例中通过分割模型可以快速而准确地确定出第一图像的无效区域，降低了人工评估的成本，同时，也提高了判断的精确度。同时，可以通过第一图像以及无效区域，确定第一图像中的有效区域的占比，并基于有效区域的占比，可以确定出第一图像的目标图像质量，可以判断内镜手术术前准备是否完善以及医生操作手法是否规范，从而可以基于判断结果采取相应的措施。例如，当目标图像质量低于预设图像质量阈值时，可以延期内镜手术时间。提醒病员做好术前准备和/或规范医生操作手法。
图5是根据本说明书一些实施例所示的训练分割模型的示意图。
在一些实施例中，第三获取模块210可以获取多组训练样本，其中，训练样本包括携带有标签的历史图像，标签为通过第一掩膜标记历史图像中的无效区域的历史分割图像。历史图像可以通过历史数据获取，标签可以通过人工对历史图像进行标注获取，第一掩膜在历史分割图像中对应的区域对应于历史图像中的无效区域。
在一些实施例中，训练模块212可以基于多组训练样本对初始分割模型进行多轮训练，获得训练好的分割模型。其中，在对机器学习模型进行每预设轮次的训练后，针对每一组训练样本，将该训练样本输入该预设轮次训练后的机器学习模型中，获得带有第二掩膜的初始分割图像；确定第一掩膜以及第二掩膜的交并比（Intersection over Union，IOU）与戴斯相似性系数（Dice Similariy Coefficient，DSC）。其中，第一掩膜以及第二掩膜的交并比可以通过下列公式确定：
其中，
表示第一掩膜以及第二掩膜的交并比，
表示第二掩膜，
表示第一掩膜。
第一掩膜以及第二掩膜的戴斯相似性系数可以通过下列公式确定：
其中，
表示第一掩膜以及第二掩膜的戴斯相似性系数，
表示第二掩膜，
表示第一掩膜。
在一些实施例中，当交并比与戴斯相似性系数满足预设条件时，在下一预设训练轮次中，训练模块212可以将该训练样本的标签更换为带有第二掩膜的初始分割图像。初始分割图像为初始分割模型进行训练时的输出，第二掩膜在初始分割图像中对应的区域对应于历史图像中的无效区域。预设条件可以为前述交并比大于预设的交并比阈值，且前述戴斯相似性系数大于预设的戴斯相似性系数阈值。在一些实施例中，当交并比与戴斯相似性系数满足预设条件时，在下一预设训练轮次中，可以基于上一轮训练的训练样本以及标签进行训练。
如图5所示，针对某一组训练样本，该训练样本中可以为历史图像510，训练样本的标签可以为历史分割图像520，其中，历史分割图像中包含有第一掩膜（图未示出）。基于历史图像510与历史分割图像520对初始分割模型1（530-1）进行迭代训练。在对初始分割模型1（530-1）进行m轮次训练的迭代训练后，可以获得初始分割模型m（530-m），初始分割模型m（530-m）的输出可以为初始分割图像m（540-m），其中，初始分割图像m中包含有第二掩膜m（图未示出）。基于历史分割图像520以及初始分割图像m（540-m），可以确定第一掩膜与第二掩膜m的交并比550-1以及第一掩膜与第二掩膜m的戴斯相似性系数560-1。当第一掩膜与第二掩膜m的交并比550-1以及第一掩膜与第二掩膜m的戴斯相似性系数560-1满足预设条件时，可以基于历史图像510与初始分割图像m（540-m）对初始分割模型m+1（530-m+1）进行迭代训练。在对初始分割模型m+1（530-m+1）再次进行m轮次训练的迭代训练后，可以获得初始分割模型2m（530-2m），初始分割模型2m（530-2m）的输出可以为初始分割图像2m（540-2m），其中，初始分割图像2m（540-2m）包含有第二掩膜2m（图未示出）。与前文类似地，当第二掩膜m与第二掩膜2m的交并比550-2以及第二掩膜m与第二掩膜2m的戴斯相似性系数560-2满足预设条件时，可以基于历史图像510与初始分割图像2m（540-2m）对初始分割模型2m+1（530-2m+1）进行迭代训练…不断更新训练样本的标签，并基于训练样本以及更新后的训练样本的标签进行训练，直至满足训练完成条件，获得训练好的分割模型570。其中，训练完成条件可以包括但不限于损失函数小于阈值、损失函数收敛或训练轮次达到阈值等。
应当理解的是，在对分割模型进行训练时，训练样本的标签可以为人工标注的带有第一掩膜的历史分割图像，由于人眼的识别能力限制，对于第一掩膜中的边界划定只能为肉眼判定的大概轮廓，导致历史分割图像中第一掩膜的精确度存在限制。本说明书的一些实施例通过对分割模型进行训练，使得初始分割模型不断提升其识别历史图像中的无效信息的能力。在对初始分割模型进行每预设轮次的训练后，可以对训练样本的标签进行更新，其有益效果包括修正人工标注的边界所造成的误差，从而提升训练好的分割模型的精确度。
图6是根据本说明书一些实施例所示的又一内窥镜图像质量评估方法的示例性流程图。在一些实施例中，流程600可以由处理器120执行。如图6所示，流程600可以包括下述步骤：
步骤610，获取目标视频的第一图像。在一些实施例中，步骤610可以由第一获取模块202执行。
步骤620，基于分割模型分割第一图像，获得第一图像中的无效区域。在一些实施例中，步骤620可以由第二获取模块204执行。
步骤630，基于第一图像以及无效区域，确定第一图像中的有效区域的占比。在一些实施例中，步骤630可以由第一确定模块206执行。
步骤640，基于有效区域的占比，确定第一图像的第一图像质量。在一些实施例中，步骤640可以由第二确定模块208执行。
步骤650，获取目标视频的第二图像，第二图像为第一图像在目标视频中的相邻帧。在一些实施例中，步骤650可以由第二确定模块208执行。
当第一图像为目标视频中的视频帧时，可以获取第一图像在目标视频中的相邻帧作为第二图像。
步骤660，确定第一图像与第二图像的结构相似性。在一些实施例中，步骤660可以由第二确定模块208执行。
第二确定模块208可以通过比较第一图像以及第二图像的亮度、对比度和结构，确定两者的结构相似性。其中，在计算两者的结构相似性时，可以将图像的平均灰度作为亮度的度量值，将图像的灰度标准差作为对比度度量值，将图像的协方差作为结构相似程度的度量值。第一图像与第二图像的结构相似性可以通过下列公式确定：
其中，
为第一图像与第二图像的结构相似性，
和
分别为第一图像与第二图像的亮度对比函数、灰度对比函数以及结构对比函数。
和
分别表示第一图像和第二图像的均值，
和
分别表示第一图像和第二图像的标准差，
和
分别表示第一图像和第二图像的方差，
表示第一图像和第二图像的协方差，前述，
均可以通过对第一图像以及第二图像进行计算获取。
、
和
为为了避免公式中的分母为0而预先设置的常数。示例性的，
为图像的像素值的动态范围，一般可以取为255，当
时，公式（7）可以简写为：
第一图像与第二图像的结构相似性为[0,1]中的常数，其数值越大表示图像失真越小，第一图像与第二图像越相似。
步骤670，基于结构相似性，确定第一图像的第二图像质量。在一些实施例中，步骤670可以由第二确定模块208执行。
第二图像质量可以指对第一图像及其相邻帧之间的失真度进行评估后确定的图像质量。与目标图像质量类似地，第二图像质量也可以通过多种方式表示，包括但不限于分值、等级等。第二确定模块208可以基于结构相似性，根据预设对应关系，确定第一图像的第二图像质量。预设对应关系可以为将第一图像与第二图像的结构相似性乘以100后的数值，确定为第一图像的第二图像质量。例如，第一图像与第二图像的结构相似性为0.8，根据预设对应关系可以确定第一图像的第二图像质量为80分。
应当理解的值，在内镜手术中，若医生操作稳定，对应的通过内窥镜获得的视频中的画面之间转换较慢，故视频中两个相邻帧的相似度较高，可以计算出两个相邻帧的SSIM较高；而医生操作过快会导致通过内窥镜获得的视频中的画面之间转换较快，产生晃动，故两个相邻帧的相似度较低，可以计算出两个相邻帧的SSIM较低。由此，可以基于相邻帧的结构相似性评估医生操作是否规范。
步骤680，基于第一图像质量以及第二图像质量，确定第一图像的目标图像质量。在一些实施例中，步骤680可以由第二确定模块208执行。
在一些实施例中，可以通过多种方式对第一图像质量以及第二图像质量进行处理，确定第一图像的目标图像质量。例如，可以计算第一图像的第一图像质量以及第二图像质量的均值，将该均值确定为第一图像的目标图像质量。再例如，可以根据需要预先为第一图像质量以及第二图像质量设置不同的权重，再进行加权和处理，将加权和处理的结果确定为第一图像的目标图像质量。
本说明书的一些实施例在判断第一图像的有效区域的占比的基础上，还可以通过对第一图像及其相邻帧之间的相似度进行判断，从而可以确定出医生操作是否符合操作规范，增加了对第一图像的动态评估，使得确定的目标图像质量更加全面、准确。
图7是根据本说明书一些实施例所示的确定目标视频的目标视频质量的流程图。在一些实施例中，流程700可以由处理器120执行。如图7所示，流程700包括下述步骤。
步骤710，针对目标视频中的每一帧，确定该帧对应的有效区域的占比。在一些实施例中，步骤710可以由第三确定模块214执行。
关于如何确定目标视频中的各帧的有效区域的占比的具体内容参见图3及其相关描述。
步骤720，基于目标视频中各帧的有效区域的占比，确定目标视频中每一帧的有效区域的平均占比。在一些实施例中，步骤720可以由第四确定模块216执行。
步骤730，针对目标视频中的每一帧，确定该帧与其相邻帧的结构相似性。在一些实施例中，步骤730可以由第五确定模块218执行。
关于如何确定目标视频中的各帧与其相邻帧的结构相似性的具体内容参见图6及其相关描述。
步骤740，基于目标视频中各帧与其相邻帧的结构相似性，确定目标视频中每一帧与其相邻帧的平均结构相似性。在一些实施例中，步骤740可以由第六确定模块220执行。
步骤750，基于平均有效区域的占比以及平均结构相似性，确定目标视频的目标视频质量。在一些实施例中，步骤750可以由第七确定模块222执行。
目标视频质量可以指目标视频的视频质量。与目标图像质量类似地，目标视频质量也可以通过多种方式确定，包括但不限于分值、等级等。在一些实施例中，可以基于平均有效区域的占比以及平均结构相似性，根据预设对应关系，确定的目标视频质量。例如，预设对应关系可以为：目标视频质量=（平均有效区域的占比+平均结构相似性）*50。
在一些实施例中，还可以通过其他方式确定目标视频质量。例如，可以计算目标视频中的每一帧的目标图像质量，基于目标视频中各帧的目标图像质量，确定目标视频中每一帧的目标图像质量的均值，可以将该均值确定为目标视频质量。
本说明书的一些实施例中还可以对目标视频整体进行评估，确定其目标视频质量，基于目标视频整体情况判断内镜手术术前准备是否完善以及医生操作手法是否规范，从而可以基于判断结果采取相应的措施。
图8是根据本说明书一些实施例所示的又一内窥镜图像质量评估方法的示例性流程图。在一些实施例中，流程800可以由处理器120执行。如图8所示，流程800可以包括下述步骤：
步骤810，获取目标视频的第一图像以及第二图像，其中，第一图像与第二图像为目标视频中的两个相邻帧。
步骤820，确定第一图像以及第二图像的结构相似性。
关于步骤810与步骤820的具体内容可以参见图6及其相关描述。
步骤830，基于结构相似性，确定第一图像的目标图像质量。
在一些实施例中，可以基于第一图像以及第二图像的结构相似性，确定第一图像的第二图像质量。关于确定第二图像质量的更多内容可以参见图6及其相关描述。在一些实施例中，可以直接将第二图像质量确定为目标图像质量。在一些实施例中，还可以基于第一图像的第一图像质量与第二图像质量，确定目标图像质量。关于基于第一图像的第一图像质量与第二图像质量，确定目标图像质量的更多内容可以参见图6及其相关描述。
本说明书的一些实施例通过确定第一图像以及第二图像的结构相似性，可以判断第一图像及其相邻帧之间的相似度，从而可以确定出医生操作是否符合操作规范。
应当注意的是，上述有关各个流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对各个流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
本说明书的一些实施例还提供了一种计算机可读存储介质，所述存储介质用于存储计算机指令，当计算机读取所述存储介质中的所述计算机指令后，所述计算机执行本说明书实施例中任一项所述的内窥镜图像质量评估方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (9)
1.一种内窥镜图像质量评估方法，其特征在于，所述方法包括：
获取目标视频的第一图像；
基于分割模型分割所述第一图像，获得所述第一图像中的无效区域，其中，所述无效区域为所述第一图像中的无效信息所在的区域，所述无效信息包括杂质异物和/或图像缺陷，所述杂质异物包括粪便、粪水或气泡，所述图像缺陷包括阴影、高光或模糊；
基于所述第一图像以及所述无效区域，确定所述第一图像中的有效区域的占比，其中，所述有效区域为所述第一图像中所述无效区域以外的区域；
基于所述有效区域的占比，确定所述第一图像的目标图像质量。
2.根据权利要求1所述的方法，其特征在于，所述基于分割模型对所述第一图像分割，获得所述第一图像中的无效区域包括：
将所述第一图像输入所述分割模型，所述分割模型的输出为带有目标掩膜的分割图像；其中，所述目标掩膜在所述分割图像中对应的区域为所述第一图像中的所述无效区域。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像以及所述无效区域，确定所述第一图像中的有效区域的占比包括：
获取所述第一图像的总面积；
基于所述带有目标掩膜的分割图像，确定所述第一图像中的所述无效区域的无效区域面积；
基于所述总面积以及所述无效区域面积，确定所述有效区域的占比。
4.根据权利要求1所述的方法，其特征在于，所述分割模型通过以下步骤获得：
获取多组训练样本，其中，所述训练样本包括携带有标签的历史图像，所述标签为通过第一掩膜标记所述历史图像中的无效区域的历史分割图像；
基于所述多组训练样本对初始分割模型进行多轮训练，获得训练好的分割模型，其中，
在对所述初始分割模型进行每预设轮次训练后，针对每一组所述训练样本，将该训练样本输入预设轮次训练后的所述初始分割模型中，获得带有第二掩膜的初始分割图像；
确定所述第一掩膜与所述第二掩膜的交并比与戴斯相似性系数；
当所述交并比与所述戴斯相似性系数满足预设条件时，在下一预设轮次的训练中，将该训练样本的标签更换为所述带有第二掩膜的初始分割图像。
5.根据权利要求1所述的方法，其特征在于，所述第一图像为所述目标视频中的视频帧，所述基于所述有效区域的占比，确定所述第一图像的目标图像质量包括：
基于所述有效区域的占比，确定所述第一图像的第一图像质量；
获取所述目标视频的第二图像，所述第二图像为所述第一图像在所述目标视频中的相邻帧；
确定所述第一图像与所述第二图像的结构相似性；
基于所述结构相似性，确定所述第一图像的第二图像质量；
基于所述第一图像质量以及所述第二图像质量，确定所述第一图像的目标图像质量。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
针对所述目标视频中的每一帧，确定该帧对应的有效区域的占比；
基于所述目标视频中各帧的有效区域的占比，确定所述目标视频中每一帧的有效区域的平均占比；
针对所述目标视频中的每一帧，确定该帧与其相邻帧的结构相似性；
基于所述目标视频中各帧与其相邻帧的所述结构相似性，确定所述目标视频中每一帧与其相邻帧的平均结构相似性；
基于所述平均有效区域的占比以及所述平均结构相似性，确定所述目标视频的目标视频质量。
7.根据权利要求1所述的方法，其特征在于，所述第一图像包括内窥镜图像。
8.一种内窥镜图像质量评估系统，其特征在于，所述系统包括：
第一获取模块，用于获取目标视频的第一图像；
第二获取模块，用于基于分割模型分割所述第一图像，获得所述第一图像中的无效区域，其中，所述无效区域为所述第一图像中的无效信息所在的区域，所述无效信息包括杂质异物和/或图像缺陷，所述杂质异物包括粪便、粪水或气泡，所述图像缺陷包括阴影、高光或模糊；
第一确定模块，用于基于所述第一图像以及所述无效区域，确定所述第一图像的有效区域的占比，其中，所述有效区域为所述第一图像中所述无效区域以外的区域；
第二确定模块，用于基于所述有效区域的占比，确定所述第一图像的目标图像质量。
9.一种计算机可读存储介质，所述存储介质用于存储计算机指令，其特征在于，当计算机读取所述存储介质中的所述计算机指令后，所述计算机执行如权利要求1~7中任一项所述的内窥镜图像质量评估方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763289.7A CN114842000A (zh) | 2022-07-01 | 2022-07-01 | 一种内窥镜图像质量评估方法和系统 |
| US18/327,872 US20240005494A1 (en) | 2022-07-01 | 2023-06-01 | Methods and systems for image quality assessment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763289.7A CN114842000A (zh) | 2022-07-01 | 2022-07-01 | 一种内窥镜图像质量评估方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114842000A true CN114842000A (zh) | 2022-08-02 |
Family
ID=82574550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210763289.7A Pending CN114842000A (zh) | 2022-07-01 | 2022-07-01 | 一种内窥镜图像质量评估方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20240005494A1 (zh) |
| CN (1) | CN114842000A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523907A (zh) * | 2023-06-28 | 2023-08-01 | 浙江华诺康科技有限公司 | 内窥镜成像质量检测方法、装置、设备和存储介质 |
| CN116681681A (zh) * | 2023-06-13 | 2023-09-01 | 富士胶片（中国）投资有限公司 | 内窥镜图像的处理方法、装置、用户设备及介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104914723A (zh) * | 2015-05-22 | 2015-09-16 | 浙江大学 | 基于协同训练偏最小二乘模型的工业过程软测量建模方法 |
| CN106650816A (zh) * | 2016-12-28 | 2017-05-10 | 深圳信息职业技术学院 | 一种视频质量评价方法和装置 |
| CN109801256A (zh) * | 2018-12-15 | 2019-05-24 | 华南理工大学 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
| CN110996096A (zh) * | 2019-12-24 | 2020-04-10 | 嘉兴学院 | 一种基于结构相似性差异度的色调映射图像质量评价方法 |
| CN111145206A (zh) * | 2019-12-27 | 2020-05-12 | 联想(北京)有限公司 | 肝脏图像分割质量评估方法、装置及计算机设备 |
| CN111739007A (zh) * | 2020-06-22 | 2020-10-02 | 中南民族大学 | 内窥镜图像识别方法、设备、存储介质及装置 |
| CN112418289A (zh) * | 2020-11-17 | 2021-02-26 | 北京京航计算通讯研究所 | 一种不完全标注数据的多标签分类处理方法及装置 |
| CN112465763A (zh) * | 2020-11-24 | 2021-03-09 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置、设备、介质和内窥镜系统 |
| CN112597981A (zh) * | 2021-03-04 | 2021-04-02 | 四川大学 | 基于深度神经网络的肠镜退镜质量智能监控系统及方法 |
| CN112611754A (zh) * | 2020-10-26 | 2021-04-06 | 中国水利水电第三工程局有限公司 | 一种清水混凝土外观质量评价方法 |
| CN112750121A (zh) * | 2021-01-20 | 2021-05-04 | 赛维森(广州)医疗科技服务有限公司 | 用于病理玻片数字图像质量检测的系统及其方法 |
| CN112785549A (zh) * | 2020-12-29 | 2021-05-11 | 成都微识医疗设备有限公司 | 基于图像识别的肠镜检查质量评估方法、装置及存储介质 |
| CN113116390A (zh) * | 2019-12-31 | 2021-07-16 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像的检测方法及超声影像设备 |
| CN114359183A (zh) * | 2021-12-17 | 2022-04-15 | 浙江大华技术股份有限公司 | 图像质量评估方法及设备、镜头遮挡的确定方法 |
| CN114419008A (zh) * | 2022-01-24 | 2022-04-29 | 北京译图智讯科技有限公司 | 一种图像质量评估方法及系统 |
| CN114419521A (zh) * | 2022-03-28 | 2022-04-29 | 武汉楚精灵医疗科技有限公司 | 肠道内镜检查的监控方法及装置 |
-
2022
- 2022-07-01 CN CN202210763289.7A patent/CN114842000A/zh active Pending
-
2023
- 2023-06-01 US US18/327,872 patent/US20240005494A1/en active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104914723A (zh) * | 2015-05-22 | 2015-09-16 | 浙江大学 | 基于协同训练偏最小二乘模型的工业过程软测量建模方法 |
| CN106650816A (zh) * | 2016-12-28 | 2017-05-10 | 深圳信息职业技术学院 | 一种视频质量评价方法和装置 |
| CN109801256A (zh) * | 2018-12-15 | 2019-05-24 | 华南理工大学 | 一种基于感兴趣区域和全局特征的图像美学质量评估方法 |
| CN110996096A (zh) * | 2019-12-24 | 2020-04-10 | 嘉兴学院 | 一种基于结构相似性差异度的色调映射图像质量评价方法 |
| CN111145206A (zh) * | 2019-12-27 | 2020-05-12 | 联想(北京)有限公司 | 肝脏图像分割质量评估方法、装置及计算机设备 |
| CN113116390A (zh) * | 2019-12-31 | 2021-07-16 | 深圳迈瑞生物医疗电子股份有限公司 | 超声图像的检测方法及超声影像设备 |
| CN111739007A (zh) * | 2020-06-22 | 2020-10-02 | 中南民族大学 | 内窥镜图像识别方法、设备、存储介质及装置 |
| CN112611754A (zh) * | 2020-10-26 | 2021-04-06 | 中国水利水电第三工程局有限公司 | 一种清水混凝土外观质量评价方法 |
| CN112418289A (zh) * | 2020-11-17 | 2021-02-26 | 北京京航计算通讯研究所 | 一种不完全标注数据的多标签分类处理方法及装置 |
| CN112465763A (zh) * | 2020-11-24 | 2021-03-09 | 深圳开立生物医疗科技股份有限公司 | 一种图像处理方法、装置、设备、介质和内窥镜系统 |
| CN112785549A (zh) * | 2020-12-29 | 2021-05-11 | 成都微识医疗设备有限公司 | 基于图像识别的肠镜检查质量评估方法、装置及存储介质 |
| CN112750121A (zh) * | 2021-01-20 | 2021-05-04 | 赛维森(广州)医疗科技服务有限公司 | 用于病理玻片数字图像质量检测的系统及其方法 |
| CN112597981A (zh) * | 2021-03-04 | 2021-04-02 | 四川大学 | 基于深度神经网络的肠镜退镜质量智能监控系统及方法 |
| CN114359183A (zh) * | 2021-12-17 | 2022-04-15 | 浙江大华技术股份有限公司 | 图像质量评估方法及设备、镜头遮挡的确定方法 |
| CN114419008A (zh) * | 2022-01-24 | 2022-04-29 | 北京译图智讯科技有限公司 | 一种图像质量评估方法及系统 |
| CN114419521A (zh) * | 2022-03-28 | 2022-04-29 | 武汉楚精灵医疗科技有限公司 | 肠道内镜检查的监控方法及装置 |
Non-Patent Citations (5)
| Title |
|---|
| SHARIB ALI等: "A deep learning framework for quality assessment and restoration in video endoscopy", 《MEDICAL IMAGE ANALYSIS》 * |
| 俞顺章等: "《流行病学与计算机应用》", 30 April 2011, 上海：复旦大学出版社 * |
| 刘鑫: "基于U-Net网络的医疗图像分割研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 * |
| 史小雨: "基于SIFT特征和结构相似性的图像质量评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 孙华魁: "《数字图像处理与识别技术研究》", 31 May 2019, 天津科学技术出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681681A (zh) * | 2023-06-13 | 2023-09-01 | 富士胶片（中国）投资有限公司 | 内窥镜图像的处理方法、装置、用户设备及介质 |
| CN116681681B (zh) * | 2023-06-13 | 2024-04-02 | 富士胶片（中国）投资有限公司 | 内窥镜图像的处理方法、装置、用户设备及介质 |
| CN116523907A (zh) * | 2023-06-28 | 2023-08-01 | 浙江华诺康科技有限公司 | 内窥镜成像质量检测方法、装置、设备和存储介质 |
| CN116523907B (zh) * | 2023-06-28 | 2023-10-31 | 浙江华诺康科技有限公司 | 内窥镜成像质量检测方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240005494A1 (en) | 2024-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275041B (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| CN109146884B (zh) | 内窥镜检查监控方法及装置 | |
| CN114842000A (zh) | 一种内窥镜图像质量评估方法和系统 | |
| CN109523535B (zh) | 一种病变图像的预处理方法 | |
| CN109544526B (zh) | 一种慢性萎缩性胃炎图像识别系统、装置和方法 | |
| US7907775B2 (en) | Image processing apparatus, image processing method and image processing program | |
| CN110600122A (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| CN110335241B (zh) | 肠镜检查后对肠道准备自动进行评分的方法 | |
| CN111091559A (zh) | 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 | |
| CN110867233B (zh) | 用于生成电子喉镜医学检测报告的系统和方法 | |
| CN113129287A (zh) | 一种针对上消化道内镜影像的病灶自动留图方法 | |
| CN113610847B (zh) | 一种白光模式下胃部标志物评估方法及系统 | |
| CN116596927B (zh) | 一种内镜视频处理方法、系统及装置 | |
| CN116309605B (zh) | 基于深度学习和状态转移的内窥镜检查质控方法及系统 | |
| CN110110750B (zh) | 一种原始图片的分类方法及装置 | |
| CN110097080B (zh) | 一种分类标签的构建方法及装置 | |
| CN116919639A (zh) | 一种可视清洗方法、系统及其可视清洗器 | |
| CN116152168A (zh) | 一种医肺影像病变分类方法和分类装置 | |
| JP6710853B2 (ja) | プローブ型共焦点レーザー顕微内視鏡画像診断支援装置 | |
| CN113554641B (zh) | 一种儿科咽部图像采集方法及装置 | |
| CN110083727B (zh) | 一种确定分类标签的方法及装置 | |
| CN110084277B (zh) | 一种训练集的拆分方法及装置 | |
| CN117974668B (zh) | 基于ai的新型胃黏膜可视度评分量化方法、装置和设备 | |
| CN110084276B (zh) | 一种训练集的拆分方法及装置 | |
| CN110070113B (zh) | 一种训练集的训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220802 |