CN116523907B - 内窥镜成像质量检测方法、装置、设备和存储介质 - Google Patents
内窥镜成像质量检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116523907B CN116523907B CN202310775488.4A CN202310775488A CN116523907B CN 116523907 B CN116523907 B CN 116523907B CN 202310775488 A CN202310775488 A CN 202310775488A CN 116523907 B CN116523907 B CN 116523907B
- Authority
- CN
- China
- Prior art keywords
- quality detection
- image
- imaging
- detected
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 231
- 238000003384 imaging method Methods 0.000 title claims abstract description 139
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 239000003595 mist Substances 0.000 claims abstract description 74
- 230000002159 abnormal effect Effects 0.000 claims abstract description 52
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000008859 change Effects 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 239000000443 aerosol Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本申请涉及一种内窥镜成像质量检测方法、装置、设备和存储介质，其中，该方法包括：基于预设取图策略获取内窥镜的待检测图像；根据内窥镜成像的异常类型，通过相应的检测策略对待检测图像进行质量检测，得到质量检测结果；异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡；根据质量检测结果，结合成像场景进行质量检测报警。通过本申请，能够贴近内窥镜使用的实际需求，针对内窥镜成像的不同异常类型，设定相应的检测策略，有效地对待检测图像进行质量检测和质量检测报警，解决了目前无法有效检测内窥镜成像质量的问题。
Description
技术领域
本申请涉及医学影像技术领域，特别是涉及一种内窥镜成像质量检测方法、装置、设备和存储介质。
背景技术
电子内窥镜作为一款常规的医疗设备，深入体内直接反映器官内部腔体状况，由于复杂的体内环境，内窥镜成像质量往往受到多种干扰因素的影响，例如灼烧人体组织产生的气溶胶油雾、镜头水汽、运动模糊以及画面失焦等干扰。电子内窥镜成像质量的优劣直接影响到医生的观察和判断，因此，对内窥镜成像质量进行检测和诊断具有重大临床意义。
现有的解决方案主要是依赖人的肉眼判断，在观察到内窥镜成像质量不佳时，手动开启一些辅助功能进行主动排烟、排气以及对焦等，由于人体内部复杂的环境以及手术操作的复杂性，这样不可避免会增加医生的工作量，影响医生操作，导致无法有效地检测内窥镜成像的质量。
针对相关技术中无法有效检测内窥镜成像质量的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种内窥镜成像质量检测方法、装置、设备和存储介质，以解决相关技术中无法有效检测内窥镜成像质量的问题。
第一个方面，在本实施例中提供了一种内窥镜成像质量检测方法，包括：
基于预设取图策略获取内窥镜的待检测图像；
根据内窥镜成像的异常类型，通过相应的检测策略对所述待检测图像进行质量检测，得到质量检测结果；所述异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡；
根据所述质量检测结果，结合成像场景进行质量检测报警。
在其中的一些实施例中，所述基于预设取图策略获取内窥镜的待检测图像，包括：
确定所述待检测图像的获取周期；
基于所述获取周期提取内窥镜图像帧，并通过比对筛选所述图像帧，得到所述待检测图像。
在其中的一些实施例中，所述通过比对筛选所述图像帧，包括：
将所述图像帧之间进行相似度比对，根据比对结果和预设帧数确定静止图像帧，并筛去所述静止图像帧，和/或；
将所述图像帧和标准图像帧之间进行比对，得到第一差异值，选择所述第一差异值达到第一预设阈值的所述图像帧。
在其中的一些实施例中，所述根据内窥镜成像的异常类型，通过相应的检测策略对所述待检测图像进行质量检测，得到质量检测结果，包括：
当所述异常类型为成像模糊时，根据所述待检测图像与经过模糊处理后的待检测图像之间的第二差异值，得到所述质量检测结果，和/或；
当所述异常类型为场景剧变时，根据所述待检测图像相邻帧之间的第三差异值，得到所述质量检测结果，和/或；
当所述异常类型为油雾遮挡时，基于预先训练得到的油雾检测模型，输出油雾置信度，得到所述质量检测结果，和/或；
当所述异常类型为镜头水渍遮挡时，基于预先训练得到的镜头水渍检测模型，输出水渍置信度，得到所述质量检测结果。
在其中的一些实施例中，上述方法还包括：
对所述待检测图像进行分区处理，得到若干图像块；
通过计算所述待检测图像相邻帧中所述图像块的特征差异，得到目标图像块，并确定所述目标图像块在所述待检测图像中的比例；
根据所述油雾置信度和所述目标图像块在所述待检测图像中的比例，确定所述油雾分值，得到所述质量检测结果。
在其中的一些实施例中，所述根据所述质量检测结果，结合成像场景进行质量检测报警，包括：
通过识别目标标志物，确定当前成像场景；
当所述当前成像场景位于人体体内时，根据不同异常类型下的所述质量检测结果，进行相应类型的质量检测报警；
当所述当前成像场景位于人体体外时，进行人体体外报警。
在其中的一些实施例中，所述根据不同异常类型下的所述质量检测结果，进行相应类型的质量检测报警，包括：
当所述第二差异值达到第二预设阈值时，进行成像模糊报警，和/或；
根据所述第三差异值和第三预设阈值，判断未出现场景剧变的异常时，若所述油雾置信度/油雾分值达到第四预设阈值，进行油雾遮挡报警，和/或；
当所述水渍置信度达到第五预设阈值时，进行镜头水渍报警。
第二个方面，在本实施例中提供了一种内窥镜成像质量检测装置，包括：待检测图像获取模块、质量检测模块以及质量检测报警模块；
所述待检测图像获取模块，用于基于预设取图策略获取内窥镜的待检测图像；
所述质量检测模块，用于根据内窥镜成像的异常类型建立相应的质量检测模型，并将所述待检测图像输入所述质量检测模型进行质量分析，得到质量检测结果；所述异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡；
所述质量检测报警模块，用于根据所述质量检测结果，结合成像场景分析进行质量检测报警。
第三个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的内窥镜成像质量检测方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的内窥镜成像质量检测方法。
与相关技术相比，在本实施例中提供的一种内窥镜成像质量检测方法、装置、设备和存储介质，通过基于预设取图策略获取内窥镜的待检测图像；根据内窥镜成像的异常类型，通过相应的检测策略对所述待检测图像进行质量检测，得到质量检测结果；所述异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡；根据所述质量检测结果，结合成像场景进行质量检测报警，能够贴近内窥镜使用的实际需求，针对内窥镜成像的不同异常类型，设定相应的检测策略，有效地对待检测图像进行质量检测和质量检测报警，解决了目前无法有效检测内窥镜成像质量的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是一个实施例中内窥镜成像质量检测方法的终端的硬件结构框图；
图2是一个实施例中内窥镜成像质量检测方法的流程图；
图3是一个优选实施例中内窥镜成像质量检测方法的流程图；
图4是一个实施例中内窥镜成像质量检测装置的结构框图。
图中：102、处理器；104、存储器；106、传输设备；108、输入输出设备；10、待检测图像获取模块；20、质量检测模块；30、质量检测报警模块。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的内窥镜成像质量检测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的内窥镜成像质量检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
电子内窥镜作为一款常规的医疗设备，深入体内直接反映器官内部腔体状况，由于复杂的体内环境，内窥镜成像质量往往受到多种干扰因素的影响，例如灼烧人体组织产生的气溶胶油雾、镜头水汽、运动模糊以及画面失焦等干扰。电子内窥镜成像质量的优劣直接影响到医生的观察和判断，因此，对内窥镜成像质量进行检测和诊断具有重大临床意义。
现有的解决方案主要是依赖人的肉眼判断，在观察到内窥镜成像质量不佳时，手动开启一些辅助功能进行主动排烟、排气以及对焦等，由于人体内部复杂的环境以及手术操作的复杂性，这样不可避免会增加医生的工作量，影响医生操作，导致无法有效地检测内窥镜成像的质量。
在本实施例中提供了一种内窥镜成像质量检测方法，图2是本实施例中内窥镜成像质量检测方法的流程图，如图2所示，该方法包括以下步骤：
步骤S210，基于预设取图策略获取内窥镜的待检测图像。
具体地，在内窥镜场景下的视频帧率通常较大，内窥镜图像的尺寸也较大，为了满足手术过程中进行质量检测的实时性要求，无法对每一帧内窥镜图像帧进行质量检测，因此基于预设取图策略获取待检测图像，以及进行后续的质量检测和报警。
预设取图策略包括确定从内窥镜图像帧中提取待检测图像的获取周期，另外还通过比对筛选图像帧，减少待检测图像中的静止图像帧，和/或，保留异常的图像帧。
步骤S220，根据内窥镜成像的异常类型，通过相应的检测策略对待检测图像进行质量检测，得到质量检测结果；异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡。
具体地，由于人体内部环境的复杂性，以及各种手术操作的复杂性，针对内窥镜使用的实际需求，内窥镜成像的异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡等导致内窥镜成像质量较差的因素，根据上述异常类型，分别建立相应的检测策略进行质量检测，得到质量检测结果。上述检测策略包括但不限于基于图像识别算法，建立相应的检测模型，以及将相邻待检测图像进行差异比对等。
其中，成像模糊指内窥镜快速晃动时成像的清晰度不佳；场景剧变指内窥镜成像的场景出现剧烈变化；油雾遮挡指电刀切割人体组织产生的油雾遮挡内窥镜成像画面；镜头水渍遮挡指体内的水汽在内窥镜镜头上产生水渍遮挡的情况。
步骤S230，根据质量检测结果，结合成像场景进行质量检测报警。
具体地，通过识别不同成像场景中的目标标志物，确定内窥镜当前成像场景，其中成像场景包括人体体内和人体体外。在成像场景位于人体体外时，无需进行质量检测，直接发起人体体外报警；在成像场景位于人体体内时，根据上述不同异常类型下的质量检测结果，进行相应的质量检测报警。
其中，针对上述不同异常类型，根据得到的质量检测结果进行相应类型的报警，比如在质量检测结果达到预设阈值时，直接进行成像模糊和镜头水渍遮挡报警，进一步地，可以结合不同异常类型的质量检测结果进行多角度、多过程的质量检测报警，比如结合场景剧变和油雾遮挡的质量检测结果进行油雾遮挡报警。
上述步骤通过预设取图策略获取待检测图像，并根据内窥镜成像的异常类型，通过相应的检测策略进行质量检测，以根据不同的质量检测结果进行质量检测报警，能够贴近内窥镜使用的实际需求，针对内窥镜成像的不同异常类型，设定相应的检测策略，并且提高了内窥镜成像的质量检测的规范性和通用性，同时提高质量检测的效率，解决了目前无法有效检测内窥镜成像质量的问题，相比于现有技术中由医生手动开启辅助功能减少术中干扰因素，能够极大地降低医生的工作量，整个操作不为医生感知，且在内窥镜成像质量出现异常时及时进行报警，防止人为疏忽对手术效果造成影响。
在其中的一些实施例中，上述步骤S210中基于预设取图策略获取内窥镜的待检测图像，具体可以通过以下步骤实现：
步骤S211，确定待检测图像的获取周期。
具体地，为了满足手术过程中进行质量检测的实时性要求，基于术中出现的影响内窥镜成像质量的异常情况的持续时间等先验信息，预先确定从内窥镜图像帧中提取待检测图像的获取周期，其中异常情况可以是术中内窥镜晃动，或者电刀切割人体组织等操作，目的在于尽量获取受到异常情况影响的内窥镜图像帧作为待检测图像。
步骤S212，基于获取周期提取内窥镜图像帧，并通过比对筛选图像帧，得到待检测图像。
具体地，提取内窥镜图像帧，并通过比对进一步筛选图像帧，减少待检测图像中的静止图像帧，和/或，保留异常的图像帧。
进一步地，上述具体包括以下两种比对筛选图像帧的方法：
将图像帧之间进行相似度比对，根据比对结果和预设帧数确定静止图像帧，并筛去静止图像帧，和/或；将图像帧和标准图像帧之间进行比对，得到第一差异值，选择第一差异值达到第一预设阈值的图像帧。
具体地，通过将图像帧之间进行相似度比对，得到比对结果，对比对结果中相似度大于一定阈值的连续图像帧进行计数，若计数达到预设帧数，则视作静止图像帧并筛去静止图像帧，以减少待检测图像中的静止图像帧。
将正常场景下的内窥镜图像帧作为标准图像帧，提取标准图像帧的统计特征与获取的图像帧进行特征比对，得到第一差异值，若第一差异值达到设定的第一预设阈值，说明该图像帧与标准图像帧的差异过大，将该图像帧作为存在异常的图像帧进行保留，以作为待检测图像进行质量检测。
本实施例中预设取图策略包括确定从内窥镜图像帧中提取待检测图像的获取周期，另外还通过比对筛选图像帧，减少待检测图像中的静止图像帧和/或保留异常的图像帧，能够有效地筛选获取待检测图像，并减少待检测图像中的干扰，提高进行质量检测的效率。
在其中的一些实施例中，上述通过相应的检测策略对待检测图像进行质量检测，得到质量检测结果，具体可以通过以下步骤实现：
当异常类型为成像模糊时，根据待检测图像与经过模糊处理后的待检测图像之间的第二差异值，得到质量检测结果，和/或；
当异常类型为场景剧变时，根据待检测图像相邻帧之间的第三差异值，得到质量检测结果，和/或；
当异常类型为油雾遮挡时，基于预先训练得到的油雾检测模型，输出油雾置信度，得到质量检测结果，和/或；
当异常类型为镜头水渍遮挡时，基于预先训练得到的镜头水渍检测模型，输出水渍置信度，得到质量检测结果。
具体地，对于成像模糊的质量检测，通过将待检测图像进行模糊处理，计算待检测图像和模糊处理后的差异值，得到质量检测结果，具体是采用当前待检测图像在进行高斯模糊处理前后的直方图差异来度量待检测图像的清晰程度，将直方图差异作为第二差异值。
对于场景剧变的质量检测，将待检测图像相邻帧之间的纹理差异程度作为第三差异值。
对于油雾遮挡和镜头水渍遮挡的质量检测，分别采用深度学习模型，基于采集得到的训练数据训练得到油雾检测模型和镜头水渍检测模型。将待检测图像输入油雾检测模型和/或镜头水渍检测模型，分别输出油雾置信度和水渍置信度，得到异常类型为油雾遮挡和镜头水渍遮挡的质量检测结果。
需要说明的是，本实施例中给出四种针对异常类型的检测策略，并不代表对上述每种异常类型的出现情况进行限制，在实际对待检测图像进行质量检测时，上述异常类型可以仅部分出现，以及全部出现等其他情况。
通过本实施例中针对不同异常类型采用相应的检测策略，能够更加规范且有效地对待检测图像进行质量检测。
在其中的一些实施例中，还可以由以下步骤获得油雾遮挡异常类型的质量检测结果：
对待检测图像进行分区处理，得到若干图像块；通过计算待检测图像相邻帧中图像块的特征差异，得到目标图像块，并确定目标图像块在待检测图像中的比例；根据油雾置信度和目标图像块在待检测图像中的比例，确定油雾分值，得到质量检测结果。
具体地，将待检测图像分区处理得到若干图像块，通过计算相邻帧的待检测图像中图像块的特征差异，将差异值达到目标阈值的图像块作为目标图像块，由此确定在每帧待检测图像中目标图像块占所有图像块的比例，其中，可以将待检测图像分为大小为8×8的图像块，采用图像块的颜色、均值、方差、对比度以及饱和度等特征进行特征差异计算。
根据上述步骤中通过油雾检测模型得到的油雾置信度和目标图像块在待检测图像中的比例，将油雾置信度和目标图像块比例的乘积作为油雾分值。
通过本实施例中将待检测图像进行分区处理，获取其中目标图像块的比例，作为对油雾遮挡的检测的补充参考，得到更准确的质量检测结果，提高油雾检测的准确性。
在其中的一些实施例中，上述步骤S230中根据质量检测结果，结合成像场景进行质量检测报警，具体可以通过以下步骤实现：
步骤S231，通过识别目标标志物，确定当前成像场景。
具体地，内窥镜的成像场景包括人体体内和人体体外，人体体内的成像场景的目标标志物可以是人体体内的器官以及术中的器具，比如内脏、支架、人体组织、脂肪、纱布以及缝合针等，在识别到上述目标标志物时，确认当前成像场景位于人体体内，否则，确认当前成像场景位于人体体外。
步骤S232，当前成像场景位于人体体内时，根据不同异常类型下的质量检测结果，进行相应类型的质量检测报警；当前成像场景位于人体体外时，进行人体体外报警。
具体地，在成像场景位于人体体外时，无需进行质量检测，直接发起人体体外报警；在成像场景位于人体体内时，根据上述不同异常类型下的质量检测结果，进行相应的质量检测报警。比如在质量检测结果不符合预设阈值时，直接进行成像模糊和镜头水渍遮挡报警，进一步地，可以结合不同异常类型的质量检测结果进行多角度、多过程的质量检测报警，比如结合场景剧变和油雾遮挡的质量检测结果进行油雾遮挡报警。
进一步地，以下为具体的质量检测报警逻辑：
当第二差异值达到第二预设阈值时，进行成像模糊报警，和/或；
根据第三差异值和第三预设阈值，判断未出现场景剧变的异常时，若油雾置信度/油雾分值达到第四预设阈值，进行油雾遮挡报警，和/或；
当水渍置信度达到第五预设阈值时，进行镜头水渍报警。
具体地，采用成像模糊相应的检测策略得到第二差异值的质量检测结果，当第二差异值达到第二预设值时，直接报警成像模糊，即内窥镜成像画面清晰度异常。
采用场景剧变相应的检测策略得到第三差异值的质量检测结果，当第三差异值达到第三预设阈值时，判断出现场景剧变的异常，即内窥镜镜头出现快速、无规则地晃动，否则，判断未出现场景剧变的异常，此时，当上述获得的油雾置信度或者油雾分值达到第四预设阈值时，输出油雾遮挡报警，即内窥镜成像画面出现烟雾。其中，可以根据实际的应用情况，采用油雾置信度或者油雾分值作为质量检测结果，进行油雾遮挡报警的判断。
采用镜头水渍遮挡相应的镜头水渍检测模型得到水渍置信度，当水渍置信度达到第五预设阈值时，输出镜头水渍遮挡报警，即内窥镜成像画面中出现水渍。
上述预设阈值可以根据经验预先设定，并且能够根据不同手术场景的时间应用要求进行相应调整。需要说明的是，本实施例中给出质量检测报警逻辑，并不代表对上述每种异常类型报警的出现情况进行限制，在实际对待检测图像进行质量检测和报警时，上述异常类型可以仅部分出现，以及全部出现等其他情况。
通过本实施例中根据不同异常类型的质量检测结果，以及结合内窥镜成像场景，设定质量检测报警逻辑，其中考虑到质量检测的影响因素较多的情况，设定了多角度的油雾遮挡报警，能够提高质量检测报警的准确性，减少误报。
下面通过优选实施例对本实施例进行描述和说明。
图3是本优选实施例的内窥镜成像质量检测方法的流程图，如图3所示，该方法包括以下步骤：
步骤S310，确定待检测图像的获取周期，基于获取周期提取内窥镜图像帧，并通过比对筛去图像帧中的静止图像帧和保留异常的图像帧。
步骤S320，根据内窥镜成像的异常类型，通过相应的检测策略对待检测图像进行质量检测；异常类型包括：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡。
步骤S330，对待检测图像进行分区处理，得到若干图像块；通过计算待检测图像相邻帧中图像块的颜色特征差异，得到目标图像块，并确定目标图像块在待检测图像中的比例。
步骤S340，当异常类型为成像模糊时，根据待检测图像与经过模糊处理后的待检测图像之间的第二差异值，得到质量检测结果；当异常类型为场景剧变时，根据待检测图像相邻帧之间的第三差异值，得到质量检测结果；当异常类型为油雾遮挡时，基于预先训练得到的油雾检测模型，输出油雾置信度，结合目标图像块的比例，得到油雾分值的质量检测结果；当异常类型为镜头水渍遮挡时，基于预先训练得到的镜头水渍检测模型，输出水渍置信度，得到质量检测结果。
步骤S350，通过识别目标标志物，确定当前成像场景。
当前成像场景位于人体体内时，执行步骤S360；当前成像场景位于人体体外时，执行步骤S370。
步骤S360，当第二差异值达到第二预设阈值时，进行成像模糊报警；当判断未出现场景剧变的异常时，若油雾分值达到第四预设阈值，进行油雾遮挡报警；当水渍置信度达到第五预设阈值时，进行镜头水渍报警。
步骤S370，进行人体体外报警。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，步骤S360和步骤S370是根据成像场景的判断执行相应的步骤，并不限定先后顺序。
通过本优选实施例中，能够贴近内窥镜使用的实际需求，针对内窥镜成像的不同异常类型，设定相应的检测策略，并且提高了内窥镜成像的质量检测的规范性和通用性，同时提高质量检测的效率，解决了目前无法有效检测内窥镜成像质量的问题，相比于现有技术中由医生手动开启辅助功能减少术中干扰因素，能够极大地降低医生的工作量，整个操作不为医生感知，且在内窥镜成像质量出现异常时及时进行报警，防止人为疏忽对手术效果造成影响。
进一步地，根据不同异常类型的质量检测结果，以及结合内窥镜成像场景，设定质量检测报警逻辑，其中考虑到质量检测的影响因素较多的情况，设定了多角度的油雾遮挡报警，能够提高质量检测报警的准确性，减少误报。
在本实施例中还提供了一种内窥镜成像质量检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是本实施例的内窥镜成像质量检测装置的结构框图，如图4所示，该装置包括：待检测图像获取模块10、质量检测模块20以及质量检测报警模块30。
待检测图像获取模块10，用于基于预设取图策略获取内窥镜的待检测图像。
质量检测模块20，用于根据内窥镜成像的异常类型建立相应的质量检测模型，并将待检测图像输入质量检测模型进行质量分析，得到质量检测结果；异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡。
质量检测报警模块30，用于根据质量检测结果，结合成像场景分析进行质量检测报警。
通过本实施例中提供的装置，能够贴近内窥镜使用的实际需求，针对内窥镜成像的不同异常类型，设定相应的检测策略，并且提高了内窥镜成像的质量检测的规范性和通用性，同时提高质量检测的效率，解决了目前无法有效检测内窥镜成像质量的问题，相比于现有技术中由医生手动开启辅助功能减少术中干扰因素，能够极大地降低医生的工作量，整个操作不为医生感知，且在内窥镜成像质量出现异常时及时进行报警，防止人为疏忽对手术效果造成影响。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述计算机设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的内窥镜成像质量检测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种内窥镜成像质量检测方法。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其他实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其他实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (9)
1.一种内窥镜成像质量检测方法，其特征在于，包括：
基于预设取图策略获取内窥镜的待检测图像；
根据内窥镜成像的异常类型，通过相应的检测策略对所述待检测图像进行质量检测，得到质量检测结果；所述异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡；
其中，根据内窥镜成像的异常类型，通过相应的检测策略对所述待检测图像进行质量检测，得到质量检测结果，包括：
当所述异常类型为成像模糊时，根据所述待检测图像与经过模糊处理后的待检测图像之间的第二差异值，得到所述质量检测结果，和/或；
当所述异常类型为场景剧变时，根据所述待检测图像相邻帧之间的第三差异值，得到所述质量检测结果，和/或；
当所述异常类型为油雾遮挡时，基于预先训练得到的油雾检测模型，输出油雾置信度，得到所述质量检测结果，和/或；
当所述异常类型为镜头水渍遮挡时，基于预先训练得到的镜头水渍检测模型，输出水渍置信度，得到所述质量检测结果；
根据所述质量检测结果，结合成像场景进行质量检测报警。
2.根据权利要求1所述的内窥镜成像质量检测方法，其特征在于，所述基于预设取图策略获取内窥镜的待检测图像，包括：
确定所述待检测图像的获取周期；
基于所述获取周期提取内窥镜图像帧，并通过比对筛选所述图像帧，得到所述待检测图像。
3.根据权利要求2所述的内窥镜成像质量检测方法，其特征在于，所述通过比对筛选所述图像帧，包括：
将所述图像帧之间进行相似度比对，根据比对结果和预设帧数确定静止图像帧，并筛去所述静止图像帧，和/或；
将所述图像帧和标准图像帧之间进行比对，得到第一差异值，选择所述第一差异值达到第一预设阈值的所述图像帧。
4.根据权利要求1所述的内窥镜成像质量检测方法，其特征在于，还包括：
对所述待检测图像进行分区处理，得到若干图像块；
通过计算所述待检测图像相邻帧中所述图像块的特征差异，得到目标图像块，并确定所述目标图像块在所述待检测图像中的比例；
根据所述油雾置信度和所述目标图像块在所述待检测图像中的比例，确定油雾分值，得到所述质量检测结果。
5.根据权利要求1或权利要求4任意一项所述的内窥镜成像质量检测方法，其特征在于，所述根据所述质量检测结果，结合成像场景进行质量检测报警，包括：
通过识别目标标志物，确定当前成像场景；
当所述当前成像场景位于人体体内时，根据不同异常类型下的所述质量检测结果，进行相应类型的质量检测报警；
当所述当前成像场景位于人体体外时，进行人体体外报警。
6.根据权利要求5所述的内窥镜成像质量检测方法，其特征在于，所述根据不同异常类型下的所述质量检测结果，进行相应类型的质量检测报警，包括：
当所述第二差异值达到第二预设阈值时，进行成像模糊报警，和/或；
根据所述第三差异值和第三预设阈值，判断未出现场景剧变的异常时，若所述油雾置信度/油雾分值达到第四预设阈值，进行油雾遮挡报警，和/或；
当所述水渍置信度达到第五预设阈值时，进行镜头水渍报警。
7.一种内窥镜成像质量检测装置，其特征在于，包括：待检测图像获取模块、质量检测模块以及质量检测报警模块；
所述待检测图像获取模块，用于基于预设取图策略获取内窥镜的待检测图像；
所述质量检测模块，用于根据内窥镜成像的异常类型建立相应的质量检测模型，并将所述待检测图像输入所述质量检测模型进行质量分析，得到质量检测结果；所述异常类型至少包括以下之一：成像模糊、场景剧变、油雾遮挡以及镜头水渍遮挡；
其中，根据内窥镜成像的异常类型，通过相应的检测策略对所述待检测图像进行质量检测，得到质量检测结果，包括：
当所述异常类型为成像模糊时，根据所述待检测图像与经过模糊处理后的待检测图像之间的第二差异值，得到所述质量检测结果，和/或；
当所述异常类型为场景剧变时，根据所述待检测图像相邻帧之间的第三差异值，得到所述质量检测结果，和/或；
当所述异常类型为油雾遮挡时，基于预先训练得到的油雾检测模型，输出油雾置信度，得到所述质量检测结果，和/或；
当所述异常类型为镜头水渍遮挡时，基于预先训练得到的镜头水渍检测模型，输出水渍置信度，得到所述质量检测结果；
所述质量检测报警模块，用于根据所述质量检测结果，结合成像场景分析进行质量检测报警。
8.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求6中任一项所述的内窥镜成像质量检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的内窥镜成像质量检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310775488.4A CN116523907B (zh) | 2023-06-28 | 2023-06-28 | 内窥镜成像质量检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310775488.4A CN116523907B (zh) | 2023-06-28 | 2023-06-28 | 内窥镜成像质量检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116523907A CN116523907A (zh) | 2023-08-01 |
| CN116523907B true CN116523907B (zh) | 2023-10-31 |
Family
ID=87390519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310775488.4A Active CN116523907B (zh) | 2023-06-28 | 2023-06-28 | 内窥镜成像质量检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523907B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108135455A (zh) * | 2015-10-08 | 2018-06-08 | 奥林巴斯株式会社 | 内窥镜系统 |
| US11102381B1 (en) * | 2021-01-05 | 2021-08-24 | Board Of Regents, The University Of Texas System Clearcam Inc. | Methods, systems and controllers for facilitating cleaning of an imaging element of an imaging device |
| CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及系统 |
| CN114022547A (zh) * | 2021-09-15 | 2022-02-08 | 苏州中科华影健康科技有限公司 | 一种内窥镜图像检测方法、装置、设备及存储介质 |
| CN114332019A (zh) * | 2021-12-29 | 2022-04-12 | 小荷医疗器械(海南)有限公司 | 内窥镜图像检测辅助系统、方法、介质和电子设备 |
| CN114842000A (zh) * | 2022-07-01 | 2022-08-02 | 杭州同花顺数据开发有限公司 | 一种内窥镜图像质量评估方法和系统 |
| CN116091446A (zh) * | 2023-01-06 | 2023-05-09 | 山东大学 | 食管内窥镜图像的异常检测方法、系统、介质及设备 |
| CN116091432A (zh) * | 2022-12-30 | 2023-05-09 | 浙江华诺康科技有限公司 | 一种用于医疗内窥镜检查的质控方法、装置及计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5269921B2 (ja) * | 2011-01-24 | 2013-08-21 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの作動方法 |
-
2023
- 2023-06-28 CN CN202310775488.4A patent/CN116523907B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108135455A (zh) * | 2015-10-08 | 2018-06-08 | 奥林巴斯株式会社 | 内窥镜系统 |
| US11102381B1 (en) * | 2021-01-05 | 2021-08-24 | Board Of Regents, The University Of Texas System Clearcam Inc. | Methods, systems and controllers for facilitating cleaning of an imaging element of an imaging device |
| CN113592828A (zh) * | 2021-08-03 | 2021-11-02 | 南京市特种设备安全监督检验研究院 | 基于工业内窥镜的无损检测方法及系统 |
| CN114022547A (zh) * | 2021-09-15 | 2022-02-08 | 苏州中科华影健康科技有限公司 | 一种内窥镜图像检测方法、装置、设备及存储介质 |
| CN114332019A (zh) * | 2021-12-29 | 2022-04-12 | 小荷医疗器械(海南)有限公司 | 内窥镜图像检测辅助系统、方法、介质和电子设备 |
| CN114842000A (zh) * | 2022-07-01 | 2022-08-02 | 杭州同花顺数据开发有限公司 | 一种内窥镜图像质量评估方法和系统 |
| CN116091432A (zh) * | 2022-12-30 | 2023-05-09 | 浙江华诺康科技有限公司 | 一种用于医疗内窥镜检查的质控方法、装置及计算机设备 |
| CN116091446A (zh) * | 2023-01-06 | 2023-05-09 | 山东大学 | 食管内窥镜图像的异常检测方法、系统、介质及设备 |
Non-Patent Citations (2)
| Title |
|---|
| 利用图像不连续特性的溶解型镜头检测算法;张寅;宋永红;杨蕾;;计算机辅助设计与图形学学报(05);全文 * |
| 张寅 ; 宋永红 ; 杨蕾 ; .利用图像不连续特性的溶解型镜头检测算法.计算机辅助设计与图形学学报.2011,(05),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116523907A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4016451A1 (en) | Endoscope image processing method and apparatus, and electronic device and storage medium | |
| US20200129042A1 (en) | Information processing apparatus, control method, and program | |
| US8798344B2 (en) | Image processing apparatus, image processing method and computer-readable recording device | |
| CN107431784A (zh) | 在解剖手术期间检测烟的系统和方法 | |
| US8994801B2 (en) | Image processing apparatus | |
| JP5599687B2 (ja) | 内視鏡ナビゲーションシステムの作動方法、及び、内視鏡ナビゲーションシステム | |
| WO2018216618A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| US20130064436A1 (en) | Medical image processing apparatus and method of operating medical image processing apparatus | |
| JP2018513754A (ja) | 解剖学的手術中の手術ガーゼの検出の方法及びそのためのシステム | |
| CN113344927A (zh) | 基于深度学习的图像识别方法、装置、服务器及存储介质 | |
| CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质 | |
| CN113823400A (zh) | 肠道退镜速度监测方法、装置及计算机可读存储介质 | |
| CN109767828B (zh) | 交互式在线诊断云平台及其运行方法和可读存储介质 | |
| CN116523907B (zh) | 内窥镜成像质量检测方法、装置、设备和存储介质 | |
| CN114531549A (zh) | 图像采集方法、电子设备和计算机可读存储介质 | |
| CN116030042B (zh) | 一种针对医生目诊的诊断装置、方法、设备及存储介质 | |
| CN113935993B (zh) | 肠镜图像识别系统、终端设备及存储介质 | |
| CN113706536B (zh) | 滑镜风险预警方法、装置及计算机可读存储介质 | |
| CN112022067B (zh) | 图像处理方法、电子设备及可读存储介质 | |
| EP4071708A1 (en) | Methods and systems for localised smoke removal and color restoration of real-time video | |
| CN111767829B (zh) | 一种活体检测方法、装置、系统及存储介质 | |
| CN110084277B (zh) | 一种训练集的拆分方法及装置 | |
| CN113744151A (zh) | 待诊图像处理方法、装置、设备及存储介质 | |
| CN211125047U (zh) | 眼诊装置 | |
| CN113850717A (zh) | 一种图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |