CN116596919B - 内镜图像质控方法、装置、系统、计算机设备和存储介质 - Google Patents
内镜图像质控方法、装置、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116596919B CN116596919B CN202310846858.9A CN202310846858A CN116596919B CN 116596919 B CN116596919 B CN 116596919B CN 202310846858 A CN202310846858 A CN 202310846858A CN 116596919 B CN116596919 B CN 116596919B
- Authority
- CN
- China
- Prior art keywords
- quality control
- image
- control rule
- endoscope
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000002452 interceptive effect Effects 0.000 claims abstract description 41
- 230000003993 interaction Effects 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 34
- 230000001960 triggered effect Effects 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001839 endoscopy Methods 0.000 claims description 10
- 238000012797 qualification Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 241000699666 Mus <mouse, genus> Species 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本申请涉及一种内镜图像质控方法、装置、系统、计算机设备和存储介质，包括：获取内镜图像中目标部位的标识、内镜图像的图像属性和采集过程中的采集信号；在交互界面中显示目标部位的标识，获取用户在交互界面基于标识触发的交互事件；获取用户在交互界面中输入的不同内镜部位的多媒体信息和预设采集信号；根据交互事件、多媒体信息和预设采集信号生成相应质控规则；判断目标部位的相对位置关系是否符合交互事件的质控规则；判断内镜图像的图像属性是否符合多媒体信息的质控规则；判断采集信号是否符合预设采集信号的质控规则；根据各判断确定内镜图像的质控结果，提高内镜图像质控方法的泛化能力，解决内镜图像质控方法适用性差的问题。
Description
技术领域
本申请涉及医学图像处理技术领域，特别是涉及一种内镜图像质控方法、装置、系统、计算机设备和存储介质。
背景技术
内镜是一种包括图像传感器的医疗检查设备，利用内镜可以观测到X射线不能显示的病变，对医师临床诊断具有较大价值。内镜按照不同的使用部位可分为耳鼻喉内镜、尿道膀胱镜、腹腔镜、胃镜等。同时，内镜检查也是早期肿瘤筛查最重要的方式，但存在操作不规范，观察不全面等问题，导致早癌筛查率一直处于较低的水平，因此需要对内镜检查进行质控评分。
相关技术中，通过深度学习方法训练得到内镜检查辅助系统，通过内镜检查辅助系统对解剖部位进行完整度和合格判定。这种质控方法很大程度上依赖于训练数据，由训练数据训练得到的内镜检查辅助系统无法同时适用于不同的内镜场景，存在质控方法适用性差的问题。
针对相关技术中存在内镜图像质控方法适用性差的问题，目前还没有提出有效的解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种能够适用于多种内镜场景的内镜图像质控方法、装置、系统、计算机设备和存储介质。
第一方面，本申请提供了一种内镜图像质控方法，所述方法包括：
获取内镜图像中目标部位的标识、所述内镜图像的图像属性和采集所述内镜图像的过程中生成的采集信号；
在交互界面中显示所述目标部位的标识，并获取用户在所述交互界面基于所述标识触发的交互事件；
获取用户在所述交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号；
根据所述交互事件、所述多媒体信息和所述预设采集信号，生成相应质控规则；
判断所述目标部位的相对位置关系是否符合所述交互事件的质控规则；
判断所述内镜图像的图像属性是否符合所述多媒体信息的质控规则；
判断采集所述内镜图像的过程中生成的采集信号是否符合所述预设采集信号的质控规则；
根据各判断确定所述内镜图像的质控结果。
在其中一个实施例中，根据所述交互事件生成相应质控规则，包括：
根据用户拖拽所述标识生成的交互信号，得到所述目标部位之间的预设相对位置，根据所述预设相对位置生成第一质控规则。
在其中一个实施例中，判断所述目标部位是否满足所述第一质控规则，还包括：
判断所述目标部位是否满足第一质控规则，其中，第一质控规则用于指示所述目标部位的预设相对位置；
在判断到所述目标部位之间的相对位置与所述第一质控规则中的预设相对位置一致的情况下，确定所述内镜图像合格。
在其中一个实施例中，根据所述多媒体信息生成相应质控规则，包括：
获取所述多媒体信息包含的语义信息，所述语义信息包括指示所述内镜图像整体的图像属性的信息，以及指示所述内镜图像中目标部位的图像属性的信息；
根据所述语义信息得到预设图像属性，根据所述预设图像属性生成第二质控规则。
在其中一个实施例中，判断所述内镜图像的图像属性是否符合所述多媒体信息的质控规则，包括：
判断所述图像属性是否满足所述第二质控规则，其中，第二质控规则用于指示所述内镜图像的图像属性的预设指标；
根据判断的结果，得到满足所述第二质控规则的图像属性。
在其中一个实施例中，根据所述预设采集信号生成相应质控规则，判断所述采集信息是否满足所述质控规则，包括：
根据所述预设采集信号生成第三质控规则，其中，所述预设采集信号包括模拟所述内镜图像的采集过程时生成的模拟信号，所述第三质控规则用于指示所述内镜图像的预设采集方法；
判断所述采集信号中是否包括所述第三质控规则中的预设采集信号，在判断到所述采集信号包括所述预设采集信号的情况下，确定所述内镜图像的采集过程合格。
第二方面，本申请还提供了一种内镜图像质控装置，所述装置包括：
获取模块，用于获取内镜图像中目标部位的标识、所述内镜图像的图像属性和采集所述内镜图像的过程中生成的采集信号；
规则生成模块，用于在交互界面中显示所述目标部位的标识，并获取用户在所述交互界面基于所述标识触发的交互事件；获取用户在所述交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号；根据所述交互事件、所述多媒体信息和所述预设采集信号，生成相应质控规则；
判断模块，用于判断所述目标部位的相对位置关系是否符合所述交互事件的质控规则；判断所述内镜图像的图像属性是否符合所述多媒体信息的质控规则；判断采集所述内镜图像的过程中生成的采集信号是否符合所述预设采集信号的质控规则；根据各判断确定所述内镜图像的质控结果。
第三方面，本申请还提供了一种内镜图像质控系统，所述内镜图像质控系统包括：内镜检查设备和终端设备，所述内镜检查设备和所述终端设备连接；其中，
所述内镜检查设备，用于实现内镜检查并生成内镜图像；
所述终端设备，用于实现上述第一个方面所述的内镜图像质控方法的步骤。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的内镜图像质控方法的步骤。
第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一个方面所述的内镜图像质控方法的步骤。
上述内镜图像质控方法、装置、系统、计算机设备和存储介质，获取内镜图像中目标部位的标识、内镜图像的图像属性和采集内镜图像的过程中生成的采集信号；在交互界面中显示目标部位的标识，并获取用户在交互界面基于标识触发的交互事件；获取用户在交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号；根据交互事件、多媒体信息和预设采集信号，生成相应质控规则；判断目标部位的相对位置关系是否符合交互事件的质控规则；判断内镜图像的图像属性是否符合多媒体信息的质控规则；判断采集内镜图像的过程中生成的采集信号是否符合预设采集信号的质控规则；根据各判断确定内镜图像的质控结果。根据用户输入得到包括交互事件、多媒体信息和预设采集信号的多模态数据，基于多模态数据得到适用于多种内景场景、判断维度丰富的质控规则。质控规则的多个维度提高了内镜图像质量检测的准确性，且质控规则可以基于不同医师、不同内镜、不同患者的需求进行制定，提高了内镜图像质控方法的泛化能力，解决了内镜图像质控方法适用性差的问题。
附图说明
图1为一个实施例中内镜图像质控方法的流程示意图；
图2为一个实施例中内镜辅助检查方法的流程示意图；
图3为一个实施例中内镜图像质控装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种内镜图像质控方法的流程示意图，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤S101，获取内镜图像中目标部位的标识、内镜图像的图像属性和采集内镜图像的过程中生成的采集信号。
提取内镜图像的解剖标志部位，将解剖标志部位作为目标部位。内镜图像的图像属性包括内镜图像的亮度、清晰度等等图像的基本属性。采集信号包括内镜图像采集的过程中，用户控制鼠标、踏板、手柄等与终端连接的外部设备时生成的信号，包括通过外部设备控制检测的开始和结束、控制图像采集方式为主动采图等等。
步骤S102，在交互界面中显示目标部位的标识，并获取用户在交互界面基于标识触发的交互事件，获取用户在交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号。
目标部位的标识包括用于描述目标部位的图像、文字等元素。用户在交互界面基于标识触发的交互事件包括点击、拖拽标识等等。不同的内镜部位对应不同的多媒体信息和预设采集信号。其中，预设采集信号包括用户控制鼠标、踏板、手柄等与终端连接的外部设备时生成的信号。多媒体信息包括图像、文字、音频等等。可选地，用户可以通过交互界面中的文本框输入并展示多媒体信息。
步骤S103，根据交互事件、多媒体信息和预设采集信号，生成相应质控规则。可选地，根据交互事件得到用于指示目标部位的相对位置关系的质控规则，根据内镜图像的图像属性得到用于指示内镜图像的图像属性的质控规则，根据预设采集信号得到用于指示内镜图像采集过程的质控规则。生成的交互规则在用户界面上显示。
步骤S104，判断目标部位的相对位置关系是否符合交互事件的质控规则；判断内镜图像的图像属性是否符合多媒体信息的质控规则；判断采集内镜图像的过程中生成的采集信号是否符合预设采集信号的质控规则；根据各判断确定内镜图像的质控结果。
根据判断在交互界面上显示内镜图像的质控结果，质控结果包括确定内镜图像的目标部位的部位名称、合格度，内镜图像的图像属性的合格度以及确定内镜图像的采集信号的合格度等等。可选地，质控结果除了根据目标部位、图像属性和采集信号是否符合质控规则，得到内镜图像中目标部位的合格度，内镜图像的图像属性的合格度以及内镜图像的采集信号的合格度，还可以包括目标部位的部位名称、下一个内镜采集部位。确定内镜图像的目标部位的部位名称包括获取与内镜图像匹配的质控规则，根据匹配的质控规则对应的内镜部位，获取内镜图像中目标部位的部位名称。确定下一个内镜采集部位包括根据多媒体信息得到用于指示内镜部位采集顺序的质控规则，在确定当前内镜图像中目标部位的部位名称的情况下，基于指示内镜部位采集顺序的质控规则得到下一个内镜采集部位。
上述内镜图像质控方法中，根据用户输入得到包括交互事件、多媒体信息和预设采集信号的多模态数据，基于多模态数据得到适用于多种内景场景、判断维度丰富的质控规则。质控规则的多个维度提高了内镜图像质量检测的准确性，且质控规则可以基于不同医师、不同内镜、不同患者的需求进行制定。使用适用于多种内镜场景的多维度质控规则，对内镜图像和内镜图像的采集过程进行分析，得到内镜图像质控结果，提高了内镜图像质控方法的泛化能力，解决了内镜图像质控方法适用性差的问题。
在其中一个实施例中，根据交互事件生成相应质控规则，包括：根据用户拖拽标识生成的交互信号，得到目标部位之间的预设相对位置，根据预设相对位置生成第一质控规则。判断目标部位是否满足第一质控规则，包括：判断目标部位是否满足第一质控规则，其中，第一质控规则用于指示目标部位的预设相对位置；在判断到目标部位之间的相对位置与第一质控规则中的预设相对位置一致的情况下，确定内镜图像合格。
当内镜图像中存在包括多个目标部位时，输出目标部位的标识至交互界面。交互事件包括用户与目标部位的标识之间的交互，包括点击、拖拽目标部位的标识，实现对目标部位的标识所处位置的手动排列。根据交互结果确定目标部位之间的相对位置，得到预设相对位置。
可选地，将与目标部位对应的图像作为标识，输出至用户界面。根据用户拖拽得到的各目标部位图像的位置，读取多个目标部位之间的方位信息，根据方位信息得到预设相对位置。判断内镜图像中目标部位之间的方位关系，是否满足第一质控规则中的方位信息。在判断到满足第一质控规则的情况下，确定内镜图像合格。
在其中一个实施例中，根据多媒体信息生成相应质控规则，包括：获取多媒体信息包含的语义信息，语义信息包括指示内镜图像整体的图像属性的信息，以及指示内镜图像中目标部位的图像属性的信息；根据语义信息得到预设图像属性，根据预设图像属性生成第二质控规则。判断内镜图像的图像属性是否符合多媒体信息的质控规则，包括：判断图像属性是否满足第二质控规则，其中，第二质控规则用于指示内镜图像的图像属性的预设指标；根据判断的结果，得到满足第二质控规则的图像属性。
多媒体信息包括文本、音频、图像等信息。根据多媒体信息的语义信息中对内镜图像整体图像属性的要求以及内镜图像中目标部位图像属性的要求，建立第二质控规则。第二质控规则包括对整体图像属性的要求和目标部位图像属性的要求，可以更精准的对内镜图像的图像属性进行判断，从而得到质控的准确度。
可选地，当多媒体信息为文本时，根据文本得到对应的文字描述，如：内镜图像整体的亮度低于60，内镜图像中目标部位所在点位的清晰度低于50，等等。根据文字描述得建立第二质控规则，并判断内镜图像中的图像属性是否满足上述第二质控规则，若满足则判断内镜图像合格，若不满足则判断内镜图像不合格。
在其中一个实施例中，根据预设采集信号生成相应质控规则，判断采集信息是否满足质控规则，包括：根据预设采集信号生成第三质控规则，其中，预设采集信号包括模拟内镜图像的采集过程时生成的模拟信号，第三质控规则用于指示内镜图像的预设采集方法；判断采集信号中是否包括第三质控规则中的预设采集信号，在判断到采集信号包括预设采集信号的情况下，确定内镜图像的采集过程合格。
预设采集信号包括根据踏板、鼠标、手柄等与终端连接的外部设备生成的信号，预设采集信号可以用于控制内镜检测的开始时间和结束时间，还可以控制内镜图像采集的方法，如控制内镜图像主动采集的实现。
示例性地，手柄与终端连接，用户点击手柄按键A以得到手柄信号A，根据手柄信号A生成第三质控规则并输入到页面上，第三质控规则用于判断内镜图像的采集过程中是否出现了手柄信号A。基于第三质控规则进行判断时，若内镜图像的采集过程中出现手柄信号A，则判断内镜图像的采集过程合格，若内镜图像的采集过程中未出现手柄信号A，则判断内镜图像的采集过程不合格。
在一个实施例中，如图2所述，提供了一种内镜辅助检查方法的流程示意图。
步骤S201，获取输入信息。输入信息包括内镜图像和其他信号。其中，内镜图像通过内镜检查实时获取，其他信号为采集内镜图像过程中生成的采集信号，其他信号可以通过用户与踏板、鼠标等外部设备的交互输入至交互界面，用户与外部设备的交互包括踏板、鼠标的点击。
步骤S202，内容识别。建立适用于内镜图像内容识别的深度学习大模型，其中，深度学习大模型包括图像结构化大模型和图像属性提取大模型。图像结构化大模型适用于所有内镜场景，用于提取得到内镜图像中的结构化信息，如，通过图像结构化大模型实现内镜图像中解剖标志等目标部位的提取；图像属性提取大模型用于实现内镜图像的清晰度、亮度、噪声、颜色等图像属性的提取，其中，图像属性提取大模型根据提取得到图像属性的数值，输出对应于各图像属性的0-100区间内的分数。
步骤S203，跨模态交互。跨模态交互是通过拖拽、文本、语音、其他信号建立质控规则，并生成包含质控规则的规则界面。利用质控规则对步骤S202中提取的结构化信息和图像属性进行分析，得到质量控制所需要的信息。通过拖拽、文本、语音、其他信号等交互方式，得到该内镜每个需要采集图像特定点位的规则，作为辅助质控的条件。可选地，通过规则界面，用于可以手动调整各个规则之间的先后顺序，其中，通过规则的先后顺序，可以得到多个内镜图像的采集顺序。
具体的，跨模态交互通过拖拽建立质控规则，包括：图像结构化大模型以图像的形式输出目标部位至用户界面。用户对图像结构化大模型输出的目标部位的图像拖拽，实现目标部位相对位置的手动排列。根据拖拽得到的相对位置，建立第一质控规则，第一质控规则用于指示不同目标之间的相对位置规则。当步骤S202中提取的结构化信息满足相对位置规则，才判断该内镜图像合格。
跨模态交互通过文本和语音建立质控规则，包括：根据文本中的文字描述和语音中的语音描述建立第三质控规则。第三质控规则可以是：整体亮度低于60，某个特定点位清晰度低于50，其中，数值为图像属性提取大模型量化的输出分数，图像属性数值越大则该内镜图像越异常。可选地，通过文本和语音还可以获取多个质控规则之间的顺序信息，并根据顺序信息生成相应的质控规则。
跨模态交互中通过其他信号建立质控规则，包括：其他信号为踏板、鼠标点击生成的采集信号，其他信号用于控制检测的开始/结束，实现内镜图像的主动采图等，根据其他信号建立第三质控规则。
步骤S204，根据多模态规则对内镜图像判断。使用步骤S203建立得到的质控规则，对步骤S202中实时提取的信息进行判断，确定内镜图像的质控结果，如内镜图像所属的特定点位、内镜图像的合格度、与内镜图像对应的内镜检测步骤是否合理、下一个内镜检测位置等信息。具体地，确定内镜图像的质控结果包括：根据第一质控规则、第二质控规则和第三质控规则的判断结果，得到内镜图像的目标部位的合格度以及采集信号的合格度，其中，根据采集信号合格度确定对应的内镜检测步骤是否合理；获取与内镜图像信息匹配的质控规则，因为不同部位的内镜图像对应了不同的质控规则，所以可以根据匹配的质控规则所属的部位，得到内镜图像的目标部位的部位名称；根据与所述内镜图像匹配的质控规则之间的顺序，确定下一个内镜图像的采集部位。
步骤S205，内镜辅助质控信息输出。对步骤S204得出的信息进行显示，辅助医师操作。
通过本实施例的步骤S201至步骤S205，通过大模型对内镜图像内容进行提取，然后使用多模态质控规则对内镜图像内容进行分析，得到内镜检查中每个部位的完整度、合格度、解剖标志等信息，并且对操作进行引导、输出检测操作报告，以实现辅助质控目的。将内镜图像信息的提取和基于质控规则的判断相分离，仅更新质控规则即可适应不同内镜、不同环境、不同医师习惯之间的差异，质控方法简单且可用于任意内镜场景。基于跨模态数据建立质控规则，结合语音、文本、信号等多种数据建立用户所需的特定质控规则，实现千人千面的质控辅助系统。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的内镜图像质控方法的内镜图像质控装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个内镜图像质控装置实施例中的具体限定可以参见上文中对于内镜图像质控方法的限定，在此不再赘述。
在一个实施例中，如图3所示，提供了一种内镜图像质控装置，包括：获取模块、规则生成模块和判断模块，其中：
获取模块，用于获取内镜图像中目标部位的标识、内镜图像的图像属性和采集内镜图像的过程中生成的采集信号；
规则生成模块，用于在交互界面中显示目标部位的标识，并获取用户在交互界面基于标识触发的交互事件；获取用户在交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号；根据交互事件、多媒体信息和预设采集信号，生成相应质控规则；
判断模块，用于判断目标部位的相对位置关系是否符合交互事件的质控规则；判断内镜图像的图像属性是否符合多媒体信息的质控规则；判断采集内镜图像的过程中生成的采集信号是否符合预设采集信号的质控规则；根据各判断确定内镜图像的质控结果。
上述内镜图像质控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用于生成质控规则的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种内镜图像质控方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种内镜图像质控方法，其特征在于，所述方法包括：
获取内镜图像中目标部位的标识、所述内镜图像的图像属性和采集所述内镜图像的过程中生成的采集信号；
在交互界面中显示所述目标部位的标识，并获取用户在所述交互界面基于所述标识触发的交互事件；
获取用户在所述交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号；
根据所述交互事件、所述多媒体信息和所述预设采集信号，生成相应质控规则；
判断所述目标部位的相对位置关系是否符合所述交互事件的质控规则；
判断所述内镜图像的图像属性是否符合所述多媒体信息的质控规则；
判断采集所述内镜图像的过程中生成的采集信号是否符合所述预设采集信号的质控规则；
根据各判断确定所述内镜图像的质控结果；
其中，所述交互界面基于所述标识触发的交互事件包括标识的点击、拖拽；根据用户拖拽所述标识生成的交互信号，得到所述目标部位之间的预设相对位置，根据所述预设相对位置生成第一质控规则；根据多媒体信息包含的语义信息得到预设图像属性，根据所述预设图像属性生成所述多媒体信息的第二质控规则；根据所述预设采集信号生成相应质控规则，判断采集所述内镜图像的过程中生成的采集信号是否满足所述质控规则，包括：根据所述预设采集信号生成第三质控规则，其中，所述预设采集信号包括模拟所述内镜图像的采集过程时生成的模拟信号，所述第三质控规则用于指示所述内镜图像的预设采集方法；判断所述采集信号中是否包括所述第三质控规则中的预设采集信号，在判断到所述采集信号包括所述预设采集信号的情况下，确定所述内镜图像的采集过程合格。
2.根据权利要求1所述的内镜图像质控方法，其特征在于，判断所述目标部位是否满足所述第一质控规则，还包括：
判断所述目标部位是否满足第一质控规则，其中，第一质控规则用于指示所述目标部位的预设相对位置；
在判断到所述目标部位之间的相对位置与所述第一质控规则中的预设相对位置一致的情况下，确定所述内镜图像合格。
3.根据权利要求1所述的内镜图像质控方法，其特征在于，所述语义信息包括指示所述内镜图像整体的图像属性的信息，以及指示所述内镜图像中目标部位的图像属性的信息。
4.根据权利要求3所述的内镜图像质控方法，其特征在于，判断所述内镜图像的图像属性是否符合所述多媒体信息的质控规则，包括：
判断所述图像属性是否满足所述第二质控规则，其中，第二质控规则用于指示所述内镜图像的图像属性的预设指标；
根据判断的结果，得到满足所述第二质控规则的图像属性。
5.一种内镜图像质控装置，其特征在于，包括：获取模块、规则生成模块和判断模块，其中：
所述获取模块用于获取内镜图像中目标部位的标识、所述内镜图像的图像属性和采集所述内镜图像的过程中生成的采集信号；
所述规则生成模块用于在交互界面中显示所述目标部位的标识，并获取用户在所述交互界面基于所述标识触发的交互事件；获取用户在所述交互界面中输入的对应不同内镜部位的多媒体信息和预设采集信号；根据所述交互事件、所述多媒体信息和所述预设采集信号，生成相应质控规则；
所述判断模块用于判断所述目标部位的相对位置关系是否符合所述交互事件的质控规则；判断所述内镜图像的图像属性是否符合所述多媒体信息的质控规则；判断采集所述内镜图像的过程中生成的采集信号是否符合所述预设采集信号的质控规则；根据各判断确定所述内镜图像的质控结果；
其中，所述交互界面基于所述标识触发的交互事件包括标识的点击、拖拽；根据用户拖拽所述标识生成的交互信号，得到所述目标部位之间的预设相对位置，根据所述预设相对位置生成第一质控规则；根据多媒体信息包含的语义信息得到预设图像属性，根据所述预设图像属性生成所述多媒体信息的第二质控规则；根据所述预设采集信号生成相应质控规则，判断采集所述内镜图像的过程中生成的采集信号是否满足所述质控规则，包括：根据所述预设采集信号生成第三质控规则，其中，所述预设采集信号包括模拟所述内镜图像的采集过程时生成的模拟信号，所述第三质控规则用于指示所述内镜图像的预设采集方法；判断所述采集信号中是否包括所述第三质控规则中的预设采集信号，在判断到所述采集信号包括所述预设采集信号的情况下，确定所述内镜图像的采集过程合格。
6.一种内镜图像质控系统，其特征在于，所述内镜图像质控系统包括：内镜检查设备和终端设备，所述内镜检查设备和所述终端设备连接；其中，
所述内镜检查设备，用于实现内镜检查并生成内镜图像；
所述终端设备，用于实现权利要求1至权利要求4中任一项所述的内镜图像质控方法的步骤。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求4中任一项所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求4中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310846858.9A CN116596919B (zh) | 2023-07-11 | 2023-07-11 | 内镜图像质控方法、装置、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310846858.9A CN116596919B (zh) | 2023-07-11 | 2023-07-11 | 内镜图像质控方法、装置、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116596919A CN116596919A (zh) | 2023-08-15 |
| CN116596919B true CN116596919B (zh) | 2023-11-07 |
Family
ID=87611985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310846858.9A Active CN116596919B (zh) | 2023-07-11 | 2023-07-11 | 内镜图像质控方法、装置、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116596919B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101522107A (zh) * | 2006-10-10 | 2009-09-02 | 株式会社日立医药 | 医用图像诊断装置、医用图像测量方法、医用图像测量程序 |
| KR20200016694A (ko) * | 2018-08-07 | 2020-02-17 | 서울대학교산학협력단 | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 |
| CN111640111A (zh) * | 2020-06-10 | 2020-09-08 | 詹俊鲲 | 医学图像处理方法、装置及存储介质 |
| CN114259197A (zh) * | 2022-03-03 | 2022-04-01 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜质控方法及系统 |
| CN114446435A (zh) * | 2022-02-11 | 2022-05-06 | 武汉大学 | 一种肠镜报告生成方法和装置 |
| CN114495241A (zh) * | 2022-02-16 | 2022-05-13 | 平安科技（深圳）有限公司 | 一种图像识别方法及装置、电子设备、存储介质 |
| CN115526842A (zh) * | 2022-09-14 | 2022-12-27 | 浙江华诺康科技有限公司 | 鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质 |
| WO2023283980A1 (zh) * | 2021-07-14 | 2023-01-19 | 江苏宏创信息科技有限公司 | 一种应用于临床影像的人工智能医学影像质控方法 |
| CN115670347A (zh) * | 2022-09-22 | 2023-02-03 | 中国科学院苏州生物医学工程技术研究所 | 移动式食管内镜图像采集与质控系统 |
| WO2023030370A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
| CN115917664A (zh) * | 2020-06-09 | 2023-04-04 | 皇家飞利浦有限公司 | 用于基于质量度量的相互作用来分析医学图像数据的系统和方法 |
| CN115984532A (zh) * | 2022-12-28 | 2023-04-18 | 芜湖圣美孚科技有限公司 | 一种基于机器视觉的舌面图像成像方法 |
| CN116016815A (zh) * | 2022-12-08 | 2023-04-25 | 浙江大华技术股份有限公司 | 视频质控方法、视频质控装置以及计算机可读存储介质 |
-
2023
- 2023-07-11 CN CN202310846858.9A patent/CN116596919B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101522107A (zh) * | 2006-10-10 | 2009-09-02 | 株式会社日立医药 | 医用图像诊断装置、医用图像测量方法、医用图像测量程序 |
| KR20200016694A (ko) * | 2018-08-07 | 2020-02-17 | 서울대학교산학협력단 | 최소 침습 수술에서의 내시경 영상 질 평가 및 자동 추출 시스템과, 이를 이용한 내시경 영상 질 평가 및 자동 추출 방법 |
| CN115917664A (zh) * | 2020-06-09 | 2023-04-04 | 皇家飞利浦有限公司 | 用于基于质量度量的相互作用来分析医学图像数据的系统和方法 |
| CN111640111A (zh) * | 2020-06-10 | 2020-09-08 | 詹俊鲲 | 医学图像处理方法、装置及存储介质 |
| WO2023283980A1 (zh) * | 2021-07-14 | 2023-01-19 | 江苏宏创信息科技有限公司 | 一种应用于临床影像的人工智能医学影像质控方法 |
| WO2023030370A1 (zh) * | 2021-09-06 | 2023-03-09 | 北京字节跳动网络技术有限公司 | 内窥镜图像检测方法、装置、存储介质及电子设备 |
| CN114446435A (zh) * | 2022-02-11 | 2022-05-06 | 武汉大学 | 一种肠镜报告生成方法和装置 |
| CN114495241A (zh) * | 2022-02-16 | 2022-05-13 | 平安科技（深圳）有限公司 | 一种图像识别方法及装置、电子设备、存储介质 |
| CN114259197A (zh) * | 2022-03-03 | 2022-04-01 | 深圳市资福医疗技术有限公司 | 一种胶囊内窥镜质控方法及系统 |
| CN115526842A (zh) * | 2022-09-14 | 2022-12-27 | 浙江华诺康科技有限公司 | 鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质 |
| CN115670347A (zh) * | 2022-09-22 | 2023-02-03 | 中国科学院苏州生物医学工程技术研究所 | 移动式食管内镜图像采集与质控系统 |
| CN116016815A (zh) * | 2022-12-08 | 2023-04-25 | 浙江大华技术股份有限公司 | 视频质控方法、视频质控装置以及计算机可读存储介质 |
| CN115984532A (zh) * | 2022-12-28 | 2023-04-18 | 芜湖圣美孚科技有限公司 | 一种基于机器视觉的舌面图像成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| Fidel Alfaro-Almagro .Image processing and Quality Control for the first 10,000 brain imaging datasets from UK Biobank.《NeuroImage》.2017,第400–424页. * |
| 基于机器学习的胸痛辅助诊断关键技术研究;马壮;《知网》;第2022年卷(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116596919A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109065110B (zh) | 一种基于深度学习方法的自动生成医学影像诊断报告的方法 | |
| US9805469B2 (en) | Marking and tracking an area of interest during endoscopy | |
| KR102014377B1 (ko) | 학습 기반 수술동작 인식 방법 및 장치 | |
| US20210224546A1 (en) | Image analysis method, microscope video stream processing method, and related apparatus | |
| US8625867B2 (en) | Medical image display apparatus, method, and program | |
| Muhammad et al. | Efficient visual attention driven framework for key frames extraction from hysteroscopy videos | |
| US20120176408A1 (en) | Image interpretation report generation apparatus, method and program | |
| Muhammad et al. | Visual saliency models for summarization of diagnostic hysteroscopy videos in healthcare systems | |
| Raffan et al. | Canine neuroanatomy: Development of a 3D reconstruction and interactive application for undergraduate veterinary education | |
| CN111091559A (zh) | 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 | |
| CN115830017B (zh) | 基于图文多模态融合的肿瘤检测系统、方法、设备及介质 | |
| CN107633531A (zh) | 图像处理装置、图像处理方法以及计算机可读介质 | |
| WO2020168698A1 (zh) | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 | |
| KR20200131737A (ko) | 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치 | |
| CN113197665A (zh) | 一种基于虚拟现实的微创外科手术模拟方法、系统 | |
| CN111584025B (zh) | 影像报告的生成方法、装置和存储介质 | |
| CN111383328A (zh) | 一种面向乳腺癌病灶的3d可视化方法及系统 | |
| CN109147927B (zh) | 一种人机交互方法、装置、设备及介质 | |
| Kolbinger et al. | Anatomy segmentation in laparoscopic surgery: comparison of machine learning and human expertise–an experimental study | |
| CN112863699B (zh) | 一种基于移动端的esd术前讨论系统 | |
| CN116596919B (zh) | 内镜图像质控方法、装置、系统、计算机设备和存储介质 | |
| US20230335261A1 (en) | Combining natural language understanding and image segmentation to intelligently populate text reports | |
| CN112420150A (zh) | 医学影像报告的处理方法、装置、存储介质及电子设备 | |
| CN114242197B (zh) | 一种结构化报告处理方法、装置及计算机可读存储介质 | |
| Liang et al. | Refining a region based attention model using eye tracking data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |