CN117372415A - 喉镜图像识别方法、装置、计算机设备及存储介质 - Google Patents
喉镜图像识别方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117372415A CN117372415A CN202311499066.5A CN202311499066A CN117372415A CN 117372415 A CN117372415 A CN 117372415A CN 202311499066 A CN202311499066 A CN 202311499066A CN 117372415 A CN117372415 A CN 117372415A
- Authority
- CN
- China
- Prior art keywords
- image
- vocal cord
- information
- determining
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 210000001260 vocal cord Anatomy 0.000 claims abstract description 336
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 25
- 201000011510 cancer Diseases 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000013145 classification model Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Abstract
本发明涉及图像处理技术领域，公开了喉镜图像识别方法、装置、计算机设备及存储介质，本发明将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息；基于声带位置信息，从目标图像中裁剪得到声带图像；基于声带图像，确定目标图像对应的声带特征信息；基于声带置信度信息和声带特征信息，确定目标图像的类型。如此，可以从目标图像中提取出声带图像，并根据声带图像的声带置信度信息和声带特征信息，确定目标图像的类型，从而确定目标图像是否是声带癌图像，提高喉镜图像检测的准确性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及喉镜图像识别方法、装置、计算机设备及存储介质。
背景技术
喉镜图像的自动分析和识别，可以实现对声带癌等疾病的图像的自动识别和分类，具有重要的临床应用价值和研究意义。现有技术中，通常通过阈值分割或颜色聚类等方法，将喉镜图像中的异常区域分割出来，然后使用形状分析或其他方法进一步对异常区域分析以检测是否存在声带癌。然而这种方法容易受到光照和图像质量的影响，自适应性不强，可能导致误检或漏检。
发明内容
有鉴于此，本发明提供了一种喉镜图像识别方法、装置、计算机设备及存储介质，以解决对喉镜图像检测的准确性不高的问题。
第一方面，本发明提供了一种喉镜图像识别方法，该方法包括：
将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息；
基于声带位置信息，从目标图像中裁剪得到声带图像；
基于声带图像，确定目标图像对应的声带特征信息；
基于声带置信度信息和声带特征信息，确定目标图像的类型。
如此，可以从目标图像中提取出声带图像，并根据声带图像的声带置信度信息和声带特征信息，确定目标图像的类型，从而确定目标图像是否是声带癌图像，提高喉镜图像检测的准确性。
在一种可选的实施方式中，基于声带位置信息，从目标图像中裁剪得到声带图像，包括：
基于声带位置信息，确定声带位置的合格值；
当合格值在预设范围内时，按照声带位置信息裁剪目标图像，得到初始声带图像；
为初始声带图像填充预设像素值，以将初始声带图像填充为正方形，得到声带图像。
如此，可以从目标图像中裁剪出合格的声带图像，避免从声带检测模型中输出的声带位置信息对应的图像位置不满足声带图像的要求，提高了声带图像检测的准确性，从而提高喉镜图像检测的准确性。
在一种可选的实施方式中，基于声带图像，确定目标图像对应的声带特征信息，包括：
将声带图像输入附着物分类模型，得到附着程度信息；
将声带图像输入形变分割模型，得到声带图像对应的形变轮廓图像；
基于形变轮廓图像，确定形变程度信息；
基于形变轮廓图像，确定纹理粗糙度信息。
如此，可以从声带图像中确定目标图像的附着程度信息、形变程度信息和纹理粗糙度信息这些声带特征信息，从多个方面对声带图像进行评价，提高喉镜图像检测的准确性。
在一种可选的实施方式中，基于形变轮廓图像，确定形变程度信息，包括：
确定形变轮廓图像对应的轮廓点集和轮廓点集中包含的凸包点集；
基于轮廓点集和凸包点集，确定形变面积和凸包面积；
基于形变面积和凸包面积，确定形变程度信息。
如此，可以根据形变轮廓图像确定声带图像中形变区域的面积，从而确定声带的形变程度信息。
在一种可选的实施方式中，基于形变轮廓图像，确定纹理粗糙度信息，包括：
基于形变轮廓图像，从声带图像中裁剪出形变图像；
按照预设灰度级，将形变图像灰度化，得到形变图像的灰度数据；
基于灰度数据，确定纹理粗糙度信息。
在一种可选的实施方式中，基于灰度数据，确定纹理粗糙度信息，包括：
计算灰度数据的共生矩阵，得到灰度数据对应的灰度共生数据；
分别将灰度共生数据中每个数据与所有数据之和相除，得到每个数据的概率值；
基于每个数据的概率值，确定纹理粗糙度信息。
在一种可选的实施方式中，基于声带置信度信息和声带特征信息，确定目标图像的类型，包括：
基于拟合得到的权重系数，对声带置信度信息和声带特征信息进行加权计算，得到目标图像的分类信息；
当分类信息大于预设阈值时，确定目标图像的类型为癌症图像；和/或，当分类信息小于等于预设阈值时，确定目标图像的类型为非癌症图像。
第二方面，本发明提供了一种喉镜图像识别装置，该装置包括：
声带检测模块，用于将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息；
声带图像确定模块，用于基于声带位置信息，从目标图像中裁剪得到声带图像；
声带特征信息确定模块，用于基于声带图像，确定目标图像对应的声带特征信息；
类型确定模块，用于基于声带置信度信息和声带特征信息，确定目标图像的类型。
在一种可选的实施方式中，声带图像确定模块，包括：
合格值确定单元，用于基于声带位置信息，确定声带位置的合格值；
初始声带图像确定单元，用于当合格值在预设范围内时，按照声带位置信息裁剪目标图像，得到初始声带图像；
声带图像确定单元，用于为初始声带图像填充预设像素值，以将初始声带图像填充为正方形，得到声带图像。
在一种可选的实施方式中，声带特征信息确定模块，包括：
附着程度信息确定单元，用于将声带图像输入附着物分类模型，得到附着程度信息；
形变轮廓图像确定单元，用于将声带图像输入形变分割模型，得到声带图像对应的形变轮廓图像；
形变程度信息确定单元，用于基于形变轮廓图像，确定形变程度信息；
纹理粗糙度信息确定单元，用于基于形变轮廓图像，确定纹理粗糙度信息。
在一种可选的实施方式中，形变程度信息确定单元，包括：
凸包点集确定子单元，用于确定形变轮廓图像对应的轮廓点集和轮廓点集中包含的凸包点集；
面积确定子单元，用于基于轮廓点集和凸包点集，确定形变面积和凸包面积；
形变程度信息确子单元，用于基于形变面积和凸包面积，确定形变程度信息。
在一种可选的实施方式中，纹理粗糙度信息确定单元，包括：
形变图像确定子单元，用于基于形变轮廓图像，从声带图像中裁剪出形变图像；
灰度数据确定子单元，用于按照预设灰度级，将形变图像灰度化，得到形变图像的灰度数据；
纹理粗糙度信息确定子单元，用于基于灰度数据，确定纹理粗糙度信息。
在一种可选的实施方式中，纹理粗糙度信息确定子单元，包括：
灰度共生数据确定子模块，用于计算灰度数据的共生矩阵，得到灰度数据对应的灰度共生数据；
概率值确定子模块，用于分别将灰度共生数据中每个数据与所有数据之和相除，得到每个数据的概率值；
确定纹理粗糙度信息确定子模块，用于基于每个数据的概率值，确定纹理粗糙度信息。
在一种可选的实施方式中，类型确定模块，包括：
分类信息确定单元，用于基于拟合得到的权重系数，对声带置信度信息和声带特征信息进行加权计算，得到目标图像的分类信息；
类型确定单元，用于当分类信息大于预设阈值时，确定目标图像的类型为癌症图像；和/或，当分类信息小于等于预设阈值时，确定目标图像的类型为非癌症图像。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的喉镜图像检测方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的喉镜图像检测方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的喉镜图像检测方法的流程示意图；
图2是根据本发明实施例的另一喉镜图像检测方法的流程示意图；
图3是根据本发明实施例的又一喉镜图像检测方法的流程示意图；
图4是根据本发明实施例的再一喉镜图像检测方法的流程示意图；
图5是根据本发明实施例的喉镜图像检测装置的结构框图；
图6是根据本发明实施例的另一喉镜图像检测装置的结构框图；
图7是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，通常采用阈值分割或者颜色聚类的方法将喉镜图像中的异常区域分割出来，然后进一步对异常区域分析检测，以确定喉镜图像是否是声带癌图像。阈值分割是通过设定不同的特征阈值，将图像中像素点分为具有不同灰度级的目标区域和背景区域的若干类，对物体与背景有较强对比的图像有较好的分割效果；颜色聚类是将图像中像素点按照颜色值的相似度进行分类，根据分类结果对图像进行分割。阈值分割和颜色聚类，都依赖于图像中像素点的像素值，一旦在喉镜图像拍摄时光照强度发生变化，或者喉镜图像的成像质量不佳，由阈值分割或者颜色聚类分割得到的异常区域准确度就会降低，会出现漏检或者误检的情况。
基于此，本发明实施例提供一种喉镜图像检测方法，通过神经网络模型，来对喉镜图像做相应的处理操作，避免对图像中像素点的像素值的依赖，提高喉镜图像检测的准确性。具体的，该方法将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息；基于声带位置信息，从目标图像中裁剪得到声带图像；基于声带图像，确定目标图像对应的声带特征信息；基于声带置信度信息和声带特征信息，确定目标图像的类型。如此，可以从目标图像中提取出声带图像，并根据声带图像的声带置信度信息和声带特征信息，确定目标图像的类型，从而确定目标图像是否是声带癌图像，提高喉镜图像检测的准确性。
根据本发明实施例，提供了一种喉镜图像检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种喉镜图像检测方法，可用于上述喉镜图像等，图1是根据本发明实施例的喉镜图像检测方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息。
本发明实施例中，目标图像为获取到的喉镜图像。声带检测模型是预先对机器学习或者神经网络模型进行训练得到的模型，将目标图像输入声带检测模型，就能够得到目标图像对应的声带位置信息和声带置信度信息。其中，声带位置信息为表示目标图像中位置的坐标信息，通常可以为目标图像中声带所在矩形的对角两个点的坐标；声带置信度信息为表明该声带位置信息可信度的信息，声带置信度信息的值越大，表明该声带位置信息越可信，该声带位置信息对应的图像区域中含有声带的概率越大，声带置信度信息的值越小，表明该声带位置信息越不可信，该声带位置信息对应的图像区域中含有声带的概率越小。
在一种可选的实施方式中，声带检测模型可以是YOLOv8模型，将用矩形框标注声带位置的喉镜样本图像输入其中，以完成对其的训练。
步骤S102，基于声带位置信息，从目标图像中裁剪得到声带图像。
本发明实施例中，声带位置信息能够在目标图像上唯一确定一个矩形框，将该矩形框从目标图像中裁剪出来，作为声带图像。
步骤S103，基于声带图像，确定目标图像对应的声带特征信息。
本发明实施例中，由于声带图像是基于目标图像中的声带进行标定得到的，那么声带图像中的主要信息内容就是声带的相关图像信息，对声带图像进行相关的操作处理，就能够提取并得到其中包含的声带特征信息，也就是该目标图像对应的声带特征信息。声带特征信息能够表征其对应的声带在各方面，例如是否含有附着物、是否产生病变等的特征，从多个角度对声带进行评价。
步骤S104，基于声带置信度信息和声带特征信息，确定目标图像的类型。
本发明实施例中，基于声带置信度信息，可以判断目标图像中截取的声带图像的可信度，也就是判断目标图像中声带的可信度；基于声带特征信息，可以对目标图像中包含的声带从多方面多角度进行评价。那么，基于声带置信度信息和声带特征信息，就可以准确判断目标图像中声带的情况，即目标图像中声带是否产生病变、声带是否存在癌症，从而确定目标图像的类型为声带癌图像或者非声带癌图像。
本实施例提供的喉镜图像检测方法，通过从目标图像中提取出声带图像，并根据声带图像的声带置信度信息和声带特征信息，确定目标图像的类型，从而确定目标图像是否是声带癌图像，提高喉镜图像检测的准确性。
在本实施例中提供了一种喉镜图像检测方法，可用于上述喉镜图像等，图2是根据本发明实施例的另一喉镜图像检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息。详细请参见图1所示实施例的步骤S101，在此不再赘述。
步骤S202，基于声带位置信息，从目标图像中裁剪得到声带图像。
具体的，步骤S202包括：
步骤S2021，基于声带位置信息，确定声带位置的合格值。
本发明实施例中，由于声带位置信息是声带所在矩形的对角两个点的坐标，那么根据声带位置信息就能够确定出声带所在矩形的长和宽。假设声带所在矩形的对角的两个点的坐标分别为(x1,y1)和(x2,y2)，那么声带所在矩形的长h＝max(|x2-x1|,|y2-y1|)，声带所在矩形的宽w＝min(|x2-x1|,|y2-y1|)。基于矩形的长和宽就能够计算得到声带位置的合格值，具体可以入下公式(1)所示：
其中，v为声带位置的合格值，h为声带所在矩形的长，w为声带所在矩形的宽。
步骤S2022，当合格值在预设范围内时，按照声带位置信息裁剪目标图像，得到初始声带图像。
本发明实施例中，当合格值在预设范围内时，表明该声带所在的矩形中框定到了合格的、满足要求的声带，此时可以按照声带位置信息裁剪目标图像，也就是按照声带位置信息标定的矩形框裁剪目标图像，得到初始声带图像。
在一种可选的实施方式中，该预设范围可以是(0,0.6)的区间。
步骤S2023，为初始声带图像填充预设像素值，以将初始声带图像填充为正方形，得到声带图像。
本发明实施例中，由于初始声带图像是基于目标图像裁剪得到的矩形图像，不同的目标图像，裁剪得到的初始声带图像具有不同的长和宽，为了便于对其做进一步处理与特征提取，为初始声带图像填充预设像素值，将其从矩形填充为正方形，得到声带图像。
在一种可选的实施方式中，预设像素值可以为(0,0,0)，其对应的颜色为黑色，也就是对初始声带图像进行补黑边操作。
在一种可选的实施方式中，可以对初始声带图像的宽一侧进行补黑边操作，将宽补至与长一样长，形成正方形，得到声带图像。
在一种可选的实施方式中，为了进一步方便后续对声带图像的处理，可以对初始声带图像的长侧和短侧都进行补黑边操作，将长和宽均补至预设长度，从而实现不同目标图像对应的声带图像的尺寸的统一。可选的，由于初始声带图像是从目标图像中截取出来的，其长和宽必然不会超过目标图像的长和宽，那么可以将目标图像的长作为预设长度，将初始声带图像的尺寸补至目标图像的长对应的正方形的大小，得到声带图像。通常情况下，目标图像为正方形，那么在此种情况下，也就是将初始声带图像补至与目标图像大小一致，得到声带图像。
通过上述方法，可以从目标图像中裁剪出合格的声带图像，避免从声带检测模型中输出的声带位置信息对应的图像位置不满足声带图像的要求，提高了声带图像检测的准确性，从而提高喉镜图像检测的准确性。
步骤S203，基于声带图像，确定目标图像对应的声带特征信息。详细请参见图1所示实施例的步骤S103，在此不再赘述。
步骤S204，基于声带置信度信息和声带特征信息，确定目标图像的类型。详细请参见图1所示实施例的步骤S104，在此不再赘述。
本实施例提供的喉镜图像检测方法，通过声带位置信息计算声带位置的合格值，当合格值在预设范围内时，按照声带位置信息裁剪目标图像，得到初始声带图像，并为初始声带图像补黑边得到声带图像，从而从目标图像中裁剪出合格的声带图像，避免从声带检测模型中输出的声带位置信息对应的图像位置不满足声带图像的要求，提高了声带图像检测的准确性，从而提高喉镜图像检测的准确性。
在本实施例中提供了一种喉镜图像检测方法，可用于上述喉镜图像等，图3是根据本发明实施例的又一喉镜图像检测方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息。详细请参见图1所示实施例的步骤S101，在此不再赘述。
步骤S302，基于声带位置信息，从目标图像中裁剪得到声带图像。详细请参见图1所示实施例的步骤S102，在此不再赘述。
步骤S303，基于声带图像，确定目标图像对应的声带特征信息。
本发明实施例中，声带特征信息包括附着程度信息、形变程度信息和纹理粗糙度信息。
具体的，步骤S303包括：
步骤S3031，将声带图像输入附着物分类模型，得到附着程度信息。
本发明实施例中，附着程度信息表征声带上是否存在附着物，以及附着物的附着程度。附着物分类模型是预先对机器学习或者神经网络模型进行训练得到的模型，将声带图像输入附着物分类模型，就能够得到附着程度信息。
在一种可选的实施方式中，在对附着物分类模型进行训练时，预先对喉镜样本图像进行分类并标注，将其分为有附着物和无附着物两类，对有附着物类别下的喉镜样本图像进一步进行标注，标注其包含的附着物，例如附白苔、附出血等。基于此，对附着物分类模型进行训练，那么将声带图像输入附着物分类模型，就能够得到附着程度信息，以表征其中附着物的附着情况。举例而言，当附着程度信息为0时，表明声带图像中没有附着物。可选的，附着物分类模型可以是基于RESNET50模型构建的。
步骤S3032，将声带图像输入形变分割模型，得到声带图像对应的形变轮廓图像。
本发明实施例中，形变轮廓图像是表征声带图像中声带形变区域的轮廓的图像，是一个二值图像，即该图像中的像素点的颜色只有黑白两色，以黑色或者白色来描绘形变区域的轮廓，另一种颜色则作为背景底色。形变轮廓图像中的像素点与声带图像中的像素点一一对应，将形变轮廓图像作为声带图像的掩膜，就能够从声带图像上确定形变区域。
本发明实施例中，形变分割模型是预先对机器学习或者神经网络模型进行训练得到的模型，在训练时，预先对喉镜样本图像中有病变的区域用轮廓线描绘出来，并保存为二值图像。可选的，形变分割模型可以是PRANET模型。
步骤S3033，基于形变轮廓图像，确定形变程度信息。
本发明实施例中，上述步骤S3033可以包括：
步骤a1，确定形变轮廓图像对应的轮廓点集和轮廓点集中包含的凸包点集。
本发明实施例中，采用轮廓提取算法，对形变轮廓图像进行轮廓提取，得到轮廓点集。再采用凸包算法，计算轮廓点集中包含的凸包，从而得到轮廓点集中包含的凸包点集。
在一种可选的实施方式中，可以采用findContour函数作为轮廓提取算法，可以采用convexHull函数作为凸包算法。
步骤a2，基于轮廓点集和凸包点集，确定形变面积和凸包面积。
本发明实施例中，采用轮廓面积计算算法，分别计算轮廓点集对应的轮廓面积，得到形变面积，计算凸包点集对应的轮廓面积，得到凸包面积。
在一种可选的实施方式中，可以采用contourArea函数作为轮廓面积计算算法。
步骤a3，基于形变面积和凸包面积，确定形变程度信息。
本发明实施例中，将形变面积与凸包面积相除，得到形变程度信息。
步骤S3034，基于形变轮廓图像，确定纹理粗糙度信息。
本发明实施例中，上述步骤S3034可以包括：
步骤b1，基于形变轮廓图像，从声带图像中裁剪出形变图像。
本发明实施例中，将形变轮廓图像作为声带图像的掩膜，从声带图像上确定出形变区域，然后将形变区域从声带图像上裁剪下来，得到形变图像。
步骤b2，按照预设灰度级，将形变图像灰度化，得到形变图像的灰度数据。
本发明实施例中，为了计算纹理粗糙度信息，需要获取形变图像的灰度分布情况，因此将形变图像灰度化，并进行直方图均衡化，提高形变图像灰度化后的对比度。提取灰度化后形变图像中各像素点的像素值，构成灰度矩阵，并将灰度矩阵作为形变图像的灰度数据。
在一种可选的实施方式中，通常情况下，可以选择256个灰度级作为灰度级，为了提高计算效率，可以将预设灰度级设置为16个灰度级。
步骤b3，基于灰度数据，确定纹理粗糙度信息。
本发明实施例中，通过对灰度数据，也就是灰度矩阵的灰度共生矩阵进行计算，以确定纹理粗糙度信息。共生矩阵能够统计灰度图像中像素间灰度值的分布规律，从而实现对图像纹理特征的提取。
在一种可选的实施方式中，上述步骤b3可以包括：
步骤b31，计算灰度数据的共生矩阵，得到灰度数据对应的灰度共生数据。
本发明实施例中，采用5*5的滑窗，按照步长为1对灰度矩阵进行滑动，分别在0°、45°90°和135°这四个方向上进行计算，并将计算得到的结果取平均值，作为灰度共生数据，也就是灰度共生矩阵中的矩阵元素。
步骤b32，分别将灰度共生数据中每个数据与所有数据之和相除，得到每个数据的概率值。
本发明实施例中，将灰度共生矩阵中每个数据，也就是每个矩阵元素，与所有数据之和，也就是所有数据之和相除，得到每个数据的概率值，这些数据的概率值按照其对应的数据在灰度共生矩阵的排列位置排列，就可以得到灰度矩阵对应的概率矩阵。
步骤b33，基于每个数据的概率值，确定纹理粗糙度信息。
本发明实施例中，基于每个数据的概率值，确定纹理粗糙度信息，可以如下公式(2)所示：
其中，ρ4为纹理粗糙度信息，C(i,j)为概率矩阵中的(i,j)位置处的矩阵元素值，∑i∑jC(i,j)2即为概率矩阵中每个矩阵元素的平方之和，即所有数据的概率值的平方之和。
步骤S304，基于声带置信度信息和声带特征信息，确定目标图像的类型。详细请参见图1所示实施例的步骤S104，在此不再赘述。
本实施例提供的喉镜图像检测方法，通过将从声带特征信息分为附着程度信息、形变程度信息和纹理粗糙度信息，从多个方面对声带图像进行评价，提高喉镜图像检测的准确性。
在本实施例中提供了一种喉镜图像检测方法，可用于上述喉镜图像等，图4是根据本发明实施例的再一喉镜图像检测方法的流程图，如图4所示，该流程包括如下步骤：
步骤S401，将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息。详细请参见图1所示实施例的步骤S101，在此不再赘述。
步骤S402，基于声带位置信息，从目标图像中裁剪得到声带图像。详细请参见图1所示实施例的步骤S102，在此不再赘述。
步骤S403，基于声带图像，确定目标图像对应的声带特征信息。详细请参见图1所示实施例的步骤S103，在此不再赘述。
步骤S404，基于声带置信度信息和声带特征信息，确定目标图像的类型。
具体的，步骤S404包括：
步骤S4041，基于拟合得到的权重系数，对声带置信度信息和声带特征信息进行加权计算，得到目标图像的分类信息。
本发明实施例中，权重系数事先通过线性拟合模型拟合得到，声带置信度信息和声带特征信息中的附着程度信息、形变程度信息和纹理粗糙度信息，分别对应有一个权重。对声带置信度信息和声带特征信息进行加权计算，得到目标图像的分类信息，具体可以如下公式(3)所示：
P＝ω1ρ1+ω2ρ2+ω3ρ3+ω4ρ4公式(3)
其中，P为分类信息；ω1为第一权重，ω2为第二权重，ω3为第三权重，ω4为第四权重；ρ1为声带置信度信息，ρ2为附着程度信息，ρ3为形变程度信息，ρ4为纹理粗糙度信息。
步骤S4042，当分类信息大于预设阈值时，确定目标图像的类型为癌症图像；和/或，当分类信息小于等于预设阈值时，确定目标图像的类型为非癌症图像。
本发明实施例中，当分类信息大于预设阈值时，表明其附着程度较高、形变较严重、声带纹理较粗糙，满足对声带癌图像的判定，因此确定目标图像的类型为癌症图像。当分类信息小于等于预设阈值时，表明其附着程度较低、形变较小、声带纹理较光滑，满足对非声带癌图像的判定，因此确定目标图像的类型为非癌症图像。
本实施例提供的喉镜图像检测方法，通过对声带置信度信息和各个声带特征信息进行加权计算，综合考虑各种影响声带癌检测的因素，从而提高喉镜图像检测的准确性。
在本实施例中还提供了一种喉镜图像检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种喉镜图像检测装置，如图5所示，包括：
声带检测模块501，用于将获取到的目标图像输入声带检测模型，得到目标图像对应的声带位置信息和声带置信度信息；
声带图像确定模块502，用于基于声带位置信息，从目标图像中裁剪得到声带图像；
声带特征信息确定模块503，用于基于声带图像，确定目标图像对应的声带特征信息；
类型确定模块504，用于基于声带置信度信息和声带特征信息，确定目标图像的类型。
在一种可选的实施方式中，如图6所示，声带图像确定模块502，包括：
合格值确定单元，用于基于声带位置信息，确定声带位置的合格值；
初始声带图像确定单元，用于当合格值在预设范围内时，按照声带位置信息裁剪目标图像，得到初始声带图像；
声带图像确定单元，用于为初始声带图像填充预设像素值，以将初始声带图像填充为正方形，得到声带图像。
在一种可选的实施方式中，如图6所示，声带特征信息确定模块503，包括：
附着程度信息确定单元，用于将声带图像输入附着物分类模型，得到附着程度信息；
形变轮廓图像确定单元，用于将声带图像输入形变分割模型，得到声带图像对应的形变轮廓图像；
形变程度信息确定单元，用于基于形变轮廓图像，确定形变程度信息；
纹理粗糙度信息确定单元，用于基于形变轮廓图像，确定纹理粗糙度信息。
在一种可选的实施方式中，形变程度信息确定单元，包括：
凸包点集确定子单元，用于确定形变轮廓图像对应的轮廓点集和轮廓点集中包含的凸包点集；
面积确定子单元，用于基于轮廓点集和凸包点集，确定形变面积和凸包面积；
形变程度信息确子单元，用于基于形变面积和凸包面积，确定形变程度信息。
在一种可选的实施方式中，纹理粗糙度信息确定单元，包括：
形变图像确定子单元，用于基于形变轮廓图像，从声带图像中裁剪出形变图像；
灰度数据确定子单元，用于按照预设灰度级，将形变图像灰度化，得到形变图像的灰度数据；
纹理粗糙度信息确定子单元，用于基于灰度数据，确定纹理粗糙度信息。
在一种可选的实施方式中，纹理粗糙度信息确定子单元，包括：
灰度共生数据确定子模块，用于计算灰度数据的共生矩阵，得到灰度数据对应的灰度共生数据；
概率值确定子模块，用于分别将灰度共生数据中每个数据与所有数据之和相除，得到每个数据的概率值；
确定纹理粗糙度信息确定子模块，用于基于每个数据的概率值，确定纹理粗糙度信息。
在一种可选的实施方式中，如图6所示，类型确定模块504，包括：
分类信息确定单元，用于基于拟合得到的权重系数，对声带置信度信息和声带特征信息进行加权计算，得到目标图像的分类信息；
类型确定单元，用于当分类信息大于预设阈值时，确定目标图像的类型为癌症图像；和/或，当分类信息小于等于预设阈值时，确定目标图像的类型为非癌症图像。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的喉镜图像检测装置是以功能单元的形式来呈现，这里的单元是指ASIC(Application Specific Integrated Circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图5或图6所示的喉镜图像检测装置。
请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种喉镜图像识别方法，其特征在于，所述方法包括：
将获取到的目标图像输入声带检测模型，得到所述目标图像对应的声带位置信息和声带置信度信息；
基于所述声带位置信息，从所述目标图像中裁剪得到声带图像；
基于所述声带图像，确定所述目标图像对应的声带特征信息；
基于所述声带置信度信息和所述声带特征信息，确定所述目标图像的类型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述声带位置信息，从所述目标图像中裁剪得到声带图像，包括：
基于所述声带位置信息，确定所述声带位置的合格值；
当所述合格值在预设范围内时，按照所述声带位置信息裁剪所述目标图像，得到初始声带图像；
为所述初始声带图像填充预设像素值，以将所述初始声带图像填充为正方形，得到所述声带图像。
3.根据权利要求2所述的方法，其特征在于，所述基于所述声带图像，确定所述目标图像对应的声带特征信息，包括：
将所述声带图像输入附着物分类模型，得到附着程度信息；
将所述声带图像输入形变分割模型，得到所述声带图像对应的形变轮廓图像；
基于所述形变轮廓图像，确定形变程度信息；
基于所述形变轮廓图像，确定纹理粗糙度信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述形变轮廓图像，确定所述形变程度信息，包括：
确定所述形变轮廓图像对应的轮廓点集和所述轮廓点集中包含的凸包点集；
基于所述轮廓点集和所述凸包点集，确定形变面积和凸包面积；
基于所述形变面积和所述凸包面积，确定所述形变程度信息。
5.根据权利要求3所述的方法，其特征在于，所述基于所述形变轮廓图像，确定所述纹理粗糙度信息，包括：
基于所述形变轮廓图像，从所述声带图像中裁剪出形变图像；
按照预设灰度级，将所述形变图像灰度化，得到所述形变图像的灰度数据；
基于所述灰度数据，确定所述纹理粗糙度信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述灰度数据，确定所述纹理粗糙度信息，包括：
计算所述灰度数据的共生矩阵，得到所述灰度数据对应的灰度共生数据；
分别将所述灰度共生数据中每个数据与所有数据之和相除，得到所述每个数据的概率值；
基于所述每个数据的概率值，确定所述纹理粗糙度信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述声带置信度信息和所述声带特征信息，确定所述目标图像的类型，包括：
基于拟合得到的权重系数，对所述声带置信度信息和所述声带特征信息进行加权计算，得到所述目标图像的分类信息；
当所述分类信息大于预设阈值时，确定所述目标图像的类型为癌症图像；和/或，当所述分类信息小于等于预设阈值时，确定所述目标图像的类型为非癌症图像。
8.一种喉镜图像识别装置，其特征在于，所述装置包括：
声带检测模块，用于将获取到的目标图像输入声带检测模型，得到所述目标图像对应的声带位置信息和声带置信度信息；
声带图像确定模块，用于基于所述声带位置信息，从所述目标图像中裁剪得到声带图像；
声带特征信息确定模块，用于基于所述声带图像，确定所述目标图像对应的声带特征信息；
类型确定模块，用于基于所述声带置信度信息和所述声带特征信息，确定所述目标图像的类型。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的喉镜图像识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的喉镜图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499066.5A CN117372415A (zh) | 2023-11-09 | 2023-11-09 | 喉镜图像识别方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499066.5A CN117372415A (zh) | 2023-11-09 | 2023-11-09 | 喉镜图像识别方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372415A true CN117372415A (zh) | 2024-01-09 |
Family
ID=89398337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311499066.5A Pending CN117372415A (zh) | 2023-11-09 | 2023-11-09 | 喉镜图像识别方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372415A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541800A (zh) * | 2024-01-10 | 2024-02-09 | 深圳因赛德思医疗科技有限公司 | 基于喉镜影像的喉部异常部位分割方法 |
-
2023
- 2023-11-09 CN CN202311499066.5A patent/CN117372415A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541800A (zh) * | 2024-01-10 | 2024-02-09 | 深圳因赛德思医疗科技有限公司 | 基于喉镜影像的喉部异常部位分割方法 |
| CN117541800B (zh) * | 2024-01-10 | 2024-04-09 | 深圳因赛德思医疗科技有限公司 | 基于喉镜影像的喉部异常部位分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| US9740967B2 (en) | Method and apparatus of determining air quality | |
| CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
| Rosin | Unimodal thresholding | |
| US9460357B2 (en) | Processing text images with shadows | |
| CN108460098B (zh) | 信息推荐方法、装置和计算机设备 | |
| CN111625668B (zh) | 对象检测和候选过滤系统 | |
| US20180253852A1 (en) | Method and device for locating image edge in natural background | |
| CN117372415A (zh) | 喉镜图像识别方法、装置、计算机设备及存储介质 | |
| CN112651953B (zh) | 图片相似度计算方法、装置、计算机设备及存储介质 | |
| CN112149570B (zh) | 多人活体检测方法、装置、电子设备及存储介质 | |
| CN111882565B (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN111368632A (zh) | 一种签名识别方法及设备 | |
| CN112419207A (zh) | 一种图像矫正方法及装置、系统 | |
| CN111242957A (zh) | 一种数据处理方法、装置及计算机存储介质和电子设备 | |
| CN111325728B (zh) | 产品缺陷检测方法、装置、设备及存储介质 | |
| CN114298985B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN113902740A (zh) | 图像模糊程度评价模型的构建方法 | |
| CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
| CN112465050A (zh) | 一种图像模板选择方法、装置、设备及存储介质 | |
| CN115345895B (zh) | 用于视觉检测的图像分割方法、装置、计算机设备及介质 | |
| CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
| CN117078712A (zh) | 基于局部自适应窗口的胎侧帘线阈值分割方法和装置 | |
| CN116091481A (zh) | 一种小穗计数方法、装置、设备和存储介质 | |
| US20230410561A1 (en) | Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |