CN117495817B - 一种腔镜下血管异常图像判断方法及装置 - Google Patents

Abstract

本申请提供了一种腔镜下血管异常图像判断方法及装置，涉及图像判断技术领域，其技术方案要点是：包括：计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；当所述第一亮度值不符合预设条件时，对所述第一血管背景区域进行直方图规定化处理以得到第二图像；将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常。本申请提供的一种腔镜下血管异常图像判断方法及装置具有准确判断血管是否异常的优点。

Description

一种腔镜下血管异常图像判断方法及装置

技术领域

本申请涉及图像判断技术领域，具体而言，涉及一种腔镜下血管异常图像判断方法及装置。

背景技术

科学技术日新月异，日渐成熟的技术发展，使微创手术已经成为了医院手术中的重要方式。在妇科病患检查中，腔镜探查是一种重要手段。医生可以通过腹腔探查，详细观察病患的腔内细节。

之前的妇科手术探查，大家只关注解剖改变或肿块特点，对血管并未特别关注，既无相关指标，也无相应标准。但大家又都认识到：血管改变有临床意义。

妇科手术腔镜下所见的血管，主要在盆腔脏器表面，如腹膜、膀胱、子宫、输卵管等，但是，对于血管分布、密度、形态、颜色、充盈等特征往往被忽略，主要是没有很好的客观评判方法和手段，更没有判断标准。而血管增生与炎症有明确关系，这就导致有些非特异性炎症无法诊断，即使做了手术但无客观指标而被忽略和遗漏，从而对疾病的认识和治疗都受影响。

随着图像识别技术的发展，对镜下血管的各种特征进行计算比较，结合临床资料，可以对血管是否异常进行判断，特别是血管形态、颜色等重要特征。

然而，相比于胃肠镜中，贴近观察血管特征并进行判断的场景，在妇科腔镜探查中，由于腹腔的腔体内部环境结构复杂，容易出现光照不均匀的情况，在这种场景下观察血管，容易对疾病判断造成不良影响。

针对上述问题，本申请提出了一种新的方案。

发明内容

本申请的目的在于提供一种腔镜下血管异常图像判断方法及装置，具有准确判断血管是否异常的优点。

第一方面，本申请提供了一种腔镜下血管异常图像判断方法，技术方案如下：

包括：

计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；

当所述第一亮度值不符合预设条件时，对所述第一血管背景区域进行直方图规定化处理以得到第二图像；

将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常。

通过计算第一血管背景区域中的第一亮度值，如果第一亮度值不符合预设条件，表示第一血管背景区域中的第一亮度值会影响到血管颜色特征，进而容易导致在通过血管颜色特征判断血管是否异常的时候，容易出现误判的情况，因此，当第一亮度值不符合预设条件时，可以对第一血管背景区域进行直方图规定化处理，从而得到第二图像，然后将第二图像输入至判断模块，利用判断模块来提取血管的颜色特征，然后判断血管是否异常，因此，本申请提供的方案具有准确判断血管是否异常的有益效果。

进一步地，在本申请中，所述对所述第一血管背景区域进行直方图规定化处理以得到第二图像的步骤包括：

获取血管背景区域数据集中各个被标注为正常亮度的关于血管背景区域的第三图像中的亮度直方图；

根据各个所述亮度直方图计算得到平均亮度直方图；

按照所述平均亮度直方图对所述第一血管背景区域进行直方图规定化处理以得到所述第二图像。

进一步地，在本申请中，所述计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值的步骤包括：

将所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从所述第一图像中识别得到所述第一血管背景区域；

计算所述第一血管背景区域的第一亮度值；

所述将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常的步骤包括：

将所述第二图像输入至所述判断模块中的血管分割单元，所述血管分割单元从所述第二图像中分割出第一血管图像；

将所述第一血管图像输入至所述判断模块中的判断单元，所述判断单元根据所述第一血管图像的颜色特征判断血管是否异常。

进一步地，在本申请中，所述第一图像为RGB图像，所述将所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从所述第一图像中识别得到所述第一血管背景区域的步骤包括：

将作为RGB图像的所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从作为RGB图像的所述第一图像中识别得到作为RGB图像的所述第一血管背景区域；

所述对所述第一血管背景区域进行直方图规定化处理以得到第二图像的步骤包括：

将作为RGB图像的所述第一血管背景区域从RGB空间转换至YUV空间，并提取对应的Y通道图像、U通道图像以及V通道图像；

将作为所述Y通道图像、所述U通道图像以及所述V通道图像的所述第一血管背景区域进行直方图规定化处理以得到作为YUV图像的所述第二图像。

进一步地，在本申请中，所述将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常的步骤包括：

将作为YUV图像的所述第二图像输入至判断模块；

所述判断模块计算作为YUV图像的所述第二图像中的y值、u值、v值、y/u值、y/v值以及u/v值；

根据所述y值、所述u值、所述v值、所述y/u值、所述y/v值以及所述u/v值判断血管是否异常。

进一步地，在本申请中，还包括：

建立基于RGB模型的血管背景区域数据集；

建立基于YUV模型的血管区域分割数据集；

建立基于YUV模型的血管颜色异常判断数据集；

根据所述血管背景区域数据集、所述血管区域分割数据集以及所述血管颜色异常判断数据集分别进行训练得到对应的血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型；

分别将所述血管背景区域识别模型、所述血管区域分割模型以及所述血管颜色异常判断模型对应存在所述血管背景区域识别单元、所述血管分割单元以及所述判断单元中。

第二方面，本申请还提供一种腔镜下血管异常图像判断装置，包括：

计算模块，用于计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；

处理模块，用于当所述第一亮度值不符合预设条件时，对所述第一血管背景区域进行直方图规定化处理以得到第二图像，并输入至判断模块；

判断模块，根据所述第二图像中的血管颜色特征判断血管是否异常。

进一步地，在本申请中，所述处理模块包括：

第一处理单元，用于获取血管背景区域数据集中各个被标注为正常亮度的关于血管背景区域的第三图像中的亮度直方图；

第二处理单元，用于根据各个所述亮度直方图计算得到平均亮度直方图；

第三处理单元，用于按照所述平均亮度直方图对所述第一血管背景区域进行直方图规定化处理以得到所述第二图像。

进一步地，在本申请中，所述计算模块包括：

第一计算单元，用于将所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从所述第一图像中识别得到所述第一血管背景区域；

第二计算单元，用于计算所述第一血管背景区域的第一亮度值；

所述判断模块包括：

第一判断单元，用于将所述第二图像输入至所述判断模块中的血管分割单元，所述血管分割单元从所述第二图像中分割出第一血管图像；

第二判断单元，用于将所述第一血管图像输入至所述判断模块中的判断单元，所述判断单元根据所述第一血管图像的颜色特征判断血管是否异常。

进一步地，在本申请中，所述第一图像为RGB图像，所述第一计算单元包括：

第一计算子单元，用于将作为RGB图像的所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从作为RGB图像的所述第一图像中识别得到作为RGB图像的所述第一血管背景区域；

所述处理模块包括：

第三计算单元，用于将作为RGB图像的所述第一血管背景区域从RGB空间转换至YUV空间，并提取对应的Y通道图像、U通道图像以及V通道图像；

第四计算单元，用于将作为所述Y通道图像、所述U通道图像以及所述V通道图像的所述第一血管背景区域进行直方图规定化处理以得到作为YUV图像的所述第二图像。

由上可知，本申请提供的一种腔镜下血管异常图像判断方法及装置，通过计算第一血管背景区域中的第一亮度值，如果第一亮度值不符合预设条件，表示第一血管背景区域中的第一亮度值会影响到血管颜色特征，进而容易导致在通过血管颜色特征判断血管是否异常的时候，容易出现误判的情况，因此，当第一亮度值不符合预设条件时，可以对第一血管背景区域进行直方图规定化处理，从而得到第二图像，然后将第二图像输入至判断模块，利用判断模块来提取血管的颜色特征，然后判断血管是否异常，因此，本申请提供的方案具有准确判断血管是否异常的有益效果。

附图说明

图1为本申请提供的一种腔镜下血管异常图像判断方法示意图。

图2为本申请提供的一种腔镜下血管异常图像判断装置的结构示意图。

图3为本申请提供的第一图像中关于第一血管背景区域的示意图

图中：210、计算模块；220、处理模块；230、判断模块。

具体实施方式

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，本申请提供了一种腔镜下血管异常图像判断方法，其技术方案具体包括：

S110、计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；

S120、当第一亮度值不符合预设条件时，对第一血管背景区域进行直方图规定化处理以得到第二图像；

S130、将第二图像输入至判断模块，判断模块根据第二图像中的血管颜色特征判断血管是否异常。

其中，腔镜用于进行腹腔区域的探查，因此获取得到的第一图像是指腹腔内的图像。

在腹腔内，具有许多的器官组织，血管主要分布在盆腔脏器表面，如腹膜、膀胱、子宫、输卵管等。

由于腹腔内存在许多的器官组织，在利用腔镜进行探查的过程中，腔镜一般会集成设置有光源，然而，由于腹腔内的情况复杂，光源照射在腹腔中，容易出现光照不均匀，明暗变化明显等情况。

其中，第一血管背景区域是指从第一图像中划分提取出来的分布有血管的区域，具体可以参照图3，图3所展示的整个画面为第一图像，其中，A区域则表示的是第一血管背景区域。

其中，第一亮度值具体可以指第一血管背景区域中的最低亮度值，可以指第一血管背景区域中的最高亮度值，可以指第一血管背景区域中预设数量像素点的最低亮度的平均值，可以指第一血管背景区域中预设数量像素点的最高亮度的平均值。

其中，预设条件具体可以是允许的最高亮度阈值，可以是允许的最低亮度阈值，可以是平均亮度阈值。

此外，在其中一些实施例中，还可以获取第一血管背景区域中的亮度分布信息，然后判断亮度分布信息是否满足预设条件，如果不满足，可以进行直方图规定化处理，此时，预设条件也可以包括预设的亮度分布。

其中，判断模块设置有基于神经网络训练得到的模型，具体地，可以收集血管正常的图片以及血管异常的图片，然后进行标注制造得到数据集，然后通过神经网络训练得到一个可以基于血管颜色特征判断血管是否异常的模型，由于在现有的实际临床中，可以发现血管的颜色特征和血管是否异常有很密切的关系，根据现有的医学观察，如果血管颜色偏浓、饱和度高，颜色较为暗沉，则很有可能属于异常状况，但是，目前对于血管颜色和血管是否异常之间没有一个客观而准确的判断标准，如果依靠医生的经验进行判断，则对医生的经验有很高的要求，并且，利用人眼进行判断，也很容易出现判断错误的情况。

对此，在本申请所提出的方案中，则是利用机器学习训练出一个模型，然后在腔镜探查过程中，自动判断血管是否异常，以对医生进行提醒，从而降低医生的负担。

然而，在这个过程中，由于腹腔中的环境复杂多变，容易出现光照不均匀、明暗变化明显等问题，这些问题会直接影响到血管的颜色特征，因此，在本申请的方案中，在获取得到了第一图像后，首先提取第一图像中的第一血管背景区域，然后计算第一血管背景区域中第一亮度值，如果第一亮度值不符合预设条件，则对第一血管背景区域进行直方图规定化处理得到第二图像，通过直方图规定化处理，将明暗程度高的图像处理成明暗程度过度平滑，且明暗程度低的图像，用于防止光照问题出现血管颜色特征的误判，从而提高判断的准确性。

具体地，在其中一些实施例中，在获取得到第一图像以后，从第一图像中提取得到第一血管背景区域，然后计算第一血管背景区域中的第一亮度值，在计算得到第一亮度值以后，可以根据第一亮度值区分出合格区域和非合格区，将合格区域输入至判断模块，判断模块根据血管颜色特征判断血管是否异常，对非合格区进行直方图规定化处理，然后再将处理后的图像输入至判断模块进行判断。

具体地，在对非合格区进行直方图规定化处理的时候，可以获取合格区域的直方图，通过合格区域的直方图来对非合格区进行直方图规定化处理。

优选的，在其中一些实施例中，当第一血管背景区域中的第一亮度值不符合预设条件时，对整个第一血管背景区域进行直方图规定化处理，在处理后进一步判断血管是否异常，当判断结果为异常的时候，为了避免直方图规定化处理后仍然存在暗区明显导致误判的情况，将根据第一亮度值区分出合格区域和非合格区，将合格区域输入至判断模块，判断模块根据血管颜色特征判断血管是否异常，对非合格区进行直方图规定化处理，然后再将处理后的图像输入至判断模块进行判断。

综上，本申请通过计算第一血管背景区域中的第一亮度值，如果第一亮度值不符合预设条件，表示第一血管背景区域中的第一亮度值会影响到血管颜色特征，进而容易导致在通过血管颜色特征判断血管是否异常的时候，容易出现误判的情况，因此，当第一亮度值不符合预设条件时，可以对第一血管背景区域进行直方图规定化处理，从而得到第二图像，然后将第二图像输入至判断模块，利用判断模块来提取血管的颜色特征，然后判断血管是否异常，因此，本申请提供的方案具有准确判断血管是否异常的有益效果。

当判断第一图像中的血管存在异常时，此时还无法准确地确认出异常是否真的为血管异常，或是由于亮度差异产生色差导致的误判。

因此，在一些优选方案中，当判断模块判断出血管异常时，获取判断模块输出的血管异常区域，对血管异常区域进行标注，标注的血管异常区域可以实时显示在显示屏上，根据血管异常区域，控制腔镜光源的光照中心对准血管异常区域，计算光源的光照中心调整前后，血管异常区域的亮度变化差值，当亮度变化差值大于设定值时，提取腔镜光源的光照中心对准血管异常区域后的第四图像，根据第四图像再次判断血管是否异常，当亮度变化差值不大于设定值时，则输出血管异常的判断结果。

其中，根据血管异常区域，控制腔镜光源的光照中心对准血管异常区域，这个过程可以通过人工手动控制，也可以自动控制，将标注的血管异常区域实时显示在显示屏上是为了方便医生进行操作。

其中，本申请所提出的方案可以应用在腔镜系统中，在使用腔镜系统检查的过程中，判断腔镜获取的图像画面中的血管是否异常，并且，可以将是否异常的判断结果实时显示在显示屏中，供医生参考。

其中，由于腔镜的光源在检查的过程中会不断发生移动，而随着光源的移动，导致同样位置在光源处于不同位置的时候，其亮度会不同，这也就意味着随着光源的移动，同样的位置可能出现既判断血管正常，又判断血管异常的情况。

对此，在一些优选的实施例中，可以基于术前的CT、MRI等数据进行三维重建，构建患者腔体内的血管三维模型，然后基于三维导航技术，在使用腔镜进行检查的过程中，同时在三维模型中显示腔镜的移动轨迹，并且，在这个过程中，实时判断腔镜获取的图像中血管的异常情况，将血管的异常情况的判断结果反映在三维模型中，例如，在三维模型中，随着腔镜的移动，当判断移动路径中遇到的血管判断为正常时，在三维模型中的对应血管位置处标记成绿色，当遇到的血管判断为异常时，在三维模型中的对应血管位置处标记成黑色或其它颜色，优选地，在三维模型中，当血管被判断为正常显示为绿色以后，则不会再变成其它颜色，通过该方案，可以直观地向医生展示出血管的情况，同时可以看到哪些血管有进行判断，哪些血管还没有进行判断，同时，避免了随着光源移动在同一位置处产生的亮度变化而引起的判断结果的变化。

其中，血管异常区域指的是判断模块根据颜色特征判断出血管有异常的位置。

进一步地，在其中一些实施例中，对第一血管背景区域进行直方图规定化处理以得到第二图像的步骤包括：

获取血管背景区域数据集中各个被标注为正常亮度的关于血管背景区域的第三图像中的亮度直方图；

根据各个亮度直方图计算得到平均亮度直方图；

按照平均亮度直方图对第一血管背景区域进行直方图规定化处理以得到第二图像。

在上述的一些实施例中，提出了当第一血管背景区域中的第一亮度值不符合预设条件时，对第一血管背景区域进行直方图规定化处理以得到第二图像，其目的是为了避免亮度过暗，导致识别出来的血管颜色暗沉，进而产生误判的情况，其中，在具体对第一血管背景区域进行直方图规定化处理的过程中，可以事先构建一个血管背景区域数据集，血管背景区域数据集中至少包含有正常亮度的关于血管背景区域的第三图像，即，第三图像为正常亮度下的血管背景区域的图像，通过获取第三图像的亮度直方图可以统计得到平均亮度直方图，即，平均亮度直方图表示的是正常亮度下的血管背景区域，然后通过平均亮度直方图来对第一血管背景区域进行直方图规定化处理，从而提升第一血管背景区域中第一亮度值过低区域的亮度，从而减少后续误判的可能性。

进一步地，在其中一些实施例中，计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值的步骤包括：

将第一图像输入至判断模块中的血管背景区域识别单元，血管背景区域识别单元从第一图像中识别得到第一血管背景区域；

计算第一血管背景区域的第一亮度值；

将第二图像输入至判断模块，判断模块根据第二图像中的血管颜色特征判断血管是否异常的步骤包括：

将第二图像输入至判断模块中的血管分割单元，血管分割单元从第二图像中分割出第一血管图像；

将第一血管图像输入至判断模块中的判断单元，判断单元根据第一血管图像的颜色特征判断血管是否异常。

其中，判断模块包括有血管背景区域识别单元、血管分割单元以及判断单元，在上述的一些实施例中提出了，通过神经网络训练得到一个可以根据血管颜色特征判断血管是否异常的模型，通过将第一血管背景区域输入至该模型中进行自动判断，然而，在这个过程中，第一血管背景区域还包括了很多不属于血管的内容，这些不属于血管的内容有可能降低判断的准确性。

对此，本申请则提出了判断模块一共包括有血管背景区域识别单元、血管分割单元以及判断单元，通过血管背景区域识别单元从第一图像中提取出第一血管背景区域，从而排出腹腔中其余一些器官组织造成的影响，当提取得到第一血管背景区域以后，通过计算第一血管背景区域的第一亮度值，进而确定是否需要进行直方图规定化处理，如果不需要进行直方图规定化处理，则直接将第一血管背景区域输入至血管分割单元，如果需要进行直方图规定化处理，则在进行直方图规定化处理后得到第二图像，然后将第二图像输入至血管分割单元，血管分割单元则从第二图像中提取分离出第一血管图像，然后将提取分离出的第一血管图像输入至判断单元进行判断。

具体地，可以事先建立基于血管背景区域数据集、血管区域分割数据集、血管颜色异常判断数据集，根据血管背景区域数据集、血管区域分割数据集以及血管颜色异常判断数据集分别进行训练得到对应的血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型，再分别将血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型对应存在血管背景区域识别单元、血管分割单元以及判断单元中。

即，通过神经网络训练得出三个模型，分别为血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型，其中，血管背景区域识别模型用于从第一图像中识别提取第一血管背景区域，血管区域分割模型用于从第一血管背景区域中识别提取第一血管图像，血管颜色异常判断模型用于从第一血管图像中根据血管颜色特征判断血管是否异常。

通过上述设置，可以避免血管以外的物体对血管是否异常的判断造成影响，从而提高判断的准确性。

其中，在一些优选实施方式中，血管背景区域数据集是基于RGB模型的数据集，血管区域分割数据集是基于YUV模型的数据集，血管颜色异常判断数据集是基于YUV模型的数据集。

进一步地，在其中一些实施例中，第一图像为RGB图像，将第一图像输入至判断模块中的血管背景区域识别单元，血管背景区域识别单元从第一图像中识别得到第一血管背景区域的步骤包括：

将作为RGB图像的第一图像输入至判断模块中的血管背景区域识别单元，血管背景区域识别单元从作为RGB图像的第一图像中识别得到作为RGB图像的第一血管背景区域；

对第一血管背景区域进行直方图规定化处理以得到第二图像的步骤包括：

将作为RGB图像的第一血管背景区域从RGB空间转换至YUV空间，并提取对应的Y通道图像、U通道图像以及V通道图像；

将作为Y通道图像、U通道图像以及V通道图像的第一血管背景区域进行直方图规定化处理以得到作为YUV图像的第二图像。

在本申请的方案中，在对第一图像进行提取得到第一血管背景区域后，通过计算第一血管背景区域的第一亮度值，然后通过第一亮度来判断是否需要进行直方图规定化处理，从而避免因为亮度因素导致误判的情况，在这个过程中，提出了训练血管背景区域识别模型和血管区域分割模型来减少血管以外的因素造成的影响，最后通过血管颜色异常判断模型进行判断。

其中，在训练血管背景区域识别模型的过程中，优选采用基于RGB模型的数据集进行训练，这是因为RGB模型有助于准确找到血管背景区域，其中，在训练血管颜色异常判断模型的过程中，优选采用基于YUV模型的数据集，这样可以进一步避免亮度对结果判断的影响。

因此，在一些优选的方案中，通过腔镜获取得到的第一图像为RGB图像，然后将作为RGB图像的第一图像输入至判断模块中的血管背景区域识别单元，血管背景区域识别单元中基于RGB模型的数据集得到的血管背景区域数据集可以准确找到第一血管背景区域，在进行直方图规定化处理前，先将作为RGB图像的第一血管背景区域从RGB空间转换至YUV空间，然后输入至血管分割单元，血管分割单元中基于YUV模型的数据集训练得到的血管区域分割模型从第二图像中提取得到第一血管图像，然后将第一血管图像输入至判断单元，判断单元中的基于YUV模型的数据集训练得到的血管颜色异常判断模型提取第一血管图像中的颜色特征，进而判断血管是否异常。

具体地，在一些实施例中，将第二图像输入至判断模块，判断模块根据第二图像中的血管颜色特征判断血管是否异常的步骤包括：

将作为YUV图像的第二图像输入至判断模块；

判断模块计算作为YUV图像的第二图像中的y值、u值、v值、y/u值、y/v值以及u/v值；

根据y值、u值、v值、y/u值、y/v值以及u/v值判断血管是否异常。

其中，y值表示的是亮度，u值和v值表示的是色度。

第二方面，参照图2，本申请还提供一种腔镜下血管异常图像判断装置，包括：

计算模块210，用于计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；

处理模块220，用于当第一亮度值不符合预设条件时，对第一血管背景区域进行直方图规定化处理以得到第二图像，并输入至判断模块230；

判断模块230，根据第二图像中的血管颜色特征判断血管是否异常。

通过计算第一血管背景区域中的第一亮度值，如果第一亮度值不符合预设条件，表示第一血管背景区域中的第一亮度值会影响到血管颜色特征，进而容易导致在通过血管颜色特征判断血管是否异常的时候，容易出现误判的情况，因此，当第一亮度值不符合预设条件时，可以对第一血管背景区域进行直方图规定化处理，从而得到第二图像，然后将第二图像输入至判断模块230，利用判断模块230来提取血管的颜色特征，然后判断血管是否异常，因此，本申请提供的方案具有准确判断血管是否异常的有益效果。

其中，在一些优选实施例中，本申请提供的一种腔镜下血管异常图像判断装置可以执行上述方法中任意一项方法步骤。

进一步地，在其中一些实施例中，处理模块220包括：

第一处理单元，用于获取血管背景区域数据集中各个被标注为正常亮度的关于血管背景区域的第三图像中的亮度直方图；

第二处理单元，用于根据各个亮度直方图计算得到平均亮度直方图；

第三处理单元，用于按照平均亮度直方图对第一血管背景区域进行直方图规定化处理以得到第二图像。

在上述的一些实施例中，提出了当第一血管背景区域中的第一亮度值不符合预设条件时，对第一血管背景区域进行直方图规定化处理以得到第二图像，其目的是为了避免亮度过暗，导致识别出来的血管颜色暗沉，进而产生误判的情况，其中，在具体对第一血管背景区域进行直方图规定化处理的过程中，可以事先构建一个血管背景区域数据集，血管背景区域数据集中至少包含有正常亮度的关于血管背景区域的第三图像，即，第三图像为正常亮度下的血管背景区域的图像，通过获取第三图像的亮度直方图可以统计得到平均亮度直方图，即，平均亮度直方图表示的是正常亮度下的血管背景区域，然后通过平均亮度直方图来对第一血管背景区域进行直方图规定化处理，从而提升第一血管背景区域中第一亮度值过低区域的亮度，从而减少后续误判的可能性。

进一步地，在其中一些实施例中，计算模块210包括：

第一计算单元，用于将第一图像输入至判断模块230中的血管背景区域识别单元，血管背景区域识别单元从第一图像中识别得到第一血管背景区域；

第二计算单元，用于计算第一血管背景区域的第一亮度值；

判断模块230包括：

第一判断单元，用于将第二图像输入至判断模块230中的血管分割单元，血管分割单元从第二图像中分割出第一血管图像；

第二判断单元，用于将第一血管图像输入至判断模块230中的判断单元，判断单元根据第一血管图像的颜色特征判断血管是否异常。

其中，判断模块230包括有血管背景区域识别单元、血管分割单元以及判断单元，在上述的一些实施例中提出了，通过神经网络训练得到一个可以根据血管颜色特征判断血管是否异常的模型，通过将第一血管背景区域输入至该模型中进行自动判断，然而，在这个过程中，第一血管背景区域还包括了很多不属于血管的内容，这些不属于血管的内容有可能降低判断的准确性。

对此，本申请则提出了判断模块230一共包括有血管背景区域识别单元、血管分割单元以及判断单元，通过血管背景区域识别单元从第一图像中提取出第一血管背景区域，从而排出腹腔中其余一些器官组织造成的影响，当提取得到第一血管背景区域以后，通过计算第一血管背景区域的第一亮度值，进而确定是否需要进行直方图规定化处理，如果不需要进行直方图规定化处理，则直接将第一血管背景区域输入至血管分割单元，如果需要进行直方图规定化处理，则在进行直方图规定化处理后得到第二图像，然后将第二图像输入至血管分割单元，血管分割单元则从第二图像中提取分离出第一血管图像，然后将提取分离出的第一血管图像输入至判断单元进行判断。

具体地，可以事先建立基于血管背景区域数据集、血管区域分割数据集、血管颜色异常判断数据集，根据血管背景区域数据集、血管区域分割数据集以及血管颜色异常判断数据集分别进行训练得到对应的血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型，再分别将血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型对应存在血管背景区域识别单元、血管分割单元以及判断单元中。

即，通过神经网络训练得出三个模型，分别为血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型，其中，血管背景区域识别模型用于从第一图像中识别提取第一血管背景区域，血管区域分割模型用于从第一血管背景区域中识别提取第一血管图像，血管颜色异常判断模型用于从第一血管图像中根据血管颜色特征判断血管是否异常。

通过上述设置，可以避免血管以外的物体对血管是否异常的判断造成影响，从而提高判断的准确性。

进一步地，在其中一些实施例中，第一图像为RGB图像，第一计算单元包括：

第一计算子单元，用于将作为RGB图像的第一图像输入至判断模块230中的血管背景区域识别单元，血管背景区域识别单元从作为RGB图像的第一图像中识别得到作为RGB图像的第一血管背景区域；

处理模块220包括：

第三计算单元，用于将作为RGB图像的第一血管背景区域从RGB空间转换至YUV空间，并提取对应的Y通道图像、U通道图像以及V通道图像；

第四计算单元，用于将作为Y通道图像、U通道图像以及V通道图像的第一血管背景区域进行直方图规定化处理以得到作为YUV图像的第二图像。

在本申请的方案中，在对第一图像进行提取得到第一血管背景区域后，通过计算第一血管背景区域的第一亮度值，然后通过第一亮度来判断是否需要进行直方图规定化处理，从而避免因为亮度因素导致误判的情况，在这个过程中，提出了训练血管背景区域识别模型和血管区域分割模型来减少血管以外的因素造成的影响，最后通过血管颜色异常判断模型进行判断。

其中，在训练血管背景区域识别模型的过程中，优选采用基于RGB模型的数据集进行训练，这是因为RGB模型有助于准确找到血管背景区域，其中，在训练血管颜色异常判断模型的过程中，优选采用基于YUV模型的数据集，这样可以进一步避免亮度对结果判断的影响。

因此，在一些优选的方案中，通过腔镜获取得到的第一图像为RGB图像，然后将作为RGB图像的第一图像输入至判断模块230中的血管背景区域识别单元，血管背景区域识别单元中基于RGB模型的数据集得到的血管背景区域数据集可以准确找到第一血管背景区域，在进行直方图规定化处理前，先将作为RGB图像的第一血管背景区域从RGB空间转换至YUV空间，然后输入至血管分割单元，血管分割单元中基于YUV模型的数据集训练得到的血管区域分割模型从第二图像中提取得到第一血管图像，然后将第一血管图像输入至判断单元，判断单元中的基于YUV模型的数据集训练得到的血管颜色异常判断模型提取第一血管图像中的颜色特征，进而判断血管是否异常。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种腔镜下血管异常图像判断方法，其特征在于，包括：

计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；

当所述第一亮度值不符合预设条件时，对所述第一血管背景区域进行直方图规定化处理以得到第二图像；

将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常，在计算得到所述第一亮度值以后，根据所述第一亮度值区分出合格区域和非合格区，将所述合格区域输入至判断模块，所述判断模块根据血管颜色特征判断血管是否异常，对所述非合格区进行直方图规定化处理，然后再将处理后的图像输入至所述判断模块进行判断；

在对所述非合格区进行直方图规定化处理的时候，获取所述合格区域的直方图，通过所述合格区域的直方图来对所述非合格区进行直方图规定化处理；

还包括：

获取所述判断模块输出的血管异常区域，对所述血管异常区域进行标注，标注的所述血管异常区域实时显示在显示屏上，根据所述血管异常区域，控制腔镜光源的光照中心对准所述血管异常区域，计算光源的光照中心调整前后，所述血管异常区域的亮度变化差值，当亮度变化差值大于设定值时，提取腔镜光源的光照中心对准所述血管异常区域后的第四图像，根据第四图像再次判断血管是否异常，当亮度变化差值不大于设定值时，则输出血管异常的判断结果；

还包括：

基于术前的CT和MRI数据进行三维重建，构建患者腔体内的血管三维模型，然后基于三维导航技术，在使用腔镜进行检查的过程中，同时在三维模型中显示腔镜的移动轨迹，并且，在这个过程中，实时判断腔镜获取的图像中血管的异常情况，将血管的异常情况的判断结果反映在三维模型中，随着腔镜的移动，当判断移动路径中遇到的血管判断为正常时，在三维模型中的对应血管位置处标记成绿色，当遇到的血管判断为异常时，在三维模型中的对应血管位置处标记成黑色或其它颜色，当血管被判断为正常显示为绿色以后，则不会再变成其它颜色。

2.根据权利要求1所述的一种腔镜下血管异常图像判断方法，其特征在于，所述对所述第一血管背景区域进行直方图规定化处理以得到第二图像的步骤包括：

获取血管背景区域数据集中各个被标注为正常亮度的关于血管背景区域的第三图像中的亮度直方图；

根据各个所述亮度直方图计算得到平均亮度直方图；

按照所述平均亮度直方图对所述第一血管背景区域进行直方图规定化处理以得到所述第二图像。

3.根据权利要求1所述的一种腔镜下血管异常图像判断方法，其特征在于，所述计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值的步骤包括：

将所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从所述第一图像中识别得到所述第一血管背景区域；

计算所述第一血管背景区域的第一亮度值；

所述将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常的步骤包括：

将所述第二图像输入至所述判断模块中的血管分割单元，所述血管分割单元从所述第二图像中分割出第一血管图像；

将所述第一血管图像输入至所述判断模块中的判断单元，所述判断单元根据所述第一血管图像的颜色特征判断血管是否异常。

4.根据权利要求3所述的一种腔镜下血管异常图像判断方法，其特征在于，所述第一图像为RGB图像，所述将所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从所述第一图像中识别得到所述第一血管背景区域的步骤包括：

将作为RGB图像的所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从作为RGB图像的所述第一图像中识别得到作为RGB图像的所述第一血管背景区域；

所述对所述第一血管背景区域进行直方图规定化处理以得到第二图像的步骤包括：

将作为RGB图像的所述第一血管背景区域从RGB空间转换至YUV空间，并提取对应的Y通道图像、U通道图像以及V通道图像；

将作为所述Y通道图像、所述U通道图像以及所述V通道图像的所述第一血管背景区域进行直方图规定化处理以得到作为YUV图像的所述第二图像。

5.根据权利要求4所述的一种腔镜下血管异常图像判断方法，其特征在于，所述将所述第二图像输入至判断模块，所述判断模块根据所述第二图像中的血管颜色特征判断血管是否异常的步骤包括：

将作为YUV图像的所述第二图像输入至判断模块；

所述判断模块计算作为YUV图像的所述第二图像中的y值、u值、v值、y/u值、y/v值以及u/v值；

根据所述y值、所述u值、所述v值、所述y/u值、所述y/v值以及所述u/v值判断血管是否异常。

6.根据权利要求4所述的一种腔镜下血管异常图像判断方法，其特征在于，还包括：

建立基于RGB模型的血管背景区域数据集；

建立基于YUV模型的血管区域分割数据集；

建立基于YUV模型的血管颜色异常判断数据集；

根据所述血管背景区域数据集、所述血管区域分割数据集以及所述血管颜色异常判断数据集分别进行训练得到对应的血管背景区域识别模型、血管区域分割模型以及血管颜色异常判断模型；

分别将所述血管背景区域识别模型、所述血管区域分割模型以及所述血管颜色异常判断模型对应存在所述血管背景区域识别单元、所述血管分割单元以及所述判断单元中。

7.一种腔镜下血管异常图像判断装置，其特征在于，包括：

计算模块，用于计算腔镜获取得到的第一图像中关于第一血管背景区域的第一亮度值；

处理模块，用于当所述第一亮度值不符合预设条件时，对所述第一血管背景区域进行直方图规定化处理以得到第二图像，并输入至判断模块；

判断模块，根据所述第二图像中的血管颜色特征判断血管是否异常，在计算得到所述第一亮度值以后，根据所述第一亮度值区分出合格区域和非合格区，将所述合格区域输入至判断模块，所述判断模块根据血管颜色特征判断血管是否异常，对所述非合格区进行直方图规定化处理，然后再将处理后的图像输入至所述判断模块进行判断；

在对所述非合格区进行直方图规定化处理的时候，获取所述合格区域的直方图，通过所述合格区域的直方图来对所述非合格区进行直方图规定化处理；

还包括：

获取所述判断模块输出的血管异常区域，对所述血管异常区域进行标注，标注的所述血管异常区域实时显示在显示屏上，根据所述血管异常区域，控制腔镜光源的光照中心对准所述血管异常区域，计算光源的光照中心调整前后，所述血管异常区域的亮度变化差值，当亮度变化差值大于设定值时，提取腔镜光源的光照中心对准所述血管异常区域后的第四图像，根据第四图像再次判断血管是否异常，当亮度变化差值不大于设定值时，则输出血管异常的判断结果；

还包括：

基于术前的CT和MRI数据进行三维重建，构建患者腔体内的血管三维模型，然后基于三维导航技术，在使用腔镜进行检查的过程中，同时在三维模型中显示腔镜的移动轨迹，并且，在这个过程中，实时判断腔镜获取的图像中血管的异常情况，将血管的异常情况的判断结果反映在三维模型中，随着腔镜的移动，当判断移动路径中遇到的血管判断为正常时，在三维模型中的对应血管位置处标记成绿色，当遇到的血管判断为异常时，在三维模型中的对应血管位置处标记成黑色或其它颜色，当血管被判断为正常显示为绿色以后，则不会再变成其它颜色。

8.根据权利要求7所述的一种腔镜下血管异常图像判断装置，其特征在于，所述处理模块包括：

第一处理单元，用于获取血管背景区域数据集中各个被标注为正常亮度的关于血管背景区域的第三图像中的亮度直方图；

第二处理单元，用于根据各个所述亮度直方图计算得到平均亮度直方图；

第三处理单元，用于按照所述平均亮度直方图对所述第一血管背景区域进行直方图规定化处理以得到所述第二图像。

9.根据权利要求7所述的一种腔镜下血管异常图像判断装置，其特征在于，所述计算模块包括：

第一计算单元，用于将所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从所述第一图像中识别得到所述第一血管背景区域；

第二计算单元，用于计算所述第一血管背景区域的第一亮度值；

所述判断模块包括：

第一判断单元，用于将所述第二图像输入至所述判断模块中的血管分割单元，所述血管分割单元从所述第二图像中分割出第一血管图像；

第二判断单元，用于将所述第一血管图像输入至所述判断模块中的判断单元，所述判断单元根据所述第一血管图像的颜色特征判断血管是否异常。

10.根据权利要求9所述的一种腔镜下血管异常图像判断装置，其特征在于，所述第一图像为RGB图像，所述第一计算单元包括：

第一计算子单元，用于将作为RGB图像的所述第一图像输入至所述判断模块中的血管背景区域识别单元，所述血管背景区域识别单元从作为RGB图像的所述第一图像中识别得到作为RGB图像的所述第一血管背景区域；

所述处理模块包括：

第三计算单元，用于将作为RGB图像的所述第一血管背景区域从RGB空间转换至YUV空间，并提取对应的Y通道图像、U通道图像以及V通道图像；

第四计算单元，用于将作为所述Y通道图像、所述U通道图像以及所述V通道图像的所述第一血管背景区域进行直方图规定化处理以得到作为YUV图像的所述第二图像。