CN114363534B - 一种图像亮度补偿方法、装置及计算机存储介质 - Google Patents

Abstract

本发明公布一种图像亮度补偿方法，包括步骤：获取胶囊内窥镜拍摄的RAW图像数据，插值转换为RGB数据；将RGB数据转换为HSV数据；基于颜色空间识别生物体内胃壁肤色特征；基于识别特征后的矩形图像，得到矩形图像的适合内接圆，沿圆的半径做等距离分割，并基于相邻两个圆，依次得到数个微分环；基于微分环亮度分量累计测量，获取全部微分环的亮度均值，找到等于或接近亮度均值的微分环标定为基准环；获取基准环到所有微分环的亮度均值的偏差系数；基于偏差系数校准所有微分环的亮度分量，输出亮度补偿后的RGB图像。本发明解决了环型光源在体内非线性发散衰减的亮度补偿，提高图像质量，有益于后续图像处理识别训练和阅片的准确性。

Description

一种图像亮度补偿方法、装置及计算机存储介质

技术领域

本发明涉及医疗器械领域，具体涉及到一种可用于消化道检查的胶囊内窥镜。

背景技术

胶囊内窥镜的光源无法做到平行光，导致在实际应用中在不同深度下的光源亮度不均匀且叠加了场景的深度，使得整体图像各个部位亮度不均匀，影响图像亮度质量和基于图像主观的体验。

中国授权专利号2009100773333揭示了一种图像亮度1/3插值装置，解决了RealVideo8下亮度1/3像素点的统一处理以及通过硬件实现该处理过程。该专利的技术方案虽然在数码产品领域具有广泛的产品实现优势，但是仍然无法解决胶囊内窥镜领域的不同深度图像的亮度补偿问题。

因此，有必要开发一种适用于胶囊内窥镜领域的图像亮度补偿方法及装置，解决胶囊内窥镜的环型光源在体内非线性发散衰减的问题，进行亮度补偿，提高图像质量。

发明内容

本发明的技术方案如下：

第一方面，本发明提供一种图像亮度补偿方法，包括以下步骤：

获取胶囊内窥镜拍摄的RAW图像数据，插值转换为RGB数据；

将RGB数据转换为HSV数据；

基于颜色空间识别生物体内胃壁肤色特征；

基于识别特征后的矩形图像，得到矩形图像的适合内接圆，从圆心沿圆的半径做等距离分割，并基于相邻两个圆，依次得到数个微分环；

基于微分环亮度分量累计测量，获取全部微分环的均值亮度，找到等于或接近均值亮度的微分环标定为基准环；

获取基准环到所有微分环的均值亮度的偏差系数；

基于偏差系数，校准所有微分环的亮度分量，输出亮度补偿后的RGB图像。

进一步的，所述基于识别特征后的矩形图像，得到矩形图像的适合内接圆，沿圆的半径做等距离分割，并基于相邻两个圆，依次得到数个微分环具体包括以下步骤：

基于识别特征后的矩形图像，得到矩形图像的适合内接圆半径和中心，依次构造微分环。

进一步的，所述基于微分环亮度分量累计测量，获取全部微分环的亮度均值，找到等于或接近亮度均值的微分环标定为基准环具体包括以下步骤：

使用HSV矩阵的V分量，统计每个微分环的特征亮度；

统计全部微分环的特征亮度，获取亮度均值；

根据亮度均值落到连续相邻微分环的区间，标定基准微分环。

进一步的，所述基于偏差系数，校准所有微分环的亮度分量，输出亮度补偿后的RGB图像具体包括以下步骤：

将所有微分环合成，生成HSV矩阵；

将HSV空间转换回RGB空间；

输出亮度补偿的RGB图像矩阵。

第二方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的图像亮度补偿方法的步骤。

第三方面，本发明提供一种图像亮度补偿装置，包括胶囊内窥镜，进一步包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如第一方面任一项所述的图像亮度补偿方法的步骤。

采用本发明的图像亮度补偿方法及装置，解决了环型光源在体内非线性发散衰减的亮度补偿，提高图像质量，有益于后续图像处理识别训练的准确性和审阅图片的判断准确率。

附图说明

图1是本发明图像亮度补偿方法的处理流程图。

图2是微分环获取流程图。

图3是基准环获取流程图。

图4是图1中校准亮度分量并输出最终图像的处理流程图。

图5是图1中生物体内胃壁肤色特征积分统计示意图。

图6是本发明图像亮度补偿方法的微分环示意图。

图7是本发明的图像亮度补偿装置组成示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参考图1是本发明图像亮度补偿方法的处理流程图、所述的图像亮度补偿方法包括步骤：

步骤101首先获取胶囊内窥镜拍摄的RAW数据，分辨率为M×N，经ISP前端的通用Bayer Pattern插值算法转换为RGB数据，得到矩阵M_RAW0，

步骤102将RGB数据转换到HSV数据，具体转换流程如下：将M_RAW0经过通用的RGB转HSV的算法，得到矩阵M_HSV，采用算法如下：

任取其中一个像素点对其分量依次按如下算法进行转换：

v＝max，

从而得到再按像素点位置组合成矩阵：

步骤103基于颜色空间识别生物体内胃壁肤色特征，进一步参考图5是生物体内胃壁肤色特征积分统计示意图，具体处理流程如下：

采用通用的2D直方图分割算法，自动获取体内胃壁特征颜色坐标，详细算法如下：对M_HSV生成H和S分量的积分统计图，其中D_x,y为对应累积数，其中x轴表示H维度，y轴表示S维度，其中H取值范围为0～180，S取值范围为0～255，从而得到矩阵M_HS如下：

使用胶囊内窥镜针对红色色卡图获取的RGB数据 使用上述公式(1)得到该点的/>获得(H_ref,S_ref)作为参考颜色坐标点，在矩阵M_HS中，以(H_ref,S_ref)为中心，构造一个长宽k*k的矩形区域，k取适当的数值，例如40×60，获取M_HS在此区域内的数据，得到数据集M_HS′

由此对k*k的邻域集M_HS′内，获取离散数据任一(x,y)坐标点x＝1,2,…k,y＝1,2,…,k的梯度：

由此生成梯度数据集如下：

进一步的，为了得到梯度数据集中包含胃壁主要肤色的颜色坐标聚类点集，获取闭合区域集M_r，具体获取流程如下：

对矩阵做水平x和垂直y方向的扫描，并设定梯度阈值threshold₁，如果梯度向量的模|T_x0,|＞|threshold₁|，则获取一个边界点b₀坐标位置(x0,y0)，标记为M_r的一个边界点，遍历整个矩阵后，得到全部的边界点集合：

B{b₀,b₁,b₂…}；

采用一种通用的多边形拟合算法，采用几何多边形选择所述闭合区域B，并将所述几何多边形区域外的点值置0，得到处理后的矩阵M_r；

对M_r中的任一元素值非零点的坐标位置(x,y)，映射到M_HSV矩阵坐标：

获取k*k邻域矩形的左上角在M_HS矩阵的坐标

将M_r中对应到M_HS中/>坐标映射关系为：

对于M_HSV中的任意点采用排序匹配算法，采用公式(2)选中点：

将M_HSV里没有被选中的坐标点V值设置为0，从而分割出体内胃壁肤色在HSV空间的信号矩阵M_r′，从而用来区分黏液，气泡等干扰信息。

步骤104：基于识别特征后的矩形图像，得到矩形图像的适合内接圆，沿圆的半径做等距离分割，并基于相邻两个圆，由圆心向外依次得到数个微分环。

进一步参考图2微分环获取流程图及图6微分环示意图，步骤104具体包括以下步骤：

步骤1041：对矩形图像img(width,height)，取其适合半径的内接圆，基于图像的内接圆半径和中心依次构造包含微分环的矩阵，具体包括以下步骤：

获取胶囊内窥镜的图像中心点(a,b)及半径r：

并对半径做L倍除分割，得到一个适合的微小量：

从图像内接圆圆心开始，基于相邻两个圆周Circel(i+1)andCircel(i)及其内部区域，构造数个微分环，具体构造算法如下：

构造一个与图像大小相同的填充常量矩阵，初始化常量值d_x,y＝1：

基于坐标(x,y)的圆形方程(x-a)²+(y-b)²＝(iΔr)²,i＝1,2,…L；

对iΔr(i＝1,2,…L)确定的半径，采用遍历算法将M_one按坐标代入到圆方程，并将不符合方程的坐标点赋值为0，得到圆心(a,b),以及半径iΔr下的二值填充矩阵M_Circel(i),i＝1,2,…L，使用公式(3),得到几何环状的二值掩膜矩阵：

M_{ring(i)_one}＝M_Circel(i+1)-M_Circel(i)， (3)

步骤1042：获取i＝1,…L共L个微分环的数据，按如下公式，获取特征矩阵通过几何环状的二值掩膜矩阵后的HSV三通道矩阵；

对于两个矩阵的任意坐标(x,y)处，P3_x,y∈M_{ring(i)_one},P4_x,y∈M_r′，其中：

P3_x,y为二值矩阵的点，采用公式(4)拓展为3*3的对角矩阵：

使用矩阵运算，过滤掉M_r′中非特征边界内的数据：

依次遍历所有的坐标点生成矩阵：

循环上述步骤，对i＝1,…L生成包含微分环的矩阵集H：

H＝{M′_ring(1),M′_ring(2)…,M′_ring(L)}。

步骤105：基于微分环亮度分量累计测量，获取全部微分环的矩阵集H的亮度均值，找到等于或接近亮度均值的微分环标定为基准环，进一步参考图3是基准环获取流程图，该处理流程进一步包括以下步骤：

步骤1051：获取M′_ring(i)每个向量元素的各个维数分量数据，如下公式使用矩阵乘法：

h_x,y＝[1 0 0]P5_x,y；

s_x,y＝[0 1 0]P5_x,y；

v_x,y＝[0 0 1]P5_x,y；

基于v_x,y分量得到向量矩阵：

统计每个包含微分环的矩阵的特征亮度：

对每个包含微分环的矩阵的数据做均值统计，其中count＝0，设定阈值threshold₂，当超过阈值时视为有效计数使得count+1，否则不计数，计算公式：

count＝0

步骤1052：统计全部包含微分环的矩阵的特征亮度，获取特征亮度均值，

步骤1053：遍历相邻包含微分环的矩阵(i＝2,…L)的特征亮度均值区间[mean_v(i-1),mean_v(i)]，获取最接近特征均值Mean_global的矩阵为参考矩阵，算法如下：

ifMean_global∈[mean_v(i-1),mean_v(i)]，

setGoldenMean＝mean_v(i),Num_ref＝i。

步骤106：获取基准环参考矩阵Num_ref到H中所有微分环k的亮度均值的偏差系数

步骤107：基于包含微分环的矩阵k的偏差系数校准所有v分量亮度后的HSV图像，输出亮度补偿后的RGB图像：

(ε为常数,其中x＝1,2,…N,y＝1,2,…M)；

最终校准到全图所有包含微分环的矩阵i＝1,2…L。

进一步参考图4是图1中校准亮度分量并输出最终图像的处理流程图，步骤107具体包括以下步骤：步骤1071：微分环合成，对i＝1,…L的包含微分环的矩阵使用纠正偏差系数后的v′_x,y与原h_x,y和s_x,y，合成纠偏后的包含微分环的矩阵矩阵M″_ring(k)：

对k＝1,…L纠偏后的包含微分环的矩阵M的每个向量P_M(x,y)做按分量位或运算，合成整幅图的纠偏后HSV矩阵M_c如下：

步骤1072：HSV空间转换回RGB空间，使用上述RGB空间到HSV空间的逆运算，将M_c转换为M_RAW1；

步骤1073：使用通用的ISP余下模块，将M_RAW1处理输出最终的RGB图像矩阵。

本发明方案根据中心与边缘的胃壁肤色色块的颜色亮度分离空间，基于颜色向量来提取亮度均值生成空间分布，将空间分布图视为深度模型，沿图像适合的内切圆半径做切割，并结合点光源发散的环型分布，得到各个微分环的补偿系数，再经过通用ISP，得到处理后的亮度补偿后的最终图像。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。

本领域普通技术人员也可以理解，本发明技术方案的各个步骤也可以部分省略，依然能达到本发明的发明目的，这些省略后的技术方案也属于本发明的保护范围。

参考图7是本发明的图像亮度补偿装置组成示意图，本发明还提供一种图像亮度补偿装置，该图像亮度补偿装置包括一个或多个处理器及存储器，以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现上述的图像亮度补偿方法的步骤。

采用本发明的图像亮度补偿方法及装置，解决了环型光源在体内非线性发散衰减的亮度补偿，提高图像质量，有益于后续图像处理识别训练的准确性和医生审阅图片的判断准确率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种图像亮度补偿方法，其特征在于，包括以下步骤：

获取胶囊内窥镜拍摄的RAW图像数据，插值转换为RGB数据；

将RGB数据转换为HSV数据；

基于颜色空间识别生物体内胃壁肤色特征；

基于识别特征后的矩形图像，得到矩形图像的适合内接圆，沿圆的半径做等距离分割，并基于相邻两个圆，由圆心向外依次得到数个微分环，具体为：对矩形图像img(width,height)，取其适合半径的内接圆，基于图像的内接圆半径和中心依次构造包含微分环的矩阵，具体包括以下步骤：

获取胶囊内窥镜的图像中心点(a,b)及半径r：

并对半径做L倍除分割，得到一个适合的微小量：

从图像内接圆圆心开始，基于相邻两个圆周Circel(i+1)andCircel(i)及其内部区域，构造数个微分环，具体构造算法如下：

构造一个与图像大小相同的填充常量矩阵，初始化常量值d_x,y＝1：

and x＝1,2,…N,y＝1,2,…M；

基于坐标(x,y)的圆形方程(x-a)²+(y-b)²＝(iΔr)²,i＝1,2,…L；

对iΔr(i＝1,2,…L)确定的半径，采用遍历算法将M_one按坐标代入到圆方程，并将不符合方程的坐标点赋值为0，得到圆心(a,b),以及半径iΔr下的二值填充矩阵M_Circel(i),i＝1,2,…L，使用公式(3),得到几何环状的二值掩膜矩阵：M_{ring(i)_one}＝M_Circel(i+1)-M_Circel(i)，(3)

获取i＝1,…L共L个微分环的数据，按如下公式，获取特征矩阵通过几何环状的二值掩膜矩阵后的HSV三通道矩阵；

对于两个矩阵的任意坐标(x,y)处，P3_x,y∈M_{ring(i)_one},P4_x,y∈M_r′，其中：

P3_x,y为二值矩阵的点，采用公式(4)拓展为3*3的对角矩阵：P3_x,y＝[t],t＝0 or

使用矩阵运算，过滤掉M_r′中非特征边界内的数据：

依次遍历所有的坐标点生成矩阵：

循环上述步骤，对i＝1,…L生成包含微分环的矩阵集H：

H＝{M′_ring(1),M′_ring(2)…,M′_ring(L)}；

基于微分环亮度分量累计测量，获取全部微分环的亮度均值，找到等于或接近亮度均值的微分环标定为基准环；

获取基准环到所有微分环的亮度均值的偏差系数；

基于偏差系数，校准所有微分环的亮度分量，输出亮度补偿后的RGB图像。

2.如权利要求1所述的图像亮度补偿方法，其特征在于，所述基于识别特征后的矩形图像，得到矩形图像的适合内接圆，沿圆的半径做等距离分割，并基于相邻两个圆，由圆心向外，依次得到数个微分环具体包括以下步骤：

基于识别特征后的矩形图像，得到矩形图像的适合内接圆半径和中心，依次构造微分环。

3.如权利要求1所述的图像亮度补偿方法，其特征在于，所述基于微分环亮度分量累计测量，获取全部微分环的亮度均值，找到等于或接近亮度均值的微分环标定为基准环具体包括以下步骤：

使用HSV矩阵的V分量，统计每个微分环的特征亮度；

统计全部微分环的特征亮度，获取亮度均值；

根据亮度均值落到连续相邻微分环的区间，标定基准微分环。

4.如权利要求1所述的图像亮度补偿方法，其特征在于，所述基于偏差系数，校准所有微分环的亮度分量，输出亮度补偿后的RGB图像具体包括以下步骤：

将所有微分环合成，生成HSV矩阵；

将HSV空间转换回RGB空间；

输出亮度补偿后的RGB图像矩阵。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的图像亮度补偿方法的步骤。

6.一种图像亮度补偿装置，包括胶囊内窥镜，其特征在于，进一步包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的图像亮度补偿方法的步骤。