CN115100084A

CN115100084A - 港口复杂光照环境智能图像增强摄像方法

Info

Publication number: CN115100084A
Application number: CN202211029015.1A
Authority: CN
Inventors: 张然; 桑宝玲; 王洪波; 郑忠臣; 于文江; 马宏达
Original assignee: TIANJIN LIANDA COMMUNICATION DEVELOPMENT CO LTD
Current assignee: TIANJIN LIANDA COMMUNICATION DEVELOPMENT CO LTD
Priority date: 2022-08-26
Filing date: 2022-08-26
Publication date: 2022-09-23

Abstract

本发明提供了一种港口复杂光照环境智能图像增强摄像方法，包括以下步骤：S1、计算图像的灰度；S2、判断图像的灰度值是否处于灰度区间内；S3、提取水平方向梯度值和垂直方向梯度值，分析图像清晰度；S4、判断图像清晰度是否高于Ten阈值，是，则图像不做处理，直接输出图像，否，则启动Retinex算法对于图像进行增强处理。本发明有益效果：可以应对在复杂天气及光照环境下吊具进行装卸货物时出现可视性差，通过感光元器件对监控图像各个区域图像检测，做出相应的数据分析并且自动对于当前相机的成像图像进行增强，提高可视性，保证作业的准确与安全。

Description

港口复杂光照环境智能图像增强摄像方法

技术领域

本发明属于装卸船机械吊具的监控领域，尤其是涉及一种港口复杂光照环境智能图像增强摄像方法。

背景技术

在21世纪开始以来，人类的科技进步呈现出飞速发展的态势。而中国是人类科技发展进步的主力军。在日益新兴的各个领域最常用也是最容易被人忽视的就是传感器与监控设备。监控图像易受到传感器、拍摄场景以及成像环境等影响，在复杂环境下（如雾、沙尘、雨、雪、低光照、强光线等）拍摄的图像常存在高曝光、低可视和严重色偏等现象。质量退化的图像不能清晰、准确的记录和表达场景中的信息，直接影响港口操作人员视觉感受，更进一步影响后续港口装卸任务执行。典型事例就是在港口的装卸船机械上面的吊具摄像系统使用过程中就会出现舱口内部无光线，而船舱外部由于处于港口光线有特别强烈。因此造成了舱口内部出现过度黑暗，监控图像无法观察船舱内部状态，无法正常作业的情况。为此需要研发设计一套应用于各种工作环境的港口复杂光照环境智能图像增强摄像方法。

发明内容

有鉴于此，本发明旨在提出一种港口复杂光照环境智能图像增强摄像方法，以应对在复杂天气及光照环境下吊具进行装卸货物时出现可视性差，通过感光元器件对监控图像各个区域图像检测，做出相应的数据分析并且自动对于当前相机的成像图像进行增强，提高可视性，保证作业的准确与安全。

为达到上述目的，本发明的技术方案是这样实现的：

一种港口复杂光照环境智能图像增强摄像方法，包括以下步骤：

S1、摄像机接收图像，摄像系统计算图像的灰度；

S2、摄像系统判断图像的灰度值是否处于灰度区间内，是，则直接进入步骤S3；否，则通过调整公式调整图像的对比度和灰度值后再进入步骤S3；

S3、摄像系统将经过步骤S2处理的图像运用tenengard梯度算法分别提取水平方向梯度值和垂直方向梯度值，并通过水平方向梯度值和垂直方向梯度值分析图像清晰度；

S4、摄像系统判断图像清晰度是否高于Ten阈值，是，则图像不做处理，直接输出图像，否，则启动Retinex算法对于图像进行增强处理。

进一步的，在步骤S1中的计算图像的灰度包括以下步骤：

A1、将图像的RGB颜色空间转为YIQ色彩空间；

A2、通过YIQ色彩空间得到灰度公式。

进一步的，所述灰度公式为：

Y = 0.299R + 0.587G + 0.114B；

其中，Y为颜色的明视度；R为Red；G为Green；B为Blue。

进一步的，在步骤S2中的所述灰度区间的范围为80-180。

进一步的，在步骤S2中的所述调整公式为：

dst = alpha * src + beta；

其中，src为原图；dst为目标图；alpha > 0，用于控制图像对比度；beta为增益变量,用于控制图像灰度。

进一步的，在步骤S3中的所述tenengard梯度算法的公式为：

；

；

其中，Ten为tenengrad值；n为像数总数；x为像数点坐标值；y为像数点坐标值；S（x，y）为人眼所能接收到的反射光图像；Gx为水平方向梯度值，Gy为垂直方向梯度值；

为像素点（x，y）的值：

进一步的，在步骤S3中的所述水平方向梯度值、所述垂直方向梯度值的矩阵分别为：

Gx:

Gy:

其中，Gx为水平方向梯度值，Gy为垂直方向梯度值。

进一步的，在步骤S4中的图像增强处理包括以下步骤：

B1、读入人眼所能接收到的反射光图像S（x，y），并判断S（x，y）是否为灰度图，是，则将S（x，y）每个像素的灰度值由整数值转换为浮点数，并转换到对数域；否，则将S（x，y）的每个颜色分类分别处理，将每个分量的像素值由整数值转换为浮点数，并转换到对数域；

B2、输入尺度C，确定参数λ值，并进入步骤B3；

B3、通过取值公式计算得到r（x，y）；

B4、通过转换公式将r（x，y）从对数域转换到实数域得到R（x，y）；

B5、对R（x，y）线性拉伸并输出显示。

进一步的，在步骤B3中的所述取值公式为：

；

其中，r（x，y）为对数域输出图像；S（x，y）为人眼所能接收到的反射光图像；*为卷积符号，F（x，y）为中心环绕函数。

进一步的，在步骤B4中的所述转换公式为：

；

其中，r（x，y）为对数域输出图像；S（x，y）为人眼所能接收到的反射光图像；L（x，y）为入射光图像；R（x，y）为物体的反射性质图像。

相对于现有技术，本发明所述的港口复杂光照环境智能图像增强摄像方法具有以下优势：

本发明所述的港口复杂光照环境智能图像增强摄像方法，本发明提出了一种可以对图像中重要区域识别时图像清晰度过低无法正常看清被照物体的形态、轮廓等情况下可以通过对图像增强处理从而实现看清、看仔细该区域的人员或者物体。在处于复杂光照环境下港口装卸船作业时，司机抓取作业看不清楚，会使几十吨的吊具砸到船舱低或船舱壁等不安全情况的发生。因此在监控视像头的控制单元加入此次发明功能可以清晰看清舱内各部位情况；加快司机作业效率、保障作业安全。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的Retinex算法的原理示意图；

图2为本发明实施例所述的Retinex算法处理流程示意图；

图3为本发明实施例所述的摄像方法流程示意图；

图4为本发明实施例所述的Y=90.162354效果灰度示意图；

图5为本发明实施例所述的Y=69.964966效果示意图；

图6为本发明实施例所述的alpha=2，beta=10的效果灰度示意图；

图7为本发明实施例所述的alpha=2，beta=10的效果示意图；

图8为本发明实施例所述的Ten=41.425057效果灰度示意图；

图9为本发明实施例所述的Ten=23.642377效果示意图；

图10为本发明实施例所述的处理后效果灰度示意图；

图11为本发明实施例所述的处理后效果示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面将参考附图并结合实施例来详细说明本发明。

名词解释：

Tenengrad梯度算法：利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，图像越清晰。以下是具体实现，这里衡量的指标是经过Sobel算子处理后的图像的平均灰度值，值越大，代表图像越清晰。

Sobel算子：索贝尔算子是计算机视觉领域的一种重要处理方法。主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测。索贝尔算子是把图像中每个像素的上下左右四领域的灰度值加权差，在边缘处达到极值从而检测边缘。

如图1至图11所示，港口复杂光照环境智能图像增强摄像方法，包括以下步骤：

S1、摄像机接收图像，摄像系统计算图像的灰度；

在本实施例里所涉及到的摄像系统为现有技术。本发明提出了一种可以对图像中重要区域识别时图像清晰度过低无法正常看清被照物体的形态、轮廓等情况下可以通过对图像增强处理从而实现看清、看仔细该区域的人员或者物体。在处于复杂光照环境下港口装卸船作业时，司机抓取作业看不清楚，会使几十吨的吊具砸到船舱低或船舱壁等不安全情况的发生。因此在监控视像头的控制单元加入此次发明功能可以清晰看清舱内各部位情况；加快司机作业效率、保障作业安全。

在本发明一种优选的实施方式中，在步骤S1中的计算图像的灰度包括以下步骤：

A1、将图像的RGB颜色空间转为YIQ色彩空间；

A2、通过YIQ色彩空间得到灰度公式。

在本发明一种优选的实施方式中，所述灰度公式为：

Y = 0.299R + 0.587G + 0.114B；

其中，Y为颜色的明视度；R为Red；G为Green；B为Blue。

在本发明一种优选的实施方式中，在步骤S2中的所述灰度区间的范围为80-180。

在本发明一种优选的实施方式中，在步骤S2中的所述调整公式为：

dst = alpha * src + beta；

在本发明一种优选的实施方式中，在步骤S3中的所述tenengard梯度算法的公式为：

；

；

其中，Ten为tenengrad值，为衡量清晰度的值；n为像数总数；x为像数点坐标值；y为像数点坐标值；S（x，y）为人眼所能接收到的反射光图像；Gx为水平方向梯度值，Gy为垂直方向梯度值；

为像素点（x，y）的值（亮度值或者叫灰度值）：

在本发明一种优选的实施方式中，在步骤S3中的所述水平方向梯度值、所述垂直方向梯度值的矩阵分别为：

Gx:

Gy:

其中，Gx为水平方向梯度值，Gy为垂直方向梯度值。

在实施例中，港口复杂光照环境智能图像增强摄像方法，包括以下步骤：

1.摄像机接收到图像，计算图像的灰度，判断是否过曝或者过暗。计算方法为：将图像RGB颜色空间转为YIQ色彩空间，其中Y是指颜色的明视度，即亮度：Y = 0.299R +0.587G + 0.114B（R=Red、G=Green、B=Blue）。当灰度值在一个合理范围内，不进行处理。

如图4所示，Y=90.162354在正常光照范围内。

如图5所示，Y=69.964966光照偏暗。

2.当灰度值高于一个过曝阈值或者低于一个过暗阈值时，调整对比度和灰度值以适应作业人员的人眼接受范围。公式为：

dst = alpha * src + beta（src为原图，dst为目标图，alpha > 0，控制图像对比度，beta是增益变量,控制图像灰度）。

如图6、图7所示，图6、图7分别为alpha=2,beta=10的效果图。

3.将经过处理的图片运用tenengard梯度算法采用Sobel算子分别提取水平和垂直方向的梯度值分析图像清晰度。公式为：

Gx:

Gy:

当图像清晰度高于Ten阈值，图像不做处理，低于Ten阈值则启动Retinex算法对于图像进行增强处理。在本实施例里，所述Ten阈值的值18，Ten阈值，图像越大越清晰。

如图8、图9所示，图8Ten=41.425057大于图9Ten=23.642377，图8清晰度要好于图9。

4.Retinex算法的理论基础是三色理论和颜色恒常性：

即物体的颜色是由物体对长波（红色）、中波（绿色）、短波（蓝色）光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即retinex是以色感一致性（颜色恒常性）为基础的。如图1所示，如果把一幅图像看作是由照射光和反射光组成的话，Retinex图像增强的基本思想就是去除照射光的影响，保留物体自身的反射属性。

在本发明一种优选的实施方式中，在步骤S4中的图像增强处理包括以下步骤：

B2、输入尺度C，确定参数λ值，并进入步骤B3；

B3、通过取值公式计算得到r（x，y）；

B4、通过转换公式将r（x，y）从对数域转换到实数域得到R（x，y），即输出的图像；

B5、对R（x，y）线性拉伸并输出显示。

在本发明一种优选的实施方式中，在步骤B3中的所述取值公式为：

；

在本发明一种优选的实施方式中，在步骤B4中的所述转换公式为：

；

在本实施例中，在图1中，

，其中，L（x，y）表示入射光图像，它直接决定了图像中像素所能达到的动态范围，R（x，y）表示物体的反射性质图像，即图像的内在属性，S（x，y）表示人眼所能接收到的反射光图像。Retinex理论的基本思想就是在原始图像中，通过某种方法去除或者降低入射图像的影响，从而尽量的保留物体本质的反射属性图像。从数学来讲，求解R（x，y）是一个奇异问题，只能通过数学方法近似的估计来计算。根据灰度图像估计方法的不同，先后涌现出很多Retinex算法，虽然各种方法在表现形式上有所不同，但实质上基本是一致的，其一般的处理过程如图2所示。

一般我们把照射图像假设估计为空间平滑图像，人眼所能接收到的反射光图像为S（x，y），物体的反射性质图像为R（x，y），灰度图像为L（x，y），由此可以得到Retinex算法公式为：

这里，r（x，y）为对数域输出图像，*为卷积符号，F（x，y）为中心环绕函数，可以表示为：

C表示为高斯环绕尺度，λ是一个尺度，它的取值必须满足以下条件：

从上面的式子可以看出，Retinex算法中的卷积可以看做是对空间中的照度图像的计算，它的物理意义可以表示为通过计算图像中像素点与周围区域在加权平均来估计图像中照度的变化，并将其去除，最后只保留图像中物体的反射属性，从而达到增强的目的。

Retinex算法实现流程：

（1）读入人眼所能接收到的反射光图像S（x，y），若为灰度图，则将图像每个像素的灰度值由整数值转换为浮点数，并转换到对数域；若输入是彩图，则将图像的每个颜色分类分别处理，将每个分量的像素值由整数值转换为浮点数，并转换到对数域中，方便后面数据的计算；

（2）输入尺度C；在离散条件下，积分转换为求和，进一步确定参数λ的值；

（3）根据前面的公式，计算得到r（x，y）；如果是彩图，则每个通道均有一个ri=（x，y）；

（4）将r（x，y）从对数域转换到实数域得到物体的反射性质图像R（x，y）；

（5）对R（x，y）线性拉伸并以相应的格式输出显示。

在前面的公式中，中心环绕函数F（x，y）采用低通函数，能够在算法中估计出照射图像所对应的分量，在人类的视觉系统中，人眼对边缘部分的高频信息相当敏感，所以Retinex算法可以较好的增强图像中的边缘信息。

Retinex算法具有比较好的颜色再现性、亮度恒常性与动态范围压缩等特性。保证在复杂光照的环境下有较好的视觉效果，确保作业时操作人员的视野及清晰度。

如图10、图11所示，图10、图11经过处理后的图片，明显清晰度要好于原图。

其中，图4、图6、图8、图10均为彩色图，为符合专利说明书附图要求故将彩色图改为灰度图。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。