CN115866251B - 基于语义分割的图像信息快速传输方法 - Google Patents

Abstract

本发明涉及图像通信领域，具体涉及基于语义分割的图像信息快速传输方法，包括：获取灰度图像中的多个目标区域，根据每个目标区域的信息熵和灰度方差得到每个目标区域的复杂程度；根据每个目标区域的复杂程度及对应目标区域的距离均值得到每个目标区域的重要程度，根据每个目标区域的重要程度得到每个目标区域所占前景区域的权重；获取重构背景区域的权重；根据每个目标区域所占前景区域的权重和重构背景区域的权重对每个区域进行编码得到编码后的数据，将编码后的数据传输至客户端判断施工人员周围存在的安全隐患。本发明提高了对施工人员周围存在的安全隐患的实时判断的准确度。

Description

基于语义分割的图像信息快速传输方法

技术领域

本发明涉及图像通信领域，具体涉及基于语义分割的图像信息快速传输方法。

背景技术

随着社会的发展，图像传输的技术在不断的被应用到社会各个行业，在进行施工建筑时，为保证施工人员的安全往往会对其进行安全监控，因此将会产生大量的图像，由于图像信息具有形象性、直观性、生动性以及可视化强等突出优点，所以根据图像信息可以判断施工人员工作环境是否存在安全隐患，因此，在施工人员工作时实时传输其周围环境信息尤为重要。

传统的图像传输方法往往是对图像前景与背景进行分割，然后分别对前景区域进行无损压缩，对背景区域进行有损压缩，然后将压缩背景图像、压缩前景图像一起打包发送至客户端；但是在建筑施工图像中，需要关注的是施工人员的周围所存在的事物，根据施工人员的周围所存在的事物判断施工人员的施工环境是否安全，但建筑施工图像中前景区域中的事物，如建筑物，树等虽然会威胁施工人员的安全，但是每个事物对施工人员安全的威胁程度不同，因此需要区分中施工人员的周围所存在的事物对施工人员安全的威胁程度，而且需要将对施工人员安全的威胁程度最大的区域最先传输；而现有技术将压缩背景图像、压缩前景图像一起打包发送至客户端，无法将施工人员的周围所存在的事物按照对施工人员安全的威胁程度由高到进行传输。

发明内容

本发明提供基于语义分割的图像信息快速传输方法，以解决现有的无法将施工人员的周围所存在的事物按照对施工人员安全的威胁程度由高到进行传输。

本发明的基于语义分割的图像信息快速传输方法，采用如下技术方案：

S1、获取建筑施工图像的灰度图像，将灰度图像中的前景区域按元素分割为施工人员区域和多个目标区域，其中，元素代表前景区域所有的人和物，获取每个目标区域的信息熵和灰度方差，根据每个目标区域的信息熵和灰度方差得到每个目标区域的复杂程度；

S2、根据灰度图像中每个施工人员到每个目标区域中心点的距离得到每个施工人员到该目标区域中心点的距离均值，根据每个目标区域的复杂程度及对应目标区域的距离均值得到每个目标区域的重要程度，根据每个目标区域的重要程度得到每个目标区域所占前景区域的权重；

S3、获取灰度图像中背景区域的灰度直方图的每个波峰点的灰度值，将每个波峰点的灰度值作为对应波峰区域对应像素点的灰度值得到重构背景区域，根据每个目标区域所占前景区域的权重得到重构背景区域的权重；

S4、利用每个目标区域所占前景区域的权重和重构背景区域的权重对每个目标区域和重构背景区域使用霍夫曼编码进行编码得到编码后的数据，将编码后的数据进行传输。

进一步的，所述施工人员区域和多个目标区域的方法是：

对灰度图像使用语义分割得到前景区域和背景区域；

将前景区域输入训练好的神经网络，输出施工人员区域；

利用语义分割将前景区域中除施工人员区域外的其他区域进行分割得到多个事物的连通域，将多个事物的连通域作为目标区域得到多个目标区域。

进一步的，所述获取每个目标区域的信息熵的方法是：

获取每个目标区域的灰度直方图；

获取每个目标区域灰度直方图中每个灰度级出现的概率；

利用每个目标区域灰度直方图中每个灰度级出现的概率得到每个目标区域的信息熵。

进一步的，所述得到每个目标区域的重要程度的方法是：

利用每个目标区域的复杂程度与对应目标区域的距离均值的倒数的乘积得到每个目标区域的重要程度。

进一步的，所述得到每个目标区域所占前景区域的权重的方法是：

利用每个目标区域的重要程度和所有目标区域的重要程度的累加和的比值得到每个目标区域所占前景区域的权重。

进一步的，所述得到重构背景区域的方法是：

获取灰度直方图中每个波峰区域所对应的所有像素点的灰度值；

将灰度直方图中每个波峰区域所对应的所有像素点的灰度值替换为该波峰区域波峰点对应像素点的灰度值。

进一步的，所述重构背景区域的权重是按如下方法确定的：

根据每个目标区域所占前景区域的权重获取所有目标区域中占前景区域权重最小的目标区域，并获取占前景区域权重最小的目标区域的权重；

对重构背景区域赋予低于占前景区域权重最小的目标区域的权重得到重构背景区域的权重。

本发明的有益效果是：本发明首先利用语义分割将筑施工图像的灰度图像分割为背景区域和前景区域，将前景区域再次分割得到多个目标区域，根据每个目标区域的复杂程度和每个施工人员到该目标区域的距离均值得到目标区域的重要程度；其中，每个目标区域的复杂程度和每个施工人员到该目标区域的距离均值均反映该目标区域的重要程度，从每个目标区域的复杂程度和每个施工人员到该目标区域的距离两个维度衡量目标区域的重要程度更加准确；

目标区域的重要程度将目标区域对施工人员安全的威胁程度划分了重要等级，将前景区域中的目标区域按照重要程度依次排序，利用霍夫曼编码按照重要程度由高到低对目标区域和重构背景区域进行编码，最终实现了按照灰度图像中施工人员周围所存在的事物的重要程度由高到低的顺序进行编码传输。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于语义分割的图像信息快速传输方法的实施例的流程图；

图2为本发明的背景区域的灰度直方图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种基于语义分割的图像信息快速传输方法的实施例，如图1所示，包括：

S1、获取建筑施工图像的灰度图像，将灰度图像中的前景区域按元素分割为施工人员区域和多个目标区域，其中，元素代表前景区域所有的人和物，获取每个目标区域的信息熵和灰度方差，根据每个目标区域的信息熵和灰度方差得到每个目标区域的复杂程度。

将灰度图像中的前景区域按元素分割为多个目标区域的具体步骤为：使用相机采集建筑施工图像，将建筑施工图像进行灰度处理得到建筑施工图像的灰度图像，对灰度图像使用语义分割得到前景区域和背景区域；将前景区域输入训练好的神经网络，输出施工人员区域；利用语义分割将前景区域中除施工人员区域外的其他区域进行分割得到多个事物的连通域，将多个事物的连通域作为目标区域得到多个目标区域。

获取每个目标区域的信息熵的具体步骤为：获取每个目标区域的灰度直方图，计 算每个目标区域灰度直方图中每个灰度级的个数占灰度级总个数的比值，即每个目标区域 灰度直方图中每个灰度级出现的概率

，利用每个目标区域灰度直方图中每个灰度级出现 的概率得到每个目标区域的信息熵，具体表达式如下：

式中：

表示第

个目标区域灰度直方图中第

个灰度级出现的概率

，

表示第

个目标区域的信息熵，

表示第

个目标区域灰度直方图中灰度级的总个数。

其中，信息熵计算公式为现有技术，每个目标区域的信息熵是用于每个目标区域度量信息量的概念。目标区域越是有序，信息熵就越低；反之，目标区域越是混乱，信息熵就越高。所以，信息熵可以表示每个目标区域的混乱程度。

单纯的利用信息熵衡量每个目标区域的复杂程度，维度单一，会导致所得每个目标区域的复杂程度不够准确，因此还需要计算每个目标区域像素点灰度值的方差，利用方差和信息熵共同表征每个目标区域的复杂程度。

根据每个目标区域的信息熵和灰度方差得到每个目标区域的复杂程度的具体步骤为：根据每个目标区域中像素点的灰度值得到每个目标区域的灰度方差，具体表达式如下：

式中：

表示第

个目标区域的灰度方差，

表示第

个目标区域像素点的个数，

表示第

个目标区域中第

个像素点的灰度值，

表示第

个目标区域的灰度均值。

其中，方差表示一组数据与其平均值的偏离程度，可以衡量一组数据的离散程度，若方差越大，则离散程度越大；计算每个目标区域的灰度方差可以衡量每个区域像素点灰度值的离散程度，越离散，说明该目标区域像素点灰度值的差异越大，即该区域越复杂，因此，利用方差可以衡量每个目标区域的复杂程度。

至此，利用取每个目标区域的信息熵计算公式和灰度方差计算公式可获取每个目标区域的信息熵和灰度方差，利用每个目标区域的信息熵和灰度方差获取每个目标区域的复杂程度，具体表达式如下：

式中：

表示第

个目标区域的信息熵，

表示第

个目标区域的灰度方差，

表示 第

个目标区域的复杂程度。

其中，由于灰度方差可以衡量每个区域像素点灰度值的离散程度，越离散，说明该目标区域像素点灰度值的差异越大，即该区域越复杂；目标区域越是混乱，信息熵就越高，所以，信息熵可以表示每个目标区域的混乱程度；将每个目标区域的信息熵和灰度方差相乘所得结果越大，则该目标区域复杂程度越高。

至此，利用目标区域复杂程度计算公式得到每个目标区域的复杂程度。

S2、根据灰度图像中每个施工人员到每个目标区域中心点的距离得到每个施工人员到该目标区域中心点的距离均值，根据每个目标区域的复杂程度及对应目标区域的距离均值得到每个目标区域的重要程度，根据每个目标区域的重要程度得到每个目标区域所占前景区域的权重。

根据每个施工人员到目标区域中心点的距离均值可以衡量该目标区域对施工人员安全的威胁程度，目标区域离施工人员越近，则威胁程度越大，因此需要计算每个施工人员到目标区域中心点的距离均值来判断每个目标区域对施工人员的威胁程度。

根据灰度图像中每个施工人员到每个目标区域中心点的距离得到每个施工人员 到该目标区域中心点的距离均值的具体步骤为：以每个目标区域的像素点横坐标的平均值 和纵坐标的平均值为每个目标区域的中心点坐标，记为

，同理，获取灰度图像中每 个施工人员区域的中心点坐标，记为

，根据每个施工人员区域的中心点坐标和每 个目标区域的中心点坐标得到每个施工人员到目标区域

的中心点的距离，根据每个施工 人员到目标区域

的中心点的距离得到每个施工人员到目标区域

的中心点距离均值

。至 此得到每个施工人员到任意一个目标区域中心点的距离均值。

利用每个目标区域的复杂程度和每个施工人员到对应目标区域中心点的距离均值获取每个目标区域的重要程度的具体步骤为：根据计算每个施工人员到目标区域中心点的距离均值来判断每个目标区域对施工人员的威胁程度，同时，每个区域的复杂程度也可以判断每个目标区域对施工人员的威胁程度，如果只从单方面判断每个目标区域对施工人员的威胁程度不具有代表性，因此本发明从算每个施工人员到目标区域中心点的距离均值和每个区域的复杂程度两方面判断每个目标区域对施工人员的威胁程度，将每个目标区域对施工人员的威胁程度作为每个目标区域的重要程度，具体表达式如下：

式中：

表示第

个目标区域的重要程度，

表示第

个目标区域的复杂程度，

表 示施工人员到第

个目标区域的距离均值。

其中， 因为目标区域的复杂程度越大，该目标区域对施工人员的威胁程度越大；施工人员到目标区域的距离均值越小，该目标区域对施工人员的威胁程度越大；因此，该目标区域的重要程度计算公式将目标区域的复杂程度和施工人员到目标区域的距离均值的倒数相乘，其结果越大，则该目标区域的重要程度越高。从目标区域的复杂程度和施工人员到目标区域的距离均值两个方面对目标区域的重要程度进行衡量，使所得目标区域的重要程度更加准确。

至此，得到了每个目标区域的重要程度。

根据每个目标区域的重要程度得到每个目标区域所占前景区域的权重的具体步骤为：获取所有目标区域的重要程度的累加和，利用每个目标区域的重要程度和所有目标区域的重要程度的累加和的比值得到每个目标区域所占前景区域的权重。

S3、获取灰度图像中背景区域的灰度直方图的每个波峰点的灰度值，将每个波峰点的灰度值作为对应波峰区域对应像素点的灰度值得到重构背景区域，根据每个目标区域所占前景区域的权重得到重构背景区域的权重。

由于灰度图像中背景区域也需要进行传输，但背景对于施工人员安全威胁相较于 前景区域较小，因此，背景区域所占权重应小于所有目标区域权重，但背景区域像素点的灰 度值不统一，会影响后续压缩编码的效率，因此，获取灰度图像中背景区域的灰度直方图的 每个波峰点的灰度值，如图2所示,以

的波峰区域为例，

的波峰区域中波峰点的 灰度值为

,将

的波峰区域中波峰点的灰度值

作为

的波峰区域中对应 的每个像素点的灰度值，同理，得到其他波峰区域对应每个像素点的灰度值。将灰度直方图 中所有波峰点的灰度值作为对应波峰区域中每个像素点的灰度值，依此得到重构背景区 域。

由于背景区域对施工人员安全的威胁程度最低，因此对其赋予最低的权重，具体步骤为：根据每个目标区域所占前景区域的权重获取所有目标区域中占前景区域权重最小的目标区域，并获取占前景区域权重最小的目标区域的权重；对重构背景区域赋予低于占前景区域权重最小的目标区域的权重得到重构背景区域的权重。

S4、根据每个目标区域所占前景区域的权重和重构背景区域的权重对每个目标区域和重构背景区域使用霍夫曼编码进行编码得到编码后的数据，将编码后的数据进行传输。

由于我们需要将重要程度高的目标区域优先传输，因此，使用霍夫曼编码，重要程度高的目标区域所占权重大越优先编码传输，且权重越大编码数据越不容易丢失。具体使用霍夫曼编码的具体步骤为：将信源符号的概率按减小的顺序排队；把两个最小的概率相加，并继续这一步骤，始终将较高的概率分支放在右边，直到最后变成概率１；画出由概率１处到每个信源符号的路径，顺序记下沿路径的０和１，所得就是该符号的霍夫曼码字；将每对组合的左边一个指定为0，右边一个指定为1（或相反）。

使用霍夫曼编码对每个目标区域及重构背景区域进行编码得到编码后的数据，将编码后的数据传输至分析服务器进行解码得到解码后的数据，根据解码后的数据判断施工人员周围存在的安全隐患。

本发明的有益效果是：本发明首先利用语义分割将筑施工图像的灰度图像分割为背景区域和前景区域，将前景区域再次分割得到多个目标区域，根据每个目标区域的复杂程度和每个施工人员到该目标区域的距离均值得到目标区域的重要程度；其中，每个目标区域的复杂程度和每个施工人员到该目标区域的距离均值均反映该目标区域的重要程度，从每个目标区域的复杂程度和每个施工人员到该目标区域的距离两个维度衡量目标区域的重要程度更加准确；

目标区域的重要程度将目标区域对施工人员安全的威胁程度划分了重要等级，将前景区域中的目标区域按照重要程度依次排序，利用霍夫曼编码按照重要程度由高到低对目标区域和重构背景区域进行编码，最终实现了按照灰度图像中施工人员周围所存在的事物的重要程度由高到低的顺序进行编码传输。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于语义分割的图像信息快速传输方法，其特征在于，包括：

S1、获取建筑施工图像的灰度图像，将灰度图像中的前景区域按元素分割为施工人员区域和多个目标区域，其中，元素代表前景区域所有的人和物，获取每个目标区域的信息熵和灰度方差，根据每个目标区域的信息熵和灰度方差得到每个目标区域的复杂程度；

S2、根据灰度图像中每个施工人员到每个目标区域中心点的距离得到每个施工人员到该目标区域中心点的距离均值，根据每个目标区域的复杂程度及对应目标区域的距离均值得到每个目标区域的重要程度，根据每个目标区域的重要程度得到每个目标区域所占前景区域的权重；

S3、获取灰度图像中背景区域的灰度直方图的每个波峰点的灰度值，将每个波峰点的灰度值作为对应波峰区域对应像素点的灰度值得到重构背景区域，根据每个目标区域所占前景区域的权重得到重构背景区域的权重；

S4、利用每个目标区域所占前景区域的权重和重构背景区域的权重对每个目标区域和重构背景区域使用霍夫曼编码进行编码得到编码后的数据，将编码后的数据进行传输；

所述分割为施工人员区域和多个目标区域的方法是：

对灰度图像使用语义分割得到前景区域和背景区域；

将前景区域输入训练好的神经网络，输出施工人员区域；

利用语义分割将前景区域中除施工人员区域外的其他区域进行分割得到多个事物的连通域，将多个事物的连通域作为目标区域得到多个目标区域；

所述重构背景区域的权重是按如下方法确定的：

根据每个目标区域所占前景区域的权重获取所有目标区域中占前景区域权重最小的目标区域，并获取占前景区域权重最小的目标区域的权重；

对重构背景区域赋予低于占前景区域权重最小的目标区域的权重得到重构背景区域的权重。

2.根据权利要求1所述的基于语义分割的图像信息快速传输方法，其特征在于，所述获取每个目标区域的信息熵的方法是：

获取每个目标区域的灰度直方图；

获取每个目标区域灰度直方图中每个灰度级出现的概率；

利用每个目标区域灰度直方图中每个灰度级出现的概率得到每个目标区域的信息熵。

3.根据权利要求1所述的基于语义分割的图像信息快速传输方法，其特征在于，所述得到每个目标区域的重要程度的方法是：

利用每个目标区域的复杂程度与对应目标区域的距离均值的倒数的乘积得到每个目标区域的重要程度。

4.根据权利要求1所述的基于语义分割的图像信息快速传输方法，其特征在于，所述得到每个目标区域所占前景区域的权重的方法是：

利用每个目标区域的重要程度和所有目标区域的重要程度的累加和的比值得到每个目标区域所占前景区域的权重。

5.根据权利要求1所述的基于语义分割的图像信息快速传输方法，其特征在于，所述得到重构背景区域的方法是：

获取灰度直方图中每个波峰区域所对应的所有像素点的灰度值；

将灰度直方图中每个波峰区域所对应的所有像素点的灰度值替换为该波峰区域波峰点对应像素点的灰度值。

Images