CN114494267A - 一种变电站和电缆隧道场景语义构建系统和方法 - Google Patents

Abstract

本发明提出了一种变电站和电缆隧道场景语义构建系统和方法。所述方法包括：利用传感器采集所述变电站和电缆隧道环境，获得RGB‑D图像；对所述RGB‑D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；获取目标独立图像对应的语义信息，并将语义信息赋值于目标独立图像，形成带有语义信息的目标图像；利用RGB‑D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；将目标图像融合到三维地图中，形成三维语义地图；在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库。所述系统包括与所述方法步骤对应的模块。

Description

一种变电站和电缆隧道场景语义构建系统和方法

技术领域

本发明提出了一种变电站和电缆隧道场景语义构建系统和方法，属于语义构建技术领域。

背景技术

语义地图可以被广泛应用于机器人、导航和人机交互等领域。室内语义地图通常包括空间属性信息，例如建筑物的平面结构，房间分布等，以及包括语义属性信息，如各个房间属性和功能，以及房间内的物体类别和位置信息等。语义地图构建的目标是精确地在地图上标记语义信息。但是，现有三维语义地图并未应用到变电站和电缆隧道所处场景中，由于变电站和电缆隧道所处场景相对复杂，三维语义地图形成难度较大，易导致三维语义地图的语义准确度降低。

发明内容

本发明提供了一种变电站和电缆隧道场景语义构建系统和方法，用以解决现有变电站和电缆隧道场景下，三维语义地图的语义准确度较低的问题，所采取的技术方案如下：

一种变电站和电缆隧道场景语义构建方法，所述方法包括：

利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；

利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；

获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；

利用所述RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；

将所述目标图像融合到所述三维地图中，形成三维语义地图；

在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库。

进一步地，所述将所述目标图像融合到所述三维地图中，形成三维语义地图包括：

在所述三维地图中获取所述变电站和电缆隧道环境中各目标对象对应的目标图像；

将所述三维地图进行坐标分割，获取所述目标图像对应的图像坐标信息；

提取每个目标图像的语义信息，将所述语音信息标注在所述目标图像上；

根据图像坐标信息将所述标注有语义信息的目标图像融合至所述三维地图中，形成三维语义地图。

进一步地，在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库，包括：

针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；

建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；

将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；

通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

进一步地，针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库，包括：

设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；

运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令，获取每个运维管理人员的语音指令；

利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

进一步地，建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系，包括：

将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；

按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系。

进一步地，将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库，包括：

获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；

按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联。

进一步地，通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控，包括：

反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值；

利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控。

进一步地，反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，包括：

步骤1、反复三次播放每个个人语音数据库中的语音指令录制信息，

步骤2、根据每个语音指令与语音控制指令之间的对应关系，将语音指令转换为语音控制指令；

步骤3、按照语音指令对照表依次检测每一次语音指令所转换语音控制指令的转换结果是否正确；如果出现语音指令转换错误，则执行步骤4；如果全部正确，则执行步骤5；

步骤4、重新按照每个语音指令与语音控制指令之间的对应关系进行语音指令对应关联，并重复步骤1和步骤2直至所有语音指令转换结果均为正确结果；

步骤5、记录每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换所用时间，并将每个语音指令完成语音控制指令转换所用时间即为单指令响应时间；

步骤6、利用每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换的单指令响应时间获取每个语音指令完成语音控制指令转换的识别响应时间阈值。所述识别响应时间阈值通过如下公式获取：

其中，T表示识别响应时间阈值；T_i表示反复三次播放中第i次播放时，语音指令转换语音控制指令所用时间；T₀表示系统建立过程中，语音指令转换为语音控制指令所用的理论相应时间；T_max为反复三次播放中，每个语音指令转换语音控制指令对应所用的最长时间。

进一步地，利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控，包括：

当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；

当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

一种变电站和电缆隧道场景语义构建系统，所述系统包括：

采集模块，利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；

图像分割模块，用于利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；

语义获取模块，用于获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；

三维地图建立模块，用于利用所述RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；

语义地图建立模块，用于将所述目标图像融合到所述三维地图中，形成三维语义地图；

语音语义建立模块，用于在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库；

其中，所述语义地图建立模块包括：

目标图像获取模块，用于在所述三维地图中获取所述变电站和电缆隧道环境中各目标对象对应的目标图像；

坐标获取模块，用于将所述三维地图进行坐标分割，获取所述目标图像对应的图像坐标信息；

提取模块，用于提取每个目标图像的语义信息，将所述语音信息标注在所述目标图像上；

地图形成模块，用于根据图像坐标信息将所述标注有语义信息的目标图像融合至所述三维地图中，形成三维语义地图。

进一步地，所述语音语义建立模块包括：

录音模块，用于针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；

建立模块，用于建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；

关联模块，用于将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；

监控模块，用于通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

进一步地，所述录音模块包括：

设置模块，用于设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；

语音收录模块，用于运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令，获取每个运维管理人员的语音指令；

数据库建立模块，用于利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

进一步地，所述建立模块包括：

标记模块，用于将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；

对应模块，用于按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系；

所述关联模块包括：

获取模块，用于获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；

对应关联模块，用于按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联；

所述监控模块包括：

播放模块，用于反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值；

时间监控模块，用于利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控。

其中，所述播放模块的运行过程包括：

步骤1、反复三次播放每个个人语音数据库中的语音指令录制信息，

步骤2、根据每个语音指令与语音控制指令之间的对应关系，将语音指令转换为语音控制指令；

步骤3、按照语音指令对照表依次检测每一次语音指令所转换语音控制指令的转换结果是否正确；如果出现语音指令转换错误，则执行步骤4；如果全部正确，则执行步骤5；

步骤4、重新按照每个语音指令与语音控制指令之间的对应关系进行语音指令对应关联，并重复步骤1和步骤2直至所有语音指令转换结果均为正确结果；

步骤5、记录每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换所用时间，并将每个语音指令完成语音控制指令转换所用时间即为单指令响应时间；

步骤6、利用每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换的单指令响应时间获取每个语音指令完成语音控制指令转换的识别响应时间阈值。所述识别响应时间阈值通过如下公式获取：

其中，T表示识别响应时间阈值；T_i表示反复三次播放中第i次播放时，语音指令转换语音控制指令所用时间；T₀表示系统建立过程中，语音指令转换为语音控制指令所用的理论相应时间；T_max为反复三次播放中，每个语音指令转换语音控制指令对应所用的最长时间。

其中，所述时间监控模块包括：

响应时间监控模块，用于当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；

重联模块，用于当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

本发明有益效果：

本发明提出的一种变电站和电缆隧道场景语义构建系统和方法，能够有效提高变电站和电缆隧道场景的三维语义地图的语义表示准确性，同时，通过语音语义库的构建能够有效配合三维语义地图对变电站和电缆隧道场景工作的运维机器人进行更准确的控制，并能够针对工作人员的任何带有地方口音的语音指令进行有效识别，有效提高语音指令识别的准确性。同时，不同于传统方言语音识别的方言至普通话的语音算法，本发明采用工作人员发出语音指令与语音控制指令之间进行编号对应关联的方式，进行口音语音或方言语音至语音控制指令之间的对应识别，能够有效降低语音识别算法复杂度和难度，有效提高语音识别处理速度和相应速度，进而极大程度上提高语音识别效率，使更符合针对变电站和电缆隧道场景这种环境恶劣需要及时进行操作反应的工作场景。

附图说明

图1为本发明所述方法的流程图一；

图2为本发明所述方法的流程图二；

图3为本发明所述方法的流程图三；

图4为本发明所述系统的系统框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提出了一种变电站和电缆隧道场景语义构建方法，如图1所示，所述方法包括：

S1、利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；

S2、利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；

S3、获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；

S4、利用所述RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；

S5、将所述目标图像融合到所述三维地图中，形成三维语义地图；

S6、在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库。

其中，所述将所述目标图像融合到所述三维地图中，形成三维语义地图包括：

S501、在所述三维地图中获取所述变电站和电缆隧道环境中各目标对象对应的目标图像；

将所述三维地图进行坐标分割，获取所述目标图像对应的图像坐标信息；

S502、提取每个目标图像的语义信息，将所述语音信息标注在所述目标图像上；

S503、根据图像坐标信息将所述标注有语义信息的目标图像融合至所述三维地图中，形成三维语义地图。

上述技术方案的工作原理为：首先，利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；然后，利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；之后，获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；随后，利用所述 RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；然后，将所述目标图像融合到所述三维地图中，形成三维语义地图；最后，在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库。

上述技术方案的效果为：能够有效提高变电站和电缆隧道场景的三维语义地图的语义表示准确性，同时，通过语音语义库的构建能够有效配合三维语义地图对变电站和电缆隧道场景工作的运维机器人进行更准确的控制。

本发明的一个实施例，如图2所示，在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库，包括：

S601、针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；

S602、建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；

S603、将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；

S604、通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

上述技术方案的工作原理为：首先，针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；然后，建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；之后，将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；最后，通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

上述技术方案的效果：本实施例提出的一种变电站和电缆隧道场景语义构建方法能够针对工作人员的任何带有地方口音的语音指令进行有效识别，有效提高语音指令识别的准确性。同时，不同于传统方言语音识别的方言至普通话的语音算法，本实施例采用工作人员发出语音指令与语音控制指令之间进行编号对应关联的方式，进行口音语音或方言语音至语音控制指令之间的对应识别，能够有效降低语音识别算法复杂度和难度，有效提高语音识别处理速度和相应速度，进而极大程度上提高语音识别效率，使更符合针对变电站和电缆隧道场景这种环境恶劣需要及时进行操作反应的工作场景。

本发明的一个实施例，针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库，包括：

S6011、设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；

S6012、运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令，获取每个运维管理人员的语音指令；

S6013、利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

上述技术方案的工作原理为：首先，设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；然后，运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令，获取每个运维管理人员的语音指令；最后，利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

上述技术方案的效果：通过上述方式能够有效获取每个管理人员的个人语音信息，形成每个工作人员的专属个人语音信息库，使每个管理人员的语音信息进行有效区分，有效提高后续语音指令向语音控制指令转换的准确性和效率。

本发明的一个实施例，建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系，包括：

S6021、将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；

S6022、按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系。

上述技术方案的工作原理为：首先，将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；然后，按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系。

上述技术方案的效果：通过设置每个语音指令对应的唯一标识码的方式有效提高后续语音指令向语音控制指令转换的准确性和效率。

本发明的一个实施例，将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库，包括：

S6031、获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；

S60232、按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联。

上述技术方案的工作原理为：首先，获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；然后，按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联。

上述技术方案的效果：通过上述方式有效提高工作人员发出的语音指令与系统设置的语音控制指令之间的对应准确性，进而有效提高后续语音指令向语音控制指令转换的准确性和效率。

本发明的一个实施例，通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控，包括：

S6041、反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值；

S6042、利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控。

上述技术方案的工作原理为：首先，反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值；然后，利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控。

上述技术方案的效果为：本实施例采用工作人员发出语音指令与语音控制指令之间进行编号对应关联的方式，进行口音语音或方言语音至语音控制指令之间的对应识别，能够有效降低语音识别算法复杂度和难度，有效提高语音识别处理速度和相应速度，进而极大程度上提高语音识别效率，使更符合针对变电站和电缆隧道场景这种环境恶劣需要及时进行操作反应的工作场景。另一方面，通过上述方式能够在运维工作实施过程中，针对每个语音指令的识别和转换进行独立监控，有效提高每个语音指令的监控力度，并针对存在识别响应时间过长的语音指令进行重新对应关联，进而提高每个语音指令的识别准确性、独立监控性以及独立纠错性。

本发明的一个实施例，如图3所示，反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，包括：

步骤1、反复三次播放每个个人语音数据库中的语音指令录制信息，

步骤2、根据每个语音指令与语音控制指令之间的对应关系，将语音指令转换为语音控制指令；

步骤3、按照语音指令对照表依次检测每一次语音指令所转换语音控制指令的转换结果是否正确；如果出现语音指令转换错误，则执行步骤4；如果全部正确，则执行步骤5；

步骤4、重新按照每个语音指令与语音控制指令之间的对应关系进行语音指令对应关联，并重复步骤1和步骤2直至所有语音指令转换结果均为正确结果；

步骤5、记录每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换所用时间，并将每个语音指令完成语音控制指令转换所用时间即为单指令响应时间；

步骤6、利用每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换的单指令响应时间获取每个语音指令完成语音控制指令转换的识别响应时间阈值。所述识别响应时间阈值通过如下公式获取：

其中，T表示识别响应时间阈值；T_i表示反复三次播放中第i次播放时，语音指令转换语音控制指令所用时间；T₀表示系统建立过程中，语音指令转换为语音控制指令所用的理论相应时间；T_max为反复三次播放中，每个语音指令转换语音控制指令对应所用的最长时间。

上述技术方案的效果为：通过上述方式能够有效提高语音指令与语音控制指令对应关系确定的准确性。同时，通过上述方式能够在运维工作实施过程中，针对每个语音指令的识别和转换进行独立监控，有效提高每个语音指令的监控力度，并针对存在识别响应时间过长的语音指令进行重新对应关联，进而提高每个语音指令的识别准确性、独立监控性以及独立纠错性。另一方面，通过上述公式获取识别响应时间阈值，能够结合每个工作人员个人因素和个人数据库中的每个语音指令的不同特点，针对每个语音指令设置不同的，专属的识别响应时间阈值，能够有效提高每个语音指令识别转换过程的监控力度。同时，通过上述公式获取的识别响应时间阈值能够有效提高语音识别时间阈值设置的合理性，防止统一不变的阈值时间设置无法针对不同工作人员的声音和口音特点进行针对性设置，而导致语音识别速度监控准确率降低的问题发生。

本发明的一个实施例，利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控，包括：

步骤一、当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；

步骤二、当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

上述技术方案的工作原理为：首先，当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；然后，当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

上述技术方案的效果：通过上述方式能够在运维工作实施过程中，针对每个语音指令的识别和转换进行独立监控，有效提高每个语音指令的监控力度，并针对存在识别响应时间过长的语音指令进行重新对应关联，进而提高每个语音指令的识别准确性、独立监控性以及独立纠错性。

本发明实施例一种变电站和电缆隧道场景语义构建系统，如图4所示，所述系统包括：

采集模块，利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；

图像分割模块，用于利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；

语义获取模块，用于获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；

三维地图建立模块，用于利用所述RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；

语义地图建立模块，用于将所述目标图像融合到所述三维地图中，形成三维语义地图；

语音语义建立模块，用于在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库；

其中，所述语义地图建立模块包括：

目标图像获取模块，用于在所述三维地图中获取所述变电站和电缆隧道环境中各目标对象对应的目标图像；

坐标获取模块，用于将所述三维地图进行坐标分割，获取所述目标图像对应的图像坐标信息；

提取模块，用于提取每个目标图像的语义信息，将所述语音信息标注在所述目标图像上；

地图形成模块，用于根据图像坐标信息将所述标注有语义信息的目标图像融合至所述三维地图中，形成三维语义地图。

上述技术方案的工作原理为：首先，利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；然后，利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；之后，获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；随后，利用所述 RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；然后，将所述目标图像融合到所述三维地图中，形成三维语义地图；最后，在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库。

上述技术方案的效果为：能够有效提高变电站和电缆隧道场景的三维语义地图的语义表示准确性，同时，通过语音语义库的构建能够有效配合三维语义地图对变电站和电缆隧道场景工作的运维机器人进行更准确的控制。

本发明的一个实施例，所述语音语义建立模块包括：

录音模块，用于针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；

建立模块，用于建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；

关联模块，用于将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；

监控模块，用于通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

上述技术方案的工作原理为：首先，通过录音模块针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；然后，利用建立模块建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；之后，采用关联模块将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；最后，利用监控模块通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

上述技术方案的效果为：本实施例提出的一种变电站和电缆隧道场景语义构建系统能够针对工作人员的任何带有地方口音的语音指令进行有效识别，有效提高语音指令识别的准确性。同时，不同于传统方言语音识别的方言至普通话的语音算法，本实施例采用工作人员发出语音指令与语音控制指令之间进行编号对应关联的方式，进行口音语音或方言语音至语音控制指令之间的对应识别，能够有效降低语音识别算法复杂度和难度，有效提高语音识别处理速度和相应速度，进而极大程度上提高语音识别效率，使更符合针对变电站和电缆隧道场景这种环境恶劣需要及时进行操作反应的工作场景。

本发明的一个实施例，所述录音模块包括：

设置模块，用于设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；

语音收录模块，用于运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令，获取每个运维管理人员的语音指令；

数据库建立模块，用于利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

上述技术方案的工作原理为：首先，通过设置模块设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；然后，利用语音收录模块在运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令时，依次录取工作人员读取的语音指令，获取每个运维管理人员的语音指令；最后，通过数据库建立模块利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

上述技术方案的效果为：通过上述方式能够有效获取每个管理人员的个人语音信息，形成每个工作人员的专属个人语音信息库，使每个管理人员的语音信息进行有效区分，有效提高后续语音指令向语音控制指令转换的准确性和效率。

本发明的一个实施例，所述建立模块包括：

标记模块，用于将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；

对应模块，用于按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系。

上述技术方案的工作原理为：首先，通过标记模块将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；然后，利用对应模块按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系。

上述技术方案的效果：通过设置每个语音指令对应的唯一标识码的方式有效提高后续语音指令向语音控制指令转换的准确性和效率。

本发明的一个实施例，所述关联模块包括：

获取模块，用于获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；

对应关联模块，用于按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联。

上述技术方案的工作原理为：首先，通过获取模块获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；然后，利用对应关联模块按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联。

上述技术方案的效果：通过上述方式有效提高工作人员发出的语音指令与系统设置的语音控制指令之间的对应准确性，进而有效提高后续语音指令向语音控制指令转换的准确性和效率。

本发明的一个实施例，所述监控模块包括：

播放模块，用于反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值；

时间监控模块，用于利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控。

其中，所述播放模块的运行过程包括：

步骤1、反复三次播放每个个人语音数据库中的语音指令录制信息，

步骤2、根据每个语音指令与语音控制指令之间的对应关系，将语音指令转换为语音控制指令；

步骤3、按照语音指令对照表依次检测每一次语音指令所转换语音控制指令的转换结果是否正确；如果出现语音指令转换错误，则执行步骤4；如果全部正确，则执行步骤5；

步骤4、重新按照每个语音指令与语音控制指令之间的对应关系进行语音指令对应关联，并重复步骤1和步骤2直至所有语音指令转换结果均为正确结果；

步骤5、记录每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换所用时间，并将每个语音指令完成语音控制指令转换所用时间即为单指令响应时间；

步骤6、利用每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换的单指令响应时间获取每个语音指令完成语音控制指令转换的识别响应时间阈值。所述识别响应时间阈值通过如下公式获取：

其中，T表示识别响应时间阈值；T_i表示反复三次播放中第i次播放时，语音指令转换语音控制指令所用时间；T₀表示系统建立过程中，语音指令转换为语音控制指令所用的理论相应时间；T_max为反复三次播放中，每个语音指令转换语音控制指令对应所用的最长时间。

上述技术方案的效果为：本实施例采用工作人员发出语音指令与语音控制指令之间进行编号对应关联的方式，进行口音语音或方言语音至语音控制指令之间的对应识别，能够有效降低语音识别算法复杂度和难度，有效提高语音识别处理速度和相应速度，进而极大程度上提高语音识别效率，使更符合针对变电站和电缆隧道场景这种环境恶劣需要及时进行操作反应的工作场景。另一方面，通过上述方式能够在运维工作实施过程中，针对每个语音指令的识别和转换进行独立监控，有效提高每个语音指令的监控力度，并针对存在识别响应时间过长的语音指令进行重新对应关联，进而提高每个语音指令的识别准确性、独立监控性以及独立纠错性。另一方面，通过上述公式获取识别响应时间阈值，能够结合每个工作人员个人因素和个人数据库中的每个语音指令的不同特点，针对每个语音指令设置不同的，专属的识别响应时间阈值，能够有效提高每个语音指令识别转换过程的监控力度。同时，通过上述公式获取的识别响应时间阈值能够有效提高语音识别时间阈值设置的合理性，防止统一不变的阈值时间设置无法针对不同工作人员的声音和口音特点进行针对性设置，而导致语音识别速度监控准确率降低的问题发生。

其中，所述时间监控模块包括：

响应时间监控模块，用于当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；

重联模块，用于当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

上述技术方案的工作效果为：首先，通过响应时间监控模块当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；然后，利用重联模块在当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

上述技术方案的效果：通过上述方式能够在运维工作实施过程中，针对每个语音指令的识别和转换进行独立监控，有效提高每个语音指令的监控力度，并针对存在识别响应时间过长的语音指令进行重新对应关联，进而提高每个语音指令的识别准确性、独立监控性以及独立纠错性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种变电站和电缆隧道场景语义构建方法，其特征在于，所述方法包括：

利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；

利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；

获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；

利用所述RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；

将所述目标图像融合到所述三维地图中，形成三维语义地图；

在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库。

2.根据权利要求1所述语义构建方法，其特征在于，所述将所述目标图像融合到所述三维地图中，形成三维语义地图包括：

在所述三维地图中获取所述变电站和电缆隧道环境中各目标对象对应的目标图像；

将所述三维地图进行坐标分割，获取所述目标图像对应的图像坐标信息；

提取每个目标图像的语义信息，将所述语音信息标注在所述目标图像上；

根据图像坐标信息将所述标注有语义信息的目标图像融合至所述三维地图中，形成三维语义地图。

3.根据权利要求1所述语义构建方法，其特征在于，在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库，包括：

针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；

建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；

将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；

通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

4.根据权利要求3所述语义构建方法，其特征在于，针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库，包括：

设置语音控制指令列表，并且，语音控制指令列表中每个语音控制指令均标有唯一编号；

运维管理人员按照语音控制指令列表中的编号顺序依次读取语音控制指令，获取每个运维管理人员的语音指令；

利用每个运维管理人员的语音指令建立与每个运维管理人员对应的个人语音数据库。

5.根据权利要求1所述语义构建方法，其特征在于，建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系，包括：

将每个语音指令按照读取的先后顺序依次进行标记，获取每个语音指令的唯一标识码；

按照每个语音指令按照读取的先后顺序，依次将每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号进行一一对应，获得唯一标识码与唯一编号之间的对应关系。

6.根据权利要求1所述语义构建方法，其特征在于，将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库，包括：

获取每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系；

按照每个语音指令的唯一标识码与每个语音控制指令均标有的唯一编号之间的对应关系，将每个运维管理人员的个人语音数据库中的语音指令与语音控制指令之间进行对应关联。

7.根据权利要求1所述语义构建方法，其特征在于，通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控，包括：

反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值；

利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控。

8.根据权利要求5所述语义构建方法，其特征在于，反复播放每个个人语音数据库中的语音指令录制信息，用于进行个人语音数据库中的语音指令录制信息与语音控制指令之间对应关系的关联确认，并获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，包括：

步骤1、反复三次播放每个个人语音数据库中的语音指令录制信息，

步骤2、根据每个语音指令与语音控制指令之间的对应关系，将语音指令转换为语音控制指令；

步骤3、按照语音指令对照表依次检测每一次语音指令所转换语音控制指令的转换结果是否正确；如果出现语音指令转换错误，则执行步骤4；如果全部正确，则执行步骤5；

步骤4、重新按照每个语音指令与语音控制指令之间的对应关系进行语音指令对应关联，并重复步骤1和步骤2直至所有语音指令转换结果均为正确结果；

步骤5、记录每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换所用时间，并将每个语音指令完成语音控制指令转换所用时间即为单指令响应时间；

步骤6、利用每次播放语音指令录制信息过程中，每个语音指令完成语音控制指令转换的单指令响应时间获取每个语音指令完成语音控制指令转换的识别响应时间阈值。

9.根据权利要求5所述语义构建方法，其特征在于，利用每个个人语音数据库与语音控制指令之间的识别响应时间阈值对变电站和电缆隧道场景中运维管理人员工作时所发出的语音指令进行响应时间监控，包括：

当运维管理人员发送语音指令时，实时监控语音指令转换为语音控制指令的识别响应时间；

当监控语音指令转换为语音控制指令的识别响应时间超过识别响应时间阈值时，则针对超过识别响应时间阈值的语音指令，按照该语音指令与语音控制指令之间的对应关系与语音控制指令重新建立对应关联。

10.一种变电站和电缆隧道场景语义构建系统，其特征在于，所述系统包括：

采集模块，利用RGB-D传感器采集所述变电站和电缆隧道环境，获得RGB-D图像；

图像分割模块，用于利用深度学习算法对所述RGB-D图像中的二维彩色图像进行目标分割，获得多个分割后的目标独立图像；

语义获取模块，用于获取所述目标独立图像对应的语义信息，并将所述语义信息赋值于所述目标独立图像，形成带有语义信息的目标图像；

三维地图建立模块，用于利用所述RGB-D图像中的Depth图像建立所述变电站和电缆隧道环境对应的三维地图；

语义地图建立模块，用于将所述目标图像融合到所述三维地图中，形成三维语义地图；

语音语义建立模块，用于在形成三维语义地图后，利用变电站和电缆隧道中负责运行管理的运维管理人员的语音指令信息构建与所述三维语义地图对应的语音数据库；

其中，所述语义地图建立模块包括：

目标图像获取模块，用于在所述三维地图中获取所述变电站和电缆隧道环境中各目标对象对应的目标图像；

坐标获取模块，用于将所述三维地图进行坐标分割，获取所述目标图像对应的图像坐标信息；

提取模块，用于提取每个目标图像的语义信息，将所述语音信息标注在所述目标图像上；

地图形成模块，用于根据图像坐标信息将所述标注有语义信息的目标图像融合至所述三维地图中，形成三维语义地图；

所述语音语义建立模块包括：

录音模块，用于针对变电站和电缆隧道中负责运行管理的运维管理人员进行语音指令录制，形成每个管理人员对应的个人语音数据库；

建立模块，用于建立每个管理人员的个人语音数据库中的每个语音指令与语音控制指令之间的对应关系；

关联模块，用于将个人语音数据库中的每个语音指令按照每个语音指令与语音控制指令之间的对应关系与语音控制指令进行一一对应关联，当完成对应关联后，将所述语音控制指令形成与变电站和电缆隧道的三维可视化对应的语义库；

监控模块，用于通过反复播放每个个人语音数据库中的语音指令录制信息获得每个个人语音数据库与语音控制指令之间的识别响应时间阈值，并利用识别响应时间阈值进行语音控制指令响应监控。

Images