CN110995821B - 一种基于ai与智能头盔的配电网巡检系统 - Google Patents

一种基于ai与智能头盔的配电网巡检系统 Download PDF

Info

Publication number
CN110995821B
CN110995821B CN201911194328.0A CN201911194328A CN110995821B CN 110995821 B CN110995821 B CN 110995821B CN 201911194328 A CN201911194328 A CN 201911194328A CN 110995821 B CN110995821 B CN 110995821B
Authority
CN
China
Prior art keywords
voice
signal
unit
helmet
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911194328.0A
Other languages
English (en)
Other versions
CN110995821A (zh
Inventor
麦金龙
常洪亮
王志银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Digital Platform Technology Guangdong Co ltd
Shenzhen Power Supply Bureau Co Ltd
Original Assignee
Shenzhen Power Supply Bureau Co Ltd
Shenzhen Digital Power Grid Research Institute of China Southern Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Power Supply Bureau Co Ltd, Shenzhen Digital Power Grid Research Institute of China Southern Power Grid Co Ltd filed Critical Shenzhen Power Supply Bureau Co Ltd
Priority to CN201911194328.0A priority Critical patent/CN110995821B/zh
Publication of CN110995821A publication Critical patent/CN110995821A/zh
Application granted granted Critical
Publication of CN110995821B publication Critical patent/CN110995821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing sonic, ultrasonic or infrasonic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3866—Transceivers carried on the body, e.g. in helmets carried on the head

Abstract

本发明提供一种基于AI与智能头盔的配电网巡检系统，包括云计算平台和供巡检人员佩戴的智能头盔；智能头盔中设置通信单元、视频采集单元和超声信号采集单元；视频采集单元用于采集智能头盔前方的视频图像信号；超声信号采集单元用于采集智能头盔前方不同方位的超声信号；通信单元将视频信号和超声信号发送到云计算平台进行处理；云计算平台用于对接收的超声信号进行超声强度分布可视化处理，获取超声能量的二维分布矩阵，并将该二维分布矩阵整合到视频图像信号中，输出局部放电定位图像并发送到智能头盔；智能头盔还包括虚拟投影显示单元，用于将接收的局部放电定位图像投影到位于智能头盔前方的虚拟屏幕上。本发明有助于提高巡检人员的便捷度。

Description

一种基于AI与智能头盔的配电网巡检系统
技术领域
本发明涉及配电网巡检技术领域，特别是一种基于AI与智能头盔的配电网巡检系统。
背景技术
配电网是城市电力输送的核心传输枢纽，因此配电网设备需要进行定期检查，确保配电网的安全和可靠运作。
目前广泛应用的巡检方式主要为传统的人工巡检和新兴的移动机器人巡检。前者是通过工作人员进入变电站内部，人工检测并记录设备的运行状态及数据信息，这种工作方式劳动强度大、检测质量分散，受恶劣天气干扰大。在此基础上，国内外逐步开始研制移动巡检机器人，通过机器人代替人工进入变电站，降低了工作人员的劳动强度，提高了电力设备检测效率。目前巡检机器人已在国内部分变电站进行使用。但即使采用机器人进行巡检，在特定情况下，如机器人无法到达地形复杂等特殊区域或产生突发紧急情况时，仍然需要工作人员进入现场，手动排查。以上两种主要的电力设备巡检方式中，工作人员到现场手动检测的方式都是必不可少的。而目前巡检人员在在手动检测的过程中，操作不同的工具，同时还需要采用测量设备进行排查，如工作人员在手持工具对配电设备进行操作时，需要事先通过超声检测设备对配电设备进行局部放电故障检测，因此工作人员在操作的过程中双手需要频繁变换使用的工具，操作起来十分不方便。
发明内容
针对上述问题，本发明旨在提供一种基于AI与智能头盔的配电网巡检系统。
本发明的目的采用以下技术方案来实现：
一种基于AI与智能头盔的配电网巡检系统，包括云计算平台和供巡检人员佩戴的智能头盔；其中，智能头盔与云计算平台通信连接；智能头盔以电力系统标准安全头盔为基础，在头盔中设置通信单元、视频采集单元和超声信号采集单元；视频采集单元用于采集智能头盔前方的视频图像信号；超声信号采集单元用于采集智能头盔前方不同方位的超声信号；通信单元将视频信号和超声信号发送到云计算平台进行处理；
云计算平台用于对接收的超声信号进行超声强度分布可视化处理，获取超声能量的二维分布矩阵，并将该二维分布矩阵整合到视频图像信号中，输出局部放电定位图像并发送到智能头盔；
其中，智能头盔还包括虚拟投影显示单元，用于将接收的局部放电定位图像投影到位于智能头盔前方的虚拟屏幕上；
以及，智能头盔还包括总控单元，用于根据接收的控制指令向通信单元、视频采集单元、超声信号采集单元和虚拟投影显示单元发出驱动信号。
在一种实施方式中，超声信号采集单元包括设置在一块PCB板上依次连接的超声传感器阵列、信号放大电路以及模数转换电路，超声传感器阵列采集超声信后经信后放大电路和模数转换电路后输出数字超声信号，并通过通信单元将数字超声信号发送到云计算平台。
在一种实施方式中，云计算平台包括超声信号可视化单元，用于根据接收的不同方位的超声信号转换量化为代表超声波能量大小的波形和数量值，并生成相应的超声波能量二维分布矩阵；超声波能量二维分布矩阵用于反映二维空间中不同位置的超声波能量大小；
云计算平台还包括整合单元，用于将超声波能量二维分布矩阵与视频图像信号进行整合，整合后输出局部放电定位图像。
在一种实施方式中，智能头盔上还设置有定位单元，定位单元用于获取GPS定位信息，并将该定位信息同步到云计算平台中。
在一种实施方式中，智能头盔上还设置有照明单元。
在一种实施方式中，智能头盔上还设置有温度传感器。
在一种实施方式中，本发明系统还包括指挥终端，该指挥终端与该云计算平台通信连接，指挥终端接入云计算平台后，能够获取由智能头盔上传到云计算平台的数据，同时，指挥终端能够通过云计算平台与指定一个或多个智能头盔建立通信连接。
在一种实施方式中，智能头盔上还设置有控制界面，该控制界面设置在智能头盔的外表面上，供用户向总控单元输入控制指令。
在一种实施方式中，智能头盔上还设置有语音采集单元，语音采集单元用于采集用户语音信号，并通过通信单元发送到云计算平台；
云计算平台对用户语音信号进行识别处理，获取该语音信号对应的控制指令并返回到智能头盔的主控单元中，由该主控单元执行该控制指令控制驱动相应的功能单元启动。
在一种实施方式中，云计算平台中设置有语音指令识别系统，该语音指令识别系统包括：语音接收单元、语音增强单元、端点检测单元、特征提取单元和指令识别单元；
语音接收单元，用于接收由智能头盔发送的用户语音信号；
语音增强单元，用于对接收的用户语音信号进行增强处理，输出增强后的用户语音信号；
端点检测单元，用于对增强后的用户语音信号进行端点检测处理，获取增强后的用户语音信号中的语音端点以及语音段；
特征提取单元，用于对增强后的用户语音信号中的语音段进行特征提取处理，获取该语音段的语音特征参数；
指令识别单元，用于将获取的语音段的语音特征参数于数据库中预存的语音特征参数进行比对，当发现该语音段的语音特征参数与数据库中某一预存的特征参数的相似度大于设定的阈值时，输出该预存的特征参数对应的控制指令，并将该控制指令返回到智能头盔的总控单元中，由总控单元根据接收的控制指令驱动相应的功能单元执行相应的动作。
本发明的有益效果为：本发明由智能头盔以及云计算平台搭建新型的配电网巡检系统，通过将超声信号采集单元和视频采集单元设置于智能头盔上，在传统的安全头盔上设置能够用于局部放电检测的功能单元，通过获取头盔前方指定位置不同方位的超声信号和视频图像信号，通过对超声信号进行可视化处理，获取不同方位的超声强度并结合视频图像进行展示，能够直观地表示出现实场景中可能存在局部放电故障的位置，有助于工作人员在对配电设备进行操作时第一时间检查出局部放电故障，保障了工作人员的安全性。
同时，通过在头盔上设置局部放电检测功能单元，能够免除传统采用手持式超声局部放电检测仪的麻烦，避免了频繁更换工具的情况，解放工作人员的双手，提高了工作人员对配电设备巡检的便捷程度。
通过设置云计算平台同时和多个智能头盔建立连接，由云计算平台接收智能头盔发送的数据后统一执行相应的信息处理功能，相比与传统的多功能巡检头盔通过设置本地信息处理终端来进行信息处理的方式，能够节省了单个智能头盔设置的本地信息处理资源，降低了整个系统的搭建成本。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的框架结构图；
图2为本发明智能头盔的框架结构图；
图3为本发明云计算平台中语音指令识别系统的框架结构图。
附图标记：
智能头盔1、云计算平台2、通信单元11、视频采集单元12、超声信号采集单元13、虚拟投影显示单元14、总控单元15、定位单元16、照明单元17、控制界面18、语音采集单元19、语音指令识别系统20、语音接收单元21、语音增强单元22、端点检测单元23、特征提取单元24、指令识别单元25
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1、图2，其示出一种基于AI与智能头盔的配电网巡检系统，包括云计算平台2和供巡检人员佩戴的智能头盔1；其中，智能头盔1与云计算平台2通信连接；智能头盔1以电力系统标准安全头盔为基础，在头盔中设置通信单元11、视频采集单元12和超声信号采集单元13；视频采集单元12用于采集智能头盔1前方的视频图像信号；超声信号采集单元13用于采集智能头盔1前方不同方位的超声信号；通信单元11将视频信号和超声信号发送到云计算平台2进行处理；
云计算平台2用于对接收的超声信号进行超声强度分布可视化处理，获取超声能量的二维分布矩阵，并将该二维分布矩阵整合到视频图像信号中，输出局部放电定位图像并发送到智能头盔1；
其中，智能头盔1还包括虚拟投影显示单元14，用于将接收的局部放电定位图像投影到位于智能头盔1前方的虚拟屏幕上；
以及，智能头盔1还包括总控单元15，用于根据接收的控制指令向通信单元11、视频采集单元12、超声信号采集单元13和虚拟投影显示单元14发出驱动信号。
在一种实施方式中，该虚拟投影显示单元14为OPDD显示屏，以及配合使用的光学组件，其中包括半透明反射镜等。
本发明上述实施方式由智能头盔以及云计算平台搭建新型的配电网巡检系统，通过将超声信号采集单元和视频采集单元设置于智能头盔上，在传统的安全头盔上设置能够用于局部放电检测的功能单元，通过获取头盔前方指定位置不同方位的超声信号和视频图像信号，通过对超声信号进行可视化处理，获取不同方位的超声强度并结合视频图像进行展示，能够直观地表示出现实场景中可能存在局部放电故障的位置，有助于工作人员在对配电设备进行操作时第一时间检查出局部放电故障，保障了工作人员的安全性。
同时，通过在头盔上设置局部放电检测功能单元，能够免除传统采用手持式超声局部放电检测仪的麻烦，避免了频繁更换工具的情况，解放工作人员的双手，提高了工作人员对配电设备巡检的便捷程度。
通过设置云计算平台同时和多个智能头盔建立连接，由云计算平台接收智能头盔发送的数据后统一执行相应的信息处理功能，相比与传统的多功能巡检头盔通过设置本地信息处理终端来进行信息处理的方式，能够节省了单个智能头盔设置的本地信息处理资源，降低了整个系统的搭建成本。
在一种实施方式中，超声信号采集单元13包括设置在一块PCB板上依次连接的超声传感器阵列、信号放大电路以及模数转换电路，超声传感器阵列采集超声信后经信后放大电路和模数转换电路后输出数字超声信号，并通过通信单元11将数字超声信号发送到云计算平台2。
在一种场景中，超声传感器阵列由8只摆放在不同位置的超声传感器组成，每2个传感器组成一组线性阵列，以4组线性阵列为4遍，形成二维方形阵；通过该方形阵采集的超声信号对二维空间中的超声源进行定位。
在一种实施方式中，云计算平台2包括超声信号可视化单元，用于根据接收的不同方位的超声信号转换量化为代表超声波能量大小的波形和数量值，并生成相应的超声波能量二维分布矩阵；超声波能量二维分布矩阵用于反映二维空间中不同位置的超声波能量大小；
在一种场景中，超声波能量二维分布矩阵中如果存在某位置的超声波能量大小超过设定的阈值，则可以认为该位置为超声波源；
云计算平台2还包括整合单元，用于将超声波能量二维分布矩阵与视频图像信号进行整合，整合后输出局部放电定位图像。
在一种实施方式中，该视频采集单元12为CCD摄像头。
本发明上述实施方式，通过将超声信号和视频图像信号进行可视化的整合，能够结合现实场景，直观地标记现实场景中不同方位的超声强度，进而反映出不同方位是否存在局部放电故障，有助于工作人员在看到整合的局部放电定位图像后，便捷、直观地了解配电设备的局部放电故障威胁，间接提高工作人员在巡检过程中的安全性。
在一种实施方式中，智能头盔1上还设置有定位单元16，定位单元16用于获取GPS定位信息，并将该定位信息同步到云计算平台2中。
在一种实施方式中，智能头盔1上还设置有照明单元17。
在一种实施方式中，智能头盔1上还设置有温度传感器。
本发明上述实施方式，智能头盔上还能设置有不同的功能模块，后续研发的扩展性强。
在一种实施方式中，本发明系统还包括指挥终端，该指挥终端与该云计算平台2通信连接，指挥终端接入云计算平台2后，能够获取由智能头盔1上传到云计算平台2的数据，同时，指挥终端能够通过云计算平台2与指定一个或多个智能头盔1建立通信连接。
例如在一种场景中，每个智能头盔都设有单独的身份编号，指挥终端能够通过云计算平台向指定身份编号的智能头盔发送文字信息，由智能头盔上的显示单元进行显示。
例如在另一种场景中，智能头盔将自身的定位信息或采集的温度信息等上传到云计算平台，由云计算平台进行实时的集中管理，指挥终端能够通过访问云计算平台获取上述信息，方便管理者对工作人员的工作环境或所在位置进行整体管理，及时作出相应的调度或反应措施。
在一种实施方式中，智能头盔1上还设置有控制界面18，该控制界面18设置在智能头盔1的外表面上，供用户向总控单元15输入控制指令。
在一种场景中，工作人员通过智能头盔上的控制界面输入启动视频采集单元的指令，则视频采集单元开始运作，获取智能头盔前方的视频信息，并同步上传到云计算平台中。
在另一种场景中，工作人员也能够通过控制界面打开智能头盔上的照明单元等。
在一种实施方式中，智能头盔1上还设置有语音采集单元19，语音采集单元19用于采集用户语音信号，并通过通信单元11发送到云计算平台2；
云计算平台2对用户语音信号进行识别处理，获取该语音信号对应的控制指令并返回到智能头盔1的主控单元中，由该主控单元执行该控制指令控制驱动相应的功能单元启动。
在一种场景中，该语音采集单元19为麦克风。
在一种场景中，工作人员能够通过语音采集单元输入语音指令，由智能头盔将该语音指令发送到云计算平台中进行指令识别，返回相应的控制指令，由总控单元控制相应的功能单元(如超声信号采集单元、视频信号采集单元、照明单元等)执行相应的指令，实现智能头盔上附加单元的语音控制，方便工作人员在双手操作工具而不方便手动控制的情况下，能够通过语音实现智能头盔的控制，进一步解放了工作人员双手的工作负担，提高工作人员的操作便捷度。
在一种实施方式中，参见图3，云计算平台2中设置有语音指令识别系统20，该语音指令识别系统20包括：语音接收单元21、语音增强单元22、端点检测单元23、特征提取单元24和指令识别单元25；
语音接收单元21，用于接收由智能头盔1发送的用户语音信号；
语音增强单元22，用于对接收的用户语音信号进行增强处理，输出增强后的用户语音信号；
端点检测单元23，用于对增强后的用户语音信号进行端点检测处理，获取增强后的用户语音信号中的语音端点以及语音段；
特征提取单元24，用于对增强后的用户语音信号中的语音段进行特征提取处理，获取该语音段的语音特征参数；
指令识别单元25，用于将获取的语音段的语音特征参数于数据库中预存的语音特征参数进行比对，当发现该语音段的语音特征参数与数据库中某一预存的特征参数的相似度大于设定的阈值时，输出该预存的特征参数对应的控制指令，并将该控制指令返回到智能头盔1的总控单元15中，由总控单元15根据接收的控制指令驱动相应的功能单元执行相应的动作。
本发明上述实施方式，为配合工作人员对智能头盔实现的语音控制，云计算平台上设置有语音指令识别系统，对有智能头盔获取的工作人员发出的语音信号进行语音识别处理，获取该语音信号对应的控制指令并返回到原智能头盔中，由智能头盔完成执行该指令，通过将语音识别处理的部分设置在云计算平台，区别于现有技术中每个智能头盔都要设置本地处理终端，每个本地终端都要安装相应的本地处理资源，采用云计算平台集中处理能够最大程度地节省计算终端资源的使用，降低了系统的冗余度和能源消耗，有助于数据的实时更新，提高系统搭建的便捷度。
在一种实施方式中，语音增强单元22对接收的用户语音信号进行增强处理，输出增强后的用户语音信号，具体包括：
1)根据设定的小波基和小波分解层数，对接收的用户语音信号进行正交小波变换处理，获取对应的小波系数；
2)对获取的小波系数进行阈值处理，获取增强小波系数估计值；
3)根据获取的增强小波系数估计值进行小波逆变换，输出增强后的用户语音信号；
其中，对获取的小波系数进行阈值处理，采用的阈值函数为：
Figure BDA0002294334770000071
式中，zj ′表示阈值处理后的第j层小波系数，sgn(·)表示符号函数，zj表示阈值处理前的第j层小波系数，F表示设定的阈值，其中
Figure BDA0002294334770000072
σ表示噪声估计，L表示语音信号的长度，α表示敏感度调节因子，γ表示抑制调节因子，β表示补偿调节因子。
优选地，α∈[1,3]，β∈[1,3]，γ∈[0.5,1.5]。
由于在配电巡检的环境中，在语音信号采集的过程中不能避免地会收到高压电场或磁场的影响，从而对采集的语音信号造成干扰，因此使得语音信号中存在较多高频噪声，本发明上述实施方式，采用上述的方式对接收的用户语音信号进行增强处理，以小波阈值处理去噪为基础，在阈值函数上进行改进；由于高压电磁信号产生的高频噪声干扰相对于用户语音信号的频率相对较高，通过设置由补偿调节因子、阈值函数以及小波系数本身构成的补偿系数，对远大于阈值的小波系数进行补偿，能够降低小波系数较大时，即频率分布较低的过处理现象，避免语音在处理后的失真，为后续对语音信号进一步的识别处理奠定基础。
在一种实施方式中，端点检测单元23对增强后的用户语音信号进行端点检测处理，获取增强后的用户语音信号中的语音端点以及语音段，具体包括：
1)对增强后的用户语音信号进行分帧加窗处理，获取分帧后的语音信号Yi，其中Yi表示第i帧语音信号，其中i＝1,2,…,I，I表示语音信号分帧总数；
2)针对每帧信号Yi：对该帧语音信号Yi进行离散傅里叶变换，获取该帧语音信号的频谱Xi；
3)获取该帧语音信号的端点判断因子PDi，并根据该端点判断因子判断该帧语音信号是否为语音端点；
其中采用的端点判断因子获取函数为：
Figure BDA0002294334770000081
式中，M表示该帧语音信号的帧长，Yi表示第i帧语音信号的第m个采样点的大小，
Figure BDA0002294334770000082
表示该帧语音信号中各采样点大小的中值，c表示设定的灵敏因子，N表示设定的该帧语音信号频谱子带总数，X(k)表示该帧语音信号的第k个子带频谱能量，E表示该帧语音信号的平均频谱能量，PDi表示第i帧语音信号的端点判断因子；
依次将每一帧语音信号的端点判断因子和设定的阈值比较，如果从某第一语音帧开始，存在连续5帧语音信号的端点判断因子都大于该设定的阈值，则以该第一语音帧作为该语音信号的语音起始端点；并将语音起始端点后的语音帧的端点判断因子继续和该设定的阈值比较，如果从某第二语音帧开始，存在连续5帧语音信号的端点判断因子都小于设定的阈值，则以该第二语音帧作为该语音信号的语音结束端点；将语音起始端点和语音结束端点之间的语音信号标记为语音段。
在一种场景中，对增强后的用户语音信号进行分帧加窗处理，具体采用的是50％重叠的汉明窗，帧长为30ms。
本发明上述实施方式，通过提出改进的端点判断因子来对语音端点进行检测，结合语音信号帧的时域能量和频谱能量特点，从时域和频率综合对该语音信号帧的能量进行描述，准确反映该语音信号帧的能量特点，从而进一步根据该端点判断因子进行语音段的获取，灵敏度高，准确度高，间接提高了云计算平台根据语音信号识别控制指令的性能。
在一种实施方式中，端点检测单元23中，上述获取该帧语音信号的端点判断因子PDi的端点判断因子获取函数中，每一帧语音信号频谱设定的子带总数N的获取方法具体包括：
1)对该帧语音信号频谱中进行子带预划分，并获取该帧语音信号频谱的与划分判断因子：
Figure BDA0002294334770000091
式中，θi表示该帧语音信号频谱的子带预划分因子，V表示该帧语音信号频谱中的样本数，U表示设定的子带划分间隔因子，
Figure BDA0002294334770000092
表示将该帧语音信号频谱预划分的子带总数，X(d)表示该帧语音信号频谱预划分后第d个子带频谱能量，mind{X(d)}表示该帧语音信号频谱与划分后各子带频谱能量的最小值；
2)根据子带预划分因子设定该帧语音信号频谱的子带总数Ni，其中
Figure BDA0002294334770000093
式中，θi表示第i帧语音信号频谱的子带预划分因子，Ni表示第i帧语音信号频谱划分的子带总数，
Figure BDA0002294334770000094
表示向下取整函数。
本发明上述实施方式，由于每帧语音信号包含的具体内容并不相同，因此存在某些语音信号帧的频谱中包括的元素(包含的不同频率的元素)较少，导致在进行频谱子带划分时存在某些频谱子带的能量过小，导致对频谱能量信息描述的准确度降低，因此，采用上述方式根据不同语音帧的频谱能量信息进行自适应的子带划分，能够保证在频谱子带划分时的合理性，提高了语音帧频谱能量信息反应的精确度，间接提高了端点检测的准确度。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种基于AI与智能头盔的配电网巡检系统，其特征在于，包括：包括云计算平台和供巡检人员佩戴的智能头盔；
所述智能头盔与所述云计算平台通信连接；所述智能头盔以电力系统标准安全头盔为基础，在所述头盔中设置通信单元、视频采集单元和超声信号采集单元；
所述视频采集单元用于采集所述智能头盔前方的视频图像信号；
所述超声信号采集单元用于采集所述智能头盔前方不同方位的超声信号；
所述通信单元将所述视频信号和超声信号发送到云计算平台进行处理；
所述云计算平台用于对接收的超声信号进行超声强度分布可视化处理，获取超声能量的二维分布矩阵，并将该二维分布矩阵整合到视频图像信号中，输出局部放电定位图像并发送到所述智能头盔；
所述智能头盔还包括虚拟投影显示单元，用于将接收的局部放电定位图像投影到位于所述智能头盔前方的虚拟屏幕上；
所述智能头盔还包括总控单元，用于根据接收的控制指令向所述通信单元、视频采集单元、超声信号采集单元和虚拟投影显示单元发出驱动信号；
所述智能头盔上还设置有语音采集单元，所述语音采集单元用于采集用户语音信号，并通过通信单元发送到云计算平台；
云计算平台对所述用户语音信号进行识别处理，获取该语音信号对应的控制指令并返回到所述智能头盔的主控单元中，由该主控单元执行该控制指令控制驱动相应的功能单元启动；
所述云计算平台包括
语音接收单元，用于接收由所述智能头盔发送的用户语音信号；
语音增强单元，用于对接收的用户语音信号进行增强处理，输出增强后的用户语音信号；
端点检测单元，用于对增强后的用户语音信号进行端点检测处理，获取增强后的用户语音信号中的语音端点以及语音段；
特征提取单元，用于对所述增强后的用户语音信号中的语音段进行特征提取处理，获取该语音段的语音特征参数；
指令识别单元，用于将获取的语音段的语音特征参数于数据库中预存的语音特征参数进行比对，当发现该语音段的语音特征参数与数据库中某一预存的特征参数的相似度大于设定的阈值时，输出该预存的特征参数对应的控制指令，并将该控制指令返回到所述智能头盔的总控单元中，由所述总控单元根据接收的控制指令驱动相应的功能单元执行相应的动作；
所述语音增强单元对接收的用户语音信号进行增强处理，输出增强后的用户语音信号，具体包括：
1)根据设定的小波基和小波分解层数，对接收的用户语音信号进行正交小波变换处理，获取对应的小波系数；
2)对获取的小波系数进行阈值处理，获取增强小波系数估计值；
3)根据获取的增强小波系数估计值进行小波逆变换，输出增强后的用户语音信号；
其中，对获取的小波系数进行阈值处理，采用的阈值函数为：
Figure FDA0002999159420000021
式中，z′j表示阈值处理后的第j层小波系数，sgn(·)表示符号函数，zj表示阈值处理前的第j层小波系数，F表示设定的阈值，其中
Figure FDA0002999159420000022
σ表示噪声估计，L表示语音信号的长度，α表示敏感度调节因子，γ表示抑制调节因子，β表示补偿调节因子；
端点检测单元对增强后的用户语音信号进行端点检测处理，获取增强后的用户语音信号中的语音端点以及语音段，具体包括：
1)对增强后的用户语音信号进行分帧加窗处理，获取分帧后的语音信号Yi，其中Yi表示第i帧语音信号，其中i＝1,2,…,I，I表示语音信号分帧总数；
2)针对每帧信号Yi：对该帧语音信号Yi进行离散傅里叶变换，获取该帧语音信号的频谱Xi；
3)获取该帧语音信号的端点判断因子PDi，并根据该端点判断因子判断该帧语音信号是否为语音端点；
其中采用的端点判断因子获取函数为：
Figure FDA0002999159420000023
式中，M表示该帧语音信号的帧长，Yi表示第i帧语音信号的第m个采样点的大小，
Figure FDA0002999159420000024
表示该帧语音信号中各采样点大小的中值，c表示设定的灵敏因子，N表示设定的该帧语音信号频谱子带总数，X(k)表示该帧语音信号的第k个子带频谱能量，E表示该帧语音信号的平均频谱能量，PDi表示第i帧语音信号的端点判断因子；
依次将每一帧语音信号的端点判断因子和设定的阈值比较，如果从某第一语音帧开始，存在连续5帧语音信号的端点判断因子都大于该设定的阈值，则以该第一语音帧作为该语音信号的语音起始端点；并将语音起始端点后的语音帧的端点判断因子继续和该设定的阈值比较，如果从某第二语音帧开始，存在连续5帧语音信号的端点判断因子都小于设定的阈值，则以该第二语音帧作为该语音信号的语音结束端点；将语音起始端点和语音结束端点之间的语音信号标记为语音段。
2.根据权利要求1所述的一种基于AI与智能头盔的配电网巡检系统，其特征在于，所述超声信号采集单元包括设置在PCB板上依次连接的超声传感器阵列、信号放大电路以及模数转换电路，所述超声传感器阵列采集超声信后经信后放大电路和模数转换电路后输出数字超声信号，并通过通信单元将所述数字超声信号发送到云计算平台。
3.根据权利要求1所述的一种基于AI与智能头盔的配电网巡检系统，其特征在于，所述云计算平台包括超声信号可视化单元，用于根据接收的不同方位的超声信号转换量化为代表超声波能量大小的波形和数量值，并生成相应的超声波能量二维分布矩阵；所述超声波能量二维分布矩阵用于反映二维空间中不同位置的超声波能量大小；
所述云计算平台还包括整合单元，用于将所述超声波能量二维分布矩阵与所述视频图像信号进行整合，整合后输出所述局部放电定位图像。
4.根据权利要求1所述的一种基于AI与智能头盔的配电网巡检系统，其特征在于，所述智能头盔上还设置有定位单元，所述定位单元用于获取GPS定位信息，并将该定位信息同步到云计算平台中。
5.根据权利要求1所述的一种基于AI与智能头盔的配电网巡检系统，其特征在于，所述智能头盔上还设置有照明单元；和/或
所述智能头盔上还设置有温度传感器。
6.根据权利要求1所述的一种基于AI与智能头盔的配电网巡检系统，其特征在于，所述智能头盔上还设置有控制界面，该控制界面设置在所述智能头盔的外表面上，供用户向所述总控单元输入控制指令。
CN201911194328.0A 2019-11-28 2019-11-28 一种基于ai与智能头盔的配电网巡检系统 Active CN110995821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911194328.0A CN110995821B (zh) 2019-11-28 2019-11-28 一种基于ai与智能头盔的配电网巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911194328.0A CN110995821B (zh) 2019-11-28 2019-11-28 一种基于ai与智能头盔的配电网巡检系统

Publications (2)

Publication Number Publication Date
CN110995821A CN110995821A (zh) 2020-04-10
CN110995821B true CN110995821B (zh) 2021-05-04

Family

ID=70087892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194328.0A Active CN110995821B (zh) 2019-11-28 2019-11-28 一种基于ai与智能头盔的配电网巡检系统

Country Status (1)

Country Link
CN (1) CN110995821B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510679A (zh) * 2020-04-23 2020-08-07 深圳市谦视智能科技有限责任公司 智能安全帽的控制方法、智能安全帽设备和可读存储介质
CN114061665A (zh) * 2021-11-19 2022-02-18 国网重庆市电力公司电力科学研究院 应用于配电站房设备的非接触式巡检系统及方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833516A (zh) * 2012-08-23 2012-12-19 深圳先进技术研究院 基于云计算的智能头盔网络系统及其视频信息处理方法
CN103347176A (zh) * 2013-07-01 2013-10-09 重庆交通大学 一种生产现场实时影音远程监控系统
CN103969560A (zh) * 2014-05-28 2014-08-06 北达正视(北京)科技有限公司 一种用于局部放电故障检测的可视化超声波检测系统
CN103969561A (zh) * 2014-05-28 2014-08-06 上海艾飞能源科技有限公司 一种用于局部放电故障检测的可视化超声波检测方法
CN104580453A (zh) * 2014-12-30 2015-04-29 武汉华科道普轨道交通信息技术有限公司 基于位置与任务的轨道交通安全施工信息服务推送系统
CN106597235A (zh) * 2016-12-12 2017-04-26 国网北京市电力公司 局部放电检测装置和方法
CN206182458U (zh) * 2016-10-20 2017-05-24 许继集团有限公司 一种配电网巡检智能头盔
CN107019280A (zh) * 2017-04-26 2017-08-08 长春理工大学 一种基于4g通信的智能消防头盔装置
CN107426531A (zh) * 2017-05-16 2017-12-01 上海欧忆能源科技有限公司 姿态视角遥控遥视智能头盔、方法、摄像装置及系统
CN108010128A (zh) * 2017-11-23 2018-05-08 华中科技大学 基于ar的红外检测辅助焊接智能头盔装置的分析方法
CN207395787U (zh) * 2017-08-10 2018-05-22 山东鲁能智能技术有限公司 云平台智能头盔及基于云平台智能头盔的安防管控系统
CN207587015U (zh) * 2017-10-24 2018-07-06 佛山市威格特电气设备有限公司 变电站巡检可视化系统
CN108490816A (zh) * 2017-06-28 2018-09-04 国网上海市电力公司 一种基于可穿戴技术的智能电力巡检系统
CN109380796A (zh) * 2017-08-10 2019-02-26 山东鲁能智能技术有限公司 云平台智能头盔及基于云平台智能头盔的安防管控系统
CN109616119A (zh) * 2019-02-12 2019-04-12 中南民族大学 一种基于IPv6协议的多功能网关设备
CN109921818A (zh) * 2019-03-08 2019-06-21 长春理工大学 一种智能多点实时三维交互头盔显示系统
CN209485420U (zh) * 2019-01-27 2019-10-11 天传（上海）检测有限公司 一种智能电力设备巡检装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872616B (zh) * 2009-04-22 2013-02-06 索尼株式会社 端点检测方法以及使用该方法的系统
CN102522081B (zh) * 2011-12-29 2015-08-05 北京百度网讯科技有限公司 一种检测语音端点的方法及系统
CN110047519B (zh) * 2019-04-16 2021-08-24 广州大学 一种语音端点检测方法、装置及设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833516A (zh) * 2012-08-23 2012-12-19 深圳先进技术研究院 基于云计算的智能头盔网络系统及其视频信息处理方法
CN103347176A (zh) * 2013-07-01 2013-10-09 重庆交通大学 一种生产现场实时影音远程监控系统
CN103969560A (zh) * 2014-05-28 2014-08-06 北达正视(北京)科技有限公司 一种用于局部放电故障检测的可视化超声波检测系统
CN103969561A (zh) * 2014-05-28 2014-08-06 上海艾飞能源科技有限公司 一种用于局部放电故障检测的可视化超声波检测方法
CN104580453A (zh) * 2014-12-30 2015-04-29 武汉华科道普轨道交通信息技术有限公司 基于位置与任务的轨道交通安全施工信息服务推送系统
CN206182458U (zh) * 2016-10-20 2017-05-24 许继集团有限公司 一种配电网巡检智能头盔
CN106597235A (zh) * 2016-12-12 2017-04-26 国网北京市电力公司 局部放电检测装置和方法
CN107019280A (zh) * 2017-04-26 2017-08-08 长春理工大学 一种基于4g通信的智能消防头盔装置
CN107426531A (zh) * 2017-05-16 2017-12-01 上海欧忆能源科技有限公司 姿态视角遥控遥视智能头盔、方法、摄像装置及系统
CN108490816A (zh) * 2017-06-28 2018-09-04 国网上海市电力公司 一种基于可穿戴技术的智能电力巡检系统
CN207395787U (zh) * 2017-08-10 2018-05-22 山东鲁能智能技术有限公司 云平台智能头盔及基于云平台智能头盔的安防管控系统
CN109380796A (zh) * 2017-08-10 2019-02-26 山东鲁能智能技术有限公司 云平台智能头盔及基于云平台智能头盔的安防管控系统
CN207587015U (zh) * 2017-10-24 2018-07-06 佛山市威格特电气设备有限公司 变电站巡检可视化系统
CN108010128A (zh) * 2017-11-23 2018-05-08 华中科技大学 基于ar的红外检测辅助焊接智能头盔装置的分析方法
CN209485420U (zh) * 2019-01-27 2019-10-11 天传（上海）检测有限公司 一种智能电力设备巡检装置
CN109616119A (zh) * 2019-02-12 2019-04-12 中南民族大学 一种基于IPv6协议的多功能网关设备
CN109921818A (zh) * 2019-03-08 2019-06-21 长春理工大学 一种智能多点实时三维交互头盔显示系统

Also Published As

Publication number Publication date
CN110995821A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110995821B (zh) 一种基于ai与智能头盔的配电网巡检系统
CN112735473B (zh) 基于声音识别无人机的方法及系统
CN108229441B (zh) 一种基于图像和语音分析的课堂教学自动反馈系统和反馈方法
CN111929542B (zh) 一种电力设备诊断方法及系统
CN107202559B (zh) 基于室内声学信道扰动分析的物体识别方法
CN104269172A (zh) 基于视频定位的语音控制方法和系统
CN110488675A (zh) 一种基于动态规整算法的变电站声信号特征提取方法
CN115376526A (zh) 一种基于声纹识别的电力设备故障检测方法及系统
CN110444220B (zh) 一种多模态远程语音感知方法及装置
CN104993884A (zh) 手持数字监测测向系统及其监测方法
CN106648489B (zh) 一种计算机图像处理设备
CN107569246B (zh) 一种嵌入式管制员疲劳风险测量装置及其方法
CN112526565A (zh) 输电线安全距离监测系统、方法及巡检设备
CN208147865U (zh) 一种应用于变电站智能巡检机器人的声音识别系统
CN114783462A (zh) 一种基于cs-music矿井提升机故障源定位分析方法
CN114623925B (zh) 一种电网变电工程现场噪声智能检测系统及方法
CN208985690U (zh) 一种智能门岗
CN113624279A (zh) 基于声景大数据的生物多样性实时监测和分析系统
CN109377692B (zh) 一种智能光纤振动防入侵预警方法与系统
CN114243925B (zh) 基于智能融合终端的台区配变态势感知方法及系统
CN111724786A (zh) 唇语识别系统及方法
CN112857751B (zh) 一种数字化像增强器暗计数测试装置、方法及存储介质
CN116915527A (zh) 一种新型无感操作的极简会议系统
CN108986816A (zh) 一种智能门岗
KR102605552B1 (ko) 증강현실시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518001 power dispatching communication building, No. 4020 Shennan East Road, Shenzhen, Guangdong, Luohu District

Applicant after: SHENZHEN POWER SUPPLY BUREAU Co.,Ltd.

Applicant after: China Southern Power Grid Shenzhen Digital Power Grid Research Institute Co.,Ltd.

Address before: 518001 power dispatching communication building, No. 4020 Shennan East Road, Shenzhen, Guangdong, Luohu District

Applicant before: SHENZHEN POWER SUPPLY BUREAU Co.,Ltd.

Applicant before: SHENZHEN COMTOP INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong

Patentee after: SHENZHEN POWER SUPPLY BUREAU Co.,Ltd.

Country or region after: Zhong Guo

Patentee after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd.

Address before: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong

Patentee before: SHENZHEN POWER SUPPLY BUREAU Co.,Ltd.

Country or region before: Zhong Guo

Patentee before: China Southern Power Grid Shenzhen Digital Power Grid Research Institute Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20240320

Address after: 518101, 3rd Floor, Building 40, Baotian Industrial Zone, Chentian Community, Xixiang Street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd.

Country or region after: Zhong Guo

Address before: 518001 electric power dispatching and communication building, 4020 Shennan East Road, Luohu District, Shenzhen, Guangdong

Patentee before: SHENZHEN POWER SUPPLY BUREAU Co.,Ltd.

Country or region before: Zhong Guo

Patentee before: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd.