CN116384879A - 一种用于消防装备快速出入库的智能化管理系统 - Google Patents

一种用于消防装备快速出入库的智能化管理系统 Download PDF

Info

Publication number
CN116384879A
CN116384879A CN202310367759.2A CN202310367759A CN116384879A CN 116384879 A CN116384879 A CN 116384879A CN 202310367759 A CN202310367759 A CN 202310367759A CN 116384879 A CN116384879 A CN 116384879A
Authority
CN
China
Prior art keywords
fire
fighting equipment
warehouse
equipment
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310367759.2A
Other languages
English (en)
Other versions
CN116384879B (zh
Inventor
汪兆伟
魏晓娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haoyue Technology Co ltd
Original Assignee
Haoyue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haoyue Technology Co ltd filed Critical Haoyue Technology Co ltd
Priority to CN202310367759.2A priority Critical patent/CN116384879B/zh
Publication of CN116384879A publication Critical patent/CN116384879A/zh
Application granted granted Critical
Publication of CN116384879B publication Critical patent/CN116384879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种用于消防装备快速出入库的智能化管理系统，涉及装备管理技术领域。所述系统包括有管理服务器以及布置在消防装备出入库通道中的拾音设备和无线定位设备，其中，所述拾音设备用于采集获取现场音频数据，所述无线定位设备用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，所述管理服务器用于根据所述现场音频数据和所述唯一标识数据及所处位置数据，将声源定位技术、声纹识别技术和无线定位技术结合起来判断发声人员与消防装备是否具有绑定关系，若有则自动完成消防装备出入库绑定管理，如此可在紧急出警情况下确保仓库管理有序进行。

Description

一种用于消防装备快速出入库的智能化管理系统
技术领域
本发明属于装备管理技术领域，具体涉及一种用于消防装备快速出入库的智能化管理系统。
背景技术
消防装备是消防部门在抢险救援时必不可少的装备。为了保障城市人民的生命财产安全，往往在每个消防站都会有消防装备仓库，各区域设有战勤保障仓库。由于有些消防装备比较贵重，会转借到各个消防站；有些装备属于消耗类装备，比如消防头盔和手套等；有些消防装备是有使用期限的，比如呼吸灯等；因此消防装备的有序管理和及时更新对于消防工作来说非常重要。
为了随时有备用装备，一般都会准备较多的库存，但是在配备库存的情况下，就必须要对库存进行管理和定期的清点，及时地废弃和增补装备，避免库存无序进出。但是在消防部门实际基层出警过程中，对时间的要求比较精确，往往紧急情况的警情只够时间拿上对应的救援装备，而没有多余的时间对装备出入库流程进行登记，所以在拥有智能管理系统的前提下，还是解决不了在紧急出警的情况下对消防装备出入库进行自动管理的问题，只能人工的反复清点库存。同时在消防基层的装备技师也是需要出警的，并无固定职位来专职管理消防装备，这样在一定时间后，装备仓库的管理仍会出现混乱，无法实现消防装备的有序管理和及时更新。
发明内容
本发明的目的是提供一种用于消防装备快速出入库的智能化管理系统，用以解决现有智能管理系统在紧急出警的情况下无法对消防装备出入库进行自动管理的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种用于消防装备快速出入库的智能化管理系统，包括有管理服务器、拾音设备和无线定位设备，其中，所述管理服务器分别通信连接所述拾音设备和无线定位设备，所述拾音设备和所述无线定位设备分别布置在消防装备出入库通道中；
所述拾音设备，用于采集获取现场音频数据，并将所述现场音频数据传送至所述管理服务器；
所述无线定位设备，用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，并将所述消防装备的唯一标识数据及所处位置数据传送至所述管理服务器；
所述管理服务器，用于根据所述现场音频数据和所述消防装备的唯一标识数据及所处位置数据，执行如下的消防装备出入库管理方法：
根据所述现场音频数据，利用已完成训练的且基于端到端语音识别技术的关键词检索系统来进行话语关键词识别处理，得到话语关键词识别结果；
若所述话语关键词识别结果表示存在话语关键词，则针对所述话语关键词，先从所述现场音频数据中提取出对应的人体发声音频数据，然后根据该人体发声音频数据，利用已完成训练的声源方位估计模型来进行对应的声源方位估计处理，得到对应的声源相对于所述拾音设备的方向角及仰角，最后根据该方向角及仰角和所述拾音设备的已知位置，确定对应的声源位置，其中，所述话语关键词为预先要求消防装备领取人和消防装备归还人在通过所述消防装备出入库通道时所说出的关键词；
针对所述话语关键词，还根据对应的人体发声音频数据，利用已完成训练的声纹识别模型来进行对应的发声人员身份识别处理，得到对应的发声人员身份数据；
若发现在所述话语关键词的起止时间内采集有某个消防装备的唯一标识数据及所处位置数据，则根据所述某个消防装备的所处位置数据，判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于预设距离阈值；
若判定所述话语关键词的声源位置与所述某个消防装备的距离小于等于所述预设距离阈值，则根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理。
基于上述发明内容，提供了一种基于声源定位技术、声纹识别技术和无线定位技术进行消防装备出入库自动管理的新方案，即包括有管理服务器以及布置在消防装备出入库通道中的拾音设备和无线定位设备，其中，所述拾音设备用于采集获取现场音频数据，所述无线定位设备用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，所述管理服务器用于根据所述现场音频数据和所述唯一标识数据及所处位置数据，将声源定位技术、声纹识别技术和无线定位技术结合起来判断发声人员与消防装备是否具有绑定关系，若有则自动完成消防装备出入库绑定管理，如此可在紧急出警的情况下对消防装备出入库进行自动管理，利于快速出警和降低人为工作量，并可确保装备仓库管理有序进行，便于实际应用和推广。
在一个可能的设计中，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，包括：
根据所述某个消防装备在途经所述消防装备出入库通道时所采集的所处位置数据，判断所述某个消防装备的运动轨迹是从库内至库外还是从库外至库内；
若判定所述某个消防装备的运动轨迹是从库内至库外，则将所述某个消防装备的出入库状态从入库状态变更为出库状态，同时将与所述话语关键词对应的发声人员身份数据作为消防装备领取人身份数据，与所述某个消防装备的唯一标识数据一起记录在消防装备出库登记表中；
若发现所述某个消防装备的运动轨迹为从库外至库内，则将所述某个消防装备的出入库状态从出库状态变更为入库状态，同时将与所述话语关键词对应的发声人员身份数据作为消防装备归还人身份数据，与所述某个消防装备的唯一标识数据一起记录在消防装备入库登记表中。
在一个可能的设计中，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括：
在将消防装备领取人身份数据与所述某个消防装备的唯一标识数据一起记录在消防装备出库登记表中之后，针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自减1。
在一个可能的设计中，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括：
在将消防装备归还人身份数据与所述某个消防装备的唯一标识数据一起记录在消防装备入库登记表中之后，针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自加1。
在一个可能的设计中，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括：
在针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自加1之后，根据所述消防装备出库登记表和/或所述消防装备入库登记表统计得到所述某个消防装备的使用次数；
判断所述某个消防装备的使用次数是否超过为所述所属消防装备类型配置的预设次数阈值；
若是，则向管理员推送用于提醒对所述某个消防装备进行检修或报废处理的提醒消息。
在一个可能的设计中，还包括有通道闸机，其中，所述通道闸机也布置在所述消防装备出入库通道中，并也通信连接所述管理服务器；
所述通道闸机，用于在所述管理服务器的控制下打开或封闭所述消防装备出入库通道。
在一个可能的设计中，所述消防装备出入库管理方法，还包括：
控制所述通道闸机维持封闭所述消防装备出入库通道；
在识别得到所述话语关键词的发声人员身份数据后，验证所述发声人员身份数据的合法性，若验证通过，则控制所述通道闸机临时打开所述消防装备出入库通道。
在一个可能的设计中，当为不同消防装备类型配置有独立的预设距离阈值时，判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于预设距离阈值，包括：
判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于所述某个消防装备的所属消防装备类型的预设距离阈值。
在一个可能的设计中，所述无线定位方式采用基于射频识别技术或超宽带UWB技术的室内无线定位方式。
在一个可能的设计中，所述消防装备包括有防护头盔、防护服、正压式空气呼吸器、耐火救生绳、防爆灯、太平斧、消防胶靴、手提式灭火器、灭火毯、防烟面罩、逃生绳和/或缓降器。
上述方案的有益效果：
(1)本发明创造性提供了一种基于声源定位技术、声纹识别技术和无线定位技术进行消防装备出入库自动管理的新方案，即包括有管理服务器以及布置在消防装备出入库通道中的拾音设备和无线定位设备，其中，所述拾音设备用于采集获取现场音频数据，所述无线定位设备用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，所述管理服务器用于根据所述现场音频数据和所述唯一标识数据及所处位置数据，将声源定位技术、声纹识别技术和无线定位技术结合起来判断发声人员与消防装备是否具有绑定关系，若有则自动完成消防装备出入库绑定管理，如此可在紧急出警的情况下对消防装备出入库进行自动管理，利于快速出警和降低人为工作量，并可确保装备仓库管理有序进行；
(2)还可以避免出现因消防人员是整装出警(即穿戴有防护头盔、防护服和防烟面罩等出警)而导致人脸识别困难的问题，进而可以保障消防装备出入库绑定管理的准确性；
(3)还可以自动实时地更新消防装备库存量，以及自动提醒管理员对消费装备进行检修或报废处理，以免人为遗忘，进一步实现消防装备的有序管理和及时更新；
(4)还可以进一步在识别出发声人员并验证该发声人员合法性后，才允许该发声人员出入仓库，进而可确保后续能够建立起发声人员与消防装备的绑定关系，实现自动完成消防装备出入库绑定管理的目的，并杜绝出现非法人员盗窃装备的问题，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的用于消防装备快速出入库的智能化管理系统的结构示意图。
图2为本申请实施例提供的消防装备出入库管理方法的流程示意图。
图3是本发明提供的基于端到端语音识别技术的关键词检索系统的工作原理示意图。
图4是本发明提供的在关键词检索过程中帧级别对齐算法的流程示意图。
图5是本发明提供的在关键词检索过程中关键词匹配及去重方法的流程示意图。
图6是本发明提供的声音信号预处理方法的流程示意图。
图7是本发明提供的在声源位置估计模型中卷积神经网络的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的且用于消防装备快速出入库的智能化管理系统，包括但不限于有管理服务器、拾音设备和无线定位设备，其中，所述管理服务器分别通信连接所述拾音设备和无线定位设备，所述拾音设备和所述无线定位设备分别布置在消防装备出入库通道中；所述拾音设备，用于采集获取现场音频数据，并将所述现场音频数据传送至所述管理服务器；所述无线定位设备，用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，并将所述消防装备的唯一标识数据及所处位置数据传送至所述管理服务器。前述的拾音设备可以具体但不限于是一个麦克风或麦克风阵列，以便采集获取所述现场音频数据。为了确保定位精度能够达到厘米级别，以便后续得到精准的距离，所述无线定位方式优选但不限于采用基于射频识别技术或超宽带UWB(UltraWide Band)技术的现有室内无线定位方式，例如所述无线定位设备包括有位于不同位置的三个UWB基站，所述无线定位标签为UWB标签，如此可以基于所述三个UWB基站与所述UWB标签的脉冲信号传递和现有的TOA(Time of Arrival，到达时间)定位算法，实现对所述消防装备进行精准无线定位的目的。所述拾音设备和所述无线定位设备可以具体但不限于布置在所述消防装备出入库通道的正上方。具体的，所述消防装备包括但不限于有防护头盔、防护服、正压式空气呼吸器、耐火救生绳、防爆灯、太平斧、消防胶靴、手提式灭火器、灭火毯、防烟面罩、逃生绳和/或缓降器等。此外，所述消防装备出入库通道优选采用单人通行通道，以避免出现人员拥挤现象，并确保后续能够准确进行装备与人员的绑定；为了实现快速出警目的，还可以布置有两条或多条所述消防装备出入库通道(如图1所示举例为两条)，并在每条所述消防装备出入库通道中均布置有所述拾音设备和所述无线定位设备。
所述管理服务器，用于根据所述现场音频数据和所述消防装备的唯一标识数据及所处位置数据，如图2所示，执行如下步骤S1～S5所描述的消防装备出入库管理方法。
S1.根据所述现场音频数据，利用已完成训练的且基于端到端语音识别技术的关键词检索系统来进行口令关键词识别处理，得到口令关键词识别结果。
在所述步骤S1中，所述基于端到端语音识别技术的关键词检索系统主要用于进行现场人员话语中关键词的匹配并得到关键词的起止时间点和置信度。所述关键词检索系统中的主要核心部分为端到端语音识别系统(其采用基于Transformer神经网络结构的联合CTC/注意力架构作为语音识别的基本框架)、逐帧音素分类器、帧级别对齐部分以及N-最佳假设的关键词匹配和去重，其概要示意图如图3所示，该图3中的A虚线框为逐帧音素分类器，B虚线框为联合CTC/注意力的端到端语音识别前端(其中，需要说明的是逐帧音素分类器与语音识别编码器两者的网络结构除输出层维度不同外，其他完全相同，故将逐帧音素分类器和端到端语音识别前端的下采样层共享以及若干低层编码器层参数共享，但为求训练时不互相干扰，则将若干高层编码器层隔离开来)。
所述关键词检索系统的处理流程是：先着眼于A虚线框所示，将原始语音特征输入到下采样共享层(目的是为了减少后续神经网络的计算量)，而后进入由若干层堆叠构成的(低层和高层)编码器网络，再经过softmax全连接输出层(即音素分类器输出层)，得到逐帧的音素后验概率(音素分类器的输出为单词每一帧语音上每一个音素的后验概率)；同时如B虚线框所示，在将原始语音特征输入到下采样共享层和若干(低层和高层)编码器网络后，数据会进入到CTC(Connectionist Temporal Classification，联结主义时间分类)输出层(利用CTC的神经网络逐帧预测出CTC标签序列，并合并序列中连续的相同输出标签，经删除特定标签及塌缩后得到结果序列)及经注意力机制(由前馈网络和多头自注意力层两子层构成了每个编码器层；自注意力的三个输入：Q-查询、K-键和V-值皆为前子层的输出；自注意力和前馈网络之间有单个多头注意力子层，其输入Q来自前一子层的输出，而输入K和输入V来自编码器的最后一层输出，从而构成此处的注意力机制，且此处注意力机制是缩放点乘注意力)后进入若干解码器层，加之解码器的输入为文本标签的嵌入向量序列，且在推理时以上一步预测的输出标签作为输入(以自回归的形式预测当前标签)；此时，在解码器的预测标签集合和CTC结果序列的加持下，在推理过程中，利用CTC和解码器的分数，进行CTC/注意力联合解码。
为了给联合CTC/注意力的端到端语音识别前端提供较为精确的单词起止时间点和可靠置信度，可采用帧级对齐方法和使用Softmax输出层获取的结果后验概率(归属于单词每帧语音的每音素)来达到目的，帧级别对齐方法如图4所示：将语音识别的解码结果单词序列映射为音素序列(δ1，…，δM)，并在句首、句尾以及相邻单词间插入间隔音素；对于每个音素δM，从音素分类器中获取到的音素在每帧语音帧上的后验概率。则δM在第n帧上的后验概率为Pn(δM)，总语音帧数为N，则音素后验概率构成了一个M×N矩阵P；使用动态规划算法找到从矩阵左上角元素P1,1到右下角元素PM,N的最大累积后验概率路径(路径只向右或右下方前进，每一帧对应且仅对应一个音素，每个有实际发音的音素至少对应一帧，但间隔音素可以跳过)；回溯各音素对应的语音帧，进而得出语音识别解码结果中各个单词的起止帧，依据模型的帧率计算出起止时间点，并计算出单词的帧平均音素后验概率置信度γ，且利用解码器输出的标签后验概率均值置信度ξ与γ线性插值后获得结果关键词置信度。至此，已对音素分类器的后验概率和联合解码结果进行时间对齐，已获取各个单词的时间起止点和置信度，而后进入N-最佳假设的关键词匹配和去重(目的是以防遗漏潜在的关键词结果)，如图5所示：将结果列表清空，而后倒序遍历各假设(N假设->1假设)匹配关键词，将其放入结果列表后，若发现结果列表中已有相同关键词，则将置信度较高者保留，较低者删除。
在所述步骤S1之前，针对所述关键词检索系统的样本采集及训练过程，可以但不限于包括如下：(1)获取人工标注的且与话语关键词(例如“到”、“快”和任务口令等预先定义的语音词)对应的语音识别数据集C(对作为训练集的数据进行全局的倒谱均值方差归一化)；而后将使用Kaldi进行语音预处理和特征提取,采用40维高分辨率梅尔频率倒谱系数以及三维声调特征作为语音特征，并将所述语音识别数据集C中的训练集人工转录文本，用字节对编码(BPE)算法生成一定数目文本建模单元，作为端到端语音识别输出单元；另外，采用三音子建模的高斯混合模型-HMM语音识别系统得到音素分类器训练所需的训练集语音逐帧音素标注；(2)根据所述语音识别数据集C，采用基于端到端语音识别技术的关键词检索系统进行模型训练；其中，逐帧音素分类器和语音识别前端两者以多任务学习的方式联合训练，总损失函数由音素分类器损失函数LPC与语音识别前端损失函数LASR线性插值得到：
L＝βLPC+(1-β)LASR，式中，β表示插值系数；在模型训练时采用带Noam学习率衰减的Adam优化器进行优化，并使用dropout(概率为0.1)、标签平滑(系数为0.1)、训练热身(25000步)和梯度裁剪(阈值为5)训练，多任务学习损失插值系数α和β分别设置为0.3和0.1，得到所述已完成训练的且基于端到端语音识别技术的关键词检索系统。
另外，在所述关键词检索系统的参数配置阶段，可将逐帧音素分类器和语音识别前端的共享底层配置为9层Transformer编码器,另外各自的较高3层编码器分别配置为独立使用；语音识别前端的解码器配置为6层，每个编码器和解码器层中多头注意力的维度配置为320，头数配置为4，前馈神经网络维度配置为2048；逐帧音素分类器的建模单元配置为汉语的22个辅音、10个元音以及静音(间隔音素)，共33个音素标签。此外，在运行阶段，使用CTC权重为0.5的CTC/注意力联合解码，以及考虑系统模型的训练过程需要消耗大量的计算资源，所述关键词检索系统优选在其他计算机设备上完成训练后，再作为AI检测算法的一部分部署到所述计算机设备上。
S2.若所述话语关键词识别结果表示存在话语关键词，则针对所述话语关键词，先从所述现场音频数据中提取出对应的人体发声音频数据，然后根据该人体发声音频数据，利用已完成训练的声源方位估计模型来进行对应的声源方位估计处理，得到对应的声源相对于所述拾音设备的方向角及仰角，最后根据该方向角及仰角和所述拾音设备的已知位置，确定对应的声源位置，其中，所述话语关键词为预先要求消防装备领取人和消防装备归还人在通过所述消防装备出入库通道时所说出的关键词。
在所述步骤S2中，所述声源方位估计模型主要包含有声音信号的预处理和卷积神经网络结构两大部分，其中，预处理部分需要对采集的声音采取分帧加窗和降噪等处理，通过麦克风阵列结构进而算出通道间的Gcc-Phat，然后依据四通道阵元结构，经阵元间的关系可获取六维Gcc-Phat特征，如图6所示。如图7所示为所述声源方位估计模型中卷积神经网络结构图，该CNN(Convolutional Neural Network,卷积神经网络)网络结构的网络参数如下表1所示：
表1.CNN网络结构的网络参数
Figure BDA0004167480900000091
Figure BDA0004167480900000101
此外，在该CNN网络结构中采用池化窗口为2x2的最大池化且每一个卷积块之后进行批量归一化。
在所述步骤S2之前，所述声源方位估计模型的样本采集及训练过程，可以但不限于包括如下：(1)获取模拟在现场仅有单人情况下的音频数据；(2)基于音频数据经预处理获取到Gcc-Phat特征且做相关量计算后，再将特征数据、相关量计算结果以及拾音设备与发声位置的参考坐标(拾音设备前端中心为原点)、参考方位角和仰角数据作为声音定位估计数据集；(3)利用所述声音定位估计数据集对声源方位估计模型的卷积神经网络进行模型训练，得到所述已完成训练的声源方位估计模型。此外，考虑估计模型的训练过程需要消耗大量的计算资源，所述声源方位估计模型优选在其他计算机设备上完成训练后，再作为AI检测算法的一部分部署到所述计算机设备上。
在所述步骤S2中，所述人体发声音频数据的具体提取过程即为基于所述话语关键词的起止时间点对所述现场音频数据进行截取处理并进行常规去噪处理的过程。此外，可以具体通过几何知识，根据所述方向角及仰角和所述拾音设备的已知位置，确定与所述话语关键词对应的声源位置。
S3.针对所述话语关键词，还根据对应的人体发声音频数据，利用已完成训练的声纹识别模型来进行对应的发声人员身份识别处理，得到对应的发声人员身份数据。
在所述步骤S3中，由于所述人体发声音频数据会记录有发声人员的声纹特征，因此可以采用现有的声纹识别技术，基于诸如模板模型或随机模型等典型的且已完成训练的声纹识别模型，识别得到所述发声人员的身份数据。
S4.若发现在所述话语关键词的起止时间内采集有某个消防装备的唯一标识数据及所处位置数据，则根据所述某个消防装备的所处位置数据，判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于预设距离阈值。
在所述步骤S4中，所述预设距离阈值用于作为判断消防装备与发声人员是否具有绑定关系的依据。并针对不同类型的消防装备，可以配置有不同的预设距离阈值，例如针对防护头盔，可以将对应的预设距离阈值设计为一个较小数值，而针对消防胶靴，可以将对应的预设距离阈值设计为一个较大数值。即优选的，当为不同消防装备类型配置有独立的预设距离阈值时，判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于预设距离阈值，包括：判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于所述某个消防装备的所属消防装备类型的预设距离阈值。
S5.若判定所述话语关键词的声源位置与所述某个消防装备的距离小于等于所述预设距离阈值，则根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理。
在所述步骤S5中，若判定所述话语关键词的声源位置与所述某个消防装备的距离小于等于所述预设距离阈值，则表明所述某个消防装备与所述发声人员距离过近，可以视为所述发声人员在携带所述某个消防装备出入所述消防装备出入库通道，因此可以将两者绑定，即根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理。具体的，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，包括但不限于有：根据所述某个消防装备在途经所述消防装备出入库通道时所采集的所处位置数据，判断所述某个消防装备的运动轨迹是从库内至库外还是从库外至库内；若判定所述某个消防装备的运动轨迹是从库内至库外，则将所述某个消防装备的出入库状态从入库状态变更为出库状态，同时将与所述话语关键词对应的发声人员身份数据作为消防装备领取人身份数据，与所述某个消防装备的唯一标识数据一起记录在消防装备出库登记表中；若发现所述某个消防装备的运动轨迹为从库外至库内，则将所述某个消防装备的出入库状态从出库状态变更为入库状态，同时将与所述话语关键词对应的发声人员身份数据作为消防装备归还人身份数据，与所述某个消防装备的唯一标识数据一起记录在消防装备入库登记表中。
由此基于前述的智能化管理系统，提供了一种基于声源定位技术、声纹识别技术和无线定位技术进行消防装备出入库自动管理的新方案，即包括有管理服务器以及布置在消防装备出入库通道中的拾音设备和无线定位设备，其中，所述拾音设备用于采集获取现场音频数据，所述无线定位设备用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，所述管理服务器用于根据所述现场音频数据和所述唯一标识数据及所处位置数据，将声源定位技术、声纹识别技术和无线定位技术结合起来判断发声人员与消防装备是否具有绑定关系，若有则自动完成消防装备出入库绑定管理，如此可在紧急出警的情况下对消防装备出入库进行自动管理，利于快速出警和降低人为工作量，并可确保装备仓库管理有序进行。此外，相对于基于人脸识别的消防装备出入库管理技术，由于是将声源定位技术、声纹识别技术和无线定位技术结合起来判断发声人员与消防装备是否具备绑定关系，还可以避免出现因消防人员是整装出警(即穿戴有防护头盔、防护服和防烟面罩等出警)而导致人脸识别困难的问题，进而可以保障消防装备出入库绑定管理的准确性，便于实际应用和推广。
优选的，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括但不限于有：在将消防装备领取人身份数据与所述某个消防装备的唯一标识数据一起记录在消防装备出库登记表中之后，针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自减1；以及在将消防装备归还人身份数据与所述某个消防装备的唯一标识数据一起记录在消防装备入库登记表中之后，针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自加1。如此还可以自动实时地更新消防装备库存量，以便展示给相关人员或消防指挥中心。
进一步优选的，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括但不限于有：在针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自加1之后，根据所述消防装备出库登记表和/或所述消防装备入库登记表统计得到所述某个消防装备的使用次数；判断所述某个消防装备的使用次数是否超过为所述所属消防装备类型配置的预设次数阈值；若是，则向管理员推送用于提醒对所述某个消防装备进行检修或报废处理的提醒消息。如此还可以自动提醒管理员对消费装备进行检修或报废处理，以免人为遗忘，进一步实现消防装备的有序管理和及时更新。
优选的，还包括有通道闸机，其中，所述通道闸机也布置在所述消防装备出入库通道中，并也通信连接所述管理服务器；所述通道闸机，用于在所述管理服务器的控制下打开或封闭所述消防装备出入库通道。如此通过所述通道闸机的配置，可以避免无关人员出入装备仓库，杜绝出现装备盗窃现象。进一步优选的，所述消防装备出入库管理方法，还包括但不限于有：控制所述通道闸机维持封闭所述消防装备出入库通道；在识别得到所述话语关键词的发声人员身份数据后，验证所述发声人员身份数据的合法性，若验证通过，则控制所述通道闸机临时打开所述消防装备出入库通道。通过前述方法步骤设计，还可以进一步在识别出发声人员并验证该发声人员合法性后，才允许该发声人员出入仓库，进而可确保后续能够建立起发声人员与消防装备的绑定关系，实现自动完成消防装备出入库绑定管理的目的，并杜绝出现非法人员盗窃装备的问题。此外，验证所述发声人员身份数据的合法性的具体方式为现有常规方式，例如验证所述发声人员身份数据是否提前登记在册并有出入权限。
综上，采用本实施例所提供的用于消防装备快速出入库的智能化管理系统，具有如下技术效果：
(1)本实施例提供了一种基于声源定位技术、声纹识别技术和无线定位技术进行消防装备出入库自动管理的新方案，即包括有管理服务器以及布置在消防装备出入库通道中的拾音设备和无线定位设备，其中，所述拾音设备用于采集获取现场音频数据，所述无线定位设备用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，所述管理服务器用于根据所述现场音频数据和所述唯一标识数据及所处位置数据，将声源定位技术、声纹识别技术和无线定位技术结合起来判断发声人员与消防装备是否具有绑定关系，若有则自动完成消防装备出入库绑定管理，如此可在紧急出警的情况下对消防装备出入库进行自动管理，利于快速出警和降低人为工作量，并可确保装备仓库管理有序进行；
(2)还可以避免出现因消防人员是整装出警(即穿戴有防护头盔、防护服和防烟面罩等出警)而导致人脸识别困难的问题，进而可以保障消防装备出入库绑定管理的准确性；
(3)还可以自动实时地更新消防装备库存量，以及自动提醒管理员对消费装备进行检修或报废处理，以免人为遗忘，进一步实现消防装备的有序管理和及时更新；
(4)还可以进一步在识别出发声人员并验证该发声人员合法性后，才允许该发声人员出入仓库，进而可确保后续能够建立起发声人员与消防装备的绑定关系，实现自动完成消防装备出入库绑定管理的目的，并杜绝出现非法人员盗窃装备的问题，便于实际应用和推广。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于消防装备快速出入库的智能化管理系统，其特征在于，包括有管理服务器、拾音设备和无线定位设备，其中，所述管理服务器分别通信连接所述拾音设备和无线定位设备，所述拾音设备和所述无线定位设备分别布置在消防装备出入库通道中；
所述拾音设备，用于采集获取现场音频数据，并将所述现场音频数据传送至所述管理服务器；
所述无线定位设备，用于在内置有无线定位标签的消防装备途经所述消防装备出入库通道时，通过与所述无线定位标签进行的无线定位方式获取所述消防装备的唯一标识数据及所处位置数据，并将所述消防装备的唯一标识数据及所处位置数据传送至所述管理服务器；
所述管理服务器，用于根据所述现场音频数据和所述消防装备的唯一标识数据及所处位置数据，执行如下的消防装备出入库管理方法：
根据所述现场音频数据，利用已完成训练的且基于端到端语音识别技术的关键词检索系统来进行话语关键词识别处理，得到话语关键词识别结果；
若所述话语关键词识别结果表示存在话语关键词，则针对所述话语关键词，先从所述现场音频数据中提取出对应的人体发声音频数据，然后根据该人体发声音频数据，利用已完成训练的声源方位估计模型来进行对应的声源方位估计处理，得到对应的声源相对于所述拾音设备的方向角及仰角，最后根据该方向角及仰角和所述拾音设备的已知位置，确定对应的声源位置，其中，所述话语关键词为预先要求消防装备领取人和消防装备归还人在通过所述消防装备出入库通道时所说出的关键词；
针对所述话语关键词，还根据对应的人体发声音频数据，利用已完成训练的声纹识别模型来进行对应的发声人员身份识别处理，得到对应的发声人员身份数据；
若发现在所述话语关键词的起止时间内采集有某个消防装备的唯一标识数据及所处位置数据，则根据所述某个消防装备的所处位置数据，判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于预设距离阈值；
若判定所述话语关键词的声源位置与所述某个消防装备的距离小于等于所述预设距离阈值，则根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理。
2.如权利要求1所述的智能化管理系统，其特征在于，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，包括：
根据所述某个消防装备在途经所述消防装备出入库通道时所采集的所处位置数据，判断所述某个消防装备的运动轨迹是从库内至库外还是从库外至库内；
若判定所述某个消防装备的运动轨迹是从库内至库外，则将所述某个消防装备的出入库状态从入库状态变更为出库状态，同时将与所述话语关键词对应的发声人员身份数据作为消防装备领取人身份数据，与所述某个消防装备的唯一标识数据一起记录在消防装备出库登记表中；
若发现所述某个消防装备的运动轨迹为从库外至库内，则将所述某个消防装备的出入库状态从出库状态变更为入库状态，同时将与所述话语关键词对应的发声人员身份数据作为消防装备归还人身份数据，与所述某个消防装备的唯一标识数据一起记录在消防装备入库登记表中。
3.如权利要求2所述的智能化管理系统，其特征在于，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括：
在将消防装备领取人身份数据与所述某个消防装备的唯一标识数据一起记录在消防装备出库登记表中之后，针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自减1。
4.如权利要求2所述的智能化管理系统，其特征在于，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括：
在将消防装备归还人身份数据与所述某个消防装备的唯一标识数据一起记录在消防装备入库登记表中之后，针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自加1。
5.如权利要求4所述的智能化管理系统，其特征在于，根据所述话语关键词的发声人员身份数据和所述某个消防装备的唯一标识数据对所述某个消防装备进行出入库绑定管理，还包括：
在针对所述某个消防装备的所属消防装备类型，使对应类型的库存量自加1之后，根据所述消防装备出库登记表和/或所述消防装备入库登记表统计得到所述某个消防装备的使用次数；
判断所述某个消防装备的使用次数是否超过为所述所属消防装备类型配置的预设次数阈值；
若是，则向管理员推送用于提醒对所述某个消防装备进行检修或报废处理的提醒消息。
6.如权利要求1所述的智能化管理系统，其特征在于，还包括有通道闸机，其中，所述通道闸机也布置在所述消防装备出入库通道中，并也通信连接所述管理服务器；
所述通道闸机，用于在所述管理服务器的控制下打开或封闭所述消防装备出入库通道。
7.如权利要求6所述的智能化管理系统，其特征在于，所述消防装备出入库管理方法，还包括：
控制所述通道闸机维持封闭所述消防装备出入库通道；
在识别得到所述话语关键词的发声人员身份数据后，验证所述发声人员身份数据的合法性，若验证通过，则控制所述通道闸机临时打开所述消防装备出入库通道。
8.如权利要求1所述的智能化管理系统，其特征在于，当为不同消防装备类型配置有独立的预设距离阈值时，判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于预设距离阈值，包括：
判断所述话语关键词的声源位置与所述某个消防装备的距离是否小于等于所述某个消防装备的所属消防装备类型的预设距离阈值。
9.如权利要求1所述的智能化管理系统，其特征在于，所述无线定位方式采用基于射频识别技术或超宽带UWB技术的室内无线定位方式。
10.如权利要求1所述的智能化管理系统，其特征在于，所述消防装备包括有防护头盔、防护服、正压式空气呼吸器、耐火救生绳、防爆灯、太平斧、消防胶靴、手提式灭火器、灭火毯、防烟面罩、逃生绳和/或缓降器。
CN202310367759.2A 2023-04-07 2023-04-07 一种用于消防装备快速出入库的智能化管理系统 Active CN116384879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310367759.2A CN116384879B (zh) 2023-04-07 2023-04-07 一种用于消防装备快速出入库的智能化管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310367759.2A CN116384879B (zh) 2023-04-07 2023-04-07 一种用于消防装备快速出入库的智能化管理系统

Publications (2)

Publication Number Publication Date
CN116384879A true CN116384879A (zh) 2023-07-04
CN116384879B CN116384879B (zh) 2023-11-21

Family

ID=86965242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310367759.2A Active CN116384879B (zh) 2023-04-07 2023-04-07 一种用于消防装备快速出入库的智能化管理系统

Country Status (1)

Country Link
CN (1) CN116384879B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673544A (zh) * 2009-10-10 2010-03-17 上海电虹软件有限公司 一种基于声纹识别和定位跟踪的交叉监控方法和系统
CN108876951A (zh) * 2018-06-13 2018-11-23 贾成举 一种基于声音识别的教学考勤方法
CN110767226A (zh) * 2019-10-30 2020-02-07 山西见声科技有限公司 具有高准确度的声源定位方法、装置、语音识别方法、系统、存储设备及终端
CN112101863A (zh) * 2020-09-10 2020-12-18 湖北烽火平安智能消防科技有限公司 一种消防装备出入库管理方法及系统
CN114694254A (zh) * 2022-03-31 2022-07-01 成都新潮传媒集团有限公司 一种直梯内物品抢劫检测预警方法、装置及计算机设备
CN115100701A (zh) * 2021-03-08 2022-09-23 福建福清核电有限公司 一种基于人工智能技术的会议发言人身份识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673544A (zh) * 2009-10-10 2010-03-17 上海电虹软件有限公司 一种基于声纹识别和定位跟踪的交叉监控方法和系统
CN108876951A (zh) * 2018-06-13 2018-11-23 贾成举 一种基于声音识别的教学考勤方法
CN110767226A (zh) * 2019-10-30 2020-02-07 山西见声科技有限公司 具有高准确度的声源定位方法、装置、语音识别方法、系统、存储设备及终端
CN112101863A (zh) * 2020-09-10 2020-12-18 湖北烽火平安智能消防科技有限公司 一种消防装备出入库管理方法及系统
CN115100701A (zh) * 2021-03-08 2022-09-23 福建福清核电有限公司 一种基于人工智能技术的会议发言人身份识别方法
CN114694254A (zh) * 2022-03-31 2022-07-01 成都新潮传媒集团有限公司 一种直梯内物品抢劫检测预警方法、装置及计算机设备

Also Published As

Publication number Publication date
CN116384879B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
US6615170B1 (en) Model-based voice activity detection system and method using a log-likelihood ratio and pitch
US7206741B2 (en) Method of speech recognition using time-dependent interpolation and hidden dynamic value classes
Laffitte et al. Deep neural networks for automatic detection of screams and shouted speech in subway trains
CN114694076A (zh) 基于多任务学习与层叠跨模态融合的多模态情感分析方法
Gupta et al. Paralinguistic event detection from speech using probabilistic time-series smoothing and masking.
Akbacak et al. Environmental sniffing: noise knowledge estimation for robust speech systems
US20220343895A1 (en) User-defined keyword spotting
JPWO2009028647A1 (ja) 非対話型学習装置及び対話型学習装置
US7617104B2 (en) Method of speech recognition using hidden trajectory Hidden Markov Models
Wan et al. Tuplemax loss for language identification
JP2017062349A (ja) 検知装置及びその制御方法、コンピュータプログラム
CN114127849A (zh) 语音情感识别方法和装置
Yeh et al. A dialogical emotion decoder for speech emotion recognition in spoken dialog
Zelenák et al. The detection of overlapping speech with prosodic features for speaker diarization
Eyben et al. Audiovisual classification of vocal outbursts in human conversation using long-short-term memory networks
Tabibian A voice command detection system for aerospace applications
JPH0792988A (ja) 音声検出装置と映像切り替え装置
JP5704071B2 (ja) 音声データ解析装置、音声データ解析方法及び音声データ解析用プログラム
Rothkrantz Lip-reading by surveillance cameras
Zeghidour et al. DIVE: End-to-end speech diarization via iterative speaker embedding
CN116384879B (zh) 一种用于消防装备快速出入库的智能化管理系统
Singh et al. Efficient Modelling Technique based Speaker Recognition under Limited Speech Data
Haws et al. On the importance of event detection for ASR
CN111145761A (zh) 模型训练的方法、声纹确认的方法、系统、设备及介质
Chen et al. Mandarin Chinese mispronunciation detection and diagnosis leveraging deep neural network based acoustic modeling and training techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant