CN107465657A - 直播视频监控方法、存储介质、电子设备及系统 - Google Patents
直播视频监控方法、存储介质、电子设备及系统 Download PDFInfo
- Publication number
- CN107465657A CN107465657A CN201710483586.5A CN201710483586A CN107465657A CN 107465657 A CN107465657 A CN 107465657A CN 201710483586 A CN201710483586 A CN 201710483586A CN 107465657 A CN107465657 A CN 107465657A
- Authority
- CN
- China
- Prior art keywords
- signal
- voice signal
- emd
- imf
- live video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 21
- 230000006798 recombination Effects 0.000 claims description 20
- 238000005215 recombination Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0245—Filtering by information in the payload
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
- H04L63/0227—Filtering policies
- H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种直播视频监控方法、存储介质、电子设备、及系统，涉及直播视频监控领域。该方法的步骤为：服务端对直播视频流进行解析得到语音数据信号，服务端通过CEEMDAN对语音数据进行模态分解，得到n阶IMF分量；服务端将n阶IMF分量通过FastICA分离得到m个重构语音信号，1≤m≤n‑2；服务端对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，将当前直播间进行异常标记；否则将当前直播将进行正常标记。本发明能够显著减少语音数据信号的噪声，以此最大化完美识别直播语音数据，大幅度提高监控精度，为杜绝网络不良信息的传播提供了有力保障。
Description
技术领域
本发明涉及直播视频监控领域，具体涉及一种直播视频监控方法、存储介质、电子设备、及系统。
背景技术
随着直播行业的快速发展，越来越多的用户喜爱观看网络直播。为了实现避免网络不良信息的传播，直播平台需要对直播视频进行监控。现有的对直播视频进行监控的方法一般为：人工对直播平台中的所有直播间的直播视频，进行随机监控，当监控到某个直播间存在不良信息的语音时，将该直播间标记为重点监控直播间；随后安排人工对重点监控直播间进行全程监控，进而提高监控效率，净化直播内容。
但是，上述对直播视频进行监控的方法存在以下缺陷：
人工监控不仅所需的人力成本较大，而且当直播间数量较多时，每个直播间的直播视频的监控精度较低，进而使得不良信息的直播视频的被发现性较低，无法良好的实现杜绝网络不良信息的传播。
发明内容
针对现有技术中存在的缺陷，本发明解决的技术问题为：如何自动和精准的筛选出具有不良信息的网络直播视频。本发明能够显著减少语音数据信号的噪声，以此最大化完美识别直播语音数据，大幅度提高监控精度，为杜绝网络不良信息的传播提供了有力保障。
为达到以上目的，本发明提供的直播视频监控方法，包括以下步骤：
S1：服务端获取直播间的直播视频地址，根据直播视频地址得到直播视频流，对直播视频流进行解析得到语音数据信号，转到S2；
S2：服务端通过CEEMDAN对语音数据进行模态分解，得到n 阶IMF分量，n≥3，转到S3；
S3：服务端将n阶IMF分量通过FastICA分离得到m个重构语音信号，1≤m≤n-2，转到S4；
S4：服务端对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，将当前直播间进行异常标记；否则将当前直播将进行正常标记。
本发明提供的存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述直播视频监控方法。
本发明提供的电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述直播视频监控方法。
本发明提供的直播视频监控系统，包括设置于服务端上的语音信号解析模块、语音信号分解模块、语音信号重组模块和语音信号识别模块；
语音信号解析模块用于：获取直播间的直播视频地址，根据直播视频地址得到直播视频流，对直播视频流进行解析得到语音数据信号，向语音信号分解模块发送语音信号分解信号；
语音信号分解模块用于：收到语音信号分解信号后，通过 CEEMDAN对语音数据进行模态分解，得到n阶IMF分量，n≥3，向语音信号重组模块发送语音信号重组信号；
语音信号重组模块用于：收到语音信号重组信号后，将n阶IMF 分量通过FastICA分离得到m个重构语音信号，1≤m≤n-2，向语音信号识别模块发送语音信号识别信号；
语音信号识别模块用于：收到语音信号识别信号后，对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，将当前直播间进行异常标记；否则将当前直播将进行正常标记。
与现有技术相比，本发明的优点在于：
通过本发明的S1至S6可知，本发明能够自主研制的算法，对直播语音数据信号进行降噪时，无需事先选定基函数，完全依靠检测信号本身的特征进行模态分解，得到若干独立的IMF分量。因此，本发明能够有效的减少计算成本并克服模态混叠问题，进而显著减少了语音数据信号的噪声，以此最大化完美识别直播语音数据，大幅度提高监控精度，为杜绝网络不良信息的传播提供了有力保障。
在此基础上，本发明实现了自动监控网络直播间，不仅显著降低了人力成本，而且大幅度提升了工作效率。
附图说明
图1为本发明实施例中直播视频监控方法的流程图；
图2为本发明实施例中电子设备的连接框图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，本发明实施例中的直播视频监控方法，包括以下步骤：
S1：服务端获取直播间的直播视频地址，根据直播视频地址得到直播视频流，对直播视频流进行解析得到语音数据信号，转到S2。
S2：服务端通过CEEMDAN(CEEmpirical Mode DecompositionAN，噪声辅助数据分析方法的进一步改进算法，性能不好的信号经过EMD分解后能够得到一系列由高频到低频排列的IMF，即IMFIntrinsic Mode Function，本征模函数)对语音数据信号进行模态分解，得到n阶IMF分量，n≥3，进而在有效减少计算成本的同时克服模态混叠问题，转到S3。
S2的具体流程为：
S201：对语音数据信号x(t)加入j次高斯白噪声，j为正整数，形成高斯白噪声序列vj(t)，将vj(t)作为分解信号后进行EMD分解，得到IMF分量IMFjn，n代表IMF分量的阶数，转到S202。
通过S201可知，高斯白噪声序列vj(t)可以表示为：其中rj为加入不同高斯白噪声的IMF分量的信号分解得出的趋势项。
S202：对IMFjn进行平均计算，得到CEEMDAN的第一个本征模态函数 其中J为正整数，转到S203。
S203：根据计算余量Rn：
转到S204。
S204：将Rn-1+W作为分解信号进行EMD分解，获取EMD分解时的第一个模态E1，W＝εnEn(wj)，εn为常量(εn的选择为本领域公知常识)，wj为0至1之间的高斯白噪声序列，En(wj)为将wj作为分解信号进行EMD分解后，获取EMD分解时的第n个模态；根据 E1计算模态
转到S205。
S205：将作为后重新执行S203，得到Rn和Rn-1，判断本步骤中的Rn是否无法分解(即Rn极点值是否小于2)，若是，根据本步骤中的Rn和得到IMF分量x(t)：此时S2结束，转到S3；否则根据本步骤中的Rn-1重新执行S204。
通过S201至S205可知，通CEEMDAN加入自适应的高斯白噪声，紧接着计算其特定余量来获取相应的IMF分量，克服了原本 EEMD加入的白噪声会使得分解失去完备性、产生重构误差的问题。
S201和S204中作为分解信号f(t)进行EMD分解的具体流程为：
S2a：对f(t)通过3次样条函数，拟合出信号的极大值包络线e+(t)；对f(t)通过3次样条函数，拟合出信号的极小值包络线e-(t)；根据e+(t) 和e-(t)计算均值包络mi(t)，mi(t)＝(e+(t)+e-(t))/2；根据f(t)和mj(t) 得到去掉低频的信号 转到S2b。
S2b：判断是否满足IMF的两个条件(即设定值范围)：1、信号的极值点(极大值或极小值)数目和过零点数目相等或最多相差一个；2、由局部极大值构成的上包络线和由局部极小值构成的下包络线的平均值为零；若是，根据和vj(t)得到去掉高频成分的信号z(t)，转到S2c；否则将作为f(t)后，重新执行S2a。
S2b的实际操作流程为本领域技术人员的常规手段，在此不做赘述。
S2c：判断z(t)是否满足预设标准，预设标准为：z(t)符合以下任意一种情况：z(t)为单调函数、z(t)为常量、z(t)小于预设值；若是，将 z(t)作为IMF分量，否则将z(t)作为f(t)后，重新执行S2a。
当f(t)为S201中的vj(t)时，IMFjn为z(t)，当f(t)为S204中的Rn-1 +W时，E1为当f(t)为S204中的wj时，En(wj)为
S3：服务端将n阶IMF分量通过FastICA(FastIndependent Component Analysis，快速独立成分分析算法)分离得到m个重构语音信号，1≤m≤n-2，以增强语音信号，转到S4。
S3的原理和具体流程为：由于语音信号经过CEEMDAN自适应分解后得到IMF分量的数目无法确定，因此单纯的选取某几阶IMF 分量重构语音信号，可能会产生丢失语音信息的情况。而FastICA是基于高阶统计特性的分析方法，在消除噪声的同时，对其它信号的细节几乎没有破坏，去噪性能也往往要比传统的滤波方法好很多，对高阶统计特性的分析更符合实际。由于一定存在2阶IMF分量分别包含主要的噪声信号和语音信号。因此在无法确定噪声信号和语音信号对应的IMF分量的具体阶数n时，将所有IMF分量分为m组后，对每组IMF分量进行FastICA计算，得到m个重构语音信号，1≤m≤ n-2，每组IMF分量的阶数为m，m+1，m+2，转到S4。
S4：服务端对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，转到S5；否则转到S6。
S5：服务端将当前直播间进行异常标记，即标记为重点监控直播间，进而使得工作人员对异常标记的直播间进行重点监控，即通过相似度算法判断直播间是否为不良直播间，以达到净化直播内容的目的。
S6：服务端将当前直播将进行正常标记，进而使得工作人员对正常标记的直播间进行随机监控。
在实际使用过程中S5和S6可以在S4中完成，即S4至S6可汇聚为1个步骤。
通过S1至S6可知，本发明实施例能够自主研制的算法，对直播语音数据信号进行降噪时，能够有效的减少计算成本并克服模态混叠问题，进而显著减少了语音数据信号的噪声，以此最大化完美识别直播语音数据，大幅度提高监控精度，为杜绝网络不良信息的传播提供了有力保障。
本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述直播视频监控方法。需要说明的是，所述存储介质包括U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
参见图2所示，本发明实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述直播视频监控方法。
本发明实施例提供的直播视频监控系统，包括设置于服务端上的语音信号解析模块、语音信号分解模块、语音信号重组模块和语音信号识别模块。
语音信号解析模块用于：获取直播间的直播视频地址，根据直播视频地址得到直播视频流，对直播视频流进行解析得到语音数据信号，向语音信号分解模块发送语音信号分解信号。
语音信号分解模块用于：收到语音信号分解信号后，通过 CEEMDAN对语音数据进行模态分解，得到n阶IMF分量，n≥3，向语音信号重组模块发送语音信号重组信号。
语音信号分解模块的工作流程包括：
语音信号分解01：对语音数据信号x(t)加入j次高斯白噪声，j 为正整数，形成高斯白噪声序列vj(t)，将vj(t)作为分解信号后进行 EMD分解，得到IMF分量IMFjn，n代表IMF分量的阶数，转到语音信号分解02；
语音信号分解02：根据IMFji计算得到本征模态函数 其中J为正整数，转到语音信号分解03；
语音信号分解03：根据计算余量Rn：
转到语音信号分解04；
语音信号分解04：将Rn-1+W作为分解信号进行EMD分解，获取EMD分解时的第一个模态E1，W＝εnEn(wj)，εn为常量，wj为0 至1之间的高斯白噪声序列，En(wj)为将wj作为分解信号进行EMD 分解后，获取EMD分解时的第n个模态；根据E1计算模态
转到语音信号分解05；
语音信号分解05：将作为后重新执行语音信号分解03，得到Rn和Rn-1；判断本步骤中的Rn是否无法分解，若是，根据本步骤中的Rn和得到IMF分量x(t)：向语音信号重组模块发送语音信号重组信号；否则根据本步骤中的Rn-1重新执行语音信号分解04。
语音信号分解模块将分解信号f(t)进行EMD分解的工作流程包括：
EMD分解a：对f(t)通过3次样条函数，拟合出信号的极大值包络线e+(t)；对f(t)通过3次样条函数，拟合出信号的极小值包络线e-(t)；根据e+(t)和e-(t)计算均值包络mi(t)，mi(t)＝(e+(t)+e-(t))/2；根据f(t) 和mj(t)得到去掉低频的信号 转到EMD分解b；
EMD分解b：判断是否满足设定值范围，若是，根据和vj(t) 得到去掉高频成分的信号z(t)，转到EMD分解c；否则将作为f(t)后，重新执行EMD分解a；
EMD分解c：判断z(t)是否满足预设标准，预设标准为：z(t)符合以下任意一种情况：z(t)为单调函数、z(t)为常量、z(t)小于预设值；若是，将z(t)作为IMF分量，否则将z(t)作为f(t)后，重新执行EMD 分解a；
当f(t)为所述语音信号分解01中的vj(t)时，IMFjn为z(t)，当f(t) 为所述语音信号分解04中的Rn-1+W时，E1为当f(t)为所述语音信号分解04中的wj时，En(wj)为
语音信号重组模块用于：收到语音信号重组信号后，将n阶IMF 分量通过FastICA分离得到m个重构语音信号，1≤m≤n-2，向语音信号识别模块发送语音信号识别信号。语音信号重组模块的工作流程包括：将所有IMF分量分为m组后，对每组IMF分量进行FastICA 计算，得到m个重构语音信号，每组IMF分量的阶数为m，m+1， m+2。
语音信号识别模块用于：收到语音信号识别信号后，对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，将当前直播间进行异常标记；否则将当前直播将进行正常标记。
需要说明的是：本发明实施例提供的系统在进行模块间通信时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
进一步，本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种直播视频监控方法，其特征在于，该方法包括以下步骤：
S1：服务端获取直播间的直播视频地址，根据直播视频地址得到直播视频流，对直播视频流进行解析得到语音数据信号，转到S2；
S2：服务端通过噪声辅助数据分析方法的进一步改进算法CEEMDAN对语音数据进行模态分解，得到n阶IMF分量，n≥3，转到S3；
S3：服务端将n阶IMF分量通过FastICA分离得到m个重构语音信号，1≤m≤n-2，转到S4；
S4：服务端对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，将当前直播间进行异常标记；否则将当前直播将进行正常标记。
2.如权利要求1所述的直播视频监控方法，其特征在于，S2的流程包括：
S201：对语音数据信号x(t)加入j次高斯白噪声，j为正整数，形成高斯白噪声序列vj(t)，将vj(t)作为分解信号后进行EMD分解，得到IMF分量IMFjn，n代表IMF分量的阶数，转到S202；
S202：根据IMFjn计算得到本征模态函数 其中J为正整数，转到S203；
S203：根据计算余量Rn：
转到S204；
S204：将Rn-1+W作为分解信号进行EMD分解，获取EMD分解时的第一个模态E1，W＝εnEn(wj)，εn为常量，wj为0至1之间的高斯白噪声序列，En(wj)为将wj作为分解信号进行EMD分解后，获取EMD分解时的第n个模态；根据E1计算模态
转到S205；
S205：将作为后重新执行S203，得到Rn和Rn-1；判断本步骤中的Rn是否无法分解，若是，根据本步骤中的Rn和得到IMF分量x(t)：转到S3；否则根据本步骤中的Rn-1重新执行S204。
3.如权利要求2所述的直播视频监控方法，其特征在于，S201和S204中所述作为分解信号f(t)进行EMD分解的流程包括：
S2a：对f(t)通过3次样条函数，拟合出信号的极大值包络线e+(t)；对f(t)通过3次样条函数，拟合出信号的极小值包络线e-(t)；根据e+(t)和e-(t)计算均值包络mi(t)，mi(t)＝(e+(t)+e-(t))/2；根据f(t)和mj(t)得到去掉低频的信号转到S2b；
S2b：判断是否满足设定值范围，若是，根据和vj(t)得到去掉高频成分的信号z(t)，转到S2c；否则将作为f(t)后，重新执行S2a；
S2c：判断z(t)是否满足预设标准，预设标准为：z(t)符合以下任意一种情况：z(t)为单调函数、z(t)为常量、z(t)小于预设值；若是，将z(t)作为IMF分量，否则将z(t)作为f(t)后，重新执行S2a；
当f(t)为S201中的vj(t)时，IMFjn为z(t)，当f(t)为S204中的Rn-1+W时，E1为当f(t)为S204中的wj时，En(wj)为
4.如权利要求1至3任一项所述的直播视频监控方法，其特征在于，S3的流程包括：将所有IMF分量分为m组后，对每组IMF分量进行FastICA计算，得到m个重构语音信号，每组IMF分量的阶数为m，m+1，m+2。
5.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至4任一项所述的方法。
6.一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，其特征在于：处理器执行计算机程序时实现权利要求1至4任一项所述的方法。
7.一种直播视频监控系统，其特征在于，该系统包括设置于服务端上的语音信号解析模块、语音信号分解模块、语音信号重组模块和语音信号识别模块；
语音信号解析模块用于：获取直播间的直播视频地址，根据直播视频地址得到直播视频流，对直播视频流进行解析得到语音数据信号，向语音信号分解模块发送语音信号分解信号；
语音信号分解模块用于：收到语音信号分解信号后，通过CEEMDAN对语音数据进行模态分解，得到n阶IMF分量，n≥3，向语音信号重组模块发送语音信号重组信号；
语音信号重组模块用于：收到语音信号重组信号后，将n阶IMF分量通过FastICA分离得到m个重构语音信号，1≤m≤n-2，向语音信号识别模块发送语音信号识别信号；
语音信号识别模块用于：收到语音信号识别信号后，对所有重构语音信号进行识别，判断是否存在含有不良信息的重构语音信号，若是，将当前直播间进行异常标记；否则将当前直播将进行正常标记。
8.如权利要求7所述的直播视频监控系统，其特征在于，所述语音信号分解模块的工作流程包括：
语音信号分解01：对语音数据信号x(t)加入j次高斯白噪声，j为正整数，形成高斯白噪声序列vj(t)，将vj(t)作为分解信号后进行EMD分解，得到IMF分量IMFjn，n代表IMF分量的阶数，转到语音信号分解02；
语音信号分解02：根据IMFjn计算得到本征模态函数 其中J为正整数，转到语音信号分解03；
语音信号分解03：根据计算余量Rn：
转到语音信号分解04；
语音信号分解04：将Rn-1+W作为分解信号进行EMD分解，获取EMD分解时的第一个模态E1，W＝εnEn(wj)，εn为常量，wj为0至1之间的高斯白噪声序列，En(wj)为将wj作为分解信号进行EMD分解后，获取EMD分解时的第n个模态；根据E1计算模态
转到语音信号分解05；
语音信号分解05：将作为后重新执行语音信号分解03，得到Rn和Rn-1；判断本步骤中的Rn是否无法分解，若是，根据本步骤中的Rn和得到IMF分量x(t)：向语音信号重组模块发送语音信号重组信号；否则根据本步骤中的Rn-1重新执行语音信号分解04。
9.如权利要求8所述的直播视频监控系统，其特征在于，所述语音信号分解模块将分解信号f(t)进行EMD分解的工作流程包括：
EMD分解a：对f(t)通过3次样条函数，拟合出信号的极大值包络线e+(t)；对f(t)通过3次样条函数，拟合出信号的极小值包络线e-(t)；根据e+(t)和e-(t)计算均值包络mi(t)，mi(t)＝(e+(t)+e-(t))/2；根据f(t)和mj(t)得到去掉低频的信号转到EMD分解b；
EMD分解b：判断是否满足设定值范围，若是，根据和vj(t)得到去掉高频成分的信号z(t)，转到EMD分解c；否则将作为f(t)后，重新执行EMD分解a；
EMD分解c：判断z(t)是否满足预设标准，预设标准为：z(t)符合以下任意一种情况：z(t)为单调函数、z(t)为常量、z(t)小于预设值；若是，将z(t)作为IMF分量，否则将z(t)作为f(t)后，重新执行EMD分解a；
当f(t)为所述语音信号分解01中的vj(t)时，IMFjn为z(t)，当f(t)为所述语音信号分解04中的Rn-1+W时，E1为当f(t)为所述语音信号分解04中的wj时，En(wj)为
10.如权利要求7至9任一项所述的直播视频监控系统，其特征在于：所述语音信号重组模块的工作流程包括：将所有IMF分量分为m组后，对每组IMF分量进行FastICA计算，得到m个重构语音信号，每组IMF分量的阶数为m，m+1，m+2。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710483586.5A CN107465657A (zh) | 2017-06-22 | 2017-06-22 | 直播视频监控方法、存储介质、电子设备及系统 |
| PCT/CN2017/117973 WO2018233256A1 (zh) | 2017-06-22 | 2017-12-22 | 直播视频监控方法、存储介质、电子设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710483586.5A CN107465657A (zh) | 2017-06-22 | 2017-06-22 | 直播视频监控方法、存储介质、电子设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107465657A true CN107465657A (zh) | 2017-12-12 |
Family
ID=60544023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710483586.5A Pending CN107465657A (zh) | 2017-06-22 | 2017-06-22 | 直播视频监控方法、存储介质、电子设备及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107465657A (zh) |
| WO (1) | WO2018233256A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018233256A1 (zh) * | 2017-06-22 | 2018-12-27 | 武汉斗鱼网络科技有限公司 | 直播视频监控方法、存储介质、电子设备及系统 |
| CN110493615A (zh) * | 2018-05-15 | 2019-11-22 | 武汉斗鱼网络科技有限公司 | 一种直播视频监控方法及电子设备 |
| CN111031329A (zh) * | 2018-10-10 | 2020-04-17 | 北京默契破冰科技有限公司 | 一种用于管理音频数据的方法、设备和计算机存储介质 |
| CN111107380A (zh) * | 2018-10-10 | 2020-05-05 | 北京默契破冰科技有限公司 | 一种用于管理音频数据的方法、设备和计算机存储介质 |
| WO2020134646A1 (zh) * | 2018-12-28 | 2020-07-02 | 广州市百果园网络科技有限公司 | 分布式语音监控方法、装置、系统、存储介质和设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096956B (zh) * | 2019-03-25 | 2023-02-10 | 中国地质大学（武汉） | 基于eemd和排列熵二阶差分的信号去噪方法及装置 |
| CN111272429B (zh) * | 2020-03-04 | 2021-08-17 | 贵州大学 | 一种轴承故障诊断方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106903B (zh) * | 2013-01-11 | 2014-10-22 | 太原科技大学 | 一种单通道盲源分离法 |
| CN104375973B (zh) * | 2014-11-24 | 2017-10-03 | 沈阳建筑大学 | 一种基于集合经验模态分解的盲源信号去噪方法 |
| CN104882140A (zh) * | 2015-02-05 | 2015-09-02 | 宇龙计算机通信科技(深圳)有限公司 | 基于盲信号提取算法的语音识别方法及系统 |
| CN105976077A (zh) * | 2016-03-04 | 2016-09-28 | 国家电网公司 | 一种输变电工程造价动态控制目标计算系统及计算方法 |
| CN106101819A (zh) * | 2016-06-21 | 2016-11-09 | 武汉斗鱼网络科技有限公司 | 一种基于语音识别的直播视频敏感内容过滤方法及装置 |
| CN106250837B (zh) * | 2016-07-27 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 一种视频的识别方法、装置和系统 |
| CN106228529A (zh) * | 2016-09-05 | 2016-12-14 | 上海理工大学 | 一种激光散斑图像处理分析方法 |
| CN107465657A (zh) * | 2017-06-22 | 2017-12-12 | 武汉斗鱼网络科技有限公司 | 直播视频监控方法、存储介质、电子设备及系统 |
-
2017
- 2017-06-22 CN CN201710483586.5A patent/CN107465657A/zh active Pending
- 2017-12-22 WO PCT/CN2017/117973 patent/WO2018233256A1/zh active Application Filing
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018233256A1 (zh) * | 2017-06-22 | 2018-12-27 | 武汉斗鱼网络科技有限公司 | 直播视频监控方法、存储介质、电子设备及系统 |
| CN110493615A (zh) * | 2018-05-15 | 2019-11-22 | 武汉斗鱼网络科技有限公司 | 一种直播视频监控方法及电子设备 |
| CN111031329A (zh) * | 2018-10-10 | 2020-04-17 | 北京默契破冰科技有限公司 | 一种用于管理音频数据的方法、设备和计算机存储介质 |
| CN111107380A (zh) * | 2018-10-10 | 2020-05-05 | 北京默契破冰科技有限公司 | 一种用于管理音频数据的方法、设备和计算机存储介质 |
| CN111031329B (zh) * | 2018-10-10 | 2023-08-15 | 北京默契破冰科技有限公司 | 一种用于管理音频数据的方法、设备和计算机存储介质 |
| CN111107380B (zh) * | 2018-10-10 | 2023-08-15 | 北京默契破冰科技有限公司 | 一种用于管理音频数据的方法、设备和计算机存储介质 |
| WO2020134646A1 (zh) * | 2018-12-28 | 2020-07-02 | 广州市百果园网络科技有限公司 | 分布式语音监控方法、装置、系统、存储介质和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018233256A1 (zh) | 2018-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107465657A (zh) | 直播视频监控方法、存储介质、电子设备及系统 | |
| CN108172213B (zh) | 娇喘音频识别方法、装置、设备及计算机可读介质 | |
| CN109361495B (zh) | 一种极化码构造方法、装置、电子设备及可读存储介质 | |
| CN112989107B (zh) | 音频分类和分离方法、装置、电子设备以及存储介质 | |
| CN110782021B (zh) | 一种图像分类方法、装置、设备及计算机可读存储介质 | |
| CN110265065A (zh) | 一种构建语音检测模型的方法及语音端点检测系统 | |
| TWI752486B (zh) | 訓練方法、特徵提取方法、裝置及電子設備 | |
| KR20210097743A (ko) | 정렬 방법, 장치, 전자 기기 및 매체 | |
| CN108538290A (zh) | 一种基于音频信号检测的智能家居控制方法 | |
| CN113934848B (zh) | 一种数据分类方法、装置和电子设备 | |
| CN105096957B (zh) | 处理信号的方法及设备 | |
| CN109462457A (zh) | 一种Polar码译码方法、译码装置和译码器 | |
| CN117789754A (zh) | 一种音频事件检测模型生成方法、装置、设备及存储介质 | |
| CN108920458A (zh) | 一种标签归一化方法、装置、服务器和存储介质 | |
| CN113299298A (zh) | 残差单元及网络及目标识别方法及系统及装置及介质 | |
| CN117594053A (zh) | 语音降噪方法、处理终端及存储介质 | |
| US20220277040A1 (en) | Accompaniment classification method and apparatus | |
| Sun et al. | MMINR: Multi-frame-to-multi-frame inference with noise resistance for precipitation nowcasting with radar | |
| CN110989363B (zh) | 一种基于深度学习的电能质量控制方法及装置 | |
| CN114758645A (zh) | 语音合成模型的训练方法、装置、设备及存储介质 | |
| CN115982634A (zh) | 应用程序分类方法、装置、电子设备及计算机程序产品 | |
| CN108877777B (zh) | 一种语音识别方法及系统 | |
| CN110085209B (zh) | 一种音色筛选方法及装置 | |
| CN115935274A (zh) | 转售行为识别模型训练方法、装置、设备及存储介质 | |
| Kang et al. | Cross-Speaker Encoding Network for Multi-Talker Speech Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171212 |
|
| RJ01 | Rejection of invention patent application after publication |