CN113553465A - 声音数据入库方法、装置、计算机设备和存储介质 - Google Patents
声音数据入库方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113553465A CN113553465A CN202110660067.8A CN202110660067A CN113553465A CN 113553465 A CN113553465 A CN 113553465A CN 202110660067 A CN202110660067 A CN 202110660067A CN 113553465 A CN113553465 A CN 113553465A
- Authority
- CN
- China
- Prior art keywords
- sound data
- state information
- data
- industrial equipment
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000013500 data storage Methods 0.000 title abstract description 17
- 238000009432 framing Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 21
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 14
- 239000012634 fragment Substances 0.000 claims description 12
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 238000007726 management method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/61—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种声音数据入库方法、装置、计算机设备和存储介质。所述方法包括：分别获取工业设备的声音数据和状态信息；所述状态信息用于指示所述工业设备的运行状态；根据所述声音数据和所述状态信息之间的时间对应关系，利用所述状态信息对所述声音数据进行标注；将所述声音数据与所述标注对应存储到数据库中。采用本方法能够自动对声音数据进行标注，避免受到外界因素影响而出现标注偏差、标注错误的问题。
Description
技术领域
本申请涉及数据存储技术领域，特别是涉及一种声音数据入库方法、装置、计算机设备和存储介质。
背景技术
利用设备运行时的声音数据对设备的运行状态进行监控，甚至是对设备可能出现的故障进行预判，这是声纹识别在工业领域的一种新的扩展和应用，也因此可以被称之为工业声纹。与人的声纹识别一样，工业声纹也需要大量的带有标识的声音数据作为支撑和研究基础。
目前，对于采集到的声音数据，只能依靠人工进行听辨，然后再为声音数据打上对应的标注，最后再归入到对应的数据库中。
但是，在这整个过程中，对听辨人的主观经验十分依赖，受到外界因素影响容易导致标注偏差或者标注错误。并且，由于工业领域采集到的数据量十分庞大，听辨人的工作量巨大，标注的效率也比较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够避免标识偏差、标识错误，提高标识效率的声音数据入库方法、装置、计算机设备和存储介质。
一种声音数据入库方法，该方法包括：
分别获取工业设备的声音数据和状态信息；状态信息用于指示工业设备的运行状态；
根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；
将声音数据与标注对应存储到数据库中。
在其中一个实施例中，上述根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注，包括：
根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段；
对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
在其中一个实施例中，在上述根据预设时长对声音数据进行分帧处理之前，该方法还包括：
对声音数据进行数据预处理，得到处理后的声音数据；
对应地，上述根据预设时长对声音数据进行分帧处理，包括：
根据预设时长对处理后的声音数据进行分帧处理。
在其中一个实施例中，上述对声音数据进行数据预处理，包括以下至少一种：
识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；
识别出声音数据中的异常数据，并删除异常数据；
识别出声音数据中的静音片段，并删除静音片段。
在其中一个实施例中，上述将声音数据与标注对应存储到数据库中，包括：
对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库；
将声音数据片段和标注对应存储到分类数据库中。
在其中一个实施例中，状态信息的获取过程，包括：
通过预先设置的生产管理系统获取工业设备的状态信息；其中，状态信息包括设备电压、设备电流、设备功率中的至少一种。
在其中一个实施例中，上述获取工业设备的声音数据，包括：
通过工业设备传声器获取工业设备的声音数据；声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
一种声音数据入库装置，该装置包括：
数据获取模块，用于分别获取工业设备的声音数据和状态信息；所述状态信息用于指示所述工业设备的运行状态；
标注模块，用于根据所述声音数据和所述状态信息之间的时间对应关系，利用所述状态信息对所述声音数据进行标注；
存储模块，用于将所述声音数据与所述标注对应存储到数据库中。
在其中一个实施例中，标注模块，具体用于根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段；对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
在其中一个实施例中，该装置还包括：
预处理模块，用于对声音数据进行数据预处理，得到处理后的声音数据；
对应地，标注模块，具体用于根据预设时长对处理后的声音数据进行分帧处理。
在其中一个实施例中，预处理模块，用于以下至少一种：识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；识别出声音数据中的异常数据，并删除异常数据；识别出声音数据中的静音片段，并删除静音片段。
在其中一个实施例中，上述存储模块，具体用于对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库；将声音数据片段和标注对应存储到分类数据库中。
在其中一个实施例中，上述数据获取模块，具体用于通过预先设置的生产管理系统获取工业设备的状态信息；其中，状态信息包括设备电压、设备电流、设备功率中的至少一种。
在其中一个实施例中，上述数据获取模块，具体用于通过工业设备传声器获取工业设备的声音数据；声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
分别获取工业设备的声音数据和状态信息；状态信息用于指示工业设备的运行状态；
根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；
将声音数据与标注对应存储到数据库中。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
分别获取工业设备的声音数据和状态信息；状态信息用于指示工业设备的运行状态；
根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；
将声音数据与标注对应存储到数据库中。
上述声音数据入库方法、装置、计算机设备和存储介质，分别获取工业设备的声音数据和状态信息；然后根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；之后将声音数据与标注对应存储到数据库中。通过本公开实施例，终端可以自动对声音数据进行标注，由于不再依靠人工进行听辨，因此可以避免受到外界因素影响而出现标注偏差、标注错误的问题，进一步地，还可以提高标注效率、节约人工成本。
附图说明
图1为一个实施例中声音数据入库方法的应用环境图；
图2为一个实施例中声音数据入库方法的流程示意图；
图3为一个实施例中利用状态信息对声音数据进行标注步骤的流程示意图；
图4为另一个实施例中利用状态信息对声音数据进行标注步骤的流程示意图；
图5为另一个实施例中声音数据入库方法的流程示意图；
图6为一个实施例中声音数据入库装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的声音数据入库方法，可以应用于如图1所示的应用环境中。该应用环境包括工业设备101、声音采集设备102和终端103，其中，声音采集设备可以采集工业设备101的声音数据，终端103与声音采集设备102可以通过网络进行通信，从而获取到声音采集设备102采集到的声音数据。其中，终端103中可以设置生产管理系统(MES)，终端103与工业设备101可以通过网络进行通信，从而获取生产管理系统采集到的工业设备101的状态信息。其中，终端103可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。
在其中一个实施例中，该应用环境还可以包括服务器104，服务器104中设置数据库。终端103与服务器104可以通过网络进行通信，从而将声音数据和标注对应存储到服务器的数据库中。
在一个实施例中，如图2所示，提供了一种声音数据入库方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤201，分别获取工业设备的声音数据和状态信息。
其中，状态信息用于指示工业设备的运行状态。
预先在工业设备内部以及工业设备周围设置多个声音采集设备，通过多个声音采集设备采集工业设备的声音数据。终端可以通过网络与声音采集设备通信，从而获取到工业设备的声音数据。
工业设备可以根据自身的运行状态生成状态信息，终端可以通过网络与工业设备通信，从而获取到工业设备的状态信息。
还可以采用其他方式获取工业设备的声音数据，以及工业设备的状态信息，本公开实施例对此不做限定。
步骤202，根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注。
声音采集设备在采集工业设备的声音数据时，会对采集到的声音数据添加时间戳；工业设备记录自身运行状态并生成状态信息时，也会为状态信息添加时间戳。这样，终端在获取到声音数据和状态信息后，可以根据声音数据的时间戳和状态信息的时间戳，将状态信息与声音数据对应，并将状态信息作为声音数据的标注。
例如，终端根据声音数据的时间戳和状态信息的时间戳，确定声音数据A1与状态信息B2对应，声音数据A2与状态信息B5对应，则将状态信息B2作为声音数据A1的标注，将状态信息B5作为声音数据A2的标注。本公开实施例对状态信息不做限定。
步骤203，将声音数据与标注对应存储到数据库中。
在确定声音数据的标注后，将声音数据与标注对应存储到数据库中。进行声纹识别的模型训练过程中，可以从数据库中获取到声音数据以及声音数据对应的标注。或者，可以从数据库中获取到标注以及标注对应的声音数据。
上述声音数据入库方法中，终端先分别获取工业设备的声音数据和状态信息；然后根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；之后将声音数据与标注对应存储到数据库中。通过本公开实施例，终端可以自动对声音数据进行标注，由于不再依靠人工进行听辨，因此可以避免受到外界因素影响而出现标注偏差、标注错误的问题，进一步地，还可以提高标注效率、节约人工成本。
在一个实施例中，如图3所示，上述根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注的步骤，可以包括：
步骤301，根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段。
终端中预先设置分帧的时长，然后根据该预设时长对声音数据进行分帧处理，即按照该预设时长对声音数据进行裁剪，得到多帧声音数据片段。
例如，预设时长为15s，声音数据A1的总时长为1min，则按照每15s一帧将声音数据A1裁剪为4帧声音数据片段，得到声音数据片段1、声音数据片段2、声音数据片段3和声音数据片段4。本公开实施例对预设时长不做限定，可以根据实际情况进行设置。
步骤302，对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
对于每个声音数据片段，终端确定声音数据片段的采集时间段，然后从已获取到的状态信息中，查找到上述采集时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
例如，状态信息包括设备电压，对于声音数据片段1，终端确定声音数据片段1的采集时间段为t1-t2，则查找出t1-t2时间段内工业设备的设备电压U1，并将查找出的设备电压U1确定为声音数据片段1对应的标注。对于声音数据片段2，终端确定声音数据片段2的采集时间段为t2-t3，则查找出t2-t3时间段内工业设备的设备电压U2，并将查找出的设备电压U2确定为声音数据片段2对应的标注。
上述根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注的过程中，终端根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段，对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。本公开实施例中，终端对声音数据进行分帧处理，可以使声音数据的时长符合声纹识别模型的训练需求，避免了声音数据时长不一，模型训练困难的问题。
在一个实施例中，如图4所示，在上述实施例的基础上，本公开实施例还可以包括：
步骤303，对声音数据进行数据预处理，得到处理后的声音数据。
在实际应用中，声音采集设备采集到的声音数据是原始数据，在对声音数据进行分帧处理之前，可以对声音数据进行数据预处理，从而避免标注的声音数据片段是空文件或者静音片段等问题。
对声音数据进行数据预处理的过程，可以包括以下至少一种：识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；识别出声音数据中的异常数据，并删除异常数据；识别出声音数据中的静音片段，并删除静音片段。
上述识别出声音数据中的空文件的过程，可以包括：计算各文件的字节数；若确定一个文件的字节数为0，则确定该文件为空文件。
上述识别出声音数据中的异常数据的过程，可以包括：确定是否存在超出预设范围的数据，如果存在超出预设范围的数据，则将超出预设范围的数据确定为异常数据。本公开实施例对预设范围不做限定，可以根据实际情况设置。
上述识别出声音数据中的静音片段的过程，可以包括：利用VAD(Voice ActivityDetection，语音活动检测)算法对声音数据进行静音检测，得到声音数据中的静音片段。
可以理解地，处理后的声音数据只保留了有效数据，不包含空文件、异常数据和静音片段等无效数据。
对应地，步骤301包括：根据预设时长对处理后的声音数据进行分帧处理。
在对声音数据进行数据预处理后，根据预设时长对处理后的声音进行分帧处理，得到多帧声音数据片段。
上述实施例中，在对声音数据进行分帧处理之前，对声音数据进行数据预处理，得到处理后的声音数据；然后根据预设时长对处理后的声音数据进行分帧处理。本公开实施例中，对声音数据进行数据预处理，可以去除声音数据中的无效数据，保留声音数据中的有效数据，从而使存储到数据库中的声音数据均为有用数据，便于后续进行声纹识别模型的训练。
在一个实施例中，如图5所示，提供了一种声音数据入库方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤401，通过工业设备传声器获取工业设备的声音数据。
其中，声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
声音采集设备可以是工业设备传声器。在实际应用中，工业设备传声器可以采集操作人员操作工业设备时产生的设备操作声音。设备在运行中，工业设备内的部件可能产生机械运动，导致工业设备随之振动，工业设备传声器也可以采集工业设备产生的设备振动声音。工业设备还被施加电流和电压，工业设备传声器还可以采集工业设备的设备运行声音。
工业设备传声器可以设置在工业设备内部、以及工业设备周围。本公开实施例对声音采集设备不做限定。
步骤402，对声音数据进行数据预处理，得到处理后的声音数据。
对声音数据进行数据预处理的过程，可以包括以下至少一种：识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；识别出声音数据中的异常数据，并删除异常数据；识别出声音数据中的静音片段，并删除静音片段。
步骤403，根据预设时长对处理后的声音数据进行分帧处理，得到多帧声音数据片段。
步骤404，通过预先设置的生产管理系统获取工业设备的状态信息。
其中，状态信息包括设备电压、设备电流、设备功率中的至少一种。
工业设备在运行中，记录自身的设备电压、设备电流、设备功率等，并生成状态信息。之后，工业设备将状态信息传输到生产管理系统(MES)。
终端中预先安装MES，通过MES获取工业设备的状态信息。
步骤405，对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
步骤406，对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库。
预先设置多个分类数据库，例如，设置设备电压的分类数据库X1，设置设备电流的分类数据库X2。或者，设置设备电压为u1-u2的分类数据库Y1，设置设备电压为u2-u3的分类数据库Y2。本公开实施例对此不做限定，可以根据实际情况进行设置。
在对各声音数据片段进行标注后，对于每个声音数据片段，终端根据标注确定声音数据片所属的分类数据库。
例如，终端根据声音数据片段1的标注为设备电压U1，确定声音数据片段1所属的分类数据库为X1。又例如，终端根据声音数据片段1的标注为设备电压U1，设备电压U1位于u1-u2之间，确定声音数据片段1所属的分类数据库为Y1。
步骤407，将声音数据片段和标注对应存储到分类数据库中。
终端确定声音数据片段所属的分类数据库后，将声音数据片段和标注对应存储到分类数据库中。
例如，确定声音数据片段1所属的分类数据库为X1后，则将声音数据片段1和设备电压U1对应存储到分类数据库X1中。或者，确定声音数据片段1所属的分类数据库为Y1，则将声音数据片段1和设备电压U1对应存储到分类数据库Y1中。
上述声音数据入库方法中，通过工业设备传声器获取工业设备的声音数据；通过预先设置的生产管理系统获取工业设备的状态信息；对声音数据进行数据预处理，得到处理后的声音数据；根据预设时长对处理后的声音数据进行分帧处理，得到多帧声音数据片段；对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注；对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库。通过本公开实施例，终端可以自动将声音数据拆分为声音数据片段进行标注，并根据标注将声音数据存储到对应的分类数据库中，在这个过程中，由于不再依靠人工进行听辨，一方面可以避免受到外界因素影响而出现标注偏差、标注错误的问题，另一方面，还可以提高标注效率、节约人工成本。进一步地，还可以使声音数据更符合声纹识别模型的训练需求，从而辅助声纹识别模型的训练。
应该理解的是，虽然图2至图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种声音数据入库装置，包括：
数据获取模块501，用于分别获取工业设备的声音数据和状态信息；所述状态信息用于指示所述工业设备的运行状态；
标注模块502，用于根据所述声音数据和所述状态信息之间的时间对应关系，利用所述状态信息对所述声音数据进行标注；
存储模块503，用于将所述声音数据与所述标注对应存储到数据库中。
在其中一个实施例中，标注模块502，具体用于根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段；对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
在其中一个实施例中，该装置还包括：
预处理模块504，用于对声音数据进行数据预处理，得到处理后的声音数据；
对应地，标注模块502，具体用于根据预设时长对处理后的声音数据进行分帧处理。
在其中一个实施例中，预处理模块504，用于以下至少一种：识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；识别出声音数据中的异常数据，并删除异常数据；识别出声音数据中的静音片段，并删除静音片段。
在其中一个实施例中，上述存储模块503，具体用于对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库；将声音数据片段和标注对应存储到分类数据库中。
在其中一个实施例中，上述数据获取模块501，具体用于通过预先设置的生产管理系统获取工业设备的状态信息；其中，状态信息包括设备电压、设备电流、设备功率中的至少一种。
在其中一个实施例中，上述数据获取模块501，具体用于通过工业设备传声器获取工业设备的声音数据；声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
关于声音数据入库装置的具体限定可以参见上文中对于声音数据入库方法的限定，在此不再赘述。上述声音数据入库装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种声音数据入库方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
分别获取工业设备的声音数据和状态信息；状态信息用于指示工业设备的运行状态；
根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；
将声音数据与标注对应存储到数据库中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段；
对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对声音数据进行数据预处理，得到处理后的声音数据；
对应地，上述根据预设时长对声音数据进行分帧处理，包括：
根据预设时长对处理后的声音数据进行分帧处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；
识别出声音数据中的异常数据，并删除异常数据；
识别出声音数据中的静音片段，并删除静音片段。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库；
将声音数据片段和标注对应存储到分类数据库中。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过预先设置的生产管理系统获取工业设备的状态信息；其中，状态信息包括设备电压、设备电流、设备功率中的至少一种。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
通过工业设备传声器获取工业设备的声音数据；声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
分别获取工业设备的声音数据和状态信息；状态信息用于指示工业设备的运行状态；
根据声音数据和状态信息之间的时间对应关系，利用状态信息对声音数据进行标注；
将声音数据与标注对应存储到数据库中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设时长对声音数据进行分帧处理，得到多帧声音数据片段；
对于各声音数据片段，根据声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为声音数据片段对应的标注。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对声音数据进行数据预处理，得到处理后的声音数据；
对应地，上述根据预设时长对声音数据进行分帧处理，包括：
根据预设时长对处理后的声音数据进行分帧处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
识别出声音数据中的空文件，并删除声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；
识别出声音数据中的异常数据，并删除异常数据；
识别出声音数据中的静音片段，并删除静音片段。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于各声音数据片段，根据标注确定声音数据片段所属的分类数据库；
将声音数据片段和标注对应存储到分类数据库中。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过预先设置的生产管理系统获取工业设备的状态信息；其中，状态信息包括设备电压、设备电流、设备功率中的至少一种。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
通过工业设备传声器获取工业设备的声音数据；声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种声音数据入库方法，其特征在于，所述方法包括：
分别获取工业设备的声音数据和状态信息；所述状态信息用于指示所述工业设备的运行状态；
根据所述声音数据和所述状态信息之间的时间对应关系，利用所述状态信息对所述声音数据进行标注；
将所述声音数据与所述标注对应存储到数据库中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述声音数据和所述状态信息之间的时间对应关系，利用所述状态信息对所述声音数据进行标注，包括：
根据预设时长对所述声音数据进行分帧处理，得到多帧声音数据片段；
对于各所述声音数据片段，根据所述声音数据片段的采集时间段查找对应时间段内的状态信息，并将查找到的状态信息确定为所述声音数据片段对应的标注。
3.根据权利要求1所述的方法，其特征在于，在所述根据预设时长对所述声音数据进行分帧处理之前，所述方法还包括：
对所述声音数据进行数据预处理，得到处理后的声音数据；
对应地，所述根据预设时长对所述声音数据进行分帧处理，包括：
根据所述预设时长对所述处理后的声音数据进行分帧处理。
4.根据权利要求3所述的方法，其特征在于，所述对所述声音数据进行数据预处理，包括以下至少一种：
识别出所述声音数据中的空文件，并删除所述声音数据中的空文件，以及对删除空文件后的剩余文件进行合并处理；
识别出所述声音数据中的异常数据，并删除所述异常数据；
识别出所述声音数据中的静音片段，并删除所述静音片段。
5.根据权利要求2所述的方法，其特征在于，所述将所述声音数据与所述标注对应存储到数据库中，包括：
对于各所述声音数据片段，根据所述标注确定所述声音数据片段所属的分类数据库；
将所述声音数据片段和所述标注对应存储到所述分类数据库中。
6.根据权利要求1所述的方法，其特征在于，所述状态信息的获取过程，包括：
通过预先设置的生产管理系统获取所述工业设备的状态信息；其中，所述状态信息包括设备电压、设备电流、设备功率中的至少一种。
7.根据权利要求1所述的方法，其特征在于，所述获取工业设备的声音数据，包括：
通过工业设备传声器获取所述工业设备的声音数据；所述声音数据包括设备操作声音数据、设备振动声音数据、设备运行声音数据中的至少一种。
8.一种声音数据入库装置，其特征在于，所述装置包括：
数据获取模块，用于分别获取工业设备的声音数据和状态信息；所述状态信息用于指示所述工业设备的运行状态；
标注模块，用于根据所述声音数据和所述状态信息之间的时间对应关系，利用所述状态信息对所述声音数据进行标注；
存储模块，用于将所述声音数据与所述标注对应存储到数据库中。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110660067.8A CN113553465B (zh) | 2021-06-15 | 2021-06-15 | 声音数据入库方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110660067.8A CN113553465B (zh) | 2021-06-15 | 2021-06-15 | 声音数据入库方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113553465A true CN113553465A (zh) | 2021-10-26 |
| CN113553465B CN113553465B (zh) | 2023-12-19 |
Family
ID=78102100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110660067.8A Active CN113553465B (zh) | 2021-06-15 | 2021-06-15 | 声音数据入库方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553465B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111413925A (zh) * | 2020-03-20 | 2020-07-14 | 华中科技大学 | 一种基于声音信号的机床故障预测方法 |
| CN111428685A (zh) * | 2020-04-14 | 2020-07-17 | 北京华控智加科技有限公司 | 基于神经网络统一建模的机器故障检测、分类和定级方法 |
| CN111488935A (zh) * | 2020-04-14 | 2020-08-04 | 北京华控智加科技有限公司 | 一种基于神经网络统一建模的磨煤机故障诊断方法 |
| CN111581425A (zh) * | 2020-04-28 | 2020-08-25 | 上海鼎经自动化科技股份有限公司 | 一种基于深度学习的设备声音分类方法 |
| CN111948487A (zh) * | 2020-07-17 | 2020-11-17 | 国网上海市电力公司 | 一种基于人工智能的高压电力设备故障诊断方法及系统 |
| CN112200465A (zh) * | 2020-10-14 | 2021-01-08 | 安徽继远软件有限公司 | 基于多媒体信息智能分析的电力ai方法及系统 |
| WO2021006405A1 (ko) * | 2019-07-11 | 2021-01-14 | 엘지전자 주식회사 | 인공지능 서버 |
| CN112289341A (zh) * | 2020-11-03 | 2021-01-29 | 国网智能科技股份有限公司 | 变电站设备声音异常识别方法及系统 |
| CN112420055A (zh) * | 2020-09-22 | 2021-02-26 | 甘肃同兴智能科技发展有限公司 | 基于声纹特征的变电站状态识别方法及装置 |
| CN112435686A (zh) * | 2020-11-19 | 2021-03-02 | 中国南方电网有限责任公司超高压输电公司 | 一种基于数据增强的电力设备故障声音识别方法 |
| CN112885372A (zh) * | 2021-01-15 | 2021-06-01 | 国网山东省电力公司威海供电公司 | 电力设备故障声音智能诊断方法、系统、终端及介质 |
-
2021
- 2021-06-15 CN CN202110660067.8A patent/CN113553465B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021006405A1 (ko) * | 2019-07-11 | 2021-01-14 | 엘지전자 주식회사 | 인공지능 서버 |
| CN111413925A (zh) * | 2020-03-20 | 2020-07-14 | 华中科技大学 | 一种基于声音信号的机床故障预测方法 |
| CN111428685A (zh) * | 2020-04-14 | 2020-07-17 | 北京华控智加科技有限公司 | 基于神经网络统一建模的机器故障检测、分类和定级方法 |
| CN111488935A (zh) * | 2020-04-14 | 2020-08-04 | 北京华控智加科技有限公司 | 一种基于神经网络统一建模的磨煤机故障诊断方法 |
| CN111581425A (zh) * | 2020-04-28 | 2020-08-25 | 上海鼎经自动化科技股份有限公司 | 一种基于深度学习的设备声音分类方法 |
| CN111948487A (zh) * | 2020-07-17 | 2020-11-17 | 国网上海市电力公司 | 一种基于人工智能的高压电力设备故障诊断方法及系统 |
| CN112420055A (zh) * | 2020-09-22 | 2021-02-26 | 甘肃同兴智能科技发展有限公司 | 基于声纹特征的变电站状态识别方法及装置 |
| CN112200465A (zh) * | 2020-10-14 | 2021-01-08 | 安徽继远软件有限公司 | 基于多媒体信息智能分析的电力ai方法及系统 |
| CN112289341A (zh) * | 2020-11-03 | 2021-01-29 | 国网智能科技股份有限公司 | 变电站设备声音异常识别方法及系统 |
| CN112435686A (zh) * | 2020-11-19 | 2021-03-02 | 中国南方电网有限责任公司超高压输电公司 | 一种基于数据增强的电力设备故障声音识别方法 |
| CN112885372A (zh) * | 2021-01-15 | 2021-06-01 | 国网山东省电力公司威海供电公司 | 电力设备故障声音智能诊断方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113553465B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112527816B (zh) | 数据血缘关系解析方法、系统、计算机设备及存储介质 | |
| CN110444198B (zh) | 检索方法、装置、计算机设备和存储介质 | |
| CN105701122B (zh) | 一种日志收集方法、装置及系统 | |
| CN103187053A (zh) | 输入方法和电子设备 | |
| CN110659298B (zh) | 财务数据处理方法、装置、计算机设备和存储介质 | |
| CN108595520B (zh) | 一种生成多媒体文件的方法和装置 | |
| CN111752793A (zh) | 系统异常的监控方法、装置、计算机设备及存储介质 | |
| CN112712902B (zh) | 传染病的传染概率预测方法及装置、存储介质、电子设备 | |
| CN109831677B (zh) | 视频脱敏方法、装置、计算机设备和存储介质 | |
| CN111259275B (zh) | 一种数据追踪方法、设备及存储介质 | |
| CN111710332B (zh) | 语音处理方法、装置、电子设备及存储介质 | |
| CN111800720B (zh) | 基于大数据和云空间的数字助听器参数调整方法和装置 | |
| CN113223532A (zh) | 客服通话的质检方法、装置、计算机设备及存储介质 | |
| CN112181835A (zh) | 自动化测试方法、装置、计算机设备及存储介质 | |
| CN114155860A (zh) | 摘要记录方法、装置、计算机设备和存储介质 | |
| CN111078849B (zh) | 用于输出信息的方法和装置 | |
| CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
| WO2020233013A1 (zh) | 一种数据处理方法、设备及存储介质 | |
| CN113553465B (zh) | 声音数据入库方法、装置、计算机设备和存储介质 | |
| CN103530549A (zh) | 移动通讯终端上的文件/应用程序处理方法及装置 | |
| CN115455020A (zh) | 一种增量数据同步方法、装置、计算机设备及存储介质 | |
| CN115509637A (zh) | 一种基于Form表单的智能填报方法、系统、设备及介质 | |
| CN114968725A (zh) | 任务依赖关系校正方法、装置、计算机设备及存储介质 | |
| CN115543565A (zh) | 任务处理方法、装置、计算机设备及存储介质 | |
| CN113157559B (zh) | 流量筛选方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |