CN111866444A

CN111866444A - 一种录像数据存储方法及装置

Info

Publication number: CN111866444A
Application number: CN201910355683.5A
Authority: CN
Inventors: 高在伟
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2019-04-29
Filing date: 2019-04-29
Publication date: 2020-10-30
Also published as: WO2020220951A1

Abstract

本发明实施例提供了一种录像数据存储方法及装置，按照轮询的方式，依次获取各通道的录像数据，在每次获取到一个通道的录像数据后，对该通道的录像数据进行目标识别，识别该通道的录像数据中的指定目标，若该通道的录像数据中存在指定目标，则存储该通道的录像数据。针对于一个通道采集的录像数据进行目标识别，判断该通道的录像数据中是否存在指定目标，如果存在，则存储该通道的录像数据，并且采用轮询的方式对每一个通道执行以上操作，保证电子设备存储的是各通道采集的存在指定目标的录像数据，存储的录像数据的数据量少于传统方式存储的数据量，所需要的存储空间小于传统方式所需的存储空间，节约了存储录像数据的电子设备的硬件成本。

Description

一种录像数据存储方法及装置

技术领域

本发明涉及监控技术领域，特别是涉及一种录像数据存储方法及装置。

背景技术

在监控系统中，视频采集设备在采集到录像数据后，需要将录像数据发送至DVR(Digital Video Recorder，硬盘录像机)、NVR(Network Video Recorder，网络硬盘录像机)、中心存储设备等电子设备中进行存储。当前的录像数据存储方法中，电子设备在收到录像数据后，直接存储录像数据。

然而，随着监控系统的不断扩大，一个监控系统下的IPC(Internet ProtocolCamera，网络摄像机)通道、模拟通道等监控通道的数目越来越多，导致电子设备需要存储的录像数据的数据量越来越庞大，则要求电子设备必须有足够的存储空间，增加了存储录像数据的电子设备的硬件成本。

发明内容

本发明实施例的目的在于提供一种录像数据存储方法及装置，以节约存储录像数据的电子设备的硬件成本。具体技术方案如下：

第一方面，本发明实施例提供了一种录像数据存储方法，所述方法包括：

按照轮询的方式，依次获取各通道的录像数据；

在每次获取到一个通道的录像数据后，对所述一个通道的录像数据进行目标识别，识别所述一个通道的录像数据中的指定目标；

若所述一个通道的录像数据中存在所述指定目标，则存储所述一个通道的录像数据。

可选的，所述录像数据包括音频数据；

所述对所述一个通道的录像数据进行目标识别，识别所述一个通道的录像数据中的指定目标，包括：

对所述一个通道的音频数据进行预处理，得到待识别音频数据；

采用滑动窗口方式，从所述待识别音频数据中，获取不同时域的音频单元；

采用第一预设深度学习模型，对各音频单元进行音频识别，得到所述各音频单元的识别结果；

采用预先建立的语言模型库，对所述各音频单元的识别结果进行相似度匹配；

根据所述各音频单元对应的匹配结果，判断所述一个通道的音频数据中是否存在指定目标。

可选的，所述录像数据包括视频数据；

对所述一个通道的视频数据中的各图像数据分别进行预处理，得到各待识别图像数据；

采用第二预设深度学习模型，对所述各待识别图像数据进行目标识别；

根据所述各待识别图像数据的识别结果，判断所述一个通道的视频数据中是否存在指定目标。

可选的，在所述在每次获取到一个通道的录像数据后，对所述一个通道的录像数据进行目标识别，识别所述一个通道的录像数据中的指定目标之后，所述方法还包括：

若所述一个通道的录像数据中不存在所述指定目标，则停止对所述一个通道的录像数据的存储。

可选的，所述若所述一个通道的录像数据中存在所述指定目标，则存储所述一个通道的录像数据，包括：

若所述一个通道的录像数据中存在所述指定目标，则从所述一个通道对应的缓冲区中读取预设时段内的录像数据，所述一个通道对应的缓存区中存储的是当前时刻之前的预设时段内所述一个通道采集的录像数据；

存储所述预设时段内的录像数据及获取到的所述一个通道的录像数据。

第二方面，本发明实施例提供了一种录像数据存储装置，所述装置包括：

获取模块，用于按照轮询的方式，依次获取各通道的录像数据；

识别模块，用于在每次获取到一个通道的录像数据后，对所述一个通道的录像数据进行目标识别，识别所述一个通道的录像数据中的指定目标；

存储模块，用于若所述一个通道的录像数据中存在所述指定目标，则存储所述一个通道的录像数据。

可选的，所述录像数据包括音频数据；

所述识别模块，具体用于：

可选的，所述录像数据包括视频数据；

所述识别模块，具体用于：

可选的，所述装置还包括：

停止模块，用于若所述一个通道的录像数据中不存在所述指定目标，则停止对所述一个通道的录像数据的存储。

可选的，所述存储模块，具体用于：

第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令由所述处理器加载并执行，以实现本发明实施例第一方面所提供的方法。

第四方面，本发明实施例提供了一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令在被处理器加载并执行时，实现本发明实施例第一方面所提供的方法。

本发明实施例提供的一种录像数据存储方法及装置，按照轮询的方式，依次获取各通道的录像数据，在每次获取到一个通道的录像数据后，对该通道的录像数据进行目标识别，识别该通道的录像数据中的指定目标，若该通道的录像数据中存在指定目标，则存储该通道的录像数据。针对于一个通道采集的录像数据进行目标识别，判断该通道的录像数据中是否存在指定目标，如果存在，则存储该通道的录像数据，并且采用轮询的方式对每一个通道执行以上操作，保证电子设备存储的是各通道采集的存在指定目标的录像数据，存储的录像数据的数据量少于传统方式存储的数据量，所需要的存储空间小于传统方式所需的存储空间，节约了存储录像数据的电子设备的硬件成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的录像数据存储方法的流程示意图；

图2为本发明实施例的应用场景下电子设备的结构示意图；

图3为本发明实施例的DVR执行视频数据存储方法的流程示意图；

图4为本发明实施例的NVR执行视频数据存储方法的流程示意图；

图5为本发明实施例的录像数据存储装置的结构示意图；

图6为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了节约存储录像数据的电子设备的硬件成本，本发明实施例提供了一种录像数据存储方法、装置、电子设备及机器可读存储介质。下面，首先对本发明实施例所提供的录像数据存储方法进行介绍。

本发明实施例所提供的录像数据存储方法，可以应用于DVR、NVR、中心存储设备等具有录像数据存储功能的电子设备。实现本发明实施例所提供的录像数据存储方法的方式可以为设置于上述电子设备中的软件、硬件电路和逻辑电路中的至少一种。

如图1所示，本发明实施例所提供的一种录像数据存储方法，可以包括如下步骤。

S101，按照轮询的方式，依次获取各通道的录像数据。

监控系统中包括IPC通道、模拟通道等采集录像数据的通道，每个通道负责采集一定监控范围内的录像数据，每个通道会将采集的录像数据发送至电子设备，由电子设备对录像数据进行存储。

电子设备会按照轮询的方式，依次获取各通道的录像数据，轮询的方式就是先获取一个通道的录像数据，间隔若干帧或者一段时间后，再获取下一个通道的录像数据。对各通道的轮询顺序可以是预先设置的，轮询的时间间隔也可以是预先设置的，通常情况下，轮询的时间间隔，可以根据后续进行目标识别所需的时间设定，例如，进行一次目标识别的时间为20ms，则设置的轮询的时间间隔可以大于或等于20ms。

S102，在每次获取到一个通道的录像数据后，对该通道的录像数据进行目标识别，识别该通道的录像数据中的指定目标。

电子设备在每获取到一个通道的录像数据之后，可以对该通道的录像数据进行目标识别，识别用户关心的车(车辆品牌、车型、车牌等属性)、人(男人、女人、上衣颜色、下衣颜色、是否骑车等属性)等指定目标，判断该通道的录像数据中是否存在指定目标。

可选的，录像数据可以包括音频数据。

相应的，S102具体可以通过如下步骤实现：

对该通道的音频数据进行预处理，得到待识别音频数据；采用滑动窗口方式，从待识别音频数据中，获取不同时域的音频单元；采用第一预设深度学习模型，对各音频单元进行音频识别，得到各音频单元的识别结果；采用预先建立的语言模型库，对各音频单元的识别结果进行相似度匹配；根据各音频单元对应的匹配结果，判断该通道的音频数据中是否存在指定目标。

对音频数据进行预处理的过程，可以是设置例如音频的采样率、位宽等采样参数，规整音频的采样，还可以利用噪声滤波的方式，将噪声过滤掉，所得到的待识别音频数据是无噪声的规则音频数据，由于音频数据往往是连续的，为了提高音频识别的准确率，可以采用滑动窗口方式，从待识别音频数据中，获取不同时域的音频单元，采用例如RNN(Recurrent Neural Network，循环神经网络)等第一预设深度学习模型，对各音频单元进行语音识别，得到各音频单元的识别结果，识别结果是音频单元中的音频是什么内容的概率，一般在电子设备上预先建立有一个语言模型库，该语言模型库中存储着音频的类型、内容等信息，采用该语言模型库，对各音频单元的识别结果进行相似度匹配，则可以判断出一个通道采集的音频数据中是否存在指定目标，匹配度越高，则说明音频数据中存在指定目标的可能性越大。

可选的，录像数据可以包括视频数据。

相应的，S102具体可以通过如下步骤实现：

对该通道的视频数据中的各图像数据分别进行预处理，得到各待识别图像数据；采用第二预设深度学习模型，对各待识别图像数据进行目标识别；根据各待识别图像数据的识别结果，判断该通道的视频数据中是否存在指定目标。

对视频数据中的各图像数据进行预处理的过程，主要是统一输入预设深度学习模型的图像数据，例如可以统一分辨率、图像颜色空间等，还可以采用滤波技术滤掉图像中的噪声信号，采用例如FRCNN(Fast Region-based Convolutional Neural Network，快速的基于候选区域的卷积神经网络)等第二预设深度学习模型，对各待识别图像进行目标识别，得到识别结果，识别结果是各待识别图像数据中是否存在指定目标的概率，综合得到一个通道采集的视频数据中是否存在指定目标的识别结果。

在实际应用中，对指定目标的识别，可以只识别音频目标，也可以只识别视频目标，还可以既识别音频目标又识别视频目标，这里不做限定。进行音频目标识别、视频目标识别的方式，除了可以采用上述的RNN、FRCNN等深度神经网络方法以外，还可以采用特征比对、像素匹配等方法，这里不再一一赘述。

S103，若该通道的录像数据中存在指定目标，则存储该通道的录像数据。

如果识别出一通道的录像数据中存在指定目标，由于指定目标是用户关心的目标内容，则可以存储该通道的录像数据。为了保证存储的始终是存在指定目标的录像数据，则需要一直循环执行上述步骤，如果对于某一个通道来讲，在某一次识别时，识别出该通道的录像数据中不存在指定目标，则需要停止继续存储该通道的录像数据。可选的，在执行S102之后，本发明实施例所提供的录像数据存储方法还可以执行如下步骤：

若该通道的录像数据中不存在指定目标，则停止对该通道的录像数据的存储。

一旦识别出某一个通道的录像数据中不存在指定目标，则停止对该通道的录像数据的存储，保证电子设备中不会存储过多的不存在指定目标的录像数据，尽可能的只存储存在指定目标的录像数据，进一步节约了电子设备的硬件成本。

可选的，S103具体可以通过如下步骤实现：

若该通道的录像数据中存在指定目标，则从该通道对应的缓冲区中读取预设时段内的录像数据，其中，该通道对应的缓存区中存储的是当前时刻之前的预设时段内该通道采集的录像数据；存储预设时段内的录像数据及获取到的该通道的录像数据。

在进行目标识别时，识别到的实际指定目标可能已在监控场景下出现了一段时间，为了跟踪指定目标从出现到消失的整个过程，针对每一个通道，电子设备可以开辟一个缓冲区，用于缓存当前时刻之前的预设时段内该通道采集的录像数据，通常情况下，预设时段可以根据电子设备对所有通道完成一次完整的轮询过程所花费的时间进行设定，例如，一共有5个通道，每个通道轮询的间隔为20ms，则预设时段可以设定为大于或等于100ms的时间段。这样，相当于设置了预录功能，则在存储录像数据时，不仅仅存储获取到的该通道的录像数据，还可以存储从缓冲区中读取到的该通道在预设时段内采集的录像数据。由于音频数据的连续性较差，为了保证数据的连续性，在进行预录时，可以只缓存通道采集的视频数据。

应用本发明实施例，按照轮询的方式，依次获取各通道的录像数据，在每次获取到一个通道的录像数据后，对该通道的录像数据进行目标识别，识别该通道的录像数据中的指定目标，若该通道的录像数据中存在指定目标，则存储该通道的录像数据。针对于一个通道采集的录像数据进行目标识别，判断该通道的录像数据中是否存在指定目标，如果存在，则存储该通道的录像数据，并且采用轮询的方式对每一个通道执行以上操作，保证电子设备存储的是各通道采集的存在指定目标的录像数据，存储的录像数据的数据量少于传统方式存储的数据量，所需要的存储空间小于传统方式所需的存储空间，节约了存储录像数据的电子设备的硬件成本。

并且，采用轮询的方式，每次只对一个通道采集的录像数据进行识别、存储操作，相比于对全部通道采集的录像数据进行存储操作，计算量更小、执行的效率更好。

为了便于理解，下面结合具体的应用场景，对本发明实施例所提供的录像数据存储方法进行介绍。以录像数据仅包括视频数据为例，电子设备中主要包括视频采集单元、码流封装单元、录像单元、存储单元、配置单元和深度学习处理单元几个软件和/或硬件单元，这些单元之间的连接关系如图2所示。视频采集单元主要负责视频模拟信号或者数字信号的接入；码流封装单元主要负责将视频数据封装成RTP(Reliable Transport Protocol，可靠传输协议)等格式；存储单元主要负责视频数据的存储；配置单元主要负责对录像单元进行配置管理；深度学习处理单元主要负责对输入的视频数据进行识别，识别视频数据中的人、车或其他用户感兴趣的目标。

实现本发明实施例所提供的视频数据存储方法的执行主体主要是DVR或者NVR。DVR执行视频数据存储方法的流程如图3所示，由于DVR输入的是模拟数据，在进行目标识别之前，不需要对视频数据进行解码，图3左侧为视频数据提纯流程，包括视频采集单元采集视频数据，通过FRCNN，进行目标识别，如果识别到指定目标，通过配置单元开启对应通道的存储通知，否则通过配置单元发起停止存储通知，一次检测后判断是否轮询下一个通道，是则接收下一个通道采集的视频数据。图3右侧为视频数据存储的流程，对应通道通过采集视频数据，进行H264或者H265等编码，编码后进行视频数据封装，录像预录单元对录像进行预录，预录单元接收视频数据提纯流程发来的视频数据，进行视频数据的存储。这样就完成了一个通道的视频数据存储过程。

NVR执行视频数据存储方法的流程如图4所示，由于NVR输入的是IPC数据，在进行目标识别之前，需要对视频数据进行解码，不同于DVR的处理流程，在图4左侧的视频数据提纯流程中，视频解码仅解码视频的I帧，这样就可以快速高效的解码并识别视频数据中的指定目标，并且在图4右侧的视频数据存储流程中，不需要进行视频编码。

相应于上述方法实施例，本发明实施例提供了一种录像数据存储装置，如图5所示，该装置可以包括：

获取模块510，用于按照轮询的方式，依次获取各通道的录像数据；

识别模块520，用于在每次获取到一个通道的录像数据后，对所述一个通道的录像数据进行目标识别，识别所述一个通道的录像数据中的指定目标；

存储模块530，用于若所述一个通道的录像数据中存在所述指定目标，则存储所述一个通道的录像数据。

可选的，所述录像数据可以包括音频数据；

所述识别模块520，具体可以用于：

可选的，所述录像数据包括视频数据；

所述识别模块520，具体可以用于：

可选的，所述装置还可以包括：

可选的，所述存储模块530，具体可以用于：

本发明实施例提供了一种电子设备，如图6所示，包括处理器601和存储器602，其中，所述存储器602存储有能够被所述处理器601执行的机器可执行指令，所述机器可执行指令由所述处理器601加载并执行，以实现本发明实施例所提供的录像数据存储方法。

上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器602与处理器601之间可以通过有线连接或者无线连接的方式进行数据传输，并且电子设备与其他设备之间可以通过有线通信接口或者无线通信接口进行通信。图6所示的仅为通过总线进行数据传输的示例，不作为具体连接方式的限定。

本发明实施例中，处理器通过读取存储器中存储的机器可执行指令，并通过加载和执行机器可执行指令，能够实现：按照轮询的方式，依次获取各通道的录像数据，在每次获取到一个通道的录像数据后，对该通道的录像数据进行目标识别，识别该通道的录像数据中的指定目标，若该通道的录像数据中存在指定目标，则存储该通道的录像数据。针对于一个通道采集的录像数据进行目标识别，判断该通道的录像数据中是否存在指定目标，如果存在，则存储该通道的录像数据，并且采用轮询的方式对每一个通道执行以上操作，保证电子设备存储的是各通道采集的存在指定目标的录像数据，存储的录像数据的数据量少于传统方式存储的数据量，所需要的存储空间小于传统方式所需的存储空间，节约了存储录像数据的电子设备的硬件成本。

另外，本发明实施例还提供了一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令在被处理器加载并执行时，实现本发明实施例所提供的录像数据存储方法。

本发明实施例中，机器可读存储介质存储有在运行时执行本发明实施例所提供的录像数据存储方法的机器可执行指令，因此能够实现：按照轮询的方式，依次获取各通道的录像数据，在每次获取到一个通道的录像数据后，对该通道的录像数据进行目标识别，识别该通道的录像数据中的指定目标，若该通道的录像数据中存在指定目标，则存储该通道的录像数据。针对于一个通道采集的录像数据进行目标识别，判断该通道的录像数据中是否存在指定目标，如果存在，则存储该通道的录像数据，并且采用轮询的方式对每一个通道执行以上操作，保证电子设备存储的是各通道采集的存在指定目标的录像数据，存储的录像数据的数据量少于传统方式存储的数据量，所需要的存储空间小于传统方式所需的存储空间，节约了存储录像数据的电子设备的硬件成本。

对于电子设备及机器可读存储介质实施例而言，由于其涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及机器可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种录像数据存储方法，其特征在于，所述方法包括：

按照轮询的方式，依次获取各通道的录像数据；

2.根据权利要求1所述的方法，其特征在于，所述录像数据包括音频数据；

3.根据权利要求1所述的方法，其特征在于，所述录像数据包括视频数据；

4.根据权利要求1所述的方法，其特征在于，在所述在每次获取到一个通道的录像数据后，对所述一个通道的录像数据进行目标识别，识别所述一个通道的录像数据中的指定目标之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述若所述一个通道的录像数据中存在所述指定目标，则存储所述一个通道的录像数据，包括：

6.一种录像数据存储装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述录像数据包括音频数据；

所述识别模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，所述录像数据包括视频数据；

所述识别模块，具体用于：

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

10.根据权利要求6所述的装置，其特征在于，所述存储模块，具体用于：

11.一种电子设备，其特征在于，包括处理器和存储器，其中，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令由所述处理器加载并执行，以实现权利要求1-5任一项所述的方法。

12.一种机器可读存储介质，其特征在于，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令在被处理器加载并执行时，实现权利要求1-5任一项所述的方法。