CN111866428B - 一种历史录像数据处理方法及装置 - Google Patents
一种历史录像数据处理方法及装置 Download PDFInfo
- Publication number
- CN111866428B CN111866428B CN201910356114.2A CN201910356114A CN111866428B CN 111866428 B CN111866428 B CN 111866428B CN 201910356114 A CN201910356114 A CN 201910356114A CN 111866428 B CN111866428 B CN 111866428B
- Authority
- CN
- China
- Prior art keywords
- video data
- data
- historical
- historical video
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种历史录像数据处理方法及装置,历史录像数据处理方法包括:接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件,从存储介质中读取满足读取条件的历史录像数据,对读取的历史录像数据进行目标识别,识别该历史录像数据中的指定目标,若该历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。通过本方案,可以实现向用户反馈有价值的历史录像数据的目的。
Description
技术领域
本发明涉及监控技术领域,特别是涉及一种历史录像数据处理方法及装置。
背景技术
在交通管理、城市安防等场景下,用户经常会有对历史录像数据进行回放、导出等处理请求,这就要求DVR(Digital Video Recorder,硬盘录像机)、NVR(Network VideoRecorder,网络硬盘录像机)、中心存储设备等电子设备具有响应用户处理请求的功能。
用户输入的处理请求包括采集通道的通道号、时间段等读取条件,则电子设备可以根据通道号、时间段等读取条件,直接从存储介质中读取满足读取条件的历史录像数据反馈给用户。
然而,在实际应用场景下,电子设备经常会向用户反馈仅包含背景的历史录像数据,电子设备反馈的这些历史录像数据,对于用户后续进行录像数据分析来讲是无价值的,反而增加了用户后续进行录像数据分析的工作量。
发明内容
本发明实施例的目的在于提供一种历史录像数据处理方法及装置,以实现向用户反馈有价值的历史录像数据。具体技术方案如下:
第一方面,本发明实施例提供了一种历史录像数据处理方法,所述方法包括:
接收用户输入的处理请求,所述处理请求包括历史录像数据的读取条件;
从存储介质中读取满足所述读取条件的历史录像数据;
对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标;
若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户。
可选的,所述处理请求包括导出请求;
所述若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户,包括:
若所述历史录像数据中存在所述指定目标,则将所述历史录像数据导出至用户存储介质中。
可选的,所述处理请求包括回放请求;
在所述从存储介质中读取满足所述读取条件的历史录像数据之后,所述方法还包括:
对所述历史录像数据进行片段分割,得到多个数据片段;
所述对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标,包括:
分别对各数据片段进行目标识别,识别所述各数据片段中的指定目标;
所述若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户,包括:
按照时间顺序,依次回放存在所述指定目标的各数据片段。
可选的,所述历史录像数据包括历史音频数据;
所述对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标,包括:
对所述历史音频数据进行预处理,得到待识别音频数据;
采用滑动窗口方式,从所述待识别音频数据中,获取不同时域的音频单元;
采用第一预设深度学习模型,对各音频单元进行音频识别,得到所述各音频单元的识别结果;
采用预先建立的语言模型库,对所述各音频单元的识别结果进行相似度匹配;
根据所述各音频单元对应的匹配结果,判断所述历史音频数据中是否存在指定目标。
可选的,所述历史录像数据包括历史视频数据;
所述对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标,包括:
对所述历史视频数据中的各图像数据分别进行预处理,得到各待识别图像数据;
采用第二预设深度学习模型,对所述各待识别图像数据进行目标识别;
根据所述各待识别图像数据的识别结果,判断所述历史视频数据中是否存在指定目标。
第二方面,本发明实施例提供了一种历史录像数据处理装置,所述装置包括:
接收模块,用于接收用户输入的处理请求,所述处理请求包括历史录像数据的读取条件;
读取模块,用于从存储介质中读取满足所述读取条件的历史录像数据;
识别模块,用于对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标;
反馈模块,用于若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户。
可选的,所述处理请求包括导出请求;
所述反馈模块,具体用于:若所述历史录像数据中存在所述指定目标,则将所述历史录像数据导出至用户存储介质中。
可选的,所述处理请求包括回放请求;
所述装置还包括:
分割模块,用于对所述历史录像数据进行片段分割,得到多个数据片段;
所述识别模块,具体用于:分别对各数据片段进行目标识别,识别所述各数据片段中的指定目标;
所述反馈模块,具体用于:按照时间顺序,依次回放存在所述指定目标的各数据片段。
可选的,所述历史录像数据包括历史音频数据;
所述识别模块,具体用于:
对所述历史音频数据进行预处理,得到待识别音频数据;
采用滑动窗口方式,从所述待识别音频数据中,获取不同时域的音频单元;
采用第一预设深度学习模型,对各音频单元进行音频识别,得到所述各音频单元的识别结果;
采用预先建立的语言模型库,对所述各音频单元的识别结果进行相似度匹配;
根据所述各音频单元对应的匹配结果,判断所述历史音频数据中是否存在指定目标。
可选的,所述历史录像数据包括历史视频数据;
所述识别模块,具体用于:
对所述历史视频数据中的各图像数据分别进行预处理,得到各待识别图像数据;
采用第二预设深度学习模型,对所述各待识别图像数据进行目标识别;
根据所述各待识别图像数据的识别结果,判断所述历史视频数据中是否存在指定目标。
第三方面,本发明实施例提供了一种电子设备,包括处理器和存储器,其中,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述机器可执行指令由所述处理器加载并执行,以实现本发明实施例第一方面所提供的方法。
第四方面,本发明实施例提供了一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令在被处理器加载并执行时,实现本发明实施例第一方面所提供的方法。
本发明实施例提供的一种历史录像数据处理方法及装置,接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件,从存储介质中读取满足读取条件的历史录像数据,对读取的历史录像数据进行目标识别,识别该历史录像数据中的指定目标,若该历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。在从存储介质中读取满足读取条件的历史录像数据之后,对读取的历史录像数据进行目标识别,当识别出历史录像数据中存在指定目标时,将存在指定目标的历史录像数据反馈给用户,对于用户来讲,指定目标是用户关注的目标,因此,将存在指定目标的历史录像数据反馈给用户,更便于用户对指定目标进行跟踪、分析等处理,实现了向用户反馈有价值的历史录像数据的目的。进一步地,由于为用户后续进行录像数据分析提供了有价值的历史录像数据,能够提高用户进行录像数据分析的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的历史录像数据处理方法的流程示意图;
图2为本发明实施例的音频处理模块的处理流程示意图;
图3为本发明实施例的视频处理模块的处理流程示意图;
图4为本发明实施例的用户请求历史录像数据导出时的处理流程示意图;
图5为本发明实施例的用户请求历史录像数据回放时的处理流程示意图;
图6为本发明实施例的针对于用户请求历史录像数据导出的场景下NVR的结构示意图;
图7为本发明实施例的历史录像数据导出的流程示意图;
图8为本发明实施例的针对于用户请求历史录像数据回放的场景下DVR的结构示意图;
图9为本发明实施例的历史录像数据回放的流程示意图;
图10为本发明实施例的历史录像数据处理装置的结构示意图;
图11为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了实现向用户反馈有价值的历史录像数据,本发明实施例提供了一种历史录像数据处理方法、装置、电子设备及机器可读存储介质。下面,首先对本发明实施例所提供的历史录像数据处理方法进行介绍。
本发明实施例所提供的历史录像数据处理方法,可以应用于DVR、NVR、中心存储设备等具有录像数据存储功能的电子设备。实现本发明实施例所提供的历史录像数据处理方法的方式可以为设置于上述电子设备中的软件、硬件电路和逻辑电路中的至少一种。
如图1所示,本发明实施例所提供的一种历史录像数据处理方法,可以包括如下步骤。
S101,接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件。
用户在有对历史录像数据进行回访、导出等处理请求时,会在上述电子设备上输入相应的处理请求。电子设备可以提供用户交互界面,用户可以在该交互界面上输入处理请求;用户也可以通过指令的方式输入处理请求。处理请求中通常包括用户需要处理的历史录像数据的采集通道的通道号、需要处理的历史录像数据的时间段等读取条件,例如,用户需要处理的历史录像数据为IPC(Internet Protocol Camera,网络摄像机)通道1在9:00-10:00采集的历史录像数据,则处理请求包括IPC通道1、9:00-10:00时间段的读取条件。除了上述通道号和时间段以外,用户输入的处理请求中还可以包括指定目标的信息,例如指定目标的特征、标识等。
S102,从存储介质中读取满足读取条件的历史录像数据。
各采集通道采集的历史录像数据都存储在存储介质中,该存储介质可以为电子设备中的存储介质,也可以为后台独立于电子设备的数据库,这里不做具体限定。电子设备在接收到用户输入的处理请求后,可以从处理请求中提取出读取条件,则按照读取条件,从存储介质中读取满足读取条件的历史录像数据。例如,从处理请求中可以读取出包含IPC通道1、9:00-10:00时间段的读取条件,则可以按照该读取条件,从存储介质中读取IPC通道1在9:00-10:00采集的历史录像数据。
S103,对历史录像数据进行目标识别,识别历史录像数据中的指定目标。
在读取出满足读取条件的历史录像数据后,可以对历史录像数据进行目标识别,识别用户关心的车(车辆品牌、车型、车牌等属性)、人(男人、女人、上衣颜色、下衣颜色、是否骑车等属性)或特殊声音(尖叫、鸣笛等)等指定目标,判断历史录像数据中是否存在指定目标,以此作为是否将该历史录像数据反馈给用户的判断依据。
可选的,历史录像数据可以包括历史音频数据。
相应的,S103具体可以通过如下步骤实现:
对历史音频数据进行预处理,得到待识别音频数据;采用滑动窗口方式,从待识别音频数据中,获取不同时域的音频单元;采用第一预设深度学习模型,对各音频单元进行音频识别,得到各音频单元的识别结果;采用预先建立的语言模型库,对各音频单元的识别结果进行相似度匹配;根据各音频单元对应的匹配结果,判断历史音频数据中是否存在指定目标。
对历史音频数据进行预处理的过程,可以是设置例如音频的采样率、位宽等采样参数,规整音频的采样,还可以利用噪声滤波的方式,将噪声过滤掉,所得到的待识别音频数据是无噪声的规则音频数据,由于音频数据往往是连续的,为了提高音频识别的准确率,可以采用滑动窗口方式,从待识别音频数据中,获取不同时域的音频单元,采用例如RNN(Recurrent Neural Network,循环神经网络)等第一预设深度学习模型,对各音频单元进行语音识别,得到各音频单元的识别结果,识别结果是音频单元中的音频是什么内容的概率,一般在电子设备上预先建立有一个语言模型库,该语言模型库中存储着音频的类型、内容等信息,采用该语言模型库,对各音频单元的识别结果进行相似度匹配,则可以判断出历史音频数据中是否存在指定目标,匹配度越高,则说明历史音频数据中存在指定目标的可能性越大。
针对历史音频数据,识别指定目标的方式可以通过电子设备中的音频处理单元实现,音频处理单元的处理流程如图2所示,对于历史音频数据进行音频解码,再进行音频预处理、特征提取、RNN识别、决策模块的执行过程实现。音频预处理主要用来统一输入RNN的数据,例如音频的采样率、位宽;特征提取主要采用滑动窗口方式,获取不同时域的音频单元输入RNN进行识别;RNN主要用来音频单元识别;决策模块主要利用语言模型进行匹配,判断历史音频数据中是否存在指定目标。
可选的,历史录像数据可以包括历史视频数据。
相应的,S103具体可以通过如下步骤实现:
对历史视频数据中的各图像数据分别进行预处理,得到各待识别图像数据;采用第二预设深度学习模型,对各待识别图像数据进行目标识别;根据各待识别图像数据的识别结果,判断历史视频数据中是否存在指定目标。
对历史视频数据中的各图像数据进行预处理的过程,主要是统一输入第二预设深度学习模型的图像数据,例如可以统一分辨率、图像颜色空间等,还可以采用滤波技术滤掉图像中的噪声信号,采用例如FRCNN(Regions with Fast Convolutional NeuralNetwork,基于候选区域的快速卷积神经网络)等第二预设深度学习模型,对待识别图像进行目标识别,得到识别结果,识别结果是待识别图像数据中是否存在指定目标的概率。
针对历史视频数据,识别指定目标的方式可以通过电子设备中的视频处理单元实现,视频处理单元的处理流程如图3所示,对于历史视频数据进行视频解码,再进行预处理、FRCNN识别、决策模块的执行过程实现。预处理主要对图像颜色空间、分辨率进行处理,用于FRCNN统一的数据输入;FRCNN主要用于人、车、动物(鸟、马、牛、羊)等识别。
如果用户输入的处理请求中还包括指定目标的信息,则在进行目标识别时,是按照用户的需求识别出来用户指定的目标。用户输入的指定目标是上述深度神经网络训练时所基于的目标中的一个或者多个,如果用户输入的指定目标不是上述深度神经网络训练时所基于的目标,则无法识别出指定目标。
在实际应用中,对指定目标的识别,可以只识别音频目标,也可以只识别视频目标,还可以既识别音频目标又识别视频目标,这里不做限定。进行音频目标识别、视频目标识别的方式,除了可以采用上述的RNN、FRCNN等深度神经网络方法以外,还可以采用特征比对、像素匹配等方法,这里不再一一赘述。
S104,若历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。
如果识别出历史录像数据中存在指定目标,由于指定目标是用户关心的目标内容,则可以按照处理请求,将该历史录像数据反馈至用户。处理请求中包括有用户对历史录像数据进行处理的方式,例如是请求历史录像数据导出还是请求历史录像数据回放,如果是请求历史录像数据导出,则可以直接将识别出存在指定目标的历史录像数据导出至用户存储介质中;如果是请求历史录像数据回放,则可以直接给用户回放识别出存在指定目标的历史录像数据。当然,对于其他类型的处理请求,例如删除、拷贝等,也可以相应的按照处理请求进行处理。
可选的,处理请求可以包括导出请求。
相应的,S104具体可以通过如下步骤实现:
若历史录像数据中存在指定目标,则将历史录像数据导出至用户存储介质中。
如果用户输入的处理请求为导出请求,则用户实际请求的是将读取的存在指定目标的历史录像数据导出到用户存储介质中,这样,电子设备在识别出历史录像数据中存在指定目标之后,可以直接将历史录像数据导出至用户存储介质(例如用户的优盘、移动硬盘、光盘等)中。
当然,电子设备也可以对历史录像数据进行分段识别,将存在指定目标的录像数据片段导出至用户存储介质中,但是,由于用户请求导出历史录像数据时,往往需要的是完整的录像数据,因此,在一般情况下,电子设备是对整段的历史录像数据进行目标识别,只要存在指定目标,就会将该历史录像数据导出至用户存储介质中。所导出的历史录像数据中一定存在指定目标,把没有指定目标的录像数据进行跳过,保留用户感兴趣的指定目标,能够做到录像数据的精准导出。
用户请求历史录像数据导出时,电子设备的处理流程如图4所示,通过配置历史录像数据导出的读取条件(通道号和时间段),发起历史录像数据导出。按照用户配置的读取条件进行历史录像数据的读取,对历史录像数据进行目标识别,判断是否存在指定目标,如果存在,则导出历史录像数据,如果不存在,可以提示用户存储介质中没有存储当前请求的历史录像数据。
可选的,处理请求可以包括回放请求。
相应的,在执行S102之后,本发明实施例所提供的历史录像数据处理方法还可以执行:对历史录像数据进行片段分割,得到多个数据片段。
则S103具体可以通过如下步骤实现:分别对各数据片段进行目标识别,识别各数据片段中的指定目标。
S104具体可以通过如下步骤实现:按照时间顺序,依次回放存在指定目标的各数据片段。
如果用户输入的处理请求为回放请求,则用户实际请求的是回放读取的存在指定目标的历史录像数据。电子设备在识别出历史录像数据中存在指定目标之后,可以直接在本机的显示屏上回放该历史录像数据。
但是,用户在请求回放历史录像数据时,往往仅对存在指定目标的帧感兴趣,而历史录像数据中可能有的帧中存在指定目标,而有的帧中不存在指定目标。因此,首先可以对历史录像数据进行片段分割,得到多个数据片段,分割的方式可以是一帧分割为一个数据片段,也可以多个连续帧分割为一个数据片段,然后分别对各数据片段进行目标识别,识别各数据片段中的指定目标,目标识别的方式可以是基于深度学习的方式,也可以是传统的特征匹配的方式。提取出存在指定目标的各数据片段,并且按照这些数据片段从前到后的时间顺序,依次回放存在指定目标的各数据片段,这样,用户可以只看到存在指定目标的历史录像数据,能够实现指定目标的精准回放。
用户请求历史录像数据回放时,电子设备的处理流程如图5所示,通过配置历史录像数据导出的读取条件(通道号和时间段),发起历史录像数据回放。按照用户配置的读取条件进行历史录像数据的读取并分段,对各数据片段进行目标识别,按照时间顺序,将存在指定目标的各数据片段进行合并,形成完整录像数据,进行回放。
应用本发明实施例,接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件,从存储介质中读取满足读取条件的历史录像数据,对读取的历史录像数据进行目标识别,识别该历史录像数据中的指定目标,若该历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。在从存储介质中读取满足读取条件的历史录像数据之后,对读取的历史录像数据进行目标识别,当识别出历史录像数据中存在指定目标时,将存在指定目标的历史录像数据反馈给用户,对于用户来讲,指定目标是用户关注的目标,因此,将存在指定目标的历史录像数据反馈给用户,更便于用户对指定目标进行跟踪、分析等处理,实现了向用户反馈有价值的历史录像数据的目的。进一步地,由于为用户后续进行录像数据分析提供了有价值的历史录像数据,能够提高用户进行录像数据分析的效率。
为了便于理解,下面分别从用户请求历史录像数据导出和请求历史录像数据回放两个场景下的设备执行流程,对本发明实施例所提供的历史录像数据处理方法进行介绍。
针对于用户请求历史录像数据导出的场景,以NVR为例,主要包括录像导出单元、存储管理单元、深度学习处理单元、音视频解码单元和存储介质几个软件和/或硬件模块,这些模块之间的连接关系如图6所示。录像导出单元主要负责录像数据的导出,数据来自深度学习处理单元过滤后的历史录像数据;音视频解码单元主要负责音视频的解码;存储管理单元主要负责对录像数据进行增加、删除、查找等操作;深度学习处理单元主要负责进行视频数据和音频数据的处理,针对指定视频目标(例如人、车等)进行检测识别,同时对指定音频目标(例如尖叫等)进行检测识别,各模块之间交互实现历史录像数据导出的流程如图7所示。
用户发起历史录像数据导出流程,录像导出单元向深度学习处理单元请求录像数据过滤,录像导出单元在确定深度学习处理单元准备就绪后,向存储管理单元请求读取历史录像数据,存储管理单元从存储介质中读取历史录像数据返回给深度学习处理单元,深度学习处理单元将接收到的历史录像数据发送给音视频解码单元进行解码,音视频解码单元解码后,将历史录像数据返回给深度学习处理单元,深度学习处理单元进行指定目标识别(识别指定的人、车和/或特殊声音),把符合用户配置要求的存在指定目标的历史录像数据发给录像导出单元,由录像导出单元将历史录像数据保存到用户存储介质中。
针对于用户请求历史录像数据回放的场景,以DVR为例,主要包括回放单元、存储管理单元、深度学习处理单元和存储介质几个软件和/或硬件模块,这些模块之间的连接关系如图8所示。回放单元主要负责发起历史录像数据的回放,数据来自深度学习处理单元过滤后的历史录像数据;存储管理单元主要负责对录像数据进行增加、删除、查找等操作;深度学习处理单元主要负责进行视频数据和音频数据的处理,针对指定视频目标(例如人、车等)进行检测识别,同时对指定音频目标(例如尖叫等)进行检测识别,各模块之间交互实现历史录像数据回放的流程如图9所示。
用户发起历史录像数据回放流程,回放单元向深度学习处理单元请求录像数据过滤,深度学习处理单元向存储管理单元请求读取历史录像数据,存储管理单元从存储介质中读取历史录像数据返回给深度学习处理单元,深度学习处理单元对接收到的历史录像数据进行指定目标识别(识别指定的人、车和/或特殊声音),并将检测结果返回给回放单元,由回放单元按照时间排序顺序播放存在指定目标的数据片段。
相应于上述方法实施例,本发明实施例提供了一种历史录像数据处理装置,如图10所示,该装置可以包括:
接收模块1010,用于接收用户输入的处理请求,所述处理请求包括历史录像数据的读取条件;
读取模块1020,用于从存储介质中读取满足所述读取条件的历史录像数据;
识别模块1030,用于对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标;
反馈模块1040,用于若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户。
可选的,所述处理请求可以包括导出请求;
所述反馈模块1040,具体可以用于:若所述历史录像数据中存在所述指定目标,则将所述历史录像数据导出至用户存储介质中。
可选的,所述处理请求可以包括回放请求;
所述装置还可以包括:
分割模块,用于对所述历史录像数据进行片段分割,得到多个数据片段;
所述识别模块1030,具体可以用于:分别对各数据片段进行目标识别,识别所述各数据片段中的指定目标;
所述反馈模块1040,具体可以用于:按照时间顺序,依次回放存在所述指定目标的各数据片段。
可选的,所述历史录像数据可以包括历史音频数据;
所述识别模块1030,具体可以用于:
对所述历史音频数据进行预处理,得到待识别音频数据;
采用滑动窗口方式,从所述待识别音频数据中,获取不同时域的音频单元;
采用第一预设深度学习模型,对各音频单元进行音频识别,得到所述各音频单元的识别结果;
采用预先建立的语言模型库,对所述各音频单元的识别结果进行相似度匹配;
根据所述各音频单元对应的匹配结果,判断所述历史音频数据中是否存在指定目标。
可选的,所述历史录像数据可以包括历史视频数据;
所述识别模块1030,具体可以用于:
对所述历史视频数据中的各图像数据分别进行预处理,得到各待识别图像数据;
采用第二预设深度学习模型,对所述各待识别图像数据进行目标识别;
根据所述各待识别图像数据的识别结果,判断所述历史视频数据中是否存在指定目标。
应用本发明实施例,接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件,从存储介质中读取满足读取条件的历史录像数据,对读取的历史录像数据进行目标识别,识别该历史录像数据中的指定目标,若该历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。在从存储介质中读取满足读取条件的历史录像数据之后,对读取的历史录像数据进行目标识别,当识别出历史录像数据中存在指定目标时,将存在指定目标的历史录像数据反馈给用户,对于用户来讲,指定目标是用户关注的目标,因此,将存在指定目标的历史录像数据反馈给用户,更便于用户对指定目标进行跟踪、分析等处理,实现了向用户反馈有价值的历史录像数据的目的。进一步地,由于为用户后续进行录像数据分析提供了有价值的历史录像数据,能够提高用户进行录像数据分析的效率。
本发明实施例还提供了一种电子设备,如图11所示,包括处理器1101和存储器1102,其中,所述存储器1102存储有能够被所述处理器1101执行的机器可执行指令,所述机器可执行指令由所述处理器1101加载并执行,以实现本发明实施例所提供的历史录像数据处理方法。
上述存储器可以包括RAM(Random Access Memory,随机存取存储器),也可以包括NVM(Non-volatile Memory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括CPU(Central Processing Unit,中央处理器)、NP(Network Processor,网络处理器)等;还可以是DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器1102与处理器1101之间可以通过有线连接或者无线连接的方式进行数据传输,并且电子设备与其他设备之间可以通过有线通信接口或者无线通信接口进行通信。图11所示的仅为通过总线进行数据传输的示例,不作为具体连接方式的限定。
本发明实施例中,处理器通过读取存储器中存储的机器可执行指令,并通过加载和执行机器可执行指令,能够实现:电子设备接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件,从存储介质中读取满足读取条件的历史录像数据,对读取的历史录像数据进行目标识别,识别该历史录像数据中的指定目标,若该历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。在从存储介质中读取满足读取条件的历史录像数据之后,对读取的历史录像数据进行目标识别,当识别出历史录像数据中存在指定目标时,将存在指定目标的历史录像数据反馈给用户,对于用户来讲,指定目标是用户关注的目标,因此,将存在指定目标的历史录像数据反馈给用户,更便于用户对指定目标进行跟踪、分析等处理,实现了向用户反馈有价值的历史录像数据的目的。进一步地,由于为用户后续进行录像数据分析提供了有价值的历史录像数据,能够提高用户进行录像数据分析的效率。
另外,本发明实施例还提供了一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令在被处理器加载并执行时,实现本发明实施例所提供的历史录像数据处理方法。
本发明实施例中,机器可读存储介质存储有在运行时执行本发明实施例所提供的历史录像数据处理方法的机器可执行指令,因此能够实现:电子设备接收用户输入的处理请求,其中,处理请求包括历史录像数据的读取条件,从存储介质中读取满足读取条件的历史录像数据,对读取的历史录像数据进行目标识别,识别该历史录像数据中的指定目标,若该历史录像数据中存在指定目标,则按照处理请求,将历史录像数据反馈至用户。在从存储介质中读取满足读取条件的历史录像数据之后,对读取的历史录像数据进行目标识别,当识别出历史录像数据中存在指定目标时,将存在指定目标的历史录像数据反馈给用户,对于用户来讲,指定目标是用户关注的目标,因此,将存在指定目标的历史录像数据反馈给用户,更便于用户对指定目标进行跟踪、分析等处理,实现了向用户反馈有价值的历史录像数据的目的。进一步地,由于为用户后续进行录像数据分析提供了有价值的历史录像数据,能够提高用户进行录像数据分析的效率。
对于电子设备及机器可读存储介质实施例而言,由于其涉及的方法内容基本相似于前述的方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及机器可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种历史录像数据处理方法,其特征在于,所述方法包括:
接收用户输入的处理请求,所述处理请求包括历史录像数据的读取条件,所述读取条件包括:所述历史录像数据的采集通道的通道号和/或所述历史录像数据的时间段;
从存储介质中读取满足所述读取条件的历史录像数据,其中,所述历史录像数据包括历史音频数据;
对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标;
若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户;
其中,所述对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标,包括:
对所述历史音频数据进行预处理,得到待识别音频数据;
采用滑动窗口方式,从所述待识别音频数据中,获取不同时域的音频单元;
采用第一预设深度学习模型,对各音频单元进行音频识别,得到所述各音频单元的识别结果;
采用预先建立的语言模型库,对所述各音频单元的识别结果进行相似度匹配;
根据所述各音频单元对应的匹配结果,判断所述历史音频数据中是否存在指定目标。
2.根据权利要求1所述的方法,其特征在于,所述处理请求包括导出请求;
所述若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户,包括:
若所述历史录像数据中存在所述指定目标,则将所述历史录像数据导出至用户存储介质中。
3.根据权利要求1所述的方法,其特征在于,所述处理请求包括回放请求;
在所述从存储介质中读取满足所述读取条件的历史录像数据之后,所述方法还包括:
对所述历史录像数据进行片段分割,得到多个数据片段;
所述对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标,包括:
分别对各数据片段进行目标识别,识别所述各数据片段中的指定目标;
所述若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户,包括:
按照时间顺序,依次回放存在所述指定目标的各数据片段。
4.根据权利要求1所述的方法,其特征在于,所述历史录像数据包括历史视频数据;
所述对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标,包括:
对所述历史视频数据中的各图像数据分别进行预处理,得到各待识别图像数据;
采用第二预设深度学习模型,对所述各待识别图像数据进行目标识别;
根据所述各待识别图像数据的识别结果,判断所述历史视频数据中是否存在指定目标。
5.一种历史录像数据处理装置,其特征在于,所述装置包括:
接收模块,用于接收用户输入的处理请求,所述处理请求包括历史录像数据的读取条件,所述读取条件包括:所述历史录像数据的采集通道的通道号和/或所述历史录像数据的时间段;
读取模块,用于从存储介质中读取满足所述读取条件的历史录像数据,其中,所述历史录像数据包括历史音频数据;
识别模块,用于对所述历史录像数据进行目标识别,识别所述历史录像数据中的指定目标;
反馈模块,用于若所述历史录像数据中存在所述指定目标,则按照所述处理请求,将所述历史录像数据反馈至所述用户;
所述识别模块,具体用于:
对所述历史音频数据进行预处理,得到待识别音频数据;
采用滑动窗口方式,从所述待识别音频数据中,获取不同时域的音频单元;
采用第一预设深度学习模型,对各音频单元进行音频识别,得到所述各音频单元的识别结果;
采用预先建立的语言模型库,对所述各音频单元的识别结果进行相似度匹配;
根据所述各音频单元对应的匹配结果,判断所述历史音频数据中是否存在指定目标。
6.根据权利要求5所述的装置,其特征在于,所述处理请求包括导出请求;
所述反馈模块,具体用于:若所述历史录像数据中存在所述指定目标,则将所述历史录像数据导出至用户存储介质中。
7.根据权利要求5所述的装置,其特征在于,所述处理请求包括回放请求;
所述装置还包括:
分割模块,用于对所述历史录像数据进行片段分割,得到多个数据片段;
所述识别模块,具体用于:分别对各数据片段进行目标识别,识别所述各数据片段中的指定目标;
所述反馈模块,具体用于:按照时间顺序,依次回放存在所述指定目标的各数据片段。
8.根据权利要求5所述的装置,其特征在于,所述历史录像数据包括历史视频数据;
所述识别模块,具体用于:
对所述历史视频数据中的各图像数据分别进行预处理,得到各待识别图像数据;
采用第二预设深度学习模型,对所述各待识别图像数据进行目标识别;
根据所述各待识别图像数据的识别结果,判断所述历史视频数据中是否存在指定目标。
9.一种电子设备,其特征在于,包括处理器和存储器,其中,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述机器可执行指令由所述处理器加载并执行,以实现权利要求1-4任一项所述的方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令在被处理器加载并执行时,实现权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910356114.2A CN111866428B (zh) | 2019-04-29 | 2019-04-29 | 一种历史录像数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910356114.2A CN111866428B (zh) | 2019-04-29 | 2019-04-29 | 一种历史录像数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111866428A CN111866428A (zh) | 2020-10-30 |
CN111866428B true CN111866428B (zh) | 2023-03-14 |
Family
ID=72966609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910356114.2A Active CN111866428B (zh) | 2019-04-29 | 2019-04-29 | 一种历史录像数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111866428B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004006571A1 (en) * | 2002-07-08 | 2004-01-15 | Findtech Co., Ltd. | Personal video recorder capable of dividing and storing a motion image signal according to genre of its contents and method thereof |
CN1599904A (zh) * | 2001-12-06 | 2005-03-23 | 皇家飞利浦电子股份有限公司 | 自适应环境系统和提供自适应环境的方法 |
CN102176746A (zh) * | 2009-09-17 | 2011-09-07 | 广东中大讯通信息有限公司 | 一种用于局部小区域安全进入的智能监控系统及实现方法 |
CN103283226A (zh) * | 2010-12-30 | 2013-09-04 | 派尔高公司 | 搜索录制的视频 |
CN103747215A (zh) * | 2014-01-22 | 2014-04-23 | 安徽大学 | 一种监控视频特定目标检索系统 |
CN104580974A (zh) * | 2015-01-30 | 2015-04-29 | 成都华迈通信技术有限公司 | 一种智能监控录像回放的方法 |
CN108985131A (zh) * | 2017-05-31 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法及图像处理设备 |
CN109376271A (zh) * | 2018-11-01 | 2019-02-22 | 惠州学院 | 一种视频内容检索方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7702673B2 (en) * | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
CN103365848A (zh) * | 2012-03-27 | 2013-10-23 | 华为技术有限公司 | 一种视频查询方法、装置与系统 |
CN102810208B (zh) * | 2012-07-24 | 2015-12-16 | 武汉大千信息技术有限公司 | 基于行进方向检测的刑侦视频预处理方法 |
CN102982634A (zh) * | 2012-11-13 | 2013-03-20 | 上海交通大学 | 音视频融合的人员入侵检测方法 |
CN103106250B (zh) * | 2013-01-14 | 2016-11-23 | 浙江元亨通信技术股份有限公司 | 视频监控智能分析检索方法及其系统 |
CN105335387A (zh) * | 2014-07-04 | 2016-02-17 | 杭州海康威视系统技术有限公司 | 一种视频云存储系统的检索方法 |
CN105681749A (zh) * | 2016-01-12 | 2016-06-15 | 上海小蚁科技有限公司 | 用于预览视频的方法、装置、系统和计算机可读介质 |
CN105631043A (zh) * | 2016-01-26 | 2016-06-01 | 公安部第一研究所 | 一种视频处理方法及装置 |
US10810255B2 (en) * | 2017-09-14 | 2020-10-20 | Avigilon Corporation | Method and system for interfacing with a user to facilitate an image search for a person-of-interest |
-
2019
- 2019-04-29 CN CN201910356114.2A patent/CN111866428B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1599904A (zh) * | 2001-12-06 | 2005-03-23 | 皇家飞利浦电子股份有限公司 | 自适应环境系统和提供自适应环境的方法 |
WO2004006571A1 (en) * | 2002-07-08 | 2004-01-15 | Findtech Co., Ltd. | Personal video recorder capable of dividing and storing a motion image signal according to genre of its contents and method thereof |
CN102176746A (zh) * | 2009-09-17 | 2011-09-07 | 广东中大讯通信息有限公司 | 一种用于局部小区域安全进入的智能监控系统及实现方法 |
CN103283226A (zh) * | 2010-12-30 | 2013-09-04 | 派尔高公司 | 搜索录制的视频 |
CN103747215A (zh) * | 2014-01-22 | 2014-04-23 | 安徽大学 | 一种监控视频特定目标检索系统 |
CN104580974A (zh) * | 2015-01-30 | 2015-04-29 | 成都华迈通信技术有限公司 | 一种智能监控录像回放的方法 |
CN108985131A (zh) * | 2017-05-31 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种目标识别方法及图像处理设备 |
CN109376271A (zh) * | 2018-11-01 | 2019-02-22 | 惠州学院 | 一种视频内容检索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111866428A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10108709B1 (en) | Systems and methods for queryable graph representations of videos | |
US10685460B2 (en) | Method and apparatus for generating photo-story based on visual context analysis of digital content | |
CN110909205B (zh) | 一种视频封面确定方法、装置、电子设备及可读存储介质 | |
CN110381366B (zh) | 赛事自动化报道方法、系统、服务器及存储介质 | |
US20140245463A1 (en) | System and method for accessing multimedia content | |
CN110795595A (zh) | 基于边缘计算的视频结构化存储方法、装置、设备及介质 | |
CN110458591A (zh) | 广告信息检测方法、装置及计算机设备 | |
CN112291589B (zh) | 视频文件的结构检测方法、装置 | |
CN104252592A (zh) | 外挂应用程序的识别方法及装置 | |
CN111611886B (zh) | 一种基于车辆行为分析的停车信息校验方法及装置 | |
CN111881320A (zh) | 一种视频查询方法、装置、设备及可读存储介质 | |
WO2022262719A1 (zh) | 一种直播处理方法、装置、存储介质及电子设备 | |
CN113992970A (zh) | 视频数据处理方法、装置、电子设备及计算机存储介质 | |
CN111866428B (zh) | 一种历史录像数据处理方法及装置 | |
CN111857551B (zh) | 一种录像数据老化方法及装置 | |
CN115035453A (zh) | 一种视频片头片尾识别方法、装置、设备及可读存储介质 | |
CN112151054B (zh) | 音频降噪处理方法、装置、服务器及存储介质 | |
CN108734144A (zh) | 一种基于人脸识别的主讲人身份认证方法 | |
CN109101964A (zh) | 确定多媒体文件中首尾区域的方法、设备及存储介质 | |
CN116844077A (zh) | 视频处理的方法、装置、计算机设备及存储介质 | |
CN114500879A (zh) | 视频数据处理方法、装置、设备及存储介质 | |
CN113573096A (zh) | 视频处理方法、装置、电子设备及介质 | |
CN111866429B (zh) | 一种录像数据预览方法及装置 | |
WO2020220951A1 (zh) | 一种录像数据存储方法及装置 | |
CN111866522A (zh) | 一种录像数据编码方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |