CN112532923A - 一种视频流的处理方法、装置、终端设备和存储介质 - Google Patents

一种视频流的处理方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN112532923A
CN112532923A CN202011211122.7A CN202011211122A CN112532923A CN 112532923 A CN112532923 A CN 112532923A CN 202011211122 A CN202011211122 A CN 202011211122A CN 112532923 A CN112532923 A CN 112532923A
Authority
CN
China
Prior art keywords
monitoring
video data
pictures
processing
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011211122.7A
Other languages
English (en)
Inventor
谢文龙
李云鹏
吕亚亚
杨春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionvera Information Technology Co Ltd
Original Assignee
Visionvera Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionvera Information Technology Co Ltd filed Critical Visionvera Information Technology Co Ltd
Priority to CN202011211122.7A priority Critical patent/CN112532923A/zh
Publication of CN112532923A publication Critical patent/CN112532923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例提供了一种视频流的处理方法、装置、终端设备和存储介质，包括：从监控设备上获取第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，对目标物体进行标注，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。

Description

一种视频流的处理方法、装置、终端设备和存储介质
技术领域
本发明涉及视联网技术领域，特别是涉及一种视频流的处理方法、装置、终端设备和存储介质。
背景技术
随着视联网技术的不断发展，涉及到的领域越来越多，例如，将监控设备加入到视联网中，现有技术中，通过监控接入服务器将监控设备接入到视联网中，监控接入服务器从监控设备中获取监控视频，对该监控视频某一时刻的图像信息进行智能分析，获取到视频中的关键物体信息，进而可以关注到该关键物体所处的位置，但是，由于每个监控设备只能监控一定范围内的关键物体移动，当该关键物体移动到监控设备的监控范围外，则无法对该关键物体进行实时跟踪，例如，对黑名单人员的跟踪等。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频流的处理方法、装置、终端设备和存储介质。
第一个方面，本发明实施例提供一种视频流的处理方法，所述方法包括：
从至少两个监控设备上获取至少两个第一监控视频数据；
根据至少两个所述第一监控视频数据，确定至少两个第一处理图片；
将所述至少两个第一处理图片发送至视频分析服务器，以使所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示。
可选地，所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片，包括：
所述视频分析服务器将至少两个第一处理图片输入到预先建立的物体识别模型中，得到所述第一处理图片中的目标物体信息；
根据所述目标物体信息和预先存储数据库中的预设物体信息，确定物体相似度，其中，所述预先存储数据库中的预设物体信息包括物体名称和对应的预设图像特征信息；
若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注；
将标注后的图片确定为所述第二处理图片。
可选地，所述若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注，包括：
若所述物体相似度大于等于预设相似度，确定所述第一处理图片中的与所述目标物体信息对应的目标物体；
在所述目标物体上增加预设的标注框。
可选地，所述根据至少两个所述第一监控视频数据，确定至少两个第一处理图片，包括：
采用H264解码算法对至少两个所述第一监控视频数据分别进行解码，得到至少两个图片序列；
根据所述图片序列，确定所述图片序列中的I帧图像；
将YUV格式的I帧图像确定为所述第一处理图片。
可选地，所述根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示，包括：
获取与所述第一处理图片对应的基础信息，所述基础信息包括监控设备信息、目标物体名称、拍摄时间和拍摄地点中的一种或多种；
将所述基础信息标注到与所述第一处理图片对应的第二处理图片中，得到第三处理图片；
根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频；
将所述第二监控视频数据发送至前端设备，并在所述前端设备的界面上进行显示。
可选地，所述根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频，包括：
根据所述基础信息中的拍摄时间，对至少两个所述第三处理图片进行H264编码，得到H264第二监控视频数据。
可选地，所述从至少两个监控设备上获取至少两个第一监控视频数据，包括：
通过实时流传输协议从至少两个监控设备上获取至少两个第一监控视频数据。
第二个方面，本发明实施例提供一种视频流的处理装置，所述装置包括：
获取模块，用于从至少两个监控设备上获取至少两个第一监控视频数据；
确定模块，用于根据至少两个所述第一监控视频数据，确定至少两个第一处理图片；
处理模块，用于将所述至少两个第一处理图片发送至视频分析服务器，以使所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
接收模块，用于接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示。
可选地，所述视频分析服务器包括分析模块，所述分析模块用于：
将至少两个第一处理图片输入到预先建立的物体识别模型中，得到所述第一处理图片中的目标物体信息；
根据所述目标物体信息和预先存储数据库中的预设物体信息，确定物体相似度，其中，所述预先存储数据库中的预设物体信息包括物体名称和对应的预设图像特征信息；
若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注；
将标注后的图片确定为所述第二处理图片。
可选地，所述分析模块用于：
若所述物体相似度大于等于预设相似度，确定所述第一处理图片中的与所述目标物体信息对应的目标物体；
在所述目标物体上增加预设的标注框。
可选地，所述确定模块用于：
采用H264解码算法对至少两个所述第一监控视频数据分别进行解码，得到至少两个图片序列；
根据所述图片序列，确定所述图片序列中的I帧图像；
将YUV格式的I帧图像确定为所述第一处理图片。
可选地，所述接收模块用于：
获取与所述第一处理图片对应的基础信息，所述基础信息包括监控设备信息、目标物体名称、拍摄时间和拍摄地点中的一种或多种；
将所述基础信息标注到与所述第一处理图片对应的第二处理图片中，得到第三处理图片；
根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频；
将所述第二监控视频数据发送至前端设备，并在所述前端设备的界面上进行显示。
可选地，所述接收模块用于：
根据所述基础信息中的拍摄时间，对至少两个所述第三处理图片进行H264编码，得到H264第二监控视频数据。
可选地，所述获取模块用于：
通过实时流传输协议从至少两个监控设备上获取至少两个第一监控视频数据。
第三个方面，本发明实施例提供一种终端设备，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现第一个方面提供的视频流的处理方法。
第四个方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现第一个方面提供的视频流的处理方法。
本发明实施例包括以下优点：
本发明实施例提供的视频流的处理方法、装置、终端设备和存储介质，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
附图说明
图1是本发明的一种视频流的处理方法实施例的步骤流程图；
图2是本发明的另一种视频流的处理方法实施例的步骤流程图；
图3是本发明的又一种视频流的处理方法实施例的步骤流程图；
图4是本发明的一种视频流的处理装置实施例的结构框图；
图5是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。
视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。
基于视联网的上述特性，提出了本发明实施例的核心构思之一，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本发明一实施例提供一种视频流的处理方法，用于对视频流中的目标物体进行动态标注。本实施例的执行主体为视频流的处理装置，设置在监控接入服务器上。
参照图1，示出了本发明的一种视频流的处理方法实施例的步骤流程图，该方法可以应用于视联网中，具体可以包括如下步骤：
S101、从至少两个监控设备上获取至少两个第一监控视频数据；
具体地，本发明实施例应用于视频分析系统，该视频分析系统包括监控接入服务器和视频分析服务器，监控接入服务器与多个监控设备相连，且与前端设备相连。监控接入服务器通过RTSP(Real Time Streaming Protocol，实时流传输协议)协议从至少两个监控设备上获取至少两个监控视频数据。该监控设备安装在不同路段的各个路口，采集各个路口的监控视频。
S102、根据至少两个所述第一监控视频数据，确定至少两个第一处理图片；
具体地，监控接入服务器对每个第一监控视频数据进行解码，得到一系列的图像帧，挑选其中的一张确定为第一处理图片，若是多个第一监控视频数据，则需要确定多张第一处理图片。
S103、将所述至少两个第一处理图片发送至视频分析服务器，以使所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
具体地，监控接入服务器将获得的至少两种第一处理图片发送至视频分析服务器，视频分析服务器上预先存储有物体识别模型，其中，该物体识别模型是采用人工智能算法对预设物体的图像特征进行训练得到，例如，可以采用深度学习的神经网络算法进行模型的训练。例如，可以是对某个人的人脸训练的模型，也可以是对某辆车训练的模型，根据实际需要，将要跟踪的物体的物体识别模型先训练好，并存储在时频分析服务器上。
视频分析服务器将至少两个第一处理图片输入到预先建立的物体识别模型中，可以确定第一处理图片中是否有目标物体，若第一处理图片中有目标物体，则需要对该目标物体进行标注，例如，可以在第一处理图片中增加标注框，并将增加标注框的图片确定为第二处理图片。
视频分析服务器将至少两个第一处理图片都要进行标注，并得到至少两个第二处理图片。
S104、接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示。
具体地，在视频分析服务器得到至少两个第二处理图片后，视频分析服务器将至少两个第二处理图片发送至监控接入服务器，监控接入服务器对至少两个第二处理图片进行编码，得到第二监控视频数据，并将第二监控视频数据发送至前端设备进行显示。也就是说，第二处理图片是针对不同监控识别的增加目标物体的标注框的图片，将多张第二处理图片编码成第二监控视频数据，并在前端设备上显示，这样，用户就可以直观的看到目标物体出现在哪个位置，而不需要对目标物体进行定位。
本发明实施例提供的视频流的处理方法，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本发明又一实施例对上述实施例提供的视频流的处理方法做进一步补充说明。
如图2所示，示出了本发明的另一种视频流的处理方法实施例的步骤流程图，该视频流的处理方法包括：
S201、监控接入服务器通过RTSP协议从至少两个监控设备上获取至少两个第一监控视频数据。
具体地，RTSP协议是TCP/IP协议体系中的一个应用层协议，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或UDP完成数据传输。HTTP与RTSP相比，HTTP传送HTML，而RTSP传送的是多媒体数据。
RTSP是基于文本的协议，采用ISO10646字符集，使用UTF-8编码方案。行以CRLF中断，包括消息类型、消息头、消息体和消息长。但接收者本身可将CR和LF解释成行终止符。基于文本的协议使其以自描述方式增加可选参数更容易，接口中采用SDP作为描述语言。[2]
RTSP是应用级协议，控制实时数据的发送。RTSP提供了一个可扩展框架，使实时数据，如音频与视频的受控点播成为可能。数据源包括现场数据与存储在剪辑中数据。该协议目的在于控制多个数据发送连接，为选择发送通道，如UDP、组播UDP与TCP，提供途径，并为选择基于RTP上发送机制提供方法。
RTSP建立并控制一个或几个时间同步的连续流媒体。尽管连续媒体流与控制流交换是可能的，通常它本身并不发送连续流。换言之，RTSP充当多媒体服务器的网络远程控制。RTSP连接没有绑定到传输层连接，如TCP。在RTSP连接期间，RTSP用户可打开或关闭多个对服务器的可传输连接以发出RTSP请求。此外，可使用无连接传输协议，如UDP。RTSP流控制的流可能用到RTP，但RTSP操作并不依赖用于携带连续媒体的传输机制。
S202、采用H264解码算法对至少两个所述第一监控视频数据分别进行解码，得到至少两个图片序列；
具体地，H264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：
帧内预测压缩，解决的是空域数据冗余问题。
帧间预测压缩(运动估计与补偿)，解决的是时域数据冗徐问题。
整数离散余弦变换(DCT)，将空间上的相关性变为频域上无关的数据然后进行量化。
CABAC压缩。
经过压缩后的帧分为：I帧，P帧和B帧:
I帧：关键帧，采用帧内压缩技术。
P帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧音压缩技术。
B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。
除了I/P/B帧外，还有图像序列GOP。
GOP:两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。
在本发明实施例中，第一监控视频数据是预先通过H264进行编码后得到的，在本步骤中，再采用H264解码算法对第一监控视频数据分别进行解码，得到一系列的图片序列，该图片序列中包括I帧，P帧和B帧。
S203、根据所述图片序列，确定所述图片序列中的I帧图像；
在上述的步骤中，监控接入服务器将多个第一监控视频数据中的多个I帧图像提取出来，然后将P帧图像和B帧图像进行删除，这样，可以减少视频分析服务器的运算量，提高处理速度。
S204、将YUV格式的I帧图像确定为所述第一处理图片。
具体地，监控接入服务器将得到的I帧图像直接保存为YUV格式，这样，就得到第一处理图片。
YUV，是一种颜色编码方法，可使用在各个视频处理组件中。YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。
YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
S205、将所述至少两个第一处理图片发送至视频分析服务器；
具体地，监控接入服务器将至少两个第一处理图片发送至视频分析服务器。
S206、视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
具体地，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定该第一处理图片中是否有目标物体，具体步骤包括：
步骤A1、视频分析服务器将至少两个第一处理图片输入到预先建立的物体识别模型中，得到所述第一处理图片中的目标物体信息；
其中，该目标物体信息包括图像特征信息、目的物体的名称等。
步骤A2、根据所述目标物体信息和预先存储数据库中的预设物体信息，确定物体相似度，其中，所述预先存储数据库中的预设物体信息包括物体名称和对应的预设图像特征信息；
具体地，预先在视频分析服务器上将要跟踪的物体的名称和对应的图像特特征信息进行保存，以便于进行相似度计算。
视频分析服务器根据目的物体的名称在预先存储的数据库中查找到与该目的名称对应的预设图像特征信息，在将得到的目标物体的图像特征信息与数据库中的预设图像特征信息进行相似度计算，得到一物体相似度。
步骤A3、若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注；
具体地，该步骤包括：
A31、若所述物体相似度大于等于预设相似度，确定所述第一处理图片中的与所述目标物体信息对应的目标物体；
同时，记录该目标物体的坐标信息。
A32、在所述目标物体上增加预设的标注框。
具体地，根据目标物体的坐标信息，在该目标物体的对应位置上增加预设的标注框，例如，可以采用方框，也可以采用圆框，可以采用红色标注，也可以采用蓝色标注，具体的标注形式在本发明实施例中不做具体限定。
步骤A4、将标注后的图片确定为所述第二处理图片。
S207、接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示。
其中，监控接入服务器在接收到视频分析服务器发送的至少两个第二处理图片后，根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示，具体地，该步骤包括：
步骤B1、获取与所述第一处理图片对应的基础信息，所述基础信息包括监控设备信息、目标物体名称、拍摄时间和拍摄地点中的一种或多种；
其中，监控设备信息包括监控设备名称、监控设备所处的位置信息等。
步骤B2、将所述基础信息标注到与所述第一处理图片对应的第二处理图片中，得到第三处理图片；
这样，就可以将与第一处理图片相关的多个信息，以结构化形式的数据增加到第二处理图片中，得到至少两个第三处理图片；
步骤B3、根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频；
具体包括：根据所述基础信息中的拍摄时间，对至少两个所述第三处理图片进行H264编码，得到H264第二监控视频数据。
也就是说，按照第一处理图片的拍摄时间的先后顺序，对至少两个第三处理图片进行H264编码，得到H264第二监控视频数据数据。
步骤B4、将所述第二监控视频数据发送至前端设备，并在所述前端设备的界面上进行显示。
具体地，前端设备包括显示屏，通过显示屏，将第二监控视频数据进行显示，这样，通过该视频不仅可以对目标物体的移动路径进行跟踪或查看，还可以将相关的人物、车辆基本信息，时间位置，卡口信息，相似度等结构化数据以视频方式呈现出来。
图3是本发明的又一种视频流的处理方法实施例的步骤流程图，如图3所示，该视频流的处理方法，包括：
1、监控接入服务器建立监控视频采集模块，实时通过RTSP协议采集监控设备的监控视频流。
2、监控接入服务器或智能分析服务器都可以对监控视频流进行图片化处理，即视频剥离主要是抽取其视频I帧，抛弃P帧和B帧，因为I帧数据是画面主数据，P、B为辅助数据，并将I帧图像直接保存为YUV格式的图片。
3、智能分析服务器即视频分析服务器把YUV格式图片输入到AI模块即预先建立的物体识别模型进行分析处理。
对图片中的内容如人物或车辆与黑名单即预先存储数据库中的预设物体信息中的人员信息、车辆信息进行相似度对比，当相似度达到设定阈值后，对图片中人物添加红框框选，明显标记。并添加标签，把文字描述添加上去，形成新的图片，用于对人员或车辆进行查找或跟踪。
并将多个标注后的图片发送至监控接入服务器。
4、监控接入服务器进一步获取到该标注后的图片携带的基础信息，该基础信息包括图片中人员、物体的坐标位置等，把基础信息渲染到图片中。
另外，还可以对图片进一步信息添加，重新渲染，形成新的图片，添加红框、卡口位置坐标、黑名单人员信息、相似度、时间地点等信息都标注在新的图片上。
5、监控接入服务器将渲染后的图片进行编码，即对jpeg的图片进行H264编码，获得视频流，将该视频流发送到前端终端的网页端展示。
本发明实施例可用于黑名单画面及其相关结构化数据在大屏中显示。黑名单人物在各卡口内来回切换时，不因检测卡口位置变化而改变。
本发明实施例实时跟踪采用分析设备对多路卡口监控进行同时分析，对于跟踪黑名单人员出现在哪个卡口位置就返回此卡口的分析画面，形成的效果即为黑名单人员在各个卡口位置的实时跟踪画面。
具体地，本发明实施例对卡口视频数据可通过RTSP协议拉取，对视频流h264获取关键帧画面YUV,对YUV进行智能算法识别和黑名单人员进行百分比对比，达到预设百分比相似度阈值后，对图片中人物进行框选涂鸦操作，形成新的YUV，把此YUV流数据发出到监控接入服务器。监控接入服务器把图片流数据进行转码形成视频流信息甩屏投放，这样形成了对黑名单人员在各卡口的实时画面，进而实现无论人员在任何一个卡口位置，画面都会随黑名单人物进行自动的转换，而无需定位。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
本发明实施例提供的视频流的处理方法，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本发明另一实施例提供一种视频流的处理装置，用于执行上述实施例提供的视频流的处理方法。
参照图4，示出了本发明的一种视频流的处理装置实施例的结构框图，该装置具体可以包括如下模块：获取模块401、确定模块402、处理模块403和接收模块404，其中：
获取模块401用于从至少两个监控设备上获取至少两个第一监控视频数据；
确定模块402用于根据至少两个所述第一监控视频数据，确定至少两个第一处理图片；
处理模块403用于将所述至少两个第一处理图片发送至视频分析服务器，以使所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
接收模块404用于接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备进行显示。
本发明实施例提供的视频流的处理装置，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本发明又一实施例对上述实施例提供的视频流的处理装置做进一步补充说明。
可选地，所述视频分析服务器包括分析模块，所述分析模块用于：
将至少两个第一处理图片输入到预先建立的物体识别模型中，得到所述第一处理图片中的目标物体信息；
根据所述目标物体信息和预先存储数据库中的预设物体信息，确定物体相似度，其中，所述预先存储数据库中的预设物体信息包括物体名称和对应的预设图像特征信息；
若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注；
将标注后的图片确定为所述第二处理图片。
可选地，所述分析模块用于：
若所述物体相似度大于等于预设相似度，确定所述第一处理图片中的与所述目标物体信息对应的目标物体；
在所述目标物体上增加预设的标注框。
可选地，所述确定模块用于：
采用H264解码算法对至少两个所述第一监控视频数据分别进行解码，得到至少两个图片序列；
根据所述图片序列，确定所述图片序列中的I帧图像；
将YUV格式的I帧图像确定为所述第一处理图片。
可选地，所述接收模块用于：
获取与所述第一处理图片对应的基础信息，所述基础信息包括监控设备信息、目标物体名称、拍摄时间和拍摄地点中的一种或多种；
将所述基础信息标注到与所述第一处理图片对应的第二处理图片中，得到第三处理图片；
根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频；
将所述第二监控视频数据发送至前端设备，并在所述前端设备的界面上进行显示。
可选地，所述接收模块用于：
根据所述基础信息中的拍摄时间，对至少两个所述第三处理图片进行H264编码，得到H264第二监控视频数据。
可选地，所述获取模块用于：
通过RTSP协议从至少两个监控设备上获取至少两个第一监控视频数据。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的视频流的处理装置，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本发明再一实施例提供一种终端设备，用于执行上述实施例提供的视频流的处理方法。
图5是本发明的一种终端设备的结构示意图，如图5所示，该终端设备包括：至少一个处理器501和存储器502；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现上述实施例提供的视频流的处理方法。
本实施例提供的终端设备，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本申请又一实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述任一实施例提供的视频流的处理方法。
根据本实施例的计算机可读存储介质，通过从至少两个监控设备上获取至少两个第一监控视频数据；根据至少两个第一监控视频数据，确定至少两个第一处理图片；将至少两个第一处理图片发送至视频分析服务器，视频分析服务器根据至少两个第一处理图片和预先建立的物体识别模型，确定第一处理图片中的目标物体，并对目标物体进行标注后，得到至少两个第二处理图片；接收视频分析服务器发送的至少两个第二处理图片，并根据至少两个第二处理图片确定第二监控视频数据，将第二监控视频发送至前端设备进行显示，这样，不再受监控设备的监控范围影响，实时对监控视频中的关键物体进行动态标注，进而对关键物体进行跟踪或查找。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、电子设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理电子设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理电子设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理电子设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理电子设备上，使得在计算机或其他可编程电子设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程电子设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者电子设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者电子设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者电子设备中还存在另外的相同要素。
以上对本发明所提供的一种视频流的处理方法和一种视频流的处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频流的处理方法，其特征在于，所述方法包括：
从至少两个监控设备上获取至少两个第一监控视频数据；
根据至少两个所述第一监控视频数据，确定至少两个第一处理图片；
将所述至少两个第一处理图片发送至视频分析服务器，以使所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示。
2.根据权利要求1所述的方法，其特征在于，所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片，包括：
所述视频分析服务器将至少两个第一处理图片输入到预先建立的物体识别模型中，得到所述第一处理图片中的目标物体信息；
根据所述目标物体信息和预先存储数据库中的预设物体信息，确定物体相似度，其中，所述预先存储数据库中的预设物体信息包括物体名称和对应的预设图像特征信息；
若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注；
将标注后的图片确定为所述第二处理图片。
3.根据权利要求2所述的方法，其特征在于，所述若所述物体相似度大于等于预设相似度，则对所述目标物体信息对应的目标物体进行标注，包括：
若所述物体相似度大于等于预设相似度，确定所述第一处理图片中的与所述目标物体信息对应的目标物体；
在所述目标物体上增加预设的标注框。
4.根据权利要求1所述的方法，其特征在于，所述根据至少两个所述第一监控视频数据，确定至少两个第一处理图片，包括：
采用H264解码算法对至少两个所述第一监控视频数据分别进行解码，得到至少两个图片序列；
根据所述图片序列，确定所述图片序列中的I帧图像；
将YUV格式的I帧图像确定为所述第一处理图片。
5.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示，包括：
获取与所述第一处理图片对应的基础信息，所述基础信息包括监控设备信息、目标物体名称、拍摄时间和拍摄地点中的一种或多种；
将所述基础信息标注到与所述第一处理图片对应的第二处理图片中，得到第三处理图片；
根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频；
将所述第二监控视频数据发送至前端设备，并在所述前端设备的界面上进行显示。
6.根据权利要求5所述的方法，其特征在于，所述根据所述基础信息，对所述第三处理图片进行转码，得到第二监控视频，包括：
根据所述基础信息中的拍摄时间，对至少两个所述第三处理图片进行H264编码，得到H264第二监控视频数据。
7.根据权利要求1所述的方法，其特征在于，所述从至少两个监控设备上获取至少两个第一监控视频数据，包括：
通过实时流传输协议从至少两个监控设备上获取至少两个第一监控视频数据。
8.一种视频流的处理装置，其特征在于，所述装置包括：
获取模块，用于从至少两个监控设备上获取至少两个第一监控视频数据；
确定模块，用于根据至少两个所述第一监控视频数据，确定至少两个第一处理图片；
处理模块，用于将所述至少两个第一处理图片发送至视频分析服务器，以使所述视频分析服务器根据所述至少两个第一处理图片和预先建立的物体识别模型，确定所述第一处理图片中的目标物体，并对所述目标物体进行标注后，得到至少两个第二处理图片；
接收模块，用于接收所述视频分析服务器发送的所述至少两个第二处理图片，并根据所述至少两个第二处理图片确定第二监控视频数据，将所述第二监控视频数据发送至前端设备将所述第二监控视频数据发送至前端设备进行显示。
9.一种终端设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，以实现权利要求1-7中任一项所述的视频流的处理方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任一项所述的视频流的处理方法。
CN202011211122.7A 2020-11-03 2020-11-03 一种视频流的处理方法、装置、终端设备和存储介质 Pending CN112532923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011211122.7A CN112532923A (zh) 2020-11-03 2020-11-03 一种视频流的处理方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011211122.7A CN112532923A (zh) 2020-11-03 2020-11-03 一种视频流的处理方法、装置、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN112532923A true CN112532923A (zh) 2021-03-19

Family

ID=74979528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011211122.7A Pending CN112532923A (zh) 2020-11-03 2020-11-03 一种视频流的处理方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN112532923A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988475A (zh) * 2021-04-28 2021-06-18 厦门亿联网络技术股份有限公司 容灾测试方法、装置、测试服务器及介质
CN114419502A (zh) * 2022-01-12 2022-04-29 深圳力维智联技术有限公司 一种数据分析方法、装置及存储介质
CN115550608A (zh) * 2022-09-19 2022-12-30 国网智能科技股份有限公司 多用户高并发ai视频实时融合显示控制方法及系统
CN115866298A (zh) * 2022-11-24 2023-03-28 苏州睿芯通量科技有限公司 一种视频处理方法、系统、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988475A (zh) * 2021-04-28 2021-06-18 厦门亿联网络技术股份有限公司 容灾测试方法、装置、测试服务器及介质
CN114419502A (zh) * 2022-01-12 2022-04-29 深圳力维智联技术有限公司 一种数据分析方法、装置及存储介质
CN115550608A (zh) * 2022-09-19 2022-12-30 国网智能科技股份有限公司 多用户高并发ai视频实时融合显示控制方法及系统
CN115866298A (zh) * 2022-11-24 2023-03-28 苏州睿芯通量科技有限公司 一种视频处理方法、系统、电子设备及存储介质
CN115866298B (zh) * 2022-11-24 2023-12-19 苏州睿芯通量科技有限公司 一种视频处理方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112532923A (zh) 一种视频流的处理方法、装置、终端设备和存储介质
KR100424762B1 (ko) 영상 데이터 제공 시스템 및 방법
US8023757B2 (en) Fingerprinting digital video for rights management in networks
CN108833938B (zh) 用于选取视频封面的方法和设备
CN106664443A (zh) 根据hevc拼贴视频流确定感兴趣区域
CN103004224A (zh) 在流会话中指示切换点的方法和装置
CN103108160B (zh) 监控视频数据获取方法、服务器和终端
US9877056B1 (en) Compressed media with still images selected from a video stream
CN112866786A (zh) 一种视频数据的处理方法、装置、终端设备和存储介质
CN111147860A (zh) 一种视频数据的解码方法及装置
CN112584093A (zh) 一种视频数据的处理方法、装置、终端设备和存储介质
Huang et al. A cloud computing based deep compression framework for UHD video delivery
CN107682672A (zh) 一种双路视频流实现方法、存储介质及多媒体终端
US20140321556A1 (en) Reducing amount of data in video encoding
CN117692650A (zh) 图像编码/解码方法、电子设备和计算机可读存储介质
US10225586B2 (en) Method for transmitting video surveillance images
Jung Comparison of video quality assessment methods
Huang et al. Semantic video adaptation using a preprocessing method for mobile environment
Theodoridis et al. Academic press library in signal processing: Image and Video Compression and Multimedia
US20240364889A1 (en) As-needed additional data transmission for inference for video coding for machines
US20240244229A1 (en) Systems and methods for predictive coding
US12003744B2 (en) Hierarchical surveilance video compression repository
Thang et al. An Evaluation of Screen Content Casting over Mobile and Wireless Networks
US20240357141A1 (en) Rate adaptation for video coding for machines
CN113596392B (zh) 一种水印处理方法、装置、终端设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination