CN113542875A - 视频处理方法、装置、电子设备以及存储介质 - Google Patents
视频处理方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN113542875A CN113542875A CN202110706197.0A CN202110706197A CN113542875A CN 113542875 A CN113542875 A CN 113542875A CN 202110706197 A CN202110706197 A CN 202110706197A CN 113542875 A CN113542875 A CN 113542875A
- Authority
- CN
- China
- Prior art keywords
- video
- processed
- decoded
- video frames
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000009877 rendering Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 78
- 238000004891 communication Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
- H04N21/42615—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific demultiplexing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种视频处理方法、装置、电子设备及存储介质，应用于电子设备的浏览器客户端，涉及物联网技术领域。方法包括：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得；在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。本申请实施例通过浏览器客户端获取服务器发送的多个待解码视频帧，在浏览器客户端对多个待解码视频帧进行解码后获得多个待处理视频帧，基于多个待处理视频帧获得待处理视频以及播放待处理视频，从而降低视频处理的复杂性，提高视频处理的效率。
Description
技术领域
本申请涉及物联网技术领域，更具体地，涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着物联网技术的发展，基于神经网络和机器学习的图像智能算法技术的应用已经呈现出了一个快速发展的态势，其中应用主要包括人脸识别和物体识别等方面，现阶段该技术在物联网领域使用已经非常广泛，但是大部分应用都是将算法部署在服务端专有硬件或边缘端算法卡上，应用通过应用程序编程接口(Application ProgrammingInterface，API)接口或设备协议获取识别结果在客户端上显示。这种集中式处置办法不仅需要较大的网络带宽和充裕的硬件能力，还会造成实时视频延迟。
发明内容
鉴于上述问题，本申请提出了一种视频处理方法、装置、电子设备以及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种视频处理方法，应用于电子设备的浏览器客户端，所述电子设备通过所述浏览器客户端与服务器通信连接，所述方法包括：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得；在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
第二方面，本申请实施例提供了一种视频处理装置，其特征在于，应用于电子设备的浏览器客户端，所述电子设备通过所述浏览器客户端与服务器通信连接，所述装置包括：视频接收模块：用于接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得；视频解码模块：用于在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；视频处理模块：用于对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的视频处理方法、装置、电子设备以及存储介质，当浏览器客户端获取得到服务器发送的多个待解码视频帧后，浏览器客户端对获得的多个待解码视频帧进行解码，从而获得多个待处理视频帧，最终对解码得到的多个待处理视频帧进行渲染，获得待处理视频，并在浏览器客户端对待处理视频进行播放，从而降低视频处理的复杂性，提高视频处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了适用于本申请实施例提供的视频处理方法的应用环境示意图；
图2示出了本申请一个实施例提供的视频处理方法的流程示意图；
图3示出了本申请另一个实施例提供的视频处理方法的流程示意图；
图4示出了本申请再一个实施例提供的视频处理方法的流程示意图；
图5示出了本申请又一个实施例提供的视频处理方法的流程示意图；
图6示出了本申请又另一个实施例提供的视频处理方法的流程示意图；
图7示出了本申请的又再一个实施例提供的视频处理方法的流程示意图；
图8本申请实施例提供的视频处理装置的模块框图。
图9示出了本申请实施例用于执行根据本申请实施例的视频处理方法的电子设备的框图；
图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着物联网技术的发展，基于神经网络和机器学习的图像智能算法其中包括人脸识别和物体识别已经呈现出了一个快速发展的态势，现阶段该技术在物联网领域使用已经非常广泛，但是大部分应用都是将算法部署在服务端专有硬件或边缘端算法卡上，服务端首先通过视频协议从摄像头、硬盘录像机或网络存储设备等媒介获取视频流，然后进行视频解码，分解为图片后调用算法对人脸、人体、姿势或物品等进行识别，完成解析后又需要将图片和结果渲染后编码到视频流，推送到浏览器客户端进行显示。服务端专有硬件部署方案需要提前规划每秒钟处理图像帧数，配置算法所需的图形卡、中央处理器(CentralProcessing Unit，CPU)、内存和带宽，适合于需求比较固定的场景，该解决方法属于集中式处理方法，这种集中式处置办法不仅需要较大的网络带宽和充裕的硬件能力，还会造成实时视频延迟。
因此，针对上述技术问题，发明人经过长期的研究发现并提出了一种视频处理方法、装置、电子设备以及存储介质，浏览器客户端获取服务器发送的多个待解码视频帧，在浏览器客户端对多个待解码视频帧进行解码后获得多个待处理视频帧，基于多个待处理视频帧获得待处理视频以及播放所述待处理视频，从而降低视频处理图像识别应用的成本和复杂性。其中，具体的视频处理处理方法在后续的实施例中进行详细的说明。
下面先对适用于本申请实施例提供的一种视频处理方法的应用场景进行介绍。
请参阅图1，图1示出了可用于本申请实施例提供的视频处理方法的应用场景示意图。电子设备100带有显示屏130以及摄像头140，电子设备100与服务器400进行交互，服务器400与外部摄像头500进行交互。在视频处理过程中，应用于电子设备100的浏览器客户端向服务器400发送视频浏览请求，服务器400从外部摄像头500中获得待解码视频流，并对上述待解码视频流进行分解获得多个待处理视频帧，之后服务器400向电子设备100发送待解码视频帧，当电子设备100的浏览器客户端接收服务器400发送的多个待解码视频帧，并对所述多个待解码视频帧进行解码，获得多个待处理视频帧，最终浏览器客户端对所述多个待处理视频帧进行渲染获得待处理视频，并在显示屏130上播放所述待处理视频。
请参阅图2，图2示出了本申请一个实施例提供的视频处理方法的流程示意图。所示视频处理方法应用于浏览器客户端，当浏览器客户端获的得服务器发送的多个待解码视频帧后，在浏览器客户端对多个待解码视频帧进行解码后获得多个待处理视频帧，基于多个待处理视频帧在所述浏览器客户端对所述多个待解码视频帧进行解码，从而获得多个待处理视频帧最终对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频，从而降低视频处理图像识别应用的成本和复杂性。在具体的实施例中，所述视频处理方法应用于如图8所示的视频处理装置以及配置有所述视频处理装置200的电子设备100(图9)。下面将以电子设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的电子设备可以为智能手机、平板电脑、穿戴式电子设备，机器人等设置有显示屏的电子设备的浏览器客户端，在此不做限定。下面将针对图2所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：
步骤S110：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得。
在本实施方式中，服务器可以与浏览器客户端通过websocket建立连接，从而获取浏览器客户端发出的视频浏览请求。
在一些实施方式中，服务器获取待解码视频帧，首先是通过媒介获取得到视频流，再对视频流进行分解得到待解码视频帧，其中，媒介包括但不限于含有摄像头的电子设备、硬盘录像机以及USB摄像头等。例如，当媒介为含有摄像头的电子设备时，服务器获取得到的视频流为电子设备通过其摄像头采集到的视频，其中，该视频可以包括录像视频与实时视频；当媒介为硬盘录像机时，服务器获得的视频流为硬盘录像机中所存储的视频；当媒介为USB摄像头时，服务器获得的视频流为USB摄像头中预先存储好的视频。
作为一种实施方式，服务器对待解码视频流进行分解获得待解码视频帧可以通过FFmpeg(Fast Forward Mpeg)的按帧截图功能，也可以通过其他代码的调用从而进行视频流的分解最终获取视频帧。
作为另一种实施方式，服务器可以预先设置并存储与标识信息对应的视频特征信息，然后将该视频特征信息与该标识信息相关联，该特征信息可以记录有对应的存储视频或实时视频，在服务器进行获取浏览器客户端所需要的视频的过程中，可以基于视频特征信息与该标识信息的关联关系从服务器的本地读取与该特征信息相关联的存储视频或实时视频，从而获取该标识信息对应的最终的存储视频或实时视频。其中，标识信息包括但不限于视频的内部存储地址，以及视频的外部存储地址等。其中，内部存储地址为视频在服务器的存储路径，外部存储地址为视频在USB等移动设备端的存储路径。
作为再一种实施方式，服务器可以预先设置并存储标识信息与存储视频或实时视频之间的第一映射关系表，可以理解的是，该第一映射关系表中添加有多个标识信息与多个存储视频或实时视频，其中，上述标识信息与上述存储视频或实时视频存在一一对应关系。因此，在获取到服务器接收的浏览器客户端发出的带有标识信息的视频浏览请求后，可以从第一映射关系表中查找该标识信息对应的存储视频或实时视频，从而获取该标识信息的对应的最终存储视频或实时视频。
步骤S120：在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧。
在一些实施方式中，电子设备可以预先设置并存储有多个开源机器学习算法框架，其中，开源机器学习算法框架包括但不限于TensorFlow、PyTorch、keras、YOLO和Paddle等。
在另一些实施方式中，电子设备基于上述算法学习框架进行训练和迁移学习，输出算法识别模型并将其转换为浏览器客户端可加载的算法模型。其中，浏览器端客户端可加载的算法模型的获得方式包括但不限于直接调用开源训练模型，自定义数据集进行迁移学习建立算法模型，以及自建算法和数据集进行训练获得模型等方式。例如，当算法模型用于人脸识别的时候，在算法服务器上基于算法模型框架针对人脸图片以及人脸标签数据集进行训练和迁移学习，输出人脸识别模型并将其转化为浏览器端可加载的人脸识别模型；当算法模型用于物体识别的时候，在算法服务器上基于算法模型框架针对物体图片以及物体标签数据集进行训练和迁移学习，输出物体识别模型将其转化为浏览器端可加载的物体识别模型；当算法模型用于轨迹识别的时候，在算法服务器上基于算法模型框架针对物体图片以及物体标签数据集进行训练和迁移学习，输出物体识别模型将其转化为浏览器端可加载的轨迹识别模型。
在再一些实施方式中，浏览器客户端会根据业务需求的需要从调用预先存储在电子设备中的算法模型，基于调用的算法模型对视频帧进行处理。其中，业务需求包括但不限于人脸识别，姿态识别，轨迹识别以及物体识别等。
在一些情况下，当业务需求为人脸识别时，则调用预先存储在电子设备的人脸识别算法模型对视频帧进行处理；当业务需求为姿态识别时，则调用预先存储在电子设备的姿态识别算法模型对视频帧进行处理；当业务需求为轨迹识别时，则调用预先存储在电子设备的轨迹识别算法模型对视频帧进行处理；当业务需求为物体识别时，则调用预先存储在电子设备的物体识别算法模型对视频帧进行处理。
在一些实施方式中，电子设备端预先设置并存储有多个业务需求，该多个业务需求用于作为当前业务需求的匹配依据，因此，电子设备在获得当前浏览器客户端确定的业务需求后，将当前业务需求与多个业务需求进行匹配，从多个业务需求中确定当前业务需求对应的目标业务需求，再根据电子设备预先设置并存储的业务需求与算法模型的映射关系，获得与所述当前业务需求所对应的目标业务需求存在映射关系的算法模型。
在本实施例中，电子设备在浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧，可以实时对视频帧进行处理，不会造成实时视频延迟，以提升电子设备的工作效率。
步骤S130：对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
在本实施例中，应用于电子设备的浏览器客户端对于待解码视频帧进行解码后获得待处理视频帧，基于待处理视频帧进一步地对待处理视频帧进行渲染获得待处理视频，并在浏览器客户端对所述待处理视频进行播放。可以理解的是，上述操作均在浏览器客户端进行。
本申请一个实施例提供的视频处理方法，在浏览器客户端向服务器端发送视频浏览请求后，服务器端响应上述视频浏览请求，浏览器客户端接收到经过上述服务器对待解码视频通过分解获得的待解码视频帧，浏览器客户端对待解码视频帧解码得到待处理视频帧，基于上述待处理视频帧，浏览器客户端进一步对其进行渲染处理获得待处理视频，最终播放上述待处理视频在电子设备的显示屏上，基于浏览器客户端对于视频帧进行实时的处理，减少了对网络带宽的占用，提高了实施效率，降低了视频处理的成本。
请参阅图3，图3示出了本申请另一个实施例提供的视频处理方法的流程示意图。该方法应用于上述电子设备的浏览器客户端，下面将针对图3所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：
步骤S210：向所述服务器发送视频浏览请求，其中，所述视频浏览请求携带有标识信息。
在一些实施方式中，应用于电子设备的浏览器客户端可以向服务器发送视频浏览请求，其中，获得的视频的格式可以是动态图像专家组(Moving Pictures Experts Group，MPEG)格式，可以是DAT格式，也可以是MP4格式，在此不做限制。
在另一些实施方式中，浏览器客户端向服务器发送视频浏览请求，浏览器客户端对于待解码视频的获取可以在电子设备的前台进行运行，也可以在电子设备的后台进行运行。浏览器客户端发送的该视频浏览请求携带有标识信息，从而确定标识信息所对应的具体的浏览视频。
在再一些实施方式中，标识信息包括但不限于视频的内部存储地址，视频的外部存储地址，以及获得视频的摄像头的IP地址等。例如，当标识信息为视频的内部存储地址时，则服务器获取的对应的视频为该内部存储地址对应的视频；当标识信息为视频的外部存储地址时，则服务器获取的对应的视频为该外部存储地址对应的视频；当标识信息为摄像头的IP地址时，则服务器获取的对应的视频为该IP地址对应的摄像头采集的视频。
步骤S220：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对目标摄像头采集的待解码视频流进行分解获得，所述目标摄像头由所述服务器基于所述标识信息从多个摄像头中确定。
在本实施方式中，标识信息为对应摄像头的IP地址，其中，摄像头存在多个，本实施方式基于IP地址确定对应的目标摄像头，从而获取该目标摄像头所采集的视频。
作为一种实施方式，服务器可以预先设置并存储与IP地址对应的摄像头，然后将该IP地址与该摄像头相关联，其中，IP地址与摄像头存在一一对应关系，该摄像头包括记录对应摄像头所采集的实时视频，在服务器收到浏览器客户端发出的标识信息为IP地址的视频浏览请求后，可以基于该IP地址与摄像头的对应关系从服务器端读取与该IP地址对应的摄像头所采集的视频。
步骤S230：在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧。
步骤S240：对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
其中步骤S230-步骤S240的具体描述请参阅步骤S120-步骤S130，在此不再赘述。
本申请另一个实施例提供的视频处理方法，浏览器客户端向服务器发送携带有标识信息的视频浏览请求，所述服务器基于该标识信息确定对应的目标摄像头采集的视频为待解码视频流，基于待解码视频流进行分解获得带解码视频帧，所述服务器最终发送待解码视频帧到浏览器客户端，所述浏览器客户端对待解码视频帧进行解码获得待处理视频帧，基于待处理视频帧进行渲染得到待处理视频，最终对待处理视频进行播放。根据标识信息确定目标摄像头，获取目标摄像头所对应的视频，提高了视频获取的速度，提高了视频获取的效率，降低了时间成本。
请参阅图4，图4示出了本申请再一个实施例提供的视频处理方法的流程示意图。该方法应用于上述电子设备的浏览器客户端，下面将针对图4所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：
步骤S310：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得。
步骤S320：在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧。
其中步骤S310-步骤S320的具体描述请参阅步骤S110-步骤S120，在此不再赘述。
步骤S330：获取第一待处理事项。
在一些实施方式中，浏览器客户端根据待处理对象的操作获取第一待处理事项，其中，待处理对象包括但不限于人，人工智能(Artificial Intelligence，AI)以及能下发命令的计算机程序等。
在另一些实施方式中，第一待处理事项包括但不限于人脸识别事项，姿态识别事项，姿态识别事项以及物体识别事项等。例如，当待处理对象的操作表明进行人脸识别时，则第一待处理事项为人脸识别事项；当待处理对象的操作表明进行姿态识别时，则第一待处理事项为姿态识别事项；当待处理对象的操作表明进行物体识别时，则第一待处理事项为物体识别事项；当待处理对象的操作表明进行轨迹识别时，则第一待处理事项为轨迹识别事项。
步骤S340：从多个算法模型中获取与所述第一待处理事项对应的算法模型，作为目标算法模型。
作为一种实施方式，浏览器客户端会根据第一待处理事项从本地调用第一待处理事项所对应的算法模型，可以理解的是，算法模型存在多个且与第一待处理事项存在一一对应关系。例如，当第一待处理事项为物体识别时，则调用对应的物体识别算法模型；当第一待处理事项为人脸识别时，则调用对应的人脸识别算法模型；当第一待处理事项为轨迹识别时，则调用对应的轨迹识别算法模型；当第一待处理事项为姿态识别时，则调用对应的姿态识别算法模型。
在一些实施方式中，电子设备端预先设置并存储有多个第一待处理事项，该多个第一待处理事项用于作为当前第一待处理事项的匹配依据，因此，电子设备在获得当前浏览器客户端的第一待处理事项后，将当前第一待处理事项与多个第一待处理事项进行匹配，从多个第一待处理事项中确定当前第一待处理事项对应的第一待处理事项，再根据电子设备预先设置并存储的第一待处理事项与算法模型的映射关系表，获得与所述当前第一待处理事项所对应的第一待处理事项存在映射关系的算法模型。
步骤S350：基于所述目标算法模型对所述多个待处理视频帧进行处理。
在本实施方式中，浏览器客户端基于上述已经确定的第一待处理事项从而确定应从电子设备本地调用的算法模型，并基于该算法模型对获得的多个待处理视频帧进行进一步的处理。例如，当算法模型为人脸识别算法模型时，对多个待处理视频帧进行人脸识别处理；当算法模型为物体识别算法模型时，对多个待处理视频帧进行物体识别。
步骤S360：对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
其中步骤S360的具体描述请参阅步骤S130，在此不再赘述。
本申请再一个实施例提供的视频处理方法，浏览器客户端基于获取的第一待处理事项在电子设备本地调用与所述第一待处理事项对应的算法模型，基于确定的算法模型对多个待处理视频帧进行处理，最终渲染所述多个待处理视频帧从而获得待处理视频，并播放所述待处理视频，在本实施例中，基于不同第一待处理事项调用不同的算法模型，提高了算法模型与第一待处理事项的匹配程度，节约了对视频帧处理的时间，提高了视频处理的效率。
请参阅图5，图5示出了本申请又一个实施例提供的视频处理方法的流程示意图。该方法应用于上述电子设备的浏览器客户端，下面将针对图5所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：
步骤S410：获取第一待处理事项。
步骤S420：从多个算法模型中获取与所述第一待处理事项对应的算法模型，作为目标算法模型。
其中步骤S410-步骤S420的具体描述请参阅步骤S330-步骤S340，在此不再赘述。
步骤S430：获取所述多个待处理视频帧中相邻两个待处理视频帧的像素点差值。
在本实施方式中，浏览器客户端获取相邻两个待处理视频帧，并分别对待处理视频帧进行像素点值的计算，其中，像素点值的计算可以通过彩色图像计算，可以通过灰度图像计算，也可以通过二值图像进行计算，在此不再做限定。例如，当视频帧为彩色图像时，通过彩色图像计算像素点值；当视频帧为灰度图像时，通过灰度图像计算像素点值；当视频帧为二值图像时，通过二值图像计算像素点值。
在一些情况下，基于分别计算得到相邻两个视频帧的像素点值计算得到相邻两视频帧的像素点差值。
步骤S440：基于所述像素点差值确定所述目标算法模型的调用频率，其中，所述像素点差值与所述调用频率呈正相关关系。
在本实施方式中，通过上述步骤S430的操作得到相邻两个待处理视频帧的像素点差值，基于像素点差值的大小进行目标算法模型的调用频率的判断。例如，当像素点差值小于电子设备端预先设置的像素点差值阈值范围最小值时，降低目标算法模型的调用频率；当像素点差值大于电子设备端预先设置的像素点差值阈值范围最大值时，提高目标算法模型的调用频率。
步骤S450：基于所述目标算法模型对所述多个待处理视频帧进行处理。
其中步骤S450的具体描述请参阅步骤S350，在此不再赘述。
本申请又一个实施例提供的视频处理方法，浏览器客户端对相邻两视频帧分别进行像素点值的计算，从而得到相邻两视频帧像素点差值，基于像素点差值的大小对目标算法模型的调用频率进行调节，最终基于目标算法模型对所述多个待处理视频帧进行处理。上述基于像素点差值对算法模型的调用频率进行调节的处理方法提高了视频处理的精确性。
请参阅图6，图6示出了本申请又另一个实施例提供的视频处理方法的流程示意图。该方法应用于上述电子设备的浏览器客户端，下面将针对图6所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：
步骤S510：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得。
步骤S520：在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧。
在本实施例中，多个待解码视频帧包括第一目标待解码视频帧，其中，目标待解码视频帧包括多个对象，浏览器客户端对上述多个待解码视频帧进行解码，获得多个待处理视频帧。
其中步骤S510-步骤S520的具体描述请参阅步骤S110-步骤S120，在此不再赘述。
步骤S530：获取第二待处理事项。
在一些实施方式中，第二待处理事项包括但不限于人脸识别事项，姿态识别事项，姿态识别事项以及物体识别事项等。例如，当待处理对象的操作表明进行人脸识别时，则第二待处理事项为人脸识别事项；当待处理对象的操作表明进行姿态识别时，则第二待处理事项为姿态识别事项；当待处理对象的操作表明进行物体识别时，则第二待处理事项为物体识别事项；当待处理对象的操作表明进行轨迹识别时，则第二待处理事项为轨迹识别事项。
步骤S540：从所述多个对象中获取与所述第二待处理事项对应的对象，作为目标对象。
在一些实施方式中，当确定第二待处理事项为人脸识别事项时，则获取所述人脸识别事项所指示的人脸，作为目标对象。
在另一些实施方式中，当确定第二待处理事项为物体识别事项时，则获取所述物体识别事项所指示的物体，作为目标对象。其中，物体包括但不限于电视机，冰箱，桌子，椅子以及板凳等。例如，当物体识别事项所指示的物体为电视机时，则确定目标对象为视频帧里的电视机；当物体识别事项所指示的物体为冰箱时，则确定目标对象为视频帧里的冰箱；当物体识别事项所指示的物体为凳子时，则确定目标对象为视频帧里的凳子；当物体识别事项所指示的物体为椅子时，则确定目标对象为视频帧里的椅子；
步骤S550：对所述目标待解码视频帧中的所述目标对象进行解码，获得目标待处理视频帧。
在一些实施方式中，确定目标对象为人脸时，对目标待解码视频帧中含有人脸的区域进行解码，从而获得目标待处理视频帧。
在另一些实施方式中，确定目标对象为物体时，对目标待解码视频帧中含有物体的区域进行解码，从而获得目标待处理视频帧。其中，物体包括但不限于电视机，冰箱，桌子，椅子以及板凳等，在此不做限制。
步骤S560：对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
其中步骤S560的具体描述请参阅步骤S130，在此不再赘述。
本申请又另一个实施例提供的视频处理方法，浏览器客户端基于获取的第二待处理事项确定第二待处理事项对应的目标对象，基于确定的目标对象对多个待处理视频帧进行解码处理，并对多个待处理视频帧进行渲染获得待处理视频，最终播放所述待处理视频，基于目标对象对多个视频帧进行处理，提高了视频处理的效率，节约了处理视频帧的时间，减小了需要的网络带宽。
请参阅图7，图7示出了本申请又再一个实施例提供的视频处理方法的流程示意图。该方法应用于上述电子设备的浏览器客户端，下面将针对图7所示的流程进行详细的阐述，所述视频处理方法具体可以包括以下步骤：
步骤S610：接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得。
步骤S620：在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧。
步骤S630：对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
其中步骤S610-步骤S630的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S640：当所述多个待处理视频帧中包括所述电子设备本地未存储的对象时，发送报警提示。
在一些实施方式中，对象包括但不限于人脸以及物体等，在此不做限制。例如，在电子设备中预先存储对象，确定该对象为默认安全对象，当浏览器客户端在待处理视频帧中识别到的对象不属于电子设备预先存储的默认安全对象时，浏览器客户端即通过短信和微信等方式发送消息进行实时报警，如此可以方便用户更灵活地对视频内容进行监控；当浏览器客户端在待处理视频帧中识别到的对象属于电子设备预先存储的默认安全对象时，浏览器客户端正常播放待处理视频。
本申请又再一个实施例提供的视频处理方法，浏览器客户端对待处理视频帧中包括的对象进行识别，基于识别结果与预先存储的在电子设备本地的对象进行比较，确定最终是否发送报警提示。本实施例通过确定对象是否为预先储存在电子设备本地的对象从而判断是否进发报警提示，体现了浏览器客户端视频处理的及时性以及高效性。
请参阅图8，图8示出了本申请实施例提供的视频处理装置100的模块框图。该视频处理装置应用于上述电子设备的浏览器客户端，下面将针对图8所示的框图进行阐述，所述视频处理装置200包括：视频接收模块、视频解码模块以及视频处理模块，其中：
视频接收模块210：用于接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得；
视频解码模块220：用于在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；
视频处理模块230：用于对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
可选的，视频接收模块210包括，视频请求子模块和视频流解码子模块。
视频请求子模块，用于向所述服务器发送视频浏览请求，其中，所述视频浏览请求携带有标识信息。
视频流解码子模块，用于接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对目标摄像头采集的待解码视频流进行分解获得，所述目标摄像头由所述服务器基于所述标识信息从多个摄像头中确定。
可选的，视频处理模块230包括，第一待处理事项子模块、目标算法模型获取子模块、像素点差值获取子模块、算法模型调用子模块、第二待处理事项子模块、目标对象获取子模块以及报警提示子模块。
第一待处理事项子模块，用于获取第一待处理事项。
目标算法模型获取子模块，用于从多个算法模型中获取与所述第一待处理事项对应的算法模型，作为目标算法模型。
像素点差值获取子模块，用于获取所述多个待处理视频帧中相邻两个待处理视频帧的像素点差值。
算法模型调用子模块，用于基于所述像素点差值确定所述目标算法模型的调用频率，其中，所述像素点差值与所述调用频率呈正相关关系。
第二待处理事项子模块，用于获取第二待处理事项。
目标对象获取子模块，用于从所述多个对象中获取与所述第二待处理事项对应的对象，作为目标对象
报警提示子模块，用于当所述多个待处理视频帧中包括所述电子设备本地未存储的对象时，发送报警提示。
请参阅图9，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、穿戴式智能设备、机器人等有摄像头的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、显示屏130以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个移动终端100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行移动终端100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
显示屏130用于显示图像，可以为实时图像，也可以是经过处理后的图像，在此不作限定。
摄像头140用于预先采集图像或视频，可以为人脸图像或视频，也可以为物体图像或视频，在此不作限定。
请参阅图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质300包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的视频处理方法、装置、电子设备以及存储介质，当浏览器客户端获取服务器发送的多个待解码视频帧，在浏览器客户端对多个待解码视频帧进行解码后获得多个待处理视频帧，基于多个待处理视频帧在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频，从而降低视频处理图像识别应用的成本和复杂性。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案。
Claims (10)
1.一种视频处理方法，其特征在于，应用于电子设备的浏览器客户端，所述电子设备通过所述浏览器客户端与服务器通信连接，所述方法包括：
接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得；
在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；
对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
2.根据权利要求1所述的方法，其特征在于，所述接收所述服务器发送的多个待解码视频帧，包括：
向所述服务器发送视频浏览请求，其中，所述视频浏览请求携带有标识信息；
接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对目标摄像头采集的待解码视频流进行分解获得，所述目标摄像头由所述服务器基于所述标识信息从多个摄像头中确定。
3.根据权利要求1所述的方法，其特征在于，在所述浏览器客户端对所述多个待处理视频帧进行解码，获得多个待处理视频帧之后，还包括：
获取第一待处理事项；
从多个算法模型中获取与所述第一待处理事项对应的算法模型，作为目标算法模型；
基于所述目标算法模型对所述多个待处理视频帧进行处理。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述多个待处理视频帧中相邻两个待处理视频帧的像素点差值；
基于所述像素点差值确定所述目标算法模型的调用频率，其中，所述像素点差值与所述调用频率呈正相关关系。
5.根据权利要求1所述的方法，其特征在于，所述多个待解码视频帧包括第一目标待解码视频帧，所述目标待解码视频帧包括多个对象，所述在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧，包括：
获取第二待处理事项；
从所述多个对象中获取与所述第二待处理事项对应的对象，作为目标对象；
对所述目标待解码视频帧中的所述目标对象进行解码，获得目标待处理视频帧。
6.根据权利要求5所述的方法，其特征在于，所述从所述多个对象中获取与所述第二待处理事项对应的对象，作为目标对象，包括：
当所述第二待处理事项为物体识别事项时，获取所述物体识别事项所指示的物体，作为所述目标对象；或者
当所述第二待处理事项为人脸识别事项时，获取人脸识别事项所指示的人脸，作为所述目标对象。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
当所述多个待处理视频帧中包括所述电子设备本地未存储的对象时，发送报警提示。
8.一种视频处理装置，其特征在于，应用于电子设备的浏览器客户端，所述电子设备通过所述浏览器客户端与服务器通信连接，所述装置包括：
视频接收模块：用于接收所述服务器发送的多个待解码视频帧，其中，所述多个待解码视频帧由所述服务器对待解码视频流进行分解获得；
视频解码模块：用于在所述浏览器客户端对所述多个待解码视频帧进行解码，获得多个待处理视频帧；
视频处理模块：用于对所述多个待处理视频帧进行渲染获得待处理视频，并播放所述待处理视频。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令有所述处理器执行时所述处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110706197.0A CN113542875B (zh) | 2021-06-24 | 2021-06-24 | 视频处理方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110706197.0A CN113542875B (zh) | 2021-06-24 | 2021-06-24 | 视频处理方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113542875A true CN113542875A (zh) | 2021-10-22 |
| CN113542875B CN113542875B (zh) | 2024-05-14 |
Family
ID=78096667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110706197.0A Active CN113542875B (zh) | 2021-06-24 | 2021-06-24 | 视频处理方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113542875B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449295A (zh) * | 2022-01-30 | 2022-05-06 | 京东方科技集团股份有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114640883A (zh) * | 2022-02-25 | 2022-06-17 | 北京三快在线科技有限公司 | 动效处理方法、客户端、服务器、电子设备及存储介质 |
| CN114741198A (zh) * | 2022-04-19 | 2022-07-12 | 中国电信股份有限公司 | 视频流处理方法及装置、电子设备、计算机可读介质 |
| CN114760486A (zh) * | 2022-03-16 | 2022-07-15 | 深圳市宏电技术股份有限公司 | 直播方法、装置、设备及存储介质 |
| CN115278301A (zh) * | 2022-07-27 | 2022-11-01 | 超聚变数字技术有限公司 | 视频处理方法、系统及设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150347164A1 (en) * | 2012-12-25 | 2015-12-03 | Beijing Qihoo Technology Company Limited | Method and Device for Playing Plug-in in Browser |
| CN112770188A (zh) * | 2019-11-01 | 2021-05-07 | 杭州海康威视系统技术有限公司 | 一种视频播放方法及装置 |
-
2021
- 2021-06-24 CN CN202110706197.0A patent/CN113542875B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150347164A1 (en) * | 2012-12-25 | 2015-12-03 | Beijing Qihoo Technology Company Limited | Method and Device for Playing Plug-in in Browser |
| CN112770188A (zh) * | 2019-11-01 | 2021-05-07 | 杭州海康威视系统技术有限公司 | 一种视频播放方法及装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449295A (zh) * | 2022-01-30 | 2022-05-06 | 京东方科技集团股份有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114640883A (zh) * | 2022-02-25 | 2022-06-17 | 北京三快在线科技有限公司 | 动效处理方法、客户端、服务器、电子设备及存储介质 |
| CN114760486A (zh) * | 2022-03-16 | 2022-07-15 | 深圳市宏电技术股份有限公司 | 直播方法、装置、设备及存储介质 |
| CN114741198A (zh) * | 2022-04-19 | 2022-07-12 | 中国电信股份有限公司 | 视频流处理方法及装置、电子设备、计算机可读介质 |
| CN114741198B (zh) * | 2022-04-19 | 2023-12-15 | 中国电信股份有限公司 | 视频流处理方法及装置、电子设备、计算机可读介质 |
| CN115278301A (zh) * | 2022-07-27 | 2022-11-01 | 超聚变数字技术有限公司 | 视频处理方法、系统及设备 |
| CN115278301B (zh) * | 2022-07-27 | 2023-12-22 | 河南昆仑技术有限公司 | 视频处理方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113542875B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113542875B (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| US11706484B2 (en) | Video processing method, electronic device and computer-readable medium | |
| CN110430441B (zh) | 一种云手机视频采集方法、系统、装置及存储介质 | |
| US9183429B2 (en) | Method and apparatus for facial recognition | |
| US12015770B2 (en) | Method for encoding video data, device, and storage medium | |
| WO2015144084A1 (en) | Video synchronous playback method, apparatus, and system | |
| CN111405301B (zh) | 终端的录屏交互方法、装置、计算机设备及存储介质 | |
| CN112423075B (zh) | 音视频时间戳的处理方法、装置、电子设备及存储介质 | |
| CN109286772B (zh) | 音效调整方法、装置、电子设备以及存储介质 | |
| CN109413152B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN113014857A (zh) | 视频会议显示的控制方法、装置、电子设备及存储介质 | |
| US11562772B2 (en) | Video processing method, electronic device, and storage medium | |
| CN111259907A (zh) | 内容识别方法、装置以及电子设备 | |
| CN114938408B (zh) | 一种云手机的数据传输方法、系统、设备及介质 | |
| CN110418209B (zh) | 一种应用于视频传输的信息处理方法及终端设备 | |
| CN114051067B (zh) | 图像获取方法、装置、设备及存储介质 | |
| CN114051120A (zh) | 视频告警方法、装置、存储介质及电子设备 | |
| CN113556500B (zh) | 一种视频叠加方法、装置及系统 | |
| CN113286160A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN103974087B (zh) | 视频图像文件压缩系统、客户端及方法 | |
| CN112269886B (zh) | 共享图像采集方法、窗口共享方法和共享图像采集装置 | |
| CN114979541A (zh) | 一种视频显示系统 | |
| CN110798700B (zh) | 视频处理方法、视频处理装置、存储介质与电子设备 | |
| CN112702625A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110704656A (zh) | 图片处理方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |