CN115866298B - 一种视频处理方法、系统、电子设备及存储介质 - Google Patents
一种视频处理方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115866298B CN115866298B CN202211486435.2A CN202211486435A CN115866298B CN 115866298 B CN115866298 B CN 115866298B CN 202211486435 A CN202211486435 A CN 202211486435A CN 115866298 B CN115866298 B CN 115866298B
- Authority
- CN
- China
- Prior art keywords
- video
- picture data
- format picture
- format
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 230000001133 acceleration Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 241000234295 Musa Species 0.000 description 3
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及视频处理技术领域,尤其涉及一种视频处理方法、系统、电子设备及存储介质,该方法应用于加速卡,该视频处理方法包括:接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。通过本申请的方法,能够对视频进行处理,提高了处理视频的效率。
Description
技术领域
本发明涉及视频处理技术领域,具体而言,涉及一种视频处理方法、系统、电子设备及存储介质。
背景技术
为了应对日益增加的视频流量,如安防场景中大量摄像头采集的视频、网络电视和直播中各个站点发出的视频、视频存储设备中备份的大量视频文件等,这些视频都是非常大的。现有的视频处理方法在处理视频时处理效率较低。
发明内容
有鉴于此,本申请的目的在于提供一种视频处理方法、系统、电子设备及存储介质,能够对视频进行处理,提高了处理视频的效率。
第一方面,本申请实施例提供了一种视频处理方法,该方法应用于加速卡,该视频处理方法包括:
接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;
对视频段进行视频解码得到第一格式图片数据;
通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;
将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;
将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。
在一种可能的实施方式中,在接收负载均衡模块发送的至少一个视频段之后,或在将第二格式图片数据以及对应的视频编号发送到客户端之后,该视频处理方法还包括:
将加速卡的剩余可处理量发送给负载均衡模块。
在一种可能的实施方式中,加速卡中包括解码通道、图像识别模块、编码通道;
解码通道对视频段进行视频解码得到第一格式图片数据;
图像识别模块通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;
编码通道将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
在一种可能的实施方式中,将加速卡的剩余可处理量发送给负载均衡模块,包括:
将解码通道的剩余可处理量、图像识别模块的剩余可处理量以及编码通道的剩余可处理量发送给负载均衡模块。
在一种可能的实施方式中,通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体,包括:
对第一格式图片数据进行图像识别,得到第一格式图片数据中目标物体的区域坐标;
在第一格式图片数据中区域坐标对应位置进行标注。
在一种可能的实施方式中,对视频段进行视频解码得到第一格式图片数据,包括:
对视频段进行视频解码得到YUV格式的图片数据。
在一种可能的实施方式中,将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据,包括:
将标注有目标物体的第一格式图片数据中进行图片编码得到JPG格式的图片。
第二方面,本申请实施例还提供了一种视频处理系统,该视频处理系统包括:负载均衡模块、加速卡、客户端;
负载均衡模块,用于对用户上传的视频流进行分段,得到至少一个视频段;并将视频段发送给对应的加速卡;
加速卡,用于接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;并将第二格式图片数据以及对应的视频编号发送到客户端;
客户端,用于根据视频编号对第二格式图片数据进行处理并显示。
在一种可能的实施方式中,加速卡,还用于:
将加速卡的剩余可处理量发送给负载均衡模块。
在一种可能的实施方式中,加速卡中包括解码通道、图像识别模块、编码通道;
解码通道,用于对视频段进行视频解码得到第一格式图片数据;
图像识别模块,用于通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;
编码通道,用于将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
在一种可能的实施方式中,加速卡,具体用于将解码通道的剩余可处理量、图像识别模块的剩余可处理量以及编码通道的剩余可处理量发送给负载均衡模块。
在一种可能的实施方式中,加速卡,具体用于对第一格式图片数据进行图像识别,得到第一格式图片数据中目标物体的区域坐标;在第一格式图片数据中区域坐标对应位置进行标注。
在一种可能的实施方式中,加速卡,具体用于对视频段进行视频解码得到YUV格式的图片数据。
在一种可能的实施方式中,加速卡,具体用于将标注有目标物体的第一格式图片数据中进行图片编码得到JPG格式的图片。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行如第一方面任一项视频处理方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行如第一方面任一项视频处理方法的步骤。
本申请实施例提供了一种视频处理方法、系统、电子设备及存储介质,该方法应用于加速卡,该视频处理方法包括:接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。本申请通过加速卡对视频段依次进行视频解码、图像识别、图片编码,能够对视频进行处理,提高了处理视频的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种视频处理方法的流程图;
图2示出了本申请实施例提供的另一种视频处理方法的流程图;
图3示出了本申请实施例提供的一种视频处理系统的结构示意图;
图4示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“视频处理技术领域”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕“视频处理技术领域”进行描述,但是应该理解,这仅是一个示例性实施例。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
下面对本申请实施例提供的一种视频处理方法进行详细说明。
参照图1所示,为本申请实施例提供的一种视频处理方法的流程示意图,该方法应用于加速卡,该视频处理方法的具体执行过程为:
S101、接收负载均衡模块发送的至少一个视频段。
S102、对视频段进行视频解码得到第一格式图片数据。
S103、通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体。
S104、将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
S105、将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。
本申请实施例提供了一种视频处理方法,该方法应用于加速卡,该视频处理方法包括:接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。本申请通过加速卡对视频段依次进行视频解码、图像识别、图片编码,能够对视频进行处理,提高了处理视频的效率。
下面对本申请实施例示例性的各步骤进行说明:
S101、接收负载均衡模块发送的至少一个视频段。
在本申请实施方式中,本方法包括多个加速卡,负载均衡模块在接收到用户发送的视频流之后,将该视频流进行分段,得到至少一个视频段。该负载均衡模块根据负载均衡算法将每一个视频段发送到对应的加速卡中。不同的视频段可以发送到一个加速卡中。该方法中包括多个分类器,每一个分类器均接收负载均衡模块发送的至少一个视频段。每一个加速卡中包括至少一个解码通道、至少一个图像识别模块、至少一个编码通道;解码通道对应一个编码通道。
此外,负载均衡模块在将视频流进行分段之后,还会按照视频流的播放顺序对视频段进行编号,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号。
这里,视频编号包括该视频段在用户上传视频流中所在的播放序号,还包括该视频段对应的视频流的视频段总数量。视频段总数量指的是该视频流被分成的总段数,如果该视频流被分成了三段,则对应的视频流的视频段总数量为3。
示例,负载均衡模块将视频流分成3个视频段,按照播放顺序确定3个视频段中的第一个视频段、第二个视频段、第三个视频段,则第一个视频段的播放序号即为1,则第二个视频段的播放序号即为2,则第三个视频段的播放序号即为3,且每一个视频段的视频段总数量为3。
可选地,负载均衡模块还可以接收用户发送的解码通道创建请求;负载均衡通道会确定每个加速卡的剩余可创建解码通道数量,在剩余可创建解码通道数量大于零的加速卡中,根据负载均衡算法确定目标加速卡;负载均衡模块向目标加速卡发送通道创建信号;加速卡在接收到通道创建信号后,创建解码通道和编码通道。
可选地,负载均衡模块还可以接收用户发送的加速卡标识、解码通道标识;负载均衡模块将视频流发送到加速卡标识对应的加速卡中,与所述解码通道标识对应的解码通道中。
S102、对视频段进行视频解码得到第一格式图片数据。
在本申请实施方式中,视频流为了缩小视频文件的大小,采用了压缩技术,所以要经过视频解码对该视频段进行视频解码。
具体地,解码通道对视频段进行视频解码得到第一格式图片数据。对视频段进行视频解码得到YUV格式的图片数据。
S103、通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体。
具体地,图像识别模块通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;
在本申请实施方式中,目标物体可以由用户指定,将该第一格式图片数据进行图像识别后,将第一格式图片数据中的目标物体,在第一格式图片数据中进行框选,得到已框选目标物体的第一格式图片数据。
进一步地,对第一格式图片数据进行图像识别,得到第一格式图片数据中目标物体的区域坐标;在第一格式图片数据中区域坐标对应位置进行标注。
在本申请实施方式中,区域坐标指的是目标物体在第一格式图片数据中的位置坐标,该区域坐标不是指某个点,而是目标物体的所有点的坐标。示例,该目标物体是香蕉,那么就将香蕉所在区域的所有点的坐标作为香蕉的区域坐标。然后,在第一格式图片数据中用标注框,将区域坐标的所有点坐标对应的位置区域全部框选出来,得到标注有目标物体的第一格式图片数据。
S104、将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
这里,编码通道将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
在本申请实施方式中,图片编码是指减少图像中多余信息,以缩短传输无用信息时间,利用图像固有统计特性进行编码;利用人们视觉心理特性进行编码。
具体地,将标注有目标物体的第一格式图片数据中进行图片编码得到JPG格式的图片。
S105、将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。
在本申请实施方式中,客户端接收到所有视频编号对第二格式图片数据之后,判断接收到的该视频流对应的第二格式图片数据的总数量是否等于视频编号中的视频段总数量;若接收到的该视频流对应的第二格式图片数据的总数量等于视频编号中的视频段总数量,则根据该视频流的所有第二格式图片数据对应的视频编号中的播放信号,对所有第二格式图片数据进行排序,并将排序后的所有第二格式图片数据进行显示。
本申请实施例提供了一种视频处理方法,该方法应用于加速卡,该视频处理方法包括:接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。本申请通过加速卡对视频段依次进行视频解码、图像识别、图片编码,能够对视频进行处理,提高了处理视频的效率。
可选地,该视频处理方法还包括另一种实施方式的步骤,该方法应用于加速卡,该步骤包括:接收负载均衡模块发送的至少一个视频段、该视频段对应的处理类型;将视频段进行视频解码得到第一格式图片数据;对第一格式图片数据进行与处理类型对应的视频处理,得到标注有目标物体的第一格式图片数据或第二格式图片数据。将标注有目标物体的第一格式图片数据或第二格式图片数据发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。
这里,处理类型包括图像识别或图片编码。若处理类型为图像识别,则通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;得到标注有目标物体的第一格式图片数据;若处理类型为图片编码,则对第一格式图片数据进行图像编码得到第二格式图片数据;
可选地,若处理类型为图像识别和图片编码,则对通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
参照图2所示,为本申请实施例提供的一种视频处理方法的流程示意图,该方法应用于加速卡,与图1中各步骤相同的部分与图1中可步骤的说明相同,在此不再赘述,下面对本申请实施例示例性的各步骤进行说明:
S201、接收负载均衡模块发送的至少一个视频段。
具体地,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号。
这里,视频编号包括该视频段在用户上传视频流中所在的播放序号,还包括该视频段对应的视频流的视频段总数量。视频段总数量指的是该视频流被分成的总段数,如果该视频流被分成了n段,则对应的视频流的视频段总数量为n。加速卡中包括解码通道、图像识别模块、编码通道。
S202、将加速卡的剩余可处理量发送给负载均衡模块。
在本申请实施方式中,剩余可处理量为加速卡还可以处理的视频处理量。使负载均衡模块根据各加速卡的剩余可处理量,通过负载均衡确定视频段的目标加速卡,并将该视频段发送到目标加速卡中。
这里,加速卡剩余可处理量包括解码通道的剩余可处理量和图像识别模块的剩余可处理量。
具体地,将解码通道的剩余可处理量、图像识别模块的剩余可处理量以及编码通道的剩余可处理量发送给负载均衡模块。
这里,负载均衡模块可以对解码通道的剩余可处理量、图像识别模块的剩余可处理量进行加权处理,得到各加速卡的目标剩余可处理量,然后根据目标剩余可处理量确定视频段的目标加速卡。
可选地,加速卡直接对解码通道的剩余可处理量、图像识别模块的剩余可处理量进行加权处理,得到加速卡的目标剩余可处理量,然后将目标剩余可处理量发送给负载均衡模块;使负载均衡模块根据加速卡发送的目标剩余可处理量确定视频段的目标加速卡。
S203、对视频段进行视频解码得到第一格式图片数据。
在本申请实施方式中,解码通道对视频段进行视频解码得到第一格式图片数据。
具体地,对视频段进行视频解码得到YUV格式的图片数据。
S204、通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体。
在本申请实施方式中,图像识别模块通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体。
具体地,对第一格式图片数据进行图像识别,得到第一格式图片数据中目标物体的区域坐标;在第一格式图片数据中区域坐标对应位置进行标注。
S205、将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
在本申请实施方式中,编码通道将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
这里,将标注有目标物体的第一格式图片数据中进行图片编码得到JPG格式的图片。
S206、将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示。
S207、将加速卡的剩余可处理量发送给负载均衡模块。
在本申请实施方式中,将解码通道的剩余可处理量、图像识别模块的剩余可处理量以及编码通道的剩余可处理量发送给负载均衡模块。
这里,剩余可处理量为加速卡还可以处理的视频处理量。使负载均衡模块根据各加速卡的剩余可处理量,通过负载均衡确定视频段的目标加速卡,并将该视频段发送到目标加速卡中。
其中,加速卡剩余可处理量包括解码通道的剩余可处理量和图像识别模块的剩余可处理量。
具体地,将解码通道的剩余可处理量、图像识别模块的剩余可处理量以及编码通道的剩余可处理量发送给负载均衡模块。
这里,负载均衡模块可以对解码通道的剩余可处理量、图像识别模块的剩余可处理量进行加权处理,得到各加速卡的目标剩余可处理量,然后根据目标剩余可处理量确定视频段的目标加速卡。
可选地,加速卡直接对解码通道的剩余可处理量、图像识别模块的剩余可处理量进行加权处理,得到加速卡的目标剩余可处理量,然后将目标剩余可处理量发送给负载均衡模块;使负载均衡模块根据加速卡发送的目标剩余可处理量确定视频段的目标加速卡。
本申请实施例提供了一种视频处理方法,该方法应用于加速卡,该视频处理方法包括:接收负载均衡模块发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;将加速卡的剩余可处理量发送给负载均衡模块;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;将第二格式图片数据以及对应的视频编号发送到客户端,以使客户端根据视频编号对第二格式图片数据进行处理并显示;将加速卡的剩余可处理量发送给负载均衡模块。本申请通过加速卡对视频段依次进行视频解码、图像识别、图片编码,能够对视频进行处理,提高了处理视频的效率。由于在接收到视频流后和发出第二格式图片数据以及对应的视频编号之后,加速卡的剩余可处理量会发生变化,因此需要向负载均衡模块发送剩余可处理量,以使负载均衡模块及时知晓各加速卡的剩余可处理量,准确地选择处理视频段的目标加速卡,提高处理视频的效率。
基于同一发明构思,本申请实施例中还提供了与视频处理方法对应的视频处理系统,由于本申请实施例中的系统解决问题的原理与本申请实施例上述视频处理方法相似,因此系统的实施可以参见方法的实施,重复之处不再赘述。
参照图3所示,为本申请实施例提供的一种视频处理系统的示意图,该视频处理系统包括:负载均衡模块301、加速卡302、客户端303;
负载均衡模块301,用于对用户上传的视频流进行分段,得到至少一个视频段;并将视频段发送给对应的加速卡302;
加速卡302,用于接收负载均衡模块301发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;并将第二格式图片数据以及对应的视频编号发送到客户端303;
客户端303,用于根据视频编号对第二格式图片数据进行处理并显示。
在一种可能的实施方式中,加速卡302,还用于:
将加速卡302的剩余可处理量发送给负载均衡模块301。
在一种可能的实施方式中,加速卡302中包括解码通道、图像识别模块、编码通道;
解码通道,用于对视频段进行视频解码得到第一格式图片数据;
图像识别模块,用于通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;
编码通道,用于将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
在一种可能的实施方式中,加速卡302,具体用于将解码通道的剩余可处理量、图像识别模块的剩余可处理量以及编码通道的剩余可处理量发送给负载均衡模块301。
在一种可能的实施方式中,加速卡302,具体用于对第一格式图片数据进行图像识别,得到第一格式图片数据中目标物体的区域坐标;在第一格式图片数据中区域坐标对应位置进行标注。
在一种可能的实施方式中,加速卡302,具体用于对视频段进行视频解码得到YUV格式的图片数据。
在一种可能的实施方式中,加速卡302,具体用于将标注有目标物体的第一格式图片数据中进行图片编码得到JPG格式的图片。
本申请实施例提供了一种视频处理系统,该视频处理系统包括:负载均衡模块301、加速卡302、客户端303;负载均衡模块301,用于对用户上传的视频流进行分段,得到至少一个视频段;并将视频段发送给对应的加速卡302;加速卡302,用于接收负载均衡模块301发送的至少一个视频段,视频段为用户上传视频流中的一段视频流,视频段对应有视频编号;对视频段进行视频解码得到第一格式图片数据;通过对第一格式图片数据进行图像识别,标注第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;并将第二格式图片数据以及对应的视频编号发送到客户端303;客户端303,用于根据视频编号对第二格式图片数据进行处理并显示。本申请通过加速卡对视频段依次进行视频解码、图像识别、图片编码,能够对视频进行处理,提高了处理视频的效率。
如图4所示,本申请实施例提供的一种电子设备400,包括:处理器401、存储器402和总线,存储器402存储有处理器401可执行的机器可读指令,当电子设备运行时,处理器401与存储器402之间通过总线通信,处理器401执行机器可读指令,以执行如上述视频处理方法的步骤。
具体地,上述存储器402和处理器401能够为通用的存储器和处理器,这里不做具体限定,当处理器401运行存储器402存储的计算机程序时,能够执行上述视频处理方法。
对应于上述视频处理方法,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述视频处理方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述信息处理方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种视频处理方法,其特征在于,所述方法应用于加速卡,所述方法包括:
接收负载均衡模块发送的至少一个视频段,所述视频段为用户上传视频流中的一段视频流,所述视频段对应有视频编号;所述视频段对应的视频编号是负载均衡模块将所述视频流进行分段之后,按照所述视频流的播放顺序对所述视频段进行编号得到的,所述视频编号包括所述视频段在所述视频流中所在的播放序号以及所述视频流被分成的视分成的视频段的总数量;
对所述视频段进行视频解码得到第一格式图片数据;
通过对所述第一格式图片数据进行图像识别,标注所述第一格式图片数据中目标物体;
将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;
将所述第二格式图片数据以及对应的视频编号发送到客户端,以使所述客户端在接收到所有视频编号对应的第二格式图片数据之后,判断接收到的所述视频流对应的第二格式图片数据的总数量是否等于视频编号中的视频段总数量;若接收到的所述视频流对应的第二格式图片数据的总数量等于视频编号中的视频段的总数量,则根据所述视频流的所有第二格式图片数据对应的视频编号中的播放序号,对所有第二格式图片数据进行排序,并将排序后的所有第二格式图片数据进行显示;
在所述接收负载均衡模块发送的至少一个视频段之后,或在所述将所述第二格式图片数据以及对应的视频编号发送到客户端之后,对所述加速卡中解码通道的剩余可处理量、图像识别模块的剩余可处理量进行加权处理,得到所述加速卡的目标剩余可处理量;将所述目标剩余可处理量发送给负载均衡模块,使所述负载均衡模块根据所述加速卡发送的目标剩余可处理量确定视频段的目标加速卡。
2.根据权利要求1所述的视频处理方法,其特征在于,所述加速卡中包括解码通道、图像识别模块、编码通道;
所述解码通道对所述视频段进行视频解码得到第一格式图片数据;
所述图像识别模块通过对所述第一格式图片数据进行图像识别,标注所述第一格式图片数据中目标物体;
所述编码通道将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据。
3.根据权利要求1或2所述的视频处理方法,其特征在于,所述通过对所述第一格式图片数据进行图像识别,标注所述第一格式图片数据中目标物体,包括:
对所述第一格式图片数据进行图像识别,得到所述第一格式图片数据中目标物体的区域坐标;
在所述第一格式图片数据中所述区域坐标对应位置进行标注。
4.根据权利要求1或2所述的视频处理方法,其特征在于,所述对所述视频段进行视频解码得到第一格式图片数据,包括:
对所述视频段进行视频解码得到YUV格式的图片数据。
5.根据权利要求1或2所述的视频处理方法,其特征在于,所述将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据,包括:
将标注有目标物体的第一格式图片数据中进行图片编码得到JPG格式的图片。
6.一种视频处理系统,其特征在于,所述视频处理系统包括:负载均衡模块、加速卡、客户端;
所述负载均衡模块,用于对用户上传的视频流进行分段,得到至少一个视频段;按照所述视频流的播放顺序对所述视频段进行编号,得到视频编号;所述视频编号包括所述视频段在所述视频流中所在的播放序号以及所述视频流被分成的视分成的视频段的总数量;并将所述视频段发送给对应的加速卡;
所述加速卡,用于接收负载均衡模块发送的至少一个视频段,所述视频段为用户上传视频流中的一段视频流,所述视频段对应有视频编号;对所述视频段进行视频解码得到第一格式图片数据;通过对所述第一格式图片数据进行图像识别,标注所述第一格式图片数据中目标物体;将标注有目标物体的第一格式图片数据中进行图片编码得到第二格式图片数据;并将所述第二格式图片数据以及对应的视频编号发送到客户端;
所述客户端,用于在接收到所有视频编号对应的第二格式图片数据之后,判断接收到的所述视频流对应的第二格式图片数据的总数量是否等于视频编号中的视频段总数量;若接收到的所述视频流对应的第二格式图片数据的总数量等于视频编号中的视频段的总数量,则根据所述视频流的所有第二格式图片数据对应的视频编号中的播放序号,对所有第二格式图片数据进行排序,并将排序后的所有第二格式图片数据进行显示;
所述加速卡,还用于在所述接收负载均衡模块发送的至少一个视频段之后,或在所述将所述第二格式图片数据以及对应的视频编号发送到客户端之后,对所述加速卡中解码通道的剩余可处理量、图像识别模块的剩余可处理量进行加权处理,得到所述加速卡的目标剩余可处理量;并将所述目标剩余可处理量发送给负载均衡模块;
所述负载均衡模块,还用于根据所述加速卡发送的目标剩余可处理量确定视频段的目标加速卡。
7.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至5任一项所述的视频处理方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的视频处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211486435.2A CN115866298B (zh) | 2022-11-24 | 2022-11-24 | 一种视频处理方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211486435.2A CN115866298B (zh) | 2022-11-24 | 2022-11-24 | 一种视频处理方法、系统、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115866298A CN115866298A (zh) | 2023-03-28 |
CN115866298B true CN115866298B (zh) | 2023-12-19 |
Family
ID=85666173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211486435.2A Active CN115866298B (zh) | 2022-11-24 | 2022-11-24 | 一种视频处理方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115866298B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102629938A (zh) * | 2012-03-14 | 2012-08-08 | 网宿科技股份有限公司 | 对网络视频加载进行视频加速的方法和系统 |
EP2632168A1 (en) * | 2012-02-24 | 2013-08-28 | Samsung Electronics Co., Ltd | Method for transmitting stream between electronic devices and electronic device for the method thereof |
CN105491386A (zh) * | 2014-09-19 | 2016-04-13 | 杭州海康威视数字技术股份有限公司 | 一种视频数据的格式转换方法和装置 |
CN109803108A (zh) * | 2019-01-22 | 2019-05-24 | 国网信息通信产业集团有限公司 | 一种图像识别方法和装置 |
CN110555345A (zh) * | 2018-06-01 | 2019-12-10 | 北京深鉴智能科技有限公司 | 智能图像分析系统和方法 |
CN110856034A (zh) * | 2019-11-25 | 2020-02-28 | 西安奥卡云数据科技有限公司 | 一种视频文件的缓存方法及系统 |
CN112532923A (zh) * | 2020-11-03 | 2021-03-19 | 视联动力信息技术股份有限公司 | 一种视频流的处理方法、装置、终端设备和存储介质 |
CN114339266A (zh) * | 2021-12-14 | 2022-04-12 | 浪潮软件集团有限公司 | 一种基于国产cpu和操作系统的视频流队列处理方法 |
CN115147756A (zh) * | 2022-06-15 | 2022-10-04 | 创新奇智(浙江)科技有限公司 | 一种视频流处理方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104035751B (zh) * | 2014-06-20 | 2016-10-12 | 深圳市腾讯计算机系统有限公司 | 基于多图形处理器的数据并行处理方法及装置 |
-
2022
- 2022-11-24 CN CN202211486435.2A patent/CN115866298B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2632168A1 (en) * | 2012-02-24 | 2013-08-28 | Samsung Electronics Co., Ltd | Method for transmitting stream between electronic devices and electronic device for the method thereof |
CN102629938A (zh) * | 2012-03-14 | 2012-08-08 | 网宿科技股份有限公司 | 对网络视频加载进行视频加速的方法和系统 |
CN105491386A (zh) * | 2014-09-19 | 2016-04-13 | 杭州海康威视数字技术股份有限公司 | 一种视频数据的格式转换方法和装置 |
CN110555345A (zh) * | 2018-06-01 | 2019-12-10 | 北京深鉴智能科技有限公司 | 智能图像分析系统和方法 |
CN109803108A (zh) * | 2019-01-22 | 2019-05-24 | 国网信息通信产业集团有限公司 | 一种图像识别方法和装置 |
CN110856034A (zh) * | 2019-11-25 | 2020-02-28 | 西安奥卡云数据科技有限公司 | 一种视频文件的缓存方法及系统 |
CN112532923A (zh) * | 2020-11-03 | 2021-03-19 | 视联动力信息技术股份有限公司 | 一种视频流的处理方法、装置、终端设备和存储介质 |
CN114339266A (zh) * | 2021-12-14 | 2022-04-12 | 浪潮软件集团有限公司 | 一种基于国产cpu和操作系统的视频流队列处理方法 |
CN115147756A (zh) * | 2022-06-15 | 2022-10-04 | 创新奇智(浙江)科技有限公司 | 一种视频流处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
Automatic Detection and Image Recognition of Precision Agriculture for Citrus Diseases;ChauChung Song;《2020 IEEE Eurasia Conference on IOT, Communication and Engineering (ECICE)》;全文 * |
AVS流媒体传输系统的实现;魏于涛;刘琚;李玉军;李善彬;;计算机工程与应用(10);全文 * |
视频智能分析在工程勘察外业中的应用研究;张盖;《中国优秀硕士学位论文全文数据库》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115866298A (zh) | 2023-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110602554B (zh) | 封面图像确定方法、装置及设备 | |
CN110147722A (zh) | 一种视频处理方法、视频处理装置及终端设备 | |
US10115127B2 (en) | Information processing system, information processing method, communications terminals and control method and control program thereof | |
CN110636334B (zh) | 数据传输方法及系统 | |
CN109714623B (zh) | 图像展示方法、装置、电子设备及计算机可读存储介质 | |
CN110012350B (zh) | 一种视频处理方法及装置、设备、存储介质 | |
CN110197149B (zh) | 耳部关键点检测方法、装置、存储介质及电子设备 | |
CN111507342B (zh) | 一种图像处理方法、装置、系统及存储介质 | |
US9305603B2 (en) | Method and apparatus for indexing a video stream | |
CN114640881A (zh) | 视频帧对齐方法、装置、终端设备及计算机可读存储介质 | |
CN110991298A (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
CN112714338B (zh) | 视频传输、播放方法、装置、计算机设备及存储介质 | |
CN115866298B (zh) | 一种视频处理方法、系统、电子设备及存储介质 | |
CN113297422A (zh) | 数据处理方法、装置、电子设备、介质及程序产品 | |
CN114639076A (zh) | 目标对象检测方法、装置、存储介质以及电子装置 | |
Shao et al. | Imagebeacon: Broadcasting color images over connectionless bluetooth le packets | |
CN116112675A (zh) | 一种视频编码方法和视频编码系统 | |
CN112598074B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN108399411B (zh) | 一种多摄像头识别方法及装置 | |
CN112669346A (zh) | 一种路面突发状况确定方法及装置 | |
CN116071376B (zh) | 图像分割方法及相关装置、设备和存储介质 | |
CN111931770B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111556317B (zh) | 编码方法、装置及编解码系统 | |
CN112839226B (zh) | 一种图像编码、解码方法、相关装置及存储介质 | |
CN109783475B (zh) | 一种视频失真效应标记大规模数据库的构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |