CN114125498B - 视频数据处理方法、装置、设备以及存储介质 - Google Patents
视频数据处理方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN114125498B CN114125498B CN202111408979.2A CN202111408979A CN114125498B CN 114125498 B CN114125498 B CN 114125498B CN 202111408979 A CN202111408979 A CN 202111408979A CN 114125498 B CN114125498 B CN 114125498B
- Authority
- CN
- China
- Prior art keywords
- page
- frame image
- time
- determining
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
Abstract
本公开提供了一种视频数据处理方法、装置、设备以及存储介质，涉及人工智能技术领域，尤其涉及视频处理、图像处理技术领域。具体实现方案为：对于视频流中除第一帧图像之外的每个帧图像，确定每个帧图像相对于每个帧图像的前一帧图像是否发生变化；在确定每个帧图像发生变化的情况下，记录与每个帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻；在播放视频流的过程中，响应于接收到页面切换请求，根据页面切换请求和当前播放时刻，确定多个初始页面时刻中的目标页面初始时刻；以及将视频流的播放进度切换至目标页面初始时刻。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及视频处理、图像处理领域。
背景技术
随着视频技术和直播技术的发展，越来越多的学习资料由传统的文本转变成视频或者直播的形式。用户除了可以从书本或课件上自行阅读学习资料，也可以通过观看直播、录播或者直播回放的视频来进行获取学习资料。
发明内容
本公开提供了一种视频数据处理方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的一方面，提供了一种视频数据处理方法，包括：对于视频流中除第一帧图像之外的每个帧图像，确定所述每个帧图像相对于所述每个帧图像的前一帧图像是否发生变化；在确定所述每个帧图像发生变化的情况下，记录与所述每个帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻；在播放所述视频流的过程中，响应于接收到页面切换请求，根据所述页面切换请求和当前播放时刻，确定所述多个初始页面时刻中的目标页面初始时刻；以及将所述视频流的播放进度切换至所述目标页面初始时刻。
根据本公开的另一方面，提供了一种视频数据处理装置，包括：变化确定模块，用于对于视频流中除第一帧图像之外的每个帧图像，确定所述每个帧图像相对于所述每个帧图像的前一帧图像是否发生变化；第一记录模块，用于在确定所述每个帧图像发生变化的情况下，记录与所述每个帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻；时刻确定模块，用于在播放所述视频流的过程中，响应于接收到页面切换请求，根据所述页面切换请求和当前播放时刻，确定所述多个初始页面时刻中的目标页面初始时刻；以及切换模块，用于将所述视频流的播放进度切换至所述目标页面初始时刻。
本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。
根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。
根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开实施例所示方法的步骤。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的视频数据处理方法、装置、电子设备和存储介质的应用场景示意图；
图2示意性示出了根据本公开的实施例的视频数据处理方法的流程图；
图3示意性示出了根据本公开的实施例的确定视频流中帧图像是否发生变化的方法的流程图；
图4示意性示出了根据本公开的实施例的计算两帧图像之间残差值的方法的示意图；
图5示意性示出了根据本公开的另一实施例的视频数据处理方法的流程图；
图6示意性示出了根据本公开另一实施例的视频数据处理方法的示意图；
图7示意性示出了根据本公开实施例的视频数据处理装置的框图；以及
图8示意性示出了可以用来实施本公开的实施例的示例电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下将结合图1对本公开提供的视频数据处理方法和装置的应用场景进行描述。
图1是根据本公开实施例的视频数据处理方法、装置、电子设备和存储介质的应用场景示意图。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，该应用场景100包括终端设备101、102，服务器103和网络104。
网络104用以在终端设备101、102和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络104与服务器103交互，以接收或发送消息等。终端设备101、102上可以安装有各种通讯客户端应用，例如直播应用、在线课堂应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器103可以是提供各种服务的服务器，例如对用户利用终端设备101、102所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。服务器103可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual PrivateServer，或简称VPS)中，存在的管理难度大，业务扩展性弱的缺陷。服务器103也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开的实施例，第一用户可以通过终端设备101进行录播或直播，并将录播或直播的视频流通过网络104发送至服务器103。其中，视频流可以包含多个页面(例如文档页面、幻灯片页面、表格页面等)的内容。服务器103对于视频流中除第一帧图像之外的每个帧图像，确定每个帧图像相对于每个帧图像的前一帧图像是否发生变化。当帧图像发生变化时，则表示视频流中的页面发生了切换。因此，可以在确定每个帧图像发生变化的情况下，记录与每个帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻。其中，页面初始时刻为对应页面在视频流中首次出现的时刻。
根据本公开的实施例，第二用户可以通过终端设备102从服务器103中获取上述录播或直播的视频流，并在终端设备102中播放。在播放视频流的过程中，第二用户可以通过终端设备102触发页面切换操作，以生成页面切换请求。页面切换请求可以用于请求将视频流的播放进度切换至目标页面出现的时刻，目标页面即第二用户意图切换的页面。服务器103响应于接收到页面切换请求，可以根据页面切换请求和当前播放时刻，确定多个初始页面时刻中的目标页面初始时刻。然后将视频流的播放进度切换至目标页面初始时刻。
根据本公开的实施例，通过识别视频流中帧图像的变化，可以确定页面在视频流中首次出现的时刻，即页面初始时刻。在播放视频流的过程中，可以响应于页面切换请求，从已确定的多个页面初始时刻中确定用户意图切换的目标页面初始时刻，并将视频流的播放进度切换至该目标页面初始时刻，从而可以实现快速切换视频流中页面的功能，提高了用户体验。
本公开的技术方案中，所涉及的视频流等数据的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
以下将结合图2对本公开提供的视频数据处理方法进行描述。
图2示意性示出了根据本公开的实施例的视频数据处理方法的流程图。
如图2所示，该视频数据处理方法200可以包括在操作S210，对于视频流中除第一帧图像之外的每个帧图像，确定每个帧图像相对于每个帧图像的前一帧图像是否发生变化。
根据本公开的实施例，视频流可以包括多个帧图像，该多个帧图像可以用于展示多个页面，每个页面可以通过视频流中的一个或多个帧图像来展示。
然后，在操作S220，在确定每个帧图像发生变化的情况下，记录与每个帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻。
根据本公开的实施例，若帧图像发生变化，则表示视频流中的页面发生了切换。因此，可以记录与每个帧图像对应的视频时刻作为页面初始时刻。其中，页面初始时刻可以为对应页面在视频流中首次出现的时刻。
在操作S230，在播放视频流的过程中，响应于接收到页面切换请求，根据页面切换请求和当前播放时刻，确定多个初始页面时刻中的目标页面初始时刻。
根据本公开的实施例，页面切换请求例如可以用于请求将视频流的播放进度切换至目标页面首次出现的时刻，即目标页面初始时刻。
在操作S240，将视频流的播放进度切换至目标页面初始时刻。
根据本公开的实施例的视频数据处理方法，可以快速切换视频流的播放进度至对应的页面开始出现的时刻，以实现视频流中快速切换页面的功能，可以提升用户体验。
以下将结合图3对确定视频流中帧图像是否发生变化的方法进行描述。
图3示意性示出了根据本公开的实施例的确定视频流中帧图像是否发生变化的方法的流程图。
如图3所示，该确定视频流中帧图像是否发生变化的方法310可以包括在操作S311，逐帧解码视频流，得到多个帧图像。
然后，在操作S312，将多个帧图像的图像分辨率压缩至预定大小。
根据本公开的实施例，通过将图像分辨率压缩至预定大小，可以降低后续操作中的计算量，提高处理速度。
根据本公开的实施例，预定大小可以根据实际需要进行设置。预定大小越大，则帧图像中像素越多，计算残差值的精度越高，但计算量越大。相反，预定大小越小，则帧图像中像素越小，计算残差值的精度越低，但计算量越小。示例性地，本实施例中，例如可以将多个帧图像的图像分辨率压缩至原分辨率的二分之一。
在操作S313，对于多个帧图像中除第一帧图像之外的每个帧图像，计算每个帧图像与帧图像的前一帧图像之间的残差值。
根据本公开的实施例，残差值可以用于表示帧图像之间的相似度。
在操作S314，在残差值大于残差阈值的情况下，确定帧图像相对于前一帧图像发生变化。
根据本公开的实施例，若两帧图像之间的残差值大于残差阈值，则表示该两帧图像的内容发生了改变，也即发生了页面切换。本实施例中，残差阈值可以根据实际需要进行设置。
以下将结合图4对计算两帧图像之间残差值的方法进行描述。
以当前帧图像和当前帧图像的前一帧图像为例。可以将当前帧图像转换到YUV颜色空间，得到帧图像每个像素的明亮度(Luma)和色度(Chrominance)。可以将前一帧图像转换到YUV颜色空间，得到前一帧图像每个像素的明亮度和色度。
然后，可以计算当前帧图像每个像素的明亮度与前一帧图像中对应像素的明亮度之间的第一差值，以及当前帧图像每个像素的色度与前一帧图像中对应像素的色度之间的第二差值。
接下来，可以根据第一差值和第二差值，确定残差值。示例性地，本实施例中，例如可以计算第一差值和第二差值之和作为残差值。
根据本公开的实施例，像素的明亮度，也即是灰阶值，可以用Y来表示。像素的色度可以用U和V来表示，作用是描述影像色彩及饱和度，用于指定像素的颜色。
例如，图4示意性示出了根据本公开的实施例的计算两帧图像之间残差值的方法的示意图。
如图4所示，上一帧图像中第i个像素的明亮度可以为Y1，色度可以为U1和V1，其中，i为正整数。当前帧图像中第i个像素的明亮度可以为Y2，色度可以为U2和V2。因此，可以计算Y1与Y2的差值dy＝Y2-Y1，U1和U2的差值du＝U2-U1，V1和V2的差值dv＝V2-V1。然后可以计算dy、du和dv之和D＝dy+du+dv，作为残差值。
根据本公开的实施例，记录页面初始时刻之后，可以根据记录的页面初始时刻将视频流的视频时长划分为多个时间区间。其中，多个时间区间与视频流中的页面一一对应。
例如，如视频流的总时长为3分钟，包含共4页的页面内容。记录的页面初始时刻包括41s、121s和161s。则时间区间0～40s对应第1页，41s～120s对应第2页，121s～160s对应第3页，161s～180s对应第4页。
根据本公开的实施例，还可以对每个时间区间对应的页面编码和页面初始时刻进行记录。例如，可以以key-value的形式记录页面初始时刻和页面编码之间的对应关系，其中，key可以为页面编码，value可以为页面初始时刻。示例性地，以0～40s对应第1页，41s～120s对应第2页，121s～160s对应第3页，161s～180s对应第4页为例，可以按照时间的顺序记录{1，0s}，{2，41s}，{3，121s}和{4，161s}。
根据本公开的实施例，页面切换请求例如可以包括上n页切换请求，其中n为正整数。
根据本公开的实施例，可以响应于页面切换请求为上n页切换请求，确定当前播放时刻所属的当前时间区间。然后确定当前时间区间之前的第n个时间区间。确定多个初始页面时刻中与第n个时间区间对应的页面初始时刻作为目标页面初始时刻。
根据本公开的另一些实施例，页面切换请求例如还可以包括下m页切换请求，其中m为正整数。
根据本公开的实施例，响应于页面切换请求为下m页切换请求，确定当前播放时刻所属的当前时间区间。然后确定当前时间区间之后的第m个时间区间。确定多个初始页面时刻中与第m个时间区间对应的页面初始时刻作为目标页面初始时刻。
根据本公开的实施例，可以在用户观看视频时，在视频播放页面增加按钮，用于触发切换页面的操作。当按钮被触发时，可以生成相应的页面切换请求。例如，可以在视频播放页面增加“上一页”、“下一页”等按钮，当用户点击“上一页”按钮时，生成上一页切换请求，以将视频切换到与当前页面的上一页对应的页面初始时刻。当用户点击“下一页”按钮时，生成下一页切换请求，以将视频切换到与当前页面的下一页对应的页面初始时刻。
图5示意性示出了根据本公开的另一实施例的视频数据处理方法的流程图。
如图5所示，该视频数据处理方法500可以包括在操作S510，对于视频流中除第一帧图像之外的每个帧图像，确定每个帧图像相对于每个帧图像的前一帧图像是否发生变化。
然后，在操作S520，在确定每个帧图像发生变化的情况下，确定与帧图像对应的视频时刻与第一帧图像的视频时刻之间的时间差。
在操作S530，在时间差大于时间阈值的情况下，记录与每个帧图像对应的视频时刻作为页面初始时刻。
在操作S540，在播放视频流的过程中，响应于接收到页面切换请求，根据页面切换请求和当前播放时刻，确定多个初始页面时刻中的目标页面初始时刻。
在操作S550，将视频流的播放进度切换至目标页面初始时刻。
根据本公开的实施例，操作S510～S520、S540～S550例如可以参考上文，在此不再赘述。
根据本公开的实施例，在时间差大于时间阈值的情况下，可以记录与每个帧图像对应的视频时刻作为页面初始时刻。在时间差小于或等于时间阈值的情况下，可以忽略该帧图像，继续判断下一帧图像是否发生变化。
根据本公开的实施例，通过设置时间阈值，在时间差大于时间阈值的情况下记录页面初始时刻，可以减少误识别。
根据本公开的实施例，时间阈值例如可以根据实际需要确定。示例性地，本实施例中，时间阈值例如可以为500ms。
下面参考图6，结合具体实施例对上文所示的视频数据处理方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。
图6示意性示出了根据本公开另一实施例的视频数据处理方法的示意图。
在图6中示出了，视频生产者可以通过终端设备进行录播或直播，并将录播或直播的视频流发送至服务器。示例性地，视频流中包含课件内容。服务器可以获取视频流，对视频流进行逐帧解码，得到多个帧图像。解码视频流时，可以将图像分辨率压缩至原分辨率的一半，以降低后续操作的计算量。
根据本公开的实施例，可以采用生产消费模式，将解码得到的多个帧图像保存至图像队列。然后可以从图像队列头部开始读取第一帧图像和第二帧图像，识别这两个帧图像之间是否发生变化。若发生变化，则新建一条key-value数据，其中，key的值设置为1，表示课件的页码为1，value的值设置为第二帧图像所对应的视频时刻。
接下来，逐帧读取图像队列中后续帧图像，识别帧图像与前一帧图像是否发生变化。每当帧图像发生变化，则新建一条key-value数据，将前一条key-value数据中的key值加一后赋值给该新的key-value数据中key，然后将该帧图像所对应的视频时刻赋值给该新的key-value数据中value。其中，key-value数据可以按时间升序存储。
在图像队列中所有帧图像都如上文所示的方法进行识别后，得到key-value集合，作为识别结果。该key-value集合可以作为视频流的一个数据属性，与视频流进行关联存储。
视频观看者在获取视频流时，除了可以获取视频链接、视频时长等信息外，还可以获取与视频流对应的key-value集合。
视频观看者观看视频时，可以在播放界面增加例如“上一页”、“下一页”等页面切换按钮。当页面切换按钮触发时，可以根据key-value集合，确定目标页面时刻，然后控制播放进度切换至目标页面时刻。
例如，当视频观看者点击“上一页”按钮时，可以获取当前播放时刻：current_time。然后在key-value集合中倒序遍历每个value，查找第一小于或等于current_time的value，在查到后中断遍历。根据确定该value所对应的页面编码为当前页面编码。接着在key-value集合中倒序遍历查找当前页面编码的前一页面编码所对应的value值：current_pre_time，找到后中断遍历，并控制播放器将播放进度切换到current_pre_time。若未找到，则直接返回，不对播放器的播放进度进行控制。
当视频观看者点击“下一页”按钮，可以获取当前播放时刻：current_time。然后在key-value集合中倒序遍历每个value，查找第一小于或等于current_time的value，在查到后中断遍历。根据确定该value所对应的页面编码为当前页面编码。接着在key-value集合中正序遍历查找当前页面编码的后一页面编码所对应的value值：current_next_time，找到后中断遍历，并控制播放器将播放进度切换到current_next_time。若未找到，则直接返回，不对播放器的播放进度进行控制。
根据本公开的实施例的视频数据处理方法，可以快速切换视频流的播放进度至对应的页面开始出现的时刻，以实现视频流中快速切换页面的功能，可以提升用户体验。
图7示意性示出了根据本公开实施例的视频数据处理装置的框图。
如图7所示，视频数据处理装置700包括变化确定模块710、第一记录模块720、时刻确定模块730和切换模块740。
变化确定模块710，用于对于视频流中除第一帧图像之外的每个帧图像，确定每个帧图像相对于每个帧图像的前一帧图像是否发生变化。
第一记录模块720，用于在确定每个帧图像发生变化的情况下，记录与每个帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻。
时刻确定模块730，用于在播放视频流的过程中，响应于接收到页面切换请求，根据页面切换请求和当前播放时刻，确定多个初始页面时刻中的目标页面初始时刻。
切换模块740，用于将视频流的播放进度切换至目标页面初始时刻。
根据本公开的实施例，变化确定模块可以包括解密子模块、压缩子模块、计算子模块和确定子模块。其中，解密子模块，用于逐帧解码视频流，得到多个帧图像。压缩子模块，用于将多个帧图像的图像分辨率压缩至预定大小。计算子模块，用于对于多个帧图像中除第一帧图像之外的每个帧图像，计算每个帧图像与帧图像的前一帧图像之间的残差值。确定子模块，用于在残差值大于残差阈值的情况下，确定帧图像相对于前一帧图像发生变化。
根据本公开的实施例，计算子模块包括第一转换单元、第二转换单元、计算单元和确定单元。其中，第一转换单元，用于将帧图像转换到YUV颜色空间，得到帧图像每个像素的明亮度和色度。第二转换单元，用于将前一帧图像转换到YUV颜色空间，得到前一帧图像每个像素的明亮度和色度。计算单元，用于计算帧图像每个像素的明亮度与前一帧图像中对应像素的明亮度之间的第一差值，以及帧图像每个像素的色度与前一帧图像中对应像素的色度之间的第二差值。确定单元，用于根据第一差值和第二差值，确定残差值。
根据本公开的实施例，上述装置还可以包括时间差确定模块和第二记录模块。其中，时间差确定模块，用于确定与帧图像对应的视频时刻与第一帧图像的视频时刻之间的时间差。第二记录模块，用于在时间差大于时间阈值的情况下，记录与每个帧图像对应的视频时刻作为页面初始时刻。
根据本公开的实施例，其中，页面切换请求包括上n页切换请求，其中n为正整数。时刻确定模块可以包括第一区间确定子模块、第二区间确定子模块和第一时刻确定子模块。其中，第一区间确定子模块，用于响应于页面切换请求为上n页切换请求，确定当前播放时刻所属的当前时间区间。第二区间确定子模块，用于确定当前时间区间之前的第n个时间区间。第一时刻确定子模块，用于确定多个初始页面时刻中与第n个时间区间对应的页面初始时刻作为目标页面初始时刻。
根据本公开的实施例，其中，页面切换请求包括下m页切换请求，其中m为正整数。根据时刻确定模块包括第三区间确定子模块、第四区间确定子模块和第二时刻确定子模块。其中，第三区间确定子模块，用于响应于页面切换请求为下m页切换请求，确定当前播放时刻所属的当前时间区间。第四区间确定子模块，用于确定当前时间区间之后的第m个时间区间。第二时刻确定子模块，用于确定多个初始页面时刻中与第m个时间区间对应的页面初始时刻作为目标页面初始时刻。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示意性示出了可以用来实施本公开的实施例的示例电子设备800的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如视频数据处理方法。例如，在一些实施例中，视频数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的视频数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (12)
1.一种视频数据处理方法，包括：
对于视频流中除第一帧图像之外的每个帧图像，
确定所述每个帧图像相对于所述每个帧图像的前一帧图像是否发生变化；
在确定所述每个帧图像发生变化的情况下，记录与发生变化的帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻，并与多个页面初始时刻一一对应地记录所述发生变化的帧图像的页面编码；
在播放所述视频流的过程中，响应于接收到页面切换请求，根据所述页面切换请求中的目标页面编码和当前播放时刻，确定所述多个页面初始时刻中与所述目标页面编码对应的目标页面初始时刻；以及
将所述视频流的播放进度切换至所述目标页面初始时刻；
其中，在所述页面切换请求包括上n页切换请求的情况下，n为正整数，所述上n页切换请求中的目标页面编码为与所述当前播放时刻相对应的当前页面编码之前的第n个页面编码；所述根据所述页面切换请求中的目标页面编码和当前播放时刻，确定所述多个页面初始时刻中的目标页面初始时刻，包括：
响应于所述页面切换请求为上n页切换请求，确定与所述当前播放时刻相对应的当前页面编码；
确定所述当前页面编码之前的第n个页面编码；以及
确定所述多个页面初始时刻中与所述第n个页面编码对应的页面初始时刻作为所述目标页面初始时刻。
2.根据权利要求1所述的方法，其中，所述确定所述每个帧图像相对于所述每个帧图像的前一帧图像是否发生变化包括：
逐帧解码所述视频流，得到多个帧图像；
将所述多个帧图像的图像分辨率压缩至预定大小；
对于所述多个帧图像中除第一帧图像之外的每个帧图像，计算所述每个帧图像与所述帧图像的前一帧图像之间的残差值；以及
在所述残差值大于残差阈值的情况下，确定所述帧图像相对于所述前一帧图像发生变化。
3.根据权利要求2所述的方法，其中，所述计算所述每个帧图像与所述帧图像的前一帧图像之间的残差值包括：
将所述帧图像转换到YUV颜色空间，得到所述帧图像每个像素的明亮度和色度；
将所述前一帧图像转换到YUV颜色空间，得到所述前一帧图像每个像素的明亮度和色度；
计算所述帧图像每个像素的明亮度与所述前一帧图像中对应像素的明亮度之间的第一差值，以及所述帧图像每个像素的色度与所述前一帧图像中对应像素的色度之间的第二差值；以及
根据所述第一差值和所述第二差值，确定所述残差值。
4. 根据权利要求1所述的方法，还包括：
确定与所述帧图像对应的视频时刻与所述第一帧图像的视频时刻之间的时间差；以及
在所述时间差大于时间阈值的情况下，记录与所述每个帧图像对应的视频时刻作为页面初始时刻。
5.根据权利要求1所述的方法，其中，在所述页面切换请求包括下m页切换请求的情况下，其中m为正整数，所述下m页切换请求中的目标页面编码为与所述当前播放时刻相对应的当前页面编码之后的第m个页面编码；所述根据所述页面切换请求中的目标页面编码和当前播放时刻，确定所述多个页面初始时刻中的目标页面初始时刻，包括：
响应于所述页面切换请求为下m页切换请求，确定与所述当前播放时刻相对应的当前页面编码；
确定所述当前页面编码之后的第m个页面编码；以及
确定所述多个页面初始时刻中与所述第m个页面编码对应的页面初始时刻作为所述目标页面初始时刻。
6.一种视频数据处理装置，包括：
变化确定模块，用于对于视频流中除第一帧图像之外的每个帧图像，确定所述每个帧图像相对于所述每个帧图像的前一帧图像是否发生变化；
第一记录模块，用于在确定所述每个帧图像发生变化的情况下，记录与发生变化的帧图像对应的视频时刻作为页面初始时刻，得到多个页面初始时刻，并与多个页面初始时刻一一对应地记录所述发生变化的帧图像的页面编码；
时刻确定模块，用于在播放所述视频流的过程中，响应于接收到页面切换请求，根据所述页面切换请求中的目标页面编码和当前播放时刻，确定所述多个页面初始时刻中与所述目标页面编码对应的目标页面初始时刻；以及
切换模块，用于将所述视频流的播放进度切换至所述目标页面初始时刻；
其中，在所述页面切换请求包括上n页切换请求的情况下，其中n为正整数，所述上n页切换请求中的目标页面编码为与所述当前播放时刻相对应的当前页面编码之前的第n个页面编码；所述时刻确定模块包括：
第一区间确定子模块，用于响应于所述页面切换请求为上n页切换请求，确定与所述当前播放时刻相对应的当前页面编码；
第二区间确定子模块，用于确定所述当前页面编码之前的第n个页面编码；以及
第一时刻确定子模块，用于确定所述多个页面初始时刻中与所述第n个页面编码对应的页面初始时刻作为所述目标页面初始时刻。
7.根据权利要求6所述的装置，其中，所述变化确定模块包括：
解密子模块，用于逐帧解码所述视频流，得到多个帧图像；
压缩子模块，用于将所述多个帧图像的图像分辨率压缩至预定大小；
计算子模块，用于对于所述多个帧图像中除第一帧图像之外的每个帧图像，计算所述每个帧图像与所述帧图像的前一帧图像之间的残差值；以及
确定子模块，用于在所述残差值大于残差阈值的情况下，确定所述帧图像相对于所述前一帧图像发生变化。
8.根据权利要求7所述的装置，其中，所述计算子模块包括：
第一转换单元，用于将所述帧图像转换到YUV颜色空间，得到所述帧图像每个像素的明亮度和色度；
第二转换单元，用于将所述前一帧图像转换到YUV颜色空间，得到所述前一帧图像每个像素的明亮度和色度；
计算单元，用于计算所述帧图像每个像素的明亮度与所述前一帧图像中对应像素的明亮度之间的第一差值，以及所述帧图像每个像素的色度与所述前一帧图像中对应像素的色度之间的第二差值；以及
确定单元，用于根据所述第一差值和所述第二差值，确定所述残差值。
9. 根据权利要求6所述的装置，还包括：
时间差确定模块，用于确定与所述帧图像对应的视频时刻与所述第一帧图像的视频时刻之间的时间差；以及
第二记录模块，用于在所述时间差大于时间阈值的情况下，记录与所述每个帧图像对应的视频时刻作为页面初始时刻。
10.根据权利要求6所述的装置，其中，在所述页面切换请求包括下m页切换请求的情况下，其中m为正整数，所述下m页切换请求中的目标页面编码为与所述当前播放时刻相对应的当前页面编码之后的第m个页面编码；根据时刻确定模块包括：
第三区间确定子模块，用于响应于所述页面切换请求为下m页切换请求，确定与所述当前播放时刻相对应的当前页面编码；
第四区间确定子模块，用于确定所述当前页面编码之后的第m个页面编码；以及
第二时刻确定子模块，用于确定所述多个页面初始时刻中与所述第m个页面编码对应的页面初始时刻作为所述目标页面初始时刻。
11. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111408979.2A CN114125498B (zh) | 2021-11-24 | 2021-11-24 | 视频数据处理方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111408979.2A CN114125498B (zh) | 2021-11-24 | 2021-11-24 | 视频数据处理方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114125498A CN114125498A (zh) | 2022-03-01 |
| CN114125498B true CN114125498B (zh) | 2024-02-27 |
Family
ID=80372699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111408979.2A Active CN114125498B (zh) | 2021-11-24 | 2021-11-24 | 视频数据处理方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114125498B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022679B (zh) * | 2022-05-30 | 2023-08-29 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备和介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106559712A (zh) * | 2016-11-28 | 2017-04-05 | 北京小米移动软件有限公司 | 视频播放处理方法、装置及终端设备 |
| WO2017092433A1 (zh) * | 2015-12-03 | 2017-06-08 | 乐视控股（北京）有限公司 | 视频实时播放方法及装置 |
| CN108024139A (zh) * | 2017-12-08 | 2018-05-11 | 广州视源电子科技股份有限公司 | 网络视频课件的播放方法、装置、终端设备及存储介质 |
| WO2019228120A1 (zh) * | 2018-06-01 | 2019-12-05 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置、终端及存储介质 |
| CN111836106A (zh) * | 2020-07-29 | 2020-10-27 | 深圳市睿策者科技有限公司 | 在线视频播放监控处理方法、装置、计算机和存储介质 |
| CN112637661A (zh) * | 2020-12-22 | 2021-04-09 | 广州博冠信息科技有限公司 | 视频流的切换方法及装置、计算机存储介质、电子设备 |
| CN112702617A (zh) * | 2020-12-15 | 2021-04-23 | 湖南新云网科技有限公司 | 直播视频页面的缓存方法、显示方法及相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109640188B (zh) * | 2018-12-28 | 2020-02-07 | 北京微播视界科技有限公司 | 视频预览方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-11-24 CN CN202111408979.2A patent/CN114125498B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092433A1 (zh) * | 2015-12-03 | 2017-06-08 | 乐视控股（北京）有限公司 | 视频实时播放方法及装置 |
| CN106559712A (zh) * | 2016-11-28 | 2017-04-05 | 北京小米移动软件有限公司 | 视频播放处理方法、装置及终端设备 |
| CN108024139A (zh) * | 2017-12-08 | 2018-05-11 | 广州视源电子科技股份有限公司 | 网络视频课件的播放方法、装置、终端设备及存储介质 |
| WO2019228120A1 (zh) * | 2018-06-01 | 2019-12-05 | 腾讯科技（深圳）有限公司 | 视频互动方法、装置、终端及存储介质 |
| CN111836106A (zh) * | 2020-07-29 | 2020-10-27 | 深圳市睿策者科技有限公司 | 在线视频播放监控处理方法、装置、计算机和存储介质 |
| CN112702617A (zh) * | 2020-12-15 | 2021-04-23 | 湖南新云网科技有限公司 | 直播视频页面的缓存方法、显示方法及相关设备 |
| CN112637661A (zh) * | 2020-12-22 | 2021-04-09 | 广州博冠信息科技有限公司 | 视频流的切换方法及装置、计算机存储介质、电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| On the Minimum Perceptual Temporal Video Sampling Rate and Its Application to Adaptive Frame Skipping;Christoph Bachhuber;《IEEE Transactions on Circuits and Systems for Video Technology》;全文 * |
| 基于双阈值灰度直方图的场景切换检测算法及实现;陆思烨;《上海工程技术大学学报》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114125498A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112104915B (zh) | 一种视频数据处理方法、装置及存储介质 | |
| CN114125498B (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
| CN114222196A (zh) | 一种剧情解说短视频的生成方法、装置及电子设备 | |
| CN112989112B (zh) | 在线课堂内容采集方法及装置 | |
| CN114168793A (zh) | 主播展示方法、装置、设备和存储介质 | |
| CN112843681B (zh) | 虚拟场景控制方法、装置、电子设备及存储介质 | |
| CN113656125A (zh) | 一种虚拟助手生成的方法、装置及电子设备 | |
| CN111309200B (zh) | 一种扩展阅读内容的确定方法、装置、设备及存储介质 | |
| CN114071190B (zh) | 云应用视频流处理方法、相关装置及计算机程序产品 | |
| CN113542888B (zh) | 视频的处理方法、装置、电子设备及存储介质 | |
| CN113038237B (zh) | 直播信息处理方法、装置、设备及存储介质 | |
| CN115665363A (zh) | 一种视频会议方法、装置、设备和存储介质 | |
| CN112672202B (zh) | 弹幕处理方法、设备和存储介质 | |
| CN113873323A (zh) | 视频播放方法、装置、电子设备和介质 | |
| CN114065783A (zh) | 文本翻译方法、装置、电子设备和介质 | |
| CN113923477A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| CN114245171A (zh) | 视频编辑方法、装置、电子设备、介质 | |
| CN113760162A (zh) | 用于显示信息的方法、装置、设备以及存储介质 | |
| CN113627363B (zh) | 视频文件的处理方法、装置、设备以及存储介质 | |
| CN112242140A (zh) | 智能设备控制方法、装置、电子设备及存储介质 | |
| CN115942039B (zh) | 视频生成方法、装置、电子设备和存储介质 | |
| CN114363704B (zh) | 视频播放方法、装置、设备以及存储介质 | |
| CN113657230B (zh) | 训练新闻视频识别模型的方法、检测视频的方法及其装置 | |
| CN115103054B (zh) | 信息处理方法、装置、电子设备及介质 | |
| CN116074576A (zh) | 视频生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |