CN113840147B - 一种基于智能数字视网膜的视频处理方法和装置 - Google Patents
一种基于智能数字视网膜的视频处理方法和装置 Download PDFInfo
- Publication number
- CN113840147B CN113840147B CN202111418776.1A CN202111418776A CN113840147B CN 113840147 B CN113840147 B CN 113840147B CN 202111418776 A CN202111418776 A CN 202111418776A CN 113840147 B CN113840147 B CN 113840147B
- Authority
- CN
- China
- Prior art keywords
- data
- deleted
- video
- time window
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012098 association analyses Methods 0.000 claims description 5
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 230000000875 corresponding effect Effects 0.000 description 99
- 238000012217 deletion Methods 0.000 description 16
- 230000037430 deletion Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 210000004727 amygdala Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008827 biological function Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002438 stress hormone Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种基于智能数字视网膜的视频处理方法和装置，所述方法包括：将时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。本申请实施例提供的视频处理方法，能够根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，精准地确定并删除目标时间窗的待删除的数据片，这样，能够有效地减少基于智能数字视网膜的视频处理过程中的存储开销。
Description
技术领域
本发明涉及视频处理技术领域，特别涉及一种基于智能数字视网膜的视频处理方法和装置。
背景技术
自从数字视网膜概念提出以来，在视频编解码、视频监控等领域引起了较大的关注。在传统的图像处理领域，视频压缩和视频分析分属不同的两个领域，数字视网膜技术受人类视网膜的生物学功能启发，率先提出了视频压缩、视频分析一体化的智能图像传感器。具体而言，数字视网膜的特点在于能够同时获得视频压缩数据和视频特征数据，并通过数据流传送至云端，便于后期的回放和检索。为了获取图像的特征流，数字视网膜技术引入了模型流的概念，也就是说图像采集前端可以根据需求应用不同的特征提取模型，这些模型可以通过云端存储和反向传输的方式发送到图像采集前端。
在视频压缩方面，基本的理念是通过计算压缩视频的时空冗余信息。视频压缩的基本范式在过去数十年来没有发生较大的改变，基于分块的视频压缩编解码技术发展得非常成熟，其具有计算复杂度适中、压缩率高、重建质量高等特点，因此在过去的数十年里得到了非常广泛的应用，目前主流的编解码技术包括H.264/H.265/H.266以及MPEG2/MPEG4等均主要以基于分块的视频编解码技术。从早期的视频编码开始，编码理论的范式就没有改变过，新一代的编码标准所采用的技术都是通过“计算换空间”的方法来提升压缩比率。例如从H.264到H.265的演进，压缩率提升了50%，但是同时也带来了更大的计算需求。这是由于使用了更灵活的编码单元，更灵活的参考帧，使得基于运动补偿的压缩方法挖掘了更多的压缩潜力。
由于数字视网膜框架融合了与视频相关的特征识别和数据压缩两个方面，因此创造了一种新的范式，这种范式排除了以单一参数为衡量的某种技术，而是以一种面向复杂目标的综合性评价方法。这也正是从视网膜的生物结构中获得的宝贵启示，视网膜并不是单纯的传输或压缩图像数据，而是服务于大脑各项复杂任务的智能前端设备。
然而，数字视网膜技术虽然带来了视频的采集和分析的一体化和智能化，然而这也意味着对存储空间提出了更高的要求。云服务器一方面要存储视频流数据，一方面又要存储特征流数据，同时还需要存储模型数据。
如何降低基于智能数字视网膜的视频处理方法的存储开销，是待解决的技术问题。
发明内容
基于此，有必要针对基于现有基于智能数字视网膜的视频处理方法需要消耗大量的存储开销的问题，提供一种基于智能数字视网膜的视频处理方法、装置、电子设备和存储介质。
第一方面，本申请实施例提供了一种基于智能数字视网膜的视频处理方法，所述方法包括：
获取视频流和对应的特征流；
按照预设划分方式对所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；
将所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。
在一种实施方式中，所述待删除的数据片包括所述目标时间窗的第一待删除的视频数据片和所述目标时间窗的第一待删除的特征数据片；所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：
根据所述目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第一待删除的视频数据片和所述第一待删除的特征数据片。
在一种实施方式中，所述待删除的数据片包括所述目标时间窗的第二待删除的视频数据片，所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第二待删除的视频数据片。
在一种实施方式中，所述方法还包括：
根据预设删除方式删除所述目标时间窗的待删除的视频数据片。
在一种实施方式中，所述根据预设删除方式删除所述目标时间窗的待删除的视频数据片包括：
获取所述目标时间窗内的总数据量，以及获取最大待分配存储数据量；
计算所述目标时间窗内的总数据量和所述最大待分配存储数据量之间的差值；
基于所述差值确定所述目标时间窗的所述待删除的视频数据片；
将所述待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；
存储所述目标时间窗的特征数据片和所述重建特征数据。
在一种实施方式中，所述方法还包括：
获取视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据；
基于所述视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据，对所述目标时间窗的待删除的数据片进行重建处理，生成对应的重建视频数据。
在一种实施方式中，所述方法还包括：
基于深度模型的类型匹配对应的视频重建模型。
在一种实施方式，所述基于深度模型的类型匹配对应的视频重建模型包括：
若所述深度模型为生成图像为具有第一预设分辨率范围的模型，则匹配出的对应的视频重建模型为具有第二预设分辨率范围的重建深度模型；或者，
若所述深度模型为特征提取模型，则匹配出的对应的视频重建模型为自编码机的解码器；或者，
若所述深度模型为基于生成对抗模型进行重建特征提取的模型，则匹配出的对应的视频重建模型为生成对抗网络。
第二方面，本申请实施例提供了一种基于智能数字视网膜的视频处理装置，所述装置包括：
获取模块，用于获取视频流和对应的特征流；
划分模块，用于按照预设划分方式对所述获取模块获取的所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；
关联解析模块，用于将所述划分模块得到的所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；
确定及删除模块，用于根据目标时间窗对应的待删除数据的数据量和所述关联解析模块得到的每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。
第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现如上所述的方法步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现如上所述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，获取视频流和对应的特征流；按照预设划分方式对视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；将时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；以及根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。本申请实施例提供的基于智能数字视网膜的视频处理方法，能够根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，精准地确定并删除目标时间窗的待删除的数据片，这样，能够有效地减少基于智能数字视网膜的视频处理过程中的存储开销。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于智能数字视网膜的视频处理方法的流程示意图；
图2是本申请实施例提供的具体应用场景下的存储判决工作机制示意图；
图3是本申请实施例提供的具体应用场景下的时间窗对应的视频数据片和特征数据片的示意图；
图4是本申请实施例提供的具体应用场景下的时间窗对应的删除视频数据片和删除特征数据片的示意图；
图5是本申请实施例提供的具体应用场景下的存储重建特征数据存储特征数据片的示意图；
图6是本申请实施例提供的一种基于智能数字视网膜的视频处理装置的结构示意图；
图7示出了根据本申请实施例的电子设备连接结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
如图1所示，是本申请实施例提供的一种基于智能数字视网膜的视频处理方法的流程示意图；如图1所示，本申请实施例提供了一种基于智能数字视网膜的视频处理方法，具体包括如下方法步骤：
S102：获取视频流和对应的特征流。
本申请实施例提供的视频处理方法是基于智能数字视网膜技术，该智能数字视网膜技术的原理具体如下所述：
前端设备同时具有视频压缩和用于视频特征提取的深度模型。由于后端可以通过传输的方法向前端部署不同的模型，因此，可以理解前端设备拥有自适应获取任何深度模型的能力。因此，只要在离线的情况下训练一个具有特殊特征提取能力的模型，都可以通过智能数字视网膜模型流部署到前端设备处。在云端，特征流的主要目的在于进行图像检索，在用户得到检索结果后，一种常见的联动需求就是对图像或视频进行回放。然而，在诸如智慧城市等应用领域，一个大型城市的前端采集设备高达上百万。尽管云服务器和高速通信网络能够实现数据的传输和云端处理，但是存储空间仍然是一个制约瓶颈。这是因为实时生成的视频数据的数据量巨大造成的，云端的存储器在过往只能存储有限时间内的视频数据流。由于传统视频编码技术是基于像素的，因此存储端只能根据时间戳来选择保留视频数据，例如只保存过去7天的数据，换句话，系统将自动“遗忘”7天之前的数据。然而，这与人脑记忆数据的方式是完全不同的，人脑对视频数据的记忆几乎是不基于像素的，例如杏仁核负责基于情绪的记忆，杏仁核在压力荷尔蒙的作用下形成重要的记忆，也就是说杏仁核是基于事件的重要性来存储数据的；小脑记忆数据的模式则是基于隐式信息，而不是直接信息；前额叶层负责对加工后的语义信息进行加工和记忆；此外，大脑还进行长短期记忆的转换，这个工作是通过海马体来完成的。
本申请实施例提供的视频处理方法中所采用的智能数字视网膜不仅能够提供视频流和特征流的同时获取和传输，还能够对数据进行存储，并利用新增的特征流数据。
S104：按照预设划分方式对视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片。
在一种实施方式中，预设划分方式可以为：时间片的划分按照等长的时间片划分。在另外一种实施方式中，预设划分方式可以为：时间片的划分按照编码的GOP分段划分。
S106：将时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数。
S108：根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。
在一种可能的实现方式中，待删除的数据片包括目标时间窗的第一待删除的视频数据片和目标时间窗的第一待删除的特征数据片，根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片包括以下步骤：
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除第一待删除的视频数据片和第一待删除的特征数据片。
在一种可能的实现方式中，待删除的数据片包括目标时间窗的第二待删除的视频数据片，根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片包括以下步骤：
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除第二待删除的视频数据片。
如图2所示，是本申请实施例提供的具体应用场景下的存储判决工作机制示意图。
如图2所示，搜索引擎用于为用户提供视频检索。搜索引擎用户从特征存储器中匹配出搜索结果，并反馈给用户。如果用户进一步有视频回放的需求，则回放引擎会根据时间戳信息对视频流信息进行解码，并播放视频。进一步，如图3所示存储判决模块，该模块根据搜索引擎的搜索结果和/或回放引擎的播放结果，生成对特征数据和视频流数据的删除/保留决定。这是由于，搜索引擎获得用户的特征输入，这意味着搜索的特征属于用户关注特征。回放引擎的用户操作也与用户关注的内容高度关联。因此，存储判决模块通过用户的反馈判断保留的特征和视频数据。
下面具体介绍存储判决的工作机制。
首先，将视频流和对应的特征流进行时间片划分。在一种实施方式中，时间片的划分按照等长的时间片划分。在另外一种实施方式中，时间片的划分按照编码的GOP分段划分。进一步，将每个时间片与搜索和回放的数量进行关联。得到与每个时间片对应的一个关注次数。在一个时间窗内，计算生成一个删除数据的数据量，并将该数据量按照关注次数由低到高的顺序删除。时间窗周期性更新，因此，周期性执行数据删除。如图3所示，每个视频数据片对应了与其时间相同的特征数据片，并且都有与一个关注次数相关联。注意，在相同时间内的视频数据片和特征数据片对应的关注次数并不一定相等。时间窗覆盖了时间戳3～时间戳8的视频数据片和特横数据片。
进一步，根据时间窗内的关注次数和计划的数据删除量，存储判决模块在一种示例中将删除时间戳4对应的视频数据片和时间戳5对应的特征数据片。具体的，假设时间窗内总数据量为
，而最大的可分配存储空间为
，且有
。
此时，删除判决根据
计算执行删除的数据片，在图2中可以直接按照关注次数计算出结果，但本申请实施例提供的视频处理方法包括使用任何算法来计算出所需的删除数据片。删除后的数据如图4所示。由于特征数据量的多少取决于所使用的特征提取模型，在一些情况下特征流的数据量非常小，将对应的特征数据片删除并不能节约太多的存储空间。因此，在一种实施方式中，删除过程可以只在视频数据片或特征数据片上进行。
在一种可能的实现方式中，本申请实施例提供的视频处理方法还包括以下步骤：
根据预设删除方式删除目标时间窗的待删除的视频数据片。
在本申请实施例提供的视频处理方法中，视频或特征数据的删除是一种直接删除，也就是所有相关的数据将被放弃。尽管这种方法较为容易实施，但是却存在一些弊端。在有限的时间内，关注次数的分布并不能代表所有的潜在用户需求。如果一段数据被删除，则用户将无法再对时间戳内的视频获得任何反馈。因此，如果能通过其他方法满足小概率的需求进行响应的方法，则相比传统的存储和删除方法带来质的突破。由于云端的存储资源受限，但计算资源则是可以在任何时间进行协调的。因此，在一种实施方式中，数据的删除采用“不完全”删除的方法。
在本申请实施例中，预设删除方式为“不完全”删除的方法，具体步骤如下所述：
S1：根据时间窗和分配的存储资源，计算出待删除的视频数据片。
S2：对待删除的视频数据进行删除，并生成可用于重建视频数据的特征数据。
S3：保留特征数据片和S2中生成的重建特征数据。
如前所述，图4的视频数据片可以是一个封闭的GOP，这意味着删除一个视频数据片不只是删除其中数据量较少的B帧或P帧，也包括了数据量较大的I帧。由于一个封闭的GOP是独立编码的，因此意味着该数据片内的所有视频数据将完全消失。因此，S2中所述的特征数据是不依赖于任何基于块编码的视频数据的。在一种较为可行的方法中，S2的重建视频数据的特征数据是通过深度学习模型获得的。图5展示了上述过程的示意图。根据存储判决结果，一个视频数据片被输入至一个深度模型，用于提取重建特征数据，同时原始编码数据将被丢弃。最终，在存储器端将只保留重建特征数据和特征数据片。
在一种可能的实现方式中，根据预设删除方式删除目标时间窗的待删除的视频数据片包括以下步骤：
获取目标时间窗内的总数据量，以及获取最大待分配存储数据量；
计算目标时间窗内的总数据量和最大待分配存储数据量之间的差值；
基于差值确定目标时间窗的待删除的视频数据片；
将待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；
存储目标时间窗的特征数据片和重建特征数据。
在一种可能的实现方式中，本申请实施例提供的视频处理方法还包括以下步骤：
获取视频重建模型、未删除的视频数据、目标时间窗的特征数据片和重建特征数据；
基于视频重建模型、未删除的视频数据、目标时间窗的特征数据片和重建特征数据，对目标时间窗的待删除的数据片进行重建处理，生成对应的重建视频数据。
在一种可能的实现方式中，本申请实施例提供的视频处理方法还包括以下步骤：
基于深度模型的类型匹配对应的视频重建模型。
在一种可能的实现方式中，基于深度模型的类型匹配对应的视频重建模型包括以下步骤：
若深度模型为生成图像为具有第一预设分辨率范围的模型，则匹配出的对应的视频重建模型为具有第二预设分辨率范围的重建深度模型。
在本步骤中，第一预设分辨率范围往往为超低分辨率的范围，对应的重建深度模型的第二预设分辨率范围为超高分辨率范围。若深度模型是一个能够生成超低分辨率图像的模型时，则生成的超低分辨率图像是经过基于残差的编码方式进行连续图像的编码而生成的图像。
在一种可能的实现方式中，基于深度模型的类型匹配对应的视频重建模型包括以下步骤：
若深度模型为特征提取模型，则匹配出的对应的视频重建模型为自编码机的解码器。
在本步骤中，若深度模型为特征提取模型，例如，子编码机的编码器，则对应的视频重建模型为自编码机的解码器。
在一种可能的实现方式中，基于深度模型的类型匹配对应的视频重建模型包括以下步骤：
若深度模型为基于生成对抗模型进行重建特征提取的模型，则匹配出的对应的视频重建模型为生成对抗网络。
在本步骤中，若深度模型为基于生成对抗模型进行重建特征提取的模型时，该特征提取的模型主要用于提取人体的骨骼特征和外观属性信息的记忆特征，则对应的视频重建模型为一个生成对抗网络。该生成对抗网络的输入为特征值，并根据一个训练后的生成模型来重建视频数据。
经过如图5所示的处理，存储判决器结合深度模型仍然能保证时间窗内的存储空间消耗量。同时，由于特征数据片保存完整，因此，用户可能产生对已经删除的视频数据片产生回放需求。此时，回放引擎将利用深度模型从重建特征数据中重建删除的数据。用于视频重建的深度模型与图5中用于重建特征提取的深度模型一一对应。
在本申请实施例中，获取视频流和对应的特征流；按照预设划分方式对视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；将时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；以及根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。本申请实施例提供的基于智能数字视网膜的视频处理方法，能够根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，精准地确定并删除目标时间窗的待删除的数据片，这样，能够有效地减少基于智能数字视网膜的视频处理过程中的存储开销。
下述为本申请实施例基于智能数字视网膜的视频处理实施例，可以用于执行本申请实施例基于智能数字视网膜的视频处理方法实施例。对于本申请实施例基于智能数字视网膜的视频处理装置实施例中未披露的细节，请参照本申请实施例基于智能数字视网膜的视频处理方法实施例。
请参见图6，其示出了本发明一个示例性实施例提供的基于智能数字视网膜的视频处理装置的结构示意图。该基于智能数字视网膜的视频处理装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该基于智能数字视网膜的视频处理装置包括获取模块602、划分模块604、关联解析模块606和确定及删除模块608。
具体而言，获取模块602，用于获取视频流和对应的特征流；
划分模块604，用于按照预设划分方式对获取模块602获取的视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；
关联解析模块606，用于将划分模块604得到的时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；
确定及删除模块608，用于根据目标时间窗对应的待删除数据的数据量和关联解析模块606得到的每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。
可选的，待删除的数据片包括目标时间窗的第一待删除的视频数据片和目标时间窗的第一待删除的特征数据片，确定及删除模块608用于：
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除第一待删除的视频数据片和第一待删除的特征数据片。
可选的，待删除的数据片包括目标时间窗的第二待删除的视频数据片，确定及删除模块608用于：
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除第二待删除的视频数据片。
可选的，所述装置还包括：
删除模块（在图6中未示出），用于根据预设删除方式删除目标时间窗的待删除的视频数据片。
可选的，删除模块具体用于：
获取目标时间窗内的总数据量，以及获取最大待分配存储数据量；
计算目标时间窗内的总数据量和最大待分配存储数据量之间的差值；
基于差值确定目标时间窗的待删除的视频数据片；
将待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；
存储目标时间窗的特征数据片和重建特征数据。
可选的，获取模块602还用于：获取视频重建模型、目标时间窗的特征数据片和重建特征数据；
可选的，所述装置还包括：
视频数据重建模块（在图6中未示出），用于基于获取模块602获取的视频重建模型、未删除的视频数据、目标时间窗的特征数据片和重建特征数据，对目标时间窗的待删除的数据片进行重建处理，生成对应的重建视频数据。
可选的，所述装置还包括：
重建模型匹配模块（在图6中未示出），用于基于深度模型的类型匹配对应的视频重建模型。
可选的，重建模型匹配模块具体用于：
若深度模型为生成图像为具有第一预设分辨率范围的模型，则匹配出的对应的视频重建模型为具有第二预设分辨率范围的重建深度模型；或者，
若深度模型为特征提取模型，则匹配出的对应的视频重建模型为自编码机的解码器；或者，
若深度模型为基于生成对抗模型进行重建特征提取的模型，则匹配出的对应的视频重建模型为生成对抗网络。
需要说明的是，上述实施例提供的基于智能数字视网膜的视频处理装置在执行基于智能数字视网膜的视频处理方法时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于智能数字视网膜的视频处理装置与基于智能数字视网膜的视频处理方法实施例属于同一构思，其体现实现过程详见基于智能数字视网膜的视频处理方法实施例，这里不再赘述。
在本申请实施例中，获取模块用于获取视频流和对应的特征流；划分模块用于按照预设划分方式对获取模块获取的视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；关联解析模块用于将划分模块得到的时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；以及确定及删除模块用于根据目标时间窗对应的待删除数据的数据量和关联解析模块得到的每一个时间片的关注次数，确定并删除目标时间窗的待删除的数据片，待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流。本申请实施例提供的基于智能数字视网膜的视频处理装置，能够根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，精准地确定并删除目标时间窗的待删除的数据片，这样，能够有效地减少基于智能数字视网膜的视频处理过程中的存储开销。
如图7所示，本实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器运行计算机程序以实现如上所述的方法步骤。
本申请实施例提供了一种存储有计算机可读指令的存储介质，其上存储有计算机程序，程序被处理器执行实现如上所述的方法步骤。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备的结构示意图。本申请实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，电子设备可以包括处理装置（例如中央处理器、图形处理器等）701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储装置708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有电子设备操作所需的各种程序和数据。处理装置701、ROM702以及RAM703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM702被安装。在该计算机程序被处理装置701执行时，执行本申请实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (8)
1.一种基于智能数字视网膜的视频处理方法，其特征在于，所述方法包括：
获取视频流和对应的特征流；
按照预设划分方式对所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；
将所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流；
根据预设删除方式删除所述目标时间窗的待删除的视频数据片，包括：
获取所述目标时间窗内的总数据量，以及获取最大待分配存储数据量；
计算所述目标时间窗内的总数据量和所述最大待分配存储数据量之间的差值；
基于所述差值确定所述目标时间窗的所述待删除的视频数据片；
将所述待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；
存储所述目标时间窗的特征数据片和所述重建特征数据；
获取视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据；
基于所述视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据，对所述目标时间窗的待删除的数据片进行重建处理，生成对应的重建视频数据。
2.根据权利要求1所述的方法，其特征在于，所述待删除的数据片包括所述目标时间窗的第一待删除的视频数据片和所述目标时间窗的第一待删除的特征数据片；所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：
根据所述目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第一待删除的视频数据片和所述第一待删除的特征数据片。
3.根据权利要求1所述的方法，其特征在于，所述待删除的数据片包括所述目标时间窗的第二待删除的视频数据片，所述根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片包括：
根据目标时间窗对应的待删除数据的数据量和每一个时间片的关注次数，确定并删除所述第二待删除的视频数据片。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于深度模型的类型匹配对应的视频重建模型。
5.根据权利要求4所述的方法，其特征在于，所述基于深度模型的类型匹配对应的视频重建模型包括：
若所述深度模型为生成图像为具有第一预设分辨率范围的模型，则匹配出的对应的视频重建模型为具有第二预设分辨率范围的重建深度模型；或者，
若所述深度模型为特征提取模型，则匹配出的对应的视频重建模型为自编码机的解码器；或者，
若所述深度模型为基于生成对抗模型进行重建特征提取的模型，则匹配出的对应的视频重建模型为生成对抗网络。
6.一种基于智能数字视网膜的视频处理装置，其特征在于，所述装置包括：
获取模块，用于获取视频流和对应的特征流；
划分模块，用于按照预设划分方式对所述获取模块获取的所述视频流和对应的特征流进行时间片划分，得到对应的时间片划分结果，所述时间片划分结果包括每一个时间片对应的时间戳、对应的视频数据片和对应的特征数据片；
关联解析模块，用于将所述划分模块得到的所述时间片划分结果中的每一个时间片与搜索数量和／或回放数量进行关联和解析，得到每一个时间片的关注次数；
确定及删除模块，用于根据目标时间窗对应的待删除数据的数据量和所述关联解析模块得到的每一个时间片的关注次数，确定并删除所述目标时间窗的待删除的数据片，所述待删除的数据片包括待删除的视频数据片和／或待删除的特征数据片，得到处理后的视频流和对应的特征流；
根据预设删除方式删除所述目标时间窗的待删除的视频数据片，包括：
获取所述目标时间窗内的总数据量，以及获取最大待分配存储数据量；
计算所述目标时间窗内的总数据量和所述最大待分配存储数据量之间的差值；
基于所述差值确定所述目标时间窗的所述待删除的视频数据片；
将所述待删除的视频数据片删除，并生成用于重建视频数据的重建特征数据；
存储所述目标时间窗的特征数据片和所述重建特征数据；
获取视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据；
基于所述视频重建模型、未删除的视频数据、所述目标时间窗的特征数据片和所述重建特征数据，对所述目标时间窗的待删除的数据片进行重建处理，生成对应的重建视频数据。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-5任一项所述的视频处理方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-5中任一项所述的视频处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111418776.1A CN113840147B (zh) | 2021-11-26 | 2021-11-26 | 一种基于智能数字视网膜的视频处理方法和装置 |
| PCT/CN2022/124876 WO2023093339A1 (zh) | 2021-11-26 | 2022-10-12 | 一种基于智能数字视网膜的视频处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111418776.1A CN113840147B (zh) | 2021-11-26 | 2021-11-26 | 一种基于智能数字视网膜的视频处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113840147A CN113840147A (zh) | 2021-12-24 |
| CN113840147B true CN113840147B (zh) | 2022-04-05 |
Family
ID=78971696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111418776.1A Active CN113840147B (zh) | 2021-11-26 | 2021-11-26 | 一种基于智能数字视网膜的视频处理方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113840147B (zh) |
| WO (1) | WO2023093339A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113840147B (zh) * | 2021-11-26 | 2022-04-05 | 浙江智慧视频安防创新中心有限公司 | 一种基于智能数字视网膜的视频处理方法和装置 |
| CN114157863B (zh) * | 2022-02-07 | 2022-07-22 | 浙江智慧视频安防创新中心有限公司 | 基于数字视网膜的视频编码方法、系统及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011140786A1 (zh) * | 2010-10-29 | 2011-11-17 | 华为技术有限公司 | 一种视频兴趣物体提取与关联的方法及系统 |
| US10891019B2 (en) * | 2016-02-29 | 2021-01-12 | Huawei Technologies Co., Ltd. | Dynamic thumbnail selection for search results |
| CN107846576B (zh) * | 2017-09-30 | 2019-12-10 | 北京大学 | 用于视觉特征数据编解码的方法及系统 |
| CN110035330B (zh) * | 2019-04-16 | 2021-11-23 | 上海平安智慧教育科技有限公司 | 基于在线教育的视频生成方法、系统、设备及存储介质 |
| CN111092926B (zh) * | 2019-08-28 | 2021-10-22 | 北京大学 | 一种数字视网膜多元数据快速关联方法 |
| CN111787218A (zh) * | 2020-06-18 | 2020-10-16 | 安徽超清科技股份有限公司 | 一种基于数字视网膜技术的监控相机 |
| CN113110421B (zh) * | 2021-03-23 | 2023-03-24 | 特斯联科技集团有限公司 | 一种景区河道视觉识别移动船只跟踪联动方法和系统 |
| CN113269722A (zh) * | 2021-04-22 | 2021-08-17 | 北京邮电大学 | 生成对抗网络的训练方法、及高分辨率图像重建方法 |
| CN113840147B (zh) * | 2021-11-26 | 2022-04-05 | 浙江智慧视频安防创新中心有限公司 | 一种基于智能数字视网膜的视频处理方法和装置 |
-
2021
- 2021-11-26 CN CN202111418776.1A patent/CN113840147B/zh active Active
-
2022
- 2022-10-12 WO PCT/CN2022/124876 patent/WO2023093339A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023093339A1 (zh) | 2023-06-01 |
| CN113840147A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| He et al. | Rubiks: Practical 360-degree streaming for smartphones | |
| CN113840147B (zh) | 一种基于智能数字视网膜的视频处理方法和装置 | |
| US9912974B2 (en) | Shot structure of online video as a predictor of success | |
| CN110933429B (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
| JP6735927B2 (ja) | ビデオコンテンツの要約処理 | |
| US10965948B1 (en) | Hierarchical auto-regressive image compression system | |
| CN112437345B (zh) | 视频倍速播放方法、装置、电子设备及存储介质 | |
| CN110996131B (zh) | 视频编码方法、装置、计算机设备及存储介质 | |
| CN114679607B (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
| CN116233445B (zh) | 视频的编解码处理方法、装置、计算机设备和存储介质 | |
| CN113254684A (zh) | 一种内容时效的确定方法、相关装置、设备以及存储介质 | |
| KR20230171479A (ko) | 인터럽트 가능한 비디오 트랜스코딩 | |
| CN115481283A (zh) | 音视频特征提取方法、装置、电子设备及计算机可读存储介质 | |
| WO2019047663A1 (zh) | 一种基于视频格式的端到端自动驾驶数据的存储方法及装置 | |
| CN111385576A (zh) | 视频编码方法、装置、移动终端及存储介质 | |
| US20180084250A1 (en) | System and method for determinig and utilizing priority maps in video | |
| CN110852801B (zh) | 信息处理方法、装置及设备 | |
| CN113039805A (zh) | 使用多个标记按照帧精确地自动剪切媒体内容 | |
| US11178413B1 (en) | Dynamically transitioning a digital video file between encoding states | |
| CN114666622A (zh) | 特效视频确定方法、装置、电子设备及存储介质 | |
| CN111800649A (zh) | 存储视频的方法和装置以及生成视频的方法和装置 | |
| CN114630129A (zh) | 一种基于智能数字视网膜的视频编解码方法和装置 | |
| US11647153B1 (en) | Computer-implemented method, device, and computer program product | |
| US20220393699A1 (en) | Method for compressing sequential records of interrelated data fields | |
| CN116612524A (zh) | 一种动作识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20211224 Assignee: HANGZHOU SHIHUI TECHNOLOGY Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2022330000278 Denomination of invention: A video processing method and device based on intelligent digital retina Granted publication date: 20220405 License type: Common License Record date: 20220707 Application publication date: 20211224 Assignee: Zhejiang Fenghuang Yunrui Technology Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2022330000279 Denomination of invention: A video processing method and device based on intelligent digital retina Granted publication date: 20220405 License type: Common License Record date: 20220707 |