CN113316817B - 用于视频帧分离以优化存储的存储系统和方法 - Google Patents
用于视频帧分离以优化存储的存储系统和方法 Download PDFInfo
- Publication number
- CN113316817B CN113316817B CN202080006883.0A CN202080006883A CN113316817B CN 113316817 B CN113316817 B CN 113316817B CN 202080006883 A CN202080006883 A CN 202080006883A CN 113316817 B CN113316817 B CN 113316817B
- Authority
- CN
- China
- Prior art keywords
- frames
- video
- storage system
- memory
- host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000000926 separation method Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 239000004065 semiconductor Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000011370 conductive nanoparticle Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000003989 dielectric material Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012005 ligant binding assay Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012782 phase change material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提供了一种用于视频帧分离以优化存储的存储系统和方法。在一个实施方案中,提出了一种存储系统,该存储系统包括存储器和控制器。控制器被配置为:从主机接收视频流;从视频流中识别多个视频帧类型;以及使用不同的存储选项来将不同视频帧类型的视频帧存储在存储器中。本发明提供了其他实施方案。
Description
技术领域
本申请涉及用于视频帧分离以优化存储的存储系统并且还涉及用于视频帧分离以优化存储的方法。
背景技术
存储系统可用于存储由主机发送到其的数据流。在监视或数字视频录像机(DVR)环境中,数据可以移动图像专家组传输流(MPEG-TS)格式存储在存储器中。将整个流存储为单个实体通常是有利的,这是因为以这种方式可容易地存储和检索数据。对于监视数据,通常仅需要在一段时间之后存储数据的一部分。为了移除不需要的数据,从存储器读取数据流,移除不必要的视频帧,并将所得的新流存储回存储器中。
附图说明
图1A是一个实施方案的非易失性存储系统的框图。
图1B是示出一个实施方案的存储模块的框图。
图1C是示出一个实施方案的分级存储系统的框图。
图2A是示出根据一个实施方案的图1A所示的非易失性存储系统的控制器的部件的框图。
图2B是示出根据一个实施方案的图1A所示的非易失性存储器存储系统的部件的框图。
图3是一个实施方案的主机和存储系统的框图。
图4是用于由主机执行的视频帧分离的一个实施方案的方法的流程图。
图5是用于由存储系统执行的视频帧分离的一个实施方案的方法的流程图。
具体实施方式
概述
通过介绍的方式,下面的实施方案涉及用于视频帧分离以优化存储的存储系统和方法。在一个实施方案中,提出了一种存储系统,该存储系统包括存储器和控制器。控制器被配置为:从主机接收视频流;从视频流中识别多个视频帧类型;以及使用不同的存储选项来将不同视频帧类型的视频帧存储在存储器中。
在一些实施方案中,不同的存储选项为不同的耐久性水平。
在一些实施方案中,第一视频帧类型是帧内编码图像帧(I帧),并且第二视频帧类型是预测图像帧(P帧)或双向预测图像帧(B帧)。
在一些实施方案中,I帧以比P帧或B帧高的耐久性水平存储。
在一些实施方案中,控制器被进一步配置为在经过一段时间之后,删除一种视频帧类型的视频帧,同时保留另一种视频帧类型的视频帧。
在一些实施方案中,控制器被配置为基于从主机接收到的信息来识别各种视频帧类型。
在一些实施方案中,存储器包括三维存储器。
在一些实施方案中,存储系统被配置为嵌入在主机中。
在一些实施方案中,存储系统被配置为可移除地与主机连接。
在另一个实施方案中,提出了一种用于视频帧分离的方法,该视频帧分离在与主机通信的存储系统中执行,该存储系统包括存储器。该方法包括:从主机接收多个视频帧,该多个视频帧由主机从视频流中提取;从主机接收关于存储参数的指令,该存储参数将由存储系统用来存储视频帧中的每个视频帧,其中不同视频帧类型的视频帧具有不同的存储参数;以及使用由主机指定的存储参数来将多个视频帧中的每个视频帧存储在存储器中。
在一些实施方案中,不同的存储参数为不同的耐久性水平。
在一些实施方案中,第一视频帧类型是帧内编码图像帧(I帧),并且第二视频帧类型是预测图像帧(P帧)或双向预测图像帧(B帧)。
在一些实施方案中,I帧以比P帧或B帧高的耐久性水平存储。
在一些实施方案中,该方法还包括在经过一段时间之后,删除一种视频帧类型的视频帧,同时保留另一种视频帧类型的视频帧。
在另一个实施方案中,提出了一种存储系统,该存储系统包括存储器以及用于根据视频帧在存储器中的预期存储寿命而使用不同存储参数将来自视频流的不同视频帧存储在存储器中的装置。
在一些实施方案中,不同的存储参数为不同的耐久性水平。
在一些实施方案中,不同的视频帧包括(i)编码内图像帧(I帧)以及(ii)预测图像帧(P帧)和/或双向预测图像帧(B帧)。
在一些实施方案中,存储器包括三维存储器。
在一些实施方案中,存储系统被配置为嵌入在主机中。
在一些实施方案中,存储系统被配置为可移除地与主机连接。
其他实施方案是可行的,并且实施方案中的每个可单独使用或组合在一起使用。因此,现在将参考附图对各种实施方案进行描述。
实施方案
在图1A-图1C中示出适用于实现这些实施方案的各方面的存储系统。图1A是示出根据本文所述的主题的一个实施方案的非易失性存储系统100的框图。参考图1A,非易失性存储系统100包括控制器102和可由一个或多个非易失性存储器管芯104组成的非易失性存储器。如本文所述,术语管芯是指在单个半导体基板上形成的非易失性存储器单元的集合,以及用于管理那些非易失性存储器单元的物理操作的相关联的电路。控制器102与主机系统进行交互,并且将用于读取操作、编程操作和擦除操作的命令序列传输到非易失性存储器管芯104。
控制器102(其可以是非易失性存储器控制器(例如闪存、电阻随机存取存储器(ReRAM)、相变存储器(PCM)或磁阻随机存取存储器(MRAM)控制器))可采用以下形式:例如,处理电路、微处理器或处理器,以及存储可由(微)处理器执行的计算机可读程序代码(例如固件)的计算机可读介质、逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌入式微控制器。控制器102可以配置有硬件和/或固件,以执行下文描述并且在流程图中示出的各种功能。另外,示出为在控制器内部的一些部件可也存储在控制器外部,并且可以使用其他部件。此外,短语“操作地与...通信”可能意味着直接或间接地(有线或无线)与一个或多个部件通信、通过一个或多个部件通信,其可在本文中示出或未示出。
如本文所用,非易失性存储器控制器是管理存储在非易失性存储器上的数据并且与主机诸如计算机或电子设备通信的设备。除了本文描述的特定功能外,非易失性存储器控制器可以具有各种功能。例如,非易失性存储器控制器可以对非易失性存储器进行格式化以确保存储器正在正确操作,标出坏的非易失性存储器单元,并且分配备用单元以替代将来的故障单元。备用单元中的一些部分可以用来容纳固件以操作非易失性存储器控制器并且实现其他特征。在操作中,当主机需要从非易失性存储器读取数据或向非易失性存储器写入数据时,它可与非易失性存储器控制器通信。如果主机提供要读取/写入数据的逻辑地址,那么非易失性存储器控制器可以将从主机接收的逻辑地址转换为非易失性存储器中的物理地址。(或者,主机可提供物理地址。)非易失性存储器控制器还可执行各种存储器管理功能,诸如但不限于损耗均衡(分配写入以避免损耗否则将被重复写入的特定存储器块)和垃圾收集(在块已满之后,仅将有效的数据页面移动到新块,因此可以擦除并且重用完整块)。
非易失性存储器管芯104可包括任何合适的非易失性存储介质,包括电阻随机存取存储器(ReRAM)、磁阻随机存取存储器(MRAM)、相变存储器(PCM)、NAND闪存单元和/或NOR闪存单元。存储器单元可以采用固态(例如,闪存)存储器单元的形式,并且可以是可一次编程、可数次编程或可多次编程的。存储器单元还可以是单级单元(SLC)、多级单元(MLC)、三级单元(TLC),或者使用现在已知或之后开发的其他存储器单元级技术。另外,存储器单元可以二维方式或三维方式制造。
位于控制器102和非易失性存储器管芯104之间的接口可为任何合适的闪存接口,诸如切换模式200、400或800。在一个实施方案中,存储系统100可为基于卡的系统,诸如安全数字卡(SD)或微型安全数字(微型SD)卡。在另选的实施方案中,存储系统100可为嵌入式存储系统的部分。
虽然在图1A所示的示例中,非易失性存储系统100(本文有时称为存储模块)包括控制器102和非易失性存储器管芯104之间的单个信道,但是本文描述的主题不限于具有单个存储器信道。例如,在一些存储系统架构中(诸如图1B和图1C中所示的架构),控制器和存储器设备之间根据控制器的能力可以存在2个、4个、8个或更多个存储器信道。在本文描述的任何实施方案中,即使在附图中示出单个信道,控制器和存储器管芯之间也可以存在超过一个单个信道。
图1B示出了包括多个非易失性存储系统100的存储模块200。同样地,存储模块200可包括存储控制器202,该存储控制器与主机以及包括多个非易失性存储系统100的存储系统204进行交互。存储控制器202和非易失性存储系统100之间的接口可以是总线接口,诸如串行高级技术附件(SATA)、外围部件快速互连(PCIe)接口或双倍数据率(DDR)接口。在一个实施方案中,存储模块200可以是诸如在服务器PC或便携式计算设备诸如膝上型计算机和平板电脑中存在的固态驱动器(SSD)或非易失性双列直插式存储器模块(NVDIMM)。
图1C是示出分级存储系统的框图。分级存储系统250包括多个存储控制器202,该多个存储控制器中的每个存储控制器控制相应的存储系统204。主机系统252可经由总线接口存取存储系统内的存储器。在一个实施方案中,总线接口可以是非易失性存储器快速(NVMe)或以太网光纤信道(FCoE)接口。在一个实施方案中,图1C所示的系统可以是机架可安装的大容量存储系统,该机架可安装的大容量存储系统能够由多个主机计算机存取,诸如在数据中心中或在需要大容量存储的其他位置中可以找到。
图2A是更详细地示出控制器102的示例性部件的框图。控制器102包括与主机进行交互的前端模块108、与一个或多个非易失性存储器管芯104进行交互的后端模块110、以及执行现在将详细描述的功能的各种其他模块。模块可以采用以下形式:例如,设计用于搭配其他部件使用的封装功能硬件单元、能够由通常执行相关功能中的特定功能的(微)处理器或处理电路执行的程序代码的一部分(例如,软件或固件),或者与更大系统进行交互的独立硬件或软件部件。控制器102的模块可包括视频帧分离器111(该视频帧分离器在下文中更详细地讨论),并且该模块可在硬件或软件/固件中实现,以从视频流中提取各种视频帧。视频帧分离器111可被配置为执行下文所讨论并且在附图中示出的算法和方法。
再次参考控制器102的模块,缓冲区管理/总线控制器114管理随机存取存储器(RAM)116中的缓冲区,并且控制控制器102的内部总线仲裁。只读存储器(ROM)118存储系统引导代码。虽然图2A所示为与控制器102分开定位,但在其他实施方案中,RAM 116和ROM118中的一者或两者可以定位在控制器内。在又其他实施方案中,RAM和ROM的部分可位于控制器102内和控制器外部。
前端模块108包括主机接口120和提供与主机或下一级存储控制器的电接口的物理层接口(PHY)122。对主机接口120的类型的选择可取决于所使用的存储器的类型。主机接口120的示例包括但不限于SATA、SATA Express、串行附接小型计算机系统接口(SAS)、光纤信道、通用串行总线(USB)、PCIe和NVMe。主机接口120通常有利于传送数据、控制信号和定时信号。
后端模块110包括错误校正代码(ECC)引擎124,该ECC引擎对从主机接收的数据字节进行编码,并且对从非易失性存储器读取的数据字节进行解码和错误校正。命令定序器126生成命令序列,诸如编程命令序列和擦除命令序列,以将其传输到非易失性存储器管芯104。RAID(独立驱动器冗余阵列)模块128管理RAID奇偶校验的生成和失败数据的恢复。RAID奇偶校验可用作写入存储器设备104中的数据的附加级的完整性保护。在一些情况下,RAID模块128可为ECC引擎124的一部分。存储器接口130向非易失性存储器管芯104提供命令序列,并从非易失性存储器管芯104接收状态信息。在一个实施方案中,存储器接口130可以是双倍数据速率(DDR)接口,诸如切换模式200、400或800接口。闪存控制层132控制后端模块110的整体操作。
存储系统100还包括其他分立部件140,诸如外部电气接口、外部RAM、电阻器、电容器或可与控制器102进行交互的其他部件。在另选的实施方案中,物理层接口122、RAID模块128、媒体管理层138和缓冲区管理/总线控制器114中的一者或多者是控制器102中不需要的任选的部件。
图2B是更详细地示出非易失性存储器管芯104的部件的框图。非易失性存储器管芯104包括外围电路141和非易失性存储器阵列142。非易失性存储器阵列142包括用于存储数据的非易失性存储器单元。非易失性存储器单元可以是任何合适的非易失性存储器单元,包括采用二维配置和/或三维配置的ReRAM、MRAM、PCM、NAND闪存存储器单元和/或NOR闪存存储器单元。非易失性存储器管芯104还包括高速缓存数据的数据高速缓存156。外围电路141包括提供状态信息到控制器102的状态机152。
再次返回图2A,闪存控制层132(其在本文中将被称为闪存转换层(FTL),或者更一般地被称为“媒体管理层”,由于存储器可以不是闪存)处理闪存错误并与主机进行交互。具体地讲,FTL(其可以是固件中的算法)负责存储器管理的内部并将来自主机的写入转换为到存储器104的写入。FTL可能是需要的,因为存储器104可能具有有限的耐久性,可能仅写入多个页面,和/或可能不写入(除非其作为块被擦除)。FTL理解存储器104的这些潜在限制,这些限制可能对主机不可见。因此,FTL尝试将来自主机的写入转换为到存储器104中的写入。
FTL可包括逻辑到物理地址(L2P)映射以及分配的高速缓存存储器。这样,FTL将来自主机的逻辑块地址(“LBA”)转换为存储器104中的物理地址。FTL可包括其他特征,诸如但不限于断电恢复(使得FTL的数据结构可在突然电力损失的情况下恢复)和损耗均衡(使得跨存储器块的损耗均匀,以防止某些块过度损耗,该过度损耗将导致更大机会出现故障)。
再次回到附图,图3是包括主机300和存储系统100的一个实施方案的系统的框图。主机300可采用任何合适的形式,包括但不限于计算机、移动电话、平板电脑、可穿戴设备、数字视频记录器、监视系统等。在该实施方案中,主机300包括处理器320和存储器330。处理器320被配置为实现视频帧分离器340。在一个实施方案中,视频帧分离器340的计算机可读程序代码存储在存储器330中并由处理器320执行(即,视频帧分离器340可以是由硬件执行的软件/固件)。在另一个实施方案中,视频帧分离器340仅在硬件中实现。在任何情况下,在一个实施方案中,视频帧分离器340可用于从视频流中提取各种视频帧,如本文所示和所述。
如上所述,存储系统可用于存储由主机发送到其的数据流。在监视或数字视频录像机(DVR)环境中,数据可以移动图像专家组传输流(MPEG-TS)格式存储在存储器中。将整个流存储为单个实体通常是有利的,这是因为以这种方式可容易地存储和检索数据。然而,这会导致整个数据频谱上数据特性(例如,耐久性)均匀一致,这通常不是必需的。此外,实际应用的需求趋向于针对不同数据类型并且有时根据数据源的动态保护、耐久性和可恢复性,如在监视环境中那样。
另外,对于监视数据,通常仅需要在一段时间(例如,两个月)之后存储数据的一部分。这样做通常是为了满足存储要求,其中针对存储容量(例如,最高至存储的50%),对较旧的数据的服务质量进行交易。为了移除不需要的数据,从存储器读取数据流,移除不必要的视频帧,并且将所得新的流存储回存储器中,这可能是降低性能并增加写入放大的低效过程。此外,将被移除的帧以与将被保持的帧相同的耐久性和保护参数被存储。相同的问题存在于不同的分组标识符。
以下实施方案可用于解决这些问题。更具体地讲,在一个实施方案中,(由主机300或存储系统100)从视频流中提取多个不同的视频帧类型,并且使用不同的存储选项来将不同视频帧类型的视频帧存储在存储系统的存储器中,其中一种视频帧类型的视频帧利用与另一种视频帧类型的视频帧不同的存储选项来存储。这解决了上述问题,其中将MPEG-TS数据存储为单个流,会在数据经过时间后逐步减少时产生吞吐量问题。该实施方案认识到,因为一些帧比其他帧重要,所以这些帧可利用不同的存储选项,诸如耐久性和保护来存储。这些实施方案还可在不同的分组标识符(PID)上执行,该分组标识符是标识传输流中的每个表或基本流的数据。通过使用该实施方案的“分离的路由”,可提高性能,并且可降低写入放大。
以下段落提供了数据流为MPEG-TS格式的一个实施方案的示例性用途。应当理解,这仅仅是示例,并且可使用其他类型的格式、帧类型和存储选项。
一般来讲,对于视频压缩,不同的视频帧使用不同的压缩算法来压缩。不同的视频帧可分类为不同的图像类型或帧类型。主要图像类型中的三者为编码内图像帧(I帧)、预测图像帧(P帧)和双向预测图像帧(B帧)。I帧是最不可压缩的,但由于I帧可在不参考其他视频帧的情况下被解码,因此I帧是独立的。I帧可以是完整图像,诸如联合图像专家组(JPEG)图像文件。相比之下,预测图像帧(P帧)(或增量帧)包含来自前一帧的图像变化,并且需要参考其他视频帧来解压缩。然而,相比I帧,P帧更可压缩。双向预测图像帧(B帧)包含当前帧与前一帧和后一帧两者之间的差异。因此,B帧提供最高量的数据压缩。
如上所述,主机300和/或存储系统100可从视频流中提取帧。现在将讨论图4和图5以示出这两个相应的选项。
首先,转到图4,在该示例中,主机300与监视系统通信。监视系统具有两个或更多个相机,该两个或更多个相机具有编码器,每个编码器输出具有音频和视频分量的程序。这些程序以MPEG-TS格式提供至主机300。当主机300接收到该程序时,主机300的处理器340的视频帧分离器340从每个程序的音频和视频分组标识符(PID)提取基本流(ES)(即,从MPEG-TS提取PID,然后从那些程序PID获得对应的音频/视频ES)。基本流是相机的音频/视频编码器的仅包含一种数据(例如,音频或视频)的输出。基于分组标识符中的信息,视频帧分离器340可识别视频流中的各种视频帧类型。利用该信息,视频帧分离器340分别提取I帧、B帧和/或P帧。
然后,主机300的处理器320向存储系统100发出命令,以利用不同的存储选项来存储不同的帧(以及任选地,不同PID)。例如,I帧可利用高级别的保护和读取可恢复性选项路由到存储系统100,并且B帧和P帧可利用快速故障或默认存储选项路由到存储系统100。这样,主机300将流式传输基本流的帧而不是传输流本身。由于能够单独解码的I帧被单独存储以获得更好的耐久性,因此能够单独解码的视频帧的流被流式传输至存储器块。这些单个帧可与传输流区分开,因为传输流遵循MPEG规范,该MPEG规范包括程序关联表(PAT)、程序映射表(PMT)和在单个视频帧中不存在的其他数据结构。
然后,存储系统100利用不同的存储选项来将不同的帧存储在存储器104中。例如,主机300指令上的存储系统100可将具有高耐久性修整的I帧存储在存储器104的单独块中,并且可将具有默认/较小耐久性修整的B帧和P帧存储到存储器的另一个块中。如果I帧是将被保留的帧,且B帧和P帧是将在逐步停止的时间删除的帧,则可能优选的是存储具有比B帧和P帧更高存储耐久性的I帧。如果B帧和P帧将在I帧之前删除,则B帧和P帧不需要与I帧一样高的耐久性,该I帧将存储更长时间。(然而,并不总是出现在I帧之前删除增量帧的情况。)这样,利用不同的存储选项来执行对不同帧的存储,而不是将视频流存储为单个实体,这可用于利用存储器参数。
这种方式优于将整个视频流作为一个实体存储在存储系统的存储器104中的现有方法。一般来讲,因为I帧是视频回放的基础,所以I帧在应用诸如监视中被认为是关键的。P帧和B帧是增量帧,在没有该增量帧的情况下视频仍然是可持续的,但由于P帧和B帧通常为运动视频带来平滑度,因此会使一些服务质量劣化。将与增量帧(P帧和B帧)分开的I帧路由到不同的存储块中,使得能够在视频将逐步停止时一次性清理增量帧块,从而便于后台重定位过程。I帧在单独的块中保留更长时间,没有任何垃圾收集通道。这优化了在每个阶段具有降低的服务质量的旧视频数据的逐步减少。因此,该实施方案可用于为各种帧类型提供不同量的数据/冗余。此外,除了最佳存储系统性能之外,存储器104的总体耐久性增加,因为数据被很好地分离并写入其本应所属的目的地。由于相同数量的设备周期需要更少的块,因此改善耐久性具有成本效益。这种有益效果增加了对成本敏感的零售产品段的价值。另外,根据不同的视频帧在存储系统100中的预期寿命来分离和存储不同的视频帧可导致更少的垃圾收集操作。
如上所述,不是主机300提取帧,控制器102(例如,使用其视频帧分离器111)可提取帧(例如,MPEG-TS分离/路由决策可在存储系统100内执行)。该实施方案在图5中示出。图5类似于图4,但不是主机300进行提取,而是前端存储控制器(或存储系统100中的任何其他合适部件)进行提取,任选地具有来自主机300的一些配置支持。在该替代方案中,存储系统100更有效,该存储系统自身执行视频帧分离,以生成独立的编码媒体并随后将视频帧从其中分离(例如,在主机指令上)。主机300可在接口上提供关于例如什么分组标识符是重要的以及关于存储系统100应该在数据保留、保护和可恢复性方面偏压基本流的偏压量的一些反馈。在操作中,主机100可具有提示机制,该提示机制依据视频帧的使用情况来标记视频帧,以用于分离到不同的块中,并且存储系统100可基于提示来自动检测帧类型。存储系统100可使用导出的或主机发起的输入,以便将视频帧分离成可以独立管理的多个存储器池。主机300还可指示存储系统100为存储期间的保护和可恢复性赋予比其他视频分组标识符优先的一些视频分组标识符以及视频帧。
无论哪个实体正在进行视频帧分离,主机300都可被配置为通过在经过时间之后向存储系统100发送删除指令来处理掉视频流中不需要的帧。(另选地,存储系统100可被配置为具有这种能力。)例如,对于典型的视频解码,B帧和P帧取决于其他帧,而I帧不取决于任何其他帧。这可在存储系统100中用于逐步移除,以检索阶段容量,其中B帧和P帧被设置在数据归约的第一阶段中,而I帧被设置在当整个视频程序需要从存储系统100中移除之时。如果视频帧存储在存储器104中,该存储器具有关于数据将在哪个阶段移除的信息,则可以大大减少垃圾收集。
又如,在多头型监视系统中(诸如在图4和图5中),视频流通常由来自多个相机的多个分组标识符形成。主机300可(例如,基于相机位置的优先级/重要性)决定将单个或一组分组标识符保持在一个存储器中,并将另一组分组标识符保持在另一个存储器中。使得能够进行类似的视频流分析,以检索基本流并提供不同的存储指令,从而执行基于需要的路由,这可利用不同数据源的适当耐久性和性能来优化总体系统吞吐量。
在一些情况下,连同基本流分离,主机300还可识别传输流中重要且忽略的视频分组标识符。例如,与在银行锁定器/出纳部分中记录程序的相机相关联的分组标识符可与在配餐厅中生成程序的相机进行比较。对应分组标识符的基本流可以偏压的方式与偏压的帧存储一起存储。
在从存储器存储中移除不需要的帧之后,剩余的帧可能够用于以某种方式重新创建视频流。例如,主机300可被配置有适当的逻辑,以利用缩短的基本流来重新创建MPEG-TS视频流以用于后续回放。
应当指出的是,存在可与这些实施方案一起使用的许多另选方案。例如,虽然根据视频讨论了上述实施方案,但这些实施方案也可应用于其他类型的媒体,诸如图像。类似于视频,图像可具有“重要的”数据以及“不重要的”数据,诸如元数据,其可改善服务质量但不是解码所必需的。
最后,如上所述,可以使用任何合适类型的存储器。半导体存储器设备包括易失性存储器设备,诸如动态随机存取存储器(“DRAM”)或静态随机存取存储器(“SRAM”)设备,非易失性存储器设备,诸如电阻式随机存取存储器(“ReRAM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存存储器(也可以被认为是EEPROM的子集)、铁电随机存取存储器(“FRAM”)和磁阻随机存取存储器(“MRAM”),以及能够存储信息的其他半导体元件。每种类型的存储器设备可具有不同的配置。例如,闪存存储器设备可以NAND配置或NOR配置进行配置。
该存储器设备可由无源元件和/或有源元件以任何组合形成。举非限制性示例而言,无源半导体存储器元件包括ReRAM设备元件,该无源半导体存储器元件在一些实施方案中包括电阻率切换存储元件诸如反熔丝、相变材料等,以及任选地包括导引元件诸如二极管等。进一步举非限制性示例而言,有源半导体存储器元件包括EEPROM和闪存存储器设备元件,该有源半导体存储器元件在一些实施方案中包括具有电荷存储区域的元件,诸如浮栅、导电纳米粒子或电荷存储介电材料。
多个存储器元件可被配置为使得它们串联连接或者使得每个元件可被单独访问。以非限制性示例的方式,NAND配置中的闪存存储器设备(NAND存储器)通常包含串联连接的存储器元件。NAND存储器阵列可被配置为使得该阵列由存储器的多个串构成,其中串由共享单个位线并作为组被访问的多个存储器元件构成。另选地,可配置存储器元件,使得每个元件可被单独访问,例如NOR存储器阵列。NAND存储器配置和NOR存储器配置为示例,并且可以其他方式配置存储器元件。
位于基板内和/或上方的半导体存储器元件可被布置成两个或三个维度,诸如二维存储器结构或三维存储器结构。
在二维存储器结构中,半导体存储器元件被布置在单个平面或单个存储器设备级中。通常,在二维存储器结构中,存储器元件被布置在平面中(例如,在x-z方向平面中),该平面基本上平行于支撑存储器元件的基板的主表面延伸。基板可以是存储器元件的层在其之上或之中形成的晶圆,或者其可以是在存储器元件形成后附接到其的承载基板。作为非限制性示例,基板可包括半导体,诸如硅。
存储器元件可被布置在处于有序阵列中(诸如在多个行和/或列中)的单个存储器设备级中。然而,存储器元件可以非常规配置或非正交配置排列。存储器元件可各自具有两个或更多个电极或接触线,诸如位线和字线。
三维存储器阵列被布置成使得存储器元件占据多个平面或多个存储器设备级,从而形成三个维度(即,在x方向、y方向和z方向上,其中y方向基本上垂直于基板的主表面,并且x方向和z方向基本上平行于基板的主表面)的结构。
作为非限制性示例,三维存储器结构可被垂直地布置为多个二维存储器设备级的堆叠。作为另一个非限制性示例,三维存储器阵列可被布置为多个垂直列(例如,基本上垂直于基板的主表面延伸的列,即,在y方向上),其中在每一列中每一列均具有多个存储器元件。列可以二维配置例如在x-z平面中布置,从而得到存储器元件的三维布置,其中元件位于多个垂直堆叠的存储器平面上。三维存储器元件的其他配置也可构成三维存储器阵列。
举非限制性示例而言,在三维NAND存储器阵列中,存储器元件可耦接在一起以在单个水平(例如,x-z)存储器设备级内形成NAND串。另选地,存储器元件可耦接在一起以形成横贯多个水平存储器设备级的垂直NAND串。可设想到其他三维配置,其中一些NAND串包含在单个存储器级中的存储器元件,而其他串则包含跨越多个存储器级的存储器元件。三维存储器阵列也可以NOR配置以及ReRAM配置来设计。
通常,在单片三维存储器阵列中,一个或多个存储器设备级在单个基板上方形成。任选地,单片三维存储器阵列还可具有至少部分地在单个基板内的一个或多个存储器层。作为非限制性示例,基板可包括半导体,诸如硅。在单片三维阵列中,构成阵列的每个存储器设备级的层通常形成在阵列的底层存储器设备级的层上。然而,单片三维存储器阵列的相邻存储器设备级的层可被共享或具有在存储器设备级之间的居间层。
然后,可单独形成二维阵列,并且然后封装在一起以形成具有多个存储器层的非单片存储器设备。例如,非单片的堆叠存储器可通过在单独的基板上形成存储器级并且然后将存储器级堆叠在彼此之上而构造。可在堆叠前将基板减薄或从存储器设备级移除,但由于存储器设备级在单独的基板上初始形成,因此所得的存储器阵列不是单片的三维存储器阵列。此外,多个二维存储器阵列或三维存储器阵列(单片或非单片)可在单独的芯片上形成,并且然后封装在一起以形成堆叠的芯片存储器设备。
通常需要相关联的电路来操作存储器元件并与存储器元件通信。作为非限制性示例,存储器设备可具有用于控制并驱动存储器元件以实现诸如编程和读取的功能的电路。该相关联的电路可与存储器元件位于同一基板上和/或位于单独的基板上。例如,用于存储器读取-写入操作的控制器可定位在单独的控制器芯片上和/或定位在与存储器元件相同的基板上。
本领域的技术人员将认识到,本发明不限于所述的二维结构和三维结构,但涵盖如本文所述的并且如本领域的技术人员所理解的本发明的实质和范围内的所有相关存储器结构。
预期将前面的详细描述理解为本发明可以采用的选定形式的说明,而不是作为本发明的定义。预期只有以下权利要求(包括所有等同物)限定要求保护的本发明的范围。最后,应注意,本文所述的任何实施方案的任何方面均可单独使用或彼此组合使用。
Claims (20)
1.一种存储系统,所述存储系统包括:
存储器;和
控制器,所述控制器被配置为:
从外置于所述存储系统的主机接收由所述存储系统从视频流中提取的多个视频帧;
从所述主机接收关于存储参数的指令,所述存储参数将由所述存储系统用来存储所述多个视频帧中的每个视频帧,其中不同视频帧类型的视频帧具有不同的存储参数;以及
使用由所述主机指定的所述不同的存储参数来将不同视频帧类型的所述多个视频帧中的每个视频帧存储在所述存储器中。
2.根据权利要求1所述的存储系统,其中所述不同的存储参数为不同的耐久性水平。
3.根据权利要求1所述的存储系统,其中所述不同视频帧类型包括第一视频帧类型和第二视频帧类型,所述第一视频帧类型是帧内编码图像帧(I帧),并且所述第二视频帧类型是预测图像帧(P帧)或双向预测图像帧(B帧)。
4.根据权利要求3所述的存储系统,其中I帧以比P帧或B帧高的耐久性水平存储。
5.根据权利要求1所述的存储系统,其中所述控制器被进一步配置为在经过一段时间之后,删除一种视频帧类型的视频帧,同时保留另一种视频帧类型的所述视频帧。
6.根据权利要求1所述的存储系统,其中所述控制器被配置为基于从所述主机接收到的信息来识别所述多个视频帧类型。
7.根据权利要求1所述的存储系统,其中所述存储器包括三维存储器。
8.根据权利要求1所述的存储系统,其中所述存储系统被配置为可移除地与所述主机连接。
9.根据权利要求1所述的存储系统,其中所述视频流来自监视相机。
10.一种用于视频帧分离的方法,所述方法包括:
在与外置于存储系统的主机通信的所述存储系统中执行以下操作,所述存储系统包括存储器:
从所述主机接收多个视频帧,所述多个视频帧由所述存储系统从视频流中提取;
从所述主机接收关于存储参数的指令,所述存储参数将由所述存储系统用来存储所述视频帧中的每个视频帧,其中不同视频帧类型的视频帧具有不同的存储参数;以及
使用由所述主机指定的所述存储参数来将所述多个视频帧中的每个视频帧存储在所述存储器中。
11.根据权利要求10所述的方法,其中所述视频流来自监视相机。
12.根据权利要求10所述的方法,其中所述不同的存储参数为不同的耐久性水平。
13.根据权利要求10所述的方法,其中所述不同视频帧类型包括第一视频帧类型和第二视频帧类型,所述第一视频帧类型是帧内编码图像帧(I帧),并且所述第二视频帧类型是预测图像帧(P帧)或双向预测图像帧(B帧)。
14.根据权利要求13所述的方法,其中I帧以比P帧或B帧高的耐久性水平存储。
15.根据权利要求10所述的方法,还包括:
在经过一段时间之后,删除一种视频帧类型的视频帧,同时保留另一种视频帧类型的视频帧。
16.一种存储系统,所述存储系统包括:
存储器;
用于从外置于所述存储系统的主机接收由所述存储系统从视频流中提取的多个视频帧的装置;
用于从所述主机接收关于存储参数的指令的装置,所述存储参数将由所述存储系统用来存储所述视频帧中的每个视频帧,其中不同视频帧类型的视频帧具有不同的存储参数;以及
用于由所述主机指定的所述不同存储参数将所述多个视频帧中的每个视频帧存储在所述存储器中的装置。
17.根据权利要求16所述的存储系统,其中所述不同的存储参数为不同的耐久性水平。
18.根据权利要求16所述的存储系统,其中所述不同的视频帧包括(i)编码内图像帧(I帧)以及(ii)预测图像帧(P帧)和/或双向预测图像帧(B帧)。
19.根据权利要求16所述的存储系统,其中所述存储器包括三维存储器。
20.根据权利要求16所述的存储系统,其中所述存储系统被配置为可移除地与主机连接。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/708,091 | 2019-12-09 | ||
US16/708,091 US10841645B1 (en) | 2019-12-09 | 2019-12-09 | Storage system and method for video frame segregation to optimize storage |
PCT/US2020/024635 WO2021118619A1 (en) | 2019-12-09 | 2020-03-25 | Storage system and method for video frame segregation to optimize storage |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113316817A CN113316817A (zh) | 2021-08-27 |
CN113316817B true CN113316817B (zh) | 2023-03-10 |
Family
ID=73264128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080006883.0A Active CN113316817B (zh) | 2019-12-09 | 2020-03-25 | 用于视频帧分离以优化存储的存储系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10841645B1 (zh) |
CN (1) | CN113316817B (zh) |
DE (1) | DE112020000177T5 (zh) |
WO (1) | WO2021118619A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11575978B2 (en) | 2021-06-01 | 2023-02-07 | Western Digital Technologies, Inc. | Data storage device and method for reliable watermarking |
US11546612B2 (en) * | 2021-06-02 | 2023-01-03 | Western Digital Technologies, Inc. | Data storage device and method for application-defined data retrieval in surveillance systems |
US11601656B2 (en) | 2021-06-16 | 2023-03-07 | Western Digital Technologies, Inc. | Video processing in a data storage device |
US20240298044A1 (en) * | 2023-03-03 | 2024-09-05 | Western Digital Technologies, Inc. | Data Storage Device and Method for Selecting a Data Recovery Mechanism Based on a Video Frame Position |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1395794A (zh) * | 2000-06-30 | 2003-02-05 | 皇家菲利浦电子有限公司 | 录像机中使用的视频存储管理器和操作方法 |
CN1622610A (zh) * | 2003-11-24 | 2005-06-01 | Lg电子株式会社 | 移动通信终端的流内容记录方法 |
CN101077001A (zh) * | 2004-11-12 | 2007-11-21 | 派尔高公司 | 存储视频数据的装置和方法 |
WO2010068600A2 (en) * | 2008-12-10 | 2010-06-17 | Motorola, Inc. | Method and system for deterministic packet drop |
CN104580969A (zh) * | 2013-10-23 | 2015-04-29 | 中兴通讯股份有限公司 | 录像帧率调整方法和装置 |
US9455010B1 (en) * | 2015-10-20 | 2016-09-27 | International Business Machines Corporation | Video storage and video playing |
CN110300134A (zh) * | 2018-03-22 | 2019-10-01 | 杭州海康威视系统技术有限公司 | 云存储资源池的存储空间调整方法、装置及云存储系统 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5099150A (en) | 1989-09-29 | 1992-03-24 | Sgs-Thomson Microelectronics, Inc. | Circuit block for programmable logic devices, configurable as a user-writable memory or a logic circuit |
US6839725B2 (en) | 2000-05-16 | 2005-01-04 | Sun Microsystems, Inc. | Dynamic adaptive tenuring of objects |
US6646676B1 (en) | 2000-05-17 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Networked surveillance and control system |
US6542075B2 (en) | 2000-09-28 | 2003-04-01 | Vigilos, Inc. | System and method for providing configurable security monitoring utilizing an integrated information portal |
US7088910B2 (en) * | 2001-02-09 | 2006-08-08 | Microsoft Corporation | Optimizing use of storage space in a video data recording system |
US7631327B2 (en) | 2001-08-08 | 2009-12-08 | Accenture Global Services Gmbh | Enhanced custom content television |
JP2004062916A (ja) * | 2002-06-05 | 2004-02-26 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
US7433582B2 (en) | 2002-06-25 | 2008-10-07 | International Business Machines Corporation | Personal video recording with machine learning for messaging |
US6768661B2 (en) | 2002-06-27 | 2004-07-27 | Matrix Semiconductor, Inc. | Multiple-mode memory and method for forming same |
US7697026B2 (en) | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
US20060190419A1 (en) | 2005-02-22 | 2006-08-24 | Bunn Frank E | Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system |
KR20080044616A (ko) * | 2006-11-17 | 2008-05-21 | 엘지전자 주식회사 | 디지털 비디오 레코더에서의 기록 제어방법 |
KR100858614B1 (ko) * | 2007-03-08 | 2008-09-17 | 삼성에스디아이 주식회사 | 유기전계발광표시장치 및 그의 구동방법 |
US8356061B2 (en) | 2008-06-23 | 2013-01-15 | Oracle America, Inc. | Maximizing throughput for a garbage collector |
EP2141928A1 (en) | 2008-06-30 | 2010-01-06 | Thomson Licensing S.A. | Device and method for analysing an encoded image |
JP5100667B2 (ja) | 2009-01-09 | 2012-12-19 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
US9215423B2 (en) | 2009-03-30 | 2015-12-15 | Time Warner Cable Enterprises Llc | Recommendation engine apparatus and methods |
US8850113B2 (en) | 2010-02-27 | 2014-09-30 | Cleversafe, Inc. | Data migration between a raid memory and a dispersed storage network memory |
EP2407943B1 (en) | 2010-07-16 | 2016-09-28 | Axis AB | Method for event initiated video capturing and a video camera for capture event initiated video |
US9414109B2 (en) | 2011-08-31 | 2016-08-09 | Tivo Inc. | Multimedia program recording schedule manager |
US8516019B2 (en) | 2011-10-03 | 2013-08-20 | Oracle America, Inc. | Time-based object aging for generational garbage collectors |
US8825721B2 (en) | 2011-10-03 | 2014-09-02 | Oracle International Corporation | Time-based object aging for generational garbage collectors |
US20140078256A1 (en) * | 2011-12-28 | 2014-03-20 | Panasonic Corporation | Playback device, transmission device, playback method and transmission method |
US9037921B1 (en) | 2012-03-29 | 2015-05-19 | Amazon Technologies, Inc. | Variable drive health determination and data placement |
US8855466B2 (en) * | 2012-05-01 | 2014-10-07 | Eldon Technology Limited | Separate video file for I-frame and non-I-frame data to improve disk performance in trick play |
KR102094902B1 (ko) | 2013-07-08 | 2020-03-30 | 삼성전자주식회사 | 액티브 상태에서 인터페이스 모드를 전환하는 스토리지 시스템 및 ufs 시스템 |
US20150237351A1 (en) | 2014-02-18 | 2015-08-20 | Penne Lee | Techniques for inclusion of region of interest indications in compressed video data |
US9213903B1 (en) | 2014-07-07 | 2015-12-15 | Google Inc. | Method and system for cluster-based video monitoring and event categorization |
CN105335437A (zh) | 2014-08-11 | 2016-02-17 | 中兴通讯股份有限公司 | 数据的处理方法及装置 |
US10228854B2 (en) | 2014-08-20 | 2019-03-12 | Sandisk Technologies Llc | Storage devices and methods for optimizing use of storage devices based on storage device parsing of file system metadata in host write operations |
US10007442B2 (en) | 2014-08-20 | 2018-06-26 | Sandisk Technologies Llc | Methods, systems, and computer readable media for automatically deriving hints from accesses to a storage device and from file system metadata and for optimizing utilization of the storage device based on the hints |
US9836248B2 (en) | 2014-10-30 | 2017-12-05 | ScaleFlux | In-memory data compression complementary to host data compression |
GB201508074D0 (en) | 2015-05-12 | 2015-06-24 | Apical Ltd | People detection |
US20160345009A1 (en) | 2015-05-19 | 2016-11-24 | ScaleFlux | Accelerating image analysis and machine learning through in-flash image preparation and pre-processing |
EP3412032A1 (en) | 2016-02-02 | 2018-12-12 | Fraunhofer Gesellschaft zur Förderung der Angewand | Scene section and region of interest handling in video streaming |
US9781479B2 (en) | 2016-02-29 | 2017-10-03 | Rovi Guides, Inc. | Methods and systems of recommending media assets to users based on content of other media assets |
US10095445B2 (en) | 2016-03-29 | 2018-10-09 | Western Digital Technologies, Inc. | Systems and methods for offloading processing from a host to storage processing units using an interconnect network |
KR101923661B1 (ko) | 2016-04-04 | 2018-11-29 | 주식회사 맴레이 | 플래시 기반 가속기 및 이를 포함하는 컴퓨팅 디바이스 |
US11010431B2 (en) | 2016-12-30 | 2021-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet SSD |
US10452278B2 (en) | 2017-03-24 | 2019-10-22 | Western Digital Technologies, Inc. | System and method for adaptive early completion posting using controller memory buffer |
KR20180114972A (ko) | 2017-04-11 | 2018-10-22 | 에스케이하이닉스 주식회사 | 데이터 저장 장치 및 그것의 동작 방법 |
US10908820B2 (en) | 2017-09-14 | 2021-02-02 | Samsung Electronics Co., Ltd. | Host-based and client-based command scheduling in large bandwidth memory systems |
US10587919B2 (en) | 2017-09-29 | 2020-03-10 | International Business Machines Corporation | Cognitive digital video filtering based on user preferences |
TWI674505B (zh) | 2017-11-30 | 2019-10-11 | 宜鼎國際股份有限公司 | 資料存取效率的預估方法 |
US10747659B2 (en) | 2018-02-06 | 2020-08-18 | Western Digital Technologies, Inc. | Flash fast program mode for high definition video recording and high resolution camera burst mode recording |
US11025942B2 (en) | 2018-02-08 | 2021-06-01 | Samsung Electronics Co., Ltd. | Progressive compressed domain computer vision and deep learning systems |
-
2019
- 2019-12-09 US US16/708,091 patent/US10841645B1/en active Active
-
2020
- 2020-03-25 DE DE112020000177.6T patent/DE112020000177T5/de active Pending
- 2020-03-25 WO PCT/US2020/024635 patent/WO2021118619A1/en active Application Filing
- 2020-03-25 CN CN202080006883.0A patent/CN113316817B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1395794A (zh) * | 2000-06-30 | 2003-02-05 | 皇家菲利浦电子有限公司 | 录像机中使用的视频存储管理器和操作方法 |
CN1622610A (zh) * | 2003-11-24 | 2005-06-01 | Lg电子株式会社 | 移动通信终端的流内容记录方法 |
CN101077001A (zh) * | 2004-11-12 | 2007-11-21 | 派尔高公司 | 存储视频数据的装置和方法 |
WO2010068600A2 (en) * | 2008-12-10 | 2010-06-17 | Motorola, Inc. | Method and system for deterministic packet drop |
CN104580969A (zh) * | 2013-10-23 | 2015-04-29 | 中兴通讯股份有限公司 | 录像帧率调整方法和装置 |
US9455010B1 (en) * | 2015-10-20 | 2016-09-27 | International Business Machines Corporation | Video storage and video playing |
CN110300134A (zh) * | 2018-03-22 | 2019-10-01 | 杭州海康威视系统技术有限公司 | 云存储资源池的存储空间调整方法、装置及云存储系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2021118619A1 (en) | 2021-06-17 |
CN113316817A (zh) | 2021-08-27 |
DE112020000177T5 (de) | 2021-09-02 |
US10841645B1 (en) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113316817B (zh) | 用于视频帧分离以优化存储的存储系统和方法 | |
US11150839B2 (en) | Host and method for interleaving data in a storage system for enhanced quality of service | |
US11328511B2 (en) | Storage system and method for improved playback analysis | |
US11562018B2 (en) | Storage system and method for optimized surveillance search | |
US11140445B1 (en) | Storage system and method for storing scalable video | |
US11284125B2 (en) | Self-data-generating storage system and method for use therewith | |
US11240540B2 (en) | Storage system and method for frame trimming to optimize network bandwidth | |
US11783866B2 (en) | Data storage device and method for legitimized data transfer | |
US11546612B2 (en) | Data storage device and method for application-defined data retrieval in surveillance systems | |
US20240298044A1 (en) | Data Storage Device and Method for Selecting a Data Recovery Mechanism Based on a Video Frame Position | |
US11650757B2 (en) | Storage system and method for time-based data retrieval | |
US11849186B1 (en) | Data storage device and method for enabling metadata-based seek points for media access | |
US11523145B2 (en) | Data storage device and method for real-time data locking in surveillance storage | |
US11575978B2 (en) | Data storage device and method for reliable watermarking | |
US11942111B2 (en) | Data storage device and method for auto-peeling of surveillance video content to increase archival storage | |
US20210392413A1 (en) | Storage System and Method for Data Peeling | |
US11221950B2 (en) | Storage system and method for interleaving data for enhanced quality of service | |
US11550487B2 (en) | Data storage device and method for enabling endurance re-evaluation | |
US20240296089A1 (en) | Data Storage Device and Method for Host-Assisted Improved Error Recovery Using a Correlation Factor | |
US20220086455A1 (en) | Storage System and Method for Storage Management in Multi-Channel, Variable-Bit-Rate Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240923 Address after: Delaware, USA Patentee after: SANDISK TECHNOLOGIES Inc. Country or region after: U.S.A. Address before: California, USA Patentee before: Western Digital Technologies, Inc. Country or region before: U.S.A. |