CN111435434B - 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统 - Google Patents

包括用于视频流的部分解码器和事件检测器的非易失性存储器系统 Download PDF

Info

Publication number
CN111435434B
CN111435434B CN201911224976.6A CN201911224976A CN111435434B CN 111435434 B CN111435434 B CN 111435434B CN 201911224976 A CN201911224976 A CN 201911224976A CN 111435434 B CN111435434 B CN 111435434B
Authority
CN
China
Prior art keywords
volatile memory
video stream
host
memory system
storing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911224976.6A
Other languages
English (en)
Other versions
CN111435434A (zh
Inventor
R·穆提亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Western Digital Technologies Inc
Original Assignee
Western Digital Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Western Digital Technologies Inc filed Critical Western Digital Technologies Inc
Publication of CN111435434A publication Critical patent/CN111435434A/zh
Application granted granted Critical
Publication of CN111435434B publication Critical patent/CN111435434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本发明题为“包括用于视频流的部分解码器和事件检测器的非易失性存储器系统”。将部分解码器和事件检测逻辑部署在非易失性存储器系统中，以卸载来自主机系统的处理，同时保持高的视频录制性能和与常规主机系统逻辑的向后兼容性。

Description

包括用于视频流的部分解码器和事件检测器的非易失性存储 器系统
技术领域
本申请涉及视频处理。
背景技术
在常规的视频处理系统中，主机系统管理来自摄像机的原始视频流(本文的原始视频流也指包括音频的流)的录制和解码。原始视频流是指由视频编解码器输出的视频信号，并且视频编解码器是指使用各种数据压缩技术来降低视频信号的存储和通信带宽要求的逻辑。主机系统将原始视频流写入非易失性存储器系统，在该非易失性存储器系统中记录它们以便可能的后续查看或进一步处理。非易失性存储器系统是指包括非易失性存储器的存储器设备，该非易失性存储器通过例如存储器/存储总线与主机系统通信。摄像机的控制，诸如所捕获的视频分辨率、平移、倾斜和缩放，也由主机系统管理。
主机系统可以实时地完全解码原始视频流(如所接收的)，以便检测诸如人员或对象的运动的操作事件或执行面部识别。操作事件的检测可以引起主机系统控制摄像机以增加分辨率、平移、倾斜、缩放等。这种视频处理的常规方法增加了主机系统的数据处理和电力资源的压力。
发明内容
在一个实施例中，本发明提供一种非易失性存储器系统，包括：易失性存储器；非易失性存储器；以及控制器，所述控制器被配置为：从主机接收编码的视频流用于存储在所述非易失性存储器中；在将所述编码的视频流存储在所述非易失性存储器中之前：部分解码所述编码的视频流；确定在所述易失性存储器中是否存在足够空间以用于将所述编码的视频流的部分解码版本存储在所述易失性存储器中；响应于确定所述易失性存储器中存在用于将所述编码的视频流的部分解码版本存储在所述易失性存储器中的足够空间，将所述编码的视频流的部分解码版本存储在所述易失性存储器中；响应于确定所述易失性存储器中不存在用于将所述编码的视频流的部分解码版本存储在所述易失性存储器中的足够空间，将所述编码的视频流的部分解码版本存储在所述主机的存储器中；检测存储的部分解码的视频流中的操作事件；向所述主机通知检测的操作事件在视频帧中的位置使得所述主机能够提高在该位置向前的分辨率；以及将所述编码的视频流存储在所述非易失性存储器中。
在另一个实施例中，提供一种非易失性存储器系统，包括：非易失性存储器；用于从主机接收编码的视频流以用于存储在所述非易失性存储器中的装置；以及用于在将所述编码的视频流存储在所述非易失性存储器中之前：部分解码所述编码的视频流；从部分解码的视频流检测操作事件；以及向所述主机通知检测的操作事件在视频帧中的位置使得所述主机能够提高在该位置向前的分辨率的装置，其中所述位置包括象限的标识和在检测的操作事件的所述象限内的坐标。
在另一个实施例中，提供一种用于视频流的方法，包括：在包括易失性存储器和非易失性存储器的非易失性存储器系统中执行以下操作：从主机接收编码的视频流以用于存储在所述非易失性存储器中；在将所述编码的视频流存储在所述非易失性存储器中之前：部分解码所述编码的视频流以生成部分解码的视频；确定在所述易失性存储器中是否存在足够空间以用于将所述部分解码的视频存储在所述易失性存储器中；响应于确定所述易失性存储器中存在足够空间，将所述部分解码的视频存储在所述易失性存储器中；响应于确定所述易失性存储器中不存在足够空间，将所述部分解码的视频存储在所述主机的存储器中；检测存储的部分解码的视频中的操作事件；以及向所述主机通知检测的操作事件在视频帧中的位置。
附图说明
为了容易地识别对任何特定元件或动作的讨论，参考标记中最有意义的一个或多个数位是指首次引入该元件的附图标号。
图1示出了简化的系统100，其中主机系统104和监控设备106经由视频分发网络102通信地耦合。
图2是可以结合本发明的实施方案的计算设备200的示例框图。
图3示出了根据一个实施方案的视频录制系统300。
图4示出了根据一个实施方案的视频录制系统400。
图5示出了根据一个实施方案的视频帧500。
图6示出了根据一个实施方案的视频录制和控制过程600。
图7是示例性非易失性存储器系统700的框图。
具体实施方式
本文参考利用I(帧内)帧、P(预测)帧和B(双向帧)的示例性视频编解码器(例如，MPEG视频编解码器)。I帧是使用帧内编码来编码的帧；P帧是使用运动压缩来编码的，该运动压缩使用过去的I帧或过去的P帧；并且B帧是通过过去的或未来的I帧或P帧使用运动压缩来编码的。虽然用作示例，但是本文所公开的技术并不限于与利用此类帧的编解码器一起使用。
图1示出了系统100，其中主机系统104和监控设备106连接到视频分发网络102，通过该视频分发网络传输由一个或多个摄像机108产生的一个或多个原始视频流。监控设备106是可选的，并且可以被利用于例如实时监视一个或多个摄像机108的输出。
在各种实施方案中，视频分发网络102可以包括因特网、局域网(“LAN”)、广域网(“WAN”)和/或其他数据网络。除了传统的数据联网协议之外，在一些实施方案中，数据可以根据包括近场通信(“NFC”)、蓝牙、电力线通信(“PLC”)等的协议和/或标准而被传输。在一些实施方案中，视频分发网络102可还包括语音网络，该语音网络不仅传送语音通信，还有诸如短信服务(“SMS”)消息的非语音数据，以及经由各种蜂窝数据通信协议传输的数据等。
在各种实施方案中，监控设备106可以包括台式计算机、移动电话、笔记本电脑、平板电脑、可穿戴计算机或能够连接到视频分发网络102并且与主机系统104通信的其他计算设备，该监控设备在一些实施方案中是包括主机系统逻辑110的视频监控服务器。一般地，主机系统104是满足特定的具体实施的性能要求的任何一个或多个计算机系统，该特定的具体实施诸如用于储存一个或多个原始视频流。
在各种实施方案中，可以存在附加的基础设施(例如，短信服务中心、小区站点、路由器、网关、防火墙等)以及附加的设备。此外，在一些实施方案中，被描述为由主机系统104和监控设备106中的一些或全部提供的功能可以经由物理的和/或逻辑的设备的各种组合来实现。然而，没有必要在图1中示出此类基础设施和实施细节以便描述一个说明性实施方案。
图2是可以结合本发明的实施方案的计算设备200的示例性框图。例如，主机系统104可以通过计算设备200的实施方案来实现。图2仅示出了执行本文所述的技术过程各方面的机器系统，并且不限制权利要求书的范围。本领域的普通技术人员将认识到其他变型、修改和替代。在一个实施方案中，计算设备200通常包括监视器或图形用户界面202、主机系统104、通信网络接口214、(多个)输入设备210、(多个)输出设备206等。
如图2所描绘，主机系统104可以包括经由总线子系统218或视频分发网络102与多个外围设备通信的一个或多个处理器204。这些外围设备可以包括(多个)输入设备210、(多个)输出设备206、通信网络接口214和诸如易失性存储器212和非易失性存储器系统216的存储子系统。在这个示例中摄像机108既是输入设备又是输出设备。对摄像机108的输入包括对被摄像机108所利用的视频编解码器208的缩放、平移、倾斜、聚焦和分辨率中的一个或多个的控制。许多摄像机实现一个以上的视频编解码器208，并且因此对这种类型的摄像机108的控制输入可以包括对要在操作中使用哪个视频编解码器208的选择。摄像机108输出至少包括原始视频流。
易失性存储器212和/或非易失性存储器系统216可以储存计算机可执行的指令并且因此形成主机系统逻辑110，该主机系统逻辑在被应用于处理器204并且由处理器204执行时，实现本文所公开的过程的实施方案。在这个示例中非易失性存储器系统216可以用作用于储存原始视频流的输入设备和用于检测事件的输出设备两者，如下文更详细地描述。
(多个)输入设备210包括用于将信息输入到主机系统104的设备和机制。这些可以包括键盘、小键盘、结合到监视器或图形用户界面202中的触摸屏、诸如语音识别系统、麦克风的音频输入设备以及其他类型的输入设备。在各种实施方案中，(多个)输入设备210可以体现为计算机鼠标、轨迹球、触控板、操纵杆、无线遥控器、绘图板、语音命令系统、眼睛跟踪系统等。(多个)输入设备210通常允许用户经由诸如单击按钮等的命令来选择出现在监视器或图形用户界面202上的对象、图标、控制区域、文本等。
(多个)输出装置206包括用于从主机系统104输出信息的设备和机制。这些可以包括本领域公知的监视器或图形用户界面202、扬声器、打印机、红外LED等。
通信网络接口214提供到通信网络(例如，视频分发网络102)和主机系统104外部的设备的接口。通信网络接口214可以用作用于从其他系统接收数据并且向其他系统发送数据的接口。通信网络接口214的实施方案可以包括以太网接口、调制解调器(电话、卫星、电缆、I SDN)、(异步)数字订户线路(DSL)、火线、USB、诸如蓝牙或WI F I的无线通信接口、近场通信无线接口、蜂窝接口等。
通信网络接口214可以经由天线、电缆等耦接到视频分发网络102。在一些实施方案中，通信网络接口214可以物理地集成在主机系统104的电路板上，或者在一些情况下可以在诸如“软调制解调器”等的软件或固件中实现。
计算设备200可以包括使得使用诸如HTTP、TCP/IP、RTP/RTSP、IPX、UDP等的协议通过网络能够通信的逻辑。
易失性存储器212和非易失性存储器系统216是被配置为储存计算机可读数据和指令以实现本文所述的过程的各种实施方案的有形介质的示例。其他类型的有形介质包括可移除的存储器(例如，SD存储器设备的可插拔USB、移动设备SIM卡)、诸如闪存存储器、网络存储设备等的半导体存储器。易失性存储器212和非易失性存储器系统216可以被配置为储存提供落入本发明的范围内的其所公开的过程和其他实施方案的功能的基本编程和数据结构。
实现本发明的实施方案的主机系统逻辑110可以被储存在易失性存储器212和/或非易失性存储器系统216中。所述主机系统逻辑110可以从易失性存储器212和/或非易失性存储器系统216读取并且由(多个)处理器204执行。易失性存储器212和非易失性存储器系统216可还提供用于储存由主机系统逻辑110使用的数据和指令的存储库。
易失性存储器212和非易失性存储器系统216可以包括多个存储器，该多个存储器包括用于在程序执行期间储存指令和数据的主随机存取存储器(RAM)和在其中储存只读非暂态指令的只读存储器(ROM)。易失性存储器212和非易失性存储器系统216可以包括为指令和数据提供持久(非易失性)储存的文件存储子系统。易失性存储器212和非易失性存储器系统216可以包括诸如可移除的闪存存储器的可移除的存储系统。
总线子系统218提供用于使主机系统104的各种部件和子系统按预期彼此通信的机制。尽管总线子系统218和通信网络接口214被示意性地描绘为每一个都是单一总线，但是总线子系统218和/或通信网络接口214的一些实施方案可以利用多条不同的总线。
对于本领域的普通技术人员将显而易见的是，计算设备200可以是诸如智能电话、台式计算机、笔记本计算机、机架式计算机系统、计算机服务器或平板计算机设备等的设备。如本领域所公知的，计算设备200可以被实现为多个联网计算设备的集合。此外，计算设备200通常将包括操作系统逻辑(未示出)、应用程序以及其类型和性质在本领域公知的其他逻辑。
图3示出了在一个实施方案中的常规的视频录制系统300。除了已经引入的元件之外，视频录制系统300还包括解码器/事件检测器302和基于主机系统的控制逻辑304。解码器是指用于反转数据编码以恢复原始未编码数据的逻辑。控制逻辑是指产生信号以控制其他逻辑的逻辑，并且因此控制逻辑在一些情况下可以控制其他控制逻辑。尽管单独示出了非易失性存储器系统216，但是其可以是整体地或作为插入设备而成为主机系统104的部分。
摄像机108和视频编解码器208产生由主机系统104的解码器/事件检测器302接收的原始视频流。解码器/事件检测器302检测提供给基于主机系统的控制逻辑304的事件，控制逻辑304进而控制视频编解码器208或摄像机108。同时，原始视频流由主机系统104储存到非易失性存储器系统216。
图4示出了在一个实施方案中的视频录制系统400。除了已经引入的特征之外，非易失性存储器系统216的视频录制系统400还包括部分解码器/事件检测器402和基于存储器系统的控制逻辑404。部分解码器是指部分解码原始视频的逻辑，其与对视频执行完全解码的解码器(隐含地，完全解码器)相反。部分解码器可以仅分析帧的子集以及/或者可以仅执行足以检测特定事件的解码。解码器可以通过上下文被指示为部分解码器，例如，如果解码器被描述为部分解码原始视频流。
部分解码器/事件检测器402可以例如被实现为非易失性存储器系统216(非易失性存储器系统216通常将包括一些易失性存储器以及，通常包括更大容量的非易失性存储器)的易失性存储器或非易失性存储器中的处理器可执行的指令。单独地或与基于存储器系统的控制逻辑404一起，部分解码器/事件检测器402可以因此实现事件检测逻辑。事件检测逻辑是指在视频中检测诸如对象、运动、脸部以及它们的组合的事件的逻辑。对象识别是指检测视频中的特定对象(无生命的或有生命的)。部分解码器/事件检测器402和基于存储器系统的控制逻辑404可还至少部分地在例如集成电路、FPGA等的硬件中实现。
在一些实施方案中，事件检测逻辑可以用指示事件和/或操作事件的帧间差阈值来配置。操作事件是指与在摄像机或视频编解码器上采取控制动作相关联的事件。帧间差是指视频帧之间的差异的定量或定性度量。操作事件可以包括操作事件以撤销响应于在先操作事件而做出的对视频编解码器或摄像机的设置。
部分解码器/事件检测器402的部分解码器部分可还用在原始视频流上执行解码所需的级别来配置，该所需的级别例如，输入原始视频流的多少帧要分析以及到什么分辨率。
结合图6更详细地解释了利用视频录制系统400的视频录制和控制过程600的一个实施方案。
利用视频录制系统400设计使得基于主机系统的控制逻辑304能够向后兼容常规的方法。也就是说，基于主机系统的控制逻辑304可以根据在常规的视频录制系统中的基于主机系统的控制逻辑未修改或基本上未修改。
从基于主机系统的控制逻辑304到基于存储器系统的控制逻辑404的控制信号可以包括控制例如由部分解码器/事件检测器402要执行的解码的程度以便满足具体实施的性能要求、部分解码器/事件检测器402检测的事件、向基于主机系统的控制逻辑304报告的操作事件、性能、阈值以及其他控制因素的信号。
在一个实施方案中，来自视频编解码器208的所有原始视频流由非易失性存储器系统216储存。在其他具体实施中，主机系统104可以控制原始视频流的储存程度。
某些视频编解码器(例如，MPEG类视频编解码器)利用被称为图片组(Group ofPictures，GOP)的帧集，该帧集是以I帧开始接着是一个或多个P帧的帧序列。每个P帧利用表示与先前的I帧的差异的时间压缩，并且当在原始视频流中不存在运动时经常是低熵。因此，将P帧(或B帧)中的熵与帧间差阈值进行比较提供了仅具有原始视频流的部分解码的事件检测方式。另一种部分解码技术是周期性地解码P帧(或B帧)，其周期可以是可配置的。
部分解码I帧或P帧(或B帧)的周期可以根据诸如非易失性存储器系统的可用处理资源和/或事件检测的性能要求的运行时间因素被动态地配置。
在又一变型中，视频编解码器可以被配置(由主机系统或非易失性存储器系统)以仅编码I帧，并且非易失性存储器系统的事件检测逻辑可以确定连续的或周期的I帧的帧间差，并且基于超出阈值的帧间差来向主机系统产生事件。
可以通过例如硬件中断、对主机和非易失性存储器系统216之间通常使用的存储/存储器命令的扩展等的一个或多个机制来引发到主机的事件。在一个或多个实施方案中，部分解码可以在解码过程期间使用在非易失性存储器系统216内的易失性存储器。如果在一个实施方案中非易失性存储器系统216缺乏足够的易失性存储器，则可以使用例如由NVMe接口所支持的主机的易失性存储器。
在一些实施方案中，发送到主机的操作事件可以包括指示先前操作事件条件不再存在的事件。例如，非易失性存储器系统可以向主机系统产生指示先前检测到的运动、对象、面部等不再被检测到的操作事件。主机系统可以通过反转对于先前操作事件的摄像机控制来响应，例如，降低视频编解码器的分辨率、放大回到较宽的角度、改变倾斜或平移设置等。
以举例的方式，事件可以包括视频象限504和在视频象限504内的事件坐标502(例如，笛卡尔或极性事件坐标)，视频摄像机108或视频编解码器208应以更高的视频分辨率对该视频象限504进行聚焦、倾斜、缩放或采样。事件坐标是指指定在视频中检测到的事件的空间位置的数据。在一些情况下，事件坐标可还指定事件的时间位置(例如，帧)。视频象限是在视频帧中准确地或近似地形成笛卡尔象限的一组宏块。宏块是指基于诸如某些MPEG编解码器和某些H.26x编解码器的线性块变换的由视频编解码器使用的样本分组。
该事件可在一些情况下还包括视频帧500的指示以及诸如对象或人类识别或运动、面部识别等的事件类型。检测到的和产生的事件的类型可以根据特定的具体实施的需要而变化。
虽然本文的描述集中于编码的视频数据，但是部分解码和事件触发机制可以用于其他编码的数据，诸如音频数据。
图6示出了一个实施方案中的视频录制和控制过程600。在动作602处，开始原始视频流。系统逻辑(例如，部分解码器/事件检测器402或基于存储器系统的控制逻辑404)确定原始视频流(动作604和动作606)的视频文件类型和视频编解码器类型。在动作608处，部分视频解码开始，并且在一个实施方案中，只要接收到原始视频流，就可以继续。在其他实施方案中，可以根据需要或根据预先配置来激活部分解码。原始视频流还被录制到非易失性存储器中(动作610)。如果检测到操作事件(决定动作612)，例如，如果I帧或P帧或B帧或它们的任何组合之间的帧间差超过了所配置的帧间差，则在动作614处形成操作事件并且在动作616处将操作事件传输到主机系统。以此方式，通常被录制到非易失性存储器中的视频可以在没有主机参与的情况下作为存储器写入过程的部分被在线分析，并且可以基于本文所述的部分解码机制来触发事件通知。在其他实施方案中，部分解码和事件触发机制可以作为诸如读取、数据复制、数据迁移、数据刷新、垃圾回收等的其他数据操作的部分来执行。
在某些实施方案中，可以在与非易失性存储器系统216分开的设备中实现系统逻辑(例如，部分解码器/事件检测器402或基于存储器系统的控制逻辑404)。例如，其可以是处理/管理主机、存储器系统和/或诸如监控系统的数据来源之间的数据传送的设备(例如，路由器、总线、网桥)的部分。
示例性存储器设备
图7是示例性非易失性存储器系统700的框图。非易失性存储器系统700可以包括一个或多个存储器管芯702。存储器管芯702包括存储器单元的存储器结构704，诸如本文中被称为存储器阵列的存储器单元的阵列、地址控制器706和读/写电路730。存储器结构704可经由行解码器728通过字线寻址，并且可经由列解码器732通过位线寻址。读/写电路730包括多个感测块SB1、SB2、…、SBp(感测电路)并且允许并行读取或编程一页存储器单元。通常地，基于存储器系统的控制逻辑404被包括在与一个或多个存储器管芯702相同的非易失性存储器系统700(例如，可移除的存储卡)中。控制命令和数据(例如，原始视频流)经由数据总线718在主机系统104和基于存储器系统的控制逻辑404之间传送，并且经由线716在控制器和一个或多个存储器管芯702之间传送。数据总线718可以例如是PCI e串行存储器总线。
存储器结构704可以是2D(布置在单个制造平面中)或3D(布置在多个制造平面中)。存储器结构704可以包括一个或多个存储器单元阵列，该一个或多个存储器单元阵列包括3D阵列。在一个实施方案中，存储器结构704可以包括单片三维存储器结构(3D阵列)，其中多个存储器级形成在没有中间衬底的单个衬底之上(而不是之中)，诸如晶片。存储器结构704可以包括任何类型的非易失性存储器，该非易失性存储器单片地形成在具有设置在硅衬底之上的有源区域的一个或多个物理级的存储器单元阵列中。存储器结构704可以在具有与存储单元的操作相关联的电路的非易失性存储器设备(例如，非易失性存储系统700)中，无论相关联的电路是在衬底之上还是之内。
地址控制器706与读/写电路730协作以在存储器结构704的存储单元上执行存储器操作，并且包括状态机708、地址解码器710和功率控制器714。状态机708提供存储器操作的控制。可以提供存储区域选择器712，例如，用于如下文进一步描述的编程参数。
地址解码器710将由主机或基于存储系统的控制逻辑404使用的之间的地址接口提供给由行解码器728和列解码器732使用的硬件地址。功率控制714控制在存储器操作期间供应给各种控制线的功率和电压。功率控制714和/或读/写电路730可以包括用于字线、源极栅极选择(SGS)晶体管、漏极栅极选择(DGS)晶体管、位线、衬底(在2D存储器结构中)、电荷泵和源极线的驱动器。在一种方法中，感测块可以包括位线驱动器和感测放大器。
SGS晶体管是在存储串的源极端处的选择栅极晶体管，而DGS晶体管是在存储串的漏极端处的选择栅极晶体管。
在一些具体实施中，可组合部件中的一些部件。在各种设计中，除了存储器结构704之外的一个或多个部件(单独或组合)可以被认为是被配置为执行本文所述的技术的至少一个控制电路或控制器。例如，控制电路可以包括以下任何一个或其组合：地址控制器706、状态机708、地址解码器710、列解码器732、功率控制714、控制处理器726、感测块SB1、SB2、…、SBp、读/写电路730、基于存储器系统的控制逻辑404等。
基于存储器系统的控制逻辑404可以包括控制处理器726和诸如控制器只读存储器720和控制器易失性存储器722的存储器设备。
基于存储器系统的控制逻辑404的存储器设备可以包括诸如指令集的代码，该代码配置控制处理器726来执行指令集以提供本文所述的功能性的各方面。可选地或附加地，控制处理器726可以从存储器结构704访问代码，该存储器结构704为诸如在一个或多个字线中的存储器单元的保留区域。
例如，基于存储器系统的控制逻辑404可以使用代码来访问存储器结构704、控制器只读存储器720、或控制器易失性存储器722以用于部分解码和/或事件检测逻辑。在一些实施方案中，控制逻辑可以利用主机系统易失性存储器724用于缓存一些或全部原始视频流，以用于通过数据总线718使用例如直接存储器访问技术(DMA)的部分解码和事件检测。控制逻辑可还包括执行诸如控制和分配存储器、优先化处理指令以及控制输入和输出端口的基本任务的驱动器。
一般地，控制逻辑可以包括执行本文所述功能的软件和其他逻辑(例如，电路、固件)。控制逻辑可以包括定序器以控制本文所述的各种信号的时序(开始和停止时间、持续时间、间隔等)。状态机708可还利用于实现控制逻辑的各方面。
在一个实施方案中，主机系统104是计算设备(例如，笔记本、台式机、智能电话、平板、数字相机)，其包括一个或多个处理器、一个或多个处理器可读的存储设备(主机系统易失性存储器724、ROM、闪存存储器、硬盘驱动、固态存储器)，该一个或多个处理器可读的存储设备储存用于对一个或多个处理器编程以执行本文所述的技术的各方面的处理器可读的代码(例如，软件)。主机系统104可还包括附加的系统存储器、与一个或多个处理器通信的一个或多个输入/输出接口和/或一个或多个输入/输出设备，以及本领域公知的其他部件。
存储区域选择器712可以是诸如NAND闪存存储器或另一类型的非易失性存储器。如本领域公知，存储区域选择器712识别用于读取和写入等的存储器结构704的块。
本领域技术人员将认识到，非易失性存储器系统700是一个示例，并且各种具体实施将包括附加的部件，或者以本领域公知的方式排除或组合一些图示的部件。
本文所用的术语应被赋予它们在相关领域中的普通含义，或它们在上下文中的使用所指示的含义，但是如果提供了明确的定义，则意味着控制。
“电路”是指具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个专用集成电路的电路，形成由计算机程序配置的通用计算设备(例如，由至少部分执行本文所述的过程或设备的计算机程序配置的通用计算机、或由至少部分执行本文所述的过程或设备的计算机程序配置的微处理器)的电路、形成存储器设备(例如，随机存取存储器的形式)的电路、或形成通信设备的电路(例如，调制解调器、通信开关、或光电装备)。
“固件”是指体现为储存在只读存储器或介质中的处理器可执行的指令的软件逻辑。
“硬件”是指体现为模拟或数字电路的逻辑。
“逻辑”是指机器存储器电路、非暂态机器可读的介质，和/或通过其材料和/或材料能量配置包括控制和/或程序的信号、和/或设置和值(诸如电阻、阻抗、电容、电感、电流/电压额定值等)的电路，这些可以应用于影响设备的操作。磁介质、电子电路、电和光的存储器(易失性和非易失性两种)以及固件是逻辑的示例。逻辑明确排除了纯信号或软件本身(然而不排除包括软件的机器存储器，并且从而形成物质的配置)。
“软件”是指实现为机器存储器(例如，读/写易失性或非易失性存储器或介质)中的处理器可执行的指令的逻辑。
本文中，对“一个实施方案”或“实施方案”的引用不一定是指相同的实施方案，尽管它们可以是相同的。除非上下文另外清楚地要求，否则在整个说明书和权利要求书中，词语“包括(comprise)”、“包括(comprising)”等理解为包括性的含义，而不是排他性或穷尽的含义；也就是说，为“包括但不限于”的含义。使用单数或复数的词语也分别包括复数或单数，除非明确地限于单个或多个。此外，当用在本申请中时，词语“本文”、“上述”、“下文”和类似含义的词语是指整个本申请而不是本专利申请的任何特定部分。当权利要求书在关于两个或更多个项目的列表中使用词语“或”时，除非明确地限于一个或其他，否则这个词涵盖该词的以下所有解释：列表中的任何项目、列表中的所有项目以及列表中的项目的任何组合。本文中未明确地定义的任何术语具有它们的常规含义，这是相关领域的技术人员通常理解的。
本文所述的各种逻辑功能操作可以在逻辑中实现，该逻辑是指使用反映所述操作或功能的名词或名词短语。例如，关联操作可以由“关联器”或“相关器”执行。同样，切换可以由“开关”执行，选择可以由“选择器”执行，等等。
在本公开中，不同实体(其可以不同地被称为“单元”、“电路”、其他部件等)可以被描述或要求为“被配置”以执行一个或多个任务或操作。这个表述-被配置为[执行一个或多个任务]的[实体]-在本文中用于指结构(即，物理的东西，诸如电子电路)。更具体地，这个表述用于指示这个结构被布置为在操作期间执行一个或多个任务。结构可以说是“被配置为”执行一些任务，即使该结构当前未被操作。“被配置为将信用分配给多个处理器核心的信用分配电路”旨在涵盖例如具有在操作期间执行这个功能的电路的集成电路，即使所讨论的集成电路当前未被使用(例如，电源未与其连接)。因此，被描述或叙述为“被配置为”执行一些任务的实体是指物理的东西，诸如储存可执行以实现任务的程序指令的设备、电路、存储器等。这个短语在本文中不用来指无形的东西。
术语“被配置为”并非旨在意味着“可配置为”。例如，未编程的FPGA将不被认为是“被配置为”执行一些具体功能，尽管其在编程之后可以是“可配置为”执行这个功能。
在所附的权利要求书中叙述结构被“配置为”执行一个或多个任务是明确地不旨在为这个权利要求元素援引《美国法典》第35编第112节。因此，本申请中不以其他方式包括“用于”[执行功能]构造的“方法”的权利要求书不应根据《美国法典》第35编第112节来解释。
如本文所用，术语“基于”用于描述影响确定的一个或多个因素。这个术语不排除附加的因素可能影响确定的可能性。即，确定可以是仅基于指定的因子，或者基于指定的因子以及其他未指定的因子。考虑短语“基于B而确定A”。这个短语指定B是用于确定A或影响A的确定的因素。这个短语不排除A的确定可能也基于诸如C的一些其他因素。这个短语也旨在涵盖其中仅基于B而确定A的实施方案。如本文所用，短语“基于”与短语“至少部分地基于”同义。
如本文所用，短语“响应于”描述触发效果的一个或多个因素。这个短语不排除附加的因素可能影响或以其他方式触发效果的可能性。即，效果可以仅响应于那些因素，或可以响应于指定的因素以及其他未指定的因素。考虑短语“响应于B而执行A”。这个短语指定B是触发A的性能的因素。这个短语不排除执行A可能也响应于诸如C的一些其他因素。这个短语也旨在涵盖其中仅响应于B而执行A的实施方案。
如本文所用，除非另外陈述，否则术语“第一”、“第二”等用作它们后面的名词的标签，并且不暗示任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，在具有八个寄存器的寄存器文件中，术语“第一寄存器”和“第二寄存器”可以用于指八个寄存器中的任何两个，而不仅是例如逻辑寄存器0和1。
当用于权利要求书中时，术语“或”是用作包括性的或，而不是排他性的或。例如，短语“x，y或z中的至少一个”是指x，y和z中的任何一个，以及它们的任何组合。

Claims (19)

1.一种非易失性存储器系统，包括：
易失性存储器；
非易失性存储器；以及
控制器，所述控制器被配置为：
从主机接收编码的视频流用于存储在所述非易失性存储器中；
在将所述编码的视频流存储在所述非易失性存储器中之前：
部分解码所述编码的视频流；
确定在所述易失性存储器中是否存在足够空间以用于将所述编码的视频流的部分解码版本存储在所述易失性存储器中；
响应于确定所述易失性存储器中存在用于将所述编码的视频流的部分解码版本存储在所述易失性存储器中的足够空间，将所述编码的视频流的部分解码版本存储在所述易失性存储器中；
响应于确定所述易失性存储器中不存在用于将所述编码的视频流的部分解码版本存储在所述易失性存储器中的足够空间，将所述编码的视频流的部分解码版本存储在所述主机的存储器中；
检测存储的部分解码的视频流中的操作事件；以及
向所述主机通知检测的操作事件在视频帧中的位置使得所述主机能够提高在该位置向前的分辨率；以及
将所述编码的视频流存储在所述非易失性存储器中。
2.根据权利要求1所述的非易失性存储器系统，其中所述操作事件包括对象识别。
3.根据权利要求1所述的非易失性存储器系统，其中所述操作事件包括高于所配置阈值的运动。
4.根据权利要求1所述的非易失性存储器系统，其中所述操作事件包括面部识别。
5.根据权利要求1所述的非易失性存储器系统，其中所述控制器还被配置为使用可配置的帧间差。
6.根据权利要求1所述的非易失性存储器系统，其中所述控制器还被配置为执行可配置量的解码。
7.一种非易失性存储器系统，包括：
非易失性存储器；
用于从主机接收编码的视频流以用于存储在所述非易失性存储器中的装置；以及
用于在将所述编码的视频流存储在所述非易失性存储器中之前：部分解码所述编码的视频流；从部分解码的视频流检测操作事件；以及向所述主机通知检测的操作事件在视频帧中的位置使得所述主机能够提高在该位置向前的分辨率的装置，其中所述位置包括象限的标识和在检测的操作事件的所述象限内的坐标。
8.根据权利要求7所述的非易失性存储器系统，其中所述操作事件包括平移、倾斜、缩放和提高的分辨率中的一个或多个。
9.根据权利要求7所述的非易失性存储器系统，还包括比较所述部分解码的视频流的帧与帧间差阈值的装置。
10.根据权利要求7所述的非易失性存储器系统，还包括和所述主机通信的接口。
11.根据权利要求7所述的非易失性存储器系统，其中所述操作事件包括运动、对象识别和面部识别中的一个或多个。
12.一种用于视频流的方法，包括：
在包括易失性存储器和非易失性存储器的非易失性存储器系统中执行以下操作：
从主机接收编码的视频流以用于存储在所述非易失性存储器中；以及
在将所述编码的视频流存储在所述非易失性存储器中之前：
部分解码所述编码的视频流以生成部分解码的视频；
确定在所述易失性存储器中是否存在足够空间以用于将所述部分解码的视频存储在所述易失性存储器中；
响应于确定所述易失性存储器中存在足够空间，将所述部分解码的视频存储在所述易失性存储器中；
响应于确定所述易失性存储器中不存在足够空间，将所述部分解码的视频存储在所述主机的存储器中；
检测存储的部分解码的视频中的操作事件；以及
向所述主机通知检测的操作事件在视频帧中的位置。
13.根据权利要求12所述的方法，所述方法还包括用要执行的一定量的部分解码来配置所述非易失性存储器系统。
14.根据权利要求12所述的方法，所述方法还包括用表示所述操作事件的帧间差级来配置所述非易失性存储器系统。
15.根据权利要求12所述的方法，所述方法还包括向所述主机通知所述视频流中的运动。
16.根据权利要求12所述的方法，所述方法还包括用事件坐标通知所述主机。
17.根据权利要求16所述的方法，其中所述事件坐标包括所述视频帧的分区以及极坐标和笛卡尔坐标中的一个或多个。
18.根据权利要求17所述的方法，其中所述分区包括视频象限。
19.根据权利要求12所述的方法，所述方法还包括将所述视频流存储在所述非易失性存储器中。
CN201911224976.6A 2019-01-11 2019-12-04 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统 Active CN111435434B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/929,090 2019-01-11
US15/929,090 US10897627B2 (en) 2019-01-11 2019-01-11 Non-volatile memory system including a partial decoder and event detector for video streams

Publications (2)

Publication Number Publication Date
CN111435434A CN111435434A (zh) 2020-07-21
CN111435434B true CN111435434B (zh) 2024-01-23

Family

ID=69105682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911224976.6A Active CN111435434B (zh) 2019-01-11 2019-12-04 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统

Country Status (3)

Country Link
US (1) US10897627B2 (zh)
EP (1) EP3681164A1 (zh)
CN (1) CN111435434B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11756295B2 (en) 2020-12-01 2023-09-12 Western Digital Technologies, Inc. Storage system and method for event-driven data stitching in surveillance systems
US11902656B2 (en) 2022-06-29 2024-02-13 Western Digital Technologies, Inc. Audio sensors for controlling surveillance video data capture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1338873A (zh) * 2000-07-10 2002-03-06 三菱电机株式会社 联网的监视和控制系统
JP2012244574A (ja) * 2011-05-24 2012-12-10 Mitsubishi Electric Corp 映像監視装置
CN104871530A (zh) * 2012-12-17 2015-08-26 阿尔卡特朗讯公司 使用移动终端的视频监控系统
CN105900084A (zh) * 2013-12-20 2016-08-24 高通股份有限公司 用于图像检索的系统、方法及设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099150A (en) * 1989-09-29 1992-03-24 Sgs-Thomson Microelectronics, Inc. Circuit block for programmable logic devices, configurable as a user-writable memory or a logic circuit
US6839725B2 (en) 2000-05-16 2005-01-04 Sun Microsystems, Inc. Dynamic adaptive tenuring of objects
US6542075B2 (en) 2000-09-28 2003-04-01 Vigilos, Inc. System and method for providing configurable security monitoring utilizing an integrated information portal
US7631327B2 (en) 2001-08-08 2009-12-08 Accenture Global Services Gmbh Enhanced custom content television
US7433582B2 (en) 2002-06-25 2008-10-07 International Business Machines Corporation Personal video recording with machine learning for messaging
US6768661B2 (en) 2002-06-27 2004-07-27 Matrix Semiconductor, Inc. Multiple-mode memory and method for forming same
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US20060190419A1 (en) 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
US8356061B2 (en) 2008-06-23 2013-01-15 Oracle America, Inc. Maximizing throughput for a garbage collector
EP2141928A1 (en) 2008-06-30 2010-01-06 Thomson Licensing S.A. Device and method for analysing an encoded image
JP5100667B2 (ja) 2009-01-09 2012-12-19 キヤノン株式会社 画像符号化装置及び画像符号化方法
US9215423B2 (en) 2009-03-30 2015-12-15 Time Warner Cable Enterprises Llc Recommendation engine apparatus and methods
US8850113B2 (en) 2010-02-27 2014-09-30 Cleversafe, Inc. Data migration between a raid memory and a dispersed storage network memory
EP2407943B1 (en) 2010-07-16 2016-09-28 Axis AB Method for event initiated video capturing and a video camera for capture event initiated video
US9414109B2 (en) 2011-08-31 2016-08-09 Tivo Inc. Multimedia program recording schedule manager
US8825721B2 (en) 2011-10-03 2014-09-02 Oracle International Corporation Time-based object aging for generational garbage collectors
US8516019B2 (en) 2011-10-03 2013-08-20 Oracle America, Inc. Time-based object aging for generational garbage collectors
US9037921B1 (en) 2012-03-29 2015-05-19 Amazon Technologies, Inc. Variable drive health determination and data placement
US20150237351A1 (en) 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
CN105335437A (zh) 2014-08-11 2016-02-17 中兴通讯股份有限公司 数据的处理方法及装置
US10007442B2 (en) 2014-08-20 2018-06-26 Sandisk Technologies Llc Methods, systems, and computer readable media for automatically deriving hints from accesses to a storage device and from file system metadata and for optimizing utilization of the storage device based on the hints
US10228854B2 (en) 2014-08-20 2019-03-12 Sandisk Technologies Llc Storage devices and methods for optimizing use of storage devices based on storage device parsing of file system metadata in host write operations
US9836248B2 (en) 2014-10-30 2017-12-05 ScaleFlux In-memory data compression complementary to host data compression
GB201508074D0 (en) * 2015-05-12 2015-06-24 Apical Ltd People detection
US20160345009A1 (en) 2015-05-19 2016-11-24 ScaleFlux Accelerating image analysis and machine learning through in-flash image preparation and pre-processing
CN113316024B (zh) 2016-02-02 2024-05-31 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
US9781479B2 (en) 2016-02-29 2017-10-03 Rovi Guides, Inc. Methods and systems of recommending media assets to users based on content of other media assets
US10095445B2 (en) 2016-03-29 2018-10-09 Western Digital Technologies, Inc. Systems and methods for offloading processing from a host to storage processing units using an interconnect network
KR101923661B1 (ko) 2016-04-04 2018-11-29 주식회사 맴레이 플래시 기반 가속기 및 이를 포함하는 컴퓨팅 디바이스
US11010431B2 (en) 2016-12-30 2021-05-18 Samsung Electronics Co., Ltd. Method and apparatus for supporting machine learning algorithms and data pattern matching in ethernet SSD
US10587919B2 (en) 2017-09-29 2020-03-10 International Business Machines Corporation Cognitive digital video filtering based on user preferences
US10747659B2 (en) 2018-02-06 2020-08-18 Western Digital Technologies, Inc. Flash fast program mode for high definition video recording and high resolution camera burst mode recording
US11025942B2 (en) * 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1338873A (zh) * 2000-07-10 2002-03-06 三菱电机株式会社 联网的监视和控制系统
JP2012244574A (ja) * 2011-05-24 2012-12-10 Mitsubishi Electric Corp 映像監視装置
CN104871530A (zh) * 2012-12-17 2015-08-26 阿尔卡特朗讯公司 使用移动终端的视频监控系统
CN105900084A (zh) * 2013-12-20 2016-08-24 高通股份有限公司 用于图像检索的系统、方法及设备

Also Published As

Publication number Publication date
US10897627B2 (en) 2021-01-19
CN111435434A (zh) 2020-07-21
EP3681164A1 (en) 2020-07-15
US20200228812A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
JP6854888B2 (ja) ビデオ符号化方法、コンピュータ装置および記憶媒体
CN110121114B (zh) 发送流数据的方法及数据发送设备
US11775247B2 (en) Real-time screen sharing
CN111435434B (zh) 包括用于视频流的部分解码器和事件检测器的非易失性存储器系统
CN110740318A (zh) 用于视频处理和视频译码的自动自适应长期参考帧选择
US9876964B2 (en) Video coding with composition and quality adaptation based on depth derivations
US11810350B2 (en) Processing of surveillance video streams using image classification and object detection
WO2019119950A1 (zh) 视频编码处理方法、装置及具有视频编码功能的应用
KR20140110008A (ko) 객체 검출 정보에 따른 인코딩
US20130034151A1 (en) Flexible codec switching
US9179155B1 (en) Skipped macroblock video encoding enhancements
US20220272255A1 (en) Surveillance video streams with embedded object data
WO2022119598A1 (en) Audio privacy protection for surveillance systems
CN111212290A (zh) 片上系统及其帧率转换方法
EP3357231B1 (en) Method and system for smart imaging
US20150341654A1 (en) Video coding system with efficient processing of zooming transitions in video
CN109660806B (zh) 一种编码方法、装置和电子设备
US20170249120A1 (en) Sharing of Multimedia Content
US11810361B2 (en) Site-based calibration of object detection parameters
US11509832B2 (en) Low light surveillance system with dual video streams
CN112183227B (zh) 一种智能泛人脸区域的编码方法和设备
US11606574B2 (en) Efficient coding of source video sequences partitioned into tiles
CN112543372A (zh) 分配视频码率的方法、装置及存储介质
WO2020079257A1 (en) Video coding and decoding
US11736796B1 (en) Workload triggered dynamic capture in surveillance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant