CN114079820A - 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成 - Google Patents

在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成 Download PDF

Info

Publication number
CN114079820A
CN114079820A CN202010836914.7A CN202010836914A CN114079820A CN 114079820 A CN114079820 A CN 114079820A CN 202010836914 A CN202010836914 A CN 202010836914A CN 114079820 A CN114079820 A CN 114079820A
Authority
CN
China
Prior art keywords
video
event
frame
frames
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010836914.7A
Other languages
English (en)
Inventor
孙鲁毅
汤坚
许瑞桉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anba International LP
Original Assignee
Anba International LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anba International LP filed Critical Anba International LP
Priority to CN202010836914.7A priority Critical patent/CN114079820A/zh
Priority to US17/126,108 priority patent/US11373685B2/en
Publication of CN114079820A publication Critical patent/CN114079820A/zh
Priority to US17/717,060 priority patent/US11594254B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种包括接口和处理器的装置。该接口可以被配置为接收由捕获设备生成的像素数据。处理器可以被配置为进行以下操作：响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于用户定义的事件；以及根据视频帧来生成经编码的视频帧。经编码的视频帧可以被传送到云存储服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速率。

Description

在摄像机设备上借助于神经网络输入的以感兴趣的事件/对 象为中心的间隔拍摄视频生成
技术领域
本发明总体上涉及计算机视觉，并且更具体地涉及方法和/或装置，该方法和/或装置用于在摄像机设备上借助于神经网络输入来实现以感兴趣的事件/对象为中心的间隔拍摄视频生成。
背景技术
针对常规的互联网连接的/云实现的摄像机的间隔拍摄视频模式通常由在云服务器上操作的软件实现。该软件依赖于使用云服务器的分布式处理的资源(即，可扩展计算)。以固定的帧速率显示间隔拍摄视频片段以实现快进效果。例如，以固定的间隔选择视频帧以创建间隔拍摄视频(即，从每秒三十帧的视频中选择每第三十个帧来创建间隔拍摄视频)。
互联网连接的/云实现的摄像机对视频数据进行编码，并且然后将经编码的视频流传送到云服务器。在云服务器上使用许多额外的CPU周期以进行以下操作：解码常规的视频流(即，使用AVC编码或HEVC编码的压缩的视频)，以固定的帧间隔提取帧，然后将这些帧转码为间隔拍摄视频。同时，即使利用间隔拍摄视频，用户也难以查找重要的细节。由于间隔拍摄视频始终使用固定的帧速率而不使用所有捕获的视频数据，因此在捕获的视频中的用户感兴趣的内容的持续时间内，以正常的显示速度的视频帧不可用。例如，当安全摄像机观察到潜在的感兴趣的事件(例如，行人)时，间隔拍摄将与当安全摄像机未观察到任何特别感兴趣的事件时相同。
将期望的是在摄像机设备上借助于神经网络输入来实现以感兴趣的事件/对象为中心的间隔拍摄视频生成。
发明内容
本发明涉及一种装置，该装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：从接口接收像素数据；响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于用户定义的事件；以及根据视频帧来生成经编码的视频帧。经编码的视频帧可以被传送到云存储服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速率。
附图说明
根据下面的详细描述和所附权利要求书以及附图，本发明的实施例将是显而易见的。
图1是示出本发明的示例上下文的图。
图2是示出实现本发明的示例实施例的示例互联网连接的摄像机的图。
图3是示出被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
图4是示出与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。
图5是示出边缘AI摄像机上的具有使用事件的所有帧的CV分析的智能间隔拍摄模式的图。
图6是示出边缘AI摄像机上的具有使用事件的部分帧的CV分析的智能间隔拍摄模式的图。
图7是示出在捕获的视频帧中的事件检测的图。
图8是示出在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。
具体实施方式
本发明的实施例包括在摄像机设备上借助于神经网络输入来提供以感兴趣的事件/对象为中心的间隔拍摄视频生成，本发明的实施例可以进行以下操作：(i)在边缘设备上实现事件检测；(ii)在边缘设备上实现视频编码；(iii)基于检测到的事件/对象来生成具有变化的帧速率的智能间隔拍摄视频；(iv)使用在处理器上实现的卷积神经网络来检测对象/事件；(v)调整间隔拍摄帧速率以在检测到事件/对象时捕获所有视频帧；(vi)执行面部识别和/或对象分类；(vii)将经编码的智能间隔拍摄视频上载到云存储服务器；(viii)使用智能手机app来实现对用于事件/对象检测的参数和/或间隔拍摄视频的帧速率的配置；和/或(ix)被实现为一个或多个集成电路。
本发明的实施例可以被配置为提供智能间隔拍摄视频模式。间隔拍摄视频模式可以是通过基于在视频中捕获的内容来自动调整视频显示速度的智能间隔拍摄视频模式。本发明的实施例可以被配置为生成经编码的智能间隔拍摄视频。智能间隔拍摄视频可以在云服务上(例如，使用可扩展计算)生成。智能间隔拍摄视频可以在边缘设备(例如，人工智能(AI)摄像机)上生成。
边缘AI摄像机可以被配置为实现人工智能(AI)技术。边缘AI摄像机使用AI技术可以在许多方面比使用云服务器更强大(例如，通过为用户提供相关的数据)并且是更节能的解决方案。边缘AI摄像机可以被配置为在设备上执行计算机可读指令(例如，不依赖于外部处理资源)，以逐帧分析视频内容。基于分析，内容可以标记有元数据信息。元数据可以用于选择用于间隔拍摄视频的视频帧。例如，视频帧可以通过被标记为不具有感兴趣的对象/事件和具有感兴趣的对象/事件而被分类。计算机视觉(CV)操作可以确定是否存在感兴趣的对象/事件。
当在N秒(N＝60/120/240/……)的持续时间内不存在针对视频帧的感兴趣的CV事件(或对象的类型)时，边缘AI摄像机可以从无事件持续时间中选择视频帧中的一个。选定的帧可以用于视频编码(例如，在边缘AI摄像机设备中内置的视频编码器)。可以针对没有检测到事件的每个N秒持续时间重复从无事件持续时间N中选择一个视频帧用于编码。从无事件持续时间N中选择一个视频帧用于编码可以导致经编码的输出，该经编码的输出提供捕获的视频的压缩的部分(例如，从而以高显示速度高效地快进通过捕获的视频的“无意义的内容”部分)。
当在M秒(M＝5/15/30/……)的持续时间内存在针对视频帧的检测到的感兴趣的CV事件(或对象的类型)时，边缘AI摄像机可以调整在事件持续时间M内的视频帧的数量和/或选择速率。在示例中，感兴趣的对象和/或事件可以是人被检测到、汽车被检测到、检测到的动物、动作、检测到的特定的面部等。可以调整视频帧的选择以从事件的M秒持续时间中选择所有视频帧(例如，对于以每秒60帧捕获的2分钟事件，可以选择全部7200帧)。可以调整视频帧的选择以在事件的M秒持续时间内以比在无事件持续时间内更高的速率选择视频帧(例如，选择更多帧，但不是所有帧)，例如，对于以每秒60帧捕获的2分钟事件，选择的速率可以改变为30帧，并且可以每隔一帧进行选择，从而导致选择3600个视频帧。可以(例如，使用AI边缘摄像机的设备上视频编码)编码选定的视频帧。在事件持续时间M内以更高的速率选择视频帧用于编码可以导致经编码的输出，该经编码的输出提供智能间隔拍摄视频的具有针对“有意义的内容”的正常的显示速度的部分，或者智能间隔拍摄视频的具有针对“有意义的内容”的稍微压缩的显示速度(但不如“无意义的内容”的速度高)的部分。
利用在边缘摄像机上实现的智能间隔拍摄视频模式，用户可以快速地浏览在长时间段内(例如，几天/几周/几个月)捕获的视频内容，并且用户可以确信将不会错过感兴趣的CV事件。感兴趣的CV事件可以包括通过面部检测和/或面部识别来检测人(例如，已知的人)、(例如，使用车牌读取器)检测汽车牌照、使用动物/宠物识别来检测宠物(例如，已知的动物)、检测动作(例如，检测到的高于预定义的阈值的任何动作)等。可以被认为是感兴趣的事件的检测到的事件和/或对象的类型可以根据特定实现方式的设计标准而变化。
本发明的实施例可以使得用户能够指定可以被认为是感兴趣的对象/事件的类型。在一个示例中，在智能手机上操作的app可以被配置为调整针对边缘AI摄像机的设置。在另一示例中，边缘AI摄像机可以被配置为提供web界面以使得用户能够远程地选择被认为是感兴趣的事件的对象/事件。在又一示例中，边缘AI摄像机可以连接到云服务器，并且用户可以使用web界面以调整存储在云服务器上的设置，该设置然后可以被发送到边缘AI摄像机以控制感兴趣的间隔拍摄对象类型。
间隔拍摄的持续时间可以被配置为定期间隔，并且也可以被配置为自用户上次已经接收到间隔拍摄视频以来的时间。例如，如果用户已经错过了20个事件通知，则在用户与app进行交互(例如，在智能手机上滑动)以查看事件的瞬间，聚焦于事件的间隔拍摄可以呈现给用户以用于查看。尽管通常可以在边缘AI摄像机本地执行本发明的实施例(例如，从而实现被配置为实现卷积神经网络和/或视频编码的处理器)，但是可以使用云服务器上的软件来执行本发明的实施例以实现类似的效果。
参考图1，示出了说明本发明的示例上下文的图。示出了住宅50和车辆52。示出了摄像机系统100a-100n。摄像机100a-100n中的每一个可以被配置为生成智能间隔拍摄视频。例如，摄像机100a-100n中的每一个可以被配置为彼此独立地操作。摄像机100a-100n中的每一个可以捕获视频并生成智能间隔拍摄视频。在一个示例中，可以将相应的智能间隔拍摄视频上载到云存储服务。在另一示例中，可以本地存储相应的智能间隔拍摄视频(例如，存储在microSD卡上、存储到本地网络附接的存储设备等)。
摄像机100a-100n中的每一个可以被配置为检测可以被认为是感兴趣的不同的或相同的事件/对象。例如，摄像机系统100b可以捕获住宅50的入口附近的区域。对于住宅50的入口，感兴趣的对象/事件可以是检测人。摄像机系统100b可以被配置为分析视频帧以检测人，并且当检测到人时，智能间隔拍摄视频可以减慢速度(例如，选择用于以更高的帧速率编码的视频帧)。在另一示例中，摄像机系统100d可以捕获车辆52附近的区域。对于车辆52，感兴趣的对象/事件可以是检测其他车辆和行人。摄像机系统100b可以被配置为分析视频帧以检测车辆(或道路标志)和人，并且当检测到车辆或行人时，智能间隔拍摄视频可以减慢速度。
参考图2，示出了说明实现本发明的示例实施例的示例互联网连接的摄像机的图。示出了摄像机系统100a-100n。每个摄像机设备100a-100n可以具有不同的样式和/或用例。例如，摄像机100a可以是行动摄像机，摄像机100b可以是天花板安装式安全摄像机，摄像机100n可以是网络摄像机等。可以实现其他类型的摄像机(例如，住宅安全摄像机、电池供电摄像机、门铃摄像机等)。摄像机100a-100n的设计/样式可以根据特定实现方式的设计标准而变化。
摄像机系统100a-100n可以包括处理器102和捕获设备104。处理器102可以被配置为实现卷积神经网络(CNN)。处理器102可以被配置为实现视频编码器。处理器102可以生成智能间隔拍摄视频。捕获设备104可以被配置为捕获可以用于生成视频帧的像素数据。
参考图3，示出了说明被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
处理器102可以被配置为根据从捕获设备104a-104n接收到的像素数据来生成经编码的视频帧。处理器102可以被配置为选择要被编码用于智能间隔拍摄视频的视频帧。可以响应于由CNN模块190b检测到的对象/事件而选择视频帧。调度器电路190a可以加载包括用于检测各种类型的对象/事件的参数的有向非循环图(DAG)。例如，可以响应于由用户选择的感兴趣的事件的类型而加载不同的DAG。
参考图4，示出了说明与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。边缘AI摄像机可以被配置为与远程云服务和/或用户设备(例如，智能手机)通信。用户可以使用智能手机52b-52n上的app选择设置。偏好可以作为事件设置存储在云服务中。云服务可以为处理器102提供神经网络参数(例如，特征集)。处理器102可以接收特征集以检测对象/事件。边缘AI摄像机可以被配置为将经编码的视频帧(例如，智能间隔拍摄视频)上载到云服务。经编码的视频帧可以存储在云服务的大容量视频存储装置中。用户可以使用智能手机来访问经编码的视频帧。智能手机可以连接到大容量视频存储装置并下载智能间隔拍摄视频。云服务可以进一步基于智能间隔拍摄视频的元数据标记中的内容来将通知提供给智能手机。
示出了处理器102的视频处理管线。处理器102可以响应于由捕获设备104捕获的像素数据而生成原始视频帧。该原始视频帧可以由CNN模块分析。CNN模块可以包括AI模型(例如，DAG)。CNN模块可以基于用户的偏好来检测感兴趣的对象(例如，检测人、车辆、动物、移动、声音等中的一个或所有作为事件)。
当检测到事件时，CNN模块可以标记视频帧。可以将标记有事件的视频帧提供给视频编码管线。可以以经调整的帧速率(例如，完整的视频或比当未检测到事件时更高的帧速率)对具有检测到的事件的视频帧进行编码。
CNN模块可以确定哪些帧不具有检测到的事件(例如，不感兴趣的视频帧)。在不具有事件的视频帧中，处理器102可以为长度N的每个持续时间选择一个视频帧。例如，处理器102可以从其中视频以60fps被捕获的持续时间N中选择一个视频帧(例如，从在一秒中捕获的60帧中选择一个帧)。
未被选择的视频帧可以不被包括在智能间隔拍摄视频流中。在一个示例中，可以丢弃(例如，不存储)未被选择的视频帧。在另一示例中，未被选择的视频帧可以在记录(例如，可以存储在摄像机设备100的本地、存储在microSD卡上等的完整的视频流的记录)中使用。可以将被选择的视频帧呈现给视频编码管线，以用于编码为智能间隔拍摄视频。
视频编码管线可以被配置为实时地编码视频帧(例如，HEVC、AVC、H264等)。视频编码管线可以基于捕获的时间来将选定的视频帧按顺序插入到经编码的视频中。例如，每个视频帧可以具有时间戳，并且视频帧可以按照时间戳的顺序被插入到经编码的视频中(例如，最早的视频帧在最先，以创建按时间顺序排序的视频)。视频编码管线可以生成带有具有事件的视频帧(以正常的速度显示)和非事件的视频帧(由于选择了较少的帧，因此以更快的速度显示)的经编码的视频。
视频编码管线可以被配置为将各种效果应用于选定的视频帧。例如，视频编码管线可以被配置为裁剪选定的视频帧、对选定的视频帧进行畸变校正(dewarp)、根据选定的视频帧应用彩色化(或移除颜色)、将模糊应用于视频帧的片段等。在示例中，模糊效果可以应用于选定的视频帧的部分以隐藏和/或删剪特定的对象(例如，出于隐私原因隐藏已知的人的身份、隐藏裸体部分以防止裸体被上载等)。
处理器102可以被配置为在视频帧被编码之前执行计算机视觉操作。在视频帧被编码之前执行计算机视觉操作可以使得能够在没有首先解码视频帧的周期成本的情况下执行计算机视觉操作。例如，如果计算机视觉由云服务执行，则将经编码的视频帧发送到云服务器，并且云服务器通过以下操作浪费CPU周期和功率：首先解码视频帧，然后执行计算机视觉操作，并且然后转码间隔拍摄视频。
处理器102可以被配置为针对全部在边缘AI摄像机100本地的智能间隔拍摄视频执行视频帧的选择。处理器102可以实现CNN模块。CNN模块可以是处理器102的硬件组件(或一起工作的多个硬件组件)，该硬件组件实现基于CNN的检测技术(或其他类型的检测技术)，该检测技术全部在处理器102上操作以执行诸如对象检测、对象跟踪、对象分类等之类的计算机视觉操作。硬件加速的CNN模块可以使得对象/事件检测能够在摄像机系统100上执行(例如，不依赖于云服务器的计算资源来执行对象检测)。在一些实施例中，处理器可以使用软件加速以用于计算机视觉和/或使用硬件加速的计算机视觉和软件加速的计算机视觉的组合。利用在基于硬件的CNN引擎和/或基于软件的CNN引擎上运行的计算机视觉操作，在边缘设备100中实现的处理器102可以能够检测一种或多种类型的事件，并且将事件标记应用于捕获的视频帧。
参考图5，示出了说明边缘AI摄像机上的具有使用事件的所有帧的CV分析的智能间隔拍摄模式的图。示出了包括视频帧的流(例如，图片组(GOP))的捕获的视频流。CNN模块可以执行计算机视觉以确定哪些视频帧包括CV事件。视频帧的前四个持续时间为N的组可能不包括CV事件。可以由处理器102选择来自前四个持续时间为N的组中的每一个组的视频帧中的一个以用于智能间隔拍摄视频(例如，选择四个非事件视频帧)。
在四个非事件组之后，可以检测到CV事件(例如，持续时间为M)。对于完整的智能间隔拍摄视频，在持续时间M内具有CV事件的所有视频帧可以被选择以用于智能间隔拍摄视频流。在所示的示例中，在持续时间M内可以有六个视频帧。可以选择具有CV事件的所有六个视频帧以用于智能间隔拍摄视频。
在CV事件的持续时间M之后，可以检测到视频帧的不包括CV事件的另外两个持续时间为N的组。可以将用于视频选择的帧速率重新调整回到默认速率。例如，可以针对视频帧的接下来的两个非事件的持续时间为N组中的每一个组选择一个视频帧。尽管第一视频帧被示出为从视频帧的非CV事件组中选择，但是可以根据特定实现方式的设计标准来从非CV事件组中的每一个组中选择视频帧中的任何一个。
智能间隔拍摄视频可以以正常的帧速率回放。由于要从视频帧的非CV部分回放的视频帧较少，因此智能间隔拍摄视频流的非CV部分的回放可能看起来以比实时回放更高的速度回放。例如，如果已经检测到视频帧的60个非CV事件组，则可以从针对智能间隔拍摄视频的每个帧中选择一个帧。以60fps回放智能间隔拍摄视频可以导致非CV事件组以一秒的压缩的形式回放。由于已经选择了CV事件的所有的视频帧，因此智能间隔拍摄视频流的部分的回放可以以正常的速度(例如，实时地)回放。
处理器102可以基于检测到的事件来生成智能间隔拍摄视频。CNN模块可以检测事件并标记对应于特定的事件的视频帧。在一个示例中，视频帧(例如，帧N)可以对应于事件A和事件B，并且在帧N之后的接下来的一百个视频帧(例如，帧N+100)可以仅对应于事件B。处理器102可以被配置为通过以下方式来组合选定的帧：从不具有事件的视频中选择一些视频帧(例如，通常仅选择I-帧)，并且然后选择具有事件A标记的所有的帧。然后，编码设备可以(例如，通过查找帧N和可以被选择的具有事件A标记的任何相邻帧)创建包括事件A的智能间隔拍摄视频(例如，压缩的视频)。类似地，可以针对事件B(例如，通过查找视频帧N和具有事件B标记的接下来的帧N+100)生成不同的智能间隔拍摄视频(例如，单独的视频文件)。
参考图6，示出了说明边缘AI摄像机上的具有使用事件的部分帧的CV分析的智能间隔拍摄模式的图。在一些实施例中，并非可以选择CV事件的所有视频帧。不选择CV事件的所有视频帧可以导致智能间隔拍摄视频提供CV事件的压缩的视图，该压缩的视图仍提供比选定的非CV事件视频帧的压缩的视图更多的视频帧(例如，更多细节、更慢的回放速度)。
在所示的示例中，四个持续时间为N的非CV事件可以选择一个视频帧以用于智能间隔拍摄视频流。在四个非事件组之后，可以检测到CV事件(例如，持续时间为M)。对于部分的智能间隔拍摄视频，并非在持续时间M内的具有CV事件的所有视频帧都可以被选择以用于智能间隔拍摄视频流。在所示的示例中，用于选择的帧速率可以是视频捕获帧速率的一半。在所示的示例中，在持续时间M内可以有六个视频帧。可以选择具有CV事件的六个视频帧中的三个视频帧以用于部分的智能间隔拍摄视频。
在图5和图6中，由处理器102选择的要被编码用于智能间隔拍摄视频的视频帧被示出为大于可能未被选择的帧。出于说明的目的，选定的视频帧和/或未选定的视频帧的尺寸被示出为不同的(例如，较大的尺寸指示视频帧已经被选择，并且较小的尺寸指示视频帧尚未被选择)。通常，选定的视频帧可以不一定是特定的类型的视频帧(例如，选择的视频帧可以是I-帧、B-帧、P-帧等中的任何一个)。例如，在“CV事件持续时间”中的所有视频帧可以是与在“无CV事件持续时间”中的视频帧相同的编码GOP的一部分，这可以使得选定的视频帧能够是任何类型的视频帧。在示例中，选定的帧可能不需要全都是I-帧，这是因为当视频帧被捕获并且处理器102正在执行编码时，可以由CNN模块并行地执行对象/事件检测(例如，可以不必一捕获到新的视频帧就完成通过CNN模块的计算机视觉操作)。可以执行计算机视觉操作，并且然后如果检测到事件，则可以在不改变针对该事件的视频GOP的情况下将整个视频GOP标记为事件(例如，事件A)。处理器102可以解码整个GOP并且使用CNN模块选择帧中的一些帧。例如，对于部分的智能间隔拍摄视频(在图6中示出)，为了更好的质量，CNN模块可以决定在GOP中仅查找视频帧中的一些视频帧。
参考图7，示出了说明在捕获的视频帧中的事件检测的图。示出了示例视频帧。示例视频帧可以包括提供给CNN模块的像素数据。CNN模块可以被配置为分析视频帧的像素数据以确定感兴趣的事件/对象是否存在。由CNN模块检测到的对象/事件的类型可以由用户选择和/或由处理器102加载的特征集定义。
示例视频帧可以是住宅50的正面的捕获的视频(例如，从正门朝向车道向下的角度的视图)。示例视频帧可以包括一个人正在签收由递送员递送的包裹。递送卡车可以停放在路上。也示出了树和附近的住宅。
示出了表示由CNN模块检测到的对象的边界框的虚线框。检测到的对象可以是递送员的面部、人(例如，房主)的面部以及递送车辆。在示例中，针对处理器102的设置可以将感兴趣的对象定义为人和车辆。例如，树和住宅可以不是感兴趣的对象。
由于示例视频帧包括至少一个感兴趣的对象，因此CNN模块可以将该视频帧标记为“事件”视频帧。如果智能间隔拍摄视频包括在事件的持续时间内的所有视频帧，则示例视频帧可以被编码并转码为智能间隔拍摄视频帧。
参考图8，示出了说明在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。示出了app界面。智能手机可以被配置为直接连接到边缘AI设备。智能手机可以被配置为连接到云服务以访问存储在云中的用户偏好。边缘AI设备可以被配置为根据从云中取回的设置来操作。
App可以使得用户选择是对完整的智能间隔拍摄视频流进行编码(例如，选择具有检测到的事件/对象的所有视频帧)还是对部分的间隔拍摄视频流进行编码。如果选择了部分的智能间隔拍摄视频流选项，则用户可以进一步定义针对具有检测到的事件的视频帧的选择的帧速率。在所示的示例中，60fps、30fps和15fps被示出为可用选项。针对部分的智能间隔拍摄视频的帧速率的可用选项可以根据特定实现方式的设计标准而变化。选择较低的帧速率可以导致检测到的事件的更压缩的版本被插入到智能间隔拍摄视频流中。
App可以使得用户能够选择要检测的对象和/或事件的类型。例如，事件可以是对人、车辆、动物的检测(例如，使用计算机视觉)、检测动作等。事件可以是音频事件(例如，检测可能比预定义的声音级别更响亮的声音、特定的类型的声音特征等)。该app可以进一步使得用户能够观看直播流(例如，显示由边缘AI设备当前捕获的视频数据)。当CNN模块检测到事件时，该app可以提供通知。
当术语“可以”和“通常”在本文中结合“是”和动词使用时意指传达这样的意图：描述是示例性的，并且被认为足够宽泛以涵盖在本公开中呈现的具体示例以及可以基于本公开导出的可替代的示例两者。如本文中使用的术语“可以”和“通常”不应该被解释为一定暗示省略对应的元素的可取性或可能性。
尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，可以在不脱离本发明的范围的情况下进行形式和细节的各种改变。

Claims (6)

1.一种装置，包括：
接口，其被配置为接收由捕获设备生成的像素数据；以及
处理器，其被配置为：(i)从所述接口接收所述像素数据；(ii)响应于所述像素数据而生成视频帧；(iii)对所述视频帧执行计算机视觉操作以检测对象；(iv)基于所述对象的特性来执行对检测到的所述对象的分类；(v)确定所述对象的所述分类是否对应于用户定义的事件；以及(vi)根据所述视频帧来生成经编码的视频帧，其中，(a)所述经编码的视频帧被传送到云存储服务；(b)所述经编码的视频帧包括(i)所述视频帧的第一样本和(ii)所述视频帧的第二样本，所述第一样本是在所述用户定义的事件未被检测到时以第一速率选择的，所述第二样本是在所述用户定义的事件被检测到时以第二速率选择的；以及(c)所述第二速率大于所述第一速率。
2.根据权利要求1所述的装置，其中，所述第二速率与所述视频帧的帧速率相同。
3.根据权利要求1所述的装置，其中，所述第二速率小于所述视频帧的所述帧速率。
4.根据权利要求1所述的装置，其中，所述计算机视觉操作是在集成电路上执行的。
5.根据权利要求1所述的装置，其中，(i)所述装置和所述捕获设备是在边缘设备上实现的，以及(ii)所述边缘设备与所述云存储服务通信。
6.根据权利要求1所述的装置，其中，选择的所述视频帧包括I-帧、B-帧或P-帧中的任何一个。
CN202010836914.7A 2020-08-19 2020-08-19 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成 Pending CN114079820A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010836914.7A CN114079820A (zh) 2020-08-19 2020-08-19 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成
US17/126,108 US11373685B2 (en) 2020-08-19 2020-12-18 Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input
US17/717,060 US11594254B2 (en) 2020-08-19 2022-04-09 Event/object-of-interest centric timelapse video generation on camera device with the assistance of neural network input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010836914.7A CN114079820A (zh) 2020-08-19 2020-08-19 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成

Publications (1)

Publication Number Publication Date
CN114079820A true CN114079820A (zh) 2022-02-22

Family

ID=80269021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010836914.7A Pending CN114079820A (zh) 2020-08-19 2020-08-19 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成

Country Status (2)

Country Link
US (2) US11373685B2 (zh)
CN (1) CN114079820A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220164569A1 (en) * 2020-11-26 2022-05-26 POSTECH Research and Business Development Foundation Action recognition method and apparatus based on spatio-temporal self-attention
US11468676B2 (en) * 2021-01-08 2022-10-11 University Of Central Florida Research Foundation, Inc. Methods of real-time spatio-temporal activity detection and categorization from untrimmed video segments
US11893792B2 (en) * 2021-03-25 2024-02-06 Adobe Inc. Integrating video content into online product listings to demonstrate product features
CN114679607B (zh) * 2022-03-22 2024-03-05 深圳云天励飞技术股份有限公司 一种视频帧率控制方法、装置、电子设备及存储介质
WO2023235532A1 (en) * 2022-06-03 2023-12-07 Clearobject Corporation Edge device video analysis system
US20240069626A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Timelapse re-experiencing system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340625A (zh) * 2010-07-16 2012-02-01 安讯士有限公司 事件启动的视频捕获方法及捕获事件启动的视频的摄像机
CN103283226A (zh) * 2010-12-30 2013-09-04 派尔高公司 搜索录制的视频
CN105991976A (zh) * 2015-03-16 2016-10-05 安讯士有限公司 生成事件视频序列的方法和系统以及包括此系统的摄像机
US20170300751A1 (en) * 2016-04-19 2017-10-19 Lighthouse Al, Inc. Smart history for computer-vision based security system
CN107710757A (zh) * 2015-06-04 2018-02-16 英特尔公司 用于缓慢运动视频记录的自适应批量编码
CN108259934A (zh) * 2016-12-29 2018-07-06 安讯士有限公司 用于回放所记录的视频的方法和装置
CN108351965A (zh) * 2015-09-14 2018-07-31 罗技欧洲公司 视频摘要的用户界面
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
CN110235138A (zh) * 2016-12-05 2019-09-13 艾维格林公司 用于外观搜索的系统和方法
US10536700B1 (en) * 2017-05-12 2020-01-14 Gopro, Inc. Systems and methods for encoding videos based on visuals captured within the videos
CN111512629A (zh) * 2018-02-05 2020-08-07 英特尔公司 低比特率压缩视频流上的计算机视觉的自适应阈值处理

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9009805B1 (en) * 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
US10116897B2 (en) * 2017-03-01 2018-10-30 Adobe Systems Incorporated Photometric stabilization for time-compressed video
WO2020213756A1 (ko) * 2019-04-17 2020-10-22 엘지전자 주식회사 영상 보정 방법 및 장치
US11140292B1 (en) * 2019-09-30 2021-10-05 Gopro, Inc. Image capture device for generating time-lapse videos

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340625A (zh) * 2010-07-16 2012-02-01 安讯士有限公司 事件启动的视频捕获方法及捕获事件启动的视频的摄像机
CN103283226A (zh) * 2010-12-30 2013-09-04 派尔高公司 搜索录制的视频
CN105991976A (zh) * 2015-03-16 2016-10-05 安讯士有限公司 生成事件视频序列的方法和系统以及包括此系统的摄像机
CN107710757A (zh) * 2015-06-04 2018-02-16 英特尔公司 用于缓慢运动视频记录的自适应批量编码
CN108351965A (zh) * 2015-09-14 2018-07-31 罗技欧洲公司 视频摘要的用户界面
US20170300751A1 (en) * 2016-04-19 2017-10-19 Lighthouse Al, Inc. Smart history for computer-vision based security system
CN110235138A (zh) * 2016-12-05 2019-09-13 艾维格林公司 用于外观搜索的系统和方法
CN108259934A (zh) * 2016-12-29 2018-07-06 安讯士有限公司 用于回放所记录的视频的方法和装置
US10536700B1 (en) * 2017-05-12 2020-01-14 Gopro, Inc. Systems and methods for encoding videos based on visuals captured within the videos
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
CN111512629A (zh) * 2018-02-05 2020-08-07 英特尔公司 低比特率压缩视频流上的计算机视觉的自适应阈值处理

Also Published As

Publication number Publication date
US11373685B2 (en) 2022-06-28
US20220230663A1 (en) 2022-07-21
US11594254B2 (en) 2023-02-28
US20220059132A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN114079820A (zh) 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成
CN114079750A (zh) 利用住宅安全摄像机上的ai输入的以感兴趣的人为中心的间隔拍摄视频以保护隐私
US9788017B2 (en) Video analytics with pre-processing at the source end
US20170163941A1 (en) Video analytics based control of video data storage
CN108370416A (zh) 从视频流生成输出视频
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
US20110255590A1 (en) Data transmission apparatus and method, network data transmission system and method using the same
CN114125371A (zh) 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频
CN111277800A (zh) 监控视频编码及播放方法、装置、电子设备及存储介质
Korshunov et al. Critical video quality for distributed automated video surveillance
CN103187083B (zh) 一种基于时域视频融合的存储方法及其系统
CN108881119B (zh) 一种视频浓缩的方法、装置和系统
US11770538B2 (en) Method for providing prunable video
TW202220452A (zh) 用於視訊處理的方法及影像處理裝置
CN112887515A (zh) 视频生成方法及装置
CN113038254B (zh) 一种视频播放方法、装置和存储介质
US20220286642A1 (en) Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same
Haubold Selective Enhancement of Timeboxed Video Segments for Security Camera Recordings
US20230142015A1 (en) Video surveillance system, computer-implemented video management process, and non-transitory computer readable storage medium
Skvorc et al. Performance evaluation of matrix-and EXIF-based video rotation methods in MJPEG-based live video encoder
KR20150095080A (ko) 영상 데이터 전송 장치 및 방법
Ramasamy et al. Detecting background setting for dynamic scene
US20200137321A1 (en) Pulsating Image
WO2014012662A1 (en) Selecting a set of representative images
KR20210057428A (ko) 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination