CN105704570A - 用于产生视频的一个或多个预览帧的方法和装置 - Google Patents

用于产生视频的一个或多个预览帧的方法和装置 Download PDF

Info

Publication number
CN105704570A
CN105704570A CN201610130699.2A CN201610130699A CN105704570A CN 105704570 A CN105704570 A CN 105704570A CN 201610130699 A CN201610130699 A CN 201610130699A CN 105704570 A CN105704570 A CN 105704570A
Authority
CN
China
Prior art keywords
video
frame
version
preview frame
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610130699.2A
Other languages
English (en)
Other versions
CN105704570B (zh
Inventor
赵丽丽
张骏峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xiaoyi Technology Co Ltd
Original Assignee
Shanghai Xiaoyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xiaoyi Technology Co Ltd filed Critical Shanghai Xiaoyi Technology Co Ltd
Priority to CN201610130699.2A priority Critical patent/CN105704570B/zh
Priority to US15/140,982 priority patent/US9842258B2/en
Publication of CN105704570A publication Critical patent/CN105704570A/zh
Application granted granted Critical
Publication of CN105704570B publication Critical patent/CN105704570B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种用于产生视频的一个或多个预览帧的方法和装置，该方法包括接收视频的第一版本。所述视频的第一版本具有第一分辨率。该方法还包括分析所述视频的第一版本并且基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧。该方法还包括获得与所识别的第一预览帧相关的信息并且接收视频的第二版本。所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率。该方法还包括根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。

Description

用于产生视频的一个或多个预览帧的方法和装置
技术领域
本公开总体上涉及预览视频，并且更具体地涉及用于产生视频的视频预览帧的系统和方法。
背景技术
视频监控装置允许个人和企业为了各种目的而监控房屋，这些目的例如包括安全性、婴儿或者老人监控、视频会议等。这样的视频监控装置可以连续地记录视频、从而每天产生大量的视频数据。然而查看视频数据可能是一种挑战。例如，用户可能不具有足够的时间来完整地查看视频。
这样的不方便可以通过显示一些从视频提取的视频预览帧使得用户能够查看视频预览帧而不是整个视频而被部分地解决。例如，可以每个特定时间段从视频选择视频预览帧。尽管该方法可以容易实施，但仍存在缺陷。所提取的视频预览帧可能不会捕捉所有特殊事件(例如，婴儿啼哭)。因此，仅查看这些视频预览帧的用户可能错过一些特殊事件。另外，呈现给用户的视频预览帧可能看起来相同，并且，如果没有指明发生了特殊事件，则用户可能仍会错过在视频预览帧中包括的特殊事件。
发明内容
本公开的一个方面涉及一种用于产生视频的预览帧的装置。所述装置包括：存储器，所述存储器存储指令；以及一个或多个处理器，所述一个或多个处理器被配置为执行所述指令以接收视频的第一版本。所述视频的第一版本具有第一分辨率。所述一个或多个处理器还被配置为执行所述指令以分析所述视频的第一版本并且基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧。所述一个或多个处理器被配置为执行所述指令以获得与所识别的第一预览帧相关的信息并且接收视频的第二版本。所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率。所述一个或多个处理器被配置为执行所述指令以根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。
本公开的另一方面涉及一种用于产生用于视频的视频预览帧的方法。该方法包括接收视频的第一版本。所述视频的第一版本具有第一分辨率。该方法还包括分析所述视频的第一版本并且基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧。该方法还包括获得与所识别的第一预览帧相关的信息并且接收视频的第二版本。所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率。该方法还包括根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。
本发明的又一方面涉及一种用于呈现视频的预览的方法。该方法包括接收与在所述视频中检测到的特殊事件相关的多个视频预览帧和信息。从所述视频提取所述多个视频预览帧。所述特殊事件从所述视频的分析来识别，并且包括在所述视频中检测到的物体、移动物体或者声音中的至少一个。所述方法还包括显示所接收的多个视频预览帧中的至少一个，并且显示指示所述特殊事件的指示标。
本发明的另一方面涉及一种用于产生视频的视频预览帧的方法。该方法包括接收视频、分析所述视频并且从所述视频的分析来识别特殊事件。所述特殊事件包括在所述视频中检测到的物体、移动物体或者声音中的至少一个。所述方法还包括获得代表所述特殊事件的至少一个视频帧，并且将代表所述特殊事件的所述至少一个视频帧和与所述特殊事件相关的信息传送给用户。
本发明的再一方面涉及一种实施计算机程序产品的非暂时性计算机可读介质，所述计算机程序产品包括被配置为使得计算装置接收视频的第一版本的指令。所述视频的第一版本具有第一分辨率。所述指令还使得所述计算装置分析所述视频的第一版本并且基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧。所述指令还使得所述计算装置获得与所识别的第一预览帧相关的信息并且接收视频的第二版本。所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率。所述指令还使得所述计算装置根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。
附图说明
本文所述的方法、系统和/或编程进一步针对示例性实施方式进行描述。这些示例性实施方式对照附图被详细地描述。这些实施方式是非限制性的示例性实施方式，其中相似的附图标记在整个附图的若干视图中指代类似的结构，并且其中：
图1是根据一些实施方式的用于预览视频的示例性系统的框图；
图2是根据一些实施方式的用于产生视频的预览视频的示例性装置的框图；
图3是根据一些实施方式的用于产生视频的预览视频的示例性过程的流程图；
图4是根据一些实施方式的用于产生视频预览帧的示例性过程的流程图；
图5是根据一些实施方式的用于获得与一个或多个事件相关的信息的示例性过程的流程图；
图6是根据一些实施方式的用于基于一个或多个视频帧来识别事件的示例性过程的流程图；以及
图7是根据一些实施方式的用于基于视频的声音信号来识别事件的示例性过程的流程图。
具体实施方式
现在将详细地说明所公开的实施方式，实施方式的示例在附图中示出。为了方便，相同的附图标记在所有附图中将被用于指示相同或相似的部件。
参照形成本说明书的一部分的附图，考虑下列说明，本公开的特征和特点以及结构的相关元件和部件的组合的操作方法和功能和制造经济性能够变得更明显。然而，应理解的是，附图仅是为了示意和说明，而不旨在构成本发明的限制。当在说明书和权利要求书中使用时，单数形式的“一”、“一个”、“该”包括复数指代物，除非上下文清楚地相反指示出。
本公开涉及用于向用户呈现预览视频和/或视频预览帧的系统和方法。例如，图1示出了系统100，该系统100包括照相机110、计算装置120、网络130以及用户装置140。照相机110是被配置为捕获视频的装置。例如，照相机110可以是数码相机、网络照相机、智能手机、平板电脑、笔记本电脑或者配备有网络照相机的视频游戏机等。在一些实施方式中，照相机110还可以被配置为捕获具有320×240、426×240、640×360、480×360、800×600、852×640、960×540、1024×768、1280×720、1280×960、1280×1024、1440×1050、1440×1080、1600×1200、1920×1080、2560×1440、3840×2160、5120×2880、7680×4320的原始分辨率或者任意其它合适的分辨率的视频。应理解的是，前面的示例仅是代表示例性实施方式。所公开的系统和方法可以被实施为提供比原始或标准分辨率能力大的增强的分辨率。
在一些实施方式中，照相机110还被配置成经由网络130向计算装置120和/或用户装置140传送视频(或者其不同的版本)。另选地或附加地，照相机110可以被配置为实时地向计算装置120和/或用户装置140传送流视频。
在一些实施方式中，可以将照相机110和计算装置120装在一个装置中，该一个装置被配置为执行在本申请中描述的照相机110和计算装置120的功能。在一些实施方式中，照相机110还可以包括被配置为执行在本公开中描述的一个或多个过程的一个或多个处理器以及存储器。例如，如在本公开中其它地方所描述的那样，照相机110可以被配置为产生预览视频和/或视频预览帧，并且将采样视频和/或视频预览帧传送至用户装置140。
在一些实施方式中，照相机110向计算装置120和/或用户装置140传送具有第一分辨率的视频的第一版本和具有第二分辨率的同一个视频的第二版本。仅作为示例，照相机110捕获3840×2160原始分辨率的视频。照相机110还可以将所捕获的视频转换为具有较低分辨率(例如426×240)的版本。照相机110进一步将具有426×240分辨率的所捕获视频的第一版本和具有3840×2160分辨率的所捕获视频的第二版本传送到计算装置120以进行进一步的处理。另选地，照相机110将原始分辨率(例如，3840×2160)的视频传送到计算装置120，然后计算装置120可以将该视频转换为具有较低分辨率(例如426×240)的版本。
计算装置120被配置为处理从照相机110接收的和/或由计算装置120转换的视频的一种或多种版本(例如，视频的第一版本和视频的第二版本)。例如，计算装置120被配置为分析具有第一分辨率(例如426×240)的视频的第一版本。计算装置120还被配置为基于视频的第一版本的分析获得与将被提取的一个或多个预览帧相关的信息。计算装置120然后根据所获得的信息从具有更高分辨率(例如3840×2160)的视频的第二版本提取一个或多个视频帧作为预览帧。以这种方式，能够降低用于处理具有更高分辨率的视频的计算要求，同时不牺牲预览帧的质量。
在一些实施方式中，计算装置120还被配置为基于所提取的预览帧产生用于从照相机接收的视频的预览视频。所述预览视频和/或预览帧还被传送到用户装置140。
计算装置120是网络照相机、数码相机、计算机服务器、台式电脑、笔记本电脑、平板电脑、手机、个人数字助理(PDA)等。计算装置120主要包括处理器121、存储器122以及通信端口123。在操作时，处理器121执行计算机指令(程序代码)并且执行根据本文所描述的技术的功能。计算机指令包括执行本文所述的具体功能的例行程序、程序、目标、部件、数据结构、过程、模块和功能。例如，处理器121接收并分析由照相机110捕获的视频的第一版本。处理器121基于视频的第一版本的分析获得将从视频的第二版本提取的一个或多个预览帧的信息。处理器121还基于所获得的信息从视频的第二版本提取一个或多个视频帧。处理器121包括一个或多个已知的处理装置(例如微处理器)或者是其一部分。在一些实施方式中，处理器121包括任何类型的单芯或多芯处理器、移动装置微控制器、中央处理单元等。
存储器122被配置为存储待由处理器121执行的一个或多个计算机程序，以执行本文所公开的示例性方法。例如，存储器122被配置为存储由处理器121执行的程序，以从由照相机110接收的视频的第二版本提取图像帧。存储器122还被配置为存储在本公开中所描述的方法中由处理器121使用的数据和/或参数。例如，存储器122存储一个或多个声音模型以用于检测视频所包含的事件。处理器121可以访问存储器122中存储的声音模型，并且如在本公开中其它地方所描述的那样，基于视频中所包含的声音信号和所访问的声音模型检测一个或多个事件。在一些实施方式中，存储器122被配置为存储从照相机110接收的视频的一种或多种版本。
存储器122是易失性或非易失性的、磁性的半导体或带或光学的、可移除的、不可移除的或其它类型的存储装置或有形的(即非暂性的)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。
通信端口123被配置为经由网络130发送和接收包括来自照相机110和用户装置140的数据。网络130是允许发送和接收数据的任何类型的有线或无线网络。例如，网络130是有线网络、本地无线网络(例如蓝牙、WiFi、近场通信(NFC)等)、蜂窝网络、因特网等或者其组合。还可以考虑提供了用于在分离的装置之间传送数据的介质的其它已知通信方法。
用户装置140被配置为经由网络130从照相机110和/或计算装置120接收数据(例如图像和/或视频数据)。用户装置140还被配置为向用户呈现图像和/或视频。用户装置140是任何类型的计算装置。例如，用户装置140是智能手机、平板电脑、个人计算机、可配戴装置(例如GoogleGlassTM或智能手表和/或附属部件)等或者其组合。在一些实施方式中，用户装置140和计算装置120一起被包含在被配置为执行在本申请中公开的用户装置140和计算装置120的示例性功能的计算装置中。
用户装置140主要包括处理器141、存储器142、通信端口、输入144以及显示器145。处理器141执行计算机指令(程序代码)并且执行根据本文所描述的技术的用户装置140的功能。例如，处理器141被配置为经由网络130从计算装置120和/或照相机110接收图像和/或视频数据。处理器141还控制显示器145呈现视频和/或图像。处理器141包括例如微处理器的一个或多个已知的处理装置或者是处理装置的一部分。在一些实施方式中，处理器141包括任何类型的单芯或多芯处理器、移动装置微控制器、中央处理单元等。
存储器142被配置为存储由处理器141执行的一个或多个计算机程序，以执行本申请中公开的用户装置140的示例性功能。例如，在一些实施方式中，存储器142被配置为存储用于由处理器141执行的程序，以控制显示器145呈现视频和/或图像。存储器142还被配置为存储在本公开中所描述的方法中由处理器141使用的数据和/或参数。存储器142是易失性或非易失性的、磁性的半导体或带或光学的、可移除的、不可移除的或其它类型的存储装置或有形的(即非暂性的)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。
通信端口143被配置为经由网络130传送并接收包括来自照相机110和用户装置140的数据。输入装置144被配置为接收来自用户的输入并且向处理器141传送与所接收的输入相关的数据/信号以进一步处理。显示器145是被配置为基于处理器141提供的显示数据在UI中显示包括视频和/或图像的任意装置。
参照图2，计算装置120包括预览帧信息产生模块210、预览帧提取和产生模块220、传送模块230以及预处理模块240。
通常，当在本文中使用时，词语“模块”是指在硬件或固件中实施的逻辑，或者是指软件指令的集合。本文所描述的模块被实施成软件和/或硬件模块，并且被存储在任何类型的非暂时性计算机可读介质或者其它存储装置中。在一些实施方式中，软件模块能够被编译和链接到可执行程序中。将理解的是，软件模块可以是能够从其它模块或软件模块自身调用的，和/或可以响应于所检测到的事件或中断被激活。配置在例如计算装置(例如，处理器)上的软件模块可以被设置在计算机可读介质上，计算机可读介质诸如为光盘、数字化视频盘、闪存驱动器、磁盘或者任何其它有形介质，或者诸如为数位下载(并且最初可以被存储在当执行之前需要安装、解压缩或者解密的压缩格式或可安装格式中)。这样的软件代码可以被部分或完全地存储在执行计算装置的存储器装置上，用于由计算装置执行。软件指令可以被嵌入在固件(诸如EPROM)中。还将理解的是，硬件模块可以包括所连接的逻辑单元(诸如门和触发器)，和/或可以包括可编程单元(诸如可编程门阵列或者处理器)。本文描述的模块或者计算装置功能优选地被实施成软件模块，但也可以在硬件或固件中呈现。通过，本文所描述的模块是指能够与其它模块结合或者能够被分割成子模块而不管它们的物理组织或者储存的逻辑模块。
预览帧信息产生模块210被配置为处理从照相机110接收的视频的第一版本并且获得将从由照相机110接收的视频的第二版本提取的视频帧的信息。预览帧信息产生模块210分析从照相机110接收的视频的第一版本并且基于视频的第一版本的分析检测事件(例如，视频中包含的移动物体)。预览帧信息产生模块210还确定代表所检测到的事件的视频的第一版本的视频帧(例如，包含所检测到的移动物体的视频帧)，并且获得与所识别的视频帧相关的信息(例如，视频帧的时间戳)。预览帧信息产生模块210将所获得的信息保存在存储器122中。另选地或附加地，如下所述，预览帧信息产生模块210可以将视频的第一版本的视频帧的信息传送到预览帧提取和产生模块220，用于提取视频的第一版本中的对应视频帧。
在一些实施方式中，预览帧信息产生模块210包括三个子模块：随机帧信息产生模块211、指定帧信息产生模块212和事件帧信息产生模块213。这些子模块中的每个可以使用不同的模式，以从视频的第一版本识别一个或多个视频帧和/或获得与所识别的视频帧相关的信息。在一些实施方式中，根据计算装置120确定使用的模式，每次仅激活子模块211至213中的一个子模块来识别一个或多个视频帧和/或获得其信息。
随机帧信息产生模块211被配置为针对视频的每个特定时间段来识别一个或多个视频帧。仅作为示例，随机帧信息产生模块211针对视频的第一版本的每分钟来识别视频帧。随机帧信息产生模块211还获得与所识别的视频帧相关的信息(例如，与视频帧相关联的时间戳)。另选地或附加地，随机帧信息产生模块211可以从视频的第一版本随机地识别预定数量的视频帧并且获得其信息(例如，与视频帧相关联的时间戳)。所获得的信息被保存到存储器122和/或被发送到预览帧提取和产生模块220以进一步处理，这样的处理如在本公开的其它地方所描述的那样。
指定帧信息产生模块212被配置为根据从照相机110接收的识别信息从视频识别一个或多个视频帧。仅作为示例，用户识别具体时间点(或时间段)或用户感兴趣的视频的一部分。在另一示例中，照相机110包括配置为检测移动物体的一个或多个运动传感器(未示出)。当检测物体时，照相机110记录与所检测到的物体相对应的时间或者时间段。然后将(在以上示例中由用户或照相机110传送)该时间信息传送到计算装置120。指定帧信息产生模块212然后基于所接收的时间信息从视频的第一版本识别一个或多个视频帧。指定帧信息产生模块212还将所识别的视频帧的信息传送到预览帧提取和产生模块220，以提取视频的第二版本的对应视频帧。另选地，预览帧提取和产生模块220接收时间信息并且基于所接收的时间信息从视频的第二版本提取一个或多个视频帧。
事件帧信息产生模块213被配置为分析视频的第一版本并且基于视频的第一版本的分析识别视频的第一版本中的一个或多个事件。在一些实施方式中，事件帧信息产生模块213还从视频的第一版本识别与所识别的事件对应的一个或多个视频帧。事件帧信息产生模块213获得与所识别的视频帧相关的信息(例如，与所识别的视频帧相关联的时间戳和/或时间段)并且将所述信息传送到预览帧提取和产生模块220以进一步处理，如在本公开中的其它地方所描述的那样。在其它实施方式中，事件帧信息产生模块213获得与所识别的事件相关的信息(例如，与所识别的事件相关联的时间戳和/或时间段)并且将所述信息传送到预览帧提取和产生模块220以进一步处理。例如，在一些实施方式中，事件帧信息产生模块213从视频的第一版本提取多个视频帧，并且分析所提取的视频帧以识别视频帧中包含的物体。事件帧信息产生模块213还基于所提取的视频帧的分析来检测一个或多个事件。示例性事件包括运动事件(例如，移动物体被检测到)、物体识别(例如，犯罪嫌疑人被识别出)、紧急事件(例如，火灾被检测到)等等。例如，事件帧信息产生模块213通过确定视频帧的像素值与前面视频帧的像素值之差可以检测视频中包含的运动事件。如果差超过阈值，则运动事件被识别出。事件帧信息产生模块213还可以从视频的第一版本提取与所识别的事件相关联的一个或多个视频帧。另选地或附加地，事件帧信息产生模块213还获得与和所识别的事件相关联的提取视频帧相关联的信息(例如，与视频帧相关联的时间戳和/或时间段)和/或与所识别的事件相关联的信息(例如，与所识别的事件相关联的时间戳和/或时间段)。该信息还被传送到预览帧提取和产生模块220以进一步处理。
预览帧提取和产生模块220被配置为从照相机110(或者计算装置120)接收视频的第二版本，视频的第二版本具有与视频的第一版本不同的分辨率。仅作为示例，视频的第一版本具有426×240的分辨率，视频的第二版本具有3840×2160的分辨率。在一些实施方式中，预览帧提取和产生模块220根据从预览帧信息产生模块210传送的所识别的视频的第一版本帧的信息从视频的第二版本提取一个或多个视频帧。例如，如上所述，指定帧信息产生模块212(即，预览帧信息产生模块210的一部分)基于由照相机110传送的信息(例如，与拍摄视频时用户识别的特殊事件相关联的时间戳或时间段)从视频的第一版本识别一个或多个视频帧。预览帧提取和产生模块220然后基于从视频的第一版本所识别的视频帧从视频的第二版本提取对应的视频帧作为视频的预览帧。
另选地或附加地，预览帧提取和产生模块220根据从照相机110和/或预览帧信息产生模块210传送的所识别的事件相关的信息提取一个或多个视频帧。例如，事件帧信息产生模块213(即，预览帧信息产生模块210的一部分)检测视频的第一版本中的一个或多个事件(例如，视频中包含的移动物体)并且获得与所检测到的事件相关的信息(例如，与事件相关联的一个或多个时间戳)。事件帧信息产生模块213将所获得的信息传送到预览帧提取和产生模块220。预览帧提取和产生模块220然后从视频的第二版本提取一个或多个视频帧作为视频的预览帧。预览帧提取和产生模块220进一步产生包括从视频的第二版本提取的视频帧的一个或多个预览视频(或者运动图片)。
在一些实施方式中，预览帧和/或预览视频被保存到存储器122和/或网络储存装置(未示出)。在一些实施方式中，传送模块230将所提取的预览帧和/或所产生的预览视频传送到用户装置140。另选地或附加地，传送模块230产生至存储预览帧和/或预览视频的网络装置(未示出)的链接，然后链接可以被传送至用户装置140。然后，用户通过点击来自用户装置140的链接来访问预览帧和/或预览视频。
在一些实施方式中，预处理模块240在视频(或者其不同版本)被分析之前预处理视频(或者其不同版本)。例如，预处理模块240在视频被分析以识别视频中的一个或多个事件之前降低视频的噪声。在一些实施方式中，从视频(或者其不同版本)提取一个或多个视频帧和/或音频信号，并且预处理模块240在视频帧和/或音频信号被分析以识别视频中包含的一个或多个事件之前降低所提取的视频帧和/或音频信号的噪声。
图3是用于产生用于视频的预览视频的示例性过程300的流程图。在301处，计算装置120的处理器121接收视频的第一版本。该视频由照相机110以原始分辨率捕获，该视频被转换成具有不同分辨率的版本。例如，照相机110以3840×2160的分辨率捕获视频并且将视频转换成具有较低分辨率(例如426×240)的视频的版本。照相机110然后将视频的第一版本(即，具有426×240的较低分辨率的版本)和视频的第二版本(即，具有3840×2160的较高分辨率的版本)传送到计算装置120以进一步处理。另选地，照相机110将视频传送到计算装置120，计算装置120然后将具有较高分辨率的视频(即，视频的第二版本)转换成具有较低分辨率的视频(即，视频的第一版本)。在一些实施方式中，处理器121可选地预处理所接收的视频(或者其不同版本)。例如，处理器121可选地降低视频的噪声。
在其它实施方式中，计算装置120接收来自照相机110的视频并且将该视频转换成具有较低分辨率的版本(即，视频的第一版本)和具有比视频的第一版本的分辨率高的分辨率的另一版本(即，视频的第二版本)。例如，照相机110以3840×2160捕获视频，该视频被传送到计算装置120。计算装置120然后将该视频转换成两个版本：具有426×240的分辨率的第一版本和具有1920×1080的分辨率的第二版本。
在302处，处理器121确定用于从视频的第一版本识别一个或多个视频帧的模式。示例性模式可以包括随机帧模式、指定帧模式和事件帧模式，它们分别由随机帧信息产生模块211、指定帧信息产生模块212和事件帧信息产生模块213执行。确定使用哪一个模式来识别视频帧可以基于用户的喜好。另选地或附加地，该确定可以基于从照相机110和/或用户装置140接收的特定信息来进行。仅作为示例，当照相机110捕获视频时，用户可以标记与视频的一部分相关联的时间戳或时间段。这样的时间信息从照相机110(或者如果用户将时间信息记录在用户装置140上则从用户装置140)被传送到计算装置120。计算装置120然后确定基于所接收的时间信息选择了指定的帧模式。然后指定帧信息产生模块212被激活以从视频的第一版本识别一个或多个视频帧。另选地，预览帧提取和产生模块220基于所接收的时间信息从视频的第二版本提取一个或多个视频帧作为预览帧。
在一些实施方式中，一旦确定了用于识别视频帧的模式，则处理器121在303处识别一个或多个视频帧并且基于所确定的模式的参数和/或设定获得其信息。例如，如果选择了随机帧模式，则随机帧信息产生模块211被激活以针对视频的第一版本的每个特定时间段的每个特定时期识别视频帧。仅作为示例，随机帧信息产生模块211针对视频的每分钟识别视频帧。在另一个示例中，随机帧信息产生模块211针对整个视频或者其一部分随机地选择预定数量的视频帧。例如，视频可以持续一小时，并且从视频随机地选择60个视频帧。随机帧信息产生模块211还获得与所识别的视频帧相关的信息。例如，获得在视频中出现的视频帧的时间戳。
在304处，处理器121接收视频的第二版本，该视频的第二版本从照相机110传送或者基于由照相机110捕获的原始视频由计算装置120转换，如在本公开中其它地方所描述的那样。在305处，处理器121根据与所识别的视频帧相关的信息从视频的第二版本提取预览帧。例如，在303处，一个或多个视频帧因为与视频的第一版本中包含的识别事件相关联而以事件帧模式(例如，视频中出现的所识别的移动物体)被识别出。获得视频的第一版本中出现的视频帧的时间戳。处理器121从视频的第二版本提取视频的第二版本中出现的具有相同(或相似)时间戳的视频帧作为预览帧。所提取的预览帧被保存到存储器122和/或去存储装置(未示出)。
在306处，处理器121确定是否存在可用于分析的新视频。如果存在，则如上所述，处理器121返回到301并且继续达至305(如果适用)。如果不存在，则处理器121在307处产生所分析的视频的预览帧(或者运动图片)。预览帧(或者运动图片)包括所提取的一些或全部预览帧(或者其较低分辨率版本)。在一些实施方式中，预览视频还包括与预览帧中检测到的事件相关的信息，例如，包括事件的时间戳和/或事件的类型。预览视频具有预定的帧速率。例如，预览帧的帧速率可以在每秒1帧(fps)至60fps的范围内。在其它实施方式中，预览视频的帧速率可以被限制在1-5fps、6-10fps、10-30fps、或者31-60fps的子范围内。
在一些实施方式中，在308处，处理器121将预览视频和/或预览帧传送到用户装置140。另选地或附加地，产生至用于存储预览帧和/或预览视频的存储装置的链接并且将链接传送到用户装置140。然后用户通过点击来自用户装置的链路能够访问预览帧和/或预览视频。
参照步骤301至305，在一些实施方式中，能够基于图4中示出的示例性过程400从视频的第二版本提取一个或多个预览帧。如图4所示，在401处，处理器121接收视频的第一版本，并且在402处确定用于从视频的第一版本识别一个或多个视频的模式，如在本公开的其它地方所描述的那样。在403处，如果选择了随机帧模式，则随机帧信息产生模块211被激活以针对视频的第一版本的每个特定时间段的每个特定时期识别视频帧。例如，随机帧信息产生模块211针对视频的第一版本的每分钟识别视频帧。另选地，随机帧信息产生模块211针对整个视频或者其一部分随机地选择预定数量的视频帧。在404处，随机帧信息产生模块211还获得与所识别的视频帧相关的信息。例如，获得在视频中出现的视频帧的时间戳。
在一些实施方式中，随机帧信息产生模块211确定针对每个特定时间段的每个特定时期的时间点，而不识别视频的第一版本的视频帧。另选地，随机帧信息产生模块211确定用于整个视频的预定数量的时间点，而不识别视频的第一版本的视频帧。然后将时间信息传送到预览帧提取和产生模块220以提取预览帧，如在本公开中其它地方所描述的那样。
处理器121在405处接收视频的第二版本，并且在406处从视频的第二版本提取一个或多个预览帧，如在本公开中其它地方所描述的那样。
重新参照402，在一些实施方式中，如果在407处选择了指定帧模式，则指定帧信息产生模块212被激活以从视频的第一版本识别一个或多个视频帧。例如，用户从用户装置140或照相机110识别视频的具体时间点或时间段。在另一示例中，照相机110包括被配置为检测移动物体的一个或多个传感器(未示出)。当检测物体时，照相机110记录所检测到的物体的时间或时间段。照相机110(或者用户装置140)将时间信息传送到计算装置120。指定帧信息产生模块212然后基于所接收的时间信息从视频的第一版本识别一个或多个视频帧。在408处，指定帧信息产生模块212还将所识别的视频帧的信息传送到预览帧提取和产生模块220，以提取视频的第二版本的对应的视频帧。另选地，预览帧提取和产生模块220从照相机110(或者用户装置140)接收信息并且基于所接收的时间信息从视频的第二版本提取一个或多个视频帧。然后处理器121在405处接收视频的第二版本，并且在406处从视频的第二版本提取一个或多个预览帧，如在本公开中其它地方所描述的那样。
再次参照402，在一些实施方式中，如果在409处选择了事件帧模式，则在401处激活事件帧信息产生模块213，以分析视频的第一版本并且基于对视频的第一版本的分析检测事件(例如，视频中包含的移动物体)。事件帧信息产生模块213还确定与所检测到的事件相关联的一个或多个视频帧(例如，包含所检测到的移动物体的视频帧)。事件帧信息产生模块213还在411处获得与所识别的视频帧相关的信息(例如，视频中出现的视频帧的时间戳)。然后预览帧提取和产生模块220在405处从视频的第二版本提取一个或多个预览帧，如在本公开中其它地方所描述的那样。
在一些实施方式中，基于图5中所示的示例性过程500(以事件帧模式)执行步骤409至411。如图5所示，在501处，处理器121接收视频的第一版本，如在本公开中其它地方所描述的那样。在一些实施方式中，处理器121可选地预处理所接收的视频(或者其不同版本)。事件帧信息产生模块213可以基于从视频的第一版本提取的视频帧检测一个或多个事件。例如，在这种检测的情况下，在502处，事件帧信息产生模块213从视频的第一版本提取多个视频帧。在一些实施方式中，事件帧信息产生模块213从视频的第一版本连续地提取视频帧。另选地，在一时间段内提取一个视频帧。仅作为示例，事件帧信息产生模块213可以从视频的第一版本的每分钟或者每秒提取一个视频帧。在一些实施方式中，提取视频帧的速率是可以调节的。例如，最初每分钟视频提取一个视频帧。可能在视频的某个时间点处检测到事件(例如，检测到移动物体)。从该检测时间点(和/或该时间点之前的特定时间段)开始，提取视频帧的速率例如从每分钟1帧的先前速率增加至每分钟30帧。例如，如果之前检测到的移动物体例如10分钟内未被包含在视频中，则速率减小回至每分钟1帧。
事件帧信息产生模块213在504处分析所提取的视频帧。例如，事件帧信息产生模块213分析视频帧以识别图像中包含的物体。以下结合图6详细地描述用于分析视频帧的示例性过程。事件帧信息产生模块213在506处可以基于对视频的分析检测一个或多个事件。示例性事件可以包括运动事件(例如，检测到移动物体)、物体识别(例如，识别到犯罪嫌疑人)、瞬间识别(例如，冲浪者到达最高点)、紧急事件(例如，检测到火灾)等等。例如，事件帧信息产生模块213通过确定视频帧的像素值与前面视频帧之间的差而检测到视频包含的运动事件。如果该差超过阈值，则识别出运动事件。
在508处，事件帧信息产生模块213确定是否检测到任何事件。如果未检测到事件(508处为否)，则在510处，过程500结束或者另选地前进至516，并且如下所述，能够基于视频的音频信号的分析(步骤516至522)检测到事件。附加地或另选地，如果未检测到事件，则随机帧模式(例如，图4中所示的步骤403-404)和/或指定帧模式(例如，图4中所示的步骤407至408)能够被激活以识别一个或多个预览帧，如在本公开中其它地方所描述的那样。
另一方面，如果检测到一个或多个事件(508处为是)，则在512处，事件帧信息产生模块213基于所提取的视频帧识别视视频的事件。事件帧信息产生模块213还识别与所识别的事件相关联的一个或多个视频帧。在514处，事件帧信息产生模块213获得与所识别的事件相关的信息和/或与和事件相关联的所识别的视频帧相关的信息。例如，事件帧信息产生模块213获得所检测到的事件的时间戳(例如，事件的开始时间)和/或时间窗(例如，事件的开始时间和结束时间)。事件帧信息产生模块213还可以获得事件的开始点和结束点。在一些实施方式中，事件帧信息产生模块213还识别与所检测到的事件相关联的视频帧(例如，在事件期间或者在事件之后和/或之后的时间段内的视频帧)。所获得的信息被传送到预览帧提取和产生模块220，以从视频的第二版本提取一个或多个预览帧，如在本公开中其它地方所描述的那样。
在一些实施方式中，作为基于上述的视频帧检测一个或多个事件(即，步骤502至508)的另选例或者附加例，事件帧信息产生模块213基于视频的第一版本的信号识别一个或多个事件。例如，在516处，事件帧信息产生模块213从视频提取音频信号。事件帧信息产生模块213在518处分析所提取的音频信号。仅作为示例，事件帧信息产生模块213确定在音频信号中是包含有任何谈话或者任何特定声音(例如，笑声、哭声、尖叫声、掌声、玻璃粉碎声等)。以下将结合图7详细地描述用于分析音频的示例性过程。
事件帧信息产生模块213在520处基于音频信号的分析检测一个或多个事件。例如，事件帧信息产生模块213可以基于在音频信号中所检测到的玻璃(例如窗户)粉碎的声音来检测闯入事件。在522处，事件帧信息产生模块213确定是否存在所检测到的任何事件。如果未检测到事件(522处为否)，则在524处，过程500结束或者另选地前进至502，并且如上所述基于视频的视频帧的分析(步骤502至508)能够检测事件。另选地或附加地，如果未检测到事件，则能够激活随机帧模式(例如，图4中所示的步骤403至404)和/或指定帧模式(例如，图4中所示的步骤407至408)，以识别一个或多个预览帧，如在本公开中其它地方所描述的那样。
另一方面，如果检测到一个或多个事件(522处为是)，则事件帧信息产生模块213在512处基于音频信号识别视频中的事件。事件帧信息产生模块213还识别与所识别的事件相关联的一个或多个视频帧。在514处，事件帧信息产生模块213还获得与所识别的事件相关的信息和/或与和事件相关联的所识别的视频帧相关的信息，如在本公开中其它地方所描述的那样。
在一些实施方式中，基于视频帧和/或音频信号的所识别的视频帧被处理成候选帧。事件帧信息产生模块213确定每个候选帧的评分。例如，如果候选帧包括感兴趣的人，则候选帧得到高评分。在一些实施方式中，用户能够调整用于确定候选帧的评分的参数和/或设定。例如，用户能够为包括具体的人(例如，用户、家庭成员、朋友、犯罪嫌疑人等)、物体(例如，宠物、动物、汽车、自行车等)、场景(例如，日落、日出、夜景、海滩等)的候选帧设定高评分。如果候选帧的评分超过阈值，则与候选帧相关的信息被获得(例如，与候选帧相关联的时间戳)并传送到预览帧提取和产生模块220。在其它实施方式中，与包括具体的人、物体、场景和/或特殊瞬间的候选帧相关的信息被获得(例如，与候选帧相关联的时间戳)并传送到预览帧提取和产生模块220。预览帧提取和产生模块220然后基于所接收的信息从视频的第二版本提取一个或多个视频帧，如在本公开中其它地方所描述的那样。
在一些实施方式中，基于对视频帧的分析所检测到的事件与视频的音频信号相互参考，以确认所检测到的事件，并且反之亦然。例如，如果基于从视频提取的视频帧已识别出事件，则事件帧信息产生模块213核查在相同的时间范围内在音频信号中是否也存在类似事件。如果存在，则事件帧信息产生模块213将两个事件联系在一起并且作为一个单个事件处理它们。
仅作为示例，事件帧信息产生模块213可以基于视频帧检测闯入事件(例如，步骤506)。事件帧信息产生模块213然后获得与事件相关联的时间戳和/或时间窗。事件帧信息产生模块213然后确定在与闯入事件相关联的时间戳和/或时间窗附近(例如，在时间戳之前的1分钟至时间戳之后的1分钟的时期内)在音频信号中是否也检测到类似事件。如果是，则事件帧信息产生模块213将两个事件作为单个事件处理。另选地，事件帧信息产生模块213还分析与闯入事件相关联的时间戳和/或时间窗周围的音频信号(例如，在步骤518处)。与由事件帧信息产生模块213检测到的闯入事件相关联的声音被用于确认基于对视频帧的分析所检测到的事件。在另一示例中，基于音频信号检测到事件(例如破碎声)，并且获得与事件相关联的时间戳和/或时间窗。事件帧信息产生模块213然后核查在相同的时间附近基于视频帧是否检测到任何事件。另选地或附加地，事件帧信息产生模块213在检测到破碎声的时间点附近提取视频帧。事件帧信息产生模块213然后分析视频帧并且确定在该时间点附近是否检测到事件。如果检测到事件，则事件帧信息产生模块213将两个事件作为一个事件处理。
在一些实施方式中，事件帧信息产生模块213确定在相同时间附近通过分析视频帧和音频信号分别检测到的两个所检测到的事件的相互参考的评分。如果所确定的评分等于或超过阈值，则事件帧信息产生模块213将事件作为单个特殊事件计数并且如上所述可以执行步骤512。另一方面，如果评分小于阈值，则事件帧信息产生模块213不将它们识别为事件。在如此处理时，防止了记录假事件。例如，如果基于视频帧检测到事件并且在相同时间附近的另一事件也基于音频信号被检测到，则事件帧信息产生模块213可以确定两个事件的评分为3(每个为1.5)。评分超过阈值2，并且事件帧信息产生模块213将两个事件识别并计数为一个事件。在另一个示例中，基于音频信号检测到事件，但是在相同时间附近基于视频帧没有检测到事件，并且事件帧信息产生模块213确定评分为1.5。该评分小于阈值评分2。结果，事件帧信息产生模块213忽略基于音频信号检测到的事件，这是因为基于音频信号所检测到的事件由房屋外的声音引起。在一些实施方式中，当确定评分时，事件帧信息产生模块213对于基于视频帧所检测到的事件给出了与基于音频信号所检测到的事件的不同的权重。另选地或附加地，用于事件的评分权重与所检测到的特殊事件的种类和/或警告级别相关联。
返回参照502，在一些实施方式中，在502处提取的视频帧在504处被分析以基于图6所示的示例性过程600检测一个或多个事件。如图6所示，预处理模块240预处理在步骤502处获得的所提取的视频帧(在它们被分析以识别视频包含的一个或多个事件之前)。例如，预处理模块240降低所提取的视频帧的噪声。在604处，事件帧信息产生模块213识别所提取的视频帧中包含的一个或多个图像特征。示例性图像特征可以包括人体、人脸、宠物、动物、汽车、自行车、场景(例如，日落、日出、夜景、草地、海滩等)、事物、特殊瞬间(例如游戏期间游戏者的动作、到达最高点的冲浪者等)等等。用于检测图像中的一个或多个物体、场景和/或瞬间的算法可以被用于识别图像特征，例如包括斑点检测、边缘检测、尺度不变特征变换、角落检测、形状检测等。还可以考虑用于从图像检测物体的其它算法。
在606处，事件帧信息产生模块213例如通过将所识别的图像特征与预先构建的一个或多个物体模型(和/或场景模型)对比，来识别在所识别的图像特征中包含的一个或多个物体(或场景或瞬间)。在一些实施方式中，事件帧信息产生模块213基于图像特征的图像特性和物体模型的图像特性来确定所识别的图像特征和物体模型中包含的物体之间的相配评分。由事件帧信息产生模块213基于已知物体(或场景)的一个或多个图像，生成物体(或场景)模型。例如，事件帧信息产生模块213接收用户的宠物的图像。包括宠物的部分图像的特性和/或特征被提取并且保存为与用户的宠物相关联的物体模型。物体模型可以包括其它信息。例如，物体模型可以包括物体(例如，人体、人脸、事物、宠物等)的类型。另选地或附加地，物体模型可以包括与物体模型的物体相关联的警告级别和/或种类。在一些实施方式中，物体和/或场景模型由第三方产生，并且事件帧信息产生模块213访问物体模型。例如，从警方网站下载与受通缉的犯罪嫌疑人相关联的物体模型并且将下载的物体模型保存在存储器122中以在未来使用。在一些实施方式中，事件帧信息产生模块213还确定所识别的图像特征的类型。事件帧信息产生模块213还识别图像特征中包含的物体。例如，事件帧信息产生模块213可能通过将图像特征和一个或多个物体模型对比来确定所检测到的图像特征是人的脸。事件帧信息产生模块213还可以确定在视频帧中所检测到的脸是想要的人的脸。
另选地或附加地，参照608，事件帧信息产生模块213识别视频帧和其在先(或在后)视频帧中包含的一个或多个运动特征。运动特征可以是连续的视频帧的以下区域，在该区域中，像素值从视频帧改变到由移动物体引起的在先(或在后)视频帧。在一些实施方式中，事件帧信息产生模块213例如可以通过对比视频帧和在先(或在后)视频帧的像素值，来确定视频帧和其在先(或在后)视频帧之差。如果该差等于或超过阈值，则事件帧信息产生模块213将该区域识别为运动特征。
事件帧信息产生模块213在610处基于所识别的运动特征来识别一个或多个运动事件。在一些实施方式中，事件帧信息产生模块213可以访问在存储器122中先前构建并存储的一个或多个运动模型。事件帧信息产生模块213例如通过对比所识别的运动特征和运动模型，来识别一个或多个运动事件。例如，事件帧信息产生模块213例如通过对比所检测到的运动特征与运动模型中所包含的运动特征，来将移动物体识别为移动宠物或人。
可以由事件帧信息产生模块213基于在先识别的已知运动特征，来生成用于识别运动特征的运动模型。例如，事件帧信息产生模块213事先识别由用户的宠物引起的运动特征。连续视频帧的特性和/或特征被提取和分析。可以基于该移动宠物的连续图像帧的特性和/或特征，来生成运动模型。运动模型可以具有其它信息。例如，运动模型可以包括移动物体的类型(例如人体、人脸、物体、宠物等)。另选地或附加地，运动模型可以包括与运动模型的移动物体相关联的警告级别和/或种类。在一些实施方式中，运动模型由第三方产生，并且事件帧信息产生模块213可以访问运动模型。
在612处，事件帧信息产生模块213基于在606处识别的物体和场景和/或在610处识别的移动物体来检测一个或多个事件。过程500(如图5中所示)在508处继续，如在本公开中其它地方所描述的那样。
再次参照图5，在一些实施方式中，在步骤516处提取的音频信号基于图7中所示的示例性过程700被分析以用于检测一个或多个事件。如图7所示，在702处，预处理模块240预处理在步骤516处获得的音频信号。例如，预处理模块240降低来提取的音频信号(在其被分析以识别视频中包含的一个或多个事件之前)的噪声。在704处，事件帧信息产生模块213识别在所提取的音频信号中包含的一个或多个声音特征。在一些实施方式中，声音特征是引起环境声级(dB)改变的声音或者与环境声音不同的声音(例如，由宠物引起的声音)。例如，事件帧信息产生模块213确定音频信号的声级的变化。如果该变化等于或大于阈值，则事件帧信息产生模块213将变化识别为声音特征。
在706处，事件帧信息产生模块213例如通过将声音特征与一个或多个声音模型对比来识别声音(例如，说话声、玻璃破碎的声音、笑声、哭声、尖叫声、掌声、由动物造成的声音等)。在一些实施方式中，事件帧信息产生模块213确定声音特征的声学特性与声音模型的声学特性之间的相配评分。
由事件帧信息产生模块213基于已知声音(例如说话声、发言、玻璃破碎的声音、笑声、哭声、尖叫声、掌声、由动物造成的声音等)生成声音模型。例如，已知人的嗓音的声学特性被提取并且保存为与该人相关联的声音模型。声音模型可以包括其它信息。例如，声音模型可以包括声音的类型(例如，说话声、发言、玻璃破碎的声音、笑声、哭声、尖叫声、掌声、由动物造成的声音等)。附加地，声音模型可以包括与声音模型相关联的警告级别和/或种类。在一些实施方式中，声音模型可以由第三方产生，并且事件帧信息产生模块213可以访问物体模型。
在一些实施方式中，事件帧信息产生模块213在708处基于所识别的声音检测一个或多个事件。过程500(如图5所示)在522处继续，如本公开中其它地方所描述的那样。
尽管本文已描述了示意性实施方式，但是如本领域技术人员基于本公开将理解的是，任何和所有实施方式的范围具有等同的元素、修改、省略、组合(例如，涵盖各个实施方式的多个方面)、适应性和/或更换。权利要求书中的限定要基于权利要求书中采用的语言被宽泛地解释，并且不限于在本说明书中描述的或者在申请的进行期间描述的示例。这些示例应被视为非排它性的。此外，所公开的过程的步骤可以以任何方式进行修改，包括通过重新排列步骤和/或插入或删除步骤。因此，说明书和示例仅旨在被当作示意性的，其中真实的范围和精神由所附的权利要求以及它们的等同物的整个范围来表示。

Claims (20)

1.一种用于产生视频的一个或多个预览帧的方法，其特征在于，所述方法包括：
接收视频的第一版本，所述视频的第一版本具有第一分辨率；
分析所述视频的第一版本；
基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧；
获得与所识别的第一预览帧相关的信息；
接收视频的第二版本，所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率；以及
根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括将所述第一预览帧或者所述第二预览帧传送给用户。
3.根据权利要求1所述的方法，其特征在于，从所述视频的第一版本识别第一预览帧包括：
接收来自用户的与所述视频中的时间点相关的信息；并且
根据与所述视频中的所述时间点相关的信息从所述视频的第一版本识别预览帧作为所述第一预览帧。
4.根据权利要求1所述的方法，其特征在于，所述识别第一预览帧包括：从所述视频的第一版本的一部分随机地选择所述第一预览帧。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于对所述视频的第一版本的分析从所述视频的第一版本检测事件，所述事件包括在所述视频的第一版本中检测到的物体、移动物体或者声音中的至少一个；并且
识别与所检测到的事件对应的事件预览帧。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
从所述视频的第一版本提取一个或多个视频帧；
从所提取的一个或多个视频帧检测物体；并且
检测与所检测到的物体对应的所述事件。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：：
从所述视频的第一版本识别第一组预览帧，所述第一组预览帧包括所述第一预览帧；
获得与所述第一组预览帧相关的信息；以及
根据与所述第一组预览帧相关的信息从所述视频的第二版本提取第二组预览帧，所述第二组预览帧包括所述第二预览帧。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括产生包含所提取的第二组预览帧的预览视频。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括将所产生的预览视频传送给用户。
10.一种用于产生视频的一个或多个预览帧的装置，其特征在于，所述装置包括：
存储器，所述存储器存储指令；以及
一个或多个处理器，所述一个或多个处理器被配置为执行所述指令，以：
接收视频的第一版本，所述视频的第一版本具有第一分辨率；
分析所述视频的第一版本；
基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧；
获得与所识别的第一预览帧相关的信息；
接收所述视频的第二版本，所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率；以及
根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。
11.根据权利要求10所述的装置，其特征在于，所述一个或多个处理器还被配置为将所述第一预览帧或者所述第二预览帧传送给用户。
12.根据权利要求10所述的装置，其特征在于，从所述视频的第一版本识别第一预览帧包括：
接收来自用户的与所述视频中的时间点相关的信息；并且
根据与所述视频中的所述时间点相关的信息从所述视频的第一版本识别预览帧作为所述第一预览帧。
13.根据权利要求10所述的装置，其特征在于，所述识别第一预览帧包括：从所述视频的第一版本的一部分随机地选择所述第一预览帧。
14.根据权利要求10所述的装置，其特征在于，所述一个或多个处理器还被配置为：
基于对所述视频的第一版本的分析从所述视频的第一版本检测事件，所述事件包括在所述视频的第一版本中检测到的物体、移动物体或者声音中的至少一个；并且
识别与所检测到的事件对应的事件预览帧。
15.根据权利要求14所述的装置，其特征在于，所述一个或多个处理器还被配置为：
从所述视频的第一版本提取一个或多个视频帧；
从所提取的一个或多个视频帧检测物体；并且
检测与所检测到的物体对应的所述事件。
16.根据权利要求14所述的装置，其特征在于，所述一个或多个处理器还被配置为：
从所述视频提取音频信号；
检测所述音频信号中包含的声音；以及
从所述视频的第一版本检测与所检测到的声音相应的事件。
17.根据权利要求10所述的装置，其特征在于，所述一个或多个处理器还被配置为：
从所述视频的第一版本识别第一组预览帧，所述第一组预览帧包括所述第一预览帧；
获得与所述第一组预览帧相关的信息；以及
根据与所述第一组预览帧相关的信息从所述视频的第二版本提取第二组预览帧，所述第二组预览帧包括所述第二预览帧。
18.根据权利要求17所述的装置，其特征在于，所述一个或多个处理器还被配置为产生包含所提取的第二组预览帧的预览视频。
19.根据权利要求18所述的装置，其特征在于，所述一个或多个处理器还被配置为将所产生的预览视频传送给用户。
20.一种实施计算机程序产品的非暂时性计算机可读介质，其特征在于，所述计算机程序产品包括被配置为使得计算装置进行以下过程的指令：
接收视频的第一版本，所述视频的第一版本具有第一分辨率；
分析所述视频的第一版本；
基于对所述视频的第一版本的分析从所述视频的第一版本识别第一预览帧；
获得与所识别的第一预览帧相关的信息；
接收视频的第二版本，所述视频的第二版本具有第二分辨率，所述第二分辨率大于所述第一分辨率；并且
根据与所述第一预览帧相关的信息从所述视频的第二版本提取第二预览帧。
CN201610130699.2A 2016-03-08 2016-03-08 用于产生视频的一个或多个预览帧的方法和装置 Expired - Fee Related CN105704570B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610130699.2A CN105704570B (zh) 2016-03-08 2016-03-08 用于产生视频的一个或多个预览帧的方法和装置
US15/140,982 US9842258B2 (en) 2016-03-08 2016-04-28 System and method for video preview

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610130699.2A CN105704570B (zh) 2016-03-08 2016-03-08 用于产生视频的一个或多个预览帧的方法和装置

Publications (2)

Publication Number Publication Date
CN105704570A true CN105704570A (zh) 2016-06-22
CN105704570B CN105704570B (zh) 2019-05-07

Family

ID=56221086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610130699.2A Expired - Fee Related CN105704570B (zh) 2016-03-08 2016-03-08 用于产生视频的一个或多个预览帧的方法和装置

Country Status (2)

Country Link
US (1) US9842258B2 (zh)
CN (1) CN105704570B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618225A (zh) * 2018-12-25 2019-04-12 百度在线网络技术（北京）有限公司 视频抽帧方法、装置、设备和介质
CN110572723A (zh) * 2019-08-30 2019-12-13 华为终端有限公司 一种缩略图生成的方法以及相关装置
CN111182359A (zh) * 2019-12-30 2020-05-19 咪咕视讯科技有限公司 视频预览方法、视频抽帧方法、视频处理装置及存储介质
CN111314653A (zh) * 2018-12-12 2020-06-19 纬创资通股份有限公司 录像处理方法、录像处理装置以及监视系统
CN113784178A (zh) * 2021-01-22 2021-12-10 北京沃东天骏信息技术有限公司 视频预览方法、视频预览装置、电子设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020005014A (ja) 2018-06-25 2020-01-09 パナソニック株式会社 情報処理装置、映像テキスト変換方法、および映像データ生成方法
KR102613328B1 (ko) 2019-01-17 2023-12-14 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11076188B1 (en) 2019-12-09 2021-07-27 Twitch Interactive, Inc. Size comparison-based segment cancellation
US11153581B1 (en) * 2020-05-19 2021-10-19 Twitch Interactive, Inc. Intra-segment video upswitching with dual decoding

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040095396A1 (en) * 2002-11-19 2004-05-20 Stavely Donald J. Video thumbnail
US20050169367A1 (en) * 2000-10-24 2005-08-04 Objectvideo, Inc. Video surveillance system employing video primitives
CN1725864A (zh) * 2004-07-23 2006-01-25 Lg电子株式会社 视频装置和控制该装置的方法
US20060026524A1 (en) * 2004-08-02 2006-02-02 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US20070162873A1 (en) * 2006-01-10 2007-07-12 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
CA2682939A1 (en) * 2007-04-13 2008-10-23 Thomson Licensing Systems and methods for specifying frame-accurate images for media asset management
CN102137248A (zh) * 2010-01-21 2011-07-27 腾讯科技（深圳）有限公司 视频分辨率的切换方法及装置、终端及切换系统
CN102541449A (zh) * 2011-12-22 2012-07-04 杭州海康威视数字技术股份有限公司 硬盘录像机预览通道快捷控制方法及其系统
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
WO2013134434A1 (en) * 2012-03-06 2013-09-12 Google Inc. Low latency video storyboard delivery with selectable resolution levels
CN103581210A (zh) * 2012-07-18 2014-02-12 上海贝尔股份有限公司 支持数字广播电视网络的多屏业务平台
CN104717418A (zh) * 2013-12-16 2015-06-17 腾讯科技（深圳）有限公司 对焦方法、装置及电子设备
CN104904231A (zh) * 2012-12-17 2015-09-09 英特尔公司 将缩略图信息嵌入视频流

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684841B2 (en) * 2015-02-24 2017-06-20 Hanwha Techwin Co., Ltd. Method of transmitting moving image and surveillance system using the method
CN105100829B (zh) * 2015-06-29 2019-07-02 小米科技有限责任公司 视频内容截取方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050169367A1 (en) * 2000-10-24 2005-08-04 Objectvideo, Inc. Video surveillance system employing video primitives
US20040095396A1 (en) * 2002-11-19 2004-05-20 Stavely Donald J. Video thumbnail
CN1725864A (zh) * 2004-07-23 2006-01-25 Lg电子株式会社 视频装置和控制该装置的方法
US20060026524A1 (en) * 2004-08-02 2006-02-02 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US20070162873A1 (en) * 2006-01-10 2007-07-12 Nokia Corporation Apparatus, method and computer program product for generating a thumbnail representation of a video sequence
CA2682939A1 (en) * 2007-04-13 2008-10-23 Thomson Licensing Systems and methods for specifying frame-accurate images for media asset management
CN102137248A (zh) * 2010-01-21 2011-07-27 腾讯科技（深圳）有限公司 视频分辨率的切换方法及装置、终端及切换系统
CN102918836A (zh) * 2010-05-13 2013-02-06 高通股份有限公司 用于非对称立体视频的帧封装
CN102541449A (zh) * 2011-12-22 2012-07-04 杭州海康威视数字技术股份有限公司 硬盘录像机预览通道快捷控制方法及其系统
WO2013134434A1 (en) * 2012-03-06 2013-09-12 Google Inc. Low latency video storyboard delivery with selectable resolution levels
CN103581210A (zh) * 2012-07-18 2014-02-12 上海贝尔股份有限公司 支持数字广播电视网络的多屏业务平台
CN104904231A (zh) * 2012-12-17 2015-09-09 英特尔公司 将缩略图信息嵌入视频流
CN104717418A (zh) * 2013-12-16 2015-06-17 腾讯科技（深圳）有限公司 对焦方法、装置及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314653A (zh) * 2018-12-12 2020-06-19 纬创资通股份有限公司 录像处理方法、录像处理装置以及监视系统
CN109618225A (zh) * 2018-12-25 2019-04-12 百度在线网络技术（北京）有限公司 视频抽帧方法、装置、设备和介质
CN110572723A (zh) * 2019-08-30 2019-12-13 华为终端有限公司 一种缩略图生成的方法以及相关装置
CN111182359A (zh) * 2019-12-30 2020-05-19 咪咕视讯科技有限公司 视频预览方法、视频抽帧方法、视频处理装置及存储介质
CN113784178A (zh) * 2021-01-22 2021-12-10 北京沃东天骏信息技术有限公司 视频预览方法、视频预览装置、电子设备和存储介质

Also Published As

Publication number Publication date
US9842258B2 (en) 2017-12-12
CN105704570B (zh) 2019-05-07
US20170262707A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN105704570A (zh) 用于产生视频的一个或多个预览帧的方法和装置
US10123051B2 (en) Video analytics with pre-processing at the source end
KR102571011B1 (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
US20170206761A1 (en) System and method for video preview
US10372995B2 (en) System and method for previewing video
US10997423B1 (en) Video surveillance system having enhanced video capture
US20170124834A1 (en) Systems and methods for secure collection of surveillance data
US20140071273A1 (en) Recognition Based Security
US20170053504A1 (en) Motion detection system based on user feedback
US20170064070A1 (en) Information presentation method and device
US10121478B2 (en) Audio watermark and synchronization tones for recording devices
US20170262706A1 (en) Smart tracking video recorder
CN102833636A (zh) 基于智能电视的安防监控系统及其安防监控方法
US10582167B2 (en) Triggering video surveillance using embedded voice, speech, or sound recognition
US20200145573A1 (en) Network device, image processing method, and computer readable medium
US10417884B2 (en) Method and system for incident sharing in a monitoring system
WO2021068553A1 (zh) 一种监控方法、装置和设备
EP3095068A1 (en) Privacy preserving sensor apparatus
KR20200005476A (ko) 소급 소리 식별 시스템
CN111653067A (zh) 智能家居设备及基于音频的报警方法
CN110598644B (zh) 多媒体播放控制方法、装置及电子设备
CN114915574B (zh) 一种通过声音自动检测智能门铃响应延迟的方法和系统
CN115562743A (zh) 一种应用程序加载方法及电子设备
US10922349B1 (en) Filtering remote access monitoring data
CN113516997A (zh) 一种语音事件识别装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190507