CN107111620A - 使用上下文数据的视频编辑和使用群组的内容发现 - Google Patents

使用上下文数据的视频编辑和使用群组的内容发现 Download PDF

Info

Publication number
CN107111620A
CN107111620A CN201580053725.XA CN201580053725A CN107111620A CN 107111620 A CN107111620 A CN 107111620A CN 201580053725 A CN201580053725 A CN 201580053725A CN 107111620 A CN107111620 A CN 107111620A
Authority
CN
China
Prior art keywords
video
user
editing
metadata
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580053725.XA
Other languages
English (en)
Inventor
齐孟
保罗·狄克逊
弗罗里安·杜施
金炯瑾
卢伊扎·维亚纳·佩雷拉
巴特利·H·考尔德
斯科特·巴罗
苏希尔·库玛·米斯拉
加百利·尼克拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107111620A publication Critical patent/CN107111620A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/06Cutting and rejoining; Notching, or perforating record carriers otherwise than by recording styli
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252Processing of multiple end-users' preferences to derive collaborative data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25883Management of end-user data being end-user demographical data, e.g. age, family status or address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

使用上下文数据的视频编辑可包括:在记录视频的同时,从传感器采集元数据,其中,元数据在时间上与视频同步;检测元数据的属性和视频的属性;以及将属性与多个编辑器相关联。根据关联,可以从多个编辑器中选择编辑器,并且可以自动执行视频编辑工作流。使用群组的内容发现可包括:从装置接收针对视频内容的用户请求;根据用户的人口统计数据来确定用户的行为群组;确定与行为群组相关联的感兴趣视频;以及使用处理器来将感兴趣视频提供到装置。

Description

使用上下文数据的视频编辑和使用群组的内容发现
技术领域
本公开涉及使用上下文数据的视频编辑和使用群组的内容发现。
背景技术
配备视频记录功能的移动通信装置已得到广泛使用。越来越多的用户经常使用这些装置记录视频。尽管可以轻松记录视频,但诸如视频编辑和视频分享等其他任务对于很多用户来说不太容易理解。
关于视频编辑,例如,用户通常需要视频设备和/或复杂的软件工具的专业知识。编辑视频通常涉及将记录的视频从一个人的移动通信装置传输到更强大的基于计算机的视频编辑系统。然而,即使有先进的知识和工具,视频编辑仍然是耗时的任务。可用的视频编辑工具大部分不适合由记录视频的、越来越多的移动通信装置用户使用。
一旦视频经过编辑,使用户满意,那么用户可能希望通过社交网络系统与一个或多个其他用户分享该视频。分享视频通常耗时,因为视频一般上传到社交网络系统。分享的另一方面是其他用户找到感兴趣视频的能力。考虑到日常创建和上传的大量视频内容,发现感兴趣视频通常比较困难。
发明内容
方法可包括:在记录视频的同时,使用处理器从传感器采集元数据,其中,元数据在时间上与视频同步;以及使用该处理器检测元数据的属性或视频的属性中的至少一项。该方法可包括:使用处理器将所述属性与多个编辑器相关联;使用处理器根据所述关联从多个编辑器中选择编辑器;以及使用处理器显示针对视频而选择的编辑器。
附图说明
附图示出一个或多个实施方式;然而,附图不应被视为将本发明仅限于所示的实施方式。在参阅以下详细描述并且参考附图之后,各种方面和有益效果将变得显而易见,在附图中:
图1是示出示例性网络计算系统的框图;
图2是示出数据处理系统的示例性架构的框图;
图3是示出数据处理系统的示例性软件架构的框图;
图4是示出数据处理系统的示例性显示的框图;
图5是示出数据处理系统的另一示例性显示的框图;
图6是示出数据处理系统的另一示例性显示的框图;
图7是示出剪裁视频的示例性方法的流程图;
图8是示出数据处理系统的另一示例性显示的框图;
图9是示出数据处理系统的另一示例性显示的框图;
图10是示出数据处理系统的另一示例性显示的框图;
图11是示出数据处理系统的另一示例性显示的框图;
图12是示出数据处理系统的另一示例性显示的框图;
图13是示出编辑视频的示例性方法的流程图;
图14是示出示例性分布式编辑系统的框图;
图15是示出分布式编辑的示例性方法的流程图;
图16是示出数据处理系统的另一示例性显示的框图;
图17是示出数据处理系统的另一示例性显示的框图;
图18是示出数据处理系统的另一示例性显示的框图;
图19是示出调度视频处理操作的方法的流程图;
图20是示出处理视频的示例性方法的流程图;
图21是示出数据处理系统的示例性软件架构的框图;以及
图22是将感兴趣视频提供给用户的示例性方法的流程图。
实施本发明的最佳方式
方法可包括:在记录视频的同时,使用处理器从传感器采集元数据,其中,元数据在时间上与视频同步;以及使用该处理器检测元数据的属性或视频的属性中的至少一项。该方法可包括:使用处理器将所述属性与多个编辑器相关联;使用处理器根据所述关联从多个编辑器中选择编辑器;以及使用处理器显示针对视频而选择的编辑器。
系统可包括处理器,该处理器被编程以执行可执行操作。所述操作可包括:在记录视频的同时,从传感器采集元数据,其中,元数据在时间上与视频同步;检测元数据的属性或视频的属性中的至少一项;以及将所述属性与多个编辑器相关联。所述可执行操作也可包括:根据所述关联,从多个编辑器中选择编辑器;以及显示针对视频而选择的编辑器。
计算机程序产品可包括计算机可读存储介质,该计算机可读存储介质上存储有程序代码。所述程序代码可由处理器执行以执行方法。该方法可包括:在记录视频的同时,从传感器采集元数据,其中,元数据在时间上与视频同步;检测元数据的属性或视频的属性中的至少一项;以及将所述属性与多个编辑器相关联。该方法也可包括:根据所述关联,从多个编辑器中选择编辑器;以及显示针对视频而选择的编辑器。
方法可包括:使用处理器从装置接收针对视频内容的请求;使用处理器根据与装置相关联的人口统计数据来确定行为群组;确定与行为群组相关联的感兴趣视频;以及使用处理器来将感兴趣视频提供给用户。
系统可包括处理器,该处理器被编程以执行可执行操作。该可执行操作可包括:从装置接收针对视频内容的请求;根据与装置相关联的人口统计数据,确定行为群组;确定与行为群组相关联的感兴趣视频;以及将感兴趣视频提供给用户。
计算机程序产品可包括计算机可读存储介质,该计算机可读存储介质上存储有程序代码。所述程序代码可由处理器执行以执行方法。该方法可包括:从装置接收针对视频内容的请求;根据与装置相关联的人口统计数据,确定行为群组;确定与行为群组相关联的感兴趣视频;以及将感兴趣视频提供给用户。
本概要部分仅仅用来介绍某些概念,而不标识所要求保护的主题的任何关键或必要特征。通过附图和以下详细描述,本发明的许多其他特征和实施方式将显而易见。
具体实施方式
尽管本公开以限定新颖特征的权利要求为准,但应相信,通过结合附图的描述,将更好地理解本文中描述的各种特征。本公开中描述的过程、机器、制造及其任何变型用于说明的目的。所描述的任何具体结构和功能细节不应解释为限制,而是仅用于权利要求的基础和教导本领域的技术人员在几乎任何适当详述的结构中以各种方式使用所描述的特征的代表性基础。另外,本公开中使用的术语和短语并不意图限制,而是提供所描述的特征的可以理解的描述。
本公开涉及使用上下文数据的视频编辑和使用群组的内容发现。根据本文所述的本发明布置的一方面,记录装置可被配置成在记录视频的同时记录来自一个或多个传感器的元数据。元数据在时间上可以与视频同步。记录装置可以评估所记录的视频和/或元数据的属性,以选择一个或多个编辑器。所选择的编辑器可以呈现给用户和/或布置成由记录装置执行的视频编辑工作流的一部分。记录装置的用户可以由视频编辑工作流引导,以使用所建议的编辑器,从而生成编辑后的视频。所建议的视频编辑工作流通过建议和使用编辑器(例如,只是记录装置确定在一方面需要或者合适的编辑器)来降低视频编辑过程的复杂性。
编辑器可以利用所记录的视频和/或元数据的属性来自动执行各种视频编辑操作或者建议各种视频编辑操作。记录装置可包括基于触摸的用户接口,以用于提供视频的视觉表示的直接操控。通过基于触摸的接口的用户操控,用户可执行诸如剪裁所记录的视频的区域、随着回放时间的推移来调整视频的帧率、在视频上覆盖从元数据中导出的字幕、将视频拼接在一起、使视频编辑与音轨同步等功能。
根据本文所述的本发明布置的另一方面,群组技术可用来帮助用户找到感兴趣的视频。群组技术可在作为后台系统的一部分操作的一个或多个数据处理系统内实施,例如,服务器。后台系统可识别请求视频内容的用户。根据对用户已知的人口统计数据,用户可以与一个或多个行为群组相关联。后台系统内的各种行为群组均可以与一个或多个视频相关联。后台系统可以将与用户相关联的行为群组相关联的视频中的一个或多个视频作为视频选择选项提供给请求用户的装置。
本文所述的本发明布置可以作为由数据处理系统执行的方法或过程实施。另一方面,本发明布置可以作为设备实施,诸如,具有处理器的数据处理系统。一旦执行程序代码,处理器便可以执行本文所述的一个或多个操作。在另一方面,本发明布置可以作为非暂时性计算机可读存储介质实施,该非暂时性计算机可读存储介质存储程序代码,所述程序代码在被执行时使处理器和/或系统执行和/或开始方法或过程。
出于简单且清楚地说明的目的,附图中示出的元件未必按比例绘制。例如,为清楚起见,一些元件的尺寸可能相对于其他元件被放大。另外,在适当的情况下,附图标记在附图中重复,以指示对应、类似或相同特征。
图1是示出示例性网络计算系统100的框图。网络计算系统100可包括装置105、后台系统110、视频存储系统115和一个或多个客户端装置120。装置105、后台系统110、视频存储系统115和客户端装置120可以通过网络125进行联接,例如,以通信方式链接。
网络125是用来提供网络计算系统100内的连接在一起的各种装置与数据处理系统之间的通信链路的介质。网络125可包括诸如有线、无线通信链路或者光纤电缆的连接。网络125可以实施为或包括多种不同通信技术中的任一种,诸如,WAN、LAN、无线网络、移动网络、虚拟专用网络(VPN)、互联网、公用交换电话网(PSTN)等。
装置105可以实施为多种电子装置中的任一种。装置105的示例性实施方案可包括但不限于,通信装置、移动电话、平板计算机、专用视频记录装置、便携式计算机等。装置105可包括或联接到一个或多个传感器130和视频记录器135。
传感器130被配置成记录数据项,所述数据项统称为元数据。示例性传感器130可包括但不限于,加速度计、陀螺仪、数字罗盘、全球定位系统(GPS)接收器、光检测器等。传感器130也可包括多种生物和/或医疗传感器中的任一种。生物和/或医疗传感器的示例可包括但不限于,心率监测仪、体温监测仪、血压监测仪等。
元数据也可包括从一个或多个不同服务获取的数据。例如,在线服务可以提供诸如证券的当前报价、货币、天气信息、将经度和维度坐标转换成城市名或位置名的能力等信息。这些信息可以在记录视频的同时不时地采集、定期采集等,并且作为元数据的一部分存储。
视频记录器135被配置成记录视频。记录的视频可包括音频内容和视觉内容。视频记录器135可以以可比传统帧率高或低的一个或多个不同帧率记录视频。装置105可以在采集和存储元数据的同时记录视频。记录的元数据可以与视频同步存储。例如,每项元数据可以加时间戳,使得元数据项可以在记录的视频期间与特定时间相关联并对准。记录的视频和记录的元数据可以存储在装置105内。然而,在另一方面,记录的视频和元数据可以存储在不同装置中。
后台系统110可以实施为一个或多个数据处理系统。在一方面,后台系统110可以实施为一个或多个联网的计算机,例如,服务器。后台系统110可包括一个或多个物理计算机和/或一个或多个虚拟服务器。然而,应了解,虚拟服务器或其他虚拟数据处理系统仍在物理数据处理系统内执行。
在一方面,后台系统110可以实施分类技术,所述分类技术可以用来将视频选择或视频选项提供给请求的装置。例如,后台系统110可以接收来自装置105和/或来自客户端装置120中的一个或多个的针对视频内容的请求。响应于此类请求,后台系统110可以使用利用了人口统计数据和现有行为群组的过程来选择一个或多个视频选项。
视频存储系统115可以实施为如参考后台系统110所述的一个或多个数据处理系统。视频存储系统115可以存储一个或多个视频,以检索、流传输、观看等。在一方面,视频存储系统115可以存储由后台系统110供应的视频,作为响应于针对视频内容的请求而提供给用户的视频选择选项。
客户端装置120可以实施为多种计算机装置中的任一种或它们的组合。客户端装置120的示例性实施方案可包括但不限于,移动电话、计算机(不论是台式计算机、笔记本电脑、平板计算机)等。在一方面,客户端装置120可包括实施本公开内所述的视频访问特征和/或视频回放特征所需的硬件和/或软件。
在操作中,装置105可以同时记录视频和元数据。装置105可以分析记录的视频和/或元数据。基于该分析,装置105可以建议一个或多个特定编辑器,以供装置105的用户来用来编辑视频。由装置105建议的编辑器可以组织成视频编辑工作流。一旦完成,编辑后的视频便可以上传到视频存储系统115。
装置105和/或客户端装置120的用户可以请求来自后台系统110的视频内容。后台系统110可以识别发出请求的特定用户,并且从与请求的用户相关联的多个行为群组中确定或选择一个或多个行为群组。后台系统110可以确定与所选择的行为群组相关联的一个或多个视频。后台系统110可以将所确定的视频提供给请求的装置(例如,装置105和/或客户端装置120)以作为观看和/或分享的选项。例如,后台系统110可以将所确定的视频中的一个或多个视频或者每个视频的链接提供给请求的装置。
图1仅用于说明的目的。在图1内,将客户端装置105示为与客户端装置120不同。然而,应了解,记录装置105也可包括与客户端装置120类似或相同的硬件和/或软件。因此,在一些情况下,除了上述被归于记录装置105的各种特征之外,记录装置105也可以与客户端装置120中的一个客户端装置类似或相同地运行和/或操作。类似地,客户端装置120中的一个或多个客户端装置可包括一个或多个传感器130和/或视频记录器135。因此,除了被归于客户端装置120的各种特征之外,在一些情况下,客户端装置120中的一个或多个客户端装置可以与记录装置105类似或相同地运行和/或操作。
图2是示出数据处理系统的示例性架构的框图。架构200可以用来实施包括处理器和存储器并且能够执行本公开内描述的操作的多种系统和/或装置中的任一种。例如,架构200可以用来实施多种不同装置中的任一种,诸如,装置105、客户端装置120和/或后台系统110。在一些情况下,使用架构200实施的特定装置可包括比所示更少的部件或者比所示更多的部件。另外,所包括的特定操作系统和/或应用可以改变。
如图所示,架构200包括通过系统总线215或其他合适的电路联接到存储元件210的至少一个处理器205,例如,中央处理单元(CPU)。架构200将程序代码存储在存储元件210内。处理器205执行经由系统总线215从存储元件210中访问的程序代码。存储元件210包括一个或多个物理存储装置,诸如,本地存储器220和一个或多个大容量存储装置225。本地存储器220指的是随机存取存储器(RAM)或者一般在程序代码的实际执行期间使用的其他非永久性存储装置。大容量存储装置225可以实施为硬盘驱动器(HDD)、固态驱动器(SSD)或者另一永久性数据存储装置。架构200也可包括一个或多个缓存存储器(未示出),所述缓存存储器提供至少一些程序代码的临时存储,以减少在执行期间必须从大容量存储装置225中检索程序代码的次数。
输入/输出(I/O)装置(诸如,键盘230、显示装置235和指向装置240)可以可选地联接到架构200。在一些情况下,I/O装置中的一个或多个I/O装置可以进行组合,如将触摸屏用作显示装置235的情况。在这种情况下,显示装置235也可以实施键盘230和指向装置240。一个或多个网络适配器245也可以联接到架构200,以使架构200能够通过中介的专用或公用网络联接到其他系统、计算机系统、远程打印机和/或远程存储装置。调制解调器、电缆调制解调器、以太网卡和无线收发器(例如,无线电台)是可以与架构200一起使用的不同类型的网络适配器245的示例。根据与架构200一起实施的特定装置,网络适配器的具体类型或者视情况而定的网络适配器将改变。
I/O装置也可包括相机250、麦克风255和输出换能器260。输出换能器260可以是扬声器。在一方面,相机250和麦克风255可以被视作视频记录系统的一部分,诸如,图1的装置105内的视频记录器135。如使用架构200实施,视频记录系统可包括控制相机250和/或麦克风255的操作的一个或多个应用。
一个或多个传感器265可以联接到架构200。传感器265的示例可包括但不限于,加速度计、陀螺仪、光传感器、生物和/或医疗传感器等。尽管出于讨论的目的,麦克风255在一些情况下可以被视作传感器,例如,音频传感器,但就音频是记录的视频的一部分来说,麦克风255可以被视作视频记录系统的一部分。在这种情况下,由麦克风255生成的内容可以被视作记录的视频的一部分,即,记录的视频的音频部分,而不是元数据。在其他情况下,在由麦克风255获取的音频内和/或从该音频中检测到的音频和/或事件可以被视作元数据的一部分。
本文所述的各种I/O装置和/或传感器可以直接或通过中介的I/O控制器联接到架构200。放大器或其他驱动器电路可以用来将输出换能器260联接到架构200。
如图2所示,存储元件210存储操作系统270和一个或多个应用275。在一方面,在以可执行程序代码的形式实施的情况下,操作系统270和应用275由架构200执行。因此,操作系统270和应用275可以被视作架构200的整体部分。操作系统270、应用275以及由架构200使用、生成和/或操作的任何数据项是在被用作使用架构200实施的系统的一部分时施加功能的功能数据结构。
在一个示例性实施方案中,架构200可以用来实施图1的装置105。在这种情况下,当被执行时,应用275中的一个或多个应用可以实施本文所述的视频处理操作,诸如,视频记录、拍摄和/或存储元数据、分析记录的视频和/或元数据、执行视频编辑操作等。
在另一示例性实施方案中,架构200可以用来实施图1的后台系统110。在这种情况下,当被执行时,应用275中的一个或多个应用可以实施本文所述的利用行为群组的视频建议和投放操作。当用来实施后台系统110时,架构200可以不包括如上所述的一个或多个部件。例如,架构200可以实施为服务器,并且可以不包括相机250、麦克风255、输出换能器260和/或传感器265。
图3是示出数据处理系统的示例性软件架构300的框图。在架构200用来实施图1的装置105的情况下,软件架构300可以是图2的应用275的示例性实施方案。软件架构300包括用户接口302、编辑器304和媒体框架306。
在一方面,用户接口302可以实施为触摸屏用户接口。应了解,本文所述的本发明布置并不意图限于触摸屏接口,因为也可以使用其他接口类型,例如,非触摸图形用户接口。用户接口302可以被配置成检测用户输入(诸如,包括触摸等的姿势),并且将检测到的姿势转译成可由编辑器304和/或媒体框架306理解的命令。例如,用户接口302为用户提供视频内容的直接物理操控的感觉。
用户接口302可包括工作流管理器308。工作流管理器308被配置成提供对可以由编辑器304中的一个或多个执行或者可以由编辑器304中全部执行的各种操作的一致且相干的控制。在一方面,例如,工作流管理器308被配置成跟踪对正在处理的视频的任何编辑。工作流管理器308还可以创建与媒体框架306内的控制器326的应用编程接口兼容的工作项。工作项是将要执行的视频编辑操作。在一方面,两个或更多工作项可以被称为视频编辑工作流。视频编辑工作流可包括将由编辑器304中的一个或多个编辑器执行以创建编辑后的视频的一个或多个工作项。
编辑器304可包括剪裁器314、拖拽动作创建器316、视频合成器318、过滤器320、动态字幕创建器322和完成器324。在一方面,架构300实施插件架构,其中可以添加或并入附加编辑器。例如,编辑器304中的每个编辑器可以是插件。本文中将更详细地讨论可以由编辑器314到324执行的特定操作。由于编辑器304可以实施为可执行的程序代码,因此,本文中所述的可归于编辑器304中的一个或多个编辑器的各种操作可以由执行相应编辑器304中的一个或多个编辑器的程序代码的一个或多个处理器执行。
工作流管理器308与编辑器304交互。在图示中,如果剪裁器314用来表示记录的视频中将被剪掉或移除的一部分,那么工作流管理器308可以跟踪编辑(例如,工作项)以维持与其他编辑器的使用的一致性。例如,工作流管理器308可以创建用来访问控制器326的工作项,以执行所需的操作,即,从正在编辑的视频中移除所指示的部分。
工作流管理器308还可包括视频分析器310和剖析器312。视频分析器310可以被配置成分析记录的视频并且确定各种属性,包括但不限于,剪裁指示符、视频类型、运动、帧率、视频的开始和/或结束时间等。例如,视频分析器310可以检测本说明书内描述的视频的各种属性中的任一属性。剖析器312可以被配置成分析元数据并且检测元数据内的一个或多个属性。例如,剖析器312可以被配置成检测元数据内的剪裁指示符、运动、视频的开始时间和结束时间等。例如,剖析器312可以检测本说明书内描述的元数据的各种属性中的任一属性。
参考媒体框架306,控制器326可以作为媒体框架306的其余块的接口操作。例如,控制器326可以通过所述应用编程接口为用户接口302提供对由媒体框架306提供的各种操作和/或服务的访问。控制器326还可以被配置成参考一个或多个工作项来确定给定的工作流是否已完成。控制器326还使用媒体管线328来确定资源是否可用于执行工作项。在资源不可用于执行工作项的情况下,控制器326可以将工作项存储在工作队列330中,直到工作流已经完成并且资源可用于实施工作流的工作项为止。
工作队列330是用于由用户接口302创建的工作项的暂存队列,例如,临时存储区域。例如,工作队列330可以存储由用户接口302请求的工作项中的每一工作项。一旦用户接口302完成工作流,例如,响应于完成的用户命令,存储在工作队列330中的工作项可以清除和/或提交到媒体管线328。
媒体管线328是可以被配置成作为视频创建和/或视频回放的高级管理器操作的子系统。关于视频创建,媒体管线328可以从工作队列330中读取工作项或者直接从控制器326中读取工作项。媒体管线328可以通过利用回放引擎332、拍摄引擎334、转码结束336和/或元标签引擎338来创建并执行工作项。如图所示,控制器326可以直接联接到元标签引擎338。
回放引擎332可以被配置成播放视频(无论编辑或没有编辑)。例如,回放引擎332可以通过显示装置235和输出换能器260来回放视频。拍摄引擎334可以被配置成拍摄或记录视频,包括视觉数据和音频数据。例如,拍摄引擎334可以使用相机250和麦克风255来拍摄视频。
音频/视频编码器340可以被配置成将拍摄的视频(即,图形数据和音频数据)编码成多种不同格式的媒体文件中的任一种媒体文件。在一方面,被示为部分包括在软件架构300中并且部分在软件架构300外部的音频-视频编码器340可以使用专用硬件、固件、软件和/或它们的任何组合实施。
传感器管理器342被配置成与各种传感器265相连接并且控制可用于拍摄元数据的各种传感器265。例如,在视频被拍摄引擎334记录时,随着时间的推移,传感器管理器342可以接收来自传感器265的元数据项。传感器管理器342可包括合成一个或多个特定元数据项以导出其他形式的元数据的引擎。例如,传感器管理器342的引擎可以利用随时间推移的GPS坐标来计算装置的每小时英里或每小时公里的速度、使用坐标来查询位置的服务等。
转码器引擎336可以被配置成负责基于从媒体管线328接收的工作项来执行视频编辑处理的高级系统。示例性操作可包括将多个视频或视频片段合并在一起、剪裁视频、加字幕(例如,使用来自传感器的元数据将字幕叠加在视频上)、控制视频的时间(诸如,回放率)和/或将所选择的过滤器应用到视频。
元标签引擎338可以被配置成将统一资源定位符(URL)嵌入到所记录和/或通过编辑而生成的各种视频(例如,视频文件)中的系统,从而管理视频记录器内或另一物理系统(例如,远程存储设备,诸如,所谓的云存储或视频存储系统115)内的视频的存储和检索。应了解,与视频同时采集的任何元数据可以与视频一起存储和/或与视频相关联地存储,使得对与视频同时记录的元数据的调用可以使用视频的URL从存储设备中检索。
图4是示出数据处理系统(诸如,图1的装置105)的示例性显示的框图。图4示出在执行剪裁器314以编辑所记录的视频时可以呈现的视图400。
如图所示,视图400包括视频预览区域405。可以出于确定将要剪裁视频的哪些部分的目的来播放视频。视频可以在视频预览区域405内播放。显示正在编辑和/或预览的视频的时间线410。时间线410可以被配置成以连续的线性格式显示视频的缩略图图像。播放头415在时间线410上表明正在编辑和/或预览的视频的哪个部分当前正在视频预览区域405内播放。
区域420显示有关视频本身的数据,诸如,正在被编辑的视频的时间和日期。区域420还可以显示与视频同时记录的元数据。例如,元数据可包括但不限于,记录视频的位置以及记录视频时的天气状况。如所讨论的,元数据可以与正在编辑的视频时间对准或同步。区域425为用户提供用于使用剪裁器314的有用说明和/或技巧。
控件430可以是多用途控件,根据上下文,所述控件可以呈现多个不同的状态。例如,根据上下文,控件430可以在不同的时间(例如,连续地)呈现两个或更多不同的状态。在一方面,控件430对剪裁过程提供单点控制。在图4所示的状态下,控件430可以开始回放选择的视频,以用于当处于剪裁模式并且视频不在播放时进行剪裁。在剪裁模式下,装置105接受来自用户的剪裁输入。
控件435和440允许用户指定剪裁之后的经剪裁视频的格式。选择控件435使装置105将未经剪裁的视频的每个部分保存为单独剪辑或者单独的视频文件。选择控件440允许用户选择这样的选项,其中在注意到将被剪裁的一个或多个区域后,视频的最终未经剪裁部分将合并成一个视频或一个文件。
图5是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图5示出在执行剪裁器314以编辑所记录的视频时可以呈现的视图500。在一方面,可以响应于用户选择图4的控件430而呈现视图500。响应于用户选择控件430,所选择的视频的回放可以在视频预览区域405内开始。播放头415开始沿着时间线410移动。
随着被选择用于编辑的视频开始播放,控件430的功能变成表示所选择的视频的将被剪裁的部分。如本文中所限定的,术语“剪裁”是指从正在编辑的视频中移除视频的一部分。在剪裁之后,编辑后的视频的回放将跳过或以其他方式排除视频的剪裁或移除部分。在图5的示例中,控件430可以用来标记将被保存并且保留在最终剪裁视频的所选择的视频的区域(称为“保留区域”)。视频的没有按压或激活控件430的那些部分可以被指定为剪裁区域,其中剪裁区域是将从视频中移除的区域。例如,响应于用户选择控件430,装置105保存所选择的视频内的时间或位置,作为保留区域的开始。响应于用户取消选择控件430(例如,将手指从控件430中移开),装置105存储所选择的视频内的时间或位置,作为保留区域的结束。
在图示中,剪辑505、515和525表示作为剪裁区域的所选择的视频的部分。剪辑510和520表示作为保留区域的视频的部分。例如,随着所选择的视频播放,用户在播放头415位于剪辑505的左边缘时没有激活或选择控件430。用户在播放头415位于剪辑510的左边缘时选择控件430,并且继续选择控件430,直到播放头415到达剪辑510的右边缘为止。当播放头415移动经过剪辑515时,用户没有触摸控件430。用户在播放头415位于剪辑520的左边缘时再次选择控件430,并且继续选择控件430,直到播放头415到达剪辑520的右边缘为止。当播放头415位于区域520的右边缘时,用户取消选择控件430。应了解,响应于用户使用控件430标记区域而之前没有,剪辑510和520作为保留区域在视觉上与被指定为剪裁区域的剪辑505、515和525区分开。
在图5的示例中,区域425经过更新以传输与将从所选择的视频中剪裁的剪辑相关的信息。例如,区域425可以传输与被选择用于剪裁的最近视频剪辑有关的信息,以及与被选择用于剪裁的剪辑总数相关的信息。例如,由于剪辑515是被指定用于剪裁的最近区域,因此,区域425可提供与剪辑515有关的具体信息。具体而言,区域425表明剪辑515有八秒长。关于剪辑的总数,区域425表明已经有两个剪辑(即,剪辑505和515)被指定用于剪裁。在此示例中,剪裁过程可以持续,使得播放头415没有到达视频的结束,即,指定为剪裁区域的区域525。区域425还表明目前为止将被剪裁的材料(即,剪辑505和515)的总长度是12秒长。如本文中限定,术语“剪辑”是指视频的一部分,例如,小于整个视频的视频量。
图6是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图6示出响应于在剪裁模式下完成所选择的视频的回放而可以呈现的视图600,其中已经完成选择用于剪裁的剪辑的用户输入。视图600可以被呈现,以允许用户清楚已经指定的任何剪裁区域。例如,响应于将控件430滑动到区域605,将剪辑505、515和525指定为剪裁区域的所有指示符可以从时间线410中清除。响应于将控件430滑动到区域610,装置可以执行剪裁过程和/或继续呈现接口,以用于下一个编辑操作。一旦完成剪裁过程或完成视频,便在没有剪辑505、515和525的情况下保存视频。例如,剪辑510和520可以保存为独立的剪辑(例如,文件),或者剪辑510和520可以按顺序保存为单个剪辑或视频文件。
图7是示出剪裁视频的示例性方法700的流程图。方法700可以由数据处理系统实施,诸如,图1的装置105。方法700示出用于剪裁视频的自动化技术。
方法700可以在框705中开始,其中选择用于剪裁的视频。在一方面,装置接收用户输入来选择存储在装置上的视频。视频可以被选择用于一般视频编辑,其中可以应用或者可以专门选择包括一个或多个不同编辑器的工作流,以用于剪裁。
在框710中,装置针对一个或多个剪裁指示符来分析视频。剪裁指示符的示例可包括但不限于,缺少移动、帧中缺少感兴趣对象(诸如,人)、诸如当装置位于用户的口袋中时拍摄帧可能发生的黑色帧、剧烈的颜色变化、缺少变化等。在一方面,可以通过比较视频的相邻帧以及识别所比较的帧之间的差别来执行框710的分析。可以执行其他技术,诸如,对象识别、人脸识别等。
在另一方面,可以分析与正在编辑的视频同时由装置的各种传感器记录的元数据。可以从元数据中确定的剪裁指示符可包括但不限于,连续元数据项之间缺少改变、连续元数据项的显著改变等。连续元数据项的显著改变的示例可包括从喧吵变到安静、从安静变到喧吵、随时间推移的位置改变、随时间推移位置缺少改变、速度改变等。
装置可以标记或注释检测到剪裁指示符的视频的那些剪辑。例如,装置可以将没有检测到感兴趣对象的视频的区域、缺少移动或小于最低移动量的区域、具有黑色帧的区域以及连续元数据项很少改变的区域等标记为剪裁区域。
在框720中,装置可以显示剪裁剪辑和/或保留剪辑,并且询问用户是否接受剪辑标记。例如,装置可以显示时间线,其中在时间线上,剪裁剪辑与保留剪辑在视觉上区别开。剪裁剪辑和保留剪辑可以显示和/或可视化,如参考图5和图6所述。
在框725中,装置确定用户是否接受剪辑标记。响应于确定用户接收剪辑标记,方法700前进到框730。在框730中,装置执行剪裁操作并且生成没有剪裁剪辑的经剪裁的视频。响应于用户拒绝剪辑标记,方法700前进到框735。在框735中,装置清除剪辑标记。
应了解,在另一示例中,用户可以调整自动确定的剪辑标记。例如,用户可以删除剪裁剪辑和/或保留剪辑标记、留下完整或不变的一个或多个其他选择的剪辑、调整一个或多个剪裁剪辑和/或保留剪辑的开始和/或结束时间等。用户随后可以选择继续进行剪裁过程或清除剪辑标记的选项。
图8是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图8示出在执行拖拽动作创建器316以编辑所记录的视频时可以呈现的视图800。
许多支持视频记录的装置能够以高于标准帧率的帧率来记录视频。装置能够以各种帧率来回放视频,例如,比正常回放慢、比正常回放块、正常回放等,从而实现不同的视觉效果,诸如,快动作和/或慢动作。一旦执行拖拽动作创建器316,则拖拽动作创建器316便为用户提供通过拖拽网格布局上的曲线来直接物理操控视频回放速度的感觉。
参考图8,用户可以拖拽区域815内的线或曲线。区域815的纵轴表示以每秒帧数为单位的回放速度。区域815的横轴表示以纵轴的水平设置的速度的视频回放的持续时间。用户可以通过拖拽高于和/或低于区域815的中部的线来增加或降低所选择的视频的回放速度,所述区域815的中部可以表示记录视频时的帧率。
区域805表明正在编辑的视频以每秒120帧持续25秒。区域810表明就拖拽如线820的回放速度而言,用户经过了约75%的视频持续时间。当用户拖拽线820时,视频预览区域405可以将视频快进,以将视频预览与区域815的x轴上的用户触摸的位置相关联。
图9是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图9示出在响应于用户完成图8的线820而执行拖拽动作创建器316时可以呈现的视图900。
如图所示,区域815显示线820的优化版本,现在显示为线905。装置可以通过应用平滑等来调整线820以生成线905,以实现更好看的慢动作或快动作视频效果。在此示例中,曲线可以拉直成直线段。区域805继续显示正在被编辑的视频的原始帧率和视频的原始持续时间。如果以线905指示的改变帧率进行回放的话,则区域810进行更新以表明视频的持续时间。在此示例中,尽管帧率大多数在视频回放的前半部分增加,但帧率在后半部分降低。由线905指示的慢动作的更大程度的使用导致视频比原始视频长7秒。图9示出正在被编辑的视频的元数据可以进行更新以继续指定原始帧率和持续时间,同时也指定改变的帧率和最终的持续时间。
图8和图9共同示出可以检测到拖拽线的用户姿势。在一方面,用户姿势可以是连续姿势。随时间推移,用户姿势可以与视频的回放同时发生。随时间推移,用户姿势以及基于用户姿势的拖拽的线与视频的回放速度(例如,帧率)相关联。因此,由用户姿势拖拽的最终线表明可以与视频中的各个时间相关联地存储的回放速度。根据回放速度,视频在随后被回放。
在另一方面,装置可以为伴随视频的音频提供建议。对音频的建议可包括所记录的视频的声音效果和/或背景音乐,并且可以从视频和/或视频的元数据的分析中确定。分析可以比较视频的相邻帧、来自视频的音频和/或在视频的记录期间采集的元数据项。例如,装置可以比较视频的相邻帧,以检测运动。装置可以分析在视频的记录期间采集的元数据,以检测运动。来自加速度计、陀螺仪、罗盘等的元数据可以表明在记录视频时发生的可量化的运动量。
基于分析,装置可以建议具有特定节拍和/或节奏的音乐。在图示中,响应于确定视频、音频和/或元数据表明高水平的运动,装置可以建议具有更快节拍或欢快节奏的音乐,诸如,嘻哈音乐、摇滚乐等。响应于确定视频、音频和/或元数据表明较低水平的运动和/或以全景模式拍摄,装置可以建议具有更慢节拍或节奏的音乐,诸如,古典音乐或具有特定乐器(诸如,法国号)的音乐。在任一情况下,针对视频的音频建议可以与由用户使用拖拽动作创建器316实施的任何帧率回放改变同步。
图10是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图10示出在执行视频合成器318以编辑所记录的视频时可以呈现的视图1000。装置可以使用视频合成器318将不同的记录视频拼接或合并成单个视频。
在一方面,视频编辑过程中可包括一个或多个附加视频。视频可以由一个或多个其他装置记录。例如,用户可以使用移动电话或者一个或多个其他可穿戴装置来记录视频,诸如,支持视频的智能手表、支持视频的眼镜、支持视频的领饰等。另外,可以以同时的方式或者至少在时间上重叠的方式来拍摄视频,使得在编辑过程中可以使用多个不同的视频视角,其中由每个不同的记录装置拍摄的视频被视作不同的视角。在另一方面,将要使用视频合成器318编辑的视频中的一个或多个视频可以是来自用户装置附近的联网装置的视频和/或来自所连接的用户的在线社交网络平台的视频。
参考图10,随时间推移,视频输入的潜在不同来源可以用来创建具有不同视角的剪切或编辑的一个视频。视频记录的时间和物理位置的元数据也可以用来自动采集从其他装置的相机拍摄或者由附近的其他人同时或在重叠的时间拍摄的视频,或者自动生成这样的建议。
在图10的示例中,用户已经选择了两个不同的视频用于编辑。两个不同的视频将要合并成单个合并视频。第一视频展现在预览区域1005中。第二视频展现在预览区域1010中。随着用户在时间上向前或在时间上向后快进,第一视频和第二视频的预览分别彼此同步地显示在区域1005和1010中。
在视图1000内,第一视频和第二视频也沿着时间线1015和1020以图形展现。装置可以分析第一视频和第二视频,以确定开始时间和结束时间并且按适当的顺序展现每个相应视频并在时间线1015和1020上同步。附图标记1025示出时间线1015上的第一视频的相对位置。附图标记1030示出时间线1020上的第二视频的相对位置。时间线1015和1020的阴影部分表明沿着时间线的存在视频的时间。无阴影部分表明在时间线上的该点处不存在视频。第一视频和第二视频以时间对准的方式显示,其中每个相应视频中的相同时间竖直对准。因此,从视图1000中可以看出,第一视频在时间上比第二视频先开始。另外,第二视频在时间上比第一视频持续得更晚。
控件1035在被选择时允许用户选择一个或多个附加视频,以包括在编辑过程内。控件1040在被选择时允许用户选择音频,以便用作最终视频的背景音乐。控件1045一旦被选择便向装置表明用户完成了视频合成过程。例如,响应于用户选择控件1045,装置可以渲染完成的视频,所述完成的视频只包括第一视频和第二视频中由用户选择的那些部分。
图11是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图11示出在执行视频合成器318时可以呈现的视图1100。在图11的示例中,添加由预览区域1050表示的附加视频,即,第三视频。另外,第三视频在时间线1055上以图形表示。
如图所示,用户开始拖拽线1060。用户沿着将被包括在最终合并视频中的视频的每个部分拖拽线1060的水平部分。在此示例中,用户在时间线1055的开始处开始,从而选择第三视频的第一部分以包括在合并的视频中。在时间T1处,给定时间线1015、1020和1055是时间对准的,用户向上移动到时间线1015并且开始沿着时间线1015水平移动。线1060表明各种选择的视频(例如,第一视频、第二视频和/或此示例中的第三视频)中的每个视频的哪些部分将被包括在最终的合并视频中。
在图11的示例中,视频可以使用在合成时为用户提供直接物理操控视频的感觉的网格布局进行显示,从而使视频编辑过程简单而直观。用户可以拖拽和/或轻触以沿着将被包括在编辑后的视频中的视频的剪辑创建线1060。
图12是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图12示出在执行视频合成器318时可以呈现的视图1200。在图12的示例中,用户已经完成拖拽线1060。另外,用户已经选择控件1040并且选择将用于合并的视频的背景音乐的音频。在一方面,装置可以分析所选择的音频的节拍和时间,并且叠加网格,其中网格的竖直线1230与所选择的音频的节拍时间对准并且覆盖在各种视频时间线上。装置还可以调整各种编辑点,使得线1060的水平线段在网格线上开始和结束,并且线1060的竖直线段置于网格线上。这个时间对准将具有所选择的背景音频的节拍和/或时间的第一视频、第二视频和/或第三视频的选择剪辑之间的点合并。
最终的视频(如视频文件1235所示)将第一视频、第二视频和第三视频的部分组合成单个视频文件。例如,视频文件1235包括剪辑1205、1210、1215、1220和1225。剪辑1205到1225与时间线1015、1020和1050中的每个时间线时间对准。出于讨论的目的,第一视频对应于时间线1015,第二视频对应于时间线1020,并且第三视频对应于时间线1055。因此,参考剪辑1205到1225和线1060,剪辑1205得自第三视频,剪辑1210得自第一视频,剪辑1215得自第二视频,剪辑1220得自第三视频,并且剪辑1225得自第二视频。例如,响应于选择控件1040,由剪辑1205到1225形成的视频文件1235可以输出或以其他形式保存到存储器。
图13是示出编辑视频的示例性方法1300的流程图。方法1300示出用于生成视觉信息(诸如,所选择的视频的覆盖信息)的自动化或半自动化处理技术。方法1300示出响应于执行动态字幕创建器322(例如)而可以由图1的装置执行的各种操作。图13示出示例性方法,其中如本公开中所述的装置可以播放从传感器采集的元数据以作为回放期间叠加在视频上的字幕。
方法1300可以在已经记录了一个或多个视频的状态下开始。另外,已经在视频的记录期间采集和存储了元数据。在框1305中,装置可以选择用于编辑的视频。所选择的视频可以是由装置接收的用户输入指定的视频。
在框1310中,装置分析在所选择的视频的记录期间采集的元数据。如所讨论的,元数据可以从装置的各种传感器中采集、从联接到装置的外围设备中采集和/或从可由装置访问的装置中获取。示例性元数据项可包括但不限于,位置、加速度计数据、陀螺仪信息、数字罗盘信息、计步器信息、海拔信息、内部时间、心率、血压、呼吸、水合作用、温度等。
在框1315,装置选择一种或多种类型的元数据。元数据类型指的是元数据的特定种类或类别,诸如,由特定传感器生成和/或从特定服务中获取的数据项。在一方面,装置可以选择在视频的持续时间中改变最多或至少改变超过最小量的类型的元数据。例如,用户在视频期间的海拔可能改变最多或至少超过最小量,并且被选择。装置选择海拔作为用于将生成的视觉信息的一种元数据。在另一示例中,用户的速度可被确定改变超过最小量或大于指定的速度阈值,因此,被选作将用于视觉信息的一种元数据。
在框1320中,装置可以可选地选择针对所选择的元数据类型的视觉信息样式。在一方面,可以基于所选择的元数据的特定类型来选择视觉信息或视觉信息的图形主题。在另一方面,装置可以选择两种或更多种不同的视觉信息样式以供用户挑选。例如,装置可以使用所选择的元数据类型来显示具有不同视觉信息选项的所选择的视频的预览或缩略图视图,用户可以选择所需的视觉信息样式。
在框1325中,装置可以用所选择的样式覆盖所选择的视觉信息或将它们叠加。所选择的视觉信息包括所选择的元数据类型。例如,海拔可以使用所选择的视觉信息样式覆盖在视频上。随着视频播放,覆盖信息包括更新的海拔信息。例如,海拔数据项可以在时间上与视频回放一起作为被覆盖的视觉信息的一部分回放。可以生成编辑后的视频,其中覆盖信息作为编辑后的视频的一部分进行渲染。
应了解,装置可以选择不止一种不同类型的元数据和针对每个所选择的元数据类型的视觉信息样式。另外,元数据可以进行丰富并且作为覆盖信息呈现。例如,装置可以具有纬度和经度形式的位置。装置可以使用该位置来确定该位置的位置名(例如,城市)和/或天气。装置还可以在针对该位置的地图上显示用户的路径。覆盖信息可以进行更新以便所显示的特定数据项(例如,心率、位置等)与视频同步地随时间的推移而改变。因此,例如,示出一个人的心率、位置和/或海拔的覆盖信息可以随着视频播放而显示,其中元数据在时间上与视频一起更新。
在另一示例中,装置可以记录一段时间的元数据并且输入在时间上与所记录的元数据重叠的所记录的视频。装置可以用来生成和/或建议元数据视觉信息,如针对输入的视频所述的。
图14是示出示例性分布式编辑系统1400的框图。如图所示,分布式编辑系统1400包括装置105,所述装置105通过通信链路1410联接到装置1405。在一个示例中,装置1405可以是电视机、计算机,诸如,平板计算机等。通信链路1410可以是有线连接或无线连接。在一方面,通信链路1410可以通过另一中间网络节点建立,诸如,无线接入点和/或路由器。在另一方面,通信链路1410可以作为直接连接建立,例如,使用将装置105和装置1405直接联接的电缆或者作为装置105与装置1405之间的直接无线通信链路建立。
在任一情况下,在处于编辑模式时装置105联接到装置1405的情况下,装置105可以进入编辑状态,其中显示用于编辑操作的控件,同时将被预览的任何视频片段、时间线等可以经由通信链路1410提供到装置1405。在图14的示例中,装置105在使用剪裁器314。响应于在使用剪裁器314或者本公开内所述的任何编辑器时联接到装置1405,装置105显示控件430或其他控件,同时将视频预览1415提供到装置1405以进行显示。另外,装置1405显示时间线410。如图所示,针对剪裁和/或保留而标记的各种剪辑显示在装置1405上,而不是显示在装置105上。
通过使用图14所示的分布式编辑特征将视频预览和其他信息提供到更大的显示器,用户能够注意到在较小显示器上难以辨别的精细的显示细节。另外,用户能够在利用装置1405的更大显示器的同时继续使用装置105的物理触摸接口。
图14还示出已被自动选择并且叠加在视频上的元数据的示例。在此示例中,视觉信息1420叠加在视频预览1415中的视频上。尽管将视觉信息1420示为具有文本样式,但可以使用其他样式。例如,可以使用模拟速度计显示速度,作为用于所选择的元数据类型的视觉信息类型。也可以使用多种不同颜色、字体和/或视觉信息技术中的任一项。
图15是示出分布式编辑的示例性方法1500的流程图。方法1500可以由如参考图14所述的系统执行。出于讨论的目的,在描述方法1500时将装置105称为主装置,并且将装置1405描述为兼容装置。
方法1500可以在框1505中开始,其中主装置进入视频编辑模式。在一方面,进入视频编辑模式一般可包括执行编辑器304中的任一个或多个编辑器和/或执行软件架构300。响应于用户请求编辑视频,可以调用视频编辑模式。
在框1510中,主装置检测主装置附近的兼容装置。在一方面,术语“附近”是指主装置能够与兼容装置建立直接连接。直接连接的示例可包括但不限于,直接无线通信链路(诸如,蓝牙通信链路)、直接有线通信链路等。在另一方面,术语“附近”是指主装置能够通过局域网(无论有线还是无线)与兼容装置建立连接。
在框1515中,响应于检测到兼容装置,主装置显示控件以执行与兼容装置连接。在框1520中,响应于用户选择框1515中显示的控件,主装置执行连接到兼容装置。
在框1525中,在建立与兼容装置的连接的情况下,主装置将视频编辑工作空间扩展到兼容装置。在一方面,将主装置的视频编辑工作空间扩展到兼容装置可包括在主装置上显示一个或多个控件,同时将视频预览等发送到兼容装置以在兼容装置上进行显示。例如,主装置可以只显示视频编辑控件,而兼容装置的更大显示器只用来显示视频预览和/或时间线。
图16是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图16示出在渲染视频时可以呈现的视图1600。例如,渲染视频可以通过执行完成器324来执行。在图16的示例中,用户已经完成使用编辑器304中的一个或多个编辑器来编辑一个或多个视频,并且即将渲染视频。本文中使用的术语“渲染”当应用于视频编辑时,是指生成视频的完成且编辑后版本,其中由用户指定和/或由装置自动建议的各种视频编辑在完成或编辑后的视频结果中实施。
用户可以使用控件1605来选择多种不同视频输出格式中的一种。在此示例中,用户选择了表示高清视频的输出格式“HD”。装置估计来自渲染过程的最终视频文件的大小将是52MB。其他视频输出选择包括只需要10MB的标准清晰度“SD”和需要124MB的超高清晰度的“4K”。每个不同的输出格式将具有不同数量的水平线或不同分辨率。在区域1610中,装置提供与用户选择的渲染过程有关的信息。在此示例中,装置表明单独使用装置进行渲染所需的估计时间和对电池使用时间或电量的预期影响。在此示例中,生成HD视频作为输出估计花费6分钟,并且消耗可用电池使用时间的约10%。
在区域1615中,装置表明两个其他装置可用于渲染。例如,指示符1620和1625中的每个指示符可以表示可用装置。指示符1620和/或1625可以是图标、图片或其他图像。应了解,所显示的指示符的数量将根据检测到的装置的数量而改变。因此,可以显示少于两个指示符或者显示大于两个指示符。在一方面,可用装置可以是可用于执行渲染操作的一个或多个服务器和/或虚拟服务器。在另一方面,指示符1620和/或1625可以表示装置105的用户已知的用户的装置,例如,接触。在另一方面,指示符1620和/或1625可以表示装置105的用户的另一装置或者被确定为装置105附近的另一装置,如先前所述。在图16的示例中,指示符1620表示用户A并且指示符1625表示用户B。
装置105的用户可以邀请由指示符1620和/或1625表示的装置参与渲染视频。例如,响应于用户选择指示符1620,装置105将邀请发送到由指示符1620表示的装置,以参与视频渲染。被邀请的装置的用户可以接受或拒绝邀请。如果接受,那么装置105可以将视频渲染工作的一部分(例如,一个或多个视频渲染操作)发送到被邀请的装置。被邀请的装置实施视频渲染操作并且将结果发送回到装置105,以包括在完成的视频中或用于完成的视频。
也提供调度控件1630和开始控件1635。调度控件1630执行调度操作,其中用户可以调度各种视频编辑和/或上传操作。响应于用户选择,开始控件1635执行视频渲染。
图17是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图17示出响应于用户选择指示符1620而可以呈现的视图1700。响应于用户选择指示符1620,装置105将参与视频渲染的邀请发送到由指示符1620表示的装置。在图17的示例中,被邀请的装置的用户接受了邀请。因此,装置105将一个或多个视频渲染操作(例如,工作项)发送到被邀请的装置以进行处理。因此,在区域1610中显示的估计渲染时间从6分钟降到4分钟。另外,执行渲染所需的装置105的电池的电量减少。渲染现在只需要剩余电池使用时间的8%,与分享渲染操作之前的10%不同。
在区域1615内提供附加控件,所述附加控件在被选择时使装置105分享所渲染的视频。例如,在选择“分享复本”复选框的情况下,所渲染的视频可以上传到一个或多个所选择的社交网络平台或者以其他方式为一个或多个其他用户可用。分享或上传可以根据用户的调度而发生,如本文中更详细地描述。
在一方面,“分享复本”复选框在被选择时可以使装置105和与指示符1620相关联的用户A分享最终视频的复本。能够快速且毫不费力地分享最终视频的复本可以激励用户A和其他用户加入渲染过程。在一个示例中,是否选择“分享复本”复选框可包括在从装置105发送到其他装置的任何邀请中。例如,被邀请的装置的接收者可以至少部分基于是否将分享最终视频的复本来决定是否接受邀请并且加入渲染过程。
图18是示出数据处理系统(诸如,图1的装置105)的另一示例性显示的框图。图18示出响应于用户选择开始控件1635而可以呈现的视图1800。视图1800示出视频渲染的进展。例如,区域1805示出完成视频渲染操作的进展的抽象视图。区域1805的框表示将要执行的视频渲染操作。随着视频渲染操作完成,更多的框变得有阴影。在图18的示例中,表示由装置105完成的渲染操作的框是实心阴影并且包括装置105的指示符。表示由被邀请的装置完成的渲染操作的框是交叉影线阴影并且包括指示符1620。由被邀请并且接受邀请的任何其他装置完成的操作可以按相同或类似方式在视觉上区分开。
在渲染操作期间的任何点处,装置105的用户可以邀请额外的人参与渲染过程。例如,在进行渲染时的任何点处,装置105的用户可以选择指示符1625,以邀请用户B的装置参与渲染过程。另外,在渲染过程期间的任何点处,装置105的用户可以选择暂停控件1810,以暂停渲染选项。类似地,一旦渲染开始,被邀请的装置便可以显示这样的控件,所述控件响应于选择而使被邀请的装置暂停和/或终止视频渲染操作。在用户的控制下,被邀请的装置可以在任何时间暂停或终止视频渲染操作,从而允许用户撤回或终止参与视频渲染。
图19是示出调度视频处理操作的方法1900的流程图。方法1900可以由本文所述的装置105实施。在一方面,可以响应于用户选择调度控件1630而实施方法1900。可以与方法1900一起使用的示例性视频处理操作可包括但不限于,视频渲染和/或分享(例如,上传)所渲染的视频。
在框1905中,装置确定装置是否空闲并且也连接到充电器,例如,除内部电池外的电源。如果是的话,那么方法1900继续到框1910。如果否的话,那么方法1900前进到框1925。在框1925中,装置不执行视频处理操作或者停止可能已经开始的视频处理操作。在图19的示例中,视频处理操作可包括渲染和/或分享由渲染生成的完成视频。
继续框1910,装置可以确定是否存在稳定的网络连接。如果存在稳定的网络连接,那么方法1900可以继续到框1915。如果不存在,那么方法1900可以前进到框1925。
在一方面,网络连接可以是用于装置的Wi-Fi连接。Wi-Fi连接可以是装置可以加入的无线网络,所述无线网络遵从实施无线LAN通信的802.11x规范中的一个或多个规范。稳定的网络连接可以是维持低于最小量的连接损耗、间歇现象和/或数据损耗的Wi-Fi连接。在一个示例中,在将由装置执行的操作不包括分享的情况下,可以省略或以其他方式跳过框1910。
在框1915中,装置可以执行视频处理操作。在视频处理操作已被停止的情况下,例如,在先前执行了框1925的情况下,装置可以重新执行视频处理操作。在框1920中,装置确定视频处理操作是否完成。如果没有完成,那么方法1900回到框1905以继续处理。如果视频处理操作完成,那么完成方法1900。
图20是示出处理视频的示例性方法2000的流程图。方法2000可以由本文所述的装置105执行。在一个示例性实施方案中,可以通过执行架构300来执行方法2000。例如,包括视频分析器310和剖析器312的工作流管理器308在被执行时可以实施图20的操作中的一个或多个操作。
方法2000可以在框2005中开始,其中装置记录视频。在框2010中,装置在记录视频的同时采集元数据。元数据可以存储在装置内。另外,元数据在时间上可以与所记录的视频同步。例如,元数据项可以与视频时间对准。
在框2015中,装置可以检测元数据内的一个或多个属性。例如,装置可以确定元数据是否表示高水平活动。高水平活动可以由下列项指示:装置的位置迅速改变;装置的海拔迅速改变;是否检测到快速运动、转弯、加速或减速等。在另一示例中,装置可以确定由装置的传感器采集的一种或多种类型的元数据是否随时间的推移而改变多于最小量或速率。如所讨论的,装置可以检测下列属性,包括但不限于,剪裁指示符、运动、视频的开始时间和结束时间、元数据项改变或缺少改变等。
在框2020中,装置可以检测视频内的一个或多个属性。装置可以检测下列属性,包括但不限于,剪裁指示符、视频类型、运动、帧率、视频的开始和/或结束时间等。在一个示例中,装置可以分析视频,以检测视频中的感兴趣对象(包括人)。例如,装置可以利用人脸识别技术。在另一示例中,装置可以确定视频是否包括多于最小量的运动。例如,装置可以比较连续帧,以获得表明运动的改变的证据。在另一示例中,装置可以确定是否使用全景设置拍摄视频、是否以增加的帧率拍摄视频等。
在框2025中,装置将在框2015和/或2020内确定的属性与多个不同编辑器中的一个或多个相关联。例如,随时间的推移改变了多于最小量或者以比最小速率快的速率改变的一种或多种类型的元数据可以表明可使用动态字幕创建器322。被确定为所记录的视频中不包括感兴趣项目的部分(例如,剪辑)可以与使用剪裁器314相关联。确定以比正常高的帧率记录视频可以与使用拖拽动作创建器316相关联。
在框2030中,装置根据框2025中执行的关联从多个编辑器中选择一个或多个编辑器。可以选择与在视频和/或元数据内发现的属性相关联的任何编辑器。在框2035中,装置可以建议使用在框2030中选择的编辑器中的一个或多个编辑器。例如,装置可以将在框2030中选择的编辑器的列表呈现给用户。
在另一示例中,装置可以执行视频编辑工作流。视频编辑工作流可包括所选择的编辑器。视频编辑工作流由装置实施,可以按预定顺序执行一个或多个编辑器。用户可以选择作为工作流的一部分而选择的编辑器,或者跳过使用编辑中的一个或多个编辑器。就这点而言,用户对编辑器中的一个或多个编辑器或者全部编辑器的使用是可选的,并且可以被视作建议。另外,用户可以被呈现每个编辑器,其中预先加载框2005的记录视频以用于处理。
在另一方面,当用户开始利用工作流中的对应编辑器或者由装置建议的编辑器时,可以将本文所述的自动建议的编辑中的任一个编辑建议给用户。例如,在剪裁器314执行时,可以将由装置自动识别用于剪裁的任何剪辑呈现给用户。在用户开始使用动态字幕创建器322时,可以呈现任何自动确定的覆盖信息,以作为给用户的建议。
如所讨论的,一旦视频被渲染,则视频便可以分享到一个或多个社交网络系统、视频存储系统等。由于大量视频对用户可用,因此,找到感兴趣视频可比较困难。当用户第一次开始使用视频和/或内容投放服务时,该现象更加明显。在那种情况下,用户几乎没有或根本没有建立内容投放服务的历史。另外,内容投放服务负责确定用户感兴趣的视频并且使此类视频可用。
图21是示出数据处理系统的示例性软件架构2100的框图。在一个示例中,软件架构2100可以由图1的后台系统110使用。一般而言,软件架构2100在数据处理系统内执行时会实施运行时间视频内容发现和/或投放系统。
如图所示,架构2100可包括响应模块2110。架构2100还可包括行为群组2120、用户组2130、分割模型2135和视频内容2140。一般而言,响应模块2110可以是可由处理器执行的模块。行为群组2120、用户组2130、分割模型2135和视频内容2140表示由响应模块2110利用的各种形式的数据。应了解,尽管行为群组2120、用户数据2130、分割模型2135和视频内容2140表示数据,但所述的不同数据类型存储在后台系统110的物理存储元件和/或联接到后台系统110的另一系统的物理存储元件中。
作为训练过程的一部分,为了与运行时间过程区分开,可以使用轨迹来确定行为群组2120。轨迹指的是存储在存储元件中的数据。轨迹可包括用户已经从他们的装置访问的项目列表、用户转发或使用装置以其他方式在线分享、使用装置标记为喜爱的、使用装置标记为“喜欢”的项目列表等。在图21的情况下,项目可以是视频。出于讨论的目的,术语“视频”可以是指视频文件和/或对视频文件的引用,诸如,统一资源标识符(URI)等。在一方面,轨迹数据的每一项可以与访问、转发、分享特定视频等的用户的识别信息相关联地存储。
作为训练的一部分,可以使用轨迹生成行为群组2120。行为群组2120内的每个行为群组指定具有共同的用户行为的一个或多个类似属性的一个或多个用户的组。更具体地讲,每个行为群组是共享与视频相关的用户行为的一个或多个属性的一个或多个用户的组。属性可包括但不限于,访问了哪些视频、访问视频的时间、已经分享了哪些视频、已经转发了哪些视频、哪些视频被标记为“喜爱”、哪些视频被标记为“喜欢”等。例如,相同行为群组中的用户均可以喜欢一个或多个相同类别的视频。就这点而言,视频内容2140可包括一个或多个视频,其中每个视频与行为群组2120的一个或多个行为群组相关联。
群组技术一般为本领域已知。一般而言,系统通过将用户的行为的模式与某组用户的行为的模式进行匹配来尝试将特定用户分类成用户组,例如,行为群组。一旦将用户分类,便可以基于同一组中的其他用户的偏好和/或选择来进行有关用户的一个或多个预测。
用户组2130也可以指定一个或多个用户组。例如,组可以是用户的群组。在一方面,用户组2130内的用户可不包括在行为群组2120中的任一个行为群组内。例如,用户组2130中指定的用户可以是尚未分配到行为群组和/或没有足够的用户轨迹以处理到行为群组2120中的行为群组的新用户。在另一方面,用户组2130内的用户可包括在行为群组2120中的一个或多个行为群组内。用户组2130可以通过训练过程进行确定,因此,可用于运行时间系统,如图21所示。
用户组2130的用户可以根据用户的人口统计数据而组织成组。人口统计数据也可以作为用户组2130的一部分存储。在一方面,用户组2130中的每个用户组可以由人口统计数据项限定。在另一方面,用户组2130中的每个用户组可以由一个或多个人口统计数据项限定。人口统计数据可包括可用来形成用户组的多种不同数据项中的任一数据项。例如,人口统计数据可以指定地址和/或邮政编码、收入水平、性别、民族、人种、年龄、生日或者用户的其他数据。人口统计数据也可包括使用的装置的特定构造和型号、移动电话或装置上执行的操作系统的版本,以及可以由电话或装置的传感器采集的数据,例如,元数据。应了解,人口统计数据也可包括用户选择与后台系统110分享的任何信息项。例如,用户可以登录视频分享系统或其他社交网络平台,其中用户已经建立包括视频偏好的简况。来自用户简况的信息可包括在用来形成用户组的人口统计数据内。人口统计数据的附加示例也可包括从外部数据库查找中确定的信息。用户组2130中的每个用户组可以由一个或多个不同的人口统计数据项限定。
分割模型2135可以指定用户组2130与行为群组2120的关联。分割模型2135可以使用训练过程生成,因此,可用于作为系统2100的一部分在运行时间使用。在一方面,可以通过保持行为群组2120中的每个行为群组不变并且确定突出的人口统计数据项或用户组来生成分割模型2135。例如,可以执行人口统计数据项的比较,以确定用户的哪些人口统计数据项在行为群组2120中的不同行为群组上改变或最大地改变,以及哪些人口统计数据项在相同行为群组中的用户上保持不变。在行为群组上改变而针对相同行为群组内的用户保持不变的人口统计数据项被视作突出,并且表示行为群组与人口统计数据项或者至少部分根据人口统计数据的突出项形成的用户组之间的关联。
在一个示例中,如分割模型2135中指定,行为群组2120与用户组2130之间的关联可以使用集合相似度的测量来确定。在另一示例性实施方案中,分割模型2135中指定的关联可以根据人口统计数据项(或用户组)和行为群组2120的关联使用聚类算法(例如,K-means)来确定。
在图示中,考虑下列情况:用户的视频偏好未知并且用户没有进行任何视频查询或至少很少进行视频查询。用户从装置提交针对视频的请求2145。如果已知一个或多个人口统计数据项,诸如,用户的年龄、性别和地址,那么响应模块2110可以确定用户属于用户组2130中的所选择的用户组。响应模块2110可以确定与所选择的用户组相关联的一个或多个选择的行为群组2120。例如,响应模块2110可以确定用户的视频偏好和与包括发出请求2145的用户的所选择的用户组2130相关联的所选择的行为群组2120的用户的那些偏好相同或类似。
例如,如果用户属于具有与所选择的行为群组2120中的用户相同的年龄、性别以及类似位置的所选择的用户组2130,那么尽管发出请求2145的用户和/或装置在训练过程期间没有正式地置于行为群组中,响应模块2110仍可以确定用户与所选择的行为群组2120中的其他用户具有相同或类似的视频偏好。响应模块2110可以从视频内容2140中确定一个或多个视频建议2150,并且作为响应,将视频建议2150发送到请求的用户的装置。
图22是发现视频内容并且将感兴趣视频提供给用户的示例性方法2200的流程图。方法2200可以由图1的后台系统110执行。可以实施方法2200以将感兴趣视频提供给尚未累积足够轨迹数据以置于行为群组中的用户。
在框2205中,后台系统可以接收来自用户的针对视频内容的请求。例如,可以接收来自用户的装置的查询。在框2210中,后台系统可以识别发出请求的用户。根据接收到请求的装置等,可以由用户提供的数据来识别用户。应了解,在一方面,用户标识可以与装置信息相关联,使得可以根据用来发送请求的装置来确定用户的标识。在一个示例中,响应模块可以从请求中确定用户标识符。无论是针对用户还是针对装置,标识符都可以与存储的用户数据匹配或相关联。在框2215中,后台系统可以查找用户的人口统计数据。
在框2220中,后台系统可以确定用户所属的一个或多个用户组。例如,后台系统可以将用户的人口统计数据与用户组进行比较。如所讨论的,用户组根据人口统计数据进行限定或确定。
在框2225中,后台系统可以确定与框2220中确定的用户组相关联的一个或多个行为群组。例如,后台系统可以使用分割模型来确定行为群组。系统可以确定提交请求的用户和/或用户装置可能与在框2225中根据分割模型确定的行为群组的成员具有类似的视频兴趣。
在上述示例中,系统可以将请求的用户和/或装置放到用户组中,并且使用该一个或多个用户组来从分割模型中查找用户的一个或多个行为群组。在另一方面,分割模型可以将一个或多个人口统计数据项与一个或多个不同的行为群组相关联。另外,分割模型可以将不同的权重(例如,乘法因数)应用于用户的不同人口统计项的组合,其中应用权重的结果随后可以使用分割模型映射到一个或多个不同的行为群组。在任一情况下,根据用户和/或装置的人口统计数据,系统确定发出针对视频内容的请求的用户和/或装置的一个或多个行为群组。
在框2230中,后台系统确定与框2225中选择的行为群组相关联的一个或多个不同的视频。行为群组中的每个行为群组可以与一个或多个不同视频相关联。例如,每个行为群组可以与特定种类和/或类型的视频相关联。行为群组可以与全部种类和/或类型的视频相关联,其中视频可以根据多种不同标准(诸如,当前趋势、喜好等)在每个种类和/或类型内排名。
在框2235中,后台系统可以将框2230中确定的一个或多个视频提供给接收到请求的用户装置。在一方面,提供视频可包括提供视频的引用或链接,使得用户可以检索、观看和/或分享视频。例如,后台系统可以生成网页或者指定框2230中确定的视频的其他标记语言。后台系统随后可以将网页转发到请求的装置。
本文中所使用的术语仅是为了描述特定实施方式,而并不意图限制。尽管如此,现在将介绍本文档中应用的若干限定。
如本文中限定,除非上下文另有明确指出,否则单数形式“一”、“一个”和“所述”也意图包括复数形式。
如本文中限定,术语“另一”是指至少第二或更多。
如本文中限定,除非另有明确说明,否则术语“至少一个”、“一个或多个”以及“和/或”是在操作上连接和分离的开放性表达。例如,表达“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”是指单独的A、单独的B、单独的C、A和B一起、A和C一起、B和C一起、或者A、B和C一起。
如本文中限定,术语“自动地”是指没有用户干预。
如本文中限定,术语“计算机程序产品”是指包括计算机可读存储介质的系统、装置、设备和/或制品。
如本文中限定,术语“计算机可读存储介质”是指含有或存储由指令执行系统、设备或装置使用或者与它们结合使用的程序代码的存储介质。如本文中限定,“计算机可读存储介质”本身不是瞬时传播信号。计算机可读存储介质可以是,但不限于,电子存储装置、磁存储装置、光学存储装置、电磁存储装置、半导体存储装置或者上述的任何合适组合。如本文所述的存储元件是计算机可读存储介质的示例。计算机可读存储介质的更具体示例的非详尽列表可包括:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码装置(诸如,穿孔卡片或记录有指令的凹槽中的凸起结构),以及上述的任何合适组合。
如本文中限定,除非另有说明,否则术语“联接”是指连接,没有任何中介元件的直接连接或者具有一个或多个中介元件的间接连接。两个元件可以机械联接、电联接,或者通过通信信道、路径、网络或系统进行通信链接。
如本文中限定,除非上下文另有说明,否则术语“可执行的操作”或“操作”是由数据处理系统或数据处理系统内的处理器执行的任务。可执行的操作的示例包括但不限于,“处理”、“计算”、“运算”、“确定”、“显示”、“比较”等。就这点而言,操作指的是数据处理系统(例如,计算机系统或类似电子计算装置)的动作和/或过程,所述数据处理系统操控并将计算机系统的寄存器和/或存储器内的表示为物理(电子)量的数据转换成类似地表示为计算机系统存储器和/或寄存器或者其他此类信息存储、传输或显示装置内的物理量的其他数据。
如本文中限定,术语“包括”用于说明存在所述特征、整数、步骤、操作、元件和/或部件,但并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组合。
如本文中限定,术语“如果”是指“在……时”或“一旦”或“对……作出响应”或者“响应于”,具体视上下文而定。因此,短语“如果确定为”或“如果检测到[陈述的条件或事件]”可以被解释为是指“一旦确定为”或“对确定……作出响应”或者“一旦检测到[陈述的条件或事件]”或“对检测到[陈述的条件或事件]作出响应”或者“响应于检测到[陈述的条件或事件]”,具体视上下文而定。
如本文中限定,术语“一个实施方式”、“实施方式”或类似语言是指在本公开内描述的至少一个实施方式中包括的结合实施方式描述的特定特征、结构或特性。因此,在本公开中出现的短语“在一个实施方式中”、“在实施方式中”和类似语言可以,但未必,全部指代同一实施方式。
如本文中限定,术语“输出”是指存储在物理存储元件(例如,装置)中、写入显示器或其他外围输出装置、发送或传输到另一系统、输出等。
如本文中限定,术语“多个”是指两个或两个以上。
如本文中限定,术语“处理器”是指被配置成实施程序代码中含有的指令的至少一个硬件电路。硬件电路可以是集成电路。处理器的示例包括但不限于,中央处理单元(CPU)、阵列处理器、矢量处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、专用集成电路(ASIC)、可编程逻辑电路,以及控制器。
如本文中限定,术语“程序代码”、“软件”、“应用”和“可执行代码”是指采用任何语言、代码或符号的意图使数据处理系统直接执行或者在下列中的一个或两个操作之后执行特定功能的指令集的任何表达:a)转换成另一语言、代码或符号;b)以不同的材料形式重现。程序代码的示例可包括但不限于,子程序、功能、过程、对象方法、对象实现、可执行应用、小应用程序、小服务程序、源代码、对象代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的其他指令序列。
如本文中限定,术语“实时”是指处理用户或系统针对特定过程或要做出的确定能够足够立即地感觉到或者使处理器能够赶得上一些外部过程的处理响应的水平。
如本文中限定,术语“响应于”是指容易对动作或事件做出响应或反应。因此,如果“响应于”第一动作而执行第二动作,那么第一动作的发生与第二动作的发生之间存在因果关系。术语“响应于”表明因果关系。
如本文中限定,术语“用户”是指人类。
术语第一、第二等在本文中可以用来描述各种元件。除非另有说明或上下文另有明确指出,否则这些元件不应被这些术语限制,因为这些术语仅用来将一个元件与另一个元件区分开。
计算机程序产品可包括计算机可读存储介质,所述计算机可读存储介质上具有计算机可读程序指令,以用于使处理器实施本发明的方面。本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理装置,或者经由网络(例如,互联网、LAN、WAN和/或无线网络)下载到外部计算机或外部存储装置。网络可包括铜传输电缆、传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘装置(包括边缘服务器)。每个计算/处理装置中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令,并且转发计算机可读程序指令,以用于存储在相应计算/处理装置内的计算机可读存储介质中。
用于实施本文所述的本发明布置的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(ISA)指令、机器指令、基于机器的指令、微码、固件指令、状态设置数据或者以一个或多个编程语言的任何组合编写的源代码或对象代码(包括面向对象的编程语言和/或程序化编程语言)。计算机可读程序指令可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包执行、部分在用户的计算机上以及部分在远程计算机上执行、或完全在远程计算机或服务器上执行。在后一种情形下,远程计算机可以通过任何类型的网络(包括LAN或WAN)连接到用户的计算机,或者连接可以通向外部计算机(例如,使用互联网服务提供商通过互联网进行连接)。在一些情况下,包括例如可编程逻辑电路、FPGA或PLA的电子电路可以通过利用计算机可读程序指令的状态信息将电子电路个性化来执行计算机可读程序指令,从而执行本文所述的本发明布置的方面。
本发明布置的某些方面在本文中参考方法、设备(系统)和计算机程序产品的流程图和/或框图描述。应理解,流程图和/或框图中的每个框,以及流程图和/或框图中的框的组合均可以由计算机可读程序指令(例如,程序代码)实施。
这些计算机可读程序指令可以提供到通用计算机、专用计算机或者其他可编程数据处理装置的处理器,以制造一种机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指明的功能/动作的构件。这些计算机可读程序指令也可以存储在计算机可读存储介质中,所述计算机可读存储介质可以指示计算机、可编程数据处理设备和/或其他装置以特定方式运行,使得存储有指令的计算机可读存储介质包括这样的制品,所述制品包括实施流程图和/或框图的一个或多个框中指明的操作的方面的指令。
计算机可读程序指令也可以加载到计算机、其他可编程数据处理设备或其他装置上,以使在计算机、其他可编程设备或其他装置上执行一系列操作,从而形成计算机实施的过程,使得在计算机、其他可编程设备或其他装置上执行的指令能够实施流程图和/或框图的一个或多个框中指明的功能/动作。
附图中的流程图和框图示出了根据本发明布置的各种方面的系统、方法和计算机程序产品的可能实施的架构、功能和操作。就这点而言,流程图或框图中的每个框可以表示包括用于实施指定操作的一个或多个可执行指令的模块、区段或指令部分。在一些替代实施方案中,框中提及的操作可以不按附图中示出的顺序进行。例如,连续示出的两个框可以大体同时执行,或者框有时可以按相反的顺序执行,具体取决于涉及的功能。还应注意,框图和/或流程图中的每个框,以及框图和/或流程图中的框的组合可以由基于硬件的专用计算机系统执行,所述专用计算机系统执行指定的功能或动作或者实施专用硬件和计算机指令的组合。
可以在所附权利要求中发现的所有构件或步骤加功能元件的对应结构、材料、动作和等效物意图包括用于与具体声明的其他要求保护的元件结合执行功能的任何结构、材料或动作。
方法可包括:在记录视频的同时,使用处理器从传感器采集元数据,其中,元数据在时间上与视频同步;以及使用该处理器检测元数据的属性或视频的属性中的至少一项。该方法可包括:使用处理器将所述属性与多个编辑器相关联;使用处理器根据所述关联从多个编辑器中选择编辑器;以及使用处理器显示针对视频而选择的编辑器。
该方法可包括根据在视频的回放期间用户激活剪裁控件来标记视频中待剪裁的剪辑。该方法还可包括根据标记的剪辑来剪裁视频。
该方法可包括接收指定视频随时间推移的帧率的用户姿势以及存储与视频中的时间相关联的帧率。
该方法可包括:在时间上对准多个不同的视频的视觉表示;接收在视觉表示的不同视觉表示上拖拽线的用户输入,从而选择多个不同视频的剪辑以在不同时间可见;以及生成合成视频,所述合成视频只包括按时间顺序布置的、多个视频中的每个视频的所选择的剪辑。在一方面,该方法可包括调整所选择的剪辑中的至少一个剪辑的开始时间或结束时间,以与时间同步的音频文件中检测到的节拍一致。
该方法可包括将元数据叠加在视频上。
在一方面,元数据可以从多个不同的传感器中采集。该方法可包括:在多个传感器中确定在视频的记录期间至少呈现最低水平活动的传感器;选择从所确定的传感器中生成的元数据项;以及将元数据项以与视频同步的方式叠加在视频上。
该方法可包括:从第一装置邀请第二装置执行分布式视频处理;响应于确定第二装置接受了邀请,将从多个视频处理操作中选择的视频处理操作发送到第二装置。所选择的视频处理操作的结果可以从第二装置接收。结果可以与多个视频处理操作中的至少其他视频处理操作的结果组合。
该方法还可包括在装置内的处理器确定装置空闲并且联接到电源之前,延迟视频处理操作的实施。
系统可包括处理器,该处理器被编程以执行可执行操作。所述操作可包括:在记录视频的同时,从传感器采集元数据,其中,元数据在时间上与视频同步;检测元数据的属性或视频的属性中的至少一项;以及将所述属性与多个编辑器相关联。所述可执行操作也可包括:根据所述关联,从多个编辑器中选择编辑器;以及显示针对视频而选择的编辑器。
所述可执行操作可包括根据在视频的回放期间用户激活剪裁控件来标记视频中待剪裁的剪辑。所述可执行操作还可包括根据标记的剪辑来剪裁视频。
所述可执行操作可包括接收指定视频随时间推移的帧率的用户姿势以及存储与视频中的时间相关联的帧率。
所述可执行操作可包括:在时间上对准多个不同视频的视觉表示;接收在视觉表示的不同视觉表示上拖拽线的用户输入,从而选择多个不同视频的剪辑以在不同时间可见;以及生成编辑后视频,所述编辑后视频只包括按时间顺序布置的、多个视频中的每个视频的所选择的剪辑。所述可执行操作也可包括调整所选择的剪辑中的至少一个剪辑的开始时间或结束时间,以与时间同步的音频文件中检测到的节拍一致。
所述可执行操作可包括将元数据叠加在视频上。
元数据可以从多个不同的传感器中采集。在这种情况下,所述可执行操作可包括:在多个传感器中确定在视频的记录期间至少呈现最低水平活动的传感器;选择从所确定的传感器中生成的元数据项;以及将元数据项以与视频同步的方式叠加在视频上。
所述可执行操作也可包括:从第一装置邀请第二装置执行分布式视频处理;响应于确定第二装置接受了邀请,将从多个视频处理操作中选择的视频处理操作发送到第二装置;从第二装置接收所选择的视频处理操作的结果;以及将所述结果与多个视频处理操作中的至少其他视频处理操作的结果组合。
所述可执行操作可包括在处理器确定装置空闲并且联接到电源之前,在装置内延迟视频处理操作的实施。
计算机程序产品可包括计算机可读存储介质,该计算机可读存储介质上存储有程序代码。所述程序代码可由处理器执行以执行方法。该方法可包括:在记录视频的同时,从传感器采集元数据,其中,元数据在时间上与视频同步;检测元数据的属性或视频的属性中的至少一项;以及将所述属性与多个编辑器相关联。该方法也可包括:根据所述关联,从多个编辑器中选择编辑器;以及显示针对视频而选择的编辑器。
该方法可包括根据在视频的回放期间用户激活剪裁控件来标记视频中待剪裁的剪辑。在这种情况下,该方法可包括根据标记的剪辑来剪裁视频。
该方法可包括接收指定视频随时间推移的帧率的用户姿势和存储与视频中的时间相关联的帧率。
该方法可包括:在时间上对准多个不同视频的视觉表示;接收在视觉表示的不同视觉表示上拖拽线的用户输入,从而选择多个不同视频的剪辑以在不同时间可见;以及生成编辑后视频,所述编辑后视频只包括按时间顺序布置的、多个视频中的每个视频的所选择的剪辑。在这种情况下,该方法也可包括调整所选择的剪辑中的至少一个剪辑的开始时间或结束时间,以与时间同步的音频文件中检测到的节拍一致。
该方法可包括将元数据叠加在视频上。
该方法也可包括:在多个传感器中确定在视频的记录期间至少呈现最低水平活动的传感器;选择从所确定的传感器中生成的元数据项;以及将元数据项以与视频同步的方式叠加在视频上。
该方法也可包括:从第一装置邀请第二装置执行分布式视频处理;响应于确定第二装置接受了邀请,将从多个视频处理操作中选择的视频处理操作发送到第二装置;从第二装置接收所选择的视频处理操作的结果;以及将所述结果与多个视频处理操作中的至少其他视频处理操作的结果组合。
该操作也可包括在处理器确定装置空闲并且联接到电源之前,在装置内延迟视频处理操作的实施。
方法可包括:使用处理器从装置接收针对视频内容的请求;使用处理器根据与装置相关联的人口统计数据来确定行为群组;确定与行为群组相关联的感兴趣视频;以及使用处理器来将感兴趣视频提供给用户。
确定行为群组可包括将人口统计数据与分割模型进行比较,所述分割模型将人口统计数据项与多个行为群组相关联。
系统可包括处理器,该处理器被编程以执行可执行操作。该可执行操作可包括:从装置接收针对视频内容的请求;根据与装置相关联的人口统计数据,确定行为群组;确定与行为群组相关联的感兴趣视频;以及将感兴趣视频提供给用户。
确定行为群组可包括将人口统计数据与分割模型进行比较,所述分割模型将人口统计数据项与多个行为群组相关联。
计算机程序产品可包括计算机可读存储介质,该计算机可读存储介质上存储有程序代码。所述程序代码可由处理器执行以执行方法。该方法可包括:从装置接收针对视频内容的请求;根据与装置相关联的人口统计数据,确定行为群组;确定与行为群组相关联的感兴趣视频;以及将感兴趣视频提供给用户。
确定行为群组可包括将人口统计数据与分割模型进行比较,所述分割模型将人口统计数据项与多个行为群组相关联。
本文中提供的本发明布置的描述是为了说明的目的,而不意图穷举或限于公开的形式和示例。本文中使用的术语经过选择以说明相对于市场上发现的技术的本发明布置、实际应用或技术改进的原理,和/或使本领域的技术人员能够理解本文中公开的实施方式。在不脱离所述本发明布置的范围和精神的情况下,本领域的技术人员可以清楚更改和变化。因此,应参考表明此类特征和实施的范围的所附权利要求,而不是上述公开内容。

Claims (15)

1.方法,包括:
在记录视频的同时,使用处理器从传感器采集元数据,其中,所述元数据在时间上与所述视频同步;
使用所述处理器来检测所述元数据的属性或所述视频的属性中的至少一项;
使用所述处理器将所述属性与多个编辑器相关联;
使用所述处理器根据所述关联从所述多个编辑器中选择编辑器;以及
使用所述处理器显示针对所述视频而选择的编辑器。
2.根据权利要求1所述的方法,还包括:
根据在所述视频的回放期间用户对剪裁控件的激活来标记所述视频中待剪裁的剪辑。
3.根据权利要求2所述的方法,还包括:
根据所标记的剪辑来剪裁所述视频。
4.根据权利要求1所述的方法,还包括:
接收用户姿势,所述用户姿势指定所述视频的、随时间推移的帧率;以及
存储与所述视频中的时间相关联的帧率。
5.根据权利要求1所述的方法,还包括:
在时间上将多个不同视频的视觉表示对准;
接收在所述视觉表示中的不同视觉表示上拖拽线的用户输入,从而选择所述多个不同视频的剪辑以在不同时间可见;以及
生成合成视频,所述合成视频只包括按时间顺序布置的、所述多个视频中的每个视频中所选择的剪辑。
6.根据权利要求5所述的方法,还包括:
调整所选择的剪辑中的至少一个剪辑的开始时间或结束时间,以与时间同步的音频文件中检测到的节拍保持一致。
7.根据权利要求1所述的方法,还包括:
在所述视频上叠加元数据。
8.根据权利要求1所述的方法,其中,所述元数据从多个不同的传感器中采集,所述方法还包括:
在所述多个传感器中确定在所述视频的记录期间至少呈现最低水平活动的传感器;
选择从所确定的传感器中生成的元数据项;以及
将所述元数据项按照与所述视频同步的方式叠加在所述视频上。
9.根据权利要求1所述的方法,还包括:
从第一装置邀请第二装置执行分布式视频处理;
响应于确定所述第二装置接受了所述邀请,将从多个视频处理操作中选择的视频处理操作发送到所述第二装置;
从所述第二装置接收所选择的视频处理操作的结果;以及
将所述结果与所述多个视频处理操作中的至少其他视频处理操作的结果进行组合。
10.根据权利要求1所述的方法,还包括:
在所述处理器确定装置处于空闲状态并且所述装置联接到电源之前,在所述装置内延迟视频处理操作的实施。
11.根据权利要求1所述的方法,还包括:
使用处理器从装置接收针对视频内容的请求;
使用所述处理器根据与所述装置相关联的人口统计数据来确定行为群组;
确定与所述行为群组相关联的感兴趣视频;以及
使用所述处理器将所述感兴趣视频提供到所述装置。
12.根据权利要求11所述的方法,其中,确定行为群组包括:
将所述人口统计数据与分割模型进行比较,所述分割模型将人口统计数据项与多个行为群组相关联。
13.系统,包括:
处理器,编程为执行可执行操作,所述可执行操作包括:
在记录视频的同时从传感器采集元数据,其中,所述元数据在时间上与所述视频同步;
检测所述元数据的属性或所述视频的属性中的至少一项;
将所述属性与多个编辑器相关联;
根据所述关联,从所述多个编辑器中选择编辑器;以及
显示针对所述视频而选择的编辑器。
14.根据权利要求13所述的系统,其中,所述处理器还编程为执行可执行操作,所述可执行操作包括:
从装置接收针对视频内容的请求;
根据与所述装置相关联的人口统计数据,确定行为群组;
确定与所述行为群组相关联的感兴趣视频;以及
将所述感兴趣视频提供到所述装置。
15.计算机程序产品,包括存储有程序代码的计算机可读存储介质,所述程序代码能够由处理器执行,从而执行以下方法,所述方法包括:
在记录视频的同时从传感器采集元数据,其中,所述元数据在时间上与所述视频同步;
检测所述元数据的属性或所述视频的属性中的至少一项;
将所述属性与多个编辑器相关联;
根据所述关联,从所述多个编辑器中选择编辑器;以及
显示针对所述视频而选择的编辑器。
CN201580053725.XA 2014-10-10 2015-10-08 使用上下文数据的视频编辑和使用群组的内容发现 Pending CN107111620A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462062769P 2014-10-10 2014-10-10
US62/062,769 2014-10-10
US14/811,465 US10192583B2 (en) 2014-10-10 2015-07-28 Video editing using contextual data and content discovery using clusters
US14/811,465 2015-07-28
PCT/KR2015/010693 WO2016056871A1 (en) 2014-10-10 2015-10-08 Video editing using contextual data and content discovery using clusters

Publications (1)

Publication Number Publication Date
CN107111620A true CN107111620A (zh) 2017-08-29

Family

ID=55653407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580053725.XA Pending CN107111620A (zh) 2014-10-10 2015-10-08 使用上下文数据的视频编辑和使用群组的内容发现

Country Status (5)

Country Link
US (1) US10192583B2 (zh)
EP (1) EP3205111A4 (zh)
KR (1) KR102438200B1 (zh)
CN (1) CN107111620A (zh)
WO (1) WO2016056871A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600843A (zh) * 2018-03-19 2018-09-28 北京达佳互联信息技术有限公司 视频编辑方法和系统
CN110622517A (zh) * 2018-01-19 2019-12-27 深圳市大疆创新科技有限公司 视频处理方法及设备
CN110719440A (zh) * 2019-09-26 2020-01-21 恒大智慧科技有限公司 一种视频回放方法、装置及存储介质
CN112261314A (zh) * 2020-09-24 2021-01-22 北京美摄网络科技有限公司 一种视频描述数据生成系统、方法、存储介质及设备
CN113811948A (zh) * 2019-04-01 2021-12-17 黑魔法设计私人有限公司 用于视频编辑系统的用户界面
CN115515008A (zh) * 2022-09-19 2022-12-23 深圳市天和荣科技有限公司 一种视频处理方法、终端和视频处理系统
CN117278802A (zh) * 2023-11-23 2023-12-22 湖南快乐阳光互动娱乐传媒有限公司 一种视频剪辑痕迹的比对方法及装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520069B2 (en) 2005-09-16 2013-08-27 Digital Ally, Inc. Vehicle-mounted video system with distributed processing
US8503972B2 (en) 2008-10-30 2013-08-06 Digital Ally, Inc. Multi-functional remote monitoring system
US9019431B2 (en) 2012-09-28 2015-04-28 Digital Ally, Inc. Portable video and imaging system
US10272848B2 (en) 2012-09-28 2019-04-30 Digital Ally, Inc. Mobile video and imaging system
US9253452B2 (en) 2013-08-14 2016-02-02 Digital Ally, Inc. Computer program, method, and system for managing multiple data recording devices
US10390732B2 (en) * 2013-08-14 2019-08-27 Digital Ally, Inc. Breath analyzer, system, and computer program for authenticating, preserving, and presenting breath analysis data
US9159371B2 (en) 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
US9841259B2 (en) 2015-05-26 2017-12-12 Digital Ally, Inc. Wirelessly conducted electronic weapon
US10013883B2 (en) 2015-06-22 2018-07-03 Digital Ally, Inc. Tracking and analysis of drivers within a fleet of vehicles
US10904474B2 (en) 2016-02-05 2021-01-26 Digital Ally, Inc. Comprehensive video collection and storage
US10521675B2 (en) 2016-09-19 2019-12-31 Digital Ally, Inc. Systems and methods of legibly capturing vehicle markings
CN106855919A (zh) * 2016-12-22 2017-06-16 广东清立方科技有限公司 一种手术影像采集管理方法及一种手术影像采集装置
US10911725B2 (en) 2017-03-09 2021-02-02 Digital Ally, Inc. System for automatically triggering a recording
WO2018234622A1 (en) * 2017-06-21 2018-12-27 Nokia Technologies Oy METHOD OF DETECTING EVENTS OF INTEREST
KR102531128B1 (ko) 2018-02-23 2023-05-10 삼성전자주식회사 카메라를 이용하여 복수의 프레임 레이트에 따라 영상을 촬영하는 전자 장치 및 그 작동 방법
KR102512298B1 (ko) 2018-02-23 2023-03-22 삼성전자주식회사 영상 데이터의 편집을 위한 인터페이스를 표시하는 전자 장치 및 그 동작 방법
CN108495155B (zh) * 2018-03-16 2021-07-13 中国传媒大学 收视习惯分析方法及系统
US11024137B2 (en) 2018-08-08 2021-06-01 Digital Ally, Inc. Remote video triggering and tagging
CN109361956B (zh) * 2018-11-22 2021-04-30 广西巴多传媒科技有限公司 基于时间的视频剪切方法及相关产品
KR102171657B1 (ko) * 2019-02-14 2020-10-29 네이버 주식회사 인공지능을 이용한 문맥 파악 기반의 동영상 편집 방법 및 시스템
US11594255B2 (en) 2019-04-18 2023-02-28 Kristin Fahy Systems and methods for automated generation of video
US11645344B2 (en) * 2019-08-26 2023-05-09 Experian Health, Inc. Entity mapping based on incongruent entity data
KR102372721B1 (ko) * 2019-11-12 2022-03-08 라인플러스 주식회사 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램
KR102491057B1 (ko) * 2020-02-27 2023-01-19 에스케이텔레콤 주식회사 이미지 변환 장치 및 방법
CN111787415B (zh) * 2020-07-23 2021-08-17 北京字节跳动网络技术有限公司 视频互动方法、装置、电子设备和存储介质
KR20220157188A (ko) * 2021-05-20 2022-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
US20230011547A1 (en) * 2021-07-12 2023-01-12 Getac Technology Corporation Optimizing continuous media collection
US11741995B1 (en) * 2021-09-29 2023-08-29 Gopro, Inc. Systems and methods for switching between video views
US11950017B2 (en) 2022-05-17 2024-04-02 Digital Ally, Inc. Redundant mobile video recording
CN115460448A (zh) * 2022-08-19 2022-12-09 北京达佳互联信息技术有限公司 一种媒体资源编辑方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077182A (zh) * 2008-04-30 2011-05-25 英特托拉斯技术公司 数据收集和目标广告系统和方法
US20110206351A1 (en) * 2010-02-25 2011-08-25 Tal Givoli Video processing system and a method for editing a video asset
US20130259446A1 (en) * 2012-03-28 2013-10-03 Nokia Corporation Method and apparatus for user directed video editing
US20130343729A1 (en) * 2010-03-08 2013-12-26 Alex Rav-Acha System and method for semi-automatic video editing
CN103686411A (zh) * 2013-12-11 2014-03-26 深圳Tcl新技术有限公司 视频的播放方法及多媒体设备

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292516B2 (en) 2005-02-16 2016-03-22 Sonic Solutions Llc Generation, organization and/or playing back of content based on incorporated parameter identifiers
GB2400530B (en) 2003-04-07 2005-03-23 Internet Pro Video Ltd Method of enabling an application program running on an electronic device to provide media manipulation capabilities
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
TWI384321B (zh) * 2005-01-31 2013-02-01 Hoya Corp 光學影像穩定器及控制該光學影像穩定器之方法
WO2006084102A2 (en) 2005-02-03 2006-08-10 Musicstrands, Inc. Recommender system for identifying a new set of media items responsive to an input set of media items and knowledge base metrics
KR100735556B1 (ko) 2005-10-17 2007-07-04 삼성전자주식회사 이벤트 인덱스를 이용한 멀티미디어 제공 방법 및 장치
WO2007082166A2 (en) 2006-01-05 2007-07-19 Eyespot Corporation System and methods for distributed edit processing in an online video editing system
JP2007242215A (ja) * 2006-02-13 2007-09-20 Sony Corp コンテンツ再生リスト生成装置、コンテンツ再生リスト生成方法およびプログラムが記録された記録媒体
KR100763236B1 (ko) 2006-05-09 2007-10-04 삼성전자주식회사 생체 신호를 이용하는 동영상 편집 장치 및 방법
EP2118736A4 (en) 2007-01-29 2012-03-28 Home Box Office Inc METHOD AND SYSTEM FOR PROVIDING DATA WHAT HAPPENS THEN
US20110161348A1 (en) * 2007-08-17 2011-06-30 Avi Oron System and Method for Automatically Creating a Media Compilation
US20090163183A1 (en) 2007-10-04 2009-06-25 O'donoghue Hugh Recommendation generation systems, apparatus and methods
US8161052B2 (en) 2008-01-30 2012-04-17 Hewlett-Packard Development Company, L.P. Information module recommendation
WO2011014772A1 (en) 2009-07-31 2011-02-03 Citizenglobal Inc. Systems and methods for content aggregation, editing and delivery
US9031952B2 (en) 2009-12-31 2015-05-12 Nokia Corporation Methods and apparatuses for user interest modeling
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120017153A1 (en) * 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
US8751435B2 (en) 2010-12-23 2014-06-10 Intel Corporation System and method for determining client-based user behavioral analytics
US8639719B2 (en) 2011-02-02 2014-01-28 Paul Tepper Fisher System and method for metadata capture, extraction and analysis
JP2012165313A (ja) 2011-02-09 2012-08-30 Sony Corp 編集装置及び方法、並びにプログラム
US8719213B2 (en) 2011-03-29 2014-05-06 Manyworlds, Inc. Contextually transformed learning layer
US8635220B2 (en) 2011-04-22 2014-01-21 Iris.Tv, Inc. Digital content curation and distribution system and method
US8751472B2 (en) 2011-05-19 2014-06-10 Microsoft Corporation User behavior model for contextual personalized recommendation
US9117483B2 (en) 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
US8341525B1 (en) 2011-06-03 2012-12-25 Starsvu Corporation System and methods for collaborative online multimedia production
US8532469B2 (en) 2011-06-10 2013-09-10 Morgan Fiumi Distributed digital video processing system
US20120324491A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
WO2012175783A1 (en) 2011-06-21 2012-12-27 Nokia Corporation Video remixing system
EP2771806A4 (en) * 2011-10-28 2015-07-22 Blackberry Ltd MANAGEMENT OF ELECTRONIC EQUIPMENT WITH PROFILE-BASED INFERENCES BETWEEN DOMAINS
US20130132843A1 (en) * 2011-11-23 2013-05-23 BenchFly Inc. Methods of editing personal videograpghic media
US9003289B2 (en) 2012-02-23 2015-04-07 Google Inc. Automatic detection of suggested video edits
US20130262210A1 (en) * 2012-03-27 2013-10-03 Brandon Savage Cloud service or storage use promotion via partnership driven automatic account upgrades
US20130259447A1 (en) 2012-03-28 2013-10-03 Nokia Corporation Method and apparatus for user directed video editing
US9081491B2 (en) 2012-03-30 2015-07-14 Corel Corporation Controlling and editing media files with touch gestures over a media viewing area using a touch sensitive device
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
WO2014011208A2 (en) 2012-07-10 2014-01-16 Venor, Inc. Systems and methods for discovering content of predicted interest to a user
US9179250B2 (en) 2012-07-25 2015-11-03 Aro, Inc. Recommendation agent using a routine model determined from mobile device data
US20140074866A1 (en) 2012-09-10 2014-03-13 Cisco Technology, Inc. System and method for enhancing metadata in a video processing environment
US9113125B2 (en) 2012-09-12 2015-08-18 Intel Corporation Techniques for indexing video files
US20140078343A1 (en) * 2012-09-20 2014-03-20 Htc Corporation Methods for generating video and multiple still images simultaneously and apparatuses using the same
US8745500B1 (en) 2012-12-10 2014-06-03 VMIX Media, Inc. Video editing, enhancement and distribution platform for touch screen computing devices
US10353942B2 (en) * 2012-12-19 2019-07-16 Oath Inc. Method and system for storytelling on a computing device via user editing
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
US20150095882A1 (en) * 2013-09-06 2015-04-02 Blackspace Inc. Method for the utilization of environment media in a computing system
US9792026B2 (en) * 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077182A (zh) * 2008-04-30 2011-05-25 英特托拉斯技术公司 数据收集和目标广告系统和方法
US20110206351A1 (en) * 2010-02-25 2011-08-25 Tal Givoli Video processing system and a method for editing a video asset
US20130343729A1 (en) * 2010-03-08 2013-12-26 Alex Rav-Acha System and method for semi-automatic video editing
US20130259446A1 (en) * 2012-03-28 2013-10-03 Nokia Corporation Method and apparatus for user directed video editing
CN103686411A (zh) * 2013-12-11 2014-03-26 深圳Tcl新技术有限公司 视频的播放方法及多媒体设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622517A (zh) * 2018-01-19 2019-12-27 深圳市大疆创新科技有限公司 视频处理方法及设备
CN108600843A (zh) * 2018-03-19 2018-09-28 北京达佳互联信息技术有限公司 视频编辑方法和系统
CN113811948A (zh) * 2019-04-01 2021-12-17 黑魔法设计私人有限公司 用于视频编辑系统的用户界面
CN113811948B (zh) * 2019-04-01 2023-12-15 黑魔法设计私人有限公司 用于视频编辑系统的用户界面
CN110719440A (zh) * 2019-09-26 2020-01-21 恒大智慧科技有限公司 一种视频回放方法、装置及存储介质
CN112261314A (zh) * 2020-09-24 2021-01-22 北京美摄网络科技有限公司 一种视频描述数据生成系统、方法、存储介质及设备
CN115515008A (zh) * 2022-09-19 2022-12-23 深圳市天和荣科技有限公司 一种视频处理方法、终端和视频处理系统
CN115515008B (zh) * 2022-09-19 2024-02-27 深圳市天和荣科技有限公司 一种视频处理方法、终端和视频处理系统
CN117278802A (zh) * 2023-11-23 2023-12-22 湖南快乐阳光互动娱乐传媒有限公司 一种视频剪辑痕迹的比对方法及装置
CN117278802B (zh) * 2023-11-23 2024-02-13 湖南快乐阳光互动娱乐传媒有限公司 一种视频剪辑痕迹的比对方法及装置

Also Published As

Publication number Publication date
US20160104508A1 (en) 2016-04-14
KR20170066415A (ko) 2017-06-14
KR102438200B1 (ko) 2022-08-31
EP3205111A1 (en) 2017-08-16
US10192583B2 (en) 2019-01-29
WO2016056871A1 (en) 2016-04-14
EP3205111A4 (en) 2018-02-21

Similar Documents

Publication Publication Date Title
CN107111620A (zh) 使用上下文数据的视频编辑和使用群组的内容发现
US10769438B2 (en) Augmented reality
TWI579838B (zh) 編譯視訊的自動產生
JP6510536B2 (ja) インスタント通信において表現情報を処理する方法及び装置
EP2996016B1 (en) Information processing device and application execution method
TW201545120A (zh) 自動產生編譯視訊
CN110140138A (zh) 本地设备的内容数据的确定、传输和存储
US20190075181A1 (en) Slice-and-stitch approach to editing media (video or audio) for multimedia online presentations
CN109661676A (zh) 计算机辅助的视频会议的议程
US20140219628A1 (en) Storage and editing of video and sensor data from athletic performances of multiple individuals in a venue
US11343595B2 (en) User interface elements for content selection in media narrative presentation
JP7496479B2 (ja) ビデオゲームのコンテンツに含めるためのグラフィックインターチェンジフォーマットファイル識別
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
US10645468B1 (en) Systems and methods for providing video segments
CN108780654A (zh) 生成用于视频的移动缩略图
JP6669952B1 (ja) 動画のためのタグ付け装置、方法、およびプログラム
CN108292322A (zh) 使用从查看环境捕捉的信号的媒体数据文件的组织、检索、注释和呈现
US20200275875A1 (en) Method for deriving and storing emotional conditions of humans
US20220246135A1 (en) Information processing system, information processing method, and recording medium
JP2010268195A (ja) 動画コンテンツ編集プログラム、サーバ、装置及び方法
US10902829B2 (en) Method and system for automatically creating a soundtrack to a user-generated video
US20230260549A1 (en) Information processing apparatus, information processing method, and program
US20140342326A1 (en) Memory capturing, storing and recalling system and method
CN109805945B (zh) 记录回放装置及方法
JP2004110096A (ja) ユーザ操作ログ可視化方法、ユーザ操作ログ可視化装置、プログラム及びその記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829