CN110574379A - 用于生成视频的定制视图的系统和方法 - Google Patents

用于生成视频的定制视图的系统和方法 Download PDF

Info

Publication number
CN110574379A
CN110574379A CN201880027529.9A CN201880027529A CN110574379A CN 110574379 A CN110574379 A CN 110574379A CN 201880027529 A CN201880027529 A CN 201880027529A CN 110574379 A CN110574379 A CN 110574379A
Authority
CN
China
Prior art keywords
video content
spherical video
display
user
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880027529.9A
Other languages
English (en)
Inventor
达里尔·斯蒂姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
High Patrol Co
GoPro Inc
Original Assignee
High Patrol Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Patrol Co filed Critical High Patrol Co
Publication of CN110574379A publication Critical patent/CN110574379A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

球形视频内容可以呈现在显示器上。可以在所述显示器上呈现所述球形视频内容期间接收交互信息。交互信息可以指示用户对所述球形视频内容的观看选择,所述观看选择包括对所述球形视频内容的观看方向。可以基于所述观看方向确定显示视场。所述显示视场可以根据经过所述球形视频内容的进度定义可观看的视觉内容的范围。可以接收用于录制所述球形视频内容的定制视图的用户输入,并且可以生成球形视频内容的播放序列。所述播放序列可以反映在所述显示器上的所述球形视频内容的呈现的至少一部分。

Description

用于生成视频的定制视图的系统和方法
技术领域
本发明涉及基于用户对视频的观看选择生成视频的定制视图。
背景技术
视频可能包括比期望观看的视频更大的一个或多个场景/对象/活动的视觉捕获(例如,过度捕获)。手动编辑视频以聚焦于视觉捕获的期望部分会是困难并且耗时的。
发明内容
本发明涉及生成视频的定制视图。可以访问定义球形视频内容的视频信息。所述球形视频内容可以具有进度长度(progress length)。所述球形视频内容可以根据经过所述球形视频内容的进度来定义可从视点观看到的视觉内容。所述球形视频内容可以呈现在显示器上。可以在所述显示器上呈现所述球形内容期间接收交互信息。所述交互信息可以指示用户对所述球形视频内容的观看选择。所述用户的观看选择可以包括根据经过所述球形视频内容的进度由用户选择的球形视频内容的观看方向。可以基于所述观看方向确定显示视场。所述显示视场可以根据经过所述球形视频内容的进度来定义可从视点观看到的所述视觉内容的范围。
可以接收用于录制所述球形视频内容的定制视图的用户输入。响应于接收到用于录制所述球形视频内容的定制视图的所述用户输入,可以基于所述交互信息的至少一部分来生成所述球形视频内容的播放序列。播放序列可以标识如下中的一者或多者:(1)在播放期间要显示的进度长度中的不同点;(2)在播放期间显示的所标识的点的顺序;(3)在播放期间将在所标识的点处显示的视觉内容的范围,和/或关于在播放期间将如何显示球形视频内容的其它信息。所述播放序列可以反映(mirror)在所述显示器上的所述球形视频内容的呈现的至少一部分。播放序列可以包括一个或多个文件,该一个或多个文件包含关于在后续播放期间如何呈现所述球形视频内容以使后续呈现反映球形视频内容在显示器上的呈现的至少一部分的说明/指令。播放序列可以包括反映在所述显示器上呈现的所述球形视觉内容的至少一部分的一个或多个视频内容。
一种生成视频的定制视图的系统可以包括电子存储器、显示器、处理器和/或其它部件中的一者或多者。所述显示器可以被配置为呈现视频内容和/或其它信息。在一些实施方式中,显示器可以包括触摸屏显示器,该触摸屏显示器被配置为接收指示用户对视频内容的观看选择的用户输入。可以基于经由触摸屏显示器接收到的用户输入来确定用户的观看选择。所述触摸屏显示器可以生成指示用户与所述触摸屏显示器的接合位置的输出信号。在一些实施方式中,显示器可以包括运动传感器,所述运动传感器被配置为生成传达与所述显示器的运动相关的运动信息的输出信号。在一些实施方式中,显示器的运动可以包括所述显示器的取向,并且可以基于所述显示器的取向确定所述用户对视频内容的观看选择。
电子存储器可以存储定义视频内容的视频信息和/或其它信息。视频内容可以指可以作为一个或多个视频消费的媒体内容。视频内容可以包括以一种或多种格式存储/存储在一种或多种存储器中的一个或多个视频、和/或其它视频内容。视频内容可以具有进度长度。视频内容可以根据经过视频内容的进度来定义视觉内容。在一些实施方式中,视频内容可以包括球形视频内容、虚拟现实内容和/或其它视频内容中的一者或多者。球形视频内容可以根据经过球形视频内容的进度来定义可从视点观看的视觉内容。
(一个或多个)处理器可以通过机器可读指令进行配置。执行所述机器可读指令可以使所述(一个或多个)处理器促进生成视频的定制视图。所述机器可读指令可以包括一个或多个计算机程序组件。所述计算机程序组件可以包括访问组件、呈现组件、交互组件、观看组件、播放序列组件和/或其它计算机程序组件中的一者或多者。在一些实施方式中,计算机程序组件可以包括视觉效果组件。
所述访问组件可以被配置为访问定义一个或多个视频内容的视频信息和/或其它信息。访问组件可以从一个或多个存储位置访问视频信息。访问组件可以被配置为在通过一个或多个图像传感器获取视频信息期间和/或获取视频信息之后访问定义一个或多个视频内容的视频信息。
所述呈现组件可以被配置为实现在显示器上呈现视频内容。例如,呈现组件可以实现在显示器上呈现球形视频内容。在一些实施方式中,呈现组件可以被配置为实现一个或多个用户界面在显示器上的呈现。用户界面可以包括录制域(record field)和/或其它域。
交互组件可以被配置为在显示器上呈现视频内容期间接收交互信息。例如,交互组件可以在显示器上呈现球形视频内容期间接收交互信息。交互信息可以指示用户对视频内容的观看选择和/或其它信息。用户的观看选择可以包括根据经过视频内容的进度由用户选择的视频内容的观看方向和/或其它信息。在一些实施方式中,用户的观看选择可以包括根据经过视频内容的进度由用户选择的视频内容的观看缩放。在一些实施方式中,用户的观看选择可以包括根据经过视频内容的进度由用户选择的视频内容的视觉效果。
在一些实施方式中,可以基于用户与触摸屏显示器的接合位置和/或其它信息来确定交互信息。在一些实施方式中,可以基于显示器的运动和/或其它信息来确定交互信息。
交互组件可以被配置为接收用于录制视频内容的定制视图的用户输入。例如,交互组件可以接收用于录制球形视频内容的定制视图的用户输入。在一些实施方式中,可以基于用户与用户界面内的录制域的交互来接收用于录制视频内容的定制视图的用户输入。
观看组件可以被配置为基于观看方向和/或其它信息来确定显示视场。显示视场可以定义视频内容内的视觉内容的可观看范围。在一些实施方式中,可以基于观看缩放和/或其它信息来进一步确定显示视场。
对于球形视频内容,显示视场可以根据经过球形视频内容的进度来定义可从视点观看到的视觉内容的范围。例如,显示视场可以在进度长度的第一点处定义视觉内容的第一范围,以及在进度长度的第二点处定义视觉内容的第二范围。其中,在显示器上呈现球形视频内容可以包括在进度长度的不同点处在显示器上呈现视觉内容的范围,使得在显示器上呈现球形视频内容包括在第二点处呈现第二范围之前在第一点处呈现第一范围。
视觉效果组件可以被配置为将一种或多种视觉效果应用于视频内容。视觉效果可以指视频内容在显示器上的呈现的改变。视觉效果可以针对视频的一个帧、多个帧、时间点和/或持续时间来改变视频内容的呈现。在一些实施方式中,视觉效果可以包括在播放期间呈现视频内容的感知速度的一种或多种变化。在一些实施方式中,视觉效果可以包括对视频内容的一种或多种视觉转换。在一些实施方式中,视觉效果可以包括视频内容的投影的变化和/或其它视觉效果。在一些实施方式中,视觉效果可以包括视频内容的一个或多个预设改变和/或其它视觉效果。在一些实施方式中,视觉效果组件可以基于用户选择来选择一种或多种视觉效果。在一些实施方式中,视觉效果组件可以从视觉效果列表中随机选择一种或多种视觉效果。
播放序列组件可以被配置为基于交互信息和/或其它信息的至少一部分对视频内容生成一个或多个播放序列。播放序列组件可以响应于接收到用于录制视频内容的定制视图的用户输入而生成一个或多个播放序列。
播放序列可以包括一个或多个文件,该一个或多个文件包含关于在后续播放期间如何呈现视频内容以使后续呈现反映在显示器上的视频内容的呈现的至少一部分的说明/指令。播放序列可以包括反映在显示器上呈现的视觉内容的至少一部分的一个或多个视频内容。播放序列可以反映在显示器上的视频内容的呈现的至少一部分,使得播放序列标识如下中的一者或多者:(1)在播放期间要显示的进度长度中的至少一些不同点——该一些不同点可以包括第一点和第二点;(2)在播放期间显示所标识的点的顺序——该顺序可以包括在呈现第二点之前呈现第一点;(3)在播放期间将在所标识的点处显示的视觉内容的范围——该范围可以包括在第一点处的第一范围和在第二点处的第二范围,和/或关于在播放期间如何显示视频内容的其它信息。
在一些实施方式中,针对视频内容生成播放序列可以包括基于交互信息的所述至少一部分来编码一个或多个视频内容。在一些实施方式中,针对球形视频内容生成播放序列可以包括基于交互信息的所述至少一部分来编码一个或多个非球形视频内容。所述非球形视频内容可以反映所述在显示器上的球形视频内容的呈现的至少一部分。在一些实施方式中,针对视频内容生成播放序列可以包括生成一个或多个文件,该一个或多个文件包含基于交互信息的所述至少一部分改变视频内容的呈现的说明。
通过参照全部构成本说明书的一部分的附图考虑下列描述和所附权利要求,本文公开的系统和/或方法的这些和其它目的、特征和特性、以及相关结构元件的操作方法和功能以及各部分的组合和制造的经济性将变得更加明显,其中,在各个附图中,相同的附图标记表示相应的部分。然而,需要明确理解的是,附图仅出于例示和说明的目的,并不旨在作为本发明的范围的限定。如说明书和权利要求中所使用的,单数形式“一”和“该”包括复数的指示物,除非上下文另有明确指示。
附图说明
图1示出了生成视频的定制视图的系统。
图2示出了用于生成视频的定制视图的方法。
图3示出了示例性球形视频内容。
图4A-图4B示出了球形视频内容的示例性范围。
图5示出了由用户选择的示例性观看方向。
图6示出了用于生成视频的定制视图的示例性移动设备。
图7示出了用于生成球形视频的定制视图的示例性移动设备。
具体实施方式
图1示出了用于生成视频的定制视图的系统10。系统10可以包括处理器11、电子存储器12、接口13(例如,总线、无线接口)、显示器14和/或其它部件中的一者或多者。定义球形视频内容的视频信息20可以被处理器11访问。球形视频内容可以具有进度长度。球形视频内容可以根据经过球形视频内容的进度来定义可从视点观看到的视觉内容。球形视频内容可以呈现在显示器14上。可以在显示器14上呈现球形内容期间接收交互信息。该交互信息可以指示用户对球形视频内容的观看选择。用户的观看选择可以包括根据经过球形视频内容的进度由用户选择的球形视频内容的观看方向。可以基于观看方向来确定显示视场。显示视场可以根据经过球形视频内容的进度来定义可从视点观看到的视觉内容的范围。
可以接收用于录制球形视频内容的定制视图的用户输入。响应于接收到用于录制球形视频内容的定制视图的用户输入,可以基于交互信息的至少一部分来生成用于球形视频内容的播放序列。播放序列可以标识如下中的一者或多者:(1)在播放期间要显示的进度长度中的不同点;(2)在播放期间显示所标识的点的顺序;(3)将在所标识的点处显示的视觉内容的范围,和/或关于在播放期间将如何显示球形视频内容的其它信息。播放序列可以反映在显示器14上的球形视频内容的呈现的至少一部分。播放序列可以包括一个或多个文件,该一个或多个文件包含关于在随后的播放期间如何呈现球形视频内容以使随后的呈现反映在显示器上的球形视频内容的呈现的至少一部分的说明/指令。播放序列可以包括反映在显示器上呈现的球形视觉内容的至少一部分的一个或多个视频内容。
电子存储器12可以被配置为包括存储信息的电子存储介质。电子存储器12可以存储软件算法、由处理器11确定的信息、远程接收的信息和/或使系统10能够正常运行的其它信息。例如,电子存储器12可以存储与视频信息、视频内容、交互信息、用户的观看选择、显示视场、视频内容的定制视图、播放序列和/或其它信息相关的信息。
电子存储器12可以存储定义一个或多个视频内容的视频信息20。视频内容可以指可以作为一个或多个视频消费的媒体内容。视频内容可以包括以一种或多种格式存储/存储在一种或多种存储器中的一个或多个视频、和/或其它视频内容。视频可以包括由视频捕获设备捕获的一个视频剪辑片段(video clip)、由视频捕获设备捕获的多个视频剪辑片段、和/或由不同的视频捕获设备捕获的多个视频剪辑片段。视频可以包括同时捕获的多个视频剪辑片段和/或在不同时间捕获的多个视频剪辑片段。视频可以包括由视频应用处理的一个视频剪辑片段、由视频应用处理的多个视频剪辑片段、和/或由不同的视频应用处理的多个视频剪辑片段。
视频内容可以具有进度长度。可以根据持续时间和/或帧数来定义进度长度。例如,视频内容可以包括持续时间为60秒的视频。视频内容可以包括具有1800个视频帧的视频。当以30帧/秒观看时,具有1800个视频帧的视频内容的播放持续时间可以为60秒。其它持续时间和帧数是可预期的。
视频内容可以根据经过视频内容的进度定义可观看的视觉内容。在一些实施方式中,视频内容可以包括球形视频内容、虚拟现实内容和/或其它视频内容中的一者或多者。球形视频内容和/或虚拟现实内容可以根据经过球形/虚拟现实视频内容的进度定义可从一个或多个视点观看的视觉内容。
球形视频内容可以指来自单个位置的多个视图的视频捕获。球形视频内容可以包括全部球形视频的捕获(360度的捕获)或部分球形视频的捕获(小于360度的捕获)。可以通过使用一个或多个照相机/图像传感器捕获来自一位置的图像/视频而捕获球形视频内容。可以将捕获的图像/视频拼接在一起以形成球形视频内容。
虚拟现实内容可以指可以通过虚拟现实体验所消费的内容。虚拟现实内容可以将虚拟现实内容内的不同方向与不同的观看方向相关联,并且用户可以通过在特定方向上查看来观看虚拟现实内容内的特定方向。例如,用户可以使用虚拟现实头戴式受话器来改变用户的观看方向。用户的观看方向可以对应于虚拟现实内容内的特定观看方向。例如,用户的向前看的观看方向可以对应于虚拟现实内容内的向前方向。
球形视频内容和/或虚拟现实内容可以已经在一个或多个位置捕获。例如,球形视频内容和/虚拟现实内容可以已经从固定位置(例如,体育场中的座位)捕获。球形视频内容和/虚拟现实内容可以已经从移动位置(例如,移动的自行车)捕获。球形视频内容和/虚拟现实内容可以包括来自处于移动位置的(一个或多个)捕获设备采取的路径的视频捕获。例如,球形视频内容和/虚拟现实内容可以包括来自在音乐节上走动的人的视频捕获。
显示器14可以被配置为呈现视频内容和/或其它信息。在一些实施方式中,显示器14可以包括触摸屏显示器,该触摸屏显示器被配置为接收用户输入,该用户输入指示用户对视频内容的观看选择。例如,显示器14可以包括移动设备(例如,照相机、智能手机、平板电脑、笔记本电脑)的触摸屏显示器。触摸屏显示器可以生成指示用户与触摸屏显示器的接合位置的输出信号。
触摸屏显示器可以包括触敏屏和/或其它部件。用户可以(例如,用一个或多个手指、手写笔)通过触摸触敏屏的一个或多个部分而与触摸屏显示器接合。用户可以在一个时间点、多个时间点、一个时间段或多个时间段与触摸屏显示器接合。例如,用户可以轻敲触摸屏显示器以与呈现在显示器14上的视频内容进行交互和/或与用于呈现视频内容的应用进行交互。用户可以捏合或扩放触摸屏显示器以实现缩小/放大倍率的改变,以呈现视频内容。用户可以进行扭转运动(例如,扭转触摸屏上的两个数字、将一根手指在触摸屏上保持就位置同时扭转触摸屏显示器上的另一数字)以实现视频内容的视觉旋转(例如,扭曲视频内容内的视觉部分、改变观看旋转)。用户与触摸屏显示器的其它类型的接合是可预期的。
在一些实施方式中,显示器14可以包括一个或多个运动传感器,该一个或多个运动传感器被配置为生成传达与显示器14的运动相关的运动信息的输出信号。在一些实施方式中,运动传感器可以包括加速度计、陀螺仪、磁力计、惯性测量单元、磁性位置传感器、射频位置传感器和/或其它运动传感器中的一者或多者。
运动信息可以定义运动传感器/由运动传感器监视的对象(例如,显示器14)的一个或多个运动、位置和/或取向。显示器14的运动可以包括显示器14的位置、显示器14的取向(例如,偏航、俯仰、翻滚)、显示器14的位置和/或取向的变化、和/或图像传感器14在时间点或时间段内和/或位置或位置范围内的其它运动中的一者或多者。例如,显示器14可以包括由用户持有的智能手机的显示器,并且运动信息可以定义智能手机的运动/位置/取向。智能手机的运动可以包括智能手机的位置和/或取向,并且可以基于智能手机的位置和/或取向来确定用户对视频内容的观看选择。
参照图1,处理器11可以被配置为在系统10中提供信息处理能力。如此,处理器11可以包括数字处理器、模拟处理器、旨在处理信息的数字电路、中央处理单元、图形处理单元、微控制器、旨在处理信号的模拟电路、状态机和/或其它用于电子地处理信息的机构中的一者或多者。处理器11可以被配置为执行一个或多个机器可读指令100以促进生成视频的定制视图。机器可读指令100可以包括一个或多个计算机程序组件。机器可读指令100可以包括访问组件102、呈现组件104、交互组件106、观看组件108、播放序列组件110和/或其它计算机程序组件中的一者或多者。在一些实施方式中,机器可读指令100可以包括视觉效果组件112。
访问组件102可以被配置为访问定义一个或多个视频内容的视频信息和/或其它信息。访问组件102可以从一个或多个存储位置访问视频信息。存储位置可以包括电子存储器12、一个或多个图像传感器(图1中未示出)的电子存储器、可以经由网络访问的设备的电子存储器、和/或其它位置。例如,访问组件102可以访问存储在电子存储器12中的视频信息20。访问组件102可以被配置为在由一个或多个图像传感器获取视频信息期间和/或获取视频信息之后访问定义一个或多个视频内容的视频信息。例如,访问组件102可以在视频正在被一个或多个图像传感器捕获时访问定义视频的视频信息。访问组件102可以在视频已被捕获并存储在存储器(例如,电子存储器12)中之后访问定义视频的视频信息。
图3示出了由视频信息定义的示例性视频内容300。视频内容300可以包括球形视频内容。在一些实施方式中,球形视频内容可以以5.2K的分辨率存储。使用5.2K的球形视频内容可以使用于球形视频内容的观看窗口的分辨率接近1080p。图3示出了视频内容300的示例性旋转轴。视频内容300的旋转轴可以包括偏航轴310、俯仰轴320、翻滚轴330和/或其它轴。围绕偏航轴310、俯仰轴320、翻滚轴330和/或其它轴中的一者或多者的旋转可以定义视频内容300的观看方向/显示视场。
例如,视频内容300围绕偏航轴310的0度的旋转可以对应于前观看方向。视频内容300围绕偏航轴310的90度的旋转可以对应于右观看方向。视频内容300围绕偏航轴310的180度的旋转可以对应于后观看方向。视频内容300围绕偏航轴310的90度的旋转可以对应于左观看方向。
视频内容300围绕俯仰轴320的0度的旋转可以对应于相对于水平线水平的观看方向。视频内容300围绕俯仰轴320的45度的旋转可以对应于相对于水平线上仰45度的观看方向。视频内容300围绕俯仰轴320的90度的旋转可以对应于相对于水平线上仰90度(向上看)的观看方向。视频内容300围绕俯仰轴320的45度的旋转可以对应于相对于水平线下俯45度的观看方向。视频内容300围绕俯仰轴320的90度的旋转可以对应于相对于水平线下俯90度(向下看)的观看方向。
视频内容300围绕翻滚轴330的0度的旋转可以对应于竖直观看方向。视频内容300围绕翻滚轴330的90度的旋转可以对应于向右旋转90度的观看方向。视频内容300围绕翻滚轴330的90度的旋转可以对应于向左旋转90度的观看方向。其它旋转和观看方向是可预期的。
呈现组件104可以被配置为实现在显示器14上呈现视频内容。例如,呈现组件104可以实现在显示器14上呈现球形视频内容。在显示器14上呈现视频内容可以包括基于显示视场呈现视频内容。显示视场可以定义视频内容内的视觉内容的可观看范围。可以基于观看方向和/或其它信息来确定显示视场。在一些实施方式中,可以基于观看缩放进一步确定显示视场。
在一些实施方式中,呈现组件104可以被配置为实现在显示器14上呈现一个或多个用户界面。用户界面可以包括录制域和/或其它域。在一些实施方式中,录制域在视觉上类似于移动设备上的“录制”按钮。例如,录制域可以具有与智能手机上的相机应用的录制按钮相同/相似的视觉外观。录制域可以是圆形的和/或包括红色。录制域的其它外观是可预期的。用户界面可以使用户能够与视频内容/在显示器14上呈现视频内容的应用进行交互。用户可以通过其它方法(例如,与移动设备上的虚拟和/或物理按钮进行交互)与视频内容/呈现视频内容的应用进行交互。
交互组件106可以被配置为在显示器14上呈现视频内容期间接收交互信息。例如,交互组件106可以在显示器14上呈现球形视频内容期间接收交互信息。该交互信息可以指示用户如何与视频内容/显示器14进行交互以观看视频内容。
交互信息可以指示用户对视频内容和/或其它信息的观看选择。可以基于经由触摸屏显示器接收到的用户输入来确定用户的观看选择。可以基于显示器14的运动来确定用户的观看选择。用户的观看选择可以包括根据经过视频内容的进度由用户选择的视频内容的观看方向。视频内容的观看方向可以对应于由用户选择的显示视场的取向。在一些实施方式中,视频内容的观看方向可以通过围绕偏航轴310、俯仰轴320、翻滚轴330和/或其它轴的旋转来表征。视频内容的观看方向可以包括用户期望观看视频内容的方向。
在一些实施方式中,用户的观看选择可以包括根据经过视频内容的进度对由用户选择的视频内容的观看缩放。视频内容的观看缩放可以对应于视频内容内的视觉内容的可观看范围的大小。例如,图4A-图4B示出了视频内容300的范围的示例。在图4A中,视频内容300的可观看范围的大小可以对应于范围A400的大小。在图4B中,视频内容300的可观看范围的大小可以对应于范围B 410的大小。图4A中的视频内容300的可观看范围可以小于图4B中的视频内容300的可观看范围。
在一些实施方式中,用户的观看选择可以包括根据经过视频内容的进度由用户选择的视频内容的视觉效果。视觉效果可以指在显示器14上的视频内容的呈现的变化。视觉效果可以针对视频的一个帧、多个帧、时间点和/或持续时间改变视频内容的呈现。在一些实施方式中,视觉效果可以包括在播放期间呈现视频内容的感知速度的一种或多种改变。在一些实施方式中,视觉效果可以包括视频内容的一种或多种视觉转换。在一些实施方式中,视觉效果可以包括视频内容的投影的变化和/或其它视觉效果。在一些实施方式中,视觉效果可以包括视频内容中的一种或多种预设改变和/或其它视觉效果。
用户对视频内容的观看选择可以根据经过视频内容的进度而保持不变或改变。例如,用户可以在不改变观看方向的情况下观看视频内容(例如,用户可以观看在音乐节上捕获的视频内容的“默认视图”等)。用户可以通过改变观看方向来观看视频内容(例如,用户可以改变在音乐节上捕获的视频内容的观看方向以跟随特定的乐队等)。用户对视频内容的观看选择的其它改变是可预期的。
例如,图5示出了根据经过视频内容的进度由用户针对视频内容选择的示例性观看方向500。观看方向500可以根据经过视频内容的进度而改变。例如,在进度标记为0%时,观看方向500可以对应于零度偏航角和零度俯仰角。在进度标记为25%时,观看方向500可以对应于正偏航角和负俯仰角。在进度标记为50%时,观看方向500可以对应于零度偏航角和零度俯仰角。在进度标记为75%时,观看方向500可以对应于负偏航角和正俯仰角。在进度标记为87.5%时,观看方向500可以对应于零度偏航角和零度俯仰角。观看方向/观看选择的其他选择是可预期的。
在一些实施方式中,可以基于用户与触摸屏显示器的接合位置和/或其它信息来确定交互信息。例如,用户可以触摸触摸屏显示器以与呈现在显示器14上的视频内容进行交互和/或与呈现视频内容的应用进行交互。用户可以与触摸屏显示器进行交互以平移(pan)观看方向(例如,通过手指在触摸屏显示器上拖动/轻敲、通过与用于改变观看方向的选项进行交互)、改变缩放(例如,通过捏合/扩放触摸屏显示器、通过与用于改变观看缩放的选项进行交互)、应用一种或多种视觉效果(通过在触摸屏显示器上进行与视觉效果相对应的预设移动、通过与用于应用视觉效果的选项进行交互)、和/或提供其它交互信息。与触摸屏显示器的其它交互是可预期的。
在一些实施方式中,可以基于显示器14的运动和/或其它信息来确定交互信息。例如,可以基于显示器14的(例如,如由一个或多个运动传感器检测到的)一个或多个运动、位置和/或取向来确定交互信息。例如,显示器14可以包括由用户持有的智能手机的显示器,并且可以基于智能手机的运动/位置/取向来确定交互信息。可以基于智能手机的运动/位置/取向来确定用户的观看选择。可以基于智能手机的运动/位置/取向来确定用户选择的视频内容的观看方向。例如,基于用户向上倾斜智能手机,视频内容的观看方向可以向上倾斜。
交互组件106可以被配置为接收用于录制视频内容的定制视图的用户输入。例如,交互组件106可以接收用于录制球形视频内容的定制视图的用户输入。在一些实施方式中,可以基于用户与用户界面内的录制域的交互来接收用于录制视频内容的定制视图的用户输入。图6示出了用于生成视频的定制视图的示例性移动设备600。如图6所示,移动设备600可以在显示器上呈现包括录制按钮610的用户界面。录制按钮610可以对应于录制域,用户可以通过该录制域提供用户输入以录制视频内容的定制视图。录制按钮610具有与相机应用的录制按钮相同/相似的视觉外观。录制按钮610可以是圆形的和/或包括红色。录制按钮610的其它外观是可预期的。
观看组件108可以被配置为基于观看方向和/或其它信息来确定显示视场。显示视场可以定义视频内容内的视觉内容的可观看范围(例如,图4A中所示的范围A 400、图4B中所示的范围B 410)。在一些实施方式中,可以基于观看缩放和/或其它信息来进一步确定显示视场。例如,可以基于用户捏合或扩放触摸屏显示器来进一步确定显示视场,以实现呈现的视频内容的缩小/放大改变。
例如,基于呈现视频内容的移动设备的取向,可以确定观看方向(例如,图5中所示的观看方向500),并且可以基于观看方向来确定显示视场。显示视场可以基于观看方向(基于移动设备的取向的变化)、基于观看缩放的变化和/或其它信息而改变。例如,移动设备的用户可以在将移动设备保持横向取向时观看视频内容。显示视场可以定义视频内容内的视觉内容的横向可观看范围。在呈现视频内容期间,用户可以将移动设备的取向切换为纵向取向。显示视场可以改变以定义视频内容内的视觉内容的纵向可观看范围。
对于球形视频内容,显示视场可以根据经过球形视频内容的进度定义可从视点观看到的视觉内容的范围。例如,显示视场可以在进度长度的第一点处定义视觉内容的第一范围,以及在进度长度的第二点处定义视觉内容的第二范围。显示器14上的球形视频内容的呈现可以包括在进度长度的不同点处在显示器14上的视觉内容的范围的呈现,使得在显示器14上的球形视频内容的呈现包括在第二点处呈现第二范围之前在第一点处呈现第一范围。
例如,观看组件108可以基于呈现球形视频内容的移动设备的取向来确定显示视场。确定显示视场可以包括在球形视频内容中确定与移动设备的取向相对应的观看角度。观看组件108可以基于移动设备的取向和/或其它信息来确定显示视场。例如,基于移动设备向左和向右旋转,显示视场可以包括特定的水平视场(例如,左、右)。基于移动设备向上和向下旋转,显示视场可以包括特定的竖直视场(例如,上、下)。其它显示视场是可预期的。
视觉效果组件112可以被配置为将一种或多种视觉效果应用于视频内容。视觉效果可以指视频内容在显示器14上的呈现的变化。例如,视觉效果可以包括将一个或多个镜头曲线应用于视频内容。视觉效果可以针对视频的一个帧(例如,非球形帧、球形帧、通过拼接多个非球形帧生成的球形视频内容的帧)、多个帧、时间点和/或持续时间而改变视频内容的呈现。在一些实施方式中,视觉效果可以包括在播放期间呈现视频内容的感知速度的一种或多种变化。在一些实施方式中,视觉效果可以包括对视频内容的一种或多种视觉转换。在一些实施方式中,视觉效果可以将一个或多个过滤器(例如,平滑过滤器、颜色过滤器)应用于视频内容。在一些实施方式中,视觉效果可以在录制视频内容时仿真稳定工具(例如,平衡环)的使用。在一些实施方式中,视觉效果可以包括视频内容的投影的改变和/或其它视觉效果。在一些实施方式中,视觉效果组件112可以从视觉效果列表中随机选择一种或多种视觉效果。
在一些实施方式中,视觉效果可以包括视频内容的一种或多种预设变化和/或其它视觉效果。例如,视觉效果可以通过用户与列出可用预设视觉效果的工具包的交互来应用。预设视觉效果可以指具有一种或多种预定标准的视觉效果,该预定标准促进用户对视觉效果的选择和应用。例如,预设的视觉效果可以包括摇摆效果,该摇摆效果实现了针对视频内容的观看方向和/或观看缩放的改变。例如,视频内容可以包括场景的球形捕获。用户选择的观看方向可以显示令人兴奋的场景的视频捕获(例如,滑板上的特定花样、海中鲸鱼的出现)。用户可以选择摇摆效果以自动改变观看方向和/或观看缩放以聚焦在视频内容内捕获的人上。可以基于默认值、用户输入(其指定观看方向/缩放的特定变化)、特定预设范围的选择、检测算法(例如,检测视频内容中的面部)和/或其它信息来确定观看方向/缩放的变化量。作为另一示例,预设的视觉效果可以包括视场的变化——在第三人称视场和第一人称视场之间的变化和/或观看投影的变化。其它类型的预设视觉效果是可预期的。
在一些实施方式中,视觉效果组件112可以基于用户选择来选择一种或多种视觉效果。例如,视觉效果组件112可以基于用户对(一种或多种)亮度/饱和度效果的选择(例如,从用户界面进行选择)来应用一种或多种亮度/饱和度效果。视觉效果组件112可以基于用户在触摸屏显示器上进行扭转运动来应用一种或多种视觉旋转(例如,扭曲视频内容内的视觉部分、改变观看旋转)。视觉效果的其它应用是可预期的。
播放序列组件110可以被配置为基于交互信息和/或其它信息的至少一部分生成视频内容的一个或多个播放序列。播放序列组件110可以响应于接收到用于录制视频内容的定制视图的用户输入而生成一个或多个播放序列。例如,播放序列组件110可以响应于接收到用户与录制按钮610(图6所示)的交互而生成一个或多个播放序列。
播放序列可以包括一个或多个文件,该一个或多个文件包含关于在后续播放期间如何呈现视频内容以使后续呈现反映在显示器14上的视频内容的呈现的至少一部分的说明/指令。播放序列可以包括反映在显示器14上呈现的视觉内容的至少一部分的一个或多个视频内容。
播放序列可以反映在显示器上的视频内容的呈现的至少一部分,使得播放序列标识如下中的一者或多者:(1)在播放期间要显示的进度长度中的至少一些不同点——该一些不同点可以包括第一点和第二点;(2)在播放期间显示所标识的点的顺序——该顺序可以包括在呈现第二点之前呈现第一点;(3)在播放期间将在所标识的点处显示的视觉内容的范围——该范围可以包括在第一点处的第一范围和在第二点处的第二范围,和/或关于在播放期间如何显示视频内容的其它信息。
例如,响应于用户与录制按钮610的交互,播放序列组件110可以在用户与录制按钮进行交互的时刻之后反映在移动设备600的显示器上的视频内容的呈现。这种播放序列的生成可以仿真使用移动设备600对视频内容的录制。例如,在移动设备600的显示器上访问并呈现的视频内容可以包括球形视频内容600(图7中所示)。使用移动设备600,(例如,通过围绕偏航轴610、俯仰轴620、翻滚轴630旋转)用户可以改变在移动设备600的显示器上呈现的球形视频内容600的范围。用户可以录制呈现在显示器上的视图,就像用户正在录制在球形视频内容中捕获的场景的一部分一样——用户生成播放序列可以仿真用户捕获视频内容,就像用户呈现捕获球形视频内容600时的场景一样。
播放序列可以反映在显示器14上呈现的视频内容的播放。例如,使用移动设备600,用户可以播放、暂停、快进、倒回、跳过和/或以其它方式确定球形视频内容600的播放。在一些实施方式中,播放序列可以根据用户的操作反映移动设备的显示器上的球形视频内容600的播放——例如,用户在特定帧上暂停球形视频内容600的播放五秒钟可以导致播放序列呈现该特定帧五秒钟,用户快进(例如,以2倍速度)球形视频内容600的播放达一段时间可以导致播放序列以更快的感知速度(例如,以2倍速度)呈现与该时间段相对应的帧。
在一些实施方式中,播放序列可以反映在移动设备的显示器上的球形视频内容600的播放,同时跳过用户对播放的一种或多种操作。例如,用户可以与移动设备600交互以播放、暂停、快进、倒回、跳过和/或以其它方式确定球形视频内容的播放,从而在球形视频内容的播放中存在不连续性。播放序列可以跳过一种或多种操作,使得播放序列中不存在播放中的一种或多种不连续性——例如,用户在特定帧上暂停球形视频内容600的播放五秒钟(例如,以应用视觉效果)或将球形视频内容600的播放从进度长度中的第一点快进到第二点可以不反映在播放序列中,以使播放序列不呈现特定帧达五秒钟或不显示球形视频内容600的快进(例如,播放序列可以跳过从进度长度中的第一点到第二点)。
在一些实施方式中,播放序列可以包括来自视频内容的音频和/或来自另一源的音频。例如,播放序列可以包括来自视频内容的覆盖有另一音频轨道(例如,由用户选择的待播放的作为视频内容的伴奏的音乐、在用户与录制按钮610交互之后由用户说出的且由移动设备600的麦克风录制的话)的音频。播放序列的音频(例如,来自球形视频内容600的音频和/或添加到播放序列中的音频)的音量可以由用户调节。
在一些实施方式中,针对视频内容生成播放序列可以包括生成一个或多个文件,该一个或多个文件包含基于交互信息的至少一部分来改变视频内容的呈现的说明。例如,可以生成播放序列作为导演轨道(director track),该导演轨道包括关于视频内容如何在显示器14上呈现的信息。生成导演轨道可以实现播放序列的创建,而无需对单独的视频内容进行编码。导演轨道可以用于动态生成所反映的视频内容。例如,视频内容可以存储在服务器上,并且不同的导演轨道可以存储在各个移动设备和/或服务器上。希望观看特定导演轨道的用户可以将导演轨道提供给服务器和/或选择存储在服务器上的导演轨道。视频内容可以在播放期间基于导演轨道呈现。在一些实施方式中,视频内容可以存储在客户端设备(例如,移动设备)上。用户可以访问不同的导演轨道以观看视频内容的不同版本,而无需对单独的视频内容进行编码。导演轨道的其它用途是可预期的。
在一些实施方式中,针对视频内容生成的播放序列可以包括基于交互信息的至少一部分对一个或多个视频内容进行编码。例如,针对球形视频内容生成播放序列可以包括基于交互信息的至少一部分来编码一个或多个非球形视频内容。非球形视频内容可以反映在显示器14上的球形视频内容的呈现的至少一部分。非球形视频内容可以提供在显示器14上呈现的(和“录制的”)球形视频内容的非球形(例如,二维)视图。在一些实施方式中,在显示器14上呈现视频内容期间和/或之后,可以对一个或多个视频进行编码。
尽管本文的描述可以针对视频内容,但是本文描述的系统/方法的一种或多种其它实现方式可以被配置为用于其它类型的媒体内容。其它类型的媒体内容可以包括音频内容(例如,音乐、播客、有声图书和/或其它音频内容)、多媒体演示、图像、幻灯片、视觉内容(一个或多个图像和/或视频)和/或其它媒体内容中的一者或多者。
可以以硬件、固件、软件或其任何合适的组合来进行本发明的实施。本发明的各个方面可以被实现为存储在机器可读介质上的指令,该指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如,计算设备)可读的形式存储或传输信息的任何机构。例如,有形计算机可读存储介质可以包括只读存储器、随机存取存储器、磁盘存储介质、光存储介质、闪存器件等,并且机器可读传输介质可以包括诸如载波的传播信号、红外信号、数字信号等的形式。可以根据本发明的具体示例性方面和实施方式并执行特定动作来在本文中描述固件、软件、例程或指令。
尽管在图1中处理器11和电子存储器12示出为连接到接口13,但是任何通信介质都可以用于促进系统10的任何部件之间的交互。系统10的一个或多个部件可以通过硬连线通信、无线通信或通过两者彼此通信。例如,系统10的一个或多个部件可以通过网络彼此通信。例如,处理器11可以与电子存储器12无线通信。作为非限制性示例,无线通信可以包括无线电通信、蓝牙通信、Wi-Fi通信、蜂窝通信、红外通信或其它无线通信中的一者或多者。其它类型的通信在本发明中是可预期的。
尽管处理器11在图1中示出为单个实体,但这仅出于例示的目的。在一些实施方式中,处理器11可以包括多个处理单元。这些处理单元可以物理上位于同一设备内,或者处理器11可以表现协同操作的多个设备的处理功能。处理器11可以被配置为通过软件,硬件,固件,软件、硬件和/或固件的一些组合,和/或其它用于在处理器11上配置处理能力的机构来运行一个或多个组件。
应当理解,尽管图1中示出计算机组件共同位于单个处理单元内,但是在处理器11包括多个处理单元的实施方式中,一个或多个计算机程序组件可以远离其它计算机程序组件定位。
尽管本文将计算机程序组件描述为经由处理器11通过机器可读指令100来实现,但这仅是便于参考,并不意味着限制。在一些实施方式中,本文描述的计算机程序组件的一个或多个功能可以通过硬件(例如,专用芯片、现场可编程门阵列)而不是软件来实现。本文描述的计算机程序组件的一个或多个功能可以是软件实现的、硬件实现的、或软件和硬件实现的。
由本文描述的不同计算机程序组件提供的功能的描述是出于例示的目的,而不旨在限制,因为任何计算机程序组件都可以提供比描述的更多或更少的功能。例如,可以去除计算机程序组件102、104、106、108、110和/或112中的一者或多者,并且这些组件的一些或全部功能可以由其它计算机程序组件提供。作为另一示例,处理器11可以被配置为运行一个或多个附加计算机程序组件,该一个或多个附加计算机程序组件可以执行归属于本文描述的计算机程序组件102、104、106、108、110和/或112中的一者或多者的功能的一些或全部功能。
电子存储器12的电子存储介质可以与系统10的一个或多个部件和/或可经由例如端口(例如,USB端口、火线(Firewire)端口等)或驱动器(例如,磁盘驱动器等)连接到系统10的一个或多个部件的可移动存储器集成地提供(即基本上不可移除)。电子存储器12可以包括光学可读存储介质(例如,光盘等)、磁性可读存储介质(例如,磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如,EPROM、EEPROM、RAM等)、固态存储介质(例如,闪存驱动器等)和/或其它电子可读存储介质中的一者或多者。电子存储器12可以是系统10内的单独部件,或者电子存储器12可以与系统10的一个或多个其它部件(例如,处理器11)集成地提供。尽管电子存储器12在图1中被示出为单个实体,但这仅出于例示目的。在一些实施方式中,电子存储器12可以包括多个存储单元。这些存储单元可以物理地位于同一设备内,或者电子存储器12可以表现协同操作的多个设备的存储功能。
图2示出了用于生成视频的定制视图的方法200。下面呈现的方法200的操作旨在例示性的。在一些实施方式中,方法200可以利用未描述的一个或多个附加操作和/或不具有所讨论的操作中的一个或多个操作来实现。在一些实施方式中,两个或更多个操作可以基本同时发生。
在一些实施方式中,方法200可以在一个或多个处理设备(例如,数字处理器、模拟处理器、旨在用于处理信息的数字电路、中央处理单元、图形处理单元、微控制器、旨在用于处理信息的模拟电路、状态机、和/或其它用于电子地处理信息的机构)中实现。该一个或多个处理设备可以包括响应于电子地存储在一个或多个电子存储介质上的指令执行方法200的一些或全部操作的一个或多个设备。该一个或多个处理设备可以包括通过硬件、固件和/或软件配置的一个或多个设备,这些设备被专门设计用于执行方法200的一个或多个操作。
参照图2和方法200,在操作201处,可以访问定义球形视频内容的视频信息。该球形视频内容具有进度长度。该球形视频内容可以根据经过球形视频内容的进度来定义可从视点观看到的视觉内容。视频信息可以存储在物理存储介质中。在一些实施方式中,操作201可以由与访问组件102(图1中所示且在本文中描述)相同或相似的处理器组件执行。
在操作202处,可以实现在显示器上呈现球形视频内容。在一些实施方式中,操作202可以由与呈现组件104(图1中所示且在本文中描述)相同或相似的处理器组件执行。
在操作203处,可以在显示器上呈现球形视频内容期间接收交互信息。该交互信息可以指示用户对球形视频内容的观看选择。用户的观看选择可以包括根据经过球形视频内容的进度由用户选择的球形视频内容的观看方向。在一些实施方式中,操作203可以由与交互组件106(图1中所示且在本文中描述)相同或相似的处理器组件执行。
在操作204处,可以基于交互信息(例如,观看方向)确定显示视场。该显示视场可以根据经过球形视频内容的进度来定义可从视点观看到的视觉内容的范围。该显示视场可以在进度长度的第一点处定义视觉内容的第一范围,以及在进度长度的第二点处定义视觉内容的第二范围。在显示器上呈现球形视频内容可以包括在进度长度的不同点处在显示器上呈现视觉内容的范围,使得在显示器上呈现球形视频内容包括在第二点处呈现第二范围之前在第一点处呈现第一范围。在一些实施方式中,操作204可以由与观看组件108(图1中所示且在本文中描述)相同或相似的处理器组件执行。
在操作205处,可以接收用于录制球形视频内容的定制视图的用户输入。在一些实施方式中,操作205可以由与交互组件106(图1中所示且在本文中描述)相同或相似的处理器组件执行。
在操作206处,响应于接收到用于录制球形视频内容的定制视图的用户输入,可以基于交互信息的至少一部分来生成球形视频内容的播放序列。该播放序列可以反映在显示器上的球形视频内容的呈现的至少一部分,使得播放序列标识:(1)在播放期间要显示的进度长度中的至少一些不同点,该一些不同点可以包括第一点和第二点;(2)在播放期间显示所标识的点的顺序,该顺序包括在呈现第二点之前呈现第一点;以及(3)在播放期间将在所标识的点处显示的视觉内容的范围,该范围可以包括在第一点处的第一范围和在第二点处的第二范围。在一些实施方式中,操作206可以由与播放序列组件110(图1中所示且在本文中描述)相同或相似的处理器组件执行。
尽管已经出于例示的目的基于当前被认为是最实际且最优选的实施方式详细描述了本发明的系统(一种或多种)和/或方法(一种或多种),但是应当理解,这样的细节仅出于该目的,并且本发明并不限于所公开的实施方式,而是相反,本发明旨在覆盖在所附权利要求的精神和范围内的各种修改和等同布置。例如,应当理解,本发明预期,在可能的范围内,任何实施方式中的一个或多个特征可以与任何其它实施方式中的一个或多个特征组合。

Claims (20)

1.一种用于生成视频的定制视图的系统,所述系统包括:
显示器,所述显示器被配置为呈现视频内容;以及
一个或多个物理处理器,所述一个或多个物理处理器通过机器可读指令被配置为:
访问定义球形视频内容的视频信息,所述球形视频内容具有进度长度,所述球形视频内容根据经过所述球形视频内容的进度定义能够从视点观看到的视觉内容;
实现在所述显示器上呈现所述球形视频内容;
在所述显示器上呈现所述球形视频内容期间接收交互信息,所述交互信息指示用户对所述球形视频内容的观看选择,所述用户的观看选择包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的观看方向;
基于所述观看方向确定显示视场,所述显示视场根据经过所述球形视频内容的进度定义能够从所述视点观看到的所述视觉内容的范围,所述显示视场在所述进度长度的第一点处定义所述视觉内容的第一范围,以及在所述进度长度的第二点处定义所述视觉内容的第二范围,其中,在所述显示器上呈现所述球形视频内容包括在所述进度长度的不同点处在所述显示器上呈现所述视觉内容的范围,以使在所述显示器上呈现所述球形视频内容包括在所述第二点处呈现所述第二范围之前在所述第一点处呈现所述第一范围;
接收用于录制所述球形视频内容的定制视图的用户输入;以及
响应于接收到所述用于录制所述球形视频内容的定制视图的用户输入,基于所述交互信息的至少一部分来生成所述球形视频内容的播放序列,所述播放序列反映在所述显示器上的所述球形视频内容的呈现的至少一部分,使得所述播放序列标识:
在播放期间要显示的所述进度长度中的至少一些不同点,所述一些不同点包括所述第一点和所述第二点;
在播放期间显示所标识的点的顺序,所述顺序包括在呈现所述第二点之前呈现所述第一点;以及
在播放期间将在所标识的点处显示的所述视觉内容的范围,所述范围包括在所述第一点处的所述第一范围和在所述第二点处的所述第二范围。
2.根据权利要求1所述的系统,其中:
所述一个或多个物理处理器还通过所述机器可读指令被配置为在所述显示器上实现用户界面的呈现,所述用户界面包括录制域;以及
所述用于录制所述球形视频内容的定制视图的用户输入是基于所述用户与所述录制域的交互被接收的。
3.根据权利要求1所述的系统,其中,所述显示器包括触摸屏显示器,所述触摸屏显示器被配置为接收指示所述用户对所述球形视频内容的观看选择的用户输入,所述触摸屏显示器生成指示所述用户与所述触摸屏显示器的接合位置的输出信号,并基于所述用户与所述触摸屏显示器的所述接合位置确定所述交互信息。
4.根据权利要求1所述的系统,其中,所述显示器包括运动传感器,所述运动传感器被配置为生成传达与所述显示器的运动相关的运动信息的输出信号,并且所述交互信息是基于所述显示器的所述运动确定的。
5.根据权利要求4所述的系统,其中,所述显示器的所述运动包括所述显示器的取向,并且所述用户对所述球形视频内容的观看选择是基于所述显示器的所述取向确定的。
6.根据权利要求1所述的系统,其中,所述用户的观看选择还包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的观看缩放,并且所述显示视场基于所述观看缩放被进一步确定。
7.根据权利要求1所述的系统,其中,所述用户的观看选择还包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的视觉效果,并且所述一个或多个物理处理器还通过所述机器可读指令被配置为将所述视觉效果应用于所述球形视频内容。
8.根据权利要求7所述的系统,其中,所述视觉效果包括所述球形视频内容的投影的改变。
9.根据权利要求1所述的系统,其中,生成所述球形视频内容的所述播放序列包括基于所述交互信息的所述至少一部分对非球形视频内容进行编码,所述非球形视频内容反映所述在所述显示器上的所述球形视频内容的呈现的所述至少一部分。
10.一种用于生成视频的定制视图的方法,所述方法包括:
访问定义球形视频内容的视频信息,所述球形视频内容具有进度长度,所述球形视频内容根据经过所述球形视频内容的进度定义能够从视点观看到的视觉内容;
实现在配置为呈现视频内容的显示器上呈现所述球形视频内容;
在所述显示器上呈现所述球形视频内容期间接收交互信息,所述交互信息指示用户对所述球形视频内容的观看选择,所述用户的观看选择包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的观看方向;
基于所述观看方向确定显示视场,所述显示视场根据经过所述球形视频内容的进度定义能够从所述视点观看到的所述视觉内容的范围,所述显示视场在所述进度长度的第一点处定义所述视觉内容的第一范围,以及在所述进度长度的第二点处定义所述视觉内容的第二范围,其中,在所述显示器上呈现所述球形视频内容包括在所述进度长度的不同点处在所述显示器上呈现所述视觉内容的范围,以使在所述显示器上呈现所述球形视频内容包括在所述第二点处呈现所述第二范围之前在所述第一点处呈现所述第一范围;
接收用于录制所述球形视频内容的定制视图的用户输入;以及
响应于接收到所述用于录制所述球形视频内容的定制视图的用户输入,基于所述交互信息的至少一部分来生成所述球形视频内容的播放序列,所述播放序列反映在所述显示器上的所述球形视频内容的呈现的至少一部分,使得所述播放序列标识:
在播放期间要显示的所述进度长度中的至少一些不同点,所述一些不同点包括所述第一点和所述第二点;
在播放期间显示所标识的点的顺序,所述顺序包括在呈现所述第二点之前呈现所述第一点;以及
在播放期间将在所标识的点处显示的所述视觉内容的范围,所述范围包括在所述第一点处的所述第一范围和在所述第二点处的所述第二范围。
11.根据权利要求10所述的方法,还包括在所述显示器上实现用户界面的呈现,所述用户界面包括录制域,其中,基于所述用户与所述录制域的交互,接收所述用于录制所述球形视频内容的定制视图的用户输入。
12.根据权利要求10所述的方法,其中,所述显示器包括触摸屏显示器,所述触摸屏显示器被配置为接收指示所述用户对所述球形视频内容的观看选择的用户输入,所述触摸屏显示器生成指示所述用户与所述触摸屏显示器的接合位置的输出信号,并基于所述用户与所述触摸屏显示器的所述接合位置确定所述交互信息。
13.根据权利要求10所述的方法,其中,所述显示器包括运动传感器,所述运动传感器被配置为生成传达与所述显示器的运动相关的运动信息的输出信号,并且所述交互信息是基于所述显示器的所述运动确定的。
14.根据权利要求13所述的方法,其中,所述显示器的所述运动包括所述显示器的取向,并且所述用户对所述球形视频内容的观看选择是基于所述显示器的所述取向确定的。
15.根据权利要求10所述的方法,其中,所述用户的观看选择还包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的观看缩放,并且所述显示视场基于所述观看缩放被进一步确定。
16.根据权利要求10所述的方法,还包括将视觉效果应用于所述球形视频内容,其中,所述用户的观看选择还包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的视觉效果。
17.根据权利要求16所述的方法,其中,所述视觉效果包括所述球形视频内容的投影的改变。
18.根据权利要求10所述的方法,其中,生成所述球形视频内容的所述播放序列包括基于所述交互信息的所述至少一部分对非球形视频内容进行编码,所述非球形视频内容反映所述在所述显示器上的所述球形视频内容的呈现的所述至少一部分。
19.一种用于生成视频的定制视图的系统,所述系统包括:
触摸屏显示器,所述触摸屏显示器被配置为呈现视频内容并接收指示用户对球形视频内容的观看选择的用户输入,所述触摸屏显示器生成指示所述用户与所述触摸屏显示器的接合位置的输出信号;
一个或多个物理处理器,所述一个或多个物理处理器通过机器可读指令被配置为:
访问定义所述球形视频内容的视频信息,所述球形视频内容具有进度长度,所述球形视频内容根据经过所述球形视频内容的进度定义能够从视点观看到的视觉内容;
实现在所述触摸屏显示器上呈现所述球形视频内容;
实现在所述触摸屏显示器上呈现用户界面,所述用户界面包括录制域;
在所述触摸屏显示器上呈现所述球形视频内容期间接收交互信息,所述交互信息指示所述用户对所述球形视频内容的所述观看选择,所述用户的所述观看选择包括根据经过所述球形视频内容的进度由所述用户选择的所述球形视频内容的观看方向;
基于所述观看方向确定显示视场,所述显示视场根据经过所述球形视频内容的进度定义能够从所述视点观看到的所述视觉内容的范围,所述显示视场在所述进度长度的第一点处定义所述视觉内容的第一范围,以及在所述进度长度的第二点处定义所述视觉内容的第二范围,其中,在所述触摸屏显示器上呈现所述球形视频内容包括在所述进度长度的不同点处在所述触摸屏显示器上呈现所述视觉内容的范围,以使在所述触摸屏显示器上呈现所述球形视频内容包括在所述第二点处呈现所述第二范围之前在所述第一点处呈现所述第一范围;
基于所述用户与所述录制域的交互,接收用于录制所述球形视频内容的定制视图的用户输入;以及
响应于接收到所述用于录制所述球形视频内容的定制视图的用户输入,基于所述交互信息的至少一部分来生成所述球形视频内容的播放序列,所述播放序列反映在所述触摸屏显示器上的所述球形视频内容的呈现的至少一部分,使得所述播放序列标识:
在播放期间要显示的所述进度长度中的至少一些不同点,所述一些不同点包括所述第一点和所述第二点;
在播放期间显示所标识的点的顺序,所述顺序包括在呈现所述第二点之前呈现所述第一点;以及
在播放期间将在所标识的点处显示的所述视觉内容的范围,所述范围包括在所述第一点处的所述第一范围和在所述第二点处的所述第二范围。
20.根据权利要求19所述的系统,其中,所述触摸屏显示器包括运动传感器,所述运动传感器被配置为生成传达与所述触摸屏显示器的运动相关的运动信息的输出信号,并且所述交互信息是基于所述触摸屏显示器的所述运动确定的,所述触摸屏显示器的运动包括所述触摸屏显示器的取向,使得所述用户对所述球形视频内容的观看选择是基于所述触摸屏显示器的所述取向确定的。
CN201880027529.9A 2017-04-25 2018-04-17 用于生成视频的定制视图的系统和方法 Pending CN110574379A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/497,035 2017-04-25
US15/497,035 US20180307352A1 (en) 2017-04-25 2017-04-25 Systems and methods for generating custom views of videos
PCT/US2018/028006 WO2018200264A1 (en) 2017-04-25 2018-04-17 Systems and methods for generating custom views of videos

Publications (1)

Publication Number Publication Date
CN110574379A true CN110574379A (zh) 2019-12-13

Family

ID=62200517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027529.9A Pending CN110574379A (zh) 2017-04-25 2018-04-17 用于生成视频的定制视图的系统和方法

Country Status (3)

Country Link
US (1) US20180307352A1 (zh)
CN (1) CN110574379A (zh)
WO (1) WO2018200264A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3030935B1 (en) 2013-08-09 2020-11-18 Thermal Imaging Radar LLC Methods for analyzing thermal image data using a plurality of virtual devices and methods for correlating depth values to image pixels
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10574886B2 (en) * 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US10459622B1 (en) * 2017-11-02 2019-10-29 Gopro, Inc. Systems and methods for interacting with video content
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020190991A1 (en) * 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
US20140270693A1 (en) * 2013-03-18 2014-09-18 Nintendo Co., Ltd. Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
CN104871213A (zh) * 2012-11-13 2015-08-26 谷歌公司 对于对象的全方位视图的视频编码
WO2015134537A1 (en) * 2014-03-04 2015-09-11 Gopro, Inc. Generation of video based on spherical content
US20160112635A1 (en) * 2013-04-19 2016-04-21 Gopro, Inc. Apparatus and method for generating an output video stream from a wide field video stream
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技(北京)有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN106104632A (zh) * 2014-03-18 2016-11-09 株式会社理光 信息处理方法、信息处理设备和程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10020025B2 (en) * 2016-07-22 2018-07-10 Zeality Inc. Methods and systems for customizing immersive media content

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020190991A1 (en) * 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
CN104871213A (zh) * 2012-11-13 2015-08-26 谷歌公司 对于对象的全方位视图的视频编码
US20140270693A1 (en) * 2013-03-18 2014-09-18 Nintendo Co., Ltd. Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
US20160112635A1 (en) * 2013-04-19 2016-04-21 Gopro, Inc. Apparatus and method for generating an output video stream from a wide field video stream
WO2015134537A1 (en) * 2014-03-04 2015-09-11 Gopro, Inc. Generation of video based on spherical content
CN106104632A (zh) * 2014-03-18 2016-11-09 株式会社理光 信息处理方法、信息处理设备和程序
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技(北京)有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统

Also Published As

Publication number Publication date
WO2018200264A1 (en) 2018-11-01
US20180307352A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
US11798594B2 (en) Systems and methods for generating time lapse videos
CN110574379A (zh) 用于生成视频的定制视图的系统和方法
US11442609B1 (en) Interface for setting speed and direction of video playback
US11693550B2 (en) Interface for trimming videos
US20220068311A1 (en) Interface for setting speed and direction of video playback
US12081869B2 (en) Systems and methods for stabilizing videos
US20230412788A1 (en) Systems and methods for stabilizing views of videos
JP2019512177A (ja) 装置および関連する方法
US12112775B2 (en) Video framing based on device orientation
US20200233556A1 (en) Systems and methods for interacting with video content
US11054965B2 (en) Systems and methods for indicating highlights within spherical videos
US10841603B2 (en) Systems and methods for embedding content into videos
US10469818B1 (en) Systems and methods for facilitating consumption of video content
US20190253686A1 (en) Systems and methods for generating audio-enhanced images
US20240040249A1 (en) Systems and methods for dynamically stabilizing videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191213