CN108369816A - 用于从全向视频创建视频剪辑的设备和方法 - Google Patents

用于从全向视频创建视频剪辑的设备和方法 Download PDF

Info

Publication number
CN108369816A
CN108369816A CN201680066226.9A CN201680066226A CN108369816A CN 108369816 A CN108369816 A CN 108369816A CN 201680066226 A CN201680066226 A CN 201680066226A CN 108369816 A CN108369816 A CN 108369816A
Authority
CN
China
Prior art keywords
video
video clipping
segment
processor
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680066226.9A
Other languages
English (en)
Other versions
CN108369816B (zh
Inventor
S·索尼
E·坎卡帕
K·梅拉卡里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108369816A publication Critical patent/CN108369816A/zh
Application granted granted Critical
Publication of CN108369816B publication Critical patent/CN108369816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

提出了一种用于从全向视频创建视频剪辑的设备。该设备包括至少一个处理器和包括计算机程序代码的存储器。该存储器被配置成储存包括一系列图像帧的全向视频，并且该代码被配置成促使该设备：在包括该全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，这些区域至少部分地基于在该片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点围穿该片段围绕至少一个感兴趣区域，创建一组视频剪辑，其中每个视频剪辑由贯穿该片段的单个数字视点所形成的图像序列组成，以及将公共时间线分配给视频剪辑中的每一个视频剪辑。

Description

用于从全向视频创建视频剪辑的设备和方法
背景
覆盖水平窗格中或水平和垂直窗格中的广角图像(诸如180或360度)的全向相机已被用于全景成像和视频记录。此类相机记录的图像和视频可由消费者电子设备回放，并且通常设备用户可以控制360度帧的哪个片段被显示。广角视频的多个视点可以在同一屏幕上呈现。这可例如通过在回放期间手动地选择视点来完成。
概述
下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，且其不标识关键/重要元素或者描述本说明书的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。
呈现了一种设备、系统和方法。该设备和方法包括允许基于两个或更多个感兴趣区域从全向视频素材创建视频剪辑的特征。这些视频剪辑也可被用来根据预定规则从其组合中创建新的视频。该系统还包括360度相机，并且被适配成在素材正被记录时实时执行相同的动作。
通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。
附图简述
根据附图阅读以下详细描述将更好地理解本说明书，在附图中：
图1是根据一实施例的设备的主要组件的示意图解；
图2是根据一实施例的系统的示意图解；
图3a是一实施例的图形图解；
图3b是用于图3a中所示的实施例的示意时间线；
图4a是根据一实施例的第一数字视点的图形图解；
图4b是根据该实施例的第二数字视点的图形图解；
图4c示出了图4a中所示的第一视点的移动；
图4d是用于图4a-4c中所示的实施例的示意时间线；以及
图5是根据一实施例的系统的示意图解。
在各附图上相同的附图标记对应于相同的元素。
详细描述
下面结合附图提供的详细描述旨在作为各实施例的描述，并不旨在表示可以构建或使用各实施例的唯一形式。本说明书详尽揭示各操作步骤的结构基础、功能和序列。然而，可以通过未在以下列举的不同的实施例来实现相同或等效功能和序列。
虽然本公开各实施例中的一些实施例可在本文中被描述和解说成实现在个人计算机或便携式设备中，但它们只是设备的示例而非限制。如本领域技术人员将领会的，本公开各实施例适于应用在包括处理器和存储器的各种不同类型的设备中。而且，尽管在此描述和解说的本公开各实施例中的一些实施例是使用全向视频素材和相机来实现的，但这些实施例仅仅是示例而非限制。如本领域技术人员将领会的，本公开各实施例适于应用于各种不同的视频格式，这些视频格式的图像相比在显示设备上显示的图像具有更宽的视野。全向视野可能被相机机身部分地遮挡。全向相机可具有180度以上的视野。该相机可具有不同的形状因素；例如，其可以是具有大显示器的平坦型设备、球形元件或包括相机元件的棒(baton)。
图1示出了设备100的一实施例的基本框图。设备100可以是被适配成修改全向视频的任何设备。例如，设备100可以是用于编辑全向视频的设备、个人计算机、或手持式电子设备。出于本说明书的目的，“全向”意指所捕捉的图像帧具有相比显示器103上所显示的图像帧更宽的视野，以至于需要在这些图像帧内选择视点以便显示视频。
设备100包括至少一个处理器101和包括计算机程序代码的至少一个存储器102，以及耦合到处理器101的任选的显示元件103。存储器102能够储存机器可执行指令。存储器102还可储存其他指令和数据，并且被配置成储存全向视频。此外，处理器101能够执行所储存的机器可执行指令。处理器101可按许多不同方式来具体化。在一实施例中，处理器101可被具体化为诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理电路系统之类的各种处理设备中的一个或多个，或者包括诸如举例而言，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等集成电路的各种其他处理设备。在至少一个实施例中，处理器101利用计算机程序代码来促使设备100执行一个或多个动作。
存储器102可被具体化为一个或多个易失性存储器设备、一个或多个非易失性存储器设备、或它们的组合。例如，存储器102可被具体化为磁存储设备(诸如硬盘驱动器、软盘、磁带等)、光磁存储设备(例如磁光盘)、CD-ROM(压缩碟只读存储器)、CD-R(可记录压缩碟)、CD-R/W(可重写压缩碟)、DVD(数字多功能碟)、BD(碟)和半导体存储器(诸如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(随机存取存储器)等)。在一实施例中，存储器102可被实现为远程元件，例如云存储。
计算机程序代码和至少一个存储器102被配置成与至少一个处理器101一起促使该设备执行下文列出的动作序列。
两个或更多个感兴趣区域首先在包括全向视频的图像帧序列的片段中被标识，其中该两个或更多个感兴趣区域至少部分地基于该片段中所检测到的一个或多个活动对象来被标识。本文中所使用的术语“片段”指的是全向视频中的连续图像帧的集合。在其中视频的较长部分要被处理的一些实施例中，片段可由处理器101选择以包括大量的连续图像帧；而在其中一系列图像帧包括少量的图像帧的实施例中，片段可由处理器101选择以仅包括几个连续的图像帧(例如，与全向视频中所捕捉的特定动作或移动相关的图像帧)。
在一实施例中，处理器101被配置成检测片段中的一个或多个活动对象。本文中所使用的术语“活动对象”指的是与移动、声音、任何其他视觉上活动的行为相关联的对象。在说明性示例中，如果两个个人参与会话(即，与正由定向麦克风捕捉的声音相关联)，则每个个人可由处理器101标识为活动对象。类似地，如果片段包括移动的车辆，则该车辆可被标识为潜在地与移动、动作和声音相关联的活动对象。在又一个说明性示例中，如果片段捕捉动物逃离捕食者的场景，则该动物及其捕食者两者都可被处理器101检测为活动对象。在一实施例中，处理器101可利用面部检测、注视检测、声音检测、运动检测、热检测、白板检测和背景场景检测中的任一者来检测片段中的一个或多个活动对象。
在一实施例中，处理器101被配置成至少部分地基于片段中的一个或多个活动对象来标识该片段中的两个或更多个感兴趣区域。本文中所使用的术语“感兴趣区域”可以指的是全向视频的查看者可能感兴趣的片段或视频的特定部分。例如，如果片段包括参与讨论的三个人，则查看者可能有兴趣查看正在讲话的人，而不是目前不参与该会话的人。在一些实施例中，处理器101被配置成基于片段中的检测到的活动对象来标识感兴趣区域。然而，在一些实施例中，处理器101可被配置成标识除了基于场景中的活动对象所标识出的那些区域之外的感兴趣区域。例如，处理器101可采用白板检测来标识场景中的白板的存在。如果某人(活动对象)正在白板上书写，则除了该人在白板上书写的同时正在说的内容之外，查看者可能感兴趣查看白板上所写的内容。相应地，处理器101可标识包括白板和在该白板上书写的人的感兴趣区域。
处理器101还定义两个或更多个数字视点，其中每个数字视点围绕片段的至少一个图像帧中的至少一个感兴趣区域。处理器101接着调整该两个或更多个数字视点，使得该至少一个感兴趣区域贯穿该片段保持在所显示的部分中。本文中所提到的数字视点是向用户显示的所捕捉的全向图像的片段。每个感兴趣区域可具有分配给它的数字视点，并且贯穿该片段或者在该片段的所有图像帧中，数字视点保持“锁定”在其至少一个感兴趣区域上。
在两个或更多个数字视点被定义和调整之后，处理器103可从各数字视点中的每一个数字视点提供的内容来创建一组视频剪辑，因此这些视频剪辑由贯穿片段的单个数字视点所形成的图像序列组成。这可以与多个相机角度相比较，除了其中多个数字视点可被选择的全向图像帧源自单单一个全向相机。
最后，处理器101向所创建的视频剪辑中的每一个视频剪辑分配公共时间线，使得每个视频剪辑可容易地在该片段内的特定时间点处被访问。
在一实施例中，具有被分配的时间线的所得到的视频剪辑(例如作为元数据)也可被储存在存储器102中。如以上所提及的，存储器102不限于物理地连接到设备100或处理器101的硬件，并且可以是例如经由互联网访问的远程云存储。
以上各实施例具有收集全向视频的相关和/或事件多的部分以及用共同时间线在分开的视频中提供这些部分的技术效果，这促成后续的简单编辑。
根据一实施例，存储器102被配置成与至少一个处理器101一起促使设备100根据基于所分配的公共时间线的预定模式或规则集来将来自一组所创建的视频剪辑的两个或更多个视频剪辑相组合，以及从经组合的视频剪辑创建新的视频。在该实施例中，该新创建的视频也可被储存在存储器102中。取决于预定模式或规则集，可以从视频剪辑“编辑”不同的视频。以下参考图3a-3b描述几个示例性模式。
在一实施例中，设备100包括耦合到处理器101的用户界面元件104和耦合到该处理器的显示器103。处理器101被配置成经由用户界面元件104和显示器103向用户提供对某些功能的手动控制，例如标识两个或更多个感兴趣区域、定义两个或更多个数字视点，或者基于所分配的公共时间线组合来自一组视频剪辑的两个或更多个视频剪辑。例如，如果用户希望专门关注某些感兴趣区域，则可以部分地将功能做成手动的。例如从经同步的视频剪辑创建的新的视频以及该视频剪辑中的任何视频剪辑可被分开地显示在显示元件103上。显示元件103的示例可包括但不限于发光二极管显示屏、薄膜晶体管(TFT)显示屏、液晶显示屏、有源矩阵有机发光二极管(AMOLED)显示屏等。所显示的图像帧中的数字视点的参数可取决于显示元件103的屏幕类型、分辨率和其他参数。用户界面(UI)元件可包括UI软件以及诸如触摸屏、鼠标和键盘等的用户输入设备。
在一实施例中，被储存在存储器102中的视频被预先记录，并且以上列出的功能在全向视频的后期制作中被完成。
在一实施例中，设备100的各种组件(诸如处理器101、存储器102、显示器103和用户界面104)可经由集中式电路系统105彼此通信。设备100的其他元件和组件也可通过该系统105连接。集中式电路系统105可以是被配置成尤其在设备100的各组件之间提供或启用通信的各种设备。在一些实施例中，集中式电路系统105可以是中央印刷电路板(PCB)，诸如母板、主板、系统板或逻辑板。集中式电路系统105还可包括或者替代地包括其他印刷电路组装件(PCA)或通信信道介质。
设备100可包括比图1中所描绘的更多的组件。在一实施例中，装置100的一个或多个组件可被实现为现有硬件系统之上的一组软件层。在示例性场景中，装置100可以是能够(顺序和/或以其他方式)执行指令集以便从全向相机素材创建一组视频剪辑的任何机器。
图2例示了根据一实施例的系统200。系统200包括设备210(设备210包括至少一个处理器211和包括计算机程序代码的至少一个存储器212)、耦合到设备210的显示单元202，以及耦合到设备210且被配置成捕捉包括一系列图像帧的全向视频的相机201。
根据该实施例的相机201可以与水平方向和垂直方向中的至少一者上的至少各度的图像捕捉视野相关联。例如，相机201可以是与360x 360球形图像捕捉视野相关联的“360度相机”。替代地，相机201可以与180度或小于180度的图像捕捉视野相关联，在该情形中，系统200可包括彼此处于有效通信中的不只一个相机201，使得该一个或多个相机的经组合的图像捕捉视野是至少180度。相机201可包括捕捉一系列图像帧以生成视频流所必需的硬件和/或软件。例如，相机201可包括诸如透镜之类的硬件和/或诸如一个或多个图像传感器之类的(诸)其他光学组件。图像传感器的示例可包括但不限于互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件(CCD)图像传感器、背侧照明传感器(BSI)等。替代地，相机201可仅包括用于捕捉视频的硬件，而设备210的存储器设备储存供由处理器103执行的用于从所捕捉的视频生成视频流的软件的形式的指令。在一示例实施例中，控制设备210可进一步包括在处理图像帧数据时协助处理器211的处理元件(诸如，协处理器213)，以及用于压缩和/或解压缩图像帧数据的编码器和/或解码器214。编码器和/或解码器可根据标准格式(例如，联合图像专家组(JPEG)标准格式)来编码和/或解码。相机201也可以是超广角相机。
该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备与以上所描述的设备类似地执行动作。这些动作包括储存全向视频(在该情形中是由相机201捕捉的视频)；标识该视频的片段中的两个或更多个感兴趣区域204；定义两个或更多个数字视点，每个感兴趣区域204至少一个数字视点且在至少一个帧中围绕所述感兴趣区域；以及调整该两个或更多个数字视点，使得该至少一个感兴趣区域204贯穿片段保持在所显示的部分中；通过每个数字视点创建示出该片段的一组视频剪辑；向视频剪辑分配公共时间线并将元数据记录在存储器212中，其中该元数据包括被分配给各剪辑中的每一个剪辑的公共时间线。
系统200可类似于设备100在已捕获的全向视频的后期制作中被使用，其中在系统200中，该视频将被全向相机201捕捉且被储存在存储器212中。在系统200的一些实施例中，所列出的动作中的一些动作可以在相机201正在捕捉全向视频的同时被实时(或者有延迟地)执行。在一实施例中，处理单元211可被配置成在视频正由相机201捕捉的同时标识或接收具有两个或更多个感兴趣区域204的标识的命令，定义两个或更多个数字视点，以及记录由每个数字视点所形成的图像序列形成的分开的视频。
在一实施例中，该系统包括耦合到处理单元211的定向音频记录单元205，并且处理单元211被配置成将音频流连同所捕捉的全向视频一起记录到存储器212中，并且使定向音频记录聚焦于感兴趣区域204中的至少一个感兴趣区域上。在一实施例中，定向音频记录单元205包括两个或更多个定向麦克风。这允许在各方向之间更容易地进行切换，以及同时使音频记录聚焦于不只一个感兴趣区域204上。该系统还可包括耦合到处理单元211的全向或任何其他音频记录单元。音频记录单元可包括用来记录整个场景的声音的常规麦克风。
在一实施例中，系统200还包括用户输入单元203，该用户输入单元203可以是与显示器202相同的元件的一部分，或者作为自主单元而分开。用户界面203允许用户将一些功能切换到手动模式，例如以在标识感兴趣区域时提供帮助。根据一实施例，系统200包括注视检测元件，并且设备210可接着记录关于相机用户的注视方向的元数据。这可以在标识感兴趣区域204时有所应用，因为相机用户的注视方向可被解释为用户输入信息。
在所有上述实施例中，被记录到存储器212的元数据不限于公共时间线或注视检测信息，并且可包括被收集且与所创建的视频剪辑相关的任何其他信息。
图3a是水平和垂直360度相机视野的示意图，基本上覆盖相机周围的整个球体。在该示例性实施例中，两个感兴趣区域被标识，且因此围绕这两个感兴趣区域的数字视点301和302被创建。包括一个或多个片段的视频被记录。随着所记录的片段的进展，数字视点的位置可随感兴趣区域中的活动对象被移动或相机本身移动而改变。当在所记录的视频中完成片段的记录时，两个视频剪辑311和312可被创建，并且指示片段t1的开始时间和片段t2的结束时间的时间线T被分配给所记录的剪辑311、312中的每一个剪辑。如在图3b的示例中可以看出的，例如归因于视点301中的感兴趣区域已活动达较短的时间段而非贯穿整个片段活动的事实，因此第一视频剪辑311相比第二视频剪辑较短。根据一实施例，所记录的视频剪辑311、312(并且对于本领域技术人员显而易见的是，即使仅存在两个感兴趣区域，也可能存在不只两个剪辑，例如它们中的一个可能基于包围这两个区域的数字视点)根据基于所分配的公共时间线T的预定模式来被组合。在一实施例中，预定模式包括视频剪辑311、312的顺序，其中针对公共时间线的相同片段的不同视频剪辑被一个接一个不间断地组合。该实施例被例示在图3b的下半部分。根据该模式创建的所得到的新的视频是连续的视频，其相比两个原始剪辑更长，且因此从不同视点简单地播放相同的时刻。在另一实施例中，该模式包括基于所分配的公共时间线的经同步的序列或同步指令。设备210接着被配置成基于至少一个预定参数来确定一组视频剪辑中的每个视频剪辑的各部分的优先级，并且基于所确定的优先级来提供视频剪辑的各部分以用于同步。预定参数可以是例如在任何给定时间处在由特定数字视点包围的至少一个感兴趣区域中的活动或活动对象的存在/缺失。在该情形中，某个特定时间点处的感兴趣区域中的活动越多，则视频剪辑的这部分在该时刻附近接收的优先级就越多。处理器可被配置成创建每个视频剪辑相对于时间的优先级图，并且在任何给定时刻处向用户提供对优先级的视觉反馈。在一实施例中，该设备被配置成具有定时器，根据该定时器视频中的下一个“切换镜头(cut)”可能不会发生达预定的秒数，以避免不愉快的查看体验。这有助于自动化对从视频剪辑311、312组合的视频的“编辑”。图3b的右上部分解说了基于预定参数的同步，并且因为视频被同步，所以事件不重复，更确切而言，视频随着片段从t1前进到t2而从一个剪辑“镜头切换”到另一剪辑。
图4a-4c解说了另一示例性实施例。在该实施例中，在包围第一感兴趣区域401(通常是拳击手)的第一数字视点400中示出了拳击比赛。在该实施例中，该设备被配置成识别朋友在全向视频中的语音和/或外貌，并将他或她标识为第二感兴趣区域402。当朋友在比赛期间喊叫出些什么(例如“瞧这一击！”)时，数字视点410的视频剪辑的优先级变得高于示出比赛的剪辑的优先级达短的时间段。然后，视频返回到比赛视图400。这也可以在后期制作中且根据其中从所有视点重复地示出相同片段(即，将视频剪辑堆叠在一起)的模式来完成。在图4a-4c所示的实施例中，这将允许在410中看到朋友的反应，并接着通过400(或以任何其他顺序)再次在比赛本身中观看相同的时间片段(可能是一次击中)。图4d示出了图4a-4c中所示的事件的可能时间线，其中400对应于通过数字视点400创建的拳击比赛的视频，而410对应于朋友的视频。如图所示，整个片段从t1持续到t2，并且所得到的视频更长(从t1到t3)，因为用于该场景的模式是刚好在某瞬间发生之前插入剪辑410，并接着从原始视点400重复该瞬间。其中一视频剪辑被插入到另一视频剪辑中从而扩展所得到的视频的这种模式仅作为示例来被提供。
以上各实施例的技术效果在于，单个全向相机的多个数字视点可被用作“分开的相机”，并且对所创建的视频剪辑的编辑可要么根据预定参数是自动的，要么是简化的手动编辑。各实施例可被用于捕捉(例如在运动会、脱口秀、讲座、研讨会等中的)复杂且有时快节奏的事件的所有方面。
图5示出了根据一实施例的方法。该方法包括在包括全向视频的图像帧序列的片段中标识52两个或更多个感兴趣区域。该两个或更多个感兴趣区域至少部分地基于在该片段中检测到的一个或多个活动对象来被标识，或者它们可至少部分地基于包括对两个或更多个感兴趣区域的选择的用户输入51来被标识。该方法进一步包括定义53两个或更多个数字视点，其中每个数字视点贯穿该片段围绕至少一个感兴趣区域，从而创建54一组视频剪辑。该组的每个视频剪辑由贯穿该片段的单个数字视点所形成的图像序列组成。公共时间线接着被分配55给该组视频剪辑中的每一个视频剪辑。
在一实施例中，该方法进一步包括通过根据基于所分配的公共时间线的预定模式将来自该组视频剪辑的两个或更多个视频剪辑相组合来创建56新的视频。替代地，该方法可包括接收包括用于组合视频剪辑的指令的用户输入，基于这些指令组合视频剪辑以及从该组合创建新的视频。该新的视频还可被储存57在存储器中。
根据一实施例，每个数字视点通过锁定和跟踪531至少一个感兴趣区域而贯穿该片段围绕该至少一个感兴趣区域。
根据以上各实施例的方法可例如由处理器执行。本文中所描述的方法的步骤可按任何合适顺序来执行，或者在合适的情况下被同时执行。附加地，在不偏离本文中所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。以上所描述的示例中的任一者的诸方面可以与所描述的其他示例中的任一者的诸方面相结合，以形成进一步的示例而不会丢失所寻求的效果。
本文中所描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序运行于计算机上时被适配成执行本文中所描述的任何方法的所有步骤的计算机程序代码装置，并且其中该计算机程序可被具体化在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘、拇指型驱动器、存储器等而不包括所传播的信号。传播的信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适顺序来执行或者同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。其旨在涵盖运行于或者控制哑(“dumb”)或标准硬件以执行期望的功能的软件。其还旨在涵盖诸如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件之类的“描述”或者定义硬件配置以执行期望功能的软件。
本领域技术人员将认识到，被用来储存程序指令的存储设备可跨网络分布。例如，远程计算机可储存被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。替代地，本地计算机可以根据需要下载软件的片段，或者在本地终端处执行一些软件指令，并在远程计算机(或计算机网络)处执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的常规技术，软件指令的全部或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
根据一方面，提供了一种设备。该设备包括至少一个处理器和包括计算机程序代码的存储器。该存储器被配置成储存包括一系列图像帧的全向视频，并且该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备：在包括全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，该两个或更多个感兴趣区域至少部分地基于在该片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点围绕该片段的至少一个图像帧中的至少一个感兴趣区域，调整该两个或更多个数字视点，使得该至少一个感兴趣区域贯穿该片段保持在所显示的部分中，创建一组视频剪辑，其中每个视频剪辑由贯穿该片段的单个数字视点所形成的图像序列组成，以及将公共时间线分配给该组视频剪辑中的每一个视频剪辑。
在一实施例中，该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备将该组视频剪辑与所分配的共同时间线一起储存在该存储器中。
在一实施例中，作为以上各实施例的替换或补充，该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备根据基于所分配的共同时间线的预定模式来组合来自该组视频剪辑的两个或更多个视频剪辑，以及从经组合的视频剪辑创建新的视频。
在一实施例中，作为以上各实施例的补充，预定模式包括视频剪辑的顺序，其中针对公共时间线的相同片段的不同视频剪辑被一个接一个不间断地组合。
在一实施例中，作为以上各实施例的替换或补充，预定模式包括视频剪辑的各部分的经同步的序列，其中该同步基于所分配的公共时间线，并且该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备基于至少一个预定参数确定该组视频剪辑中的每个视频剪辑的各部分的优先级，以及基于所确定的优先级来提供视频剪辑的各部分以用于同步。
在一实施例中，作为以上各实施例的替换，该设备包括耦合到处理器的用户界面元件和耦合到处理器的显示器，其中该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备经由用户界面元件和显示器提供对标识两个或更多个感兴趣区域的手动控制，定义两个或更多个数字视点，或者基于所分配的公共时间线来组合来自该组视频剪辑的两个或更多个视频剪辑。
在一实施例中，作为以上各实施例的补充，该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备将所创建的新的视频储存在存储器中。
在一个实施例中，作为以上各实施例的替换或补充，该全向视频被预先记录。
根据一个方面，提供了一种系统。该系统包括：包括至少一个处理器和包含计算机程序代码的至少一个存储器的设备、耦合到该设备的显示单元、耦合到该设备且被配置成捕捉包括一系列图像帧的全向视频的相机，该相机在水平方向和垂直方向中的至少一者上具有至少180度的图像捕捉视野。该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备将由该相机捕捉的全向视频储存在该存储器中，在包括全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，该两个或更多个感兴趣区域至少部分地基于在该片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点围绕该片段的至少一个图像帧中的至少一个感兴趣区域，调整该两个或更多个数字视点，使得该至少一个感兴趣区域贯穿该片段保持在所显示的部分中，创建一组视频剪辑，其中每个视频剪辑由贯穿该片段的单个数字视点所形成的图像序列组成，将公共时间线分配给该组视频剪辑中的每一个视频剪辑，以及将元数据记录在存储器中，该元数据包括被分配给每一个视频剪辑的公共时间线。
在一实施例中，该系统包括定向音频记录单元，其中该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备连同所捕捉的全向视频一起记录音频流，以及使该定向音频记录单元聚焦于至少一个感兴趣区域上。
在一实施例中，作为以上实施例的补充，定向音频记录单元包括两个或更多个定向麦克风。
在一实施例中，作为以上各实施例的替换或补充，该系统包括注视检测单元，该注视检测单元被配置成检测相机用户的注视方向，其中该计算机程序代码和该至少一个存储器被配置成与该至少一个处理器一起促使该设备将元数据记录在该存储器中，该元数据包括相机用户的检测到的注视方向。
根据一个方面，提供了一种方法。该方法包括：在包括全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，该两个或更多个感兴趣区域至少部分地基于在该片段中检测到的一个或多个活动对象而被标识，定义两个或更多个数字视点，其中每个数字视点贯穿该片段围绕至少一个感兴趣区域，创建一组视频剪辑，其中每个视频剪辑由贯穿该片段的单个数字视点所形成的图像序列组成，以及将公共时间线分配给该组视频剪辑中的每一个视频剪辑。
在一实施例中，标识两个或更多个感兴趣区域包括接收包含对两个或更多个感兴趣区域的选择的用户输入。
在一实施例中，作为以上各实施例的替换或补充，该方法包括将该组视频剪辑与所分配的公共时间线一起储存在该存储器中。
在一实施例中，作为以上各实施例的替换或补充，该方法包括根据基于所分配的公共时间线的预定模式来组合来自该组视频剪辑的两个或更多个视频剪辑，以及从经组合的视频剪辑创建新的视频。
在一实施例中，作为以上各实施例的替换或补充，该方法包括将所创建的新的视频储存在存储器中。
在一实施例中，作为以上各实施例的替换或补充，每个数字视点通过锁定和跟踪至少一个感兴趣区域而贯穿该片段围绕该至少一个感兴趣区域。
在一实施例中，作为以上各实施例的替换或补充，该方法包括接收包含用于组合来自该组视频剪辑的两个或更多个视频剪辑的指令的用户输入，以及根据该用户输入组合来自该组视频剪辑的两个或更多个视频剪辑，并从经组合的视频剪辑创建新的视频。
在一实施例中，作为以上各实施例的替换或补充，该方法包括基于所标识的感兴趣区域的参数来调整数字视点的参数。
如将对本领域技术人员显而易见的是，本文中所给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的技术效果可以涉及一个实施例或可以涉及多个实施例。各实施例并不限于解决所阐述的问题中的任何或全部问题的那些实施例、或者具有所阐述的益处和优点中的任何或全部益处和优点的那些实施例。将进一步理解，对“一个”项目的提及是指那些项目中的一个或多个。
本文使用了术语“包括”以旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，并且方法或设备可以包含附加的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、实施例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各个实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域技术人员可以对所公开的实施例作出很多改变。

Claims (15)

1.一种设备，包括：
至少一个处理器和包括计算机程序代码的存储器，其中
所述存储器被配置成储存包括一系列图像帧的全向视频，并且
所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备：
在包括所述全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，所述两个或更多个感兴趣区域至少部分地基于在所述片段中检测到的一个或多个活动对象而被标识，
定义两个或更多个数字视点，其中每个数字视点围绕所述片段的至少一个图像帧中的至少一个感兴趣区域，
调整所述两个或更多个数字视点，使得所述至少一个感兴趣区域贯穿所述片段保持在所显示的部分中，
创建一组视频剪辑，其中每个视频剪辑由贯穿所述片段的单个数字视点所形成的图像序列组成，以及
将公共时间线分配给所述一组视频剪辑中的每一个视频剪辑。
2.根据权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备将所述一组视频剪辑与所分配的共同时间线一起储存在所述存储器中。
3.根据权利要求1所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备：
根据基于所分配的共同时间线的预定模式来组合来自所述一组视频剪辑的两个或更多个视频剪辑，以及
从经组合的视频剪辑创建新的视频。
4.根据权利要求3所述的设备，其特征在于，所述预定模式包括视频剪辑的顺序，其中针对所述公共时间线的相同片段的不同视频剪辑被一个接一个不间断地组合。
5.根据权利要求3所述的设备，其特征在于，所述预定模式包括视频剪辑的各部分的经同步的序列，其中所述同步基于所分配的公共时间线，并且所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备基于至少一个预定参数确定所述一组视频剪辑中的每个视频剪辑的各部分的优先级，以及
基于所确定的优先级来提供视频剪辑的所述各部分以用于同步。
6.根据权利要求3所述的设备，其特征在于，包括耦合到所述处理器的用户界面元件和耦合到所述处理器的显示器，其中所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备：
经由所述用户界面元件和所述显示器提供对标识两个或更多个感兴趣区域的手动控制，定义两个或更多个数字视点，或者基于所分配的公共时间线来组合来自所述一组视频剪辑的两个或更多个视频剪辑。
7.根据权利要求3所述的设备，其特征在于，所述计算机程序代码和所述至少一个存储器被配置成与所述至少一个处理器一起促使所述设备将所创建的新的视频储存在存储器中。
8.根据权利要求1所述的设备，其特征在于，所述全向视频被预先记录。
9.一种方法，包括：
在包括所述全向视频的图像帧序列的片段中标识两个或更多个感兴趣区域，所述两个或更多个感兴趣区域至少部分地基于在所述片段中检测到的一个或多个活动对象而被标识，
定义两个或更多个数字视点，其中每个数字视点贯穿所述片段围绕至少一个感兴趣区域，
创建一组视频剪辑，其中每个视频剪辑由贯穿所述片段的单个数字视点所形成的图像序列组成，以及
将公共时间线分配给所述一组视频剪辑中的每一个视频剪辑。
10.根据权利要求9所述的方法，其特征在于，每个数字视点通过锁定和跟踪至少一个感兴趣区域而贯穿所述片段围绕该至少一个感兴趣区域。
11.根据权利要求9所述的方法，其特征在于，包括：
基于所标识的感兴趣区域的参数来调整所述数字视点的参数。
12.根据权利要求9所述的方法，其特征在于，包括接收包含用于组合来自所述一组视频剪辑的两个或更多个视频剪辑的指令的用户输入，以及
根据所述用户输入组合来自所述一组视频剪辑的两个或更多个视频剪辑，并从经组合的视频剪辑创建新的视频。
13.根据权利要求9所述的方法，其特征在于，标识两个或更多个感兴趣区域包括接收包含对两个或更多个感兴趣区域的选择的用户输入。
14.根据权利要求9所述的方法，其特征在于，包括将所述一组视频剪辑与所分配的公共时间线一起储存在所述存储器中。
15.根据权利要求9所述的方法，其特征在于，包括根据基于所分配的公共时间线的预定模式来组合来自所述一组视频剪辑的两个或更多个视频剪辑，以及从经组合的视频剪辑创建新的视频。
CN201680066226.9A 2015-11-11 2016-11-06 用于从全向视频创建视频剪辑的设备和方法 Active CN108369816B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/938,606 2015-11-11
US14/938,606 US20170134714A1 (en) 2015-11-11 2015-11-11 Device and method for creating videoclips from omnidirectional video
PCT/US2016/060739 WO2017083204A1 (en) 2015-11-11 2016-11-06 Device and method for creating videoclips from omnidirectional video

Publications (2)

Publication Number Publication Date
CN108369816A true CN108369816A (zh) 2018-08-03
CN108369816B CN108369816B (zh) 2021-01-05

Family

ID=57389529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066226.9A Active CN108369816B (zh) 2015-11-11 2016-11-06 用于从全向视频创建视频剪辑的设备和方法

Country Status (4)

Country Link
US (1) US20170134714A1 (zh)
EP (1) EP3374992A1 (zh)
CN (1) CN108369816B (zh)
WO (1) WO2017083204A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381267A (zh) * 2019-08-21 2019-10-25 成都索贝数码科技股份有限公司 基于帧内切分的集群化实现大幅面多层实时编辑的方法
CN110602424A (zh) * 2019-08-28 2019-12-20 维沃移动通信有限公司 视频处理方法及电子设备
CN118587608A (zh) * 2024-07-31 2024-09-03 国网山东省电力公司微山县供电公司 基于时空特征的分布式光伏电站辐照度预测方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
EP3211629A1 (en) * 2016-02-24 2017-08-30 Nokia Technologies Oy An apparatus and associated methods
US10165258B2 (en) * 2016-04-06 2018-12-25 Facebook, Inc. Efficient determination of optical flow between images
US11386931B2 (en) * 2016-06-10 2022-07-12 Verizon Patent And Licensing Inc. Methods and systems for altering video clip objects
US20180001141A1 (en) * 2016-06-13 2018-01-04 Jerome Curry Motion interactive video recording for fighters in a mixed martial arts and boxing match
KR102506581B1 (ko) * 2016-09-29 2023-03-06 한화테크윈 주식회사 광각 영상 처리 방법 및 이를 위한 장치
RU2683499C1 (ru) * 2018-03-15 2019-03-28 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
CN109688463B (zh) * 2018-12-27 2020-02-18 北京字节跳动网络技术有限公司 一种剪辑视频生成方法、装置、终端设备及存储介质
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US11200918B1 (en) * 2020-07-29 2021-12-14 Gopro, Inc. Video framing based on device orientation
JP2023005930A (ja) * 2021-06-30 2023-01-18 フォルシアクラリオン・エレクトロニクス株式会社 制御値設定装置及び制御値設定プログラム
EP4380170A1 (en) * 2021-11-09 2024-06-05 Samsung Electronics Co., Ltd. Electronic device and method for automatically generating edited video
CN114885210B (zh) * 2022-04-22 2023-11-28 海信集团控股股份有限公司 教程视频处理方法、服务器及显示设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191071A1 (en) * 2001-06-14 2002-12-19 Yong Rui Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030023598A1 (en) * 2001-07-26 2003-01-30 International Business Machines Corporation Dynamic composite advertisements for distribution via computer networks
JP5421627B2 (ja) * 2009-03-19 2014-02-19 キヤノン株式会社 映像データ表示装置及びその方法
US8736680B1 (en) * 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
US8698874B2 (en) * 2011-06-10 2014-04-15 Microsoft Corporation Techniques for multiple video source stitching in a conference room
JP5942933B2 (ja) * 2013-07-04 2016-06-29 ブラザー工業株式会社 端末装置、及びプログラム
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10230866B1 (en) * 2015-09-30 2019-03-12 Amazon Technologies, Inc. Video ingestion and clip creation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020191071A1 (en) * 2001-06-14 2002-12-19 Yong Rui Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381267A (zh) * 2019-08-21 2019-10-25 成都索贝数码科技股份有限公司 基于帧内切分的集群化实现大幅面多层实时编辑的方法
CN110602424A (zh) * 2019-08-28 2019-12-20 维沃移动通信有限公司 视频处理方法及电子设备
CN118587608A (zh) * 2024-07-31 2024-09-03 国网山东省电力公司微山县供电公司 基于时空特征的分布式光伏电站辐照度预测方法及系统

Also Published As

Publication number Publication date
WO2017083204A1 (en) 2017-05-18
EP3374992A1 (en) 2018-09-19
US20170134714A1 (en) 2017-05-11
CN108369816B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN108369816A (zh) 用于从全向视频创建视频剪辑的设备和方法
US10536661B2 (en) Tracking object of interest in an omnidirectional video
US10721439B1 (en) Systems and methods for directing content generation using a first-person point-of-view device
US10554850B2 (en) Video ingestion and clip creation
US11810597B2 (en) Video ingestion and clip creation
US9930270B2 (en) Methods and apparatuses for controlling video content displayed to a viewer
Chen et al. An autonomous framework to produce and distribute personalized team-sport video summaries: A basketball case study
WO2015196920A1 (zh) 动态影像的拍摄方法和拍摄装置
JP2019160318A (ja) 情報処理装置、情報処理方法、及びプログラム
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
JP2007241496A (ja) 画像処理装置、画像処理方法、およびプログラム
CN101552890A (zh) 信息处理设备、信息处理方法、程序和记录介质
US11211097B2 (en) Generating method and playing method of multimedia file, multimedia file generation apparatus and multimedia file playback apparatus
JP3708854B2 (ja) メディア作品制作支援装置及びプログラム
Gaddam et al. The cameraman operating my virtual camera is artificial: Can the machine be as good as a human?
US11200919B2 (en) Providing a user interface for video annotation tools
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
US9807350B2 (en) Automated personalized imaging system
US20210287433A1 (en) Providing a 2-dimensional dataset from 2-dimensional and 3-dimensional computer vision techniques
Gandhi Automatic rush generation with application to theatre performances
TWI259388B (en) Method and system for making real-time interactive video
WO2021244123A1 (en) A system and method of creating real-time intelligent media
Saini et al. Automated Video Mashups: Research and Challenges
Vanherle et al. Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System
KR101743874B1 (ko) 복수의 공연객체들의 협업을 이용한 동영상 컨텐츠 생성 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant