CN109074629A - 使用联网照相机对关注的区域进行视频摄像 - Google Patents

使用联网照相机对关注的区域进行视频摄像 Download PDF

Info

Publication number
CN109074629A
CN109074629A CN201680076968.XA CN201680076968A CN109074629A CN 109074629 A CN109074629 A CN 109074629A CN 201680076968 A CN201680076968 A CN 201680076968A CN 109074629 A CN109074629 A CN 109074629A
Authority
CN
China
Prior art keywords
time synchronization
video
camera
capture device
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680076968.XA
Other languages
English (en)
Inventor
A·罗伊内
H·埃罗宁
P·罗伊内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Walken Vision Co Ltd Oy
Original Assignee
Walken Vision Co Ltd Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Walken Vision Co Ltd Oy filed Critical Walken Vision Co Ltd Oy
Publication of CN109074629A publication Critical patent/CN109074629A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

这里所述的系统、方法和/或计算机可读介质允许检查者使用联网且时间同步的视频照相机的系统在特定时间检查关注的区域的多个视角的视频内容。这些联网且时间同步的视频照相机可以包括专用视频照相机,或者可以连接至移动电话或平板计算装置、和/或动作壳体中所包含的装置。这些联网且时间同步的视频照相机可以捕捉关注的区域的多个视角,因为这些视频照相机可被布置为使得它们的视野指向针对所述关注的区域的不同取向。

Description

使用联网照相机对关注的区域进行视频摄像
背景技术
照相机已经形成教练工具和其它检查工具的一部分。作为示例,视频照相机已经用于捕捉运动、舞蹈套路和其它活动的视频内容。人们可以单独地或者与教练、老师或其他专业人员一起使用视频内容来检查他们的情境方法、策略、技术等。作为另一示例,警察和/或安保人员可以使用视频照相机来捕捉并检查利用安全照相机和/或在调查期间捕捉的视频内容。
检查者可能期望查看特定时间的特定区域的多个视角。例如,教练或舞蹈老师可能发现查看选手或学生所采取的特定动作或套路的多个角度是有用的。警官或安全人员可能发现在特定时间从多个角度查看嫌疑人以评估该嫌疑人的可信度、举止等是有用的。然而,在许多情况下,视频照相机可能限于仅捕捉其视野内的物品,并且因此仅具有一个视角。可以期望从技术上简化对特定时间的关注的区域多视角捕捉,而无需实现视频捕捉之后的复杂处理步骤或者要求检查者并行地观看关注的区域的多个视频馈送。
发明内容
本申请所述的系统、方法和/或计算机可读介质允许检查者使用联网且时间同步的视频照相机的系统一次检查关注的区域的多个视角的视频内容。这些联网且时间同步的视频照相机可以包括专用视频照相机,或者可以连接至移动电话或平板计算装置、和/或活动壳体中所包含的装置。这些联网且时间同步的视频照相机可以捕捉关注的区域的多个视角,因为这些视频照相机可被布置为使得它们的视野指向相对于所述关注的区域的不同取向。
这些联网且时间同步的视频照相机可以是时间同步的,因为它们在近似相同的时间开始捕捉与关注的区域相关的视频内容。可以使用来自这些联网且时间同步的视频照相机的视频内容来形成关注的区域的三维圆顶表示,其中如这里进一步所述,该三维圆顶表示可以允许检查者查看特定时间处关注的区域的任意视角的视频内容。关注的区域的三维圆顶表示还可以包括一个或多个取向标记,其中如这里进一步所述,这一个或多个取向标记可以允许检查者在特定时间的关注的区域的多个视角之间进行切换。与检查者相关联的重放装置可被配置为显示关注的区域的基于三维圆顶表示的拼接视频表示。该拼接视频表示可以包括与取向标记相对应的一个或多个视角用户界面(UI)元素,其中所述一个或多个视角用户界面(UI)元素允许检查者使用重放装置的图形界面在特定时间的关注的区域的多个视频视角之间进行切换。
通过阅读以下说明并研究附图的若干示例,这些和其它优点对于相关领域技术人员将变得显而易见。
附图说明
图1A描绘了时间同步视频捕捉环境的示例的图。
图1B描绘了时间同步视频捕捉环境的示例的图。
图1C描绘了时间同步视频捕捉环境的示例的图。
图1D描绘了时间同步视频捕捉环境的示例的图。
图2描绘了时间同步视频捕捉装置的示例的图。
图3描绘了重放装置的示例的图。
图4描绘了时间同步视频捕捉管理系统的示例的图。
图5描绘了用于捕捉关注的物理区域的可见部分的时间同步视频内容的方法的示例的流程图。
图6描绘了用于将一个或多个关注的区域的多个视角的视频内容并入该一个或多个关注的区域的三维圆顶表示中的方法的示例的流程图。
图7描绘了用于在重放装置上显示一个或多个关注的区域的拼接视频表示的方法的示例的流程图。
图8A示出重放装置上的检查应用的屏幕截图的示例。
图8B示出重放装置上的检查应用的屏幕截图的示例。
图8C示出重放装置上的检查应用的屏幕截图的示例。
图8D示出重放装置上的检查应用的屏幕截图的示例。
图8E示出重放装置上的检查应用的屏幕截图的示例。
图9描绘了计算机系统的示例的图。
图10是环境的示意性图示。
图11是描绘了对象周围的多个照相机的取向布置的示例性图示。
图12是描绘了对象周围的多个照相机的取向布置的示例性图示。
图13是用于确定图2~图3的具有取向布置的多个照相机的相对位置的示例性图示。
图14是用于确定多个照相机的相对位置及其顺序的示例性图示。
图15是照相机及其相对于坐标系的取向信息的示意性图示。
图16是多个照相机及其相对于另一坐标系的取向信息的示意性图示。
图17描绘了用于确定位置内的多个照相机相对于彼此的相对位置的方法的示例的流程图。
具体实施方式
时间同步视频捕捉环境的示例
图1A描绘了时间同步视频捕捉环境的示例的图100A。图100A包括计算机可读介质102、时间同步视频捕捉装置104、关注的物理区域106、时间同步视频捕捉管理系统108、以及重放装置110。在图100A中,计算机可读介质102连接至时间同步视频捕捉装置104、时间同步视频捕捉管理系统10和重放装置110。
本文所讨论的计算机可读介质102和其它计算机可读介质旨在表示多种可能适用的技术。例如,计算机可读介质102可以用于形成网络或网络的一部分。在两个组件共同位于装置上的情况下,计算机可读介质102可以包括总线或者其它数据管道或数据面。在第一组件位于一个装置上、且第二组件位于不同装置上的情况下,计算机可读介质102可以包括无线或有线的后端网络或局域网(LAN)。计算机可读介质102还可以包含诸如因特网等的广域网(WAN)或其它网络的相关部分(如果适用的话)。
本文所述的计算机可读介质102和其它适用系统或装置可以被实现为计算机系统、计算机系统的部分或多个计算机系统。一般来说,计算机系统将包括处理器、存储器、非易失性存储和接口。典型的计算机系统通常将至少包括处理器、存储器、以及将存储器连接至处理器的装置(例如,总线)。例如,处理器可以是诸如微处理器等的通用中央处理单元(CPU)、或者诸如微控制器等的专用处理器。
通过示例而非限制的方式,存储器可以包括诸如动态RAM(DRAM)和静态RAM(SRAM)等的随机存取存储器(RAM)。存储器可以是本地的、远程的或分布式的。总线还可以将处理器连接至非易失性存储器。非易失性存储通常是磁性软盘或硬盘、磁光盘、光盘、(诸如CD-ROM、EPROM或EEPROM等的)只读存储器(ROM)、磁卡或光卡、或者用于大量数据的其它形式的存储。在执行计算机系统上的软件期间,通常通过直接存储器访问处理将这些数据中的一些数据写入存储器。非易失性存储可以是本地的、远程的或分布式的。非易失性存储是可选的,这是因为可以利用存储器中可用的所有适用数据来创建系统。
软件通常储存在非易失性存储中。实际上,对于大型程序,甚至不可能将整个程序储存在存储器中。然而,应当理解,对于要运行的软件(如果必要的话),将该软件移动至适于处理的计算机可读位置,并且出于说明性目的,在本文中将该位置称为存储器。即使在将软件移动至存储器以供执行的情况下,处理器通常也会使用用以储存与软件相关联的值的硬件寄存器、以及理想地用于加速执行的本地高速缓存。如这里所使用的,在软件程序被称为“在计算机可读存储介质中实现”的情况下,假定该软件程序被储存在适用的已知或方便位置处(从非易失性存储至硬件寄存器)。在与程序相关联的至少一个值被储存在处理器可读的寄存器中的情况下,认为该处理器“被配置为执行该程序”。
在一个操作示例中,可以通过操作系统软件来控制计算机系统,其中所述操作系统软件是包括文件管理系统(诸如盘操作系统等)的软件程序。具有关联的文件管理系统软件的操作系统软件的一个示例是已知为来自华盛顿州雷德蒙市微软公司的的一系列操作系统及其关联的文件管理系统。操作系统软件及其关联的文件管理系统软件的另一示例是Linux操作系统及其关联的文件管理系统。文件管理系统通常储存在非易失性存储中并且使处理器执行操作系统所需的各种动作以输入和输出数据以及将数据储存在存储器中,包括将文件储存在非易失性存储上。
总线还可以将处理器连接至接口。接口可以包括一个或多个输入和/或输出(I/O)装置。根据特定实现或其它的考虑,通过示例而非限制的方式,I/O装置可以包括键盘、鼠标或其它指示装置、盘驱动器、打印机、扫描仪以及包括显示装置的其它I/O装置。通过示例而非限制的方式,显示装置可以包括阴极射线管(CRT)、液晶显示器(LCD)、或者一些其它适用的已知或方便的显示装置。接口可以包括调制解调器或网络接口中的一个或多个。应当理解,调制解调器或网络接口可被认为是计算机系统的一部分。接口可以包括模拟调制解调器、ISDN调制解调器、线缆调制解调器、令牌环接口、卫星传输接口(例如“直接PC”)、或者用于将计算机系统连接至其它计算机系统的其它接口。接口使计算机系统和其它装置能够在网络中连接在一起。
计算机系统可以与基于云的计算系统兼容、实现为基于云的计算系统的一部分、或通过基于云的计算系统来实现。如本文中所使用的,基于云的计算的系统是向终端用户装置提供虚拟化的计算资源、软件和/或信息的系统。可以通过保持边缘装置可经由诸如网络等的通信接口访问的集中式服务和资源来使计算资源、软件和/或信息虚拟化。“云”可能是市场术语,并且为了本文的目的而可以包括这里所描述的任何网络。基于云的计算系统可以涉及服务的订阅或者效用定价模型的使用。用户可以通过位于其终端用户装置上的web浏览器或其它容器应用来访问基于云的计算系统的协议。
计算机系统可以作为引擎、引擎的一部分或者通过多个引擎而实现。如本文中所使用的,引擎包括一个或多个处理器或其一部分。一个或多个处理器的一部分可以包括比包含任何给定的一个或多个处理器的全部硬件少的某一部分硬件,诸如寄存器的子集、处理器的专用于多线程处理器中的一个或多个线程的一部分、或者处理器完全或部分地专用于执行引擎功能的一部分的时间片段等。正因如此,第一引擎和第二引擎可以具有一个或多个专用处理器,或者第一引擎和第二引擎可以与另一引擎或其它引擎共享一个或多个处理器。根据具体实现或其它的考虑,引擎可以是集中式的,或者其功能是分布式的。引擎可以包括硬件、固件或者包含在计算机可读介质中以供处理器执行的软件。处理器使用所实现的数据结构和方法(诸如参考本文中的图所描述的数据结构和方法等)来将数据转换为新数据。
本文中所描述的引擎或者可以通过其实现本文中所描述的系统和装置的引擎可以是基于云的引擎。如本文中所使用的,基于云的引擎是可以使用基于云的计算系统来运行应用和/或功能的引擎。应用和/或功能的全部或部分可以分布在多个计算装置上,并且无需限于仅一个计算装置。在一些实施例中,基于云的引擎可以执行终端用户通过web浏览器或容器应用所访问的功能和/或模块,而不必将该功能和/或模块本地安装在该终端用户的计算装置上。
如本文中所使用的,数据存储旨在包括具有任何适用的数据组织(包括表格、逗号分隔值(CSV)文件、传统数据库(例如,SQL)、或其它适用的已知或方便的组织格式)的存储库。例如,数据存储可以被实现为嵌入在专用机器上的物理计算机可读介质中、嵌入在固件、硬件、它们的组合、或者适用的已知或方便的装置或系统中的软件。尽管数据存储关联组件(诸如数据库接口等)可被认为是数据存储的“一部分”、某个其它系统组件的一部分、或它们组合,但数据存储关联组件的物理位置和其它特性对于理解本文中所描述的技术而言并不重要。
数据存储可以包括数据结构。如本文中所使用的,数据结构与在计算机中储存和组织数据的特定方式相关联,使得可以在给定上下文内高效地使用该数据结构。数据结构一般基于计算机在其存储器内的任何位置提取和储存数据的能力,由地址即本身可以储存在存储器中并且由程序操纵的位串来指定。因此,一些数据结构基于利用算术运算来计算数据项的地址;而其它数据结构基于将数据项的地址存储在结构本身中。许多数据结构使用有时以有意义的方式组合的两个原则。数据结构的实现通常需要编写用于创建和操纵该结构的实例的过程的集合。本文中所描述的数据存储可以是基于云的数据存储。基于云的数据存储是与基于云的计算系统和引擎兼容的数据存储。
在图1A的示例中,时间同步视频捕捉装置104旨在表示被配置为同时(即,以时间同步的方式)捕捉视频内容的多个装置。如这里所使用的,“视频内容”可以是指在指定时间内拍摄的关注的区域的一系列图像。根据具体实现和/或特定配置的考虑,视频内容可以包括相应的音频内容,并且在适用的情况下,时间同步视频捕捉装置104可以替代地称为时间同步多媒体捕捉装置。可以注意到,音频捕捉装置无需并入与时间同步视频捕捉装置104相同的装置中,而可被实现为连接至计算机可读介质102的单独装置(未示出)。还可以注意到,本文所述的一些技术适用于拍摄(或者可被配置为拍摄)快照的时间同步图像捕捉装置。
时间同步视频捕捉装置104可以包括计算机系统的引擎、数据存储和/或其它组件。例如,时间同步视频捕捉装置104可以连接至智能手机、平板计算机或物联网(IoT)装置等,或者形成其一部分。时间同步视频捕捉装置104可以连接至诸如无人航空载具和/或无人机等的无人载具,以及/或者可以是其一部分。
在各种实现中,时间同步视频捕捉装置104包括除用于捕捉视频的照相机以外的传感器。例如,时间同步视频捕捉装置104可以包括诸如陀螺仪、加速度计、GPS传感器、磁力计和/或测距仪等的取向敏感或位置敏感的传感器。时间同步视频捕捉装置104还可以包括诸如麦克风或超声传感器等的声音传感器、诸如用于捕捉可见光范围以外的图像的光传感器等的替代光传感器、温度计或热电偶、压力或流量传感器、电位计和力感应电阻器、湿度传感器、气体传感器、PIR运动传感器、加速度传感器、位移传感器、测力传感器、颜色传感器、陀螺仪传感器以及其它传感器。
针对用于检测以不同速度行进的刺激的传感器,在使相对缓慢移动的刺激(诸如声音等)与相对快速移动的刺激(诸如光等)相关时,传感器距离对于确定偏移是非常重要的。如这里所使用的,“相对”是指正在比较的刺激(例如,分别为声音和光)。偏移是可选的,这是因为可能期望得到实际的声音延时,例如在观察到击球手击球并且其后不久听到球拍与球的碰撞响声时那样。然而,随着关注的物理区域的大小增大,视频捕捉装置处的不同声音变得越来越令人不安。在具体实现中,使用视频捕捉装置104中的仅一个视频捕捉装置的声音记录。在可选实现(图中未示出)中,一个或多个专用声音记录装置可被靠近声音源放置。如这里所使用的,靠近意味着比至少一个视频捕捉装置更接近声音源,以利用比在至少一个视频捕捉装置处接收到声音的情况下所需的偏移更小的偏移来捕捉声音。
使用时间同步装置的优点是,可以在不进行实质性预处理的情况下针对各个视角使帧对准。引入声音偏移可能增加预处理量,但是在至少一些实现中,期望使预处理最小化。用于减少声音偏移的预处理要求的技术涉及提供针对关注的物理区域中的对象的标记机制。例如,棒球选手通常会被给予便于跑垒员的容易识别的物件(诸如带有编号的制服等)。可以通过提供与识别性物件相关联的麦克风来增强视觉识别技术,其中该识别物件可以包括或者可以不包括用于确定对象和/或麦克风的当前位置的被动或主动组件。当观察对象(包括对较大合成图像中的对象进行放大)时,可以通过将时空中的声音与适用帧进行匹配来使声音馈送与视频馈送的正确的帧相关联。
在具体实现中,声音记录装置使用声音偏移来与时间同步视频捕捉装置104进行时间同步。也就是说,时间同步视频捕捉装置104相对于声音记录装置以微小的延迟进行操作。在最基本的实现中,将声音记录装置放置在距焦点某一距离处,并且将视频记录装置放置在距焦点第二距离处。为了简单起见,可以假设光从焦点行进至第二距离所需的时间为0,这是因为视频记录装置(即使是以高帧频(例如,240FPS)进行操作的视频记录装置)的帧频不能检测到附近的第一对象与例如始终在大型场地的另一侧的第二对象之间的延时。然而,如棒球选手击球并且接球手立即听到但看台上的球迷在稍后的时刻听到响声的情况所展示的,声音从位于场地相对侧(一侧近,一侧远)的第一对象和第二对象行进至视频记录装置所需的时间可以明显不同。为了抵消这种现象,视频可以偏移d/c,其中d是记录装置距焦点的距离,以及c是声速。
在图1A的示例中,关注的物理区域106旨在表示可以由一个或多个时间同步视频捕捉装置104成像的物理空间。关注的物理区域106可以与人(诸如运动员、表演者、或者通过时间同步视频捕捉装置104来记录动作的其他人)周围的相关空间相对应。在一些实现中,关注的物理区域106包括与时间同步视频捕捉装置104在特定时间进行记录的特定人周围的边界相对应的单个关注的物理区域。在各种实现中,关注的物理区域106包括与时间同步视频捕捉装置104在不同时间记录的一个人周围的边界相对应的多个关注的物理区域。在各种实现中,关注的物理区域106包括与时间同步视频捕捉装置104在不同时间记录的一个或多个人周围的边界相对应的多个关注的物理区域。
在图1A的示例中,关注的物理区域106具有可见部分114,其中该可见部分114旨在表示时间同步视频捕捉装置104捕捉图像所经由的关注的物理区域106的概念性窗口。如图1A的示例中所述,关注的物理区域106的可见部分114与时间同步视频捕捉装置104的视野116相对应。因此,时间同步视频捕捉装置104可以被表征为与关联于关注的物理区域106的时间同步视频捕捉装置104在任何给定时刻(或在某一时间段内)所见的可观察世界范围相对应的视野116。在图1A的示例中,视野116指向关注的物理区域106的可见部分114。在该示例中,视野116仅包含可见部分114,但是应当理解,该视野可能包含的比仅关注的物理区域106的可见部分114更多,从而使得捕捉到的图像的部分是无关的。可以期望通过使时间同步视频捕捉装置104适当地取向来避免无关的图像部分。作为替代或附加,可以对图像的无关部分进行剪裁以仅产生关注的物理区域106的可见部分114。
可见部分114可以但无需依赖于时间同步视频捕捉装置104的取向。作为示例,可见部分114可以与另一可见部分重叠(例如,第一个可见部分114(1)可以与第N个可见部分114(N)重叠)。作为另一示例,可见部分114可以包括关注的物理区域106的至少部分彼此正交的多个视角(例如,第一个可见部分114(1)可以包括关注的物理区域106的俯视视角,而第N个可见部分114(N)可以包括关注的物理区域106的横向视角)。作为又一示例,第一个可见部分114(1)可以包括物理区域106的第一个横向视角,而第N个可见部分114(N)可以包括关注的物理区域106的第二个横向视角。注意,在不偏离这里所述的本发明的概念的范围和实质的情况下,多个视角的其它组合是可能的。
在具体实现中,时间同步视频捕捉管理系统108可以使用诸如温度计和/或湿度检测器等的传感器来估计给定环境中的声速。声速c根据空气温度、湿度和其它因素而变化。例如,如果传感器(或天气预报)指示在海平面处温度为0℃且湿度为0%,则c可被估计为约331.3m/s。假设焦点距以120FPS进行操作的视频记录装置331米,则声音偏移为120帧。也就是说,在事件之后一秒听到的声音适用于视频记录装置检测到声音之前120帧处的帧。此外,可以使用公式-FPS×d/c来确定焦点和已知距离的某一其它视频记录装置之间的任何点的适用帧。具体地,在以上示例中,适用帧偏移为-120帧/s×(331m)/(331m/s)=-120帧。
确保视频记录装置时间同步的原因是为了确保帧在馈送自各装置时排队。如果两个记录装置以120FPS进行记录、但是其中一个在另一个之前的1/240秒开始记录,则帧是不匹配的。如果不匹配的帧拼接在一起,则由于在视角从一个照相机改变为下一个照相机时向视频馈送引入了“跳跃”而降低了视觉体验。声音也必须小心地与视频进行时间同步,以例如避免使声音与帧内的图像不完全对应。为此,声音记录的开始时间被固定(pin)为第一帧的开始,并且至少从概念上被分成持续时间等于1/FPS的段。因此,对于120FPS的馈送,声音段每个长为1/120秒,并且任何给定段的开始固定至相应帧的开始。有利地,将声音段固定至帧需要相对较少的计算消耗,使得能够以相对较小的延迟(针对包括距适用传感器约1km的焦点的馈送,可能为约3秒)实时地完成固定。
在具体实现中,时间同步视频捕捉装置104以不同的取向布置成围绕关注的物理区域106,以捕捉关注的物理区域106的不同视角。作为示例,时间同步视频捕捉装置104可被取向成围绕关注的物理区域106,使得第一时间同步视频捕捉装置104(1)的第一视野116(1)的一部分与第N个时间同步视频捕捉装置104(N)的第N个视野116(N)的一部分相重叠。作为另一示例,时间同步视频捕捉装置104可被取向成围绕关注的物理区域106,使得第一时间同步视频捕捉装置104(1)的第一视野116(1)的一部分与第N个时间同步视频捕捉装置104(N)的第N个视野116(N)的一部分正交。
在一些实现中,时间同步视频捕捉装置104在布置时被安装在一个或多个支架或框架上以及/或者便于从各个视角对关注的物理区域106进行视频捕捉。这一个或多个支架或框架可被配置为任意或非任意的形状,诸如圆顶、球、半球、圆柱、椭圆、线、平面、立方体或其它形状。在一些实现中,可以诸如通过将“x”放在潜在关注的区域周围的位置处来对要放置时间同步视频捕捉装置104的空间进行预标记。此外,如果这些位置是预标绘的,则对于需要知道各个位置的其它组件来说,这些位置的确定是相对不重要的。
在具体实现中,时间同步视频捕捉装置104的一部分被配置为与关注的物理区域106中的对象一起移动。例如,时间同步视频捕捉装置104可被安装在与关注的物理区域中的对象一起移动的平台上。作为替代或附加,时间同步视频捕捉装置104可以改变视野116以适应在关注的物理区域106中移动的对象。例如,时间同步视频捕捉装置104可被配置为绕底座旋转以跟随关注的物理区域106内的对象。在具体实现中,时间同步视频捕捉装置104和/或视野116通过使用关注的物理区域106中的对象身上的物体(饰物(fob)、指示符(beacon)等)来跟踪该对象。一般来说,使诸如麦克风等的全向传感器与对象一起移动不太重要,但是为了计算例如时变声音偏移而跟踪距对象的距离或者随着对象穿过棒球场上的诸如跑道等的路径或起点而从第一麦克风切换为第二麦克风可以是重要的。
在具体实现中,时间同步视频捕捉装置104是根据将三维位置坐标分配至空间中的位置的笛卡尔坐标系和/或大致笛卡尔坐标系而布置的。例如,时间同步视频捕捉装置104可以具有空间中的和/或相对于关注的物理区域的坐标。作为替代或附加,时间同步视频捕捉装置104的取向可以通过与时间同步视频捕捉装置104之上或者与时间同步视频捕捉装置104相关联的参考点/平面(例如,脸部、镜头等)正交的轴来定义。如这里进一步所述,时间同步视频捕捉装置104的重叠和/或正交取向可以捕捉关注的物理区域106的各个视角。
在图1A的示例中,时间同步视频捕捉管理系统108旨在表示如下的装置,其中该装置使用一个或多个自动代理来控制时间同步视频捕捉装置104并管理用于重放的拼接视频数据机构的提供。一般地,时间同步视频捕捉管理系统108管理来自对应的多个时间同步视频捕捉装置104的多个视频馈送。图1A的示例旨在示出用于通过计算机可读介质102将视频内容传送至时间同步视频捕捉管理系统108的时间同步视频捕捉装置104。例如,时间同步视频捕捉管理系统108可以包括如下的引擎和/或数据存储,其中这些引擎和/或数据存储被配置为指导时间同步视频捕捉装置104彼此同步、识别查看者视角、识别与这些查看者角度相关的视野116的取向、捕捉关注的物理区域106的视频内容、选择视野116、配置时间同步视频捕捉装置104、并且从时间同步视频捕捉装置104收集关注的物理区域106的视频内容。应当理解,时间同步视频捕捉管理系统108的部分或全部功能可以在时间同步视频捕捉装置104和/或重放装置110中的一个或多个之间共享。
在具体实现中,时间同步视频捕捉装置104(例如实时的情况下)在捕捉内容时;(例如在有限批的情况下)利用与时间同步触发之前、之后或附近的固定声音段相对应的延时(例如,近实时延迟的n秒);(例如在定期批的情况下)以具有可与视频或多媒体缓存大小相关的预定或可配置长度的批;或者在记录完成的情况下作为单个批,将视频内容流式传输至时间同步视频捕捉管理系统108。在各种实现中,时间同步视频捕捉装置104实现批量上传处理,在该批量上传处理中,在指定时间或者在指定共享触发的发生之时通过计算机可读介质102将所保存的视频内容上传至时间同步视频捕捉管理系统108。在一些实现中,时间同步视频捕捉装置104仅传送视频内容的被标记或以其它方式表示为与指定活动相关的部分。时间同步视频捕捉管理系统108进行一些预处理(诸如拼接视频馈送等),并将所得到的数据结构(诸如拼接视频数据结构)提供至重放装置110。时间同步视频捕捉管理系统108能够以分布式方式实现有在时间同步视频捕捉装置104和/或重放装置110中的一个或多个上实现的功能。
在具体实现中,时间同步视频捕捉管理系统108包括时间同步视频捕捉装置104同步至的主时钟。如上所述,时间同步视频捕捉管理系统108的功能可以分布或者可以不分布在其它装置上。例如,时间同步视频捕捉装置104可以包括主时间同步视频捕捉装置和从时间同步视频捕捉装置。继续该示例,在捕捉关注的物理区域106的视频内容之后,从时间同步视频捕捉装置将视频内容发送至时间同步视频捕捉管理系统108或发送至用于将该视频内容提供至时间同步视频捕捉管理系统108(其可以被实现在或者可以不被实现在主时间同步视频捕捉装置上)和重放装置110的主时间同步视频捕捉装置。
在具体实现中,时间同步视频捕捉管理系统108利用取向标记对时间同步视频捕捉装置104的取向进行标记。如这里所使用的,“取向标记”是指用于标记时间同步视频捕捉装置104的取向的数据结构。取向标记可以包括与时间同步视频捕捉装置104的位置(全局位置、相对于关注的物理区域106的相对位置等)相关的信息。在各种实现中,取向标记包括笛卡尔坐标以及/或者与时间同步视频捕捉装置104的参考点/平面(例如,面、镜头等)正交的轴的参数。作为替代或附加,时间同步视频捕捉管理系统108可以利用取向标记对与关注的物理区域106的可见部分114相关联的馈送进行标记。有利地,取向标记包括足以将照相机位置信息传递至时间同步视频捕捉管理系统108的数据,以使得时间同步视频捕捉管理系统108能够将来自时间同步视频捕捉装置104的各种视频馈送拼接在一起,使得各种视频馈送与捕捉了拼接的视频数据结构或其表示内的各种视频馈送的时间同步视频捕捉装置104的照相机位置相关。
在具体实现中,时间同步视频捕捉管理系统108使用从时间同步视频捕捉装置104获得的视频内容以及时间同步视频捕捉装置104的取向的取向标记(和/或与其相关联的馈送),来创建一个或多个关注的物理区域106的三维圆顶表示。如这里所使用的,“三维圆顶表示”是指在关注的物理区域106的多个时间同步视频捕捉装置104在时间同步时间段内捕捉并且以三维构造拼接在一起的累积视频内容可以概念性地贴附的框架的表示。应当注意,“圆顶”无需是平滑的弧,并且如这里所使用地可以包括多个平坦面。三维圆顶表示可以使用一个或多个取向标记来识别视频内容相对于数据结构中所包括的其它视频内容、或者相对于某一其它基线度量的取向。如本文中所使用的,三维圆顶表示被假设为圆顶的一部分(诸如半圆顶等),但可以包括完整的圆顶或者甚至包括球体。更一般地,框架可被称为三维(部分或完全)外壳,其中该三维外壳可以与具有对应于照相机位置的两个或更多个面向内的角度的任何形状相对应、并且可以包括任何形状,直至包括完全包含空间的包括性的形状(诸如上述球体)、或者诸如椭圆、管等的某一其它形状。
在具体实现中,时间同步视频捕捉管理系统108通过根据时间同步视频捕捉装置104的照相机的取向在构造上将各个视频馈送放置在三维外壳上,来创建关注的物理区域106的拼接视频数据结构。如这里所使用的,拼接视频数据结构包括与被布置为使得各种视频馈送被取向为与用于捕捉视频馈送的照相机的取向相匹配的关注的物理区域106的可见部分114相关联的视频内容。
在具体实现中,拼接视频数据结构的拼接视频表示包括用于标记与视野116相关联的视角的一个或多个视角UI元素。在一些实现中,视角UI元素包括叠加在与适用视角相对应的拼接视频表示的一部分上的浮动虚拟对象(例如,浮动多边形、浮动形状、浮动字符等)。根据特定实现或特定配置的考虑,视角UI元素可以是主动的或被动的。例如,主动视角UI元素可以允许检查者选择特定时间的拼接视频表示中的视角,例如通过使得用户能够“抓取”视角UI元素并且使三维外壳表示旋转至与当前显示的拼接视频视角不同的视角(例如,使检查者能够在与捕捉视角的照相机的视角类似的视角之间进行切换)来进行选择。例如,被动视角UI元素可以(例如,通过给出罗盘方向或某一其它取向指示来)指示当前视角,但是除提供信息以外不具有相应的激活功能。在具体实现中,主动和/或被动视角UI元素的网格从概念上以不可知视频内容的方式叠加在视频馈送上,但是其可以是或者可以不是可见的,这取决于当前视角。例如,主动视角UI元素可以仅在叠加在当前视角的视频馈送上时可见,并且在叠加在相邻视角上时可以可见或者可以不可见。可选地,主动视角UI元素的所有的或不同的子集可以是透明的以使得能够与拼接视频表示进行交互,但是不会将自身可见地置于在检查者和视频馈送之间。根据特定实现和/或特定配置的因素,随着拼接视频表示从一个视角移动至下一个视角,视频馈送其中之一可以连续地播放,直到视角完全变为下一个视频为止。可选地,可以暂停当前播放的视频。有利地,检查者可以围绕三维外壳移动,从而以用于在由于形成拼接视频数据结构所使用的视频内容的时间同步而改变视角时将视角保持在关注对象上而基本上没有抖动的直观方式来观察关注的对象。
根据特定实现和/或特定配置的考虑,三维外壳表示可以适应或者可以不适应来自不同同步视频捕捉装置104的视频内容的不同帧频。作为示例,三维外壳数据结构可以便于使帧对准,使得通过使120FPS馈送的第一帧与240FPS馈送的第一帧和第二帧相匹配、使120FPS馈送的第二帧与240FPS馈送的第三帧和第四帧相匹配等使以120FPS捕捉的视频内容在时间上与以240FPS捕捉的视频内容对准。作为另一示例,较慢馈送中的帧的数量可以翻倍,或者较快馈送中可以对每隔一个帧进行省略,使得拼接视频表示看起来跨各视角或者多个视角的适当子集具有一直的帧频。
根据距给定视角的焦点的视距,可以对声音段进行不同的固定。有利地,放大或缩小可以改变距焦点的视距并且产生不同的声音偏移,相应地改变声音段所固定至的帧,并且作为替代或附加地改变播放声音段的音量(例如,放大时的声音段比缩小时的声音段更大声)。可以期望控制缩放速度或声音段的相位,以避免放大过快而使得声音被播放两次或者缩小过快而使得存在没有声音段被固定至帧的一时间范围。在具体实现中,可导致先前播放过的声音段被重放的放大可能伴随有与在使盒式磁带倒回时听到的声音(亦称“倒回声音”)类似的声音。作为替代或附加,在播放声音段并且“赶上”当前(新缩小的)帧时,可导致在声音段再固定至较晚的帧时跳过该声音段的缩小可能伴随有静态帧图像。
在图1A的示例中,重放装置110旨在表示使用一个或多个自动代理和用户输入来控制拼接视频数据结构的各个视角的显示的装置。图1A的示例旨在示出用于将拼接视频数据结构或其一个或多个视角传送至重放装置110的时间同步视频捕捉管理系统108。在各种实现中,重放装置110包括移动电话、平板计算装置和其它适用装置中的一个或多个。在具体实现中,时间同步视频捕捉管理系统108在时间同步视频捕捉装置104捕捉到关注的物理区域106的视频内容之时或不久之后将拼接视频数据结构或其一个或多个视角流式传输至重放装置110。这样的实现便于基本上实时的检查,这旨在意味着关注的物理区域106中的动作的实时或者具有短暂延迟的实时。这样的实现可以作为替代或附加而便于并行检查,这旨在意味着分批提供用于实现当前事件的检查的馈送、但是由于在当前事件结束之前被提供至重放装置110的馈送的批处理因而具有显著延迟。本文所述的技术还可以改进使用所记录的重放的系统。
在具体实现中,时间同步视频捕捉管理系统108在发生指定条件时和/或响应于来自重放装置110的请求而将拼接实时馈送、延迟实时馈送或记录馈送提供至重放装置110。在任何情况下,视频捕捉装置的时间同步确保各馈送的第一帧是时间同步的、并且后续帧具有在拼接在一起的其它馈送中相应同步的帧。
在图100A中,重放装置110包括图形界面112,其中该图形界面112旨在表示用以便于检查者与拼接视频表示的交互的界面。在各种实现中,图形界面112包括图形用户界面,包括但不限于图形菜单驱动界面、触摸屏显示器、语音激活显示器等。在各种实现中,交互包括与视频内容的交互(停止、暂停、播放、倒回、快进、放大、缩小、旋转、调整大小等)。交互还可以包括使用视角UI元素选择关注的物理区域106的不同视角。
图1B描绘了时间同步视频捕捉环境的示例的图100B。图100B包括计算机可读介质102、时间同步视频捕捉装置104、关注的物理区域106、时间同步视频捕捉管理系统108、以及重放装置110。在图1B中,关注的物理区域106旨在示出单个关注的物理区域。关注的物理区域106被示为立方体,但是在各种实现中,其可以包括任何任意或非任意的大小和形状。
在图1B的示例中,时间同步视频捕捉装置104包括关注的物理区域周围的支架上所安装的四个适用装置。如图1B所示,第一时间同步视频捕捉装置104的取向朝向关注的物理区域106的左面。第二时间同步视频捕捉装置104的取向朝向关注的物理区域106的左前角。第三时间同步视频捕捉装置104的取向朝向关注的物理区域106的前面。第四时间同步视频捕捉装置104的取向朝向关注的物理区域106的右面。第五时间同步视频捕捉装置104被安装在延伸到关注的物理区域106的顶部的杆上,并且其取向朝向关注的物理区域106的顶面。第六时间同步视频捕捉装置104被安装在无人航空载具上,并且其取向朝向关注的物理区域106的顶面。
在具体实现中,时间同步视频捕捉管理系统108从各时间同步视频捕捉装置104收集视频内容。如先前参考图1A所述,时间同步视频捕捉管理系统108可以识别和/或标记与关注的物理区域106相关的时间同步视频捕捉装置104的取向。例如,时间同步视频捕捉管理系统108可以利用相对于关注的物理区域106的笛卡尔坐标来标记各时间同步视频捕捉装置104,以及/或者识别与时间同步视频捕捉装置104中的参考点正交、并且用于将时间同步视频捕捉装置104与关注的物理区域106相连接的轴的角度。
在具体实现中,时间同步视频捕捉管理系统108创建来自时间同步视频捕捉装置104的视频内容的三维立方表示。时间同步视频捕捉管理系统108可以使用关注的物理区域106的三维立方表示或边子集矩形表示来创建一个或多个关注的区域的拼接视频表示。作为替代或附加,时间同步视频捕捉管理系统108可以创建来自时间同步视频捕捉装置104的视频内容的三维球形或半球形(例如,圆顶形状的)表示。作为替代或附加,时间同步视频捕捉管理系统108可以创建来自时间同步视频捕捉装置104的视频内容的三维多面体(例如,八角形棱镜)或其一部分的表示、或者在形状上等同于砌贴在球体或半球体上的三维形状。时间同步视频捕捉管理系统108可以将关注的物理区域106的拼接视频表示提供至重放装置110。
在图1B的示例中,重放装置110旨在示出使得检查者能够与拼接视频表示进行交互的方式。在各种实现中,交互可以包括与视频内容的交互(停止、暂停、播放、倒回、快进、缩放、旋转、调整大小等)。交互还可以包括使用视角UI元素选择关注的物理区域106的不同视角。
图1C描绘了时间同步视频捕捉环境的示例的图100C。图100C包括计算机可读介质102、时间同步视频捕捉装置104、关注的物理区域106、时间同步视频捕捉管理系统108、以及重放装置110。
在图1C的示例中,关注的物理区域106包括多个离散的关注的物理区域。关注的物理区域106被示为多个立方体,但是在各种实现中可以包括多个任意或非任意的大小和形状。在具体实现中,时间同步视频捕捉装置104进行操作以根据关注的物理区域内的对象的位置来捕捉该关注的物理区域106的不同部分。例如,时间同步视频捕捉装置104的一部分可被配置为与关注的物理区域106中的对象一起移动。为了便于这种移动,时间同步视频捕捉装置104可被安装在与关注的物理区域中的对象一起移动的平台上。根据特定实现和/或特定配置的考虑,时间同步视频捕捉装置104可被配置为改变视野以适应在关注的物理区域106中移动的对象。例如,时间同步视频捕捉装置104可被配置为绕底座旋转以跟随关注的物理区域106内的对象。作为替代或附加,时间同步视频捕捉装置104和/或其视野可以通过使用关注的物理区域106中的对象上的装置(饰物、指示符等)来跟踪该对象。
图1D描绘了时间同步视频捕捉环境的示例的图100D。图100D包括时间同步视频捕捉装置104、关注的物理区域106和重放装置110。图100D还包括对象118和检查者120。在该示例中,对象118显示为击球的棒球选手。关注的物理区域106可以包括对象118周围的对象动作(例如,击球)受到关注的相关区域。时间同步视频捕捉装置104可以使用这里所述的技术来捕捉对象118的动作。检查者120可以在重放装置110上检查指定时间(例如,作为本示例中的对象118的击球手正尝试击球时)的关注的物理区域106的拼接视频表示。
示例性时间同步视频捕捉装置
图2描绘了时间同步视频捕捉装置的示例的图200。图200包括视频捕捉引擎202、视频照相机204、网络接口206、图形界面208、传感器210、视频内容数据存储212、以及壳体214。在图2的示例中,视频捕捉引擎202包括视频照相机控制引擎222、视野管理引擎224、时间同步管理引擎226、以及视频内容管理引擎228。
视频照相机控制引擎222旨在表示使用一个或多个自动代理来处理指示以管理视频照相机204的装置。有利地,自动代理代表较大的系统以确保各视频照相机在没有人工交互的情况下履行时间同步视频捕捉装置集合的一部分的角色,这会使得不能够维持时间同步、以及/或者生成可适当地拼接在一起的馈送。视频照相机控制引擎222可以包括用以指示视频照相机204发起、结束视频内容记录的驱动器和/或控制电路。用以管理视频照相机204的指令可以经由网络接口206来自时间同步视频捕捉管理系统,或者来自(例如,经由闪存存储器装置或图形用户界面)手动输入至装置的规则。
视野管理引擎224旨在表示使用一个或多个自动代理来建立适合捕捉关注的物理区域的一部分的视野(例如参见图1A~图1D)的装置。在具体实现中,视野管理引擎224负责调整时间同步视频捕捉装置的物理放置和/或视频照相机204的取向或配置。例如,人可以放置时间同步视频捕捉装置以尝试建立期望视野。在该示例中,视野管理引擎224提供与视野是否理想或适当有关的反馈。在人调整装置的取向的示例中,可以经由图形界面208(或者通过一些其它人机界面)来提供反馈。在时间同步视频捕捉装置安装在自动移动平台(未示出)的示例中,视野管理引擎224可以指示移动平台控制器移动该移动平台以实现视频照相机204的期望取向。在该示例中,反馈可以是或者可以不是必需的,这取决于移动平台控制器如何接收指示以及移动平台在对视频照相机204进行定位时有多精确。视野管理引擎224可以跨装置工作,以通过建立作为基线(不移动)装置的第一时间同步视频捕捉装置、或者通过动态地调整各种装置中的任意或全部装置捕捉视野的期望组合,来协调多个时间同步视频捕捉装置的视野。
在具体实现中,视野管理引擎224接收与预期视野有关的参数(例如,相关角度、要聚焦的相关对象、距对象的相关距离等)。相应的指示可以被中继到人或移动平台以供如上所述的时间同步视频捕捉装置的初始放置用,并且可以经由视频照相机控制引擎222而被中继至视频照相机204以进行旋转、移动等,使得在该视频照相机上显示适当的视野。例如,假设视频照相机204可以(例如,经由缩放或其它控制来)调整视野,则视频照相机控制引擎222可以指示视频照相机204响应于来自视野管理引擎224的指令而修改视野。预期视野可以但不必与关注的物理区域的期望视角相关。有利地,自动代理可以减轻与可能产生对于拼接而言并非最优馈送的由人提供即时视野调整相关联的风险。
时间同步管理引擎226旨在表示使用一个或多个自动代理来处理用于使视频照相机204的视频捕捉与其它时间同步视频捕捉装置的视频照相机的视频捕捉、或通过这些视频照相机所捕捉的图像同步的指令的装置。有利地,自动代理能够以人们根本无法完成的方式实现多个时间同步视频捕捉装置间的时间同步。例如,对于要进行适当的时间同步的多个120FPS照相机,人在各装置处在“相同时间”按下开始将可能相差几十帧。
在具体实现中,时间同步管理引擎226使用时间同步触发以在激活时间同步触发之前、之时或之后的时间开始或结束记录。针对在激活时间同步触发之前开始或结束记录,可以缓冲馈送以使得记录能够在激活之前的时间开始或结束。实际上,“开始记录”的动作在没有相对瞬时地激活照相机的情况下可能是有问题的,从而使得在一些实现中特别期望在开始记录之前进行缓冲。例如,来自视频照相机的馈送可以在指定时间处和/或在指定时间的同步触发发生之前、之时或之后被缓冲或以其它方式储存在视频内容数据存储212中。作为替代或附加,视频照相机204可以连续地进行记录,但是仅缓冲记录内容的子集(或者储存用于批处理的记录内容的子集)。在各种实现中,时间同步管理引擎226针对与时间同步触发相关联的事件来(主动地或被动地)对视频照相机204、网络接口206、图形界面208和/或传感器210进行监视。
如这里所使用的,“时间同步触发”是指如下的事件,其中该事件的发生导致视频照相机204发起视频记录或使得时间同步管理引擎226能够识别视频照相机204先前或并行捕捉的、储存在视频内容数据存储212中的馈送的开始帧。事件的发生也可被称为时间同步刺激。时间同步刺激的示例包括时钟信号(例如,来自定时器/警报器或时钟)、特定声音(例如,球拍或高尔夫球杆击球的声音、球拍或高尔夫球杆挥动的声音、拳击/踢腿的声音、溜冰鞋在溜冰场上移动的声音等)、电磁信号(例如,使得能够使用机器视觉来识别活动中的特定动作或者针对事件的响应(诸如,通过查看对于拳击的身体反应来确定人被拳击)的可见光)、运动(例如,使用运动检测器进行检测)。时间同步刺激还可以来自与被摄体的物理位置相关联的装置(例如,饰物、指示符等)。可以由或可以不由传感器210检测时间同步刺激。相对简单的时间同步触发仅仅是事件的明确开始时间。有利地,时间同步管理引擎226可以使用时间同步触发来标记或以其它方式表示与活动相关的视频内容的部分。视频照相机控制引擎222指示视频照相机204响应于时间同步触发而发起记录,其中该时间同步触发至少是由时间同步管理引擎226指定开始记录的明确指示。
视频内容管理引擎228旨在表示使用一个或多个自动代理来处理用以管理视频照相机204所捕捉的视频内容的指示的装置。有利地,视频内容管理引擎228可以近实时地管理视频内容(或者至少具有近实时地管理视频内容的能力)。例如,在一些实现中,在时间同步触发之前和之后都可以连续地记录视频内容,但是视频内容管理引擎228可以仅在发生同步触发之前或之后传送存在于与时间同步触发相关联的基于规则的时间跨度内的视频内容的部分。视频内容管理引擎228可以控制视频内容数据存储212的内容,包括创建读取、更新或删除数据结构。
根据特定实现和/或特定配置的考虑,时间同步触发可以指示出:视频照相机204所捕捉的所有视频内容要被流式传输或分批发送,或者视频内容的适当子集要被流式传输或分批发送。视频内容管理引擎228可以将视频照相机204所捕捉的视频内容储存在视频内容数据存储212中。根据特定实现或特定配置的考虑,视频内容管理引擎228通过网络接口206在具有或不具有延迟的情况下流式传输或以其它方式(诸如在一个或多个批文件中)发送视频照相机204所捕捉的视频内容。有利地,如所描述的,视频内容管理引擎228能够以相对少的预处理来流式传输或分批发送视频内容数据存储212中所缓冲或以其它方式所储存的视频内容的全部或子集。根据特定实现和/或特定配置的考虑,视频内容管理引擎228可以使得人或自动代理能够经由图形界面208在视频照相机204已捕捉到视频内容之后对该视频内容进行编辑(过滤等)。然而,由于自动代理防止在人们控制对视频内容的管理的情况下所固有的帧未对准并且使管理操作加速成足以实现各种馈送的实时或近实时拼接,因此在至少一些实现中,自动代理负责帧对准。
在具体实现中,视频照相机204具有针对各视频照相机204而言相同的静态帧频。在该实现中,用于捕捉关注的物理区域(例如,参见图1A~图1D)的可见部分的其它视频照相机可以具有相同的静态帧频。时间同步视频捕捉装置间的静态帧频的优点在于,各照相机的各帧在时间上与其它关注的照相机的各相应帧同步。也就是说,来自第一照相机的视频馈送的帧3与来自第二照相机(以及事实上每个其它关注的照相机)的视频馈送的帧3同步。有利地,逐帧同步基本上减少了针对各馈送的预处理要求,并且使得易于选择各馈送中的受关注且可以容易对准的子集。在时间同步视频捕捉装置处已知第一帧的情况下,视频内容管理引擎228可以从概念上对第一帧之前的所有帧进行剪裁,并且(经由流式传输或分批地)开始发送以所述第一帧开始的馈送。同样,在时间同步视频捕捉装置处已知最后一帧的情况下,视频内容管理引擎228可以从概念上对最后一帧之后的所有帧进行剪裁,并且在达到最后一帧时停止发送馈送。
在可选实现中,视频照相机204包括具有不同(可配置的或静态的)帧频的照相机。在该实现中,用于捕捉关注的物理区域(例如,参见图1A~图1D)的可见部分的其它视频照相机也可以具有不同(可配置的或静态的)帧频。作为示例,第一视频照相机204能够以120帧/秒(FPS)来捕捉图像,而第二视频照相机204(或不同时间同步视频捕捉装置中的照相机)能够以240FPS来捕捉图像。时间同步使各种馈送各自的第一帧与可以(从较高的FPS馈送中)丢弃一些帧或者(向较低FPS馈送)添加一些帧这一理解相关。在馈送具有不匹配的帧时(诸如在一个馈送是60FPS而另一个馈送是100FPS的情况下),可能发生次优拼接。在该示例中,60FPS馈送中的第二帧在时间上位于100FPS馈送中的第二帧和第三帧之间。根据特定实现或特定配置的考虑,可以期望求出最小公分母(LCD)(在60FPS和100FPS的示例中为10),并且丢弃与10FPS框架未对准的任何帧。例如,如果教练正在分析高尔夫球手的挥动,则该教练可以发现更有用的是牺牲FPS以出于实际确保帧完全时间同步。如果适用的话,至少从概念上将声音段固定至LCD帧。在其它情况下,可以期望将帧频保持得更高以使得馈送能够更像现代电影那样流动,其风险是抖动的拼接或更模糊的帧。例如,如果检查者不想以最高捕捉帧频来观看帧,则馈送能够以当前视野的速度进行播放,使得在利用以60FPS捕捉的第一视图查看关注的物理区域时,馈送以60FPS进行播放,但是在改变为与100FPS照相机相关联的第二视图时,馈送以100FPS进行播放。(稍后将结合重放装置来讨论视野之间的改变。)在其它情况下,可以选择静态FPS重放,使得即使在以100FPS捕捉一个或多个馈送的情况下,也例如以60FPS来检查所有馈送。根据特定实现和/或特定配置的考虑,视频内容管理引擎228可以负责或者可以不负责以规定的FPS提供馈送;还可以在(后述的)时间同步视频捕捉管理系统处进行调整。
在图2的示例中,视频照相机204旨在表示被配置为捕捉关注的物理区域的部分的视频的装置。在一些实现中,视频照相机204包括用于收集和/或储存视频内容的镜头、聚焦硬件、传感器、存储介质等。视频照相机204可以包括以多焦点、比移动电话照相机更高的快门速度等为特征的专门和/或专用视频照相机。视频照相机204可以包括被配置为捕捉三维视频内容的深度照相机(例如,深度传感器和照相机的组合)。作为示例,视频照相机204可以包括深度传感器,其中该深度传感器感测位于距视频照相机204指定距离处的轮廓。视频照相机204可以使用来自深度传感器的数据连同来自光学硬件的图像数据来识别关注的物理区域的三维属性。可选地,视频照相机204可以包括立体照相机,其中该立体照相机通常被实现为具有足够空间差异以捕捉立体图像的两个或更多个光传感器。
在图2的示例中,网络接口206旨在表示便于通过计算机可读介质的通信的驱动器和/或控制电路。网络接口206可以包括时间同步视频捕捉装置200中的装置或其它端口。
在图2的示例中,图形界面208旨在表示用于向人提供输出以及/或者从人接收输入的驱动器和/或控制电路。图形界面208是可选的,这是因为在一些实现中,时间同步视频捕捉装置可以完全自动。图形界面208的具体示例是智能手机屏幕,其中个人通过该智能手机屏幕输入指令,以使得该智能手机能够用作时间同步视频捕捉装置。
在图2的示例中,传感器210旨在表示被配置为感测时间同步视频捕捉装置200周围的物理性质的硬件、驱动器和/或控制电路。在各种实现中,传感器210包括被配置为感测声音的音频传感器。音频传感器可被配置为识别与各种活动相关联的特定声音(例如,球拍或高尔夫球杆击球的声音、球拍或高尔夫球杆挥动的声音、拳击/踢腿的声音、溜冰鞋在溜冰场上移动的声音等)。传感器210可以包括用于识别时间同步视频捕捉装置200周围的环境的物理属性的机器视觉传感器。传感器210可以包括用于检测指定运动的运动检测传感器。在一些实现中,传感器210包括用于识别视频记录的对象的物理位置的无线网络传感器(蓝牙传感器、低功耗蓝牙传感器、射频识别(RFID)传感器等)。传感器210可以提供如先前所讨论可以用作时间同步触发的基础的传感器数据。在所捕捉传感器数据被并入多媒体馈送的范围内,视频捕捉引擎202可被表征为针对各传感器或传感器组具有相应的传感器控制引擎和媒体内容管理引擎的“多媒体捕捉引擎”。
在图2的示例中,视频内容数据存储212旨在表示被配置为储存视频照相机204所捕捉的视频内容的数据存储。视频内容数据存储212包括视频馈送。根据特定实现和/或特定配置的考虑,视频馈送可以利用音频或其它类型的馈送来增强、并且被表征为“多媒体馈送”。如果传感器210具有相应的离散馈送,则这些传感器210还可以具有相应的媒体存储数据存储(未示出)。
在图2的示例中,壳体214旨在表示针对时间同步视频捕捉装置的各种组件的保护壳体。根据特定实现和/或特定配置的考虑,壳体214可以是智能手机壳体、膝上型计算机壳体、或者用于时间同步视频捕捉装置的各种组件的一些其它装置壳体。在具体实现中,壳体214包括动作壳体,其中该动作壳体旨在指代用于保护照相机和/或与照相机结合使用的传感器的壳体、并且便于安装与特定活动相关联的时间同步视频捕捉装置。动作壳体还可被实现为平台的一部分(诸如接收时间同步视频捕捉装置的腔、或用于时间同步视频捕捉装置的安装件等)。动作壳体可以根据环境以及/或者根据特定实现和/或特定配置的考虑而变化。
在操作示例中,人们将时间同步视频捕捉装置定位成面向关注的物理区域。(自动移动平台可以消除人们对装置进行定位的需求。)可以注意到,装置可以在或者可以不在部署时时间同步,但是这将是装置在整个示例中被称为时间同步的原因。视野管理引擎224经由网络接口206和/或图形用户界面208来提供指令以调整时间同步视频捕捉装置的取向,以及/或者向视频照相机控制引擎222提供指令以在没有进一步的人工交互的情况下捕捉关注的物理区域的相关视野。视频照相机控制引擎222经由网络接口206和/或图形用户界面208来提供指令以激活(唤醒或开始记录等)视频照相机204;视频照相机204所捕捉的图像被储存在视频内容数据存储212中。用于经由网络接口206和/或图形用户界面208来接收时间同步触发的时间同步管理引擎226检测来自时钟(未示出)、视频照相机204和/或传感器210的与时间同步触发相关联的时间同步刺激,并向视频照相机204提供开始记录的指令以及/或者向视频内容管理引擎228通知检测到刺激,以使得能够识别馈送的开始帧(这可以涉及或者可以不涉及对馈送的预处理)。视频内容管理引擎228指示网络接口206在具有或不具有延迟的情况下对视频内容进行流式传输、或者从视频内容数据存储212分批发送馈送。
示例性重放装置
图3描绘了重放装置的示例的图300。图300包括重放引擎302、网络接口304、图形界面306、拼接视频数据存储310、以及壳体318。在图3的示例中,重放引擎302包括拼接视频表示处理引擎312、拼接视频表示视角引擎314、和用户交互管理引擎316。
在各种实现中,重放装置110支持在该重放装置110上实现的、便于与关注的物理区域106的拼接视频表示的交互的处理、应用或网页等。
拼接视频表示处理引擎312旨在表示使用一个或多个自动代理来处理一个或多个关注的物理区域的拼接视频表示的装置。在具体实现中,拼接视频表示处理引擎312可以经由网络接口304来接收并在图形界面306上显示拼接视频(利用或不利用视角UI元素,其中这些视角UI元素使得检查者能够选择与捕捉适用视频内容的照相机的视野相对应的关注的物理区域的视角或视角子集)并视频。可选地,拼接视频表示处理引擎312可以经由除网络接口304以外的诸如USB端口等的接口(未示出)来接收拼接视频,以及/或者经由除图形用户界面306以外的或者作为图形用户界面306的附加的诸如web页面等的界面(未示出)来显示拼接视频。
在具体实现中,拼接视频表示处理引擎312向图形界面306提供指令以显示一个或多个关注的物理区域的拼接视频表示。例如,拼接视频表示处理引擎312可以与图形界面306上所显示的应用进行通信,以在该应用中显示拼接视频表示。拼接视频表示处理引擎312可以访问该应用所支持的一个或多个应用程序接口(API)以提供特定图像、绘制等,从而在图形界面306上显示拼接视频表示。
拼接视频表示视角引擎314旨在表示使用一个或多个自动代理以便于管理图形界面306上所显示的拼接视频表示的视角的管理的装置。有利地,一个或多个自动代理可以解释来自一个人或这个人的代理的输入,以根据该输入来显示拼接视频表示的视角。例如,拼接视频表示视角引擎314的自动代理可以解释与图形界面306的交互,以提供期望视角的拼接视频表示。为了便于人工交互,拼接视频表示可以包括视角UI元素,诸如抓住拼接视频并且使拼接视频从第一视角旋转至第二视角所利用的图形“手柄”等。
在具体实现中,自动代理处理重放指令,诸如停止重放、暂停重放、发起或继续重放、使重放倒回、以及使重放快进的指令。作为替代或附加,自动代理可以处理用以修改拼接视频表示的大小或区域的指令。作为示例,拼接视频表示视角引擎314的自动代理可以处理用以放大、缩小、旋转、调整大小或以其它方式修改拼接视频表示的指示。根据特定实现和/或特定配置的考虑,改变视角可以导致声音偏移或音量或多媒体表示的其它方面的相应改变。
用户交互管理引擎316旨在表示使用一个或多个自动代理来从图形界面306接收用户交互、并将相应的用户交互指令提供至其它引擎的装置。在具体实现中,用户交互管理引擎316实现用以控制时间同步视频捕捉装置的指令。例如,用户交互管理引擎316可以处理用以控制时间同步视频捕捉装置的每秒帧数(FPS)、快门速度、启用/停用状态、光度量、高度、缩放、旋转等的指令。在一些实现中,用户交互管理引擎316使得检查者能够放大和/或聚焦拼接视频表示中的被摄体。
在图3的示例中,网络接口304旨在表示用于向计算机可读介质提供数据以及从计算机可读介质发送数据的驱动器和/或控制电路。网络接口304可以包括重放装置中的装置或端口。作为替代或附加,重放装置可以包括其它接口(诸如USB端口等)、多种网络接口类型(例如,WiFi、4G、以太网等)、以及DVD播放器等。
在图3的示例中,图形界面306旨在表示用于从检查者接收用户输入和/或向检查者显示内容的驱动器和/或控制电路。作为替代或附加,重放装置可以包括诸如键盘、鼠标和手势传感器等的其它输入装置、以及诸如外围设备、扬声器和振动器等的其它显示装置。
在图3的示例中,拼接视频数据存储310旨在表示用于储存与一个或多个关注的物理区域相关联的拼接视频数据结构的数据存储。根据特定实现或特定配置的考虑,拼接视频数据存储310可以使用拼接视频数据结构、在视角改变时对拼接视频表示进行重新缓冲,以根据当前视角构造拼接视频表示。可选地,拼接视频数据存储310可以对与构造拼接馈送所使用的馈送的数量相对应的所有可能的视角进行缓冲,并在经由来自检查者或检查者的代理的输入暗示期望视角变化的情况下切换至适当的缓冲器。
在图3的示例中,壳体318旨在表示针对时间同步视频重放装置的各种组件的保护壳体。根据特定实现和/或特定配置的考虑,壳体318可以是智能手机壳体、膝上型计算机壳体、或者时间同步视频重放装置的各种组件的一些其它装置壳体。
在操作示例中,网络接口304接收一个或多个拼接视频表示数据结构。拼接视频表示处理引擎312将拼接视频表示储存在拼接视频数据存储310中。拼接视频表示处理引擎312基于经由图形界面306接收并且由用户交互管理引擎316处理的用户指示来收集用以与拼接视频表示进行交互的用户指示。与用户交互相对应的命令被提供至拼接视频表示处理引擎312,其可以指示图形界面306显示或修改拼接视频表示的显示。重放引擎302进行操作,以根据相关拼接视频表示数据结构和经由图形界面30的相关指令来显示一个或多个关注的物理区域的拼接视频表示。
示例性时间同步视频捕捉管理系统
图4描绘了时间同步视频捕捉管理系统的示例的图400。图400包括视频捕捉管理引擎402、时间同步触发数据存储404、取向标记数据存储406、视角UI元素数据存储408和视频内容数据存储410。在图4的示例中,视频捕捉管理引擎402包括时间同步管理引擎412、时间同步视频捕捉装置管理引擎414、重放装置管理引擎416、区域识别引擎418、三维圆顶表示整合引擎420、以及拼接视频表示管理引擎422。时间同步视频捕捉管理系统可以包括其它引擎和数据存储(未示出),诸如用于储存时间同步视频捕捉装置的元数据(例如,型号名称、型号等)的元数据数据存储等。
时间同步管理引擎412旨在表示使用一个或多个自动代理来管理时间同步触发以作为时间同步视频捕捉装置所进行的对关注的物理区域的视频捕捉的基础的装置。例如,时间同步管理引擎412可以管理与给定事件/关注的物理区域的视频捕捉相关的一个或多个指定时间和/或一个或多个指定物理条件。
在具体实现中,时间同步管理引擎412还使用一个或多个自动代理来管理与被进行视频捕捉的活动相关的一个或多个指定声音。可以管理的声音的示例包括球拍或高尔夫球杆击球的声音、球拍或高尔夫球杆挥动的声音、拳击/踢腿的声音、溜冰鞋在溜冰场上移动的声音等。在各种实现中,时间同步管理引擎412管理形成时间同步触发的基础的机器视觉技术,诸如用于识别活动中的特定动作的技术等。时间同步管理引擎412可以管理来自与视频记录的被摄体的物理位置相关联并且用作一个或多个时间同步触发的基础的装置(例如,饰物、指示符等)的特定信号的布置。
时间同步视频捕捉装置管理引擎414旨在表示使用一个或多个自动代理来管理时间同步视频捕捉装置的装置。例如,时间同步视频捕捉装置管理引擎414可以向时间同步视频捕捉装置提供时间同步触发。时间同步视频捕捉装置管理引擎414还可以向时间同步视频捕捉装置提供用以控制视频照相机和/或传感器朝向关注的物理区域的指令。作为示例,时间同步视频捕捉装置管理引擎414可以向时间同步视频捕捉装置提供特定缩放设置、朝向物理对象的特定取向等。时间同步视频捕捉装置管理引擎414可以向时间同步视频捕捉装置提供时间同步触发以及用以对时间同步触发进行响应的指令。时间同步视频捕捉装置管理引擎414可以提供用以控制时间同步视频捕捉装置的指令。例如,重放装置管理引擎416可以向时间同步视频捕捉装置提供用以捕捉特定场景、特定关注的物理区域或特定活动的指令。
重放装置管理引擎416旨在表示使用一个或多个自动代理来重放装置的装置。例如,重放装置管理引擎416可以向重放装置提供用以设置特定场景、特定关注的物理区域或特定活动的指令。在具体实现中,重放装置管理引擎416向重放装置提供关注的物理区域的拼接视频表示。在各种实现中,重放装置管理引擎416管理使用重放装置的检查者的检查者账户。重放装置管理引擎416可以接收用以控制时间同步视频捕捉装置的指示。作为示例,重放装置管理引擎416可以接收用以控制时间同步视频捕捉装置的每秒帧数(FPS)、快门速度、启用/停用状态、光度量、高度、缩放、旋转等的指令。
区域识别引擎418旨在表示使用一个或多个自动代理来识别进行视频捕捉的一个或多个关注的物理区域的装置。时间同步视频捕捉装置管理引擎414可以从区域识别引擎418接收与要进行视频捕捉的关注的物理区域有关的信息。区域识别引擎418可以使用地理位置数据、来自网格/轮廓等的信息、以及/或者其它信息来识别关注的物理区域的参数。
三维圆顶表示整合引擎420旨在表示使用一个或多个自动代理来将由时间同步视频捕捉装置拍摄的关注的物理区域的视频内容整合到关注的物理区域的三维圆顶表示中的装置。三维圆顶表示整合引擎420可以从视频内容数据存储410收集视频内容。在一些实现中,三维圆顶表示整合引擎420识别视频内容相对于关注的物理区域的一个或多个取向。三维圆顶表示整合引擎420可以利用从取向标记数据存储406获得的取向标记来标记特定视频内容。三维圆顶表示整合引擎420可以根据视频内容相对于关注的物理区域的取向来布置视频内容。作为示例,三维圆顶表示整合引擎420可以将视频内容投射到图或投影上,其中该图或投影根据捕捉视频内容的时间同步视频捕捉装置的取向来布置其中的视频内容。
根据特定实现或特定配置的因素,三维圆顶表示整合引擎420可被配置为适应来自不同同步视频捕捉装置的视频内容的不同帧频。作为示例,三维圆顶表示整合引擎420可以使帧对准,使得以120FPS捕捉的视频内容在时间上与以240FPS捕捉的视频内容对准。在一些实现中,三维圆顶表示整合引擎420可以使帧上的时间戳相匹配,以确保这些帧根据视频捕捉而对准。作为替代或附加,三维圆顶表示整合引擎420可以使时间戳以外的帧的部分对准。
拼接视频表示管理引擎422旨在表示使用一个或多个自动代理来将视频内容组合为关注的物理区域的拼接视频表示的装置。例如,拼接视频表示管理引擎422可以使用取向标记作为视频内容的各项目上的视角UI元素的基础,使得不同的视角被拼接在一起成为连续构造。在各种实现中,拼接视频表示管理引擎422从视角UI元素数据存储408收集视角UI元素(框、形状、虚拟对象、其它UI元素等)。结合三维圆顶表示整合引擎420,拼接视频表示管理引擎422可以将视角UI元素叠加在三维圆顶表示的、与特定视频内容的取向相对应的部分上。拼接视频表示可以包括视角UI元素作为直观上使得检查者能够通过与视角UI元素进行交互来改变物理区域的视频捕捉的取向的部分。
在图4的示例中,时间同步触发数据存储404旨在表示时间同步触发的数据存储,取向标记数据存储406旨在表示取向标记的数据存储,视角UI元素数据存储408旨在表示视角UI元素的数据存储,以及视频内容数据存储410旨在表示视频内容的数据存储。从图4的讨论中省略用于将声音或其它组成并入视频中的实施例,其中该视频在先前进行了描述并且如所描述地适用于此。
在操作示例中,时间同步视频捕捉管理系统基于利用布置在关注的物理区域周围的时间同步视频捕捉装置拍摄到的视频内容,来创建关注的物理区域的拼接视频表示。时间同步管理引擎412从时间同步触发数据存储404中识别和/或收集针对特定活动/关注的物理区域的相关时间同步触发。时间同步管理引擎412可以向时间同步视频捕捉装置提供时间同步触发。时间同步视频捕捉装置管理引擎414可能已经与自动代理协调地人工设置了时间同步视频捕捉装置。可选地,在时间同步视频捕捉装置安装在移动平台上的情况下,时间同步视频捕捉装置管理引擎414可以向时间同步视频捕捉装置提供用于在不进行手动放置的情况下移动至适合给定关注的物理区域的位置、并适当地调整取向和设置的指令。无论是否手动进行放置,时间同步视频捕捉装置管理引擎414向时间同步视频捕捉装置提供特定的配置/设置等,以在需要适当地捕捉关注的物理区域的情况下捕捉关注的物理区域。值得注意的是,没有自动反馈的手动方式通常不足以正确地捕捉关注的物理区域,但是可以使用某些工具(诸如水平仪和测距仪等)来使得人们能够在没有来自时间同步视频捕捉装置管理引擎414的自动反馈的情况下执行放置任务。区域识别引擎418可以辅助配置用于指定的关注的物理区域的时间同步视频捕捉装置。时间同步视频捕捉装置提供关注的区域的视频内容;并且时间同步视频捕捉装置管理引擎414将该视频内容储存在视频内容数据存储410中。时间同步视频内容的各项目可以与关注的物理区域的视野(即,相关时间同步视频捕捉装置的视野)相对应。各视野可以提供关注的物理区域的不同视角。
在该操作示例中,三维圆顶表示整合引擎420识别各视野的取向。取向可以与各视野的查看者角度相关联。三维圆顶表示整合引擎420还可以从取向标记数据存储406收集取向标记,并且可以利用取向标记来标记各取向。在各种实现中,三维圆顶表示整合引擎420将时间同步视频内容和取向标记整合到一个或多个关注的区域的三维圆顶表示中。如这里所注意到的,三维圆顶表示可被配置为根据取向标记来布置时间同步视频内容。
在该操作示例中,拼接视频表示管理引擎422使用三维圆顶表示来创建一个或多个关注的区域的拼接视频表示。拼接视频表示可被配置为便于对特定时间的任何时间同步视频内容的显示。作为示例,拼接视频表示可被配置为使得检查者能够查看任何时间同步视频捕捉装置在给定时间所捕捉到的关注的物理区域的任何视角。拼接视频表示例如可以使得检查者能够查看给定时间的关注的物理区域的顶视图,然后改变为同一时间的关注的物理区域的侧视图。拼接视频表示管理引擎422可以并入视角UI元素以标记形成拼接视频表示的基础的视频内容的各种取向。例如,拼接视频表示管理引擎422可以并入虚拟对象(框、形状等)以标记取向和/或使得检查者能够改变相对于关注的物理区域的视角。重放装置管理引擎416将拼接视频表示提供至一个或多个重放装置以供这些重放装置显示。
示例性操作方法的流程图
图5示出用于捕捉关注的物理区域的可见部分的时间同步视频内容的方法的示例的流程图500。注意,流程图500可以包括比明确描述的操作数量更多或更少数量的操作,并且并非流程图中的所有操作都是具体实现所必需的。时间同步视频捕捉装置可以执行流程图500中所示的方法。
在图5的示例中,流程图500在模块502处开始,在模块502处接收与关注的物理区域相关联的视频捕捉参数。在一些实现中,视频捕捉参数可以包括FPS、快门速度、装置是处于启用状态还是停用状态、测光计是否被激活、以及时间同步视频捕捉装置的诸如高度、缩放、旋转等的其它参数。这些参数的目的是使得时间同步视频捕捉装置能够将其自身配置为以期望方式捕捉关注的区域的可见部分。该可见部分可以与时间同步视频捕捉装置的视野相对应。根据特定实现或特定配置的考虑,关注的物理区域可以包括单个关注的区域或者多个连续或离散的关注的区域。
在图5的示例中,流程图500继续至模块504,在模块504处接收至少一个时间同步触发。时间同步触发可以包括如下的事件,其中该事件的发生导致时间同步视频捕捉装置发起视频内容记录、识别先前捕捉到的视频内容的开始帧、发起视频内容的缓冲、或者开始倒计时直到时间同步视频捕捉装置将开始缓冲视频内容为止。在一些实现中,时间同步触发包括与对给定事件的视频捕捉相关的指定时间和/或指定物理条件。
在图5的示例中,流程图500继续至模块506,在模块506处检测与时间同步触发相关的刺激的发生。例如,时间同步触发可以基于声音、视觉、运动、来自装置的信号(例如,饰物或指示符)等。
在图5的示例中,流程图500继续至模块508,在模块508处响应于检测到刺激而收集关注的物理区域的可见部分的视频内容。例如,时间同步视频捕捉装置可以响应于条件的发生而发起记录,或者识别先前捕捉到的视频内容的第一帧。时间同步视频捕捉装置所获得的关注的物理区域的可见部分的视频内容可以是时间同步的,因为相关视频内容馈送的开始帧与另一时间同步视频捕捉装置的相关视频内容的开始帧相同,但是具有不同的视角。有利地,时间同步视频内容的使用可以允许在收集到视频内容之后在不使用复杂处理步骤的情况下获得关注的物理区域的拼接视频表示。
在图5的示例中,流程图500在模块510处结束,在模块510处向时间同步视频捕捉管理系统提供视频内容。可以适当地(例如,经由实时流式传输、近实时流式传输、分批地)提供视频内容。
图6示出用于创建关注的物理区域的拼接视频表示的方法的示例的流程图600。注意,流程图600可以包括比明确描述的操作数量更多或更少的数量的操作,并且流程图600中的所有操作并非都是各种实现所必需的。时间同步视频捕捉管理系统可以执行流程图600中所示的方法。
在图6的示例中,流程图600在模块602处开始,在模块602处收集时间同步触发。时间同步触发可以包括如下的事件,其中该事件的发生导致时间同步视频捕捉装置发起视频内容记录。在一些实现中,时间同步触发包括与对给定事件的视频捕捉相关的指定时间和/或指定物理条件。时间同步触发可以基于声音、图像、运动、或来自装置的信号(例如,饰物或指示符)等。
在图6的示例中,流程图600在模块604处以提供用以使多个时间同步视频捕捉装置时间同步的指示继续。时间同步可能既需要使时钟同步又需要向多个时间同步视频捕捉装置处的视频馈送提供开始时间。
在图6的示例中,流程图600继续至模块606,在模块606处,从时间同步视频捕捉装置收集关注的物理区域的时间同步视频内容,该时间同步视频内容与关注的物理区域的视野相对应。时间同步视频内容可以与关注的物理区域的视野相对应。时间同步视频内容可以由相对于关注的物理区域以各种视角取向的时间同步视频捕捉装置来拍摄。
在图6的示例中,流程图600继续至模块608,在模块608处识别视野的取向继续,该取向与关于视野的查看者视角相关联。取向可以与关于各视野的查看者角度相关联。作为示例,取向可以与关注的物理区域的特定侧或特定角的视图相对应。取向可以与例如由无人机或者由安装到支架上的照相机拍摄的关注的物理区域的顶视图相对应。取向可以与例如由移动电话、平板计算装置或安装到相关安装件上的专用视频照相机拍摄的各种侧视图或底视图相对应。
在操作610处,可以利用取向标记来标记取向。取向标记可以包括用于标记时间同步视频捕捉装置其中之一的取向的数据结构。取向标记可以包括与时间同步视频捕捉装置的位置(全局位置、相对于关注的物理区域的相对位置等)相关的信息。在各种实现中,取向标记包括笛卡尔坐标以及/或者与时间同步视频捕捉装置的参考点/平面(例如,脸部、镜头等)正交的轴的参数。
在操作612处,可以将时间同步视频内容和取向标记整合到一个或多个关注的区域的三维圆顶表示中。三维圆顶表示可以包括如下的数据结构,其中该数据结构表示关注的物理区域的多个时间同步视频捕捉装置在特定时间捕捉到的累积视频内容。三维圆顶表示可以使用一个或多个取向标记来识别特定时间的视频内容的取向以及/或者识别针对公共关注的区域所拍摄的视频内容相对于彼此的关系。在一些实现中,三维圆顶表示可以适应来自不同同步视频捕捉装置的视频内容的不同帧频。
在操作614处,可以使用三维圆顶表示来创建关注的区域的拼接视频表示。拼接视频表示可以包括在给定时间任何视野都可见的关注的物理区域的视频表示。在一些实现中,拼接视频表示包括用于标记与各视野相关联的视角的一个或多个视角UI元素。在一些实现中,视角UI元素包括存在于拼接视频表示的与给定视角相对应的部分上的浮动虚拟对象(例如,浮动多边形、浮动形状、浮动字符等)。在各种实现中,视角UI元素使得查看者能够选择特定时间的拼接视频表示中的视角。拼接视频表示可以适应来自不同时间同步视频捕捉装置的视频内容的不同帧频。在操作616处,可以经由计算机可读介质将拼接视频表示提供至一个或多个重放装置以供这一个或多个重放装置显示。
图7示出用于在重放装置上显示一个或多个关注的区域的拼接视频表示的方法的示例的流程图700。注意,流程图700可以包括比明确描述的操作数量更多或更少数量的操作,并且流程图700中的所有操作并非都是各种实现所必需的。重放装置可以执行流程图700中所示的方法。
在图7的示例中,流程图700在模块702处开始,在模块702中经由计算机可读介质接收关注的物理区域的拼接视频表示。拼接视频表示可以包括多个取向以及可见部分的视角用户界面(UI)元素。拼接视频表示可以包括用于标记与各视野相关联的视角的一个或多个视角UI元素。在一些实现中,视角UI元素包括存在于拼接视频表示的与给定视角相对应的部分上的浮动虚拟对象(例如,浮动多边形、浮动形状、浮动字符等)。在各种实现中,视角UI元素使得查看者能够选择特定时间的拼接视频表示中的视角。拼接视频表示可以适应来自不同时间同步视频捕捉装置的视频内容的不同帧频。拼接视频表示可被提供至重放装置上的应用。
在图7的示例中,流程图700在模块704处继续,在模块704中采用多个取向中的第一取向来显示拼接视频表示。第一取向可以与从关注的物理区域的时间同步视频捕捉装置的视野拍摄的视频内容相对应。作为结果,第一取向可以与从相对于关注的物理区域的第一视角拍摄的视频内容相对应。
在图7的示例中,流程图700在模块706处继续,在模块706中接收与视角UI元素之间的用户交互。作为示例,可以接收检查者对视角UI元素的选择。视角UI元素可以与多个取向中的第二取向相对应。在操作708处,重放装置可被配置为以多个取向中的第二取向显示拼接视频表示。
重放装置上的检查应用的示例性屏幕截图
图8A示出重放装置上的检查应用的屏幕截图800A的示例。屏幕截图800A包括关注的物理区域的拼接表示的描绘(在本示例中包括综合格斗(MMA)圈)。屏幕截图800A包括使得检查者能够控制一个或多个时间同步视频捕捉装置的时间同步视频捕捉装置控制按钮802。图8B示出重放装置上的检查应用的屏幕截图800B的示例。屏幕截图800B包括使得检查者能够控制关注的物理区域的拼接视频表示的重放速度的重放速度控制按钮804。
图8C示出重放装置上的检查应用的屏幕截图800C的示例。屏幕截图800C包括在图中被示出为浮动在MMA圈的描绘上方的浮动正方形的多个视角UI元素806。视角UI元素806各自可以与时间同步视频捕捉装置的视野以及相对于MMA圈的取向相对应。在该示例中,检查者可以选择视角UI元素806中的任一个,以选择用以查看MMA圈的视角。选择视角UI元素806中的任一个可以使得检查者能够看到来自与视角UI元素806相关联的时间同步视频捕捉装置的视频内容。图8D示出重放装置上的检查应用的屏幕截图800D的示例。如图8D所示,可以实现许多视角UI元素806。因此可以适应许多视角/取向。
图8E示出重放装置上的检查应用的屏幕截图800E的示例。在图8E中,已经选择顶部视角UI元素;视角已经切换至MMA圈的顶部视角。检查者可以看到由位于MMA圈上方的时间同步视频捕捉装置拍摄的视频内容。
示例性计算机系统
图9示出根据一些实现的计算机系统900的示例。计算机系统900可以是可用作诸如无线客户端或工作站等的客户端计算机系统或服务器计算机系统的传统计算机系统。计算机系统900包括计算机902、I/O装置904、以及显示装置906。计算机902包括处理器909、通信接口910、存储器912、显示控制器914、非易失性存储916、以及I/O控制器908。计算机902可以连接至或者包括I/O装置904和显示装置906。
计算机902通过通信接口910而接合至外部系统,其中该通信接口910可以包括调制解调器或网络接口。应当理解,通信接口910可被认为是计算机系统900的一部分或计算机902的一部分。通信接口910可以是模拟调制解调器、ISDN调制解调器、线缆调制解调器、令牌环接口、卫星传输接口(例如“直接PC”)、或者用于将计算机系统连接至其它计算机系统的其它接口。
处理器909可以例如是诸如Intel Pentium微处理器或Motorola power PC微处理器等的传统微处理器。存储器912通过总线920而连接至处理器909。存储器912可以是动态随机存取存储器(DRAM)并且还可以包括静态RAM(SRAM)。总线920将处理器909连接至存储器912,并且还连接至非易失性存储916、显示控制器914和I/O控制器908。
I/O装置904可以包括键盘、盘驱动器、打印机、扫描仪、以及其它输入和输出装置(包括鼠标或其它指示装置)。显示控制器914能够以传统方式控制显示装置906上的显示,其中显示装置906可以例如是阴极射线管(CRT)或液晶显示器(LCD)。显示控制器914和I/O控制器908可以利用传统的已知技术来实现。
非易失性存储916通常是磁性硬盘、光盘、或者用于大量数据的其它形式的存储。在执行计算机902中的软件时,通常通过直接存储器接入处理将这些数据中的一些数据写入存储器912。本领域技术人员将立即认识到,术语“机器可读介质”或“计算机可读介质”包括处理器909可接入的任何类型的存储装置,并且还包含用于对数据信号进行编码的载波。
计算机系统900是具有不同架构的许多可能的计算机系统的一个示例。例如,基于Intel微处理器的个人计算机通常具有多个总线,其中一个总线可以是用于外围设备的I/O总线,而一个总线直接连接处理器909和存储器912(通常被称为存储器总线)。总线桥组件而连接在一起,其中这些桥组件由于总线协议不同因而进行任何必要的转换。
网络计算机是可以与这里提供的教导结合使用的其它类型的计算机系统。网络计算机通常不包括硬盘或其它大容量存储,并且可执行程序从网络连接加载到存储器912中以供处理器909执行。本领域已知的Web TV系统也被认为是计算机系统,但是该Web TV系统可能缺少图9所示的特征中的一些特征,诸如某些输入或输出装置等。典型的计算机系统通常将至少包括处理器、存储器、以及将存储器连接至处理器的总线。
尽管图9示出计算机系统900的示例,但应当注意,如本文所使用的术语“计算机系统”旨在被广泛地解释。一般来说,计算机系统将包括处理器、存储器、非易失性存储和接口。典型的计算机系统通常将至少包括处理器、存储器、以及将存储器连接至处理器的装置(例如,总线)。例如,处理器可以是诸如微处理器等的通用中央处理单元(CPU)、或者诸如微控制器等的专用处理器。
通过示例而非限制的方式,存储器可以包括诸如动态RAM(DRAM)和静态RAM(SRAM)等的随机存取存储器(RAM)。存储器可以是本地的、远程的或分布式的。如本文所使用的,术语“计算机可读存储介质”旨在仅包括诸如存储器等的物理介质。如本文中所使用的,计算机可读介质旨在包括法定(例如,在美国,根据美国法典第35条第101款规定)的所有介质,并且在为了使包括计算机可读介质的权利要求有效而需要进行排除的范围内特别地排除非法定性质的所有介质。已知的法定计算机可读介质包括硬件(例如,寄存器、随机存取存储器(RAM)、非易失性(NV)存储等),但可以限于或者可以不限于硬件。
总线还可以将处理器连接至非易失性存储器。非易失性存储通常是磁性软盘或硬盘、磁光盘、光盘、(诸如CD-ROM、EPROM或EEPROM等的)只读存储器(ROM)、磁卡或光卡、或者大量数据的其它形式的存储。在执行计算机系统上的软件期间,通常通过直接存储器访问处理将这些数据中的一些数据写入存储器。非易失性存储可以是本地的、远程的或分布式的。非易失性存储是可选的,这是因为可以利用存储器中可用的所有适用数据来创建系统。
软件通常储存在非易失性存储中。实际上,对于大型程序,甚至不可能将整个程序储存在存储器中。然而,应当理解,对于要运行的软件(如果必要的话),将该软件移动至适于处理的计算机可读位置,并且出于说明性目的,在本文中将该位置称为存储器。即使在将软件移动至存储器以供执行的情况下,处理器通常也会使用用以储存与软件相关联的值的硬件寄存器、以及理想地用于加速执行的本地高速缓存。如本文所使用的,在软件程序被称为“在计算机可读存储介质中实现”的情况下,假定该软件程序被储存在适用的已知或方便位置处(从非易失性存储至硬件寄存器)。在与程序相关联的至少一个值被储存在处理器可读的寄存器中的情况下,认为该处理器“被配置为执行该程序”。
在一个操作示例中,可以通过操作系统软件来控制计算机系统900,其中所述操作系统软件是包括文件管理系统(诸如盘操作系统等)的软件程序。具有关联的文件管理系统软件的操作系统软件的一个示例是已知为来自华盛顿州雷德蒙市微软公司的的一系列操作系统及其关联的文件管理系统。操作系统软件及其关联的文件管理系统软件的另一示例是Linux操作系统及其关联的文件管理系统。文件管理系统通常储存在非易失性存储中并且使处理器执行操作系统所需的各种动作以输入和输出数据以及将数据储存在存储器中,包括将文件储存在非易失性存储上。
总线920还可以将处理器909连接至通信接口910。通信接口910可以包括一个或多个输入和/或输出(I/O)装置。通过示例而非限制的方式,I/O装置可以包括键盘、鼠标或其它指示装置、盘驱动器、打印机、扫描仪以及包括显示装置的其它I/O装置。通过示例而非限制的方式,显示装置906可以包括阴极射线管(CRT)、液晶显示器(LCD)、或者一些其它适用的已知或方便的显示装置。通信接口910可以包括调制解调器或网络接口中的一个或多个。应当理解,调制解调器或网络接口可被认为是计算机系统900的一部分。通信接口910可以包括模拟调制解调器、ISDN调制解调器、线缆调制解调器、令牌环接口、卫星传输接口(例如“直接PC”)、或者用于将计算机系统900连接至其它计算机系统的其它接口。通信接口910可以使计算机系统和其它装置能够在网络中连接在一起。
本文所述的若干组件(包括客户端、服务器和引擎)可以与基于云的计算系统兼容,或者使用基于云的计算系统实现。如本文中所使用的,基于云的计算系统是通过保持客户端装置可经由诸如网络等的通信接口接入的集中式服务和资源来向客户端装置提供计算资源、软件和/或信息的系统。基于云的计算系统可以涉及服务的订阅或者效用定价模型的使用。用户可以通过位于基于云的计算系统的客户端装置上的web浏览器或其它容器应用来接入基于云的计算系统的协议。
本文描述了本领域技术人员能够以多种方式实现的技术。例如,本领域技术人员可以使用处理、设备、系统、物质的组合、体现在计算机可读存储介质上的计算机程序产品、和/或处理器(诸如被配置为执行连接至处理器的存储器上所储存和/或提供的指令的处理器等),来实现本文中所述的技术。除非另有规定,否则被描述为被配置为执行任务的诸如处理器或存储器等的组件可被实现为被配置为在给定时间执行任务的通用组件、或者被制造为执行任务的特定组件。如本文中所使用的,术语“处理器”是指一个或多个装置、电路、以及/或者被配置为处理诸如计算机程序指令等的数据的处理核。
在本文中,连同用于示出本发明的原理的附图一起提供了本发明的一个或多个实现的详细说明。本发明是结合这些实现来说明的,但是本发明不限于任何实现。本发明的范围仅由权利要求限制,并且本发明包含许多替代、修改和等同项。在以下说明中阐述了许多具体详情,以提供对本发明的透彻理解。这些详情是为了示例的目的而提供的,并且本发明可以根据权利要求来实践而无需这些具体详情中的部分或全部。为了清楚起见,尚未详细说明在与本发明相关的技术领域中已知的技术材料,以使得本发明不会被不必要地模糊。
根据计算机存储器内的数据位的操作的算法和符号表示来呈现详细说明的一些部分。这些算法描述和表示是数据处理领域的技术人员为了最有效地将他们工作的实质传达给本领域其他技术人员所使用的手段。算法在这里通常被认为是得到期望结果的操作的自洽序列。这些操作是需要对物理量进行物理操纵的操作。通常但不一定,这些量采用能够被储存、传送、组合、比较以及以其它方式操纵的电信号或磁信号的形式。主要出于常用的原因,有时将这些信号称为位、值、元素、符号、字符、术语或数字等被证明是便利的。
然而,应当记住,所有的这些术语和类似术语都与适当的物理量相关联,并且仅仅是被应用至这些量的便利标签。除非另有明确规定,否则从以下讨论中显而易见的是,应当理解,在整个说明中,利用诸如“处理”或“计算”或“估算”或“确定”或“显示”等的术语的讨论是指用于操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换为同样表示为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示装置内的物理量的其它数据的计算机系统或类似的电子计算装置的动作和处理。
本文中所述的技术涉及用于执行操作的设备。该设备可以是为了所需目的而专门构造的,或者该设备可以包括由计算机中所储存的计算机程序选择性地激活或再配置的通用计算机。这样的计算机程序可以储存在计算机可读存储介质中,诸如但不限于只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、或者适合储存电子指令且各自连接至计算机系统总线的任何类型的介质。尽管为了清楚理解的目的而详细说明了以上实现,但实现不必限于所提供的详情。图9示出根据一些实现的简化API的列表的屏幕截图的示例。
使用本文所述的技术开发的并且通过参考图10~图17的示例的方式探索的方法的示例包括:
-测量多个照相机中的至少第一照相机、第二照相机和第三照相机的取向;
-使用测得的取向来确定多个照相机中的至少第一照相机、第二照相机和第三照相机的视图方向;
-基于所确定的方向来对多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置进行第一迭代;
-测量多个照相机中的至少第一照相机、第二照相机和第三照相机之间的相对距离;
-基于测得的相对距离来对多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置进行第二迭代;以及
-使用第一迭代和第二迭代来确定多个照相机中的至少第一照相机、第二照相机和第三照相机相对于彼此的相对位置。
使用本文所述的技术开发的并且通过参考图10~图17的示例的方式探索的系统的示例包括:
-传感器集合,其能够操作以测量多个照相机中的至少第一照相机、第二照相机和第三照相机的取向,其中该传感器集合中的传感器被安装在多个照相机中的至少第一照相机、第二照相机和第三照相机中;以及
-服务器,其被配置为:
使用测得的取向来确定多个照相机中的至少第一照相机、第二照相机和第三照相机的视图方向;
基于所确定的方向来对多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置进行第一迭代;
测量多个照相机中的至少第一照相机、第二照相机和第三照相机之间的相对距离;
基于测得的相对距离来对多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置进行第二迭代;以及
使用第一迭代和第二迭代来确定多个照相机中的至少第一照相机、第二照相机和第三照相机相对于彼此的相对位置。
多个照相机被配置为从位置内的不同方向和定位记录对象的多个视频。这样的视频可例如在安装有应用的用户装置被提供给用户,其中该应用还能够操作以在其上向用户提供用于选择并播放至少一个记录视频的选项。增加照相机的数量会增加的视图的数量。照相机的数量可以是几个照相机(例如,3个)、数十个照相机(例如,50个)、数百个照相机(例如,500个)或者甚至数千个照相机(例如,10000个)。在具体实现中,照相机是也可以拍摄静止图像的视频照相机。在具体实现中,多个照相机包括便携式电子装置,诸如具有照相机的智能电话、具有照相机的电话、iPod、iPad、或智能照相机(诸如数字照相机等)等。在具体实现中,照相机包括用于测量照相机的取向的传感器集合中的传感器。通过示例而非限制的方式,传感器集合可以包括磁力计、陀螺仪和加速度计。
多个照相机记录与一个位置内发生的事件相关的视频(和/或静止图像)。该位置可以是开放场地、室内位置或一些其它位置。事件可以是体育事件(例如,篮球比赛、羽毛球比赛、棒球比赛、足球比赛和竞走等)、舞台表演(例如,歌剧和戏剧等)、现场表演(例如,乐队表演、舞蹈表演和/或竞赛、歌唱表演和/或竞赛、以及赛后颁奖)、或者其它适用场所。
多个照相机可以包括用于记录(或广播)例如体育事件的照相机。多个照相机可以例如用于训练情形,例如职业体育训练情形、瑜伽指导训练情形、或者视觉指导有用的一些其它训练情形等。作为另一示例,多个照相机可以涉及对运动对象(诸如封闭空间内的人、动物园或自然保护区内的动物、或者监视运动对象有用的其它场所等)的监视目的。
例如,对象可以是参与体育事件的选手。同样,对象可以是自行车竞赛的参与者、滑雪运动员、高尔夫球手、棒球选手、体操运动员、或一些其它场所的参与者。因此,系统和方法对于自行车骑行训练、滑雪训练、高尔夫挥杆训练、棒球击球训练、体操训练等可以是有用的。此外,对于本领域技术人员可显而易见的是,对象应当由(多个照相机中的)至少多于一个照相机同时捕捉(或记录)以向用户提供该对象的至少多于一个视图。
在具体实现中,多个照相机中的至少次多个(subplurality)照相机被布置在正发生事件的位置中,诸如被布置在足球场中以记录足球比赛的视频。可以通过将次多个照相机附加至框架来配置这次多个照相机。框架可以基于设置的需要而被配置为具有各种形状(规则形状或任意形状)。例如,框架可被配置为具有圆顶形、球形、半球行、圆柱形、椭圆形、圆形、多边形或其它适用的形状。在具体实现中,次多个照相机与正记录对象的视频的用户(例如,观众、指定摄影师和球场工作人员等)相关联。
在具体实现中,照相机包括通信介质、用户界面(诸如显示器、触摸屏、按钮等)、照相机光学器件(用于拍摄静止图像并记录视频)、麦克风、电池、以及用于检测多个照相机中的至少第一照相机、第二照相机和第三照相机的位置的位置部件(诸如GPS传感器等)。在特定实施中,照相机经由通信介质通信连接至服务器,其中通信介质可以是有线的、无线的、或其组合。通信介质的示例可以包括但不限于蓝牙、无线LAN(WLAN)、无线WAN(WWAN)、无线MAN(WMAN)、因特网、第二代(2G)电信网络、第三代(3G)电信网络、第四代(4G)电信网络、以及全球微波互联接入(WiMAX)网络。
在具体实现中,用户装置被配置为基于用户选择来显示多个照相机所记录的视频。根据实施例,可以存在两个用户装置,诸如第一用户装置和第二用户装置等。第一用户装置与观看所记录的视频的用户相关联,并且第二用户装置与系统的管理员相关联。在实施例中,管理员控制第一用户装置上的视频的显示。具体地,管理员基于质量和查看者的需求等将一些视频与所记录的视频分离开,此后将分离的视频呈献给第一用户装置。用户装置也可以通信连接至服务器。
在具体实现中,服务器被配置为从照相机接收信息(即,视频或图像),此后在将该信息发送至用户装置之前进行处理。例如,服务器被配置为同时接收多个照相机所记录的(具有不同的照相机视图的)所有视频。服务器可以通信连接至用于储存从多个照相机接收到的信息(即,视频或图像)的数据存储。可选地,数据存储可以储存多个照相机各自的元数据,诸如型号名称和型号编号等。可选地,系统还可被建立成使得无需服务器,即多个照相机中的各照相机可以执行服务器的功能。
在具体实现中,应用安装在用户装置中,其中该用户装置能够操作以向用户提供用于从多个照相机所记录的多个视频中选择视频并查看该视频的选项。例如,应用的用户界面可以自动呈现图形元素的网格,其中这些图形元素与被布置为记录视频的多个照相机相对应。用户可以从图形元素的网格中选择特定图形元素以查看与其相关联的照相机所记录的视频。在已知多个照相机相对于彼此的相对位置的情况下,可以自动呈现用户装置上的这些图形元素的网格。例如,可以基于这里所述的校准方法来确定相对位置。
在具体实现中,利用传感器集合来进行对多个照相机中的至少第一照相机、第二照相机和第三照相机的取向的测量。例如,该传感器集合可被配置为向服务器提供多个照相机中的至少第一照相机、第二照相机和第三照相机的取向信息。在实施例中,取向信息包括与多个照相机中的至少第一照相机、第二照相机和第三照相机相对于参考平面的位置有关的数据。此外,取向信息包括多个照相机相对于坐标系的X轴的布置角度。例如,取向信息包括(相对于X轴形成的)角alpha(α)以及(在由X轴和Y轴定义的表面之间形成的)角beta(β)的值。
在具体实现中,基于视觉分析来测量取向信息。在另一实现中,安装在多个照相机中的至少第一照相机、第二照相机和第三照相机中的位置部件(诸如,GPS传感器等)可以检测多个照相机中的至少第一照相机、第二照相机和第三照相机的位置。在另一实现中,磁力计用作磁罗盘并且能够操作以求出多个照相机中的各照相机相对于位置的磁场的取向(或者可能/近似的位置)。在另一实现中,陀螺仪能够操作以基于地球重力来求出多个照相机中的各照相机的取向,并且加速度计能够操作以测量非重力加速度。此后,使用测得的取向来确定多个照相机中的至少第一照相机、第二照相机和第三照相机的视图方向。例如,通信连接至多个照相机的服务器被配置为从(安装在多个照相机中的)传感器集合接收取向信息,此后确定这多个照相机中的至少第一照相机、第二照相机和第三照相机的视图方向。
可选地,使用测得的取向以及/或者与布置有多个照相机的位置的限定几何形状相关联的信息来确定多个照相机中的至少第一照相机、第二照相机和第三照相机的视图方向。在这种情况下,服务器的数据存储已经预储存了与位置的几何形状相关联的信息。在示例中,位置的维度(诸如长为200米、宽为100米且高为150米的立方体形状的羽毛球场)可以储存在数据存储中。同样,位置的维度(诸如半径为100米的球形或准球形田径场)也可以储存在数据存储中。此后基于所确定的视图方向来进行多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置的第一迭代。具体地,服务器使用所确定的方向作为第一近似以求出多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置,即在假设多个照相机距对象等距的情况下确定这多个照相机的可能位置。此外,第一迭代基于多个照相机中的至少第一照相机、第二照相机和第三照相机的取向朝向对象这一假设。
在具体实现中,服务器能够操作以基于通过查看关于多个照相机的公共坐标基础的值以及取向信息(诸如通过磁力计使用磁罗盘测量到的信息等)计算位置,来对多个照相机中的至少第一照相机、第二照相机和第三照相机进行第一迭代。通常,磁罗盘具有测量圆,其中0度对应于北,90度对应于东,180度对应于南,以及270度对应于西。在示例中,如果第一照相机瞄准方向α=270度,则基于至少第一照相机、第二照相机和第三照相机的取向朝向对象这一假设,因此该第一照相机在对象周围的位置处于α-180=90度。
此后可以测量多个照相机中的至少第一照相机、第二照相机和第三照相机之间的相对距离。例如,利用服务器来测量多个照相机之间的相对距离。在实施例中,由于基于多个照相机中的各照相机都指向对象这一假设来对多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置进行第一迭代,因此可能不总是产生正确的结果。例如,如果照相机是以多个照相机中的第二照相机和第三照相机指向远离对象的方向的方式来布置的,则在这种情况下,多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置的第一迭代将不适用。另外,如果照相机被布置为彼此相邻(例如,在矩形轨道上)并且以第二照相机和第三照相机指向相同方向的方式布置,则在这种情况下,第二照相机和第三照相机将不能区分开,并且只有确定的方向信息将不会提供足够的信息来对这些照相机进行定序,这是因为这些照相机指向相同的方向。这可以通过测量多个照相机中的至少第一照相机、第二照相机和第三照相机之间的相对距离来解决。
在实施例中,测得的相对距离可以基于计算多个照相机中的至少第一照相机、第二照相机和第三照相机之间的接收信号强度指标(RSSI)值。具体地,多个照相机各自可被配置为使用多个照相机各自的诸如蓝牙(BT)等的通信介质来发送和接收无线电波。例如,第一照相机被配置为通过蓝牙来发送声脉冲(ping),而第二照相机和第三照相机被配置为接收声脉冲并测量其RSSI。类似地,第二照相机被配置为通过蓝牙来发送声脉冲,而第一照相机和第三照相机被配置为接收声脉冲并测量其RSSI。类似地,第三照相机被配置为通过蓝牙来发送声脉冲,而第一照相机和第二照相机被配置为接收声脉冲并测量其RSSI。作为附加或替代,可以利用全球定位系统(GPS)来确定照相机之间的相对距离。作为附加或替代,可以利用语音来确定照相机之间的相对距离。在该可选实施例中,这些照相机中的一个或多个照相机发出声音,并且其它照相机(记录照相机)记录该声音。使用声音到记录照相机的到达时间来确定照相机的相对位置。另外,记录照相机可以使用发送的时刻(即,声音行进时间)以及可选的与其它记录照相机的三角测量技术,来确定这些记录照相机的相对位置。作为附加或替代,可以使用BT以外的其它无线电技术,诸如(但不限于)无线局域网、低功率BT等。
此后基于测得的相对距离来进行对多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置的第二迭代。相对位置的第二迭代基于将多个照相机中的至少第一照相机、第二照相机和第三照相机之间的测得的相对距离与理论距离进行比较。例如,相对位置的第二迭代可以基于将多个照相机中的至少第一照相机、第二照相机和第三照相机之间测得的相对距离除以理论距离。在实施例中,理论距离限定了位置的几何形状,例如,圆形和矩形等。此外,使用第一迭代和第二迭代来确定多个照相机中的至少第一照相机、第二照相机和第三照相机相对于彼此的相对位置。
在示例中,如果(在第二迭代之后)多个照相机中的至少第一照相机、第二照相机和第三照相机各自的相对位置之间的距离结果是基本上相同(在误差容限内),则多个照相机各自的取向信息和相对位置是正确的。否则,指导用户(诸如与多个照相机中的照相机相关联的管理员或用户等)校正多个照相机中的至少第一照相机、第二照相机和第三照相机的位置。
在具体实现中,在用户装置中示出所确定的多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置。如果用户对位置不满意,则可以使用用户装置的用户界面将图形元素拖放至适当的相对位置。可选地,如果用户同意这些位置,则此后可以使用该多个照相机来记录对象的视频。例如,用户将开始记录命令基本上同时发送给多个照相机中的各照相机,此后接收所记录的视频(或者实时地从多个照相机接收并储存流式传输的视频)。在具体实现中,多个照相机中的各照相机包括安装在其中的应用,其中该应用能够操作以在与其它照相机基本上相同的时间开始记录视频(并且将内容储存或流式传输至目标装置/服务器)。在具体实现中,服务器具有用于从多个角度再现视频的文件或文件集合。
在具体实现中,如果用户开始新的记录会话并且想要以多个照相机先前定位的方式对这些照相机进行定位,则用户加载先前使用的照相机配置以供参考,并且用户界面指示当前照相机位置。用户现在可以将照相机物理移动至正确位置,以与先前使用的配置相匹配。用户界面可被配置为显示在各照相机位置与先前使用的位置相匹配时示出的指示符。
参考图10,示出环境1000的示意性图示。环境1000包括照相机1002a、1002b和1002c(以下统称为多个照相机1002)。以多个照相机1002成半球状环绕对象1004以记录该对象1004的视频的方式来布置这多个照相机1002。具体地,照相机1002a、1002b和1002c分别指向方向1006a、1006b和1006c(以下统称为方向1006)以记录对象1004的视频。多个照相机1002各自与相应的方向相关联,即,多个照相机1002各自具有特定的视图方向,这使得多个照相机1002各自能够从特定的角度和方向来记录对象1004的视频。如参考例如图15和图16详细所述,基于由安装在照相机1002a、1002b和1002c中的取向传感器(1008a、1008b和1008c)分别测得的这些照相机的取向信息来确定方向1006。
图10旨在示出多个照相机1002各自经由通信介质1012而通信连接至多个用户装置1010a和1010b(以下统称为多个用户装置1010)。例如,多个照相机1002各自可以托管被配置为经由通信介质1012将多个照相机1002中的各照相机连接至多个用户装置1010中的各用户装置的应用。
图10旨在示出经由通信介质1012而通信连接至多个照相机1002中的各照相机以及多个用户装置1010中的各用户装置的服务器1014。多个照相机1002各自所记录的对象1004的视频可以储存在数据存储(未示出)中,其中该数据存储连同多个照相机1002各自的其它相关元数据一起通信连接至服务器1014。
在具体实现中,服务器1014能够操作以处理从多个照相机1002接收到的视频,并且还被配置为将处理后的视频发送至多个用户装置1010。多个用户装置1010各自的用户界面(未示出)被配置为使得用户能够根据从多个照相机1002接收到的视频来改变这多个照相机1002的视图方向。可以基于(后续图中所述的)所确定的方向来改变多个照相机1002的视图方向(或记录方向,即相应的查看位置)。
多个用户装置1010被配置为远程控制多个照相机1002。例如,多个用户装置1010各自的用户界面例如可被配置为通过发送用以开始/停止对对象1004的图像/视频进行记录或流式传输的命令,来远程控制多个照相机1002。
参考图11~图12,示出描绘了对象1004周围的多个照相机1002各自的取向布置(诸如取向布置1100和1200等)的示例性图示。
如图11所示,照相机1102a、1102b、1102c以形成取向布置1100的圆形样式而布置在对象1004周围。照相机1102a、1102b、1102c分别具有安装在其中的取向传感器1104a、1104b和1104c。
取向传感器1104a、1104b和1104c被配置为分别测量照相机1102a、1102b、1102c的取向数据,并且还被配置为将测得的取向数据发送至(图10所示的)服务器1014。具体地,服务器1014被配置为处理照相机1102a、1102b、1102c的取向数据,并且如图15和图16中详细所述,还被配置为使用测得的取向来确定照相机1102a、1102b、1102c的视图方向。假设照相机1102a、1102b、1102c位于距对象1004相同距离的位置处,则服务器1014还能够操作以基于所确定的方向来对照相机1102a、1102b、1102c的相对位置进行第一迭代。
具体地,服务器1014被配置为通过考虑关于照相机1102a、1102b、1102c的公共坐标基础的值来确定照相机1102a、1102b、1102c的可能位置。例如,照相机1102a具有方向α=270度,因此该照相机1102a在对象1004周围的位置估计为α-180=90度。此外,该估计确定了照相机1102a、1102b、1102c的相对位置。
如图12所示,照相机1102a、1102b和1102c以形成取向布置1200的圆形样式而布置在对象1004周围。具体地,取向布置1200包括分别具有传感器1104a、1104b和1104c、并且以逆时针方式布置的照相机1102a、1102b、1102c。此外,照相机1102a、1102b、1102c以由传感器1104a、1104b和1104c确定视图方向的方式进行布置,并且被分别示为方向1202、1204和1206。在这种情况下,服务器1014被配置为测量照相机1102a、1102b、1102c之间的相对距离,并且如图13中详细所述,还被配置为基于测得相对距离来对照相机1102a、1102b、1102c的相对位置进行第二迭代。
现参考图13,示出描绘了以取向布置1100和1200示出的照相机1102、1102b和1102c的位置的布置1300的示例性图示。图13示出照相机1102a、1102b、1102c相对于彼此的相对距离的测量。具体地,基于计算照相机1102a、1102b、1102c之间的接收信号强度指示值来测量相对距离。如图所示,照相机1102a、1102b、1102c之间的相对距离是dAB、dAC和dBC。
此外,基于测得的相对距离来对照相机1102a、1102b、1102c的相对位置进行第二迭代。具体地,相对位置的第二迭代基于将照相机1102a、1102b、1102c之间测得的相对距离与理论距离进行比较。如图所示,照相机1102a、1102b、1102c之间的理论距离是dtAB、dtAC和dtBC。更具体地,相对位置的第二迭代基于将照相机1102a、1102b、1102c之间的测得的相对距离除以理论距离,如以下所示:
rAB=dAB/dtAB,
rAC=dAC/dtAC,
rBC=dBC/dtBC。
值rAB、rAC和rBC是照相机相对于彼此的相对位置。如果(在第二迭代之后)照相机1102a、1102b、1102c的相对位置之间的距离结果是基本上相同,则照相机1102a、1102b、1102c的取向信息和相对位置是正确的。否则,可以指示用户(诸如与照相机1102a、1102b、1102c中的照相机相关联的管理员或用户等)校正照相机1102a、1102b、1102c的位置。
现参考图14,示出用于确定多个照相机(诸如照相机1402、1404、1406、1408和1410等)相对于彼此的相对位置的示例性图示1400。如图所示,照相机1402、1404、1406、1408和1410(与图13所示的圆形方式不同地)被布置在对象1412周围。照相机1402、1404、1406、1408和1410各自经由(如图10所示的)通信介质1012而通信连接至用户装置1414。具体地,照相机1402、1404、1406、1408和1410各自托管被配置为经由(如图10所示的)通信介质1012来将照相机1402、1404、1406、1408和1410各自连接至用户装置1414的应用。
此外,照相机1402、1404、1406、1408和1410各自分别具有安装在其中的取向传感器1416、1418、1420、1422和1424。取向传感器1416、1418、1420、1422和1424各自分别被配置为测量照相机1402、1404、1406、1408和1410的取向数据,并且还被配置为将测得的取向数据通信至用户装置1414。(如图10所示的)服务器1014或用户装置1414被配置为使用取向数据来确定照相机1402、1404、1406、1408和1410各自的视图方向,其中照相机1402、1404、1406、1408和1410从这些视图方向记录对象1412的视频。如图所示,基于所确定的视图方向,清楚的是,照相机1402、1404和1406指向相同的方向,并且可以区分照相机1402、1404和1406和照相机1408和1410。
另外,(如图10所示的)服务器1014或用户装置1414被配置为基于计算照相机1402、1404、1406、1408和1410中的各照相机之间(以及可选地照相机1402、1404、1406、1408和1410与用户装置1414之间)的接收信号强度指示值,来确定照相机1402、1404、1406、1408和1410相对于彼此的相对位置。在实例中,照相机1402和1410之间的相对距离大于照相机1404和1410之间的相对距离,后者进一步大于照相机1406和1410之间的相对距离。这使得(如图10所示的)服务器1014或用户装置1414能够确定布置照相机1402、1404、1406、1408和1410的顺序。
此外,用户装置1414被配置为向用户显示所确定的、照相机1402、1404、1406、1408和1410相对于彼此的相对位置。用户装置1414的用户界面(未示出)包括与照相机1402、1404、1406、1408和1410中的各照相机相对应的图形元素的网格,其中该网格使得用户能够通过将图形元素拖放至适当/期望的相对位置来改变照相机1402、1404、1406、1408和1410的相对位置(如果需要的话)。
用户装置1414还被配置为发送用于开始照相机1402、1404、1406、1408和1410对对象1412的记录/流式传输的命令,并且还被配置为接收诸如音频/视频等的记录内容,并且此后将记录内容储存在通信连接至用户装置1414或者与(图10的)服务器1014通信连接的数据存储(未示出)中。此外,用户装置1414被配置为经由用户界面来向用户显示记录视频。
参考图15,示出用于实践本发明的各种实施例的坐标系1500(利用X轴、Y轴、Z轴来指定)的示意性图示。如图所示,坐标系1500包括位于坐标(x0、y0、z0)所表示的位置1504处的照相机1502。此外,用箭头1506来指示照相机1502的视图方向。根据安装在照相机1502中的取向传感器1508所测得的该照相机1502的取向信息来估计照相机1502的视图方向。具体地,视图方向以与X轴的角度alpha(α)1510以及与X轴和Y轴所定义的表面的角度beta(β)1512来表示。
现参考图16,示出描绘了坐标系1600中的多个照相机的示例性图示。如图所示,坐标系1600包括照相机1602、1604和1606,其中当从Z轴方向(未示出)看时,这些照相机1602、1604和1606各自具有角度(betaβ=0,如图15所示)。另外,示出1602、1604和1606所要记录的对象1608。具体地,图16示出分别安装在照相机1602、1604和1606中的取向传感器1610、1612和1614所确定的照相机1602、1604和1606的取向信息。
取向信息包括照相机1602、1604和1606相对于X轴被布置成的角度,其中该角度用于确定照相机1602、1604和1606各自的视图方向、并在之后确定其相对位置。在实例中,安装在照相机1602中的取向传感器1610判断为照相机1602相对于X轴成角度α1。该数据可被(图14所示的)用户装置1414或者(图10所示的)服务器1014使用以确定照相机1602的视图方向(用箭头1616指示)以及坐标(x1,y1)所表示的位置1618处指示的照相机1602的位置。
此外,照相机1604中所安装的取向传感器1612判断为照相机1604相对于X轴成角度α2。该数据可被(图14的)用户装置1414或者(图10的)服务器1014使用以确定照相机1604的视图方向(用箭头1620指示)以及照相机1604的位置(在坐标(x2,y2)所表示的位置1622处指示)。照相机1606中所安装的取向传感器1614判断为照相机1606相对于X轴成角度α3。同样,该数据可被(图14的)用户装置1414或者(图10的)服务器1014使用以确定照相机1606的视图方向(用箭头1624指示)以及照相机1606的位置(在坐标(x3,y3)所表示的位置1626处指示)。此外,对象1608位于坐标(x0,y0)所表示的位置1628处。本发明的实施例不限于二维情况,即照相机1604、1606、1608可以相对于XY平面处于相同的水平(zl=z2=z3),或者照相机可以相对于YX平面处于不同的平面中(例如,zl<>z2、z2<>z3)。
图17描绘了用于确定位置内的多个照相机相对于彼此的相对位置的方法的示例的流程图1700。本领域技术人员将认识到,流程图1700可以与结合图10进行说明的系统1000关联使用。
在图17的示例中,流程图1700在模块1702处开始,其中测量多个照相机中的至少第一照相机、第二照相机和第三照相机的取向。参考图10~图16来说明如何测量取向的示例。
流程图1700继续至模块1704,其中使用测得的取向来确定多个照相机中的至少第一照相机、第二照相机和第三照相机的视图方向。参考图10~图16来说明如何确定照相机处的视图方向的示例。
流程图1700继续至模块1706,其中基于所确定的方向来进行多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置的第一迭代。参考图10~图16来说明如何进行相对位置的第一迭代的示例。
流程图1700继续至模块1708,其中测量多个照相机中的至少第一照相机、第二照相机和第三照相机之间的相对距离。参考图10~图16来说明如何测量照相机之间的相对距离的示例。
流程图1700继续至模块1710,其中基于测得的相对距离来进行多个照相机中的至少第一照相机、第二照相机和第三照相机的相对位置的第二迭代。参考图10~图16来说明如何进行相对位置的第二迭代的示例。
流程图1700继续至模块1712,其中使用第一迭代和第二迭代来确定多个照相机中的至少第一照相机、第二照相机和第三照相机相对于彼此的相对位置。参考图10~图16来说明如何确定照相机的相对位置的示例。
模块1702~1712仅仅是说明性的,并且还可以提供其它替代方案,其中在这些替代方案中,在不偏离这里的权利要求的范围的情况下添加一个或多个模块,移除一个或多个模块,或者以不同的顺序提供一个或多个模块。例如,在流程图1700中,第一迭代基于多个照相机中的至少第一照相机、第二照相机和第三照相机的取向朝向对象这一假设。此外,在流程图1700中,测得的相对距离基于计算多个照相机中的至少第一照相机、第二照相机和第三照相机之间的接收信号强度的指示值。另外,在流程图1700中,相对位置的第二迭代基于将多个照相机中的至少第一照相机、第二照相机和第三照相机之间的测得的相对距离与理论距离进行比较。此外,在流程图1700中,理论距离基于假设位置具有限定的几何形状。
本文所述的若干组件(包括客户端、服务器和引擎)可以与基于云的计算系统兼容,或者使用基于云的计算系统实现。如本文中所使用的,基于云的计算系统是通过保持客户端装置可经由诸如网络等的通信接口接入的集中式服务和资源来向客户端装置提供计算资源、软件和/或信息的系统。基于云的计算系统可以涉及服务的订阅或者效用定价模型的使用。用户可以通过位于基于云的计算系统的客户端装置上的web浏览器或其它容器应用来接入基于云的计算系统的协议。
本文描述了本领域技术人员能够以多种方式实现的技术。例如,本领域技术人员可以使用处理、设备、系统、物质的组合、体现在计算机可读存储介质上的计算机程序产品、和/或处理器(诸如被配置为执行连接至处理器的存储器上所储存和/或提供的指令的处理器等),来实现本文中所述的技术。除非另有规定,否则被描述为被配置为执行任务的诸如处理器或存储器等的组件可被实现为被配置为在给定时间执行任务的通用组件、或者被制造为执行任务的特定组件。如本文中所使用的,术语“处理器”是指一个或多个装置、电路、以及/或者被配置为处理诸如计算机程序指令等的数据的处理核。
根据计算机存储器内的数据位的操作的算法和符号表示来呈现详细说明的一些部分。这些算法描述和表示是数据处理领域的技术人员为了最有效地将他们工作的实质传达给本领域其他技术人员所使用的手段。算法在这里通常被认为是得到期望结果的操作的自洽序列。这些操作是需要对物理量进行物理操纵的操作。通常但不一定,这些量采用能够被储存、传送、组合、比较以及以其它方式操纵的电信号或磁信号的形式。主要出于常用的原因,有时将这些信号称为位、值、元素、符号、字符、术语或数字等被证明是便利的。
然而,应当记住,所有的这些术语和类似术语都与适当的物理量相关联,并且仅仅是被应用至这些量的便利标签。除非另有明确规定,否则从以下讨论中显而易见的是,应当理解,在整个说明中,利用诸如“处理”或“计算”或“估算”或“确定”或“显示”等的术语的讨论是指用于操纵表示为计算机系统的寄存器和存储器内的物理(电子)量的数据并将其转换为同样表示为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示装置内的物理量的其它数据的计算机系统或类似的电子计算装置的动作和处理。
本文中所述的技术涉及用于执行操作的设备.该设备可以是为了所需目的而专门构造的,或者该设备可以包括由计算机中所储存的计算机程序选择性地激活或再配置的通用计算机。这样的计算机程序可以储存在计算机可读存储介质中,诸如但不限于只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、或者适合储存电子指令且各自连接至计算机系统总线的任何类型的介质。尽管为了清楚理解而详细说明了以上实现,但实现不必限于所提供的详情。图9示出根据一些实现的简化API列表的屏幕截图的示例。

Claims (21)

1.一种系统,包括:
时间同步视频捕捉装置管理引擎,其被配置为从时间同步视频捕捉装置收集一个或多个关注的区域的时间同步视频内容,所述时间同步视频内容与所述一个或多个关注的区域的视野相对应;
三维圆顶表示整合引擎,其连接至所述时间同步视频捕捉装置管理引擎,所述三维圆顶表示整合引擎被配置为:
识别所述视野中的各视野的取向,所述取向与关于所述视野中的各视野的查看者视角相关联;
利用取向标记来标记所述取向;以及
将所述时间同步视频内容和所述取向标记整合到所述一个或多个关注的区域的三维圆顶表示中,所述三维圆顶表示被配置为根据所述取向标记来布置所述时间同步视频内容;
拼接视频表示管理引擎,其连接至所述三维圆顶表示整合引擎,所述拼接视频表示管理引擎被配置为使用所述三维圆顶表示来创建所述一个或多个关注的区域的拼接视频表示,所述拼接视频表示被配置为便于显示特定时间的时间同步视频内容中的任意时间同步视频内容,并且所述拼接视频表示使用所述取向标记以便于在所述特定时间的时间同步视频内容之间进行切换;以及
重放装置管理引擎,其连接至所述拼接视频表示管理引擎,所述重放装置管理引擎被配置为将所述拼接视频表示提供至一个或多个重放装置以供所述一个或多个重放装置进行显示。
2.根据权利要求1所述的系统,其中,一个或多个所述时间同步视频捕捉装置包括深度传感器,以及所述视频内容包括所述一个或多个关注的区域的三维视频内容。
3.根据权利要求1所述的系统,其中,所述一个或多个关注的区域包括所述时间同步视频内容的被摄体,所述被摄体具有与该被摄体相关联的对象,一个或多个所述时间同步视频捕捉装置被配置为捕捉所述对象周围的参考区域,并且所述对象与饰物或指示符相关联。
4.根据权利要求1所述的系统,其中,所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置被配置为对所述时间同步视频内容进行流式传输。
5.根据权利要求1所述的系统,其中,所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置包括主时间同步视频捕捉装置和从时间同步视频捕捉装置,所述主时间同步视频捕捉装置被配置为向所述主时间同步视频捕捉装置提供从时间同步时间片段,并且所述主时间同步视频捕捉装置被配置为通过计算机可读介质来批量上传主时间同步视频内容。
6.根据权利要求1所述的系统,其中,所述一个或多个重放装置包括被配置为在应用中显示所述拼接视频表示的一个或多个移动电话或者一个或多个平板计算装置。
7.根据权利要求1所述的系统,其中,还包括:时间同步管理引擎,其连接至所述时间同步视频捕捉装置管理引擎,所述时间同步管理引擎被配置为:
提供用以在收集所述时间同步视频内容之前使一个或多个所述时间同步视频捕捉装置时间同步的指令;以及
使用时间同步触发以在捕捉所述时间同步视频内容之前使所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置时间同步,其中,所述时间同步触发包括定时触发、基于声音的触发、机器视觉触发、基于运动的触发以及基于对象的触发中的一个或多个,以及使用所述时间同步触发来使一个或多个所述时间同步视频捕捉装置时间同步包括:将一个或多个所述时间同步视频捕捉装置配置为实现视频缓冲、并且在所述视频缓冲结束时开始记录所述时间同步视频内容。
8.根据权利要求1所述的系统,其中,所述一个或多个重放装置中的各重放装置包括图形界面,所述图形界面被配置为在其上显示所述拼接视频表示,其中所述拼接视频表示包括视角用户界面元素即视角UI元素,所述视角UI元素与所述取向中的至少一个取向相对应。
9.根据权利要求1所述的系统,其中,所述拼接视频表示包括视角用户界面元素即视角UI元素,所述视角UI元素与所述取向中的至少一个取向相对应,以及所述视角UI元素包括浮动虚拟对象。
10.根据权利要求1所述的系统,其中,所述拼接视频表示管理引擎被配置为适应多个帧频。
11.一种方法,包括:
从时间同步视频捕捉装置收集一个或多个关注的区域的时间同步视频内容,所述时间同步视频内容与所述一个或多个关注的区域的视野相对应;
识别所述视野中的各视野的取向,所述取向与关于所述视野中的各视野的查看者视角相关联;
利用取向标记来标记所述取向;
将所述时间同步视频内容和所述取向标记整合到所述一个或多个关注的区域的三维圆顶表示中,所述三维圆顶表示被配置为根据所述取向标记来布置所述时间同步视频内容;
使用所述三维圆顶表示来创建所述一个或多个关注的区域的拼接视频表示,所述拼接视频表示被配置为便于显示特定时间的时间同步视频内容中的任意时间同步视频内容,并且所述拼接视频表示使用所述取向标记以便于在所述特定时间的时间同步视频内容之间进行切换;以及
将所述拼接视频表示提供至一个或多个重放装置以供所述一个或多个重放装置进行显示。
12.根据权利要求11所述的方法,其中,一个或多个所述时间同步视频捕捉装置包括深度传感器,以及所述视频内容包括所述一个或多个关注的区域的三维视频内容。
13.根据权利要求11所述的方法,其中,所述一个或多个关注的区域包括所述时间同步视频内容的被摄体,所述被摄体具有与该被摄体相关联的对象,一个或多个所述时间同步视频捕捉装置被配置为捕捉所述对象周围的参考区域,并且所述对象与饰物或指示符相关联。
14.根据权利要求11所述的方法,其中,所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置被配置为对所述时间同步视频内容进行流式传输。
15.根据权利要求11所述的方法,其中,所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置被配置为批量上传所述时间同步视频内容,所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置包括主时间同步视频捕捉装置和从时间同步视频捕捉装置,所述主时间同步视频捕捉装置被配置为向所述主时间同步视频捕捉装置提供从时间同步时间片段,并且所述主时间同步视频捕捉装置被配置为通过计算机可读介质来批量上传主时间同步视频内容。
16.根据权利要求11所述的方法,其中,所述一个或多个重放装置包括被配置为在应用中显示所述拼接视频表示的一个或多个移动电话或者一个或多个平板计算装置。
17.根据权利要求11所述的方法,其中,还包括:提供用以在收集所述时间同步视频内容之前使一个或多个所述时间同步视频捕捉装置时间同步的指令。
18.根据权利要求11所述的方法,其中,还包括:使用时间同步触发以在捕捉所述时间同步视频内容之前使所述时间同步视频捕捉装置中的一个或多个时间同步视频捕捉装置时间同步,其中,所述时间同步触发包括定时触发、基于声音的触发、机器视觉触发、基于运动的触发以及基于对象的触发中的一个或多个,以及使用所述时间同步触发来使一个或多个所述时间同步视频捕捉装置时间同步包括:将一个或多个所述时间同步视频捕捉装置配置为实现视频缓冲、并且在所述视频缓冲结束时开始记录所述时间同步视频内容。
19.根据权利要求11所述的方法,其中,还包括:在所述一个或多个重放装置上显示所述拼接视频表示,其中所述拼接视频表示包括视角用户界面元素即视角UI元素,所述视角UI元素与所述取向中的至少一个取向相对应,以及所述视角UI元素包括浮动虚拟对象。
20.根据权利要求11所述的方法,其中,创建所述拼接视频表示包括适应多个帧频。
21.一种系统,包括:
用于从时间同步视频捕捉装置收集一个或多个关注的区域的时间同步视频内容的部件,所述时间同步视频内容与所述一个或多个关注的区域的视野相对应;
用于识别所述视野中的各视野的取向的部件,所述取向与关于所述视野中的各视野的查看者视角相关联;
用于利用取向标记来标记所述取向的部件;
用于将所述时间同步视频内容和所述取向标记整合到所述一个或多个关注的区域的三维圆顶表示中的部件,所述三维圆顶表示被配置为根据所述取向标记来布置所述时间同步视频内容;
用于使用所述三维圆顶表示来创建所述一个或多个关注的区域的拼接视频表示的部件,所述拼接视频表示被配置为便于显示特定时间的时间同步视频内容中的任意时间同步视频内容,并且所述拼接视频表示使用所述取向标记以便于在所述特定时间的时间同步视频内容之间进行切换;以及
用于将所述拼接视频表示提供至一个或多个重放装置以供所述一个或多个重放装置进行显示的部件。
CN201680076968.XA 2015-10-29 2016-10-31 使用联网照相机对关注的区域进行视频摄像 Pending CN109074629A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562248066P 2015-10-29 2015-10-29
US62/248,066 2015-10-29
US201662345696P 2016-06-03 2016-06-03
US62/345,696 2016-06-03
US201662381261P 2016-08-30 2016-08-30
US62/381,261 2016-08-30
PCT/US2016/059783 WO2017075614A1 (en) 2015-10-29 2016-10-31 Video imaging an area of interest using networked cameras

Publications (1)

Publication Number Publication Date
CN109074629A true CN109074629A (zh) 2018-12-21

Family

ID=58631999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680076968.XA Pending CN109074629A (zh) 2015-10-29 2016-10-31 使用联网照相机对关注的区域进行视频摄像

Country Status (4)

Country Link
US (2) US10595008B2 (zh)
EP (1) EP3369073A4 (zh)
CN (1) CN109074629A (zh)
WO (1) WO2017075614A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246115A (zh) * 2020-02-20 2020-06-05 深圳市昊一源科技有限公司 无线传输系统及发射控制装置
WO2022083230A1 (zh) * 2020-10-20 2022-04-28 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170012979A (ko) * 2015-07-27 2017-02-06 삼성전자주식회사 영상 공유 서비스를 위한 전자 장치 및 방법
US20170034470A1 (en) * 2015-08-02 2017-02-02 Cfkk, Llc Systems and methods and apparatuses for capturing concurrent multiple perspectives of a target by mobile devices
US10914557B2 (en) * 2016-12-09 2021-02-09 Motorola Solutions, Inc. Method, device, and system for managing a formation of electronically-embedded intelligent shields
US10692262B2 (en) * 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
WO2020019212A1 (zh) * 2018-07-25 2020-01-30 深圳市大疆创新科技有限公司 视频播放速度控制方法及系统、控制终端和可移动平台
WO2020045186A1 (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 情報処理装置、方法、及びプログラム
US11330195B2 (en) * 2019-06-12 2022-05-10 Robert Mark Griswold Time synchronized cameras for multi-camera event videos
CN110996168A (zh) * 2019-10-21 2020-04-10 深圳银澎云计算有限公司 一种视频终端设备及图像合成方法
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN110933378A (zh) * 2019-12-12 2020-03-27 西安冉科信息技术有限公司 一种基于局域网的网络摄像机接入和控制方法
CN112261293B (zh) * 2020-10-20 2022-05-10 华雁智能科技(集团)股份有限公司 变电站远程巡检方法、装置和电子设备
CN114697690A (zh) * 2020-12-30 2022-07-01 光阵三维科技有限公司 由组合传送的多个串流取出特定串流播放的系统及方法
WO2023168086A1 (en) * 2022-03-04 2023-09-07 Mcreynolds Kevin Systems and methods for producing content
US20230316455A1 (en) * 2022-03-23 2023-10-05 Lenovo (Singapore) Pet. Ltd. Method and system to combine video feeds into panoramic video
KR20240009746A (ko) * 2022-07-14 2024-01-23 현대자동차주식회사 외부 기기로부터 수신된 컨텐츠 이미지 정보를 표시하는 차량 장치 및 그 방법
US11818329B1 (en) * 2022-09-21 2023-11-14 Ghost Autonomy Inc. Synchronizing stereoscopic cameras using padding data setting modification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159307A1 (en) * 2003-03-04 2006-07-20 United Parcel Service Of America, Inc. Item tracking and processing systems and methods
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
US20140005484A1 (en) * 2012-06-27 2014-01-02 CamPlex LLC Interface for viewing video from cameras on a surgical visualization system
US20140267748A1 (en) * 2013-03-12 2014-09-18 Samsung Techwin Co., Ltd. Multi-channel network camera surveillance system and method of constructing the same

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US7843497B2 (en) 1994-05-31 2010-11-30 Conley Gregory J Array-camera motion picture device, and methods to produce new visual and aural effects
US5729471A (en) 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6052539A (en) 1997-11-12 2000-04-18 Robert Latorre Productions, Inc. Camera that produces a special effect
RU2161871C2 (ru) 1998-03-20 2001-01-10 Латыпов Нурахмед Нурисламович Способ и система для создания видеопрограмм
US6522325B1 (en) 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
EP1068730A4 (en) 1998-04-02 2005-03-30 Kewazinga Corp NAVIGATING TELE-ACTIVITY PROCESS AND SYSTEM WITH CAMERA LINE
US6990681B2 (en) 2001-08-09 2006-01-24 Sony Corporation Enhancing broadcast of an event with synthetic scene using a depth map
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7693702B1 (en) 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US7876353B2 (en) 2003-04-11 2011-01-25 Piccionelli Gregory A Video production with selectable camera angles
JP2005341064A (ja) 2004-05-25 2005-12-08 Sony Corp 情報送出装置、情報送出方法、プログラム及び記録媒体並びに表示制御装置及び表示方法
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US20100029594A1 (en) * 2004-07-06 2010-02-04 Yves Claude Nicolau Calcium/sodium salt of inositol tripyrophosphate as an allosteric effector of hemoglobin
US20060015930A1 (en) * 2004-07-15 2006-01-19 Idan Shoham Process for removing stale users, accounts and entitlements from a networked computer environment
US7264554B2 (en) 2005-01-26 2007-09-04 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
GB2444533B (en) 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
WO2008068456A2 (en) 2006-12-06 2008-06-12 Sony United Kingdom Limited A method and an apparatus for generating image content
US8520054B2 (en) 2008-01-23 2013-08-27 Techtol Holdings, Llc System and method to quickly acquire images
US8053586B2 (en) * 2008-07-31 2011-11-08 Dow Technology Investments Llc Alkylene oxide recovery systems
US8564663B2 (en) * 2009-04-14 2013-10-22 Bae Systems Information And Electronic Systems Integration Inc. Vehicle-mountable imaging systems and methods
US9019349B2 (en) 2009-07-31 2015-04-28 Naturalpoint, Inc. Automated collective camera calibration for motion capture
JP5570284B2 (ja) 2010-04-16 2014-08-13 キヤノン株式会社 画像処理装置および方法
CN101922632B (zh) * 2010-07-22 2012-12-19 鸿富锦精密工业(深圳)有限公司 Led照明装置
US9407904B2 (en) * 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
CN102323854B (zh) 2011-03-11 2013-10-16 中国科学院研究生院 人体运动捕获装置
US8397639B2 (en) * 2011-04-08 2013-03-19 Autoliv Asp, Inc. Initiator with molded ESD dissipater
TWI479328B (zh) * 2012-07-06 2015-04-01 Pegatron Corp 設置桌布圖片的方法與數位媒體控制器
US8902322B2 (en) 2012-11-09 2014-12-02 Bubl Technology Inc. Systems and methods for generating spherical images
EP2948933B1 (en) 2013-01-24 2017-03-08 Roger Andre Eilertsen A video sharing system for road users
US8936119B1 (en) * 2013-07-19 2015-01-20 GM Global Technology Operations LLC Electric all-wheel drive vehicle powertrain
CA2940664C (en) * 2014-02-26 2022-08-30 Searidge Technologies Inc. Image stitching and automatic-color correction
NL2012462B1 (en) * 2014-03-18 2015-12-15 Avinash Jayanth Changa Anand Encoding and decoding of three-dimensional image data.
JP6599436B2 (ja) 2014-04-30 2019-10-30 インテル コーポレイション ユーザ選択可能な新規ビューを生成するためのシステムおよび方法
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US10061486B2 (en) 2014-11-05 2018-08-28 Northrop Grumman Systems Corporation Area monitoring system implementing a virtual environment
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
GB201602877D0 (en) * 2016-02-18 2016-04-06 Landa Corp Ltd System and method for generating videos

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060159307A1 (en) * 2003-03-04 2006-07-20 United Parcel Service Of America, Inc. Item tracking and processing systems and methods
CN1906564A (zh) * 2004-01-23 2007-01-31 美国联合包裹服务公司 物品跟踪和处理系统和方法
US20100299630A1 (en) * 2009-05-22 2010-11-25 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
CN102483859A (zh) * 2009-09-29 2012-05-30 索尼计算机娱乐公司 全景图像显示装置和全景图像显示方法
US20140005484A1 (en) * 2012-06-27 2014-01-02 CamPlex LLC Interface for viewing video from cameras on a surgical visualization system
US20140267748A1 (en) * 2013-03-12 2014-09-18 Samsung Techwin Co., Ltd. Multi-channel network camera surveillance system and method of constructing the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246115A (zh) * 2020-02-20 2020-06-05 深圳市昊一源科技有限公司 无线传输系统及发射控制装置
WO2021164081A1 (zh) * 2020-02-20 2021-08-26 深圳市昊一源科技有限公司 无线传输系统及发射控制装置
WO2022083230A1 (zh) * 2020-10-20 2022-04-28 北京字节跳动网络技术有限公司 画面展示方法、装置、电子设备及计算机可读介质

Also Published As

Publication number Publication date
US20180324410A1 (en) 2018-11-08
US20200322592A1 (en) 2020-10-08
WO2017075614A1 (en) 2017-05-04
EP3369073A1 (en) 2018-09-05
US10595008B2 (en) 2020-03-17
EP3369073A4 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
CN109074629A (zh) 使用联网照相机对关注的区域进行视频摄像
US20230260552A1 (en) Disparate sensor type event correlation system
US10607349B2 (en) Multi-sensor event system
US10339978B2 (en) Multi-sensor event correlation system
US9940508B2 (en) Event detection, confirmation and publication system that integrates sensor data and social media
EP3323240B1 (en) Integrated sensor and video motion analysis method
US9418705B2 (en) Sensor and media event detection system
US9406336B2 (en) Multi-sensor event detection system
US9401178B2 (en) Event analysis system
US20160292509A1 (en) Sensor and media event detection and tagging system
CN107211109B (zh) 视频和运动事件集成系统
KR20230130166A (ko) 자율 디지털 미디어 처리 시스템 및 방법
US10531014B2 (en) Method and system for managing video of camera setup having multiple cameras
WO2017011818A1 (en) Sensor and media event detection and tagging system
WO2015100116A1 (en) Automated video production system
WO2017011811A1 (en) Event analysis and tagging system
WO2015098251A1 (ja) 情報処理装置、記録媒体および情報処理方法
WO2017218962A1 (en) Event detection, confirmation and publication system that integrates sensor data and social media

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication