CN108141540A - 具有移动检测的全向相机 - Google Patents

Abstract

呈现了一种全向相机。所述相机包括：耦合到图像传感器的至少一个镜头、耦合到图像传感器的控制器、以及耦合到控制器的移动检测元件。移动检测元件被配置为检测相机的移动速度和方向，该相机被配置为经由耦合到图像传感器的至少一个镜头来捕捉图像，并且控制器被配置为在捕捉到的图像中选择数字视点。数字视点的中心点基于移动方向来选择，而数字视点的视野则基于移动速度。还提出了一种系统和方法。

Description

具有移动检测的全向相机

背景

覆盖水平窗格中或水平和垂直窗格中的360度图像的全向相机已被用于全景成像和视频记录。此类相机记录的图像和视频可由消费者电子设备回放，并且通常设备用户可以控制360帧的哪个片段被显示。这可通过在回放期间操纵视点来完成。

概述

下面呈现了本公开的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，且其不标识本发明的关键/重要元件或者描述本说明书的范围。其唯一的目的是以简化形式呈现本文中所公开的概念精选，作为稍后呈现的更详细描述的序言。

呈现了一种相机、系统和方法。相机捕捉全向图像或视频，并根据相机的移动方向和速度来自动地在这些图像或视频中选择数字视点。该系统包括可被附连到物体(例如汽车或人)的相机；并且该方法用于通过基于移动参数确定视频的中心点和视野来选择相同视频中的数字视点。

通过参考结合附图考虑的以下详细描述将更易于领会许多附带特征，因为这些附带特征变得更好理解。

附图描述

根据附图阅读以下详细描述将更好地理解本说明书，在附图中：

图1是根据一实施例的相机的主要组件的示意图；

图2是根据一实施例的系统的示意图；

图3a是根据一实施例的在移动期间的视野调节的示意性俯视图；

图3b是根据一实施例的在移动期间的中心点调节的示意性俯视图；

图4是一实施例的图形说明；

图5是根据一实施例的方法的框图。

详细描述

下面结合附图提供的详细描述旨在作为各实施例的描述，并不旨在表示可以构建或使用各实施例的唯一形式。本说明书详尽揭示各操作步骤的结构基础、功能和次序。然而，可以通过未在以下列举的不同的实施例来实现相同或等效功能和序列。

虽然本发明各实施例中的一些示例在本文中可被描述和解说成实现在全向视频相机中，但它们只是设备的示例而非限制。如本领域技术人员将理解的，这些实施例适合应用于结合了数字图像捕捉单元或数字成像系统(例如，单独的数字相机设备，例如紧凑相机、SLR(单镜头反光)相机，无反光镜可换镜头相机或固定相机)的各种不同类型设备，只要该数字成像系统能够捕捉具有比在显示设备上显示的视野更宽的视野的图像。全向视野可能会部分地被相机机身遮挡。全向相机可具有超过180度的视野。相机可具有不同的形状因素；例如，它可以是具有大显示器的扁平设备，球形元件或包括相机元件的棒(baton)。

图1示出了全向相机100的一实施例的框图。相机100可以是适合于捕捉全向图像和/或视频的任何相机，或可捕捉至少180度的水平和垂直视野的广角相机。例如，相机100可以是被实现为具有两个镜头的独立数字相机设备的360度相机，或相机100可被实现在例如在智能电话、平板计算机、可穿戴相机或web相机中。相机100可具有任何形状和设计，并通过图1中的结构元件来例示各实施例。

全向相机100包括：耦合到图像传感器101的至少一个镜头102、耦合到图像传感器101的控制器103、以及耦合到控制器103的移动检测元件104。移动检测元件104可包括运动传感器、旋转检测器和/或用于检测相机的移动的附加相机。在一实施例中，耦合到图像传感器101的至少一个镜头102可补充被配置为将全景图像反射到镜头102中的至少一个反射镜。在一实施例中，相机100包括耦合到图像传感器101的两个或更多个镜头102，其中这些对还耦合到控制器103。此实施例中的多个光学元件可向控制器103提供图像，当各图像被组合时就创建全向图像。在一实施例中，当使用具有图像传感器101的两个或更多个镜头102时，相机被配置为捕捉水平和垂直的全向全景图像。图像传感器101可包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。

移动检测元件104被配置为检测相机100的移动的速度和方向。在一实施例中，相机100可包括图1中未示出的紧固元件，其使得可将相机100固定到正在移动的物体。

相机100被配置为经由镜头102将图像捕捉到图像传感器101上并将捕捉到的图像提供给控制器103。如果相机100是照片相机，则帧率可以在每秒1至10个图像之间；如果相机100是视频相机，则帧率可以在每秒10至120个图像之间。例如，如果相机100被设计成用于捕捉适合于慢动作回放的高帧率视频，则更高的帧率也是可能的。

控制器103被配置为在捕捉到的图像中选择数字视点。数字视点是所显示的捕捉到的全向图像的一片段。基于移动方向来选择数字视点的中心点，例如使得数字视点“面向”移动方向。基于移动速度来选择数字视点的视野(FoV)。数字视点的视野可被定义为确定所显示的捕捉到的全向图像的片段的宽度的角度。这参考图3a-3b进行解释。

在一实施例中，控制器103进一步被配置为在移动方向改变时调节数字视点的中心点，并随着移动速度改变而改变视野：在速度提高时缩小视野，并在速度降低时扩大视野。

在一实施例中，控制器103被配置为在捕捉视频或图像序列的同时以实时的方式执行上述操作。控制器103还可被配置成将数字视点选择记录为与捕捉到的视频或图像序列有关的数据的一部分。此数据可被记录为保存在具有捕捉到的图像或视频的存储器中的元数据。元数据例如是包括多个感兴趣区域或数字视点的XML文件，其中时间数据对应于捕捉到的视频。在一个实施例中，图像或视频与数字视点选择的信息组合为单个文件。在播放视频时，数字视点默认被显示在视频流中，并视频的观看者可对根据元数据记录的视点进行跟踪。观看者可选择观看除了全向图像或视频中的数字视点之外的其他方向。在一实施例中，观看者可能受到除了轻微偏移以外的任何视点变化的限制，以避免高速素材的令人不快的观看体验。

根据一实施例，相机100还包括被配置为监视相机用户的注视方向的注视检测元件105。控制器103可附加地基于注视方向来选择数字视点的中心点。注视检测元件103可以是眼睛跟踪器或面部检测元件。其用虚线框例示可选特征。

在一实施例中，控制器103被配置为仅在达到预定义速度阈值之后才基于移动方向来选择数字视点的中心点。如果相机100包括注视检测元件105，则相机100可跟踪用户正在观看的位置，并维持数字视点的中心点面向相同的方向直到超过预定义的速度阈值。控制器103也可被配置为在短时间内优先考虑用户的注视方向，并然后将中心点返回到移动方向。这可提供相机100的用户对捕捉到的视频的实时编辑。

在一实施例中，相机100包括图像稳定元件。此元件被配置为稳定全向视图，例如通过将全向视图保持在水平平面中而不管相机100的定向，或在将数字视点保持朝向特定点的同时吸收相机抖动。图像稳定元件可部分地由相机的操作系统来实现；该操作系统可由硬件或部分地由硬件和嵌入式软件来实现。

在一实施例中，相机100包括耦合到控制器103的加速度计。相机100还可包括也连接到控制器103的诸如陀螺仪之类的其他惯性导航系统(INS)。在一实施例中，控制器103被配置为基于所提及的INS的读数来调节数字视点的定向。例如，如果相机100是倾斜的，则读数能提供关于数字视点应该被调节的角度的信息以获得更愉快的观看体验。

根据一实施例，相机100被配置为在每一帧中在数字视点内以比数字视点外更高的分辨率记录捕捉到的图像或视频。

上述实施例具有提供具有有意义的视点的全向视频或图像的技术效果。例如，在捕捉和编辑安装在高速移动的物体或人上的全向相机捕捉到的视频或图像时，这能够是有用的。

图2示出了根据一实施例的系统200的框图。系统200包括附连于其上的移动相机202。该移动可由相机附连到移动物体201引起，移动物体201可以是车辆、人、动物或可在其上安装相机202的任何其他物体。相机202可以是全向相机或可捕捉广角视频的任何其他类型的相机，其中可选择具有更方便的视野的数字视点。相机202包括耦合到图像传感器并被配置成捕捉图像和/或视频的至少一个镜头。

系统200包括移动检测单元203，该移动检测单元203可被集成到相机202中，或被实现为独立设备。单元203检测相机202的移动速度和方向。

系统200还包括耦合到相机202和移动检测单元203的控制器204。该控制器204可被集成到相机202中，或被实现为独立设备。控制器204控制移动检测单元203和相机202的操作。控制器204被配置为在捕捉到的图像中选择数字视点，其中该数字视点的中心点基于移动方向；而数字视点的视野基于移动速度，并且这两个参数都接收自移动检测单元203。

系统200的操作类似于图1中例示的相机100。系统200的元件可被实现为单独的设备，或者它们中的一些可形成中间设备。耦合到控制单元203的元件可具有刚性的、有线或无线连接。

系统200还可包括被配置为存储或临时存储捕捉到的图像和/或视频的存储器210。其用虚线示为可选元件。存储器210还可存储应用软件212和操作系统(未示出)，并可在系统的硬件中或云上实现。

设备100和系统200的控制器103、204可包括一个或多个处理器，这些处理器可以是用于处理计算机可执行指令以控制设备100和系统200的操作的微处理器。可提供包括操作系统或任何其他合适的平台软件的平台软件以允许应用软件能够在该设备上被执行。

可使用设备100和系统200能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可包括例如诸如存储器之类的计算机存储介质和通信介质。诸如存储器210之类的计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可被用来储存信息以供计算设备访问的任何其他非传输介质。相比而言，通信介质可以以诸如载波或其他传输机制之类的已调数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质本身不应当被理解成是传播信号。传播的信号可存在于计算机存储介质中，但是传播的信号本身不是计算机存储介质的示例。虽然在设备100和系统200中示出了计算机存储介质(存储器210)，然而应当理解，该存储可以是分布式的或位于远程并经由网络或其他通信链路来访问。

图1-2中公开的实施例中的至少一些可提供编辑全向视频或图像所需的经减少的时间，并通过提供一个或多个默认数字视点来在回放期间改善用户体验。

图3a-3b例示了基于控制器的移动和注视参数来选择和定义相机300的数字视点的中心点和视野。这些图是正在移动的相机300的示意性俯视图。在图3a中，由字母C标记的相机300沿速度矢量V的方向移动，并且控制器选择数字视点310的中心点与移动方向相匹配。在一实施例中，控制器可被配置为选择不同的默认中心点，该不同的默认中心点不一致，而是与速度矢量V相关。例如，数字视点310的中心点可能正朝向与移动方向相反的方向；或视点可被定向成朝向水平而移动方向为垂直向下或向上。

如图3a所示，当速度降低并且速度矢量V被展示为更短时，视野可从311增加到312来以较低速度捕捉周围景物的更多细节。

在图3b中，示出了基于相机用户320的注视的中心点的调节。用户320由U指示。相机300包括注视检测元件(未示出)，该注视检测元件被配置成检测用户320的注视何时从预定义的一组方向切换到某个地方达足够长的时间。取决于场景，用户320不看向移动方向的阈值时间可以在0.1到10秒之间。在阈值时间过去之后，相机300的控制器被配置成为数字视点313定义附加的中心视点。控制器可被配置成临时将默认数字视点移动到该附加中心点，或在回放期间允许用户在主数字视点和附加数字视点之间进行选择。

图4是一实施例的简单说明。本领域技术人清楚，此实施例仅出于示例性目的而呈现并且不被解释为限制。在此情况下，如图左半部分所示，全向视频相机被附连到自行车车把上。当被附连到自行车的相机处于低速或静止时，它被配置成：从周围捕捉素材并不将视点聚焦于任何“景观”、提供广阔的视野、或通过其他手段确定默认视野。然而，当自行车处于运动中时，视野聚焦于移动方向。图4的右半部分例示了此相机在默认选择的视野中捕捉到的视频的回放。

图5示出了用于在全向视频中选择数字视点的方法。该方法可由控制器执行。在一实施例中，在视频被拍摄时以“实时”的方式执行该方法。该方法包括：接收51来自正在移动的相机的视频流、接收52具有包括相机的移动速度和方向的信息的信号、基于相机的移动方向来在接收到的视频流中定义53中心点，使得中心点面向视频中的移动方向。该方法进一步包括基于相机的移动速度来定义55视野，并利用所定义的中心点和所定义的视野来在接收到的视频流中选择56数字视点。视野可能在移动速度提高时被缩小，而在速度降低时被扩大。

该方法还可包括接收54来自注视检测元件的信号的可选步骤，其中该信号包括关于相机用户的注视方向的信息；并基于检测到的注视方向来定义附加中心点。此方法还可包括利用所定义的附加中心点在接收到的视频流中选择附加数字视点，并基于预定的移动参数来在主数字视点和附加数字视点之间排定优先级。替代地，在视频被回放时，可允许用户手动地在各数字视点之间进行切换。

在一实施例中，该方法包括将捕捉到的图像或视频记录到存储器中。在一实施例中，所记录的帧在所选数字视点内具有比所选数字视点外更高的分辨率。

上文描述的各实施例可导致预编辑360视频，其包括有助于避免高速视频的令人不快的观看者体验的默认的数字视点和视野变化。

以上根据各实施例的各方法可，例如，由设备的控制单元或处理器来执行。

本文中所描述的方法的步骤可按任何合适次序执行，或者在恰适的地方同时执行。另外，在不偏离本文所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。以上所描述的示例中的任一者的诸方面可与所描述的其他示例中的任一者的诸方面相结合，以形成进一步示例而不会损失所寻求的效果。

本文中所描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序运行于计算机上时被适配成执行本文中所描述的任何方法的所有步骤的计算机程序代码装置，并且其中该计算机程序可被具体化在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘、拇指型驱动器、存储器等而不包括所传播的信号。传播的信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序执行或者同时执行。

这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制哑(“dumb”)或标准硬件以实现所需功能的软件。它还旨在涵外壳诸如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件之类的“描述”或者定义硬件配置以执行期望功能的软件。

本领域技术人员将认识到，被用来储存程序指令的存储设备可跨网络分布。例如，远程计算机可储存被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。替代地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。

根据一方面，呈现了一种全向相机。该相机包括：耦合到图像传感器的至少一个镜头，耦合到图像传感器的控制器，以及耦合到控制器的移动检测元件；其中移动检测元件被配置为检测相机的移动的速度和方向，相机被配置为经由耦合到图像传感器的至少一个镜头来捕捉图像，控制器被配置为在捕捉到的图像中选择数字视点，其中数字视点的中心点基于移动的方向，而该数字视点的视野基于移动的速度。

在一实施例中，控制器被配置成：基于移动的方向选择并调节数字视点的中心点，当移动的速度提高时，缩小数字视点的视野，以及当移动的速度降低时，扩大数字视点的视野。

在一实施例中，替代上述实施例或除了上述实施例之外，全向相机包括耦合到图像传感器的至少两个镜头，其中控制器被耦合到图像传感器中的每一个图像传感器。

在一实施例中，除了上述实施例之外，全向相机被配置为经由耦合到图像传感器的至少两个镜头来捕捉水平地和垂直地定向的全向全景图像。

在一实施例中，替代上述实施例或除了上述实施例之外，全向相机被配置为经由耦合到图像传感器的至少一个镜头来捕捉全向视频素材。

在一实施例中，除了上述实施例之外，捕捉到的图像中所选的数字视点是用于视频回放的默认数字视点。

在一实施例中，替代上述实施例或除了上述实施例之外，全向相机包括注视检测元件，该注视检测元件被配置为检测相机用户的注视方向，其中，控制器被配置为基于移动的方向和检测到的注视方向来选择数字视点的中心点。

在一实施例中，替代上述实施例或除了上述实施例之外，全向相机包括被配置为将相机附连到正在移动的物体的紧固元件。

在一实施例中，替代上述实施例或除了上述实施例之外，全向相机包括耦合到控制器的加速度计。

在一实施例中，除了上述实施例之外，全向相机包括耦合到控制器的陀螺元件，其中该控制器被配置为基于加速度计读数和陀螺元件读数来调节数字视点的定向。

在一实施例中，替代上述实施例或除了上述实施例之外，图像传感器包括电荷耦合器件。

在一实施例中，替代上述实施例或除了上述实施例之外，图像传感器包括有源像素传感器。

在一实施例中，替代上述实施例或除了上述实施例之外，全向相机包括至少一个反射镜，该至少一个反射镜被配置为将全景图像反射到耦合到图像传感器的至少一个镜头。

在一实施例中，除了上述实施例之外，全向相机被配置成以每秒5帧到120帧之间的帧率捕捉图像。

根据一个方面，提供了一种系统。该系统包括：全向相机，该全向相机包括耦合到图像传感器的至少一个镜头；耦合到相机的控制器，以及耦合到控制器的移动检测单元。移动检测单元被配置为检测相机的移动速度和方向，该相机被配置为经由耦合到图像传感器的至少一个镜头来捕捉图像，并且控制器被配置为在捕捉到的图像中选择数字视点，其中数字视点的中心点基于移动的方向，而数字视点的视野则基于移动的速度。

在一实施例中，除了上述实施例之外，系统包括注视检测单元，该注视检测单元被配置为检测相机用户的注视方向，其中，控制器被配置为基于移动的方向和检测到的注视方向来选择数字视点的中心点。

在一实施例中，替代上述实施例或除了上述实施例之外，控制器包括处理器。

根据一方面，提供了一种用于在全向视频中选择数字视点的方法。该方法包括：接收来自相机的视频流，接收来自移动检测元件的信号，该信号包括包含相机的移动的速度和方向的信息，基于相机的移动的方向在接收到的视频流中定义中心点，基于相机的移动的速度来定义视野，以及利用所定义的中心点和所定义的视野在接收到的视频流中选择数字视点。

在一实施例中，基于相机的移动的速度来定义视野包括：当移动的速度提高时缩小视野，并当移动的速度降低时扩大视野。

在一实施例中，替代地或除了上述实施例之外，该方法包括：接收来自注视检测元件的信号，该信号包括包含相机用户的注视方向的信息，基于检测到的注视方向定义附加中心点，以及利用附加的所定义的中心点在接收到的视频流中选择附加的数字视点。

对精通本技术的人显而易见的是，本文给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。

尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

可以理解，上文所描述的技术效果可以涉及一个实施例或可以涉及多个实施例。各实施例并不限于解决所述问题中的任何或全部问题的那些实施例、或者具有所述益处和优点中的任何或全部益处和优点的那些实施例。进一步可以理解，对“一个”项目的提及是指那些项目中的一个或多个。

本文使用了术语“包括”以旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，并且方法或设备可以包含附加的框或元件。

可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、实施例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各个实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域技术人员可以对所公开的实施例作出很多改变。

Claims (15)

1.一种全向相机，包括：

耦合到图像传感器的至少一个镜头，

耦合到所述图像传感器的控制器，以及

耦合到所述控制器的移动检测元件；其中

所述移动检测元件被配置为检测所述相机的移动的速度和方向，

所述相机被配置为经由耦合到所述图像传感器的所述至少一个镜头来捕捉图像，

所述控制器被配置为在捕捉到的图像中选择数字视点，其中所述数字视点的中心点基于移动的方向，而所述数字视点的视野基于移动的速度。

2.如权利要求1所述的相机，其特征在于，所述控制器被配置成：

基于所述移动的方向选择并调节所述数字视点的所述中心点，

当所述移动的速度提高时，缩小所述数字视点的所述视野，以及

当所述移动的速度降低时，扩大所述数字视点的所述视野。

3.如权利要求1所述的相机，其特征在于，所述相机包括耦合到图像传感器的至少两个镜头，其中所述控制器被耦合到所述图像传感器中的每一个图像传感器。

4.如权利要求3所述的相机，其特征在于，所述相机被配置为经由耦合到所述图像传感器的所述至少两个镜头来捕捉水平地和垂直地定向的全向全景图像。

5.如权利要求1所述的相机，其特征在于，所述相机被配置为经由耦合到所述图像传感器的所述至少一个镜头来捕捉全向视频素材。

6.如权利要求5所述的相机，其特征在于，所述捕捉到的图像中所选的数字视点是用于视频回放的默认数字视点。

7.如权利要求1所述的相机，其特征在于，所述相机包括注视检测元件，所述注视检测元件被配置为检测相机用户的注视方向，其中，所述控制器被配置为基于所述移动的方向和检测到的注视方向来选择所述数字视点的中心点。

8.如权利要求1所述的相机，其特征在于，所述相机包括被配置为将所述相机附连到正在移动的物体的紧固元件。

9.如权利要求1所述的相机，其特征在于，所述相机包括耦合到所述控制器的加速度计。

10.如权利要求9所述的相机，其特征在于，所述相机包括耦合到所述控制器的陀螺元件，其中所述控制器被配置为基于所述加速度计读数和所述陀螺元件读数来调节所述数字视点的定向。

11.如权利要求1所述的相机，其特征在于，所述图像传感器包括电荷耦合器件。

12.如权利要求1所述的相机，其特征在于，所述图像传感器包括有源像素传感器。

13.如权利要求1所述的相机，其特征在于，所述相机包括至少一个反射镜，所述至少一个反射镜被配置为将全景图像反射到耦合到所述图像传感器的所述至少一个镜头。

14.如权利要求1所述的相机，其特征在于，所述相机被配置成以每秒5帧到120帧之间的帧率捕捉图像。

15.一种用于在全向视频中选择数字视点的方法，所述方法包括：

接收来自相机的视频流，

接收来自移动检测元件的信号，所述信号包括包含所述相机的移动的速度和方向的信息，

基于所述相机的所述移动的方向来在接收到的视频流中定义中心点，

基于所述相机的所述移动的速度来定义视野，以及

利用所定义的中心点和所定义的视野来在所述接收到的视频流中选择数字视点。