CN102640050A

CN102640050A - 用于从广角图像或视频中选择期望视场的方法和装置

Info

Publication number: CN102640050A
Application number: CN2010800541784A
Authority: CN
Inventors: 曼纽尔·奥利弗; 约瑟夫·W·博斯塔夫; 丹尼尔·J·扎德勒
Original assignee: Motorola Solutions Inc
Current assignee: Motorola Solutions Inc
Priority date: 2009-11-30
Filing date: 2010-11-09
Publication date: 2012-08-15
Also published as: WO2011075235A2; CA2780891A1; WO2011075235A3; EP2507667A4; US20110128350A1; AU2010332202A1; IL220031A0; KR20120085875A; EP2507667A2

Abstract

一种广角相机将采集广角图像。将基于加速度计读数来选择广角图像的一部分（期望视场）。更具体地，为了使相机的期望视场保持处于适当的位置，通过使用运动传感器来基于测量重力方向而确定水平线，对于期望视场的倾斜和侧倾做出校正。当用户正在运动时，使用运动传感器来确定前向位置，也对期望视场的横摆进行校正。因为针对用户活动所导致的变化来校正期望视场，所以从相机采集的任何图像更可能被指向期望的位置。

Description

用于从广角图像或视频中选择期望视场的方法和装置

技术领域

本发明一般地涉及用于从广角图像和视频中选择期望视场的方法和装置，并且具体地，涉及用于从广角佩带型相机选择期望视场的方法和装置。

背景技术

佩带型相机被部署在执法人员身上，以有助于捕捉视频证据。通常安装在鬓角（temple）、肩膀或胸部的这些相机受到由于在安装相机时的偏离所导致的视场变化的影响。此外，用户活动可能导致视场变化。相机的视场变化可能具有使相机视场远离期望位置（例如，指向佩带者前方）移动的不期望的结果，导致错过或仅部分地捕捉到重要的视频图像。因此，存在对于用于从图像中选择期望视场并且特别是用于从佩戴型相机选择期望视场的方法和装置的需要。

附图说明

图1图示了佩戴型相机。

图2图示了从广角图像所取的期望视场。

图3是相机的框图。

图4图示了适当定向的相机和没有适当定向的相机。

图5图示了从没有适当定向的相机选择期望视场。

图6图示了来自适当定向的相机的期望视场。

图7图示了从没有适当定向的相机所取的剪裁图像。

图8示出了使用透镜在图像传感器上产生的图像。

图9图示了投影到图像传感器上的图像。

图10图示了

图11图示了从没有适当定向的相机所取的剪裁图像。

图12是示出图2的相机的操作的流程图。

本领域的技术人员应当理解，附图中的元素为了简单和清楚的目的而进行图示，并且不必按比例绘制。例如，附图中的一些元素的尺寸和/或相对定位可能相对于其他元素被夸大，以有助于促进对本发明的各种实施例的理解。而且，在商业上可行的实施例中实用或必要的通用或公知的元素通常不进行描绘，以便于促进对本发明的这些各种实施例的不太混淆的查看。应当进一步理解，可能以特定的出现顺序对特定动作和/或步骤进行描述和描绘，但是本领域的技术人员应当理解，对顺序的这样的指定实际上不是必要的。本领域的技术人员应当进一步认识到，对诸如“电路”的特定实现实施例的参考可以经由用在通用计算装置（例如，CPU）或专用处理装置（例如，DSP）上的软件指令执行的替换来同等地实现。还应当理解，除了本文另外阐述了不同的特定含义之外，本文所使用的术语和表达具有如上文所阐述的本领域的技术人员赋予这样的术语和表达的普通技术含义。

具体实施方式

为了缓解上述需要，本文提供了一种用于从广角图像或视频中选择期望视场的方法和装置。在操作期间，广角相机将采集广角图像。将基于加速度计的读数来选择广角图像（期望视场）的部分。更具体地说，为了将相机的期望视场保持在适当位置，通过使用运动传感器以基于测量重力方向来确定水平线，对期望视场的倾斜(tilt)和侧倾(roll)进行校正。当用户处于运动中时，使用运动传感器来确定前向位置，也对期望视场的横摆(yaw)进行校正。因为针对由于用户活动所导致的变化来对期望视场进行校正，所以从相机采集的任何图像更可能被指向期望的位置。

本发明包含用于从图像或视频中选择期望视场的方法。该方法包括下述步骤：从图像采集电路采集图像或视频；从加速度计确定运动方向；以及基于从加速度计确定的运动方向来从图像或视频中选择期望视场。

本发明另外包括用于从图像或视频中选择期望视场的方法。该方法包括下述步骤：从具有第一视场的广角图像采集电路采集图像或视频；从加速度计确定运动方向；以及从加速度计确定重力方向。最后，基于从加速度计确定的运动方向和重力方向来从图像或视频中选择期望视场。期望视场小于第一视场。

最后，本发明包括用于从图像或视频中选择期望视场的装置。该装置包括采集图像或视频的图像采集电路以及逻辑电路，该逻辑电路从加速度计确定运动方向，并且基于从加速度计确定的运动方向来从图像或视频中选择期望视场。

现在转到附图，其中，相同的附图标记指相同的构件，图1是示出了安装到帽子101的相机102的框图。优选地，相机102包含大视场投影透镜（例如110度）或能够采集极广半球图像（例如，180度）的“鱼眼”透镜。虽然将相机102示出为安装到帽子101，在本发明的其他实施例中，相机102可以被安装到佩带者的肩上或胸部。相机102用于捕捉其周围的广角图像或视频（例如，30帧/秒的1920x1080），并且然后在以特定分辨率（例如，30帧/秒的640x480的8位像素）输出捕捉到的图像或视频的期望部分（剪裁部分或也被称为期望视场）。然后，期望部分可以被压缩、存储、传送或显示。例如，期望部分可以被无线地传送到调度中心（dispatch center），在调度中心处，可以实时地浏览期望部分或将期望部分存储为证据。类似地，期望部分可以被输出到本地存储装置，可以稍后在存储装置处对其进行检索。

仅采集广角图像的部分（通常是40-60度水平视场）用于增加从相机102输出的640X480图像的分辨能力。例如，当与具有50度水平视场的图像作比较时，在广角图像（例如，180度水平视场）的水平线性分辨率中存在3-4倍的减少。对于证据性用途，期望捕捉场景中的充分分辨率以能够清晰识别兴趣物体（例如，武器）或人。

图2图示了从广角图像201中取的期望图像202。显而易见的是，对于以特定分辨率（例如，640x480）输出的图像，期望的图像202比以相同特定分辨率（640x480）得到的广角图像201具有更窄的视场和更好的分辨能力。

图3是佩戴型相机102的框图。如示，相机102包括逻辑电路301、图像或视频采集电路302、可选存储装置303以及三轴加速度计304。采集电路302包括标准的广视场透镜以及能够以特定分辨率输出图像或视频的电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器。

逻辑电路301包括数字信号处理器（DSP）、通用微处理器、可编程逻辑设备或专用集成电路（ASIC），并且用于访问和控制采集电路302，以从由电路302对其馈送的图像或视频中选择期望视场，并且输出期望视场。期望视场能够被存储、传送或二者均可。

可选存储装置303包括标准的随机存取存储器或闪速存储器，并且用于存储由逻辑电路301选择的期望视场。应当注意，存储装置303可以存在于相机102的内部或外部。

加速度计304包括用于测量其经历的与自由落体相关的适当加速度的标准微机加速度计。优选地，加速度计304包括能够检测作为矢量的量的加速度的大小和方向的多轴加速度计，并且可以用于感测定向、振动、运动和冲击。

最后，发射器305包括本技术领域中已知的常见电路，用于利用公知通信协议来进行通信，并且充当用于传送图像或视频的装置。可能的发射器包括但不限于利用蓝牙、IEEE 802.11或HyperLAN协议或任何蜂窝通信系统协议（例如，CDMA、TDMA、GSM、WCDMA等）的发射器。

如上所述，佩戴型相机受到由于安装相机或用户活动时的偏离而导致的视场变化的影响。相机的视场变化能够具有使相机的视场远离期望位置（例如，指向佩带者前方）移动的不期望的效果，导致重要视频图像丢失或仅部分被捕捉。这在图4中示出。

如图4中所示的，适当定向的相机102指向与重力方向垂直并且直接沿着运动路径的方向a1。这导致期望的图像402被适当地捕捉。然而，相机102的实际位置可能是偏斜的。这导致相机102指向不与重力方向垂直并且不沿着运动路径的方向a1。此外，a3不再与重力方向平行。这导致不适当地捕捉剪裁的图像404。

为了校正相机102的不适当的对准，将基于加速度计304的读数来选择期望视场。更具体地，为了选择相机102的期望视场，通过使用加速度计304基于测量重力方向来确定水平线，由逻辑电路301对场404的倾斜和侧倾进行校正。通过在a1和水平线之间的角度差——τ给出倾斜校正，其中，a1是相机指向的方向。通过在a2和水平线之间的角度差——ρ给出侧倾校正，其中，a2是与a1垂直的方向。理想地，a1和a2与重力方向垂直。这在图5中示出，其中，首先利用与重力方向垂直的a1和a2来定位场404。

当用户在运动中时（例如，走或跑），还使用加速度计304确定前向位置来对视场404的横摆进行校正ψ。具体地，视场404被定位成指向与运动方向平行。因为期望视场被调整成指向与重力方向垂直，并且与运动方向平行，所以从相机采集的任何图像更可能被指向期望位置。

进一步参考图6至图12图示了上述技术。图6图示了来自适当定向的相机的期望视场。更具体地，适当定向具备三个特征：（1）期望视场502的垂直边缘与重力方向对准；（2）期望视场的中心503位于水平线上；以及（3）期望视场的中心503与用户的前向方向对准。可能存在这些可能被校正的一些情形。例如，如果用户将相机佩带在腰部，则可能期望将期望图像的中心设置在水平线上方的角度。如图6中所示，相机朝着两个人移动。然而，如上所述，该相机可能没有被适当地对准。这在图7中示出。

在图7中，不再满足以适当对准为特征的三个特征。具体地，未校正视场602的垂直边缘不再与重力方向对准，并且其特征在于侧倾角度ρ。该侧倾角度ρ是图5中所示的相同侧倾角度。而且，未校正视场的中心603比水平线高出距离t地位于图像传感器上，并且在图像传感器上与用户的前向方向相差距离y。距离t与图5中所示的角度τ相关。距离y与图5中所示的角度ψ相关。以下解释这些关系。

如图8中所示，使用透镜在图像传感器上产生图像，图像传感器被置于透镜的焦距f处。而且，图8中示出了在图像传感器上捕捉到的的垂直视角θ_v。以类似但在图8中没有示出的方式，还在图像传感器上捕捉到了水平视角θ_h。这些角度θ_v和θ_h通常是不同的，但这取决于图像传感器的尺寸。

图9中示出了通过透镜投射到图像传感器上的图像。图像传感器具有宽度w和高度h。在图10中，示出了在位置1处撞击在图像传感器上的光线。当相机存在角度倾斜时，光线的定位变成位置2。在位置1和2之间的距离通过下式给出：

t=f*tan(τ+α)-f*tan(α)

如果光线原始地集中在图像传感器上（即，α=0），那么该表达式被简化为：

t=f*tan(τ)

该表达式对于从图像的中心的角度偏离是有效的，而与角偏离出现在垂直（倾斜）或水平（横摆）方向上无关。相同的数学关系可以用于确定距离y（假定α=0）：

y=f*tan(ψ)

上述表达式对于理想的投影透镜是有效的。其他透镜类型将具有图像传感器距离和相机方向上的角度改变之间的不同数学关系。而且，能够获得的最大校正将受透镜的捕捉角度和图像传感器的尺寸的限制。

为了获取期望的图像，有必要将未校正视场602的中心平移距离t和y，并且使其侧倾角度ρ，使得其与重力方向对准。

图11图示了从没有适当定向的相机所取的图像501的期望部分702。已经基于上述三次校正而选择了部分702。期望的部分702具有（1）与重力方向对准的其垂直边缘；（2）其中心位于水平线上；以及（3）其中心与用户的前向方向对准。显而易见的是，因为针对源自用户活动而产生的变化来校正期望视场，所以从相机采集的任何图像更可能指向期望的位置。

图12是示出当基于由加速度计确定的运动方向来选择期望视场时的图2的相机的操作的流程图。逻辑流开始于步骤1201，其中，图像采集电路302采集图像或视频。如上所述，采集的图像或视频优选地是广角图像或视频。接下来，在步骤1202，逻辑电路301从加速度计304确定运动方向。在步骤1203，逻辑电路基于从加速度计确定的运动方向来从图像或视频中选择期望视场（小于图像采集电路的视场）。如上所述，基于运动方向来从图像或视频中选择期望视场的步骤包括使期望视场的中心与前向方向对准的步骤。最后，在步骤1204，期望视场可以被存储、传送或二者皆可。

图13是示出当基于由加速度计确定的运动方向和重力方向来选择期望视场时的图2的相机的操作的流程图。逻辑流开始于步骤1301，其中，图像采集电路302采集图像或视频。如上所述，优选地，所采集的图像或视频是具有第一视场的广角图像或视频。接下来，在步骤1302处，逻辑电路301从加速度计304确定运动方向，并且在步骤1303处，从加速度计304确定重力方向。在步骤1304处，逻辑电路基于从加速度计确定的运动方向和重力方向来从图像或视频确定期望视场（小于第一视场）。如上所述，基于运动的方向来从图像或视频中选择期望视场的步骤包括下述步骤：将期望视场的中心与前向方向对准，将期望视场的垂直边缘与重力方向对准，并且将期望视场的中心与水平线对准。最后，在步骤1305，期望视场可以被存储、传送或二者皆可。

上述校正可以被实时执行，或者可以以特定间隔来执行或手动地实现。可能不期望实时校正的一个原因在于用户可能偶而向下弯腰观看或拾起东西。可能期望捕捉该向下观看情况的图像或视频。然而，如果实时地进行校正，则该校正的图像将仅是水平线的图像。为了克服该问题，能够以选定的间隔来执行校正。例如，逻辑电路能够从加速度计检测到用户正在运动，并且因此每当用户正在行走时，能够触发进行校正。另一替代是，仅当用户手动指示设备进行校正时才应用校正。例如，用户可以按下按钮，或者发出用于进行校正的语音命令。

虽然已经参考特定实施例示出并描述了本发明，但是本领域的技术人员应当理解，在不脱离本发明精神和范围的情况下，可以在形式和细节上做各种改变。例如，虽然上文给出的描述与基于运动方向和重力方向确定期望视场相关，但是期望可以仅基于动作方向或重力方向来确定期望视场。期望这样的技术落在在所附权利要求的范围内。

Claims

1.一种用于从图像或视频中选择期望视场的方法，所述方法包括下述步骤：

从图像采集电路采集图像或视频；

从加速度计确定运动方向；以及

基于从所述加速度计确定的所述运动方向来从所述图像或视频中选择所述期望视场。

2.根据权利要求1所述的方法，其中，所采集的图像或视频是广角图像或视频。

3.根据权利要求1所述的方法，其中，所述期望视场小于所述图像采集电路的视场。

4.根据权利要求1所述的方法，进一步包括下述步骤：传送所述期望视场。

5.根据权利要求1所述的方法，进一步包括：存储所述期望视场。

6.根据权利要求1所述的方法，其中，基于所述运动方向来从所述图像或所述视频中选择所述期望视场的所述步骤包括下述步骤：使所述期望视场的中心与前向方向对准。

7.根据权利要求1所述的方法，进一步包括下述步骤：

利用所述加速度计来确定重力方向；以及

基于从所述加速度计确定的所述运动方向和所述重力方向来从所述图像或视频中选择所述期望视场。

8.根据权利要求7所述的方法，其中，基于所述运动方向和所述重力方向来从所述图像或视频中选择所述期望视场的步骤包括下述步骤：

使所述期望视场的垂直边缘与所述重力方向对准；

使所述期望视场的中心与水平线对准；以及

使所述期望视场的中心与前向方向对准。

9.一种用于从图像或视频中选择期望视场的方法，所述方法包括下述步骤：

从具有第一视场的广角图像采集电路采集图像或视频；

从加速度计确定运动方向；

从所述加速度计确定重力方向；以及

基于从所述加速度计确定的所述运动方向和所述重力方向，从所述图像或视频中选择所述期望视场，其中，所述期望视场小于所述第一视场。

10.根据权利要求9所述的方法，其中，基于所述运动方向和所述重力方向来从所述图像或视频中选择期望视场的步骤包括下述步骤：

使所述期望视场的垂直边缘与所述重力方向对准；

使所述期望视场的中心与水平线对准；以及

使所述期望视场的中心与前向方向对准。

11.一种用于从图像或视频中选择期望视场的装置，所述装置包括：

图像采集电路，所述图像采集电路采集图像或视频；

逻辑电路，所述逻辑电路从加速度计确定运动方向，并且基于从所述加速度计确定的所述运动方向来从所述图像或视频中选择所述期望视场。

12.根据权利要求11所述的装置，其中，所采集的图像或视频是广角图像或视频。

13.根据权利要求11所述的装置，其中，所述期望视场小于所述图像采集电路的所述视场。

14.根据权利要求11所述的装置，进一步包括：发射器，所述发射器传送所述期望视场。

15.根据权利要求11所述的装置，进一步包括：存储装置，所述存储装置存储所述期望视场。

16.根据权利要求11所述的装置，其中，通过使所述期望视场的中心与前向方向对准来确定所述期望视场。

17.根据权利要求11所述的装置，其中，所述逻辑电路利用所述加速度计来确定重力方向，并且基于从所述加速度计确定的所述运动方向和所述重力方向来从所述图像或视频中选择所述期望视场。

18.根据权利要求17所述的装置，其中，所述逻辑电路基于所述运动方向和所述重力方向通过下述步骤来从所述图像或视频中选择所述期望视场：

使所述期望视场的垂直边缘与所述重力方向对准；

使所述期望视场的中心与水平线对准；以及

使所述期望视场的中心与前向方向对准。