CN105144703A - 摇摄/倾斜/缩放相机的窗口遮蔽 - Google Patents

Abstract

采用高级视频分析的网络相机日益增加地被使用在公共和隐私的背景中。与稳定的监视相机不同，摇摄/倾斜/缩放相机提供动态的视野。给定视野内的一些区域可以被指定为隐私，并且可以不被记录。根据本发明的实施例的窗口遮蔽特征允许封闭其中隐私区域可以在其他情况下出现的视频的所定义的部分。通过使用实施例，在动态监视期间提供一贯的隐私性，以确保符合与具有给定视野内的隐私区域的监视相机的使用有关的隐私规则或契约布置。

Description

摇摄/倾斜/缩放相机的窗口遮蔽

相关申请

该申请是于2012年11月30日提交的第13/690,244号美国申请的继续，并且要求享有其权益。通过引用将上述申请的全部教导并入本文。

背景技术

监视摇摄/倾斜/缩放(PTZ)相机可以摇摄(pan)、倾斜并且缩放以覆盖非常大的范围。很多时候，相机的视野内的很多范围对于相机是隐私范围或者禁止进入，并且不允许被观看或记录。当前固定的相机系统可能对被指定为隐私的范围应用隐私掩蔽。然而，当相机的位置改变时，隐私范围易于被去掩蔽。由于改变相机可以移动的速度，在相机移动的同时试图跟踪隐私掩蔽是不够的。多数传统的系统在相机运动时暴露所指定的隐私范围，并且仅当相机变得稳定时才重新绘制隐私掩蔽。

发明内容

窗口遮蔽特征允许用户出于隐私原因(诸如在相机视野内的私人住所的情况下)而封闭相机的视野的一部分。下面所描述的实施例提供一种摇摄/倾斜/缩放(PTZ)相机以封闭对应于那些被指定的隐私范围的视频的方法或对应的装置或系统。PTZ相机还可以被配置为封闭生成导致低劣的跟踪性能的噪声场景的视频的范围。

在本文所描述的系统和方法解决在相机的状态被修改(诸如其摇摄角度、倾斜角度或缩放倍率等)时暴露隐私区域的问题。在一个实施例中，稳定或PTZ相机的图像平面上的像素可以被映射到世界坐标系统。针对相机的更新状态，对应的世界坐标可以被映射回到图像坐标。在一个实施例中，该映射可以被预先计算并存储为转换查找表。以此方式，相机的慢移动和快移动这两者都可以维持准确的遮蔽区域(亦即，感兴趣的隐私区域被一贯地维持，而与相机的状态无关)。另外，传统的系统仅处置有限数量的所定义的隐私区域(通常少于八个)，并且还被限制为所定义的隐私区域的矩形形状。下面所描述的系统和方法可以通过内插来处置多个(包括八个或更多)的多边形形状。

用于相机或图像传感器的窗口遮蔽的方法可以包括针对相机的视野内的隐私区域的每个顶点来计算相对于世界地面坐标的绝对摇摄/倾斜角度。该方法还可以基于更新或预测的相机视野来确定每个顶点的坐标，并且使用每个顶点的坐标来封闭隐私区域。窗口遮蔽还可以包括至少部分地基于内部相机位置和外部相机位置来计算隐私区域的每个顶点的摇摄/倾斜角度，其中，内部相机位置由摇摄属性、倾斜属性和缩放属性来定义，并且外部相机位置由x属性、y属性和高度属性、相对于世界地面坐标来定义。

在一个实施例中，还可以确定隐私区域的每个顶点的调整的摇摄/倾斜角度。通过所确定的调整的摇摄/倾斜角度，窗口遮蔽方法可以生成隐私区域中的每个顶点的预测的摇摄/倾斜调整角度作为调整的摇摄/倾斜角度的函数。窗口遮蔽还可以包括对调整的隐私区域范围实现封闭模式。例如，封闭(blocking-out)可以包括应用扫描线(scanline)多边形填充。在一个实施例中，可以从客户端设备接收用于封闭隐私区域的隐私区域分界输入。

窗口遮蔽处理还可以包括映射应用以获得隐私区域分界输入。在一个实施例中，可以向用户提供来自PTZ相机的全景图像，使用户能够与作为用于通过所定义的输入模式来定义隐私区域的界面的全景图像进行交互。窗口遮蔽处理还可以利用全景图像界面提供包括全景图像层、图层、混合全景图像图层和注释层的层的选择。这些层提供经由作为可用的输入模式的选择模式、绘制模式和手势模式来处理全景界面的能力。

在一个实施例中，使用每个顶点的坐标来封闭隐私区域包括对相机应用窗口遮蔽。对相机应用窗口遮蔽可以包括在对数据流进行编码或压缩之前从相机发送数据流。在一个实施例中，数据流可以包括模拟数据流或数字数据流或者其组合。窗口遮蔽方法可以通过考虑地面坐标、相机坐标的旋转或平移或者来自一个或多个用户的修正来计算摇摄/倾斜角度。在一个实施例中，确定坐标可以包括计算无坐标变换、图像坐标或摇摄/倾斜/缩放坐标。窗口遮蔽可以包括获得摇摄/倾斜/缩放相机的全景图像，使用户能够定义全景图像内的至少一个遮蔽区域，以及以使得能够在相机进行成像的期间遮蔽至少一个遮蔽区域的方式存储至少一个遮蔽区域的顶点。

用于窗口遮蔽的系统可以包括诸如摇摄/倾斜/缩放相机这样的具有在其上存储程序指令的非临时性计算机存储器的图像传感器。程序指令可以由处理器载入并执行，并且当被执行时，使处理器：针对图像传感器或相机的视野内的隐私区域的每个顶点计算相对于世界地面坐标的绝对摇摄/倾斜角度；基于更新或预测的图像传感器或相机视野来确定每个顶点的坐标；以及使用每个顶点的坐标来封闭隐私区域。系统还包含存储在计算机存储器中的隐私引擎，其中，隐私引擎包括组件集合。在一个实施例中，组件集合可以包括窗口遮蔽组件、坐标组件、映射组件、相机组件、编码器组件和/或用户界面组件。隐私引擎可以与图像传感器或相机的移动一起同时调整隐私区域。另外，可以通过远程客户端设备来访问与窗口遮蔽和隐私引擎相关联地对设置进行交互、修改和/或调整的接口。

附图说明

根据对如附图所示的示例性示例的下面的更具体的描述，前述内容将是显而易见的，附图中相同的标记指代在不同的视图中的相同部件。附图未必是按比例的，而是会在例示实施例时加以强调。

图1是根据一个实施例的用于窗口遮蔽的相机系统的示意图；

图2是例示软件架构的一个实施例的示意图；

图3A是例示用于窗口遮蔽的使用坐标系统的映射的一个实施例的图表图；

图3B是例示用于窗口遮蔽的使用坐标系统的映射的一个实施例的图表图；

图3C是例示用于窗口遮蔽的使用坐标系统的映射的一个实施例的图表图；

图4是例示用于窗口遮蔽的图像坐标图表的一个实施例的图表图；

图5是例示用于窗口遮蔽的处理的一个实施例的图表图；

图6是用于窗口遮蔽系统的用户界面的一个实施例的图形表示；以及

图7是例示用于窗口遮蔽的相机系统的一个实施例的示意图。

具体实施方式

下面是对实施例的描述。图1例示包括相机系统115的网络100，相机系统115根据本发明的一个实施例提供窗口遮蔽特征。如图1所示，处于第一朝向116a的相机系统115与隐私引擎105通信。隐私引擎可以包括通过或由网络120以及一个或多个临时服务器125提供的一个或多个临时服务107。通信网络120可以通过使用诸如传输控制协议/因特网协议(TCP/IP)、因特网协议安全(IPSec)等一个或多个协议来建立相机115与隐私引擎或数据中心之间的通信。在一个实施例中，相机系统可以包括具有诸如100base-TX这样的用于进行实况流传输以请求(多个)网络应用的内置网络接口的高速系统。

在使用中，可以对相机系统115进行摇摄/倾斜/缩放操作。调整的相机朝向116b包括大约45°的至少一个倾斜位置。同样如图1所示，相机系统115与数据商店131通信或者包括数据商店131。相机系统115可以包括视野130，并且在该视野内，可以存在一个或多个区域132、134。根据一个实施例，第一区域132可以包括或者被定义为公共区域。第二区域134可以被标记为隐私区域。

相机系统115包括光学和其他属性。例如，相机系统115可以包括单一格式属性、扫描系统属性、图像传感器属性、水平分辨率属性、透镜属性、缩放属性、缩放速度(光学范围)属性、观看的水平角度属性、水平焦点属性、最大灵敏度属性、同步系统属性、白平衡属性、快门速度、虹膜控制属性、增益控制属性、视频输出属性、视频信噪比属性、宽度动态范围属性、电子图像稳定化属性、图像增强属性和/或视频运动检测属性。相机还包括各种视频属性，例如，相机可以包括视频编码属性、视频流属性、帧速率属性、可用分辨率属性、所支持的协议属性、用户属性、安全访问属性和/或软件界面属性。在一个实施例中，安全访问属性可以支持多级别密码保护。针对上述属性的设置可以由相机组件通过在下面参照图2更详细地描述的用户界面来调整。

根据一个实施例，相机系统115可以提供控制和监视因特网协议(IP)网络上的视频的接口(未示出)。相机系统115还可以提供控制同时IP和模拟视频馈送的接口。在一个实施例中，相机系统可以允许接口观看和控制模拟视频，同时观看、记录和控制网络IP视频。相机系统支持的格式可以包括但不限于H.264、MPEG-4和MJPEG压缩。另外，相机系统可以支持一个或多个同时视频流。两个流可以跨越若干分辨率配置以MJPEG、MPEG-4和H.264格式来压缩。流可以被配置为各种帧速率、比特率以及用于另外带宽管理的图片组(GOP)结构。带宽管理可以包括选择H.264压缩标准，其中视频文件比MJPEG小多达20倍，使网络视频存储在计算上更廉价。

现在回到图1所示的数据流，区域坐标数据136可以从一个或多个相机系统传送到隐私引擎105。在一个实施例中，隐私引擎可以将区域坐标数据分发给网络120上的一个或多个服务器125。区域坐标数据可以由隐私引擎105来处理。经处理的区域坐标数据可以包括用于传送给相机142的区域分析。在一个实施例中，相机系统115还可以通过网络将图像数据138传送给数据中心。数据中心可以处理来自隐私引擎105的图像数据，并且可以生成图像分析140。这些图像分析可以包括但不限于对象检测，包括被抛弃的对象检测、自适应运动检测、自动跟踪、相机破坏、定向运动、徘徊检测、对象计数、对象去除以及被停止的车输。

图2例示具有图1的窗口遮蔽的相机系统的软件架构的一个实施例。如图2所示，隐私引擎205与网络220和数据商店231进行通信。网络通常被识别为具有以图拓扑的客户端、服务器和中间节点的互连和互操作。应当注意到，在本文中所使用的“服务器”通常指处理和响应跨越通信网络的远程用户的请求的计算机、其他设备、程序或其组合。服务器将它们的信息提供给请求“客户端”。在本文中所使用的术语“客户端”通常指能够处理和进行请求以及获得和处理来自跨越网络的服务器的任何响应的计算机、程序、其他设备、用户和/或其组合。推动、处理信息和请求和/或促进来自源用户的信息通往目的用户的计算机、其他设备、程序或其组合通常被称为“节点”。网卡可以接收、通信和/或连接到通信网络220。通过通信网络220，隐私引擎可以由用户通过远程客户端(例如，具有网络浏览器的计算机)访问。如果处理需求指示更大量速度和/或容量，则可以类似地采用分布式网络控制器(例如，分布式隐私引擎)、架构以合并(pool)、负载平衡或者在其他情况下增加隐私引擎所要求的通信带宽。

隐私引擎205可以包括相机组件210、窗口遮蔽组件215、编码器组件230、映射组件240、坐标组件250、用户界面组件260和/或显示器/GUI组件265。引擎和组件可以访问、呼叫、使用和/或调用其他引擎和组件以为分布式且非分层的软件架构做准备。

相机组件210可以与图1的相机系统进行通信。在一个实施例中，相机组件210可以接收来自图1的相机系统的图像数据和/或区域坐标数据。相机组件可以传输从相机接收到的数据或者更新隐私引擎中的其他组件，并且还可以将图像数据和/或区域坐标数据发送给隐私引擎外部的其他应用，例如第三方应用。

窗口遮蔽组件215还可以接收来自相机组件和/或图1的相机系统的区域坐标数据和图像数据。在一个实施例中，窗口遮蔽组件可以基于相机的当前坐标和与隐私区域相关联的顶点来实现对隐私区域的遮蔽。窗口遮蔽组件还可以接收调整的相机位置，从而调整显示相机的视野的界面的窗口遮蔽区域或隐私区域。实现封闭隐私区域可以在被存在于网络上的服务器的隐私引擎接收时实现。在一个实施例中，隐私引擎可以被特殊地编程以对相机或传感器设备应用窗口遮蔽。例如，互补金属氧化物半导体(CMOS)可以包括被配置为在快门打开时登记或读取来自视野的光信息的像素阵列。光信息的登记可以是连续的、周期性的、基于警告的或者预先确定的时间设置。在一个实施例中，像素阵列上的各个像素的值可以被配置为登记特定的密度值，而与在快门打开时接收的光信息无关。因此，隐私区域可以被实时地设置在图像平面上。图像平面编码的实现方式不会遭受复杂图形变换计算中的滞后，并且还降低具有表示隐私区域中的对象或活动的信息或影像的概率。

编码器组件230可以接收来自相机系统的模拟视频，并且将模拟视频编码为一个或多个预先选择的格式。例如，编码器组件可以接收来自相机的两个同时的流，并且将它们从所接收的格式编码成预先确定的格式。在一个实施例中，预先确定的格式可以是用户可选择的。针对每个流的预先确定的格式还可以基于窗口遮蔽的复杂度来自动地优化。窗口遮蔽的复杂度可以至少部分地基于所定义的隐私区域的数量和/或类型和/或不同的多边形形状的数量。例如，重叠给定流的隐私区域可以通过实现封闭每个隐私区域的互斥的部分来实现。在流包括作为更大的隐私区域的子集的隐私区域的情况下，流的格式可以通过实现对更大的隐私区域的封闭来优化。

映射组件240可以接收来自相机系统和/或隐私引擎的图像数据、图像坐标值、世界坐标值、区域坐标值。通过调整图像坐标或世界坐标，映射组件可以动态地确定被投射的坐标和顶点值，并且调整值以发送给窗口遮蔽组件，使得所调整的隐私区域可以被应用于正在被用户界面组件260显示的视野。如上所述，映射组件可以包括映射应用，以获得隐私区域分界输入。在一个实施例中，来自PTZ相机的全景图像可以被提供给用户，使用户能够通过定义的输入模式与作为用于定义隐私区域的界面的全景图像进行交互。窗口遮蔽处理还可以利用全景图像界面提供包括全景图像层、图层、混合全景图像图层和注释层的层的选择。这些层提供经由作为可用的输入模式的选择模式、绘制模式和手势模式来处理全景界面的能力。选择模式可以允许经由下拉菜单、复选框等选择预先确定的范围或区域作为隐私区域。绘制模式允许通过诸如鼠标或触摸界面这样的输入设备来绘制隐私区域。手势模式可以允许接收手势输入(例如，包括身体、手和/或面部表情的移动的人类手势)以标识隐私区域。手势输入可以通过被编程为检测行为运动的传感器设备来接收。

坐标组件250可以从隐私引擎内或与其相关联的任何组件接收图像坐标和/或世界坐标值或传送图像坐标和/或世界坐标值到隐私引擎内或与其相关联的任何组件。在一个实施例中，坐标组件可以针对更新的定位信息连续地轮询相机系统。相机系统还可以被编程为将定位系统更新实时地传送给坐标组件。

用户界面组件260可以可选地连接到远程显示器/GUI265，其中显示器/GUI与具有处理器、存储器和用于接收来自操作者的输入和输出的I/O外围设备的客户端计算机进行通信。用户界面组件可以提供选项以在可编辑的隐私区域上调整基于窗口遮蔽组件的设置。在一个实施例中，用户界面可以允许通过文本和/或图形工具来显示、执行、交互、操纵和/或操作组件和/或系统工具。用户界面提供用户通过其可以影响、交互和/或操作计算机系统的工具。用户界面可以向和/或与包括其自身和/或工具等的组件集合中的其他组件进行通信。在一个实施例中，用户界面可以包括通过网络浏览器可观看的网络应用。

用户界面组件260是由CPU执行的所存储的程序组件。用户界面可以是由、与和/或在诸如上述示例那样的操作系统和/或操作环境之上提供的传统的图形用户界面。隐私引擎组件(诸如用户界面)可以通过标准的数据处理和/或开发技术以无数的变型来合并和/或分布。程序组件集合中的任何一个程序组件的多个实例可以实例化在单个节点上和/或跨越数个节点以通过负载平衡和/或处理数理技术来提高性能。另外，单个实例还可以跨越多个控制器和/或存储设备(例如，数据库)地分布。

隐私引擎的结构和/或操作可以以任何数量的方式来组合、合并和/或分布以便于开发和/或布置。类似地，组件集合可以以任何数量的方式组合以便于布置和/或开发。为了实现这一点，可以将组件集成到通用代码库中或可以按需以集成的方式动态地载入组件的工具中。来自程序组件集合的被合并到通用代码库中的隐私引擎组件的实例可以传送、获得和/或提供数据。这可以通过应用内数据处理通信技术来实现，诸如但不限于：数据参考(例如，指针)、内部消息发送、对象实例变量通信、共享存储器空间、变量传递等。

图3A是例示使用窗口遮蔽的坐标系统的映射的一个实施例的图表图300。如图3所示，可以使用三个坐标来实现窗口遮蔽。一个坐标是世界地面坐标(X，Y，Z)。世界地面坐标可以包括任何形式的坐标系统。在一个实施例中，世界地面坐标系统与其他相机系统是共通的，并且不必绑定到特定世界(亦即，地球地理)。假设地平面是扁平的。世界地面坐标的Z轴垂直于地平面，并且在地平面处的z值为0。另外的坐标是图像坐标(U，V)，即主相机中所看到的图像。另外的坐标是相机摇摄/倾斜坐标(φ,θ)，其中φ和θ分别是摇摄和倾斜角度。

在一个实施例中，可以将相机安装为以倾斜角度θ来俯瞰范围。其位于世界坐标位置(0,0,h)处，h是相机的高度。如图3A所示，相机面向Y方向。另外，图3A示出图像坐标上的点(u,v)以及其在地面坐标上的投射点C(x,y,0)。图像坐标在图像平面(U,V)上。坐标的原点在图像平面的中心处，即U为从-宽度/2至宽度/2，V为从-高度/2到高度/2。

图3B和3C是例示使用窗口遮蔽的坐标系统的映射的一个实施例的图表图330。图3B和3C例示从图像坐标到世界地面坐标的一个映射。图像坐标(u_i,v_i)中的每个点映射到(x_i,y_i,z_i)，其中i从1到9。地平面z值为0，z未被示出。点(x_i,y_i,z_i)可以被称为(u_i,v_i)的投射点。在一个实施例中，投射点是地平面和穿过焦点和点(u_i,v_i)的线之间的内插点。

图4是例示图像坐标的一个实施例的图表图。如图4所示，示出点(u,v)以及其离开光学中心轴的对应的水平角度p和垂直角度t。光学中心轴是穿过点O(图像中心)和点D(焦点)的线。的长度是相机焦距。另外，图4示出点B(0,v)和图3A的世界坐标中的对应的点B(0,y,0)。图4还示出角度q(或∠BDC)以及其在图3A的世界坐标中的对应的角度q(或∠BDC)。在一个实施例中，变量可以被标记如下：

设

θ：相机的倾斜角度

F：焦距(以水平方向像素)

α：相机的水平视野的一半(以度或弧度)

β：相机的垂直视野的一半(以度或弧度)

I_w：图像宽度(以像素)

I_h：图像高度(以像素)

R：图像传感器纵横比(图像传感器的高度/图像传感器的宽度)

当焦距和β未知时，可能通过如下公式来计算它们：

$tan\left(\mathrm{\α}\right)=\frac{I_w}{2\·F},F=\frac{I_w}{2\·\tan \left(\mathrm{\α}\right)}$

$\mathrm{\β}=2\·{\tan }^{-1}\left(\frac{R\·I_w}{2\·F}\right)$

如果0°<θ，则相机中心的倾斜角度低于地平线。

如果θ<0°，则相机中心的倾斜角度高于地平线。

在一个实施例中，可以基于0°<(θ+t)<90°得出等式(亦即，视频中的对象在地面上)。

图5是例示图1的相机系统中的窗口遮蔽的一个处理的流程图。根据图5，流程图500可以包括针对相机的视野内的隐私区域的每个顶点计算相对于世界地面坐标的绝对摇摄/倾斜角度。该处理还可以包括相机系统以基于更新或预测的相机视野来确定每个顶点的坐标520。在一个实施例中，相机系统可以使用每个顶点的坐标来封闭隐私区域530。

图5所示的处理500还可以包括设置窗口遮蔽隐私区域。在一个实施例中，隐私区域可以通过如下来设置1)将相机移动至包含隐私范围的位置以及2)使用GUI来绘制覆盖要封闭的范围的多边形。为了实现这一点，做出一些假设。例如，PTZ相机在绘制隐私区域时位于(φ,θ,m)位置处。(φ,θ,m)分别是摇摄角度、倾斜角度和缩放因子。该位置被称为预置位置。

在一个实施例中，通过多边形来指定隐私区域。隐私区域可以基于多边形的顶点，其中：

(u_i,v_i)表示相机处于预置时的多边形的顶点的图像坐标；以及

(α,β)分别是在PTZ处于预置时的水平和垂直视野的一半。

当相机被移动至不同的位置(φ′,θ′,m′)时，新图像中的隐私区域的位置和大小可能不同于预置的图像中的那些，其中：

(u′_i,v′_i)是当相机被移动至(φ′,θ′,m′)时的新的多边形的顶点的图像坐标；以及

(α′,β′)分别是当PTZ处于(φ′,θ′,m′)时的水平和垂直视野的一半。α和m被关联如下：

$\frac{m}{m^{\&prime;}}=\frac{{\mathrm{\&alpha;}}^{\&prime;}}{\mathrm{\&alpha;}}$

如图5所示，处理可以包括计算每个顶点的绝对摇摄/倾斜坐标(φ_i,θ_i)。对于每个顶点的图像坐标(u_i,v_i)，存在一个投射的世界坐标(x_i,y_i,0)。当相机的中心位于世界坐标(x_i,y_i)时，可以通过如下公式来计算其摇摄/倾倒角度(φ_i,θ_i)：

F＝I_w/[2·tan(α)]

v_i0＝v_i·κ,κ＝R·I_w/I_h

tan(t_i)＝v_i0/F

$tan\left(q_i\right)=u_i/\sqrt{F^2+{v_{i0}}^2}$

如果0°<(θ+t_i)<90°，则公式如下：

θ_i＝sin^-1(sin(θ+t_i)·cos(q_i))

${\mathrm{\&phi;}}_i=\mathrm{\&phi;}+{\tan }^{-1}\left(\frac{tan\left(q_i\right)}{\cos (\mathrm{\&theta;}+t_i)}\right)$

如果(θ+t_i)<0°，则公式如下：

θ_i＝θ+t_i

φ_i＝φ+q_i

如果90°<(θ+t_i)，则关于摇摄角度φ_i的等式如下：

t_i0＝180-(θ+t_i)

可以以各种方式来计算隐私区域。当相机被重新定位到新位置(φ′,θ′,m′)时，具有顶点(u′_i,v′_i)的重新定位并重新调整大小的多边形的新的图像坐标可以通过如下公式来计算：

重新布置摇摄角度的差值(φ_i-φ′)，使得其位于[-180°,180°]的范围内。

Δ＝φ_i-φ′

计算tan(t′_i)如下：

$\tan \left(t_i^{\&prime;}\right)=\frac{\tan \left({\mathrm{\&theta;}}_i\right)-\cos \left({\mathrm{d\&phi;}}_i\right)\&CenterDot;\tan \left({\mathrm{\&theta;}}^{\&prime;}\right)}{\cos \left({\mathrm{d\&phi;}}_i\right)+\tan \left({\mathrm{\&theta;}}_i\right)\&CenterDot;\tan \left({\mathrm{\&theta;}}^{\&prime;}\right)}$

计算v′_i0如下：

v′_i0＝F·tan(t′_i)

$F=\frac{I_w}{2\&CenterDot;tan\left({\mathrm{\&alpha;}}^{\&prime;}\right)}$

计算u′_i如下：

$u_i^{\&prime;}=\frac{sin\left({\mathrm{d\&phi;}}_i\right)\&CenterDot;\sqrt{F^2+{\left(v_{i0}^{\&prime;}\right)}^2}}{\sqrt{{\cos }^2\left({\mathrm{d\&phi;}}_i\right)+{\tan }^2\left({\mathrm{\&theta;}}_i\right)}}$

计算v′_i如下：

(t′_i>90°)或(t′_i<0°)将导致(tan(t′_i)<0)。

如果(|dφ_i|>90°)并且(tan(t′_i)<0)，即(t′_i>90°)，则

v′_i＝无穷大

否则

v′_i＝v′_i0/κ＝v′_i0·I_h/(R·I_w)

在一个实施例中，可以基于(0°<θ_i)的假设来得出所述等式。在(θ_i≤0°)或(θ′≤0°)的情况下，可以对等式修改如下：

v′_i0＝F·tan(θ_i-θ)

$v_i^{\&prime;}=v_{i0}^{\&prime;}/\mathrm{\&kappa;},\mathrm{\&kappa;}=R\&CenterDot;I_w/I_h$

$u_i^{\&prime;}=\sqrt{F^2+{\left(v_{i0}\right)}^2}\&CenterDot;tan({\mathrm{\&phi;}}_i-\mathrm{\&phi;})$

为了实现对隐私区域的遮蔽，可以使用扫描线多边形填充来封闭多边形(u′_i,v′_i)内部的视频。一般地，窗口遮蔽处理设置隐私区域并且计算隐私区域的每个顶点。更具体地，当隐私区域被设置在特定预置位置(φ,θ,m)处时，可以计算并记录每个顶点的摇摄/倾斜角度(φ_i,θ_i)。在一个实施例中，相机可以被移动到不同的位置(φ′,θ′,m′)，并且计算与不同的位置相关联的每个顶点的图像坐标(u′_i,v′_i)。顶点的新集合(u′_i,v′_i)被用于封闭隐私区域。可以在调整相机位置时重复该处理。

图6例示用于与窗口遮蔽系统进行交互的用户界面的一个实施例。图6所示的用户界面600可以包括导航菜单610和账户菜单624。导航菜单可以包括系统标签612、网络标签614、成像标签616、音频/视觉流标签618、用户标签620和/或事件标签622。账户菜单624可以包括实况标签、设置标签、帮助标签和/或注销标签。在成像标签616下，界面可以显示窗口遮蔽控制框630。窗口遮蔽控制框可以包括窗口遮蔽开关触发器和或窗口遮蔽保护触发器632。

成像标签还可以呈现编辑窗口框634。编辑窗口框可以包括用于调整可编辑的隐私区域的一个或多个图标636和638。成像标签616还可以包括相机的视野的预览642，其中可编辑的隐私区域644、646可用。如所示那样，隐私区域636跨越在所呈现的预览图像中的建筑物的顶层。隐私区域638沿着建筑物的中下右手侧部分延伸。界面还包括允许用户控制相机的导航控制。例如，选择向上条640可以转化为传送给相机的摇摄/倾斜/缩放命令。沿着预览窗口642的底部延伸的另外的命令646可以包括放大命令、缩小命令、焦点接近命令和/或焦点远离命令。在一个实施例中，可以通过选择窗口遮蔽的开选项并且在预览窗格642中绘制(用输入设备，例如鼠标、触针、手指/触摸屏)窗口，创建隐私区域。所绘制的隐私区域可以被进一步调整大小、移动标记和/或描绘中心轮廓。

图7是例示窗口遮蔽(WB)平台700的实施例的框图。在该实施例中，WB平台可以用于聚集、处理、存储、搜索、供应、标识、指示、生成、匹配和/或推动与计算机的交互。计算机利用处理器来处理信息；这样的处理器可以被称为中央处理单元(CPU)751。CPU使用通信电路传递担当指令的二进制编码的信号以使得能够进行各种操作。这些指令可以是包含和/或参考在各种处理器可访问的和可操作的存储器的区域中的其他指令和数据的操作和/或数据指令。这样的指令传递推动一个或多个传感器、相机、隐私引擎的一个或多个实例、一个或多个隐私引擎组件以及第三方应用之间的通信。如果处理需求指示更大量速度和/或容量，则可以类似地采用分布式处理器(例如，分布式WB)、大型机、多核、平行和/或超级计算机架构。替代地，如果布置需求指示更大的便携性，则可以采用移动设备、平板个人数字助理(PDA)。

传感器设备701可以包括图像传感器、深度传感器、运动检测器、热感相机、可见光谱相机、固定监视相机、摇摄/倾斜/缩放(PTZ)相机等。传感器设备可以包括连接到天线、从而实现通过各种协议对各种指令的无线传送和接收的收发器；例如，天线可以通过无线保真(WiFi)、蓝牙、无线接入协议(WAP)、频率调制(FM)或全球定位系统来连接。通过协议的指令的这样的传送和接收可以通常被称为通信。在一个实施例中，WB平台可以推动通过传感器设备和诸如用户输入设备(例如，鼠标、键盘触针、触摸屏等)这样的外围设备之间的网络720的通信。

取决于具体实现方式，WB平台和隐私引擎的组件的特征可以通过实现特殊编程的微控制器来实现。WB平台和隐私引擎的组件的功能的实现方式包括特殊编程的嵌入组件，诸如：专用集成电路(“ASIC”)、数字信号处理(“DSP”)、现场可编程门阵列(“FPGA”)等嵌入技术。例如，任何WB平台引擎集合705(分布式的或其他方式的)和/或特征可以经由微处理器和/或经由嵌入组件来实现；例如，经由ASIC、协处理器、DSP、FPGA等。取决于具体实现方式，嵌入组件可以包括软件解决方案、硬件解决方案和/或硬件/软件解决方案这两者的一些组合。例如，在本文中所论述的WB平台特征可以通过实现FPGA来实现，FPGA是包含被称为“逻辑块”的可编程逻辑组件和可编程互连的半导体设备。

逻辑块和互连可以由客户或设计者在制造FPGA之后编程以实现任何WB平台或隐私引擎组件。FPGA逻辑块可以被编程为进行诸如AND和XOR这样的基本逻辑门的操作或者诸如解码器或算术操作这样的更复杂的组合算子。FPGA逻辑块还可以包括存储器元件。这些存储器元件可以允许开发隐私引擎常规FPGA的组件以便移植到更类似于ASIC实现方式的固定版本。存储接口(例如，数据商店731)可以接受、通信和/或连接到多个存储设备，诸如但不限于：存储设备、诸如通用串行总线(USB)这样的可移动盘设备、固态驱动器(SSD)、随机存取存储器(RAM)、只读存储器(ROM)等)。

外围设备可以连接和/或通信到诸如网络接口、存储接口这样的I/O和/或其他工具，直接连接和/或通信到接口总线、系统总线、CPU等。外围设备可以是在WB平台的外部、内部和/或是其一部分。外围设备可以包括：天线、音频设备(例如，线路输入、线路输出、麦克风输入、扬声器等)、相机(例如，静止、视频、网络相机等)、外部处理器(对于增加的能力；诸如密码设备)、打印机、扫描仪、存储设备、收发器(例如，蜂窝、GPS等)、视频设备(例如，护目镜、监视器等)、视频源、取景器等。外围设备往往包括各种输入设备(例如，相机)。

存储器可以包括一组程序和/或数据库组件和/或数据，诸如但不限于：操作系统组件、服务器组件、用户界面组件741；数据库组件737和组件集合735。这些组件可以向隐私引擎组件指示或分配资源。服务器703可以包括被CPU执行的所存储的程序组件。服务器可以通过诸如API这样的工具来允许执行隐私引擎组件。API可以推动对和/或与包括其自身和/或工具等的组件集合中的其他组件通信。在一个实施例中，服务器与WB平台数据库737、组件集合735、网络浏览器、远程客户端等进行通信。对WB平台数据库的访问可以通过多个数据库桥接机制来实现，诸如通过脚本语言和通过应用间通信信道。诸如复选框、光标、菜单、滚动条和窗口这样的计算机交互接口元件类似地推动对隐私引擎组件、能力、操作的访问以及数据和计算机硬件和操作系统资源和状态的显示。

实施例还被实现为存储在非临时性机器可读介质上的指令，其可以被一个或多个处理器读取并执行。非临时性机器可读介质可以包括用于以机器(例如，计算设备703)可读的形式存储或传送信息的任何机构。例如，非临时性机器可读介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储器设备以及其他。

虽然参照本发明的示例性实施例具体示出和描述了本发明，但是本领域的技术人员将理解的是，可以对形式和细节做出各种修改而不脱离由所附权利要求书所涵盖的本发明的范围。

Claims (21)

1.一种相机的窗口遮蔽的方法，该方法包含：

针对相机视野内的隐私区域的每个顶点计算相对于世界地面坐标的摇摄/倾斜角度；

基于更新或预测的相机视野来确定每个顶点的坐标；以及

使用每个顶点的坐标来封闭隐私区域。

2.根据权利要求1所述的方法，还包含：

至少部分地基于内部相机位置和外部相机位置来计算隐私区域的每个顶点的摇摄/倾斜角度，其中，内部相机位置由摇摄属性、倾斜属性和缩放属性来定义，并且外部相机位置由x属性、y属性和高度属性、相对于世界地面坐标来定义。

3.根据权利要求2所述的方法，还包含确定隐私区域的每个顶点的调整的摇摄/倾斜角度。

4.根据权利要求3所述的方法，还包含生成隐私区域中的每个顶点的预测的摇摄/倾斜调整角度作为调整的摇摄/倾斜角度的函数。

5.根据权利要求2所述的方法，其中，封闭隐私区域包括通过改变从图像传感器接收的值来影响显示位置处的色彩。

6.根据权利要求5所述的方法，其中，影响显示位置处的色彩包括应用扫描线多边形填充以形成其中隐私区域中的对象的表示否则本该被放置的图像内的位置处的隐私表示，或者添加或除去该位置内的色彩或强度。

7.根据权利要求1所述的方法，还包含获得用于封闭隐私区域的隐私区域分界输入。

8.根据权利要求7所述的方法，还包含使映射应用能够获得隐私区域分界输入。

9.根据权利要求1所述的方法，还包含：

获得来自摇摄/倾斜/缩放相机的全景图像；以及

使用户能够与作为用于通过所定义的输入模式来定义隐私区域的界面的全景图像进行交互。

10.根据权利要求9所述的方法，还包含：

利用全景图像界面提供包括全景图像层、图层、混合全景图像图层和注释层的层的选择；

使用户能够使用选择模式、绘制模式和手势模式作为针对全景图像界面的可用的输入模式；以及

存储从全景图像界面接收的输入的顶点以使得能够封闭隐私区域。

11.一种窗口遮蔽图像传感器系统，包含：

图像传感器；

计算机存储器，存储与图像传感器通信的程序指令，所述程序指令可以由处理器载入并执行，并且当被执行时，使处理器：

针对图像传感器的视野内的隐私区域的每个顶点计算相对于世界地面坐标的绝对摇摄/倾斜角度；

基于更新或预测的图像传感器视野来确定每个顶点的坐标；以及

使用每个顶点的坐标来封闭隐私区域。

12.根据权利要求11所述的系统，还包含：

存储在计算机存储器中的隐私引擎。

13.根据权利要求12所述的系统，其中，隐私引擎包括窗口遮蔽组件、坐标组件、映射组件、相机组件、编码器组件或用户界面组件。

14.根据权利要求12所述的系统，其中，隐私引擎可通过远程客户端设备来访问。

15.根据权利要求11所述的系统，其中，隐私引擎与图像传感器的移动一起同时调整隐私区域。

16.根据权利要求1所述的方法，其中，使用每个顶点的坐标来遮蔽隐私区域包括对相机应用窗口遮蔽。

17.根据权利要求16所述的方法，其中，对相机应用窗口遮蔽包括在对数据流进行编码或压缩之前从相机发送数据流。

18.根据权利要求17所述的方法，其中，数据流是模拟数据流或数字数据流。

19.根据权利要求1所述的方法，其中，计算摇摄/倾斜角度包括考虑地面坐标、旋转或平移相机坐标、来自一个或多个用户的修正。

20.根据权利要求1所述的方法，其中，确定坐标包括计算无坐标变换、图像坐标或摇摄/倾斜/缩放坐标。

21.一种使相机能够进行窗口遮蔽的方法，包含：

获得摇摄/倾斜/缩放相机的全景图像；

使用户能够定义全景图像内的至少一个遮蔽区域；以及

以使得能够在相机进行成像的期间遮蔽至少一个遮蔽区域的方式存储至少一个遮蔽区域的顶点。