CN100403800C - 屏幕显示和私密遮蔽装置和方法 - Google Patents

Abstract

一种监视摄影系统包括一个摄影机，一个显示屏和一个具有第一和第二存储器装置的处理装置。该处理装置输出信息显示，该信息显示在屏幕上显示并覆盖由摄影机捕获的图像的一部分。处理装置还输出私密遮蔽，该私密遮蔽在屏幕上显示，并使由摄影机捕获的图像的选定部分变得模糊。该私密遮蔽的位置根据摄影机视场的改变而调整。由处理装置输出的私密遮蔽具有第一分辨率，而由处理装置输出的信息显示具有第二分辨率，并且第一分辨率大于第二分辨率。

Description

屏幕显示和私密遮蔽装置和方法

技术领域

本发明涉及视频监视摄影系统，特别涉及用于这些系统的屏幕显示和私密遮蔽。

背景技术

视频监视摄影系统可以在许多地方中找到，并且可以包含具有固定视场的固定摄影机和/或能摇摄、俯仰和/或变焦距以调整视场的可调摄影机。这些摄影机的视频输出通常传送到一个在多个显示屏之一上显示的中央单元。保安人员可以通过监视显示屏发现可疑行为。摄影系统也可以包含需要保安人员输入的多种功能。为了方便使用摄影系统输入数据或命令，系统可以提供文本或图形信息的屏幕显示。例如，可以在显示屏幕上显示一个菜单结构。当这样的信息屏幕显示出现时，该显示的信息会阻挡，或至少遮掩由与显示该信息的屏幕相关的摄影机所捕获的底层的视频图像。

当使用一个视频监视摄影系统时，系统中的摄影机的视场内的区域应包含打算监视的区域和私密区域。这种情况下，通常提供一个私密遮蔽(privacy mask)，该私密遮蔽使与该私密遮蔽相应的那部分视频图像变得模糊。当摄影机是一个具有可调视场的摇摄、俯仰和变焦距的摄影机时，显示图像中与私密区域相应的部分会随着摄影机视场的改变而改变。

一种熟知的提供这样的私密遮蔽的方法以与在屏幕显示上使用的单个字符映射相同的分辨率表现私密遮蔽。例如，如果单个字符映射的大小是10×16象素，则私密遮蔽可以表现为10×16象素的单色块。然而，以这种方式表现私密遮蔽时，通常会导致一种相对不精确的私密遮蔽的表现，其与私密遮蔽期望的区域不完全一致。

因此，尽管多数系统已经解决了在监视摄影系统中提供信息的屏幕显示和/或应用私密遮蔽的需要，但是仍然存在提高这些系统性能的需要。

发明内容

本发明提供一种监视摄影系统，该监视摄影系统给由系统中的摄影机所捕获的视频图像提供信息显示的覆盖和私密遮蔽的使用。

本发明在其一种形式中包括一种监视摄影系统，该监视摄影系统包括：一个具有可调视场的摄影机；一个可与所述摄影机连接的显示屏，其中由所述摄影机捕获的图像能显示在所述显示屏上；一个包括第一存储器装置和第二存储器装置的处理装置。所述处理装置设置为输出信息显示。所述处理装置还可与所述显示屏连接，其中由该处理装置输出的信息显示被显示在所述显示屏上，并覆盖由所述摄影机捕获的图像的一部分。所述处理装置进一步设置为输出私密遮蔽，其中由该处理装置输出的私密遮蔽被显示在显示屏上并使由所述摄影机捕获的图像的选定部分变得模糊，并且根据摄影机的视场变化来调整所述私密遮蔽的位置。所述第一存储器装置存储与所述信息显示有关的数据，所述第二存储器装置存储与所述私密遮蔽有关的数据。由所述处理装置输出的所述私密遮蔽与所述捕获的图像以第一分辨率融合，而由所述处理装置输出的所述信息显示与所述捕获的图像以第二分辨率融合，所述第一分辨率比所述第二分辨率更大，即更精细。

本发明在另一种形式中包括一种在监视摄影系统中产生显示的方法。该方法包括：使用摄影机获取视频图像，其中该摄影机具有可变视场；在显示屏上显示所获取的视频图像；使用屏幕信息显示来覆盖显示在所述显示屏上的所述视频图像的一部分；使所述视频图像的选定部分变得模糊以提供私密遮蔽。该方法还包括使所述私密遮蔽与该视频图像以第一分辨率融合，使所述屏幕信息显示与该视频图像以第二分辨率融合，所述第一分辨率大于第二分辨率。

本发明在另一种形式中包括一种在监视摄影系统中产生显示的方法。该方法包括：使用摄影机获取视频图像，其中该摄影机具有可变视场；在显示屏上显示所获取的视频图像；使用用屏幕信息显示覆盖显示在所述显示屏上的所述视频图像的一部分；使显示在所述显示屏上的所述视频图像的选定部分变得模糊以提供私密遮蔽。本发明在可重写的存储器装置中存储具有多个字符的第一字符映射，其中使用屏幕信息显示覆盖在屏幕上显示的所述视频图像的一部分的步骤包括将从所述字符映射选定的字符显示为所述屏幕信息显示的一部分，其中存储在所述可重写的存储器装置中的所述第一字符映射能用可存储在该可重写的存储器装置中的第二字符映射来代替。

本发明的一个优点在于允许私密遮蔽的分辨率比信息显示所使用的分辨率大。

本发明的另一个优点是允许升级信息显示使用的字符映射，并且便于使用具有较大尺寸的字符，如中文字符。

本发明的另一个优点是其可以用于与摄影装置分开的处理模块中，从而允许摄影装置输出私密遮蔽和屏幕显示的文字、图形画面随后应用的干净视频信号。

附图说明

通过下面参照附图对本发明的实施例的具体描述，本发明以上和其它的特性、目的，以及获取它们的方法将更加清楚，而且本发明将更加便于理解，在附图中：

图1是根据本发明的监视摄影系统的示意图。

图2是图1中处理装置的示意图。

图3是处理装置的一个使用模拟视频信号的部分的示意图。

图4是信息显示的单独单元的一个视图。

图5是信息显示的单独单元的另一个视图。

图6是定义私密遮蔽的算法的流程框图。

图7是在显示屏上显示私密遮蔽的算法的流程框图。

图8是摄影机的屏幕显示的示意图，其定义第一视场并包括私密遮蔽和信息显示。

图9是摄影机的屏幕显示的示意图，其定义第二视场并包括图8的私密遮蔽和不同的信息显示。

在所有这些视图中，相应的附图标记表示了相应的部分。尽管这里提出的举例说明本发明的实施例，但下文中披露的实施例不必要求详尽，不能解释为把本发明的范围限定为所披露的形式。

具体实施方式

根据本发明，图1中示出了一个视频监视系统20。视频监视系统20包括一个位于不完全球形外壳24内的摄影机22。外壳24被染色以允许摄影机获取外壳24外部环境的图像，并同时防止由摄影机22所监视的环境中的对象确定摄影机22的方向。摄影机22包括马达，该马达提供摇摄、俯仰和摄影机22焦距的调整。箭头26表示摄影机22的摇摄动作，箭头28表示摄影机22的俯仰动作，箭头30表示摄影机22的镜头23的焦距变化，如放大。如参照坐标系21所示，摇摄动作相应于沿着x轴的运动，俯仰动作相应于沿着y轴的运动，焦距调整相应于沿着z轴的运动。在所示实施例中，摄影机22和外壳24是Phillips AutoDome

Camera Systems牌的摄影系统，如G3Basic AutoDome

摄影机和外壳，可从Bosch Security Systems公司、在Lancaster，Pennsylvania  有营业场所的以前的PhillipsCommunication，Security &Imaging公司获取。本发明适用的摄影机在标题为监视摄影系统、作者为Sergeant等的美国专利文献US5627616有所描述，在这里作为参考进行插入。

系统20还包括一前端单元32。前端单元32可以包含一个视频开关或视频多路转接器33。例如，该前端单元可以包括一个Allegiant牌的视频开关，可从Bosch Security Systems公司，Lancaster，Pennsylvania的以前的Phillips Communication，Security &Imaging公司获取，诸如LTC8500系列Allegiant视频开关，其可提供高达64个摄影机并且还提供8个独立键盘和8个监视器。前端单元32包括用于操作员或用户输入的键盘34和手柄36。前端单元32还包括一个监视器38形式的显示装置用于操作者观察。24伏A/C电源40用来给摄影机22和处理装置50提供电源，该处理装置可操作地与摄影机22和前端单元32连接。

虽然图示的系统20是一个单摄影机应用，但是，本发明也可用于更大的监视系统，其具有多个固定的、可移动的或二者结合的摄影机，以提供更大或更复杂的监视区域的覆盖。一个或多个VCR，或其它形式的模拟或数字记录设备可以与前端单元32连接以提供摄影机22或系统中其它摄影机所捕获的视频图像的记录。

处理装置50的硬件结构如图2所示。在本实施例中，处理装置50含有一个系统控制板64。虽然处理装置50的电源供应IO接口66在图2中示例为独立的板，但是，这样做是为了清楚的目的，电源供应IO接口66的部件能直接装配到系统控制板64上。电源线42将电源40连接到转换器52以给处理装置50提供电源。经由视频线44，处理装置50从摄影机22接收原始的模拟视频馈入，视频线45用于把该视频图像传送给前端单元32。在所示实施例中，视频线44、45是同轴的、75欧姆、1Vp-p并包括BNC连接器用于与处理装置50连接。摄影机22提供的视频图像可以是模拟的，并与NTSC或PAL标准一致。板72可以是能处理双相信号的标准通讯板，并含有一个允许通过视频链接进行双向通讯的同轴信息集成电路(COMIC)。

通过另一模拟视频线56，模数转换器58从摄影机22接收视频图像并把该模拟视频信号转换为数字视频信号。在该数字视频信号存储在SDRAM 60形式的缓冲器中后，所述数字化的视频信号被传送到视频内容分析数字信号处理器(VCA DSP)62。在VCA DSP 62中执行视频稳定算法。调整后的显示图像被传送到数模转换器74，在这里把该视频信号转换为模拟信号。产生的有注释的模拟视频信号经由模拟视频线76、54，模拟电路68和模拟视频线70传送到通信插座板72，该通信插座板然后通过视频线45将该信号传送到前端单元32。

处理器62可以是TIDM 642多媒体数字信号处理器，可从Dallas，Texas的Texas Instruments Incorporated获得。在启动时，可编程媒体处理器62装载一引导载入程序。该引导载入程序从快闪存储器78这样的存储装置中将VCA应用代码复制到SDRAM 60中执行。在所示实施例中，快闪存储器78提供4兆字节的存储空间，而SDRAM 60提供32兆字节的存储空间。由于启动时来自快闪存储器78的应用代码装载到SDRAM 60中，所以SDRAM 60剩余大约28兆字节的存储空间用于视频帧存储和其它应用软件。

在图2所示的实施例中，位于系统控制板64中的部件通过高速串行通信总线63、双相数字数据总线80、I2C数据总线82、和RS-232数据总线84、88连接到通信插座板72。一个RS-232/RS-485兼容的收发器86也可提供用于通信。同轴线45通过通信插座板72为处理装置50和前端单元32提供通信。各种其它的线，诸如作为RS-232形式的调试数据总线的线49，也可用于从前端单元32将信号传送到处理装置50。由例如线45、49这些线传送的信号，可以包括在送到摄影机22之前被处理装置50修改的信号。这些信号可通过与微控制器90通信的线48传送到摄影机22。在所示实施例中，微控制器90是商用的H8S/2378控制器，可从在San Jose，California具有营业场所的Renesas Technology America公司获取。

微控制器90操作系统控制软件并且还与VCA部件92通信。尽管没有显示，但是使用导线和镶嵌导电材料的通孔来提供安装在图2所示印刷电路板上的不同部件之间的电气连接。这样，诸如VCA DSP62这样的VCA部件可通过微控制器90和线48给摄影机22传送信号。线46也可以不通过处理装置50传送信号，从前端单元32给摄影机22直接传送信号。处理装置50、摄影机22和前端单元32之间的其它可选的通信链接也可用于本发明。

系统控制板64还包括一个现场可编程门阵列(FPGA)94，其含有3个存储器设备，即遮蔽存储器96、字符存储器98和屏幕显示(OSD)存储器100。在所述实施例中，FPGA 94可以是商用FPGA，从具有San Jose，California营业场所并以Spartan 3名称出售的Xilinx公司获取。在所示实施例中，遮蔽存储器96是一4096x16双端口随机存取存储器模块，字符存储器98是一4096x16双端口随机存取存储器模块，OSD存储器100是一1024x16双端口随机存取存储器模块。同样，VCA组件92也包括同样是双端口随机存取存储器模块的遮蔽存储器102、字符存储器104和屏幕显示(OSD)存储器106。这些组件可用于遮掩显示在屏幕38上的图像的不同部分，或产生屏幕38的文本显示。更具体地，处理装置50的这种结构使处理器能将私密遮蔽和屏幕显示应用于模拟视频信号或数字视频信号。

如果期望将私密遮蔽和屏幕显示应用于数字图像信号，将使用存储器102、104和106，并且在处理器62中进行计算私密遮蔽和屏幕显示的位置所需的处理。如果要把私密遮蔽和屏幕显示应用于模拟视频信号，将使用存储器96、98和100，并且在微控制器90中进行计算私密遮蔽和屏幕显示的位置所需的处理。处理装置50中包含的VCA组件92包括存储器102、104、106和处理器62，其有利于视频内容分析，如自动跟踪侵入者。但是，不提供相同的视频内容分析能力的处理装置50的可选实施例，可以不提供VCA组件92以减少费用。在这样的实施例中，通过使用微控制器90和具有存储器96、98、100的现场可编程门阵列(FPGA)94，处理装置50仍然能把私密遮蔽和屏幕显示应用于模拟视频信号。

处理装置50还可以包括可重写的快闪存储器95、101。快闪存储器95用于存储含有字符映射的数据，在系统启动时这些数据被写入存储器98和100。同样快闪存储器101用于存储含有字符映射的数据，在系统启动时这些数据被写入存储器104和106。通过把字符映射存储在可重写的快闪存储器中，如快闪存储器95或101中，而不是只读存储器，字符映射可以在后来需要的时候通过简单的覆盖或补充存储在快闪存储器中的字符映射来相当容易的升级。系统控制板64还包括一并行数据快闪存储器108，用来存储含有用户定义的私密遮蔽的用户设置，其中与用户定义的私密遮蔽相应的数据可以在系统启动时写入存储器96和/或102。

图3提供了比图2更详细的FPGA 94和模拟电路68的示意说明。如图3所示，除了遮蔽存储器96、字符存储器98和OSD存储器100之外，FPGA 94还包括一OSD/遮蔽控制模块94a，一地址解码器94b，和一可选的用来传送帧精确的位置数据的HPI16接口94c。当使用VCA组件92将例如单个文本字符的私密遮蔽和信息显示与数字视频图像融合时，使用该HPI16接口。

同样如图3所示，模拟电路(图2中以更简略的方式示出并标记为68)包括第一模拟开关68a，第二模拟开关68b，滤波器68c，模拟多路复用器68d和视频同步分离器68e。一个“干净的”模拟视频信号，即：尽管图像被稳定了，但该视频信号包括由摄影机22捕获的几乎所有图像，该图像的内容没有任何实质的改变，可以经由线54传送到第二模拟开关68b，混频器68d和同步分离器68e。一个模拟视频信号从混频器68d传送到第一模拟开关68a。混频器68d还包括一半色调黑色调节，由此部分视频信号可利用灰色调修改。同步分离器68e从视频信号中提取定时信息并然后传送到FPGA 94。诸如来自FPGA 94或线54的一个干净的模拟视频信号也可以由滤波器68c接收。通过滤波器68c传递模拟视频信号使图像变模糊，该模糊的图像传送到模拟开关68a。模拟开关68a还含有与黑白输入相对应的输入线。模拟开关68a和FPGA 94之间通过两根使能线通信。该两根使能线允许FPGA 94控制模拟开关68a接收的哪个输入信号被输出到模拟开关68b。图3中还可以看出，第二模拟开关68b包括2个输入线，其中一个对应于来自线54的“干净”模拟视频信号，另一个对应于模拟开关68a的输出。模拟开关68b和FPGA 94之间通过两根使能线通信，由此FPGA 94可以控制输入模拟开关68b的哪个信号被输出到线70进而在显示屏38上显示。

摄影机22捕获的视频序列的每一单个图像或帧由以一系列行的形式排列的象素所构成，并且每一图像的各个象素连续的从模拟电路68传送到显示屏38。当模拟开关68b从线54传送干净视频信号到线70时，从该信号产生的象素会在显示屏38上产生与摄影机22捕获的图像部分相应的清晰和精确的描绘。为了使显示在屏幕38上的图像的一部分变模糊(由此产生私密遮蔽)，模拟开关68a将与从滤波器68c接收的信号相对应的一模糊图像信号传送到模拟开关68b，模拟开关68b再将该模糊图像传送到线70，用于被用来产生与私密遮蔽相应的图像的选定部分的象素。如果期望一个灰色调的私密遮蔽，则来自混频器68d的输入信号(代替来自滤波器68c的模糊图像信号)可以通过开关68a、68b和线70传送到用于图像的选定部分的显示屏38。为了产生屏幕显示，如白色背景下的黑色文本，模拟开关68a将黑或白的、用于产生期望的文本和背景的各个象素的合适信号传送到模拟开关68b，该模拟开关然后通过线70将该信号传送到用于合适象素的显示屏38。这样，通过控制模拟开关68a和68b，FPGA 94能以使用模拟视频信号的方式在显示屏38上产生私密遮蔽和信息显示。换句话说，对应于私密遮蔽和信息显示的象素通过开关68a和68b的动作与摄影机22捕获的图像融合。

如上所述，字符映射存储于存储器98并可用于信息显示的产生。这些单独的字符映射的每一个对应于一个象素块，并描述象素块中的哪个象素是背景和哪个象素是前景，其中背景和前景具有不同的显示特性，例如，前景和背景呈黑和白或其它相反的颜色对以形成期望的字符。这些单独的字符映射然后用于控制开关68a、68b以在显示屏38上产生期望的象素块。在存储器98中存储的单个字符映射的例子如图4、5所示。在图示实施例中，图4中示出的字母“G”的字符映射200为10象素宽16行高，换言之，是10×16象素块。图5中示出的数字“4”的字符映射202为16象素宽13行高，其中每行含有2条水平象素线，换言之，是16×26象素块。在该例中，为这两种不同尺寸的每一种提供了一个完全的字符集，以便以大尺寸，即16×26象素块的字符，和小尺寸，即10×16象素块的字符中的之一或两者在显示屏38上显示文本以产生信息显示。在图4所示的字符映射的尺寸为10×16象素时，当显示字符映射以有效地形成一个尺寸为12×18象素大的字符映射时，将沿该映射的外周界显示附加的背景象素。

正如附图4、5所示，字符映射将该映射内的一些象素赋值为“1”以便把前景和背景区分开来，并由此定义字符。被标识为“1”的象素会在屏幕上以不同于背景象素(这些象素被赋值为“0”)的颜色显示。

在图4所示的字符映射中，每个单独的网格单元204表示一个单一象素，其中指定的象素204f表示一个前景象素，而指定的象素204b表示一个背景象素。在所述实施例中，私密遮蔽在单一象素的基础上定义并表现在一个4×4象素块中。虚线206内的区域表示这样一个可用于表现私密遮蔽的4×4象素块区域。在图5所示的字符映射中，每个单独的网格单元208是1象素宽2象素高。与字符映射200类似，字符映射202将一些象素赋值为“1”以便把前景和背景区分开来，并由此定义字符。在图5中，指定的网格单元208f表示2个前景象素，指定的网格单元208b表示2个背景象素。图5中同样也用虚线框206表示相对于字符映射202大小的包含在虚线206内的4×4象素块的大小。

通常以与字符映射相同的分辨率显示私密遮蔽，换言之，例如通过应用其中映射内的所有象素都是前景象素的字符映射，以与图4的字符映射相同的分辨率表现的私密遮蔽表现在10×16象素的单独像素块中。但是，如上所述，在本发明的所述实施例中，私密遮蔽表现在4×4象素块中，而形成信息显示的单个字符表现在更大的象素块中，即10×16或16×26象素块中。换言之，私密遮蔽以第一分辨率与视频图像融合，字符以第二分辨率与视频图像融合，其中融合私密遮蔽的第一分辨率比融合字符的第二分辨率更大，即更精细。

如上所述，私密遮蔽表现在4×4象素大小的单一象素块206中，私密遮蔽的实现一般如下所述。首先，用户定义私密遮蔽的边界。当摄影机22的视场改变时，计算出与新视场对应的私密遮蔽的新转换的边界。然后，使用4×4象素块表现或填充由新边界定义的私密遮蔽。通过使用相对小的象素块，即4×4象素块代替10×16象素块，来完全填充私密遮蔽新转换的边界，这样私密遮蔽可以与摄影机视场改变时私密遮蔽所期望的实际主题更加一致。

这种在4×4象素块中表现私密遮蔽不要求以任何特定的方式来定义私密遮蔽，可以以这种分辨率来表现私密遮蔽而不用管该遮蔽初始定义的精度。定义和转换私密遮蔽的处理在下面详细描述。

在所示实施例中，指令由人类操作员在前端单元32输入并通过例如线45、49的各种线之一传送至处理装置50，该各种线之一在前端单元32和处理装置50之间提供通信，也在前端单元32和处理装置50之间传送其它的串行通信。在所示实施例中，处理装置50装备有一个薄的金属外壳并安装在摄影机22附近。处理装置50也可以使用其它的方式安装在其它地方。处理装置50中也可应用其它的硬件结构。还应该注意到，通过给处理装置50提供一个薄的金属外壳，便于将它安装在PTZ(摇摄、俯仰、变焦)摄影机上或附近，从而系统20提供了一个独立的嵌入式平台，其不要求基于个人计算机的系统。

提供如处理装置50所示例的独立平台还允许本发明可以使用视频摄影机，该视频摄影机输出未改变的视频图像，即未被改变的“干净”视频信号。从摄影机组件，即摄影机外壳22a里面的那些系统部件输出后，该“干净”视频会具有该独立的平台施加给它的私密遮蔽和屏幕显示。通常，私密遮蔽的使用会排除自动追踪的同步使用，因为对视频图像应用私密遮蔽通常由摄影机外壳内的处理装置执行，会使视频图像的一部分变模糊，因而限制了执行自动追踪所必需的视频内容分析的效率。使用独立平台来将私密遮蔽和屏幕信息显示应用于由摄影机输出的干净视频图像，考虑到使用自动追踪或其它视频内容分析所必需的应用，而不需要摄影机组件本身含有执行这些功能所必需的硬件。但是，如果需要的话，则处理装置50也可以装配在摄影机组件的外壳22a里面。

除了提供私密遮蔽和屏幕显示外，处理装置50还可以实现多种功能。一个这样的功能是自动追踪功能。例如，处理装置50可以识别摄影机视场(FOV)中的移动目标对象，然后产生控制信号，该控制信号调节摄影机的摇摄、俯仰和变焦设置，以追踪该目标对象并使该目标对象保持在摄影的FOV内。Sablak等在2002-11-27提交的标题为“VIDEO TRACKING SYSTEM AND METHOD”的美国专利文献No.10/306,509给出了由系统20使用的自动追踪系统的一个例子，这里以参考的方式并入其所披露的内容。

如上所述，处理装置50也可运行软件，该软件使用户能识别私密区域，如临近遮蔽区域的窗口。然后使用私密遮蔽遮掩在图像中所描述的底层主题。对具有可调视场的摄影机来说，当该摄影机的视场变化时，如果该遮蔽将继续以将私密提供给相同的主题，即临近区域的窗口，则必须随着该摄影机的视场变化而变换该遮蔽的区域。尽管这样的私密遮蔽通常包括遮掩在遮蔽区域内的被显示的图像，但是作为选择提供虚拟的私密遮蔽也是令人满意的。例如，一个窗口或其它区域可以包含大量的运动，该运动不是用来追踪而是激活自动追踪程序。这种情况下，需要为这样的区域定义一个遮蔽，并在显示屏38上继续以与该图像的剩余部分同样的分辨率显示该遮蔽区域但不把该图像的这个区域的图像用作自动追踪的目的。换句话说，为了自动追踪程序的目的，在遮蔽区域内的图像被“遮掩”(通过减少提供的或用于分析遮蔽区域的信息)，尽管显示在该区域的图像分辨率没有减少。本发明也可使用这样的虚拟私密遮蔽。

尽管上面讨论了具体的硬件结构，但是实现本发明时也可对这样的结构作各种变型。在这些可选的结构中，遮蔽的更新速率需要足够高以阻止在摄影机运动过程期间未能遮蔽所定义的遮蔽区域。下面描述识别遮蔽区域并随摄影机视场的变化而改变该遮蔽区域的方法。

附图6和7呈现流程图，该流程图举例说明了在处理装置50中运行的软件提供可变换的私密遮蔽的方法。图6举例说明了系统的用户创建私密遮蔽的算法。首先，如120、122所示用户通过从一交互菜单选择这种功能或通过其它合适的装置启动绘制遮蔽功能。在绘制遮蔽功能开始时，如124所示，通过处理装置持续存储最近获取的图像。如126所示，用户首先启动绘制私密遮蔽的软件而不是选择兴趣点(POI)。当使用视频追踪程序追踪POI时选择POI。如128所示，然后用户操作手柄36选择一个遮蔽顶点(x，y)。鼠标或其它合适的装置也可以用来选择遮蔽顶点。如果选择了多个遮蔽顶点，则如130所示，在屏幕上绘制出连接遮蔽顶点的连线。然后如132所示，用户通过在手柄36或键盘34上按下特定按钮或键来确认该新的遮蔽顶点的选择。从方框132到方框134的连线表示给遮蔽增加新的顶点。如134所示，然后程序确定为遮蔽选取的顶点数目是否大于2，以及所选取的顶点是否定义了一个多边形。如果这些问题之一的答案为否，则程序返回到方框128用于选择新的遮蔽顶点。如果已经选择了至少3个顶点并且所选择的顶点定义了一个多边形，则如136所示，程序绘制出并填充由这些顶点所限定的遮蔽。然后用户询问该遮蔽是否完成了或是否需要添加其它顶点。如果用户指示其它顶点需要添加到遮蔽上，则程序返回到方框128并重复上述的处理。如果用户已经结束添加顶点给遮蔽，并指示遮蔽已完成，则程序进行到方框140，在这里要求用户选择对遮蔽使用的模糊填充的类型。

在所示实施例中，用户可以选择实心填充或半透明填充。实心的遮蔽填充可以采用单色填充的形式，诸如单色的灰或白填充，其通过完全阻挡与私密遮蔽相应的那部分视频图像来使在该遮蔽内的视频图像变得模糊。通过减少包含在私密遮蔽区域内的视频图像的分辨率来形成半透明的填充，不用阻挡在遮蔽内的全部视频图像就能使得在私密遮蔽内的视频图像变得模糊。例如，对于一个数字视频信号，将在私密遮蔽内的区域分解为多个含有许多单个象素的块。然后对构成每个块的单个象素的值进行平均，该平均值用于给整个块上色。对于一个模拟视频信号，可以对与在遮蔽内的区域对应的信号进行过滤以提供减少的分辨率。这些减少视频图像的选定区域的分辨率的方法是本领域技术人员熟知的。

在优选减少私密遮蔽内的视频图像的分辨率而不需完全阻塞图像的那个区域的某些场合中，需要这些模糊图像的方法。例如，如果有一个窗户需要使用私密遮蔽，在窗户前还有一个通道需要监视，则通过使用半透明的私密遮蔽，通过降低分辨率可以使与窗户对应的图像资料充分模糊化，这样可提供期望的私密，同时仍然允许保安人员跟踪在窗户前移动或行走的目标对象或人物运动的常用路径。

为遮蔽选择了填充类型之后，如方框142所示，程序记录下该数据和遮蔽顶点。当开始记录遮蔽顶点时，如从摄影机方框144延伸到到遮蔽方框142的线所表示的，摄影机的摇摄、俯仰和变焦设置也与顶点坐标一起被记录。在已经定义遮蔽后，如方框146所示，程序确认是否任一遮蔽顶点位于当前的摄影机视场中。如果没有遮蔽顶点位于当前视场中，则摄影机继续把捕获的图像传送至处理装置50，这些图像在没有私密遮蔽的情况下显示在显示屏38上。如果在摄影机的当前视场中含有私密遮蔽顶点，则如方框148所示，程序开始在显示屏38上显示遮蔽。

图7提供一个流程图，该流程图表示在监视摄影系统20的正常操作期间在显示屏38上显示私密遮蔽的方法。如方框150所示，程序首先确认摄影机的当前视场中是否存在任何可见的私密遮蔽。这可以通过使用摄影机当前的摇摄、俯仰和变焦设置来确认当前视场的范围以及将当前视场与用户已经定义的私密遮蔽的顶点进行比较来确定。

如果在当前视场中存在遮蔽，则程序进行到方框152，在其中，它获取遮蔽数据和摄影机当前的摇摄和俯仰位置。该遮蔽数据包括与初始遮蔽顶点对应的摄影机的摇摄和俯仰设置。然后按照如下所描述的来计算欧拉角和旋转矩阵(如本领域技术人员所熟知的，欧拉的旋转定理假定任何旋转都可用3个角度来描述)。如154所示，然后在摄影机校准矩阵Q₂的计算中使用摄影机的焦距或变焦设置。然后如156所示计算单应矩阵M。

旋转和单应矩阵的计算用于转换私密遮蔽，以使其与当前图像对齐，而且可能需要平移、按比例缩放和旋转该遮蔽。对在一个不同的焦距中获取的图像的遮蔽进行变换，该不同的焦距不同于定义该遮蔽的焦距，要求对该遮蔽进行按比例缩放、旋转和平移，以在该当前图像中正确地放置该遮蔽。通过这种几何操作产生的遮蔽是原始遮蔽的近似。原始或参考遮蔽到当前图像的映射定义为：

p’＝sQRQ^-1p＝Mp    (1)

其中p和p’表示在第一和第二图像中相同世界点的单应图像坐标，s表示缩放图像(对应于摄影机的焦距)，Q表示内部摄影机校准矩阵，R表示两个摄影机位置之间的旋转矩阵。

可选地，在两个连续图像中的固定世界点的遮蔽投影坐标p和p’，即象素坐标(x，y)和(x’，y’)之间的关系表示为：

$x^{\′}=\frac{m_{11}x+m_{12}y+m_{13}}{m_{31}x+m_{32}y+m_{33}}---\left(2\right)$

$y^{\′}=\frac{m_{21}x+m_{22}y+m_{23}}{m_{31}x+m_{32}y+m_{33}}---\left(3\right)$

其中|m_ij|_3×3是将第一组坐标映射(对齐)到第二组坐标的单应矩阵M。

这种图像/坐标对齐的主要任务是确定矩阵M。从等式(1)可清楚看出，给出s，Q和R在理论上可以直接确定矩阵M。但实际上，s，Q和R的精确值经常是不可知的。等式(1)还假定摄影机中心和旋转中心是相同的，虽然通常这仅是近似地正确，但是，这种假设对于提供私密遮蔽是足够精确的。在所示实施例中，摄影机22在图像同步的基础上给每个传送给处理装置50的图像提供数据，即用于确定R的摇摄和俯仰值以及用于确定s的变焦值。

利用这种图像具体数据，然后能通过使用上面提到到的方法执行私密遮蔽的平移、旋转和缩放，以正确的对齐该私密遮蔽以用于第二图像。在该方法中，平移是在x或y方向上移动一些象素的象素运动。正平移是指增加行或列下标的方向：负平移则相反。在正方向上的平移是向图像的顶端或左端增加行数或列数，直到已经取得所要求的增加为止。图像旋转相对于定义在运动中心的原点按照指定的角度来执行，。缩放图像是使其变大或缩小指定的倍数。下面的近似可用于描述这样的平移、旋转和缩放：

x′＝s(xcosα-ysinα)+t_x    (4)

y′＝s(ysinα+xcosα)+t_y

其中

s是缩放(变焦)倍数。

α是相对于原点的旋转角度。

t_x是沿x方向的平移；和

t_y是沿y方向的平移。

通过引入新的独立变量a₁＝s cos α和a₂＝s sin α，等式(4)变为：

x′＝a₁x-a₂y+t_x    (5)

y′＝a₂x+a₁y+t_y

在确定a₁、a₂、t_x和t_y后，可以转换参考遮蔽顶点的坐标以用于当前图像。

如由从方框174延伸到方框156的线所示，从存储装置获取与转换的遮蔽相应的Q₁ ^-1值。例如，这种遮蔽数据可存储于遮蔽存储器。如上所述，当该遮蔽将应用于数字视频图像时，该数据会存储在遮蔽存储器102中，而当该遮蔽将应用于模拟视频图像时，该数据存储在遮蔽存储器94中。在计算单应矩阵M后，如方框158所示，识别视场中当前可视遮蔽的顶点，并且然后如方框160所示使用单应矩阵以确定遮蔽顶点的转换的图像坐标。然后如方框162所示将该新的图像坐标映射到180×360网格并存储适当的遮蔽存储器96或102中。

在映射遮蔽顶点后，如方框164所示程序确认是否存在需要转换的剩余的遮蔽顶点。如果存在其它遮蔽顶点，则程序返回到方框160，在这里使用单应矩阵M来确定该其它遮蔽顶点的转换的图像坐标。重复这一处理过程，直到已经为所有遮蔽顶点计算出转换的图像坐标。然后处理过程进行到方框166并且填充由该转换的图像坐标所限定的多边形。

如方框168所示程序然后确认是否存在包含在当前视场中的其它私密遮蔽。如果存在其它遮蔽，则程序返回到方框150，在这里识别该其它遮蔽并对该遮蔽重复执行上文所述的处理。一旦所有遮蔽都被识别、转换和填充，程序进行到方框170，在这里利用DMA(存储器直接存取)技术检索存储在遮蔽存储器96或102中的遮蔽数据用于视频图像信号。然后如方框176所示完成私密遮蔽在当前视场中的显示。

只要摄影机的视场不变，私密遮蔽的图像坐标就保持不变。如果遮蔽填充是实心填充，则在摄影机的视场改变之前，该实心填充保持不变。如果遮蔽填充是半透明填充，则填充遮蔽的较大象素块将随摄影机捕获的每一新图像而更新，但是在摄影机的视场改变之前，形成私密遮蔽的象素块的位置不改变。一旦通过改变摄影机的摇摄角度、俯仰角度或变焦设置(如焦距)中的一个或多个来改变摄影机的视场，则将重复如图7所示的遮蔽显示算法以确定新视场中是否含有私密遮蔽，以及转换包含在视场中的任一遮蔽的图像坐标以便在显示屏38上显示该遮蔽。Sablak在与本申请在同一时间提交的、题目为“TRANSFORMABLE PRIVACY MASK FOR VIDEO CAMERAIMAGES”并已转让给本申请的受让人的美国专利申请描述了可用于本发明的产生私密遮蔽的方法，这里以参考的方式并入该申请所披露的内容。为视频图像提供私密遮蔽的其它方法也可用于本发明。私密遮蔽存储器96、102的存储容量允许限定和存储私密遮蔽，从而以较高的分辨率显示。例如，私密遮蔽可以被分解为多个单独象素块，每个象素块限定该私密映射的一个顶点，然后当摄影机视场改变时按照上述方式转换并映射到当前图像，以定义用于限定遮蔽的各象素块的总和构成的私密遮蔽的新边界。例如，当用720×480象素NTSC图像或720×572象素PAL图像显示私密遮蔽时，初始定义的私密遮蔽会被分解为若干个小的象素块，然后这些小象素块被分别转换并映射到当前图像，这些被转换的块的外部边界然后被用于限定该私密遮蔽的新边界以用于填充。在其它实施例中，初始定义的私密遮蔽可以被分解为其它单元，诸如由各个象素组成的块，然后当视场变化时转换这些单元并映射到当前图像，这样可以为私密遮蔽限定新边界。

除了私密遮蔽之外，处理装置50还输出信息显示，该信息显示然后在显示屏38上显示出来覆盖一部分视频图像。与私密遮蔽不同，显示屏38上的信息显示的位置通常不随摄影机视场的变化而调整。这种信息显示可以包含文本信息，如建立私密遮蔽时提供菜单选项，或者给检察员提供与监视系统的状态有关的信息。这种文本信息显示可以包括不同语言的字符。例如，除了其它语言以外，系统需要同时支持英文和中文字符的使用。例如，一组英文字符映射和/或中文字符映射可以存储在字符存储器98中以用于模拟视频信号，或存储在字符存储器104中以用于数字视频信号。分别用于字符存储器98、104的OSD存储器100、106用于保存字符的存储地址以便于后来的调用和显示。英文字符地址的存储一般每个字符使用8位存储空间，但是单个中文字符的地址需要额外的存储空间，如每个字符地址需要16位。信息显示也可能需要象形符号或其它形式的不需要特定语言的图形信息。这种象形符号和其它图形显示信息，如字符背景，菜单结构和其它与屏幕38上的显示信息有关的数据，可以存储在字符存储器98、104中，这些项目的地址可以存储在OSD存储器100、106中。

如果存储器96、98、100用于模拟视频信号，则私密遮蔽、字符和OSD数据被存储在处理器90的可重写快闪存储器95中，并在系统刚启动时被写入RAM存储器模块96、98、100。同样的，如果存储器102、104、106用于数字视频信号，则在系统启动时将数据从可重写快闪存储器模块101写入到这些存储器。启动后，各个字符和其它OSD数据然后可以由不同程序使用，如私密遮蔽和对象追踪程序，以此向用户显示信息或在用户与系统交互时与用户通信。

用可重写存储器存储字符集，可以在制造后用恰当的字符集装载处理装置50，此时它会确定需要哪个字符集。此外，它还允许覆盖初始字符集并在以后升级或改变该字符集。

图8和9给出了根据本发明的在屏幕38上显示内容的例子。图8示意地描述了当摄影机22定义了第一视场时屏幕38上显示的视频图像180。还描述了私密遮蔽182。具有一个显示文本字符188的背景186的信息显示184也在图8中描述。在图8的例子中，信息显示184要求检察员输入应当用于显示私密遮蔽182的填充类型(实心或模糊)。(在其它实施例中，字符188可以直接在摄影机22捕获的视频图像上显示，而不必使用实心背景186。)

图9简略描述了在摄影机22定义第二视场后在屏幕38上显示的视频图像190。根据图像180、190之间的视场变化，图8中的私密遮蔽被转换并在图像190中成形为192。图9还描述了信息显示194，其在图8例子中通知检察员追踪系统处于活动状态。

尽管已经将本发明描述为具有示例性的设计，但是本发明可以在其所披露内容的精神和范围内进一步修改。因此本申请覆盖本发明在一般原则下的任何变体、应用和修改。

Claims (21)

1.一种监视摄影系统，所述系统包括：

一个具有可调视场的摄影机；

一个能够与所述摄影机连接的显示屏，其中由所述摄影机捕获的图像能够显示在所述显示屏上；

一个处理装置，包括第一存储器装置和第二存储器装置，所述处理装置设置为输出信息显示，所述处理装置能够与所述显示屏连接，其中由所述处理装置输出的信息显示被显示在所述显示屏上，并覆盖由所述摄影机捕获的图像的一部分；所述处理装置进一步设置为输出私密遮蔽，其中由所述处理装置输出的私密遮蔽被显示在所述显示屏上并使由所述摄影机捕获的所述图像的选定部分变得模糊，根据所述摄影机的视场的变化来调整所述私密遮蔽的位置；

其中所述第一存储器装置存储与所述信息显示有关的数据，所述第二存储器装置存储与所述私密遮蔽有关的数据；以及

其中由所述处理装置输出的所述私密遮蔽与所述捕获的图像以第一分辨率融合，由所述处理装置输出的所述信息显示与所述捕获的图像以第二分辨率融合，所述第一分辨率大于所述第二分辨率。

2.如权利要求1所述的摄影系统，其中所述第一和第二存储器装置是双端口随机存取存储器模块。

3.如权利要求1所述的摄影系统，其中所述处理装置包括一个现场可编程阵列，所述现场可编程阵列存储字符映射，所述字符映射包括多个字符，并且其中将由所述处理装置输出的所述私密遮蔽和由所述处理装置输出的所述信息显示应用到模拟视频信号。

4.如权利要求3所述的摄影系统，其中所述现场可编程阵列包括随机存取存储器模块，并且所述处理装置进一步包括可重写的快闪存储器，所述字符映射存储在所述快闪存储器中，并且其中将所述字符映射从所述快闪存储器写入到所述随机存取存储器模块。

5.如权利要求1所述的摄影系统，其中所述第二存储器装置存储与用户定义的私密遮蔽对应的数据。

6.如权利要求1所述的摄影系统，其中所述私密遮蔽与所述捕获的图像融合在其尺寸不大于4×4像素的各个单元中。

7.如权利要求1所述的摄影系统，其中所述信息显示与所述捕获的图像融合在其尺寸至少为10×16像素的各个单元中。

8.如权利要求7所述的摄影系统，其中所述私密遮蔽与所述捕获的图像融合在其尺寸不大于4×4像素的各个单元中。

9.如权利要求1所述的摄影系统，其中由所述处理装置输出的所述私密遮蔽和由所述处理装置输出的所述信息显示两者都被应用到模拟视频信号。

10.如权利要求1所述的摄影系统，其中所述处理装置和所述摄影机布置在单独的外壳内，并且其中将所述摄影机捕获的所述图像不改变地从所述摄影机传送到所述处理装置。

11.一种在监视摄影系统中产生显示的方法，所述方法包括：

使用摄影机获取视频图像，其中该摄影机具有可变视场；

在显示屏上显示所获取的视频图像；

使用屏幕信息显示来覆盖显示在该显示屏上的所述视频图像的一部分；

使所述视频图像的选定部分变得模糊以提供私密遮蔽；以及

其中该私密遮蔽与该视频图像以第一分辨率融合，该屏幕信息显示与该视频图像以第二分辨率融合，该第一分辨率大于该第二分辨率。

12.如权利要求11所述的方法，其中所述私密遮蔽与所述视频图像融合在其尺寸不大于4×4像素的各个单元中。

13.如权利要求11所述的方法，其中所述屏幕信息显示与所述视频图像融合在其尺寸为至少10×16像素的各个单元中。

14.如权利要求11所述的方法，其中通过使用模拟信号来传送所述视频图像，该视频图像具有由屏幕信息显示覆盖的部分和被模糊以提供私密遮蔽的选定部分。

15.如权利要求11所述的方法，其中所述摄影机包括外壳，由所述摄影机获取的视频图像被不改变地从所述摄影机传送到在所述摄影机外壳外部的装置，在所述摄影机外壳的外部发生使用屏幕信息显示覆盖在所述显示屏上显示的所述视频图像的一部分的步骤，以及使在所述显示屏上显示的所述视频图像的选定部分变得模糊以提供私密遮蔽的步骤。

16.一种在监视摄影系统中产生显示的方法，所述方法包括：

使用摄影机获取视频图像，其中所述摄影机具有可变视场；

在显示屏上显示所获取的视频图像；

使用屏幕信息显示来覆盖显示在所述显示屏上的所述视频图像的一部分；

使显示在所述显示屏上的所述视频图像的选定部分变得模糊以提供私密遮蔽；以及

在可重写的存储器装置中存储具有多个字符的第一字符映射，其中使用屏幕信息显示来覆盖在所述显示屏上显示的所述视频图像的一部分的步骤包括将从所述第一字符映射选定的字符显示为所述屏幕信息显示的一部分，并且其中存储在所述可重写的存储器装置中的所述第一字符映射能用可存储在所述可重写的存储器装置中的第二字符映射来代替。

17.如权利要求16所述的方法，其中包括所述第一字符映射的各个字符的每一个具有地址，并且该各个字符的地址存储在能够与现场可编程阵列连接的双端口随机存取存储器模块中。

18.如权利要求17所述的方法，其中提供第二可重写的存储器装置，并且该第二可重写存储器存储与用户定义的私密遮蔽对应的数据。

19.如权利要求16所述的方法，其中所述使显示在所述显示屏上的所述视频图像的选定部分变得模糊以提供私密遮蔽的步骤包括使所述私密遮蔽与所述视频图像融合在其尺寸不大于4×4像素的各个单元中。

20.如权利要求16所述的方法，其中所述使用屏幕信息显示来覆盖显示在所述显示屏上的所述视频图像的一部分的步骤包括使所述屏幕信息显示与所述视频图像融合在其尺寸至少为10×16像素的各个单元中。

21.如权利要求20所述的方法，其中所述使显示在所述显示屏上的所述视频图像的选定部分变得模糊以提供私密遮蔽的步骤包括使所述私密遮蔽与所述视频图像融合在其尺寸不大于4×4像素的各个单元中。

Images