CN102833478B - 容错背景模型化 - Google Patents

容错背景模型化 Download PDF

Info

Publication number
CN102833478B
CN102833478B CN201210128544.7A CN201210128544A CN102833478B CN 102833478 B CN102833478 B CN 102833478B CN 201210128544 A CN201210128544 A CN 201210128544A CN 102833478 B CN102833478 B CN 102833478B
Authority
CN
China
Prior art keywords
photographing unit
visual field
scene
image
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210128544.7A
Other languages
English (en)
Other versions
CN102833478A (zh
Inventor
A·K·谷帕塔
刘新宇
J·温德瑞格
V·M·S·都德巴拉普尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102833478A publication Critical patent/CN102833478A/zh
Application granted granted Critical
Publication of CN102833478B publication Critical patent/CN102833478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/02Monitoring continuously signalling or alarm systems
    • G08B29/04Monitoring of the detection circuits
    • G08B29/046Monitoring of the detection circuits prevention of tampering with detection circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了容错背景模型化。这里公开了用于检测照相机网络系统(200)中的第一照相机(260)的窜改的系统和方法,其中,第一照相机(260)适于在第一照相机(260)的视场(220)中捕获场景的一部分。该方法检测第一照相机(260)的视场(220)中的该场景的阻塞,并改变第二照相机(270)的视场(225)以与第一照相机(260)的视场(220)重叠。该方法确定改变视场的第二照相机(270)所捕获的图像与和第一照相机(260)的视场(220)有关的一组基准图像之间的差值。方法然后基于差值超过预定阈值检测到第一照相机(260)的窜改。

Description

容错背景模型化
对于相关专利申请的引用
本申请要求在2011年4月29日提交的澳大利亚专利申请No.2011201953的提交日期的权益,在此通过引用并入其全部内容。
技术领域
本公开总体上涉及视频处理,并且更特别地,涉及检测照相机网络内的照相机的窜改(tampering)并且在被窜改的照相机的位置处继续前景物体与背景的分离。
背景技术
诸如摇摄倾斜变焦(Pan-Tilt-Zoom)(PTZ)照相机的视频照相机当今得到普遍应用,并且常常被用于监视目的。照相机可处理比观察人员可处理的数据多的数据(视频内容)。由此,需要视频内容的自动分析。视频分析学的领域针对视频内容的自动分析的这种需求。一般在硬件或软件或它们的组合中实现视频分析。用于执行视频分析的功能部件可位于照相机自身上,或者位于与照相机连接的计算机或视频记录单元上。
不管如何实现视频分析,视频分析中的通常实施的技术是通过将输入帧与场景模型比较以将视频内容分离成前景物体与背景场景。场景模型具有关于场景的历史信息,诸如在过去的不同时间的场景中的门的不同位置。由于前景/背景分离用作诸如物体检测和跟踪的应用的启用技术,因此前景/背景分离是重要的。术语“前景物体”指的是场景中的瞬时的物体。即使场景的剩余部分包含移动,场景中的剩余部分仍被视为背景区域。这种移动可包含例如树的摇摆或叶子的沙沙作响的移动。
一般通过使用单个或多个照相机实现位置的视频监视。在安装一个或更多个照相机的位置处,监控诸如闲逛、丢弃的物体、侵入、人或物体跌落的事件。使用视频分析以检测这些事件,从而可激起警报以传达已出现了这些事件。
随着视频分析的普及性增加,监视系统越来越依赖于视频分析以长时间可靠地工作。并且,为了用另一照相机确保窜改照相机的视场的连续监视,内置于监视系统中的自动照相机窜改检测和应急措施是十分重要的。术语“窜改”指的是遮蔽或破坏照相机的视场以使之减小或完全去除该照相机的有效监视覆盖范围。存在各种已知的用以检测照相机的窜改并继续执行监视的技术。
一种检测照相机的窜改的方法是通过将场景的基准图像与从照相机的视场获得的图像或图像的部分相比较。在这种情况下,当在基准图像中的任一个与照相机的视场中的图像或图像的部分之间不存在匹配时,检测到照相机的窜改。但是,缺点在于该技术没有区分照相机的窜改与临时阻挡受监视的视野的真实物体。
另一检测照相机的窜改并提供监视连续性的方式是通过在受监视的各地点处复制照相机传感器。在该配置中,复制的传感器中的每一个持续地通信并且验证彼此的窜改状态。该方法的缺点是可能相当明显的硬件成本的增加,并且对于大的安装来说,这种成本是高得付不起的。
因此,需要提高照相机网络系统对于这种窜改攻击的容限(tolerance)。
发明内容
本公开的一个或更多个实施例的目的是基本克服或至少改善现有的配置的一个或更多个缺点。
本公开提供了通过使用第二照相机检测照相机的窜改的方法。第二照相机被选择以改变其视场以与第一照相机的视场重叠,并且差值分数被计算以确认第一照相机的视场的窜改位置。在确认第一照相机窜改时,第一照相机的场景模型被第二照相机部分地重用,以用于连续的物体检测。
根据本公开的第一方面,提供了一种用于检测照相机网络系统中的第一照相机的窜改的方法,其中,第一照相机适于在第一照相机的视场中捕获场景的一部分。方法包括以下的步骤:检测第一照相机的视场中的场景的阻塞(occlusion);改变第二照相机的视场以与第一照相机的视场重叠;确定改变视场的第二照相机所捕获的图像与和第一照相机的视场有关的一组基准图像之间的差值;和基于差值超过预定阈值检测到第一照相机的窜改。
根据本公开的第二方面,提供了一种用于检测图像序列中的前景物体的方法。该方法通过使用与第一照相机的第一视场相关的场景模型检测第一照相机的第一视场中的前景物体,并且,基于检测到的前景物体检测在第一照相机的事件。该方法向第二照相机传送与第一照相机的第一视场相关的背景模型以及与第一照相机相关的校准信息,并且基于与第一照相机相关的校准信息确定,与第一照相机的第一视场相关的背景模型的可重使用部分。该方法改变第二照相机的第二视场以与第一照相机的第一视场重叠,并且,基于确定的背景模型的可重使用部分检测第二照相机的改变的视场中的前景物体。
根据本公开的第三方面,提供了一种用于监控场景的照相机网络系统,系统包括:具有第一视场的第一照相机;具有第二视场的第二照相机;用于存储与和第一照相机的第一视场对应的场景的一部分相关的背景模型的存储器;用于存储计算机程序的存储装置;和用于执行程序的处理器。程序包含用于执行以下的方法步骤的代码:检测第一照相机的视场中的场景的阻塞;改变第二照相机的第二视场以与第一照相机的第一视场重叠;确定改变视场的第二照相机所捕获的图像与和第一照相机的第一视场有关的一组基准图像之间的差值;和基于差值超过预定阈值检测到第一照相机的窜改。
根据本公开的第四方面,提供了一种用于检测照相机网络系统中的第一照相机的窜改的方法,其中第一照相机适于在第一照相机的视场中捕获场景的一部分。该方法包括以下的步骤:检测第一照相机的视场中的场景的阻塞;改变第二照相机的视场以与第一照相机的视场重叠;确定改变视场的第二照相机所捕获的图像与和第一照相机的视场有关的基准图像之间的差值;和基于差值超过预定阈值检测到第一照相机的窜改。
根据本公开的另一方面,提供了用于检测照相机网络系统中的第一照相机的窜改的方法,第一照相机适于在第一视场中捕获场景,所述方法包括:检测第一视场中的场景的阻塞;响应检测到的阻塞改变第二照相机的第二视场以与第一照相机的第一视场重叠;和将第一照相机的第一视场中的场景的背景模型传送到第二照相机。
根据本公开的另一方面,提供用于实现上述的方法中的任一个的装置。
根据本公开的另一方面,提供了包括计算机可读介质的计算机程序产品,在该计算机可读介质上记录了用于实现上述的方法中的任一个的计算机程序。
还公开了本公开的其它方面。
附图说明
现在将参照以下的附图描述本发明的至少一个实施例,其中,
图1是执行前景/背景分离的网络照相机的功能框图;
图2是监视场景中的各视场的两个网络照相机的框图;
图3A表示第一照相机被窜改的情景;
图3B表示第一照相机未被窜改的情景;
图4是表示第一照相机与第二照相机之间的重叠的视场的功能图;
图5是表示照相机处的窜改检测的总体处理的示意性流程图;
图6是表示通过计算差值分数确定第一照相机是否已被窜改的处理的示意性流程图;
图7是表示将第一照相机的背景模型转换成图像的处理的示意性流程图;
图8是表示第二照相机在第一照相机被窜改的情况下继续视频记录的处理的示意性流程图;
图9是表示确定来自第一照相机的场景模型的可重使用部分的处理的示意性流程图;
图10A是由局部元素模型构成的场景模型的框图;
图10B示出使用场景模型的物体检测算法的一种布置;
图11A是表示四个照相机的网络的设置的框图,每个照相机监视场景中的非重叠视场;
图11B是表示在图11A所示的照相机中的一个检测到闭塞时的照相机选择的处理的示意性流程图;以及
图12A和图12B形成可实施描述的布置的通用计算机系统的示意性框图。
具体实施方式
在附图中的任一个或更多个中参照具有相同的附图标记的步骤和/或特征的情况下,除非出现相反的意图,否则,出于描述的目的这些步骤和/或特征具有相同的功能或操作。
一种避免照相机传感器的复制的方式是设置照相机的网络并在这些照相机之间传递物体信息。当这种网络中的照相机的窜改被检测到时,第二照相机例如由操作员适当地改变其视场,以接替窜改的照相机的视场的物体检测。但是,由于第二照相机不具有窜改的照相机的视场的历史信息,因此,在场景模型被正确地初始化之前,将出现错误的物体检测。依赖于场景中的前景活动,场景模型的正确的初始化可花费长的时间。这意味着视频分析学在作为检测可能的窜改攻击的时间的最关键的时间不工作。
本公开提供了用于检测视频照相机的窜改的方法和系统。该方法检测第一视频照相机的第一视场中的场景的阻塞。阻塞可以是阻挡视场的全部或一部分的任何事。一种用于检测阻塞的方式是当对于场景的前景物体检测超过预定的阻塞阈值时。该方法然后改变第二照相机的视场以与第一照相机的第一视场重叠,并将改变视场的第二照相机所捕获的图像与和第一照相机的第一视场有关的一组基准图像相比较。该组基准图像可以是从与场景相关的场景模型导出的一个或更多个基准图像。这些基准图像由第一照相机的场景模型中的元素模型构成。在本实施例的另一实现中,基准图像是由第一照相机先前捕获的图像的序列。当由第二照相机捕获的图像与该组基准图像之间的差值超过预定的差值阈值时,该方法检测到第一照相机的窜改。在本实施例的另一实现中,当由第二照相机捕获的图像与基准图像之间的差值超过预定的差值阈值时,处理器单元105检测到第一照相机的窜改。
在一种布置中,场景模型被存储于第一照相机上。在另一布置中,场景模型被远离第一照相机存储,例如存储于诸如与第一照相机和第二照相机中的每一个耦合的服务器或数据库上。
根据一个方面,本公开了提供用于监控场景的照相机网络系统。照相机网络包括多个照相机,其中,各照相机具有用于捕获正被监控的场景的各部分的图像的相关联视场。照相机通过网络相互耦合。特别地,系统包括具有第一视场的第一照相机和具有第二视场的第二照相机。系统还包括用于存储与和所述第一照相机的所述第一视场对应的场景的一部分相关的背景模型的存储器。系统还包括用于存储计算机程序的存储装置和用于执行程序的处理器。
程序包括用于执行以下的方法步骤的代码:检测第一照相机的第一视场中的场景的阻塞;改变所述第二照相机的所述第二视场以与第一照相机的第一视场重叠;确定改变视场的第二照相机所捕获的图像与和所述第一照相机的所述第一视场有关的一组基准图像之间的差值;和基于所述差值超过预定阈值检测到所述第一照相机的窜改。
在一种布置中,如以下参照图1描述的那样,各照相机是网络照相机。在一种布置中,系统包括用于控制联网的照相机的与网络耦合的服务器,其中,该服务器包含存储装置和处理器。
本公开还提供了用于一旦已检测到照相机的窜改,则通过向第二照相机传送与视场相关的背景模型来保持照相机的视场的监视的方法和系统。该方法还向第二照相机传送校准信息,并且基于该校准信息确定窜改的照相机的视场的场景模型的可重使用部分。
在一种布置中,校准信息被存储于第一照相机上。在另一种布置中,校准信息被远离第一照相机存储,例如存储于诸如与第一照相机和第二照相机中的每一个耦合的服务器或数据库上。校准信息可包含例如照相机的物理位置和该照相机的一组参数。
图1表示执行前景/背景分离的网络照相机100的功能框图。照相机100是包括照相机模块101、摇摄倾斜模块103和透镜系统102的摇摄倾斜变焦照相机(PTZ)。照相机模块101典型地包含至少一个处理器单元105、存储器单元106、光敏传感器阵列115、与该传感器阵列115耦合的第一输入/输出(I/O)接口107、与通信网络114耦合的第二输入/输出(I/O)接口108、以及用于摇摄和倾斜模块103和透镜系统102的第三输入/输出(I/O)接口113。照相机模块101的部件107、105、108、113和106典型地通过互连的总线104并且以导致本领域技术人员已知的常规操作模式的方式通信。
照相机100被用于捕获也已知为新的输入图像的视频帧。捕获的视频帧的序列也可被称为视频序列或图像序列。一个视频帧表示在一个时间点在照相机100的视场中出现的场景的视觉内容。由照相机100捕获的各帧包含一个或更多个视觉元素。视觉元素被定义为图像采样中的区域。在示例性布置中,视觉元素是通过解码运动JPEG帧获取的离散余弦变换(DCT)系数的8×8的块。在该布置中,块是非重叠的。在另一布置中,块重叠。在其它的布置中,视觉元素是以下中的一个:像素(诸如红-绿-蓝(RGB)像素);一组像素;或其它变换系数(诸如在JPEG-2000标准中使用的离散小波变换(DWT)系数)的块。颜色模型典型地是YUV,这里,Y成分代表亮度,U和V成分代表色度。
图12A和图12B示出可实施描述的各种布置的通用计算机系统1200。特别地,通用计算机系统1200可被用于实现与网络290耦合的联网的照相机260、270和服务器285中的一个或更多个。
如图12A所示,计算机系统1200包括:计算机模块1201;输入装置(诸如键盘1202、鼠标指针装置1203、扫描仪1226、照相机1227和麦克风1280);和包含打印机1215、显示装置1214和扬声器1217的输出装置。外部调制器解调器(Modem)收发器装置1216可被计算机模块1201用于通过连接1221与通信网络1220通信。通信网络1220可以是广域网(WAN),诸如因特网、蜂窝式电信网络或私人WAN。在连接1221是电话线的情况下,调制解调器1216可以是常规的“拔号”调制解调器。作为替代方案,在连接1221是高容量(例如,电缆)连接的情况下,调制解调器1216可以是宽带调制解调器。对于与通信网络1220的无线连接还可使用无线调制解调器。
计算机模块1201典型地包括至少一个处理器单元1205和存储器单元1206。例如,存储器单元1206可以是半导体随机存取存储器(RAM)和半导体只读存储器(ROM)。计算机模块1201还包括大量的输入/输出(I/O)接口,这些接口包含:与视频显示器1214、扬声器1217和麦克风1280耦合的音频视频接口1207;与键盘1202、鼠标1203、扫描仪1226、照相机1227耦合并且任选地与操纵杆或其它人机接口装置(未示出)耦合的I/O接口1213;和用于外部调制解调器1216和打印机1215的接口1208。在一些实现中,调制解调器1216可被并入到计算机模块1201中,例如并入接口1208中。计算机模块1201还具有局域网接口1211,其允许计算机系统1200通过连接1223与已知为局域网(LAN)的局域通信网络1222耦合。如图12A所示,局部通信网络1222也可通过典型地包含所谓的“防火墙”装置或类似的功能的连接1224与广域网1220耦合。局域网接口1211可包含EthernetTM电路卡、BluetoothTM无线配置或IEEE 802.11无线配置;但是,可对于接口1211实施大量的其它类型的接口。
I/O接口1208和1213可提供串行和并行连接中的任一个或两者,前者一般根据通用串行总线(USB)标准被实现并具有相应的USB连接器(未示出)。存储装置1209被设置,并且一般包含硬盘驱动(HDD)1210。也可使用诸如软盘驱动和磁带驱动(未示出)的其它的存储装置。光盘驱动1212一般被设置以用作数据的非易失性源。作为对于系统1200的适当的数据源,例如,可以使用诸如光盘(例如,CD-ROM、DVD、Blue-ray DiscTM)、USB-RAM、便携式外部硬盘和软盘的便携式存储器装置。
计算机模块1201的部件1205~1213典型地通过互连的总线1204并且以导致本领域技术人员已知的计算机系统1200的常规操作模式的方式通信。例如,处理器1205通过使用连接1218与系统总线1204耦合。类似地,存储器1206和光盘驱动1212通过连接1219与系统总线1204耦合。上面可实施描述的布置的计算机的例子包括IBM-PC和兼容机、Sun Sparcstations、Apple MacTM或类似的计算机系统。
可通过使用计算机系统1200实现检测照相机的窜改的方法,其中,这里描述的图2~11的处理可被实现为可在计算机系统1200内执行的一个或更多个软件应用程序1233。特别地,通过在计算机系统1200内实施的软件1233中的指令1231(参见图12B),实现检测窜改并保持场景的监视的方法的步骤。软件指令1231可形成为一个或更多个代码模块,每个用于执行一个或更多个特定的任务。软件也可被分成两个单独的部分,其中,第一部分和相应的代码模块执行窜改检测方法,并且,第二方法和相应的代码模块管理第一部分与用户之间的用户界面。
软件1233典型地被存储于HDD 1210或存储器1206中。软件从计算机可读介质被加载到计算机系统1200中,并且,由计算机系统1200执行。因此,例如,软件1233可被存储于由光盘驱动1212读取的光学可读盘存储介质(例如,CD-ROM)1225上。具有记录于其上面的这种软件或计算机程序的计算机可读介质是计算机程序产品。计算机系统1200中的计算机程序产品的使用优选实现用于检测联网照相机的窜改并保持场景的监视的装置。
在一些情况下,应用程序1233可在一个或更多个CD-ROM 1225上编码并且通过相应的驱动1212被读取地提供给用户,或者,作为替代方案,可由用户从网络1220或1222读取。并且,软件也可从其它的计算机可读介质被加载到计算机系统1200中。计算机可读存储介质指的是向计算机系统1200提供用于执行和/或处理的记录的指令和/或数据的任何非暂时的有形存储介质。这种存储介质的例子包括软盘、磁带、CD-ROM、DVD、Blue-ray Disc、硬盘驱动、ROM或集成电路、USB存储器、磁光盘或诸如PCMCIA卡等的计算机可读卡,而不管这种装置是处于计算机模块1201的内部还是外部。也可参与向计算机模块1201提供软件、应用程序、指令和/或数据的暂时的非有形计算机可读传输介质的例子包括无线电或红外传输信道以及与另一计算机或联网装置的网络连接以及包含电子邮件传输和记录于Website等上的信息的因特网或内联网。
可以执行上述的应用程序1223的第二部分和相应的代码模块,以实现要在显示器1214上呈现或另外表示的一个或更多个图形用户界面(GUI)。典型地通过键盘1202和鼠标1203的操作,计算机系统1200和应用的用户可以以功能适应的方式操作界面,以向与GUI相关的应用提供控制命令和/或输入。也可实现其它形式的功能适应用户界面,诸如利用通过扬声器1217输出的语音提示和通过麦克风1280输入的用户声音命令的音频界面。
图12B是处理器1205和“存储器”1234的详细示意性框图。存储器1234代表可由图12A中的计算机模块1201访问的所有存储器模块(包含HDD 1209和半导体存储器1206)的逻辑集合。
当计算机模块1201初始通电时,执行开机自检(POST)程序1250。POST程序1250典型地被存储于图12A的半导体存储器1206的ROM1249中。存储软件的诸如ROM 1249的硬件装置有时被称为固件。POST程序1250检查计算机模块1201内的硬件以确保适当的起作用,并且典型地检查处理器1205、存储器1234(1209、1206)和典型地也存储于ROM 1249中的基本输入-输出系统软件(BIOS)模块1251以便正确操作。一旦POST程序1250已成功运行,BIOS 1251就激活图12A的硬盘驱动1210。硬盘驱动1210的激活导致驻留于硬盘驱动1210上的引导加载程序1252通过处理器1205执行。这将操作系统1253加载到RAM存储器1206中,在该RAM存储器1206上操作系统1253开始操作。操作系统1253是可由处理器1205执行以完成各种高级功能的系统级应用,这些功能包括处理器管理、存储器管理、装置管理、存储管理、软件应用界面和一般用户界面。
操作系统1253管理存储器1234(1209、1206)以确保在计算机模块1201上运行的各处理或应用具有足够的在其中执行而不与分配给另一处理的存储器冲突的存储器。并且,图12A的系统1200中的可用的不同类型的存储器必须被适当地使用,使得各处理可有效地运行。因此,集合存储器1234不预期示出如何分配存储器的特定的区段(除非另外说明),而是要提供可由计算机系统1200访问的存储器以及如何使用该存储器的一般示图。
如图12B所示,处理器1205包含大量的功能模块,这些功能模块包含控制单元1239、运算逻辑单元(ALU)1240和有时称为高速缓冲存储器的本地或内部存储器1248。高速缓冲存储器1248典型地在寄存器部分中包含大量的存储寄存器1244~1246。一个或更多个内部总线1241在功能上使这些功能模块互连。处理器1205典型地还具有用于使用连接1218通过系统总线1204与外部装置通信的一个或更多个接口1242。存储器1234通过使用连接1219与总线1204耦合。
应用程序1233包含可包含条件跳转和循环指令的一系列的指令1231。程序1233还可包含在程序1233的执行中使用的数据1232。指令1231和数据1232分别被存储于存储器位置1228、1229、1230和1235、1236、1237中。根据存储器位置1228-1230和指令1231的相对大小,如在存储器位置1230中表示的指令所示,特定的指令可被存储于单个存储器位置中。作为替代方案,如在存储器位置1228和1229中表示的指令区段所示的,指令可被分成大量的部分,其中每个部分被存储于单独的存储器位置中。
一般地,处理器1205被给予在其中执行的一组指令。处理器1105等待随后的输入,处理器1205通过执行另一组指令对于该输入作出反应。可从大量的源中的一个或更多个提供各输入,这些源包含由输入装置1202、1203中的一个或更多个产生的数据、通过网络1220、1202中的一个从外部源接收的数据、从存储装置1206、1209中的一个检索的数据或从插入相应的读取器1212中的存储介质1225检索的数据,所有这些均在图12A中被示出。一组指令的执行在一些情况下可导致数据的输出。执行也可涉及将数据或变量存储于存储器1234。
公开的联网照相机布置使用被存储于存储器1234中的相应的存储器位置1255、1256、1257中的输入变量1254。联网照相机布置产生被存储于存储器1234中的相应的存储器位置1262、1263、1264中的输出变量1261。中间变量1258可被存储于存储器位置1259、1260、1266和1267中。
参照图12B的处理器1205,寄存器1244、1245、1246、运算逻辑单元(ALU)1240和控制单元1239一起工作,以执行对于构成程序1233的指令集中的每条指令执行“取得、解码和执行”循环所需的微操作的序列。各取得、解码和执行循环包含:
(a)取得操作,从存储器位置1228、1229、1230取得或读取指令1231;
(b)解码操作,在其中控制单元1239确定已取得哪些指令;和
(c)执行操作,在其中控制单元1239和/或ALU 1240执行指令。
然后,可以执行用于下一指令的另一取得、解码和执行循环。类似地,可执行存储循环,控制单元1239通过该存储循环将值存储或写入到存储器位置1232。
图2~11的处理中的各步骤或子处理与程序1233的一个或更多个段相关,并且由一起工作以对于程序1233的指明的段的指令集中的每条指令执行取得、解码和执行循环的处理器1205中的寄存器部分1244、1245、1247、ALU 1240和控制单元1239执行。
检测照相机的窜改的方法可替代性地可在专用硬件中实现,该专用硬件诸如是执行检测阻塞以及检测窜改的功能或子功能的诸如一个或更多个集成电路。这种专用硬件可包含图形处理器、数字信号处理器或一个或更多个微处理器和相关的存储器。
近年的网络照相机设计的进展已提供了使用处理器105和存储器106在照相机自身上进行视频分析(例如,视频对象检测)的技术。图10A是场景模型1000的示意性框图表现。场景模型1000包含多个元素模型(块模式或模式模型)。对于图像中的各视觉元素位置,在场景模型1000中存在相应的位置。在图10A的例子中,示例性位置是与8×8DCT块对应的元素模型集1010。元素模型集1010是一组元素模型:元素模型11020、元素模型2、...、元素模型N。各元素模型与多个属性相关。在本例子中,元素模型1020包含诸如强度、颜色和质地的视觉信息1030以及诸如创建时间、删除时间(如果元素模型不再匹配则删除元素模型的时间或帧)、最后匹配时间和命中计数(hitcount)的时间信息1050。场景模型1000被存储于存储器106中。
图10B示出使用场景模型1000的物体检测算法1006的一种布置。物体检测算法向比较模块1002和场景模型更新模块1004中的每一个提供输入帧1001。比较模块1002还从场景模型更新模块1004接收场景模型1000。对于物体检测,如比较模块1002所示,输入图像1001内的各块与用于相应的视觉元素的所有的存储的块模式相比较。如果比较模块1002识别到输入图像1001的块与元素模型集1010中的现有的元素模型1020之间的匹配,那么比较模块1002向场景模型更新模块1004发送与该匹配有关的信息,并且场景模型更新模块1004更新匹配的元素模型。
在更新处理中,与匹配的元素模型相关联的视觉信息1030和时间信息1050两者被修改。在一种布置中,通过使用近似中值过滤方法(approximated median filter method)利用学习率阈值LRmax更新视觉信息1030。LRmax代表每次更新的视觉信息1030的最大允许变化。在同一布置中,通过使用时间数据的当前状态和当前时间更新时间信息1050。更具体地,每命中1次,则元素模型的匹配计数加1,直到达到比方说1000次命中的最大匹配计数。元素模型的删除时间依据帧数,比方说500个帧,增加。元素模型的最后的匹配时间被设为当前时间。
如果比较模块1002没有发现匹配块模式,那么创建新的块模式。如果在设定的当前时间的时间段内的某时间创建新的块模式或匹配的块模式,那么输入图像中的该块被视为前景。比所述设定的时间段早的匹配的块模式被视为背景。通过使用满水填充(floodfill)算法连接前景块,以从比较模块1002输出前景物体作为掩模1003。根据网络照相机的预期应用进一步处理检测的前景区域。例如,在视频监视中,如果在帧内的预定区域中检测到前景区域,那么激起报警。
图2是在其中网络照相机在场景280上执行视频监视的监视系统200的示意图。系统200包括作为与网络290耦合的两个网络照相机的第一照相机260和第二照相机270。系统还包括与网络290耦合的任选的服务器285和数据库295。
在一个实现中,第一照相机260和第二照相机270中的每一个是包括处理器以及用于存储基准图像和校准信息的存储器的照相机。在可替代实现中,服务器285和数据库295中的任一个或两者被用以存储:涉及与第一照相机260和第二照相机270各自的视场对应的场景280的部分的背景模型;从各背景模型导出的基准图像的集合;涉及第一照相机260和第二照相机270的校准信息;或它们的任何组合。在一种布置中,服务器285还包括用于存储计算机程序的存储装置和用于执行程序的处理器,其中,程序控制监视系统200的操作。
可通过使用图1的网络照相机100实现第一照相机260和第二照相机270中的每一个。第一照相机260和第二照相机270执行场景280的各部分的视频监视。第一照相机260从第一视场220捕获图像,并且,第二照相机270从第二视场225捕获图像。第一视场220和第二视场225是场景280中的非重叠的视场。在由第一照相机260捕获的第一视场220中,存在代表前景物体的人240,并且,第一视场220的包含树235的剩余区域代表第一背景区域230。在由第二照相机270捕获的第二视场225中,存在代表前景物体的人250,并且,第二视场230的包含房子245的剩余区域代表第二背景区域255。背景区域通常在空间上被连接,但是,在前景将图像帧分割成多个部分的情况下,背景区域包含几个分离的部分。
图5是示出使用照相机网络系统中的第二照相机以确定第一照相机是否被窜改或阻塞的方法500的流程图。在一个实现中,方法500实现为驻留于照相机系统100的存储器106内并且由处理器105控制其执行的固件的一个或更多个代码模块。在替代性实施例中,通过使用参照图12A和图12B描述的通用计算机实现方法500。
如上所述,图2的第一照相机260正在观察第一视场220。背景的阻塞意味着在被观察的背景场景280和第一照相机260之间存在新的东西。阻塞可以是诸如步行者或通过场景或甚至停车的汽车的前景物体。但是,阻塞也可能是对照相机260和有关的监视系统的有意攻击。可例如通过对照相机的透镜喷漆或通过在第一照相机260前面保持同一场景280的照片来实施这种攻击。阻塞提高了照相机260被窜改的可能性。可靠地区分窜改阻塞与前景物体阻塞是重要的。在示例性实施例中,如果对于输入帧,在该帧中检测到的前景区域的百分比比预定阈值高,则检测到阻塞。在一个例子中,预定的阈值为70%。在另一实现中,阈值是自适应的。例如,该阈值是在预定数量N(比方说20)的先前帧中检测到的前景区域的平均百分比加上预定常数K(比方说30%)。在另一实现中,捕获的图像被分成子帧(诸如例如捕获的图像的4个四分之一),并且如果在子帧的预定集合中的任一个中检测到的前景的百分比高于预定阈值(比方说70%)高,则检测到阻塞。
方法500在开始步骤505中开始并且前进到检测第一照相机的视场中的阻塞的步骤520。控制然后转到尝试识别照相机网络中的多个照相机中的要成为用于验证第一照相机的窜改的候补的另一照相机的步骤552。候选照相机被称为第二照相机。
控制从步骤522转到评价步骤522的输出并且确定第二照相机是否被识别的决定步骤524。如果没有发现第二照相机(“否”),那么,选择“否”路径,控制转到结束步骤580,并且,方法500终止。在一个实施例中,由于没有适当的第二照相机是可用的,因此,照相机网络系统利用第一照相机的窜改不能验证的附加信息发出窜改检测报警。
返回步骤524,如果在步骤522中识别第二照相机(“是”),那么选择“是”路径并且控制转到步骤530。步骤530选择第二照相机并且将第一照相机的第一视场的场景模型传送到选择的第二照相机。如果第二照相机被第一照相机中的处理器105选择,那么,通过通信网络114,第一照相机的处理器105将与第一照相机的第一视场相关的场景模型1000和相对PTZ坐标从第一照相机的存储器106传送到选择的第二照相机中的存储器106。作为替代方案,从诸如系统200的服务器285和数据库295的与照相机网络系统耦合或形成其一部分的服务器或数据库传送场景模型和PTZ坐标。
控制从步骤530转到向着由第一照相机在PTZ信息中规定的视场改变第二照相机的视场的改变步骤540。由第一照相机提供的PTZ信息使得第二照相机能够改变其视场以与第一照相机的第一视场重叠。
在一个实现中,第一照相机的第一视场的场景模型向第二照相机的传送与在步骤540中第二照相机的视场的改变同时发生。在另一实现中,在改变步骤540中改变第二照相机的视场之后,第二照相机接收第一照相机的第一视场的场景模型1000和相对PTZ坐标。由于第一照相机和第二照相机的不同的物理位置,第一照相机的第一视场和第二照相机的改变的视场一般不完全匹配。相反,该方法利用第一照相机的第一视场与第二照相机的修改的视场之间的共同或重叠的视场。在下一步骤550中,方法500通过处理器105经透镜102从第二照相机的改变的视场捕获第一图像。
控制从步骤550转到确定第一照相机上的阻塞是否由于窜改造成的窜改确定步骤570。控制然后转到步骤580并且方法500终止。
现在解释第二照相机选择步骤522。在示例性实施例中,帮助对于照相机网络中的各照相机选择第二照相机的信息被预先确定并被存储于第一照相机的存储器106内。该信息包括:
1.照相机识别信息;和
2.用于候选照相机以使得选择的第二照相机可被调整以与第一照相机具有最大可能的重叠视场的摇摄倾斜变焦坐标。
进一步参照作为照相机网络系统的示意图的图11A解释信息。场景1110是处于监视下的完整场景。在照相机网络系统中存在4个照相机:照相机A 1150、照相机B 1151、照相机C 1152和照相机D 1153。照相机A 1150、照相机B 1151、照相机C 1152和照相机D 1153中的每一个与网络1120耦合。
照相机A通过使用PTZ坐标PTZA-1130观察场景1110的第一部分1130。PTZA-1130代表观察场景1110的第一部分1130的照相机A 1150的PTZ坐标。照相机B通过使用PTZ坐标PTZB-1131观察场景1110的第二部分1131,照相机C通过使用PTZ坐标PTZC-1132观察场景1110的第三部分1132,照相机D通过使用PTZ坐标PTZD-1133观察场景1110的第四部分1133。
基于预先确定的准则,一个或更多个照相机是作为用于验证给定第一照相机的窜改的第二照相机的可能的候选。识别可能的候选照相机的示例性准则是,给定照相机与候选照相机之间的最大可能共同视场比预定阈值(比方说80%)高。例如,在图11A中,照相机B是照相机A的候选照相机,原因是这两个照相机之间的重叠的视场比80%大。另一方面,例如,照相机D不是照相机A的候选照相机,原因是这两个照相机之间的重叠的视场比80%小。包含候选照相机信息和相对PTZ坐标的列表被存储于各照相机的存储器106中。例如,对于照相机B存储的列表为:
1.照相机A,PTZA-1131
2.照相机C,PTZC-1131
在一个实现中,作为照相机网络设置处理的一部分,预定与第一照相机具有重叠视场的候选照相机的相对PTZ坐标(例如,第一照相机B的候选照相机A的PTZA-1131)。
图11B是示出用于执行图5的第二照相机选择步骤522的方法1160的流程图。方法1160在开始步骤1190中开始并且前进到第一检查步骤1161。在该检查步骤1161中,处理器105检查在候选照相机的列表中是否存在还没有对于作为遭受窜改的第一照相机的候选“第二照相机”的合适性进行测试的照相机。如果不存在可用的照相机(“否”),那么选择路径“否”并且控制转到步骤1162。步骤1162回报没有照相机被选择为第二照相机,控制转到结束步骤1195,并且,方法1160终止。
返回步骤1161,如果在照相机的列表中存在可用的对于评价可用的照相机(“是”),那么选择路径“是”以前进到照相机评价步骤1163。照相机评价步骤1163选择可用的照相机作为候选照相机,并且评价在候选照相机中是否检测到阻塞。通过使用方法500的阻塞检测步骤520检测阻塞。控制转到检查是否检测到阻塞的第二决定步骤1164。如果在候选照相机中检测到阻塞(“是”),那么选择路径(“是”)并且控制从第二决定步骤1164转为返回第一决定步骤1161。如果在第二决定步骤1164中没有在候选照相机中检测到阻塞(“否”),那么选择路径“否”并且控制从第二决定步骤1164转到步骤1165。步骤1165选择候选照相机作为第二照相机,控制然后转到结束步骤1195,并且,方法1160终止。
图3A和图3B是示出在第一照相机中检测到阻塞的两个情景的示意图。图3A和图3B示出代表包含前景物体340的场景的物体320。场景320的包含树的剩余区域代表背景330。该信息被存储于场景模型1000中。图3A和图3B还表示第一照相机360和第二照相机370。第一照相机360具有第一视场,并且第二照相机370具有第二视场。
图3A表示第一照相机360的第一视场被窜改的第一情景。窜改由在第一照相机360前面的物体350阻挡场景320表示。第一照相机360的第一视场的阻塞被检测。第二照相机370被用于验证阻塞是否涉及第一照相机360的窜改。在该情景中,第二照相机370的第二视场包含场景320的一部分,并且与第一照相机360的第一视场重叠。由第二照相机370捕获的图像与场景320的场景模型1000类似,由此,窜改被验证。
图3B表示大的物体位于场景320前面的第二情景。在图3B的例子中,大的物体是卡车380。如上面参照图3A描述的那样,第一照相机360的第一视场的阻塞被检测到。第二照相机370被用于验证阻塞是否涉及第一照相机360的窜改。在该第二情景中,由第二照相机370捕获的图像与场景320的场景模型1000不同,由此,第一照相机的窜改没有被验证。在一个实施例中,没有对于图3B中的情景产生窜改报警,原因是它被视为错误报警。
图4是示出第一照相机460和第二照相机470之间视场重叠的示意图。场景480包含在本例子中为人的前景物体440。场景480的包含树430的剩余部分代表背景。该信息被存储于与场景480相关的场景模型中。第一照相机460具有第一视场,并且,第二照相机470具有第二视场。第一视场与第二视场重叠,其中,重叠视场425包含前景物体440和背景物体430。重叠视场425指示第一照相机460和第二照相机470两者均能够从它们的视点捕获背景物体430和前景物体440。
图6是如在图5的步骤570中执行的并且参照图3A和图3B的用于确定第一照相机是否已被窜改的方法600的流程图。方法600描述了确定是否发生第一照相机360的窜改的示例性实施例。方法600在开始步骤605开始并且前进到产生代表在阻塞事件发生之前的场景320的图像的步骤620。该产生的图像被从由第一照相机360捕获的场景320的第一视场相关联的场景模型产生。因此,场景模型与第一照相机360相关。场景320的第一视场的场景模型可被存储于第一照相机360的存储器中,或者可以替代性地被存储于其它位置,诸如存储在与包含第一照相机360的照相机网络系统耦合的数据库上。以下参照图7描述从场景模型产生图像的过程的细节。
控制从步骤620转到步骤630,该步骤630计算场景320的由第二照相机370捕获的图像与从与第一照相机相关的场景模型产生的图像之间的差值分数。可例如通过第二照相机370中的处理器105计算差值。在一个实施例中,通过使用在两个图像之间匹配的特征点产生差值分数。对于各图像确定Harris角特征点。通过使用包含特征点的相邻点中的视觉信息的描述符矢量描述特征点。描述符矢量的例子是尺度放大鲁棒特征(Scaled Up Robust Feature(SURF))描述符。SURF描述符代表以特征点为中心并且沿特定的方向取向的方形区域的视觉信息。通过检测围绕关注点的圆形相邻区域内的每个采样点处的高斯加权Haar小波响应的主导取向,产生特定的取向。沿特定的方向取向的正方形区域进一步被规则地分成更小的4×4方形子区域。对于各子区域,产生代表子区域中的基础强度图案的本质的、使用高斯加权Haar小波响应的4维矢量。这对于特征点给出了64维矢量。
通过用下式估计来自两个图像的两个特征点的描述符矢量之间的距离以匹配该特征点:
d = Σ i = 1 64 ( D F 1 ( i ) - D F 2 ( i ) ) 2
式(1)
这里:
d代表两个特征点之间的距离度量,
和DF2代表两个特征点F1与F2的描述符,以及
i代表描述符矢量的第i个值。
式(1)所示的距离度量也被称为差方和(Sum of Square Difference)分数。
在示例性实施例中,位于第一图像中的坐标(x,y)处的特征点F1被识别。例如,坐标(x,y)为(100,300)。然后,在第二图像中定位在相同的识别的坐标(x,y)处的像素,以确定第二图像中的该相同坐标附近的特征点。换句话说,第一图像中的第一特征点的位置基本上与第二图像中的第二特征点的位置对应。在本例子中,坐标为第二图像中的(100,300)。然后,限定在第二图像中以该像素位置(x,y)为中心的方形区域。在示例性实施例中,区域的大小为100×100个像素。确定该确定的方形区域中的特征点。对于在该方形区域内的在第二图像中发现的特征点集合中的每一个特征点,计算与第一图像中的特征点的距离分数。如上所述,距离分数是第一图像中的特征点的第一组特性与第二图像中的特征点的第二组特性之间的差值的度量。如下式限定的那样,第二图像中的选择的特征点的距离分数具有特征点的所有距离分数的最小距离:
d F 1 = min ( d 1 , d 2 , . . . , d k )
式(2)
这里:
代表第一图像的特征点F1的距离分数,
d2,d2,...,dk代表特征点F1与第二图像中的预定区域中的k个特征点的距离分数,
k表示第二图像中的预定区域中的特征点的数量。
如下式定义的那样,第一图像中的所有特征点的差值分数的和被称为两个图像之间的差值分数:
D I 1 , I 2 = Σ n = 1 N d F n 式(3)
这里:
代表第一图像与第二图像之间的差值分数,
N代表第一图像中的特征点的总数,
代表通过使用式(1)和式(2)计算的第一图像中的第n个特征点的距离分数。
替代性实施例利用尺度不变特征变换(Scale Invariant FeatureTransform(SIFT))特征点。SIFT特征点对于视点变化比较鲁棒。另一实施例利用尺度放大鲁棒特征(SURF)特征点。特定特征点方法的选择依赖于两个照相机的视点的差异。如果两个照相机具有类似的视点,那么基于Harris角的特征点足以匹配两个图像。对于更大的视点差异,使用诸如SIFT或SURF的对于大的视点变化鲁棒的其它的特征点。
参照图6,控制从步骤630转到决定步骤670,该决定步骤670比较在计算步骤630中计算的差值分数与预定的阈值以确定差值分数是低的差值分数(小于阈值)还是高的差值分数(大于阈值)。在本例子中,预定的阈值被设为80Luma2(这里,Luma代表8比特输入图像的亮度强度)。
如果最终的差值分数小于阈值(“是”),那么获得低的差值分数,并且方法600从步骤670前进到步骤680。低的差值分数表明由第二照相机370捕获的场景与在阻塞之前由第一照相机360捕获的场景类似,由此,第一照相机360被宣告被窜改。步骤680宣告第一照相机360被窜改,控制转到步骤695,并且,方法600终止。
返回步骤670,如果最终的差值分数大于阈值(“否”),那么获得高的差值分数并且方法600从步骤670前进到步骤690。高的差值分数表明由第二照相机370捕获的场景与在阻塞之前由第一照相机360捕获的场景不类似。因此,场景明显改变或者在第一和第二照相机360、370两者前面均存在诸如卡车380的不同物体的机会高。在该情景中,步骤690宣告第一照相机360不被窜改,控制转到步骤695,并且,方法600终止。
在替代性实施例中,通过使用多个转换准则在步骤620中产生多个图像。通过选择在各块的元素模型集中的所有元素模型之中具有最大的命中计数的元素模型,产生一个图像。通过选择在各块的所有元素模型之中的元素模型集中具有最早的创建时间的元素模型,产生另一图像。因此,从场景模型产生多个图像。通过使用步骤630的方法,对于从场景模型产生的各图像和第二照相机的输入图像计算差值分数。在一个实施例中,通过使用与从场景模型产生的多个图像对应的所有差值分数的最小值,计算与第一照相机相关的场景模型与来自第二照相机的输入图像之间的最终差值分数。在另一实施例中,使用与来自场景模型的多个图像对应的所有差值分数的平均值作为最终差值分数。从场景模型产生多个图像的方法具有对于在检测到阻塞的时间与通过第二照相机370捕获场景的第一图像的时间之间的场景自身的一些变化鲁棒的优点。
在方法600中在步骤670使用最终差值分数以确定第一照相机是否被窜改。
图7是示出用于通过处理来自场景模型的所有元素模型集1010产生一个图像的方法700的流程图。方法700在开始步骤705开始并且前进到选择规则规定步骤720。规则规定步骤720规定用于从元素模型集选择元素模型的选择规则。在一个实施例中,选择规则是要选择在元素模型集内对于时间特性“命中计数”具有最大值的元素模型。
在另一实施例中,选择规则被设为选择具有最早的创建时间的元素模型。
控制从步骤720转到搜索步骤730,在搜索步骤730中处理器105检查当前元素模型集中的各元素模型。对于转换步骤740,步骤730选择满足选择规则的元素模型。
在转换步骤740中,处理器105将选择的元素模型转换成像素值。在元素模型存储像素块的DCT值的一个实施例中,步骤740利用逆DCT处理以计算块的像素值。从DCT域向像素值域变换元素模型的该处理被称为场景模型到图像的变换。
控制从步骤740转到决定步骤750,在该决定步骤750中处理器105检查场景模型的所有元素模型集是否都已被处理。如果不是所有的元素模型集被处理(“否”),则方法700回转到搜索步骤730并且重复步骤730、740和750,直到场景模型的所有元素模型集被处理。
如果步骤750确定所有元素模型集都已被处理(“是”),那么控制从步骤750转到处理器105创建具有被转换的像素值的图像的步骤760。控制从步骤760转到结束步骤795并且方法700终止。
在示例性实施例中,使用场景模型1000的子集,以从场景模型产生图像。在另一实施例中,遵循检测板(checker board)图案以选择子集,这里,使用奇数行中的奇数列并且使用偶数行中的偶数列。在另一实施例中,基于元素模型的特性选择子集。对于各元素模型集,包含标记被初始化为假(false)。如果在元素模型集中存在具有比元素模型集1010中的具有次最大“命中计数”的元素模型1020的“命中计数”大的作为常数(比方说200帧)的“命中计数”的元素模型,那么包含标记被设为真(true)。子集由具有被设为真的包含标记的元素模型集1010组成。
图8是示出方法800的流程图,该方法800用于当在第一照相机检测到窜改时,通过重使用与第一照相机360相关的场景模型1000的一部分在选择的第二照相机370处继续物体检测。现在将参照图3A描述方法800。方法800在开始步骤805开始并且前进到检测步骤820。
步骤820检测第一照相机的第一视场中的阻塞。步骤820与图5中的步骤520对应。
控制从步骤820转到选择第二照相机370以验证第一照相机360的窜改的步骤825。在一个实现中,第二照相机370的处理器105使用方法500以检测在第一照相机360的窜改。当确认窜改时,方法800从步骤825前进到传送步骤830。
传送步骤830通过通信网络114向第二照相机370传送场景模型1000和校准信息。校准信息包含例如但不限于第一照相机360的焦距和变焦水平。在一个实现中,第一照相机360的处理器105管理传送。
在另一实现中,从服务器、数据库或存储器传送场景模型和校准信息。
传送步骤830与图5的步骤530对应。在步骤840中,第二照相机370通过摇摄倾斜控制器114将其视场变到场景320,使得第二照相机的改变的视场与第一照相机360的第一视场重叠。
控制从步骤840转到确定与第一照相机360相关的场景模型的可重用部分的步骤850。以下参照图9描述步骤850的进一步的细节。
在步骤850中通过第二照相机370的处理器105确定场景模型的可重用部分之后,控制转到步骤860,该步骤860通过使用来自第一照相机360的场景模型的可重用部分初始化在改变的视场与第二照相机相关的场景模型。通过重新使用与第一照相机360相关的场景模型1000,第二照相机370具有关于场景320的重叠视场的历史信息,并因此立即继续前景检测而无需要进一步的初始化。
在一个实现中,对于在步骤850中确定的来自第一照相机的场景模型的可重用部分中的每一个,进行在与第二照相机370相关的场景模型的相应的位置处的元素模型集的复制;在本实施例中,通过改变视场的第二照相机370所捕获的第一图像初始化场景模型的其余部分。然后,在步骤860中,第二照相机通过使用新初始化的场景模型开始场景320的物体检测870。
图9是如在图8的步骤850执行的用于计算与第一照相机相关的场景模型的可重用部分的方法900的流程图。现在将参照图7和图8描述方法900。在一个实施例中,方法900实现为驻留于照相机系统100的存储器106内并且由处理器105控制其执行的固件的一个或更多个代码模块。
方法900在开始步骤905开始并且前进到转换步骤920,在该转换步骤920中,处理器105使用方法700以执行将第一照相机360的场景模型1000转换成图像的步骤。在一个实施例中,转换基于元素模型集中的具有最高的命中计数的元素模型。在另一实施例中,选择来自各元素模型集1010中的具有最早的创建时间的元素模型1020。
然后,在转换步骤930中,出于找到两个图像之间的重叠区域的目的,从第二照相机370捕获的图像被变换以与产生的场景模型图像760匹配。在一个实施例中,通过使用下式(4)执行单应变换:
x 1 y 1 1 = h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 x 2 y 2 1 式(4)
式(4)表示通过变换矩阵 h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 的来自一个图像的坐标(x1,y1)到另一图像的坐标的映射。为了找到变换矩阵中的h11~h32的值,从上述的图像中的每一个找到4个相应特征点中的最小值。对于第一图像中的给定特征点F1,第二图像中的相应的特征点是给出在式(2)中找到的最小距离分数的特征点。在相应的特征点被定位之后,使用奇异值分解方法以确定h11~h32的值。在一个实施例中,通过使用Harris点角检测方法,获得来自两个图像的相应特征点的坐标。
控制从步骤930转到确定步骤940。基于从步骤930找到的映射,第二照相机370的处理器105计算变换后的图像与产生的场景模型图像的重叠区域。在一个实施例中,重叠区域中的各像素被映射回第一照相机360的原始场景模型图像的相应的位置。这样,确定原始模型图像的重叠区域。然后,原始模型图像的重叠区域被映射到在第一照相机360的场景模型中的元素模型集的相应的位置。该重叠区域表示可由第二照相机370重新使用的第一照相机360的场景模型的部分。控制从步骤940转到结束步骤990,并且,方法900终止。
与持续使用冗余的照相机相比,按需使用第二照相机370以区分第一照相机的视场的窜改和阻塞是有利的。在被多个照相机覆盖的地点,这使视频监视所需要的照相机的数量减少多达50%。另一优点是由可通过第二照相机370重新使用来自第一照相机的场景模型1000而继续物体检测而产生的。这使得在场景模型1000被重新使用的图像的部分中物体检测和相关视频分析应用的初始化时间减少为零。虽然初始化时间在监视情景中通常是可接受的,但是,由于照相机典型地在初始化之后运行几周或几个月,因此,在窜改的情景中,由于存在高度的安全威胁的风险,因此,尽可能快地并且优选地立即应用物体检测和视频分析是必要的。
工业适用性
描述的布置适用于计算机和数据处理工业,并且特别适于视频和安全业。
以上仅描述了本发明的一些实施例,并且,在不背离本发明的精神和范围的情况下,可以对于其提出修改和/或变化,这些实施例是解释性,不是限制性的。

Claims (18)

1.一种用于检测照相机网络系统中的第一照相机的窜改的方法,第一照相机适于在第一视场中捕获场景,所述方法包括:
检测第一视场中的该场景的阻塞;
响应检测到的阻塞,改变第二照相机的第二视场以与第一照相机的第一视场重叠;
将第一照相机的第一视场中的该场景的历史信息传送到第二照相机;以及
通过确定第二照相机的改变视场的图像与根据从第一照相机向第二照相机传送的该场景的历史信息产生的图像的类似性,来检测第一照相机的篡改。
2.根据权利要求1所述的方法,还包括:
变换第一照相机的视场中的该场景的一部分的历史信息,以获得与第一照相机的该视场有关的一组基准图像。
3.根据权利要求2所述的方法,还包括:
确定改变的视场的第二照相机所捕获的图像与和第一照相机的所述视场有关的该组基准图像之间的差值;以及
基于差值小于预定阈值检测到第一照相机的窜改。
4.根据权利要求3所述的方法,其中,所述确定差值的步骤包括:
确定该组基准图像的至少一个基准图像中的第一特征点;
确定所述第二照相机的所述改变的视场的第二照相机所捕获的图像中的第二特征点;以及
计算第一特征点与第二特征点之间的距离分数以确定差值。
5.根据权利要求4所述的方法,其中,所述第一特征点和所述第二特征点与该场景中的基本相同的位置对应。
6.根据权利要求2所述的方法,其中,该组基准图像与第一照相机的视场中的该场景的历史信息被存储于第一照相机的存储器中。
7.根据权利要求2所述的方法,其中,该组基准图像与第一照相机的视场中的该场景的历史信息被存储于与第一照相机和第二照相机中的每一个耦合的服务器上。
8.根据权利要求1所述的方法,还包括:
基于与第一照相机的第一视场的预定阈值部分重叠的第二照相机的改变的视场,选择第二照相机。
9.一种用于监视场景的照相机网络系统,所述系统包括:
具有第一视场的第一照相机;
具有第二视场的第二照相机;
用于存储与和所述第一照相机的所述第一视场对应的场景的一部分相关的历史信息的存储器;
用于存储计算机程序的存储装置;以及
处理器,被配置为:
检测第一照相机的第一视场中的该场景的阻塞;
响应检测到的阻塞改变第二照相机的第二视场以与第一照相机的第一视场重叠;
将第一照相机的第一视场中的该场景的历史信息传送到第二照相机;以及
通过确定第二照相机的改变视场的图像与根据从第一照相机向第二照相机传送的该场景的历史信息产生的图像的类似性,来检测第一照相机的篡改。
10.根据权利要求9所述的系统,其中,处理器进一步被配置为:
变换第一照相机的视场中的该场景的一部分的历史信息以获得与第一照相机的视场有关的一组基准图像。
11.根据权利要求10所述的系统,其中,处理器进一步被配置为:
确定具有改变的视场的第二照相机所捕获的图像与和所述第一照相机的所述第一视场有关的该组基准图像之间的差值;以及
基于所述差值小于预定阈值检测到所述第一照相机的窜改。
12.根据权利要求9所述的系统,其中,所述存储装置和处理器位于与所述第一照相机和所述第二照相机中的每一个耦合的服务器上。
13.根据权利要求10所述的系统,其中,第一照相机是包含所述存储器的摇摄倾斜变焦照相机,其中,所述存储器还存储所述一组基准图像和与所述第一照相机有关的校准信息。
14.一种用于检测照相机网络系统中的第一照相机的窜改的设备,第一照相机适于在第一视场中捕获场景,所述设备包括:
用于检测第一视场中的该场景的阻塞的装置;
用于响应检测到的阻塞,改变第二照相机的第二视场以与第一照相机的第一视场重叠的装置;
用于将第一照相机的第一视场中的该场景的历史信息传送到第二照相机的装置;以及
用于通过确定第二照相机的改变视场的图像与根据从第一照相机向第二照相机传送的该场景的历史信息产生的图像的类似性来检测第一照相机的篡改的装置。
15.根据权利要求14所述的设备,还包括:
用于变换第一照相机的视场中的该场景的一部分的历史信息,以获得与第一照相机的该视场有关的一组基准图像的装置。
16.根据权利要求15所述的设备,还包括:
用于确定改变的视场的第二照相机所捕获的图像与和第一照相机的所述视场有关的该组基准图像之间的差值的装置;以及
用于基于差值小于预定阈值检测到第一照相机的窜改的装置。
17.根据权利要求16所述的设备,其中,所述确定差值的装置包括:
用于确定该组基准图像的至少一个基准图像中的第一特征点的装置;
用于确定所述第二照相机的所述改变的视场的第二照相机所捕获的图像中的第二特征点的装置;以及
用于计算第一特征点与第二特征点之间的距离分数以确定差值的装置。
18.根据权利要求14所述的设备,还包括:
用于基于与第一照相机的第一视场的预定阈值部分重叠的第二照相机的改变的视场,选择第二照相机的装置。
CN201210128544.7A 2011-04-29 2012-04-27 容错背景模型化 Active CN102833478B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2011201953A AU2011201953B2 (en) 2011-04-29 2011-04-29 Fault tolerant background modelling
AU2011201953 2011-04-29

Publications (2)

Publication Number Publication Date
CN102833478A CN102833478A (zh) 2012-12-19
CN102833478B true CN102833478B (zh) 2016-12-14

Family

ID=47067587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210128544.7A Active CN102833478B (zh) 2011-04-29 2012-04-27 容错背景模型化

Country Status (3)

Country Link
US (1) US20120274776A1 (zh)
CN (1) CN102833478B (zh)
AU (1) AU2011201953B2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002661A1 (en) * 2012-06-29 2014-01-02 Xerox Corporation Traffic camera diagnostics via smart network
US8490006B1 (en) * 2012-09-04 2013-07-16 State Farm Mutual Automobile Insurance Company Scene creation for building automation systems
US9832431B2 (en) * 2013-01-04 2017-11-28 USS Technologies, LLC Public view monitor with tamper deterrent and security
US9049371B2 (en) * 2013-01-17 2015-06-02 Motorola Solutions, Inc. Method and apparatus for operating a camera
CN105531995B (zh) * 2013-05-10 2019-01-08 罗伯特·博世有限公司 用于使用多个摄像机进行对象和事件识别的系统和方法
EP2887138B1 (en) * 2013-12-18 2016-03-02 Axis AB Camera tampering protection
US20170323543A1 (en) * 2014-04-08 2017-11-09 Lawrence F Glaser Video image verification system utilizing integrated wireless router and wire-based communications
US20160132722A1 (en) * 2014-05-08 2016-05-12 Santa Clara University Self-Configuring and Self-Adjusting Distributed Surveillance System
SG10201407100PA (en) * 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
CN104883539B (zh) * 2015-05-04 2017-12-19 兴唐通信科技有限公司 一种用于关注区域防篡改的监控方法及系统
TWI587246B (zh) * 2015-11-20 2017-06-11 晶睿通訊股份有限公司 影像物件判別方法及其具有影像物件判別功能的攝影系統
EP3340104B1 (en) * 2016-12-21 2023-11-29 Axis AB A method for generating alerts in a video surveillance system
JP6956574B2 (ja) 2017-09-08 2021-11-02 キヤノン株式会社 画像処理装置、プログラムおよび方法
US10773717B2 (en) * 2018-04-12 2020-09-15 Trw Automotive U.S. Llc Vehicle assist system
US11146759B1 (en) * 2018-11-13 2021-10-12 JMJ Designs, LLC Vehicle camera system
CN109862383A (zh) * 2019-02-26 2019-06-07 山东浪潮商用系统有限公司 一种基于帧特征实现视频播放监测的方法及系统
US10913428B2 (en) * 2019-03-18 2021-02-09 Pony Ai Inc. Vehicle usage monitoring
EP3999967B1 (en) 2019-07-15 2023-12-27 Alarm.com Incorporated Notifications for camera tampering
WO2021262938A1 (en) * 2020-06-24 2021-12-30 AI Data Innovation Corporation Remote security system and method for securing a remote workstation
US20220174076A1 (en) * 2020-11-30 2022-06-02 Microsoft Technology Licensing, Llc Methods and systems for recognizing video stream hijacking on edge devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360166A (zh) * 2007-08-03 2009-02-04 株式会社尼康 图像输入设备、图像输入程序产品、照相机以及图像处理系统
CN101833803A (zh) * 2010-04-11 2010-09-15 陈家勇 电子装置在固定位置工作模式下的自适应窜改检测方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369224A (ja) * 2001-06-04 2002-12-20 Oki Electric Ind Co Ltd 監視装置およびその故障検出方法
US7212228B2 (en) * 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US8098290B2 (en) * 2004-01-30 2012-01-17 Siemens Corporation Multiple camera system for obtaining high resolution images of objects
NZ550906A (en) * 2004-04-30 2008-06-30 Utc Fire & Safety Corp Camera tamper detection
US20060203090A1 (en) * 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
US8310554B2 (en) * 2005-09-20 2012-11-13 Sri International Method and apparatus for performing coordinated multi-PTZ camera tracking
WO2007067722A2 (en) * 2005-12-08 2007-06-14 Lenel Systems International, Inc. System and method for detecting an invalid camera in video surveillance
US7636105B2 (en) * 2006-04-05 2009-12-22 Etreppid Technologies Llc Method and apparatus for providing motion control signals between a fixed camera and a PTZ camera
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US20080192118A1 (en) * 2006-09-22 2008-08-14 Rimbold Robert K Three-Dimensional Surveillance Toolkit
US8619140B2 (en) * 2007-07-30 2013-12-31 International Business Machines Corporation Automatic adjustment of area monitoring based on camera motion
US8264542B2 (en) * 2007-12-31 2012-09-11 Industrial Technology Research Institute Methods and systems for image processing in a multiview video system
US8121424B2 (en) * 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
US9536348B2 (en) * 2009-06-18 2017-01-03 Honeywell International Inc. System and method for displaying video surveillance fields of view limitations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360166A (zh) * 2007-08-03 2009-02-04 株式会社尼康 图像输入设备、图像输入程序产品、照相机以及图像处理系统
CN101833803A (zh) * 2010-04-11 2010-09-15 陈家勇 电子装置在固定位置工作模式下的自适应窜改检测方法

Also Published As

Publication number Publication date
CN102833478A (zh) 2012-12-19
US20120274776A1 (en) 2012-11-01
AU2011201953A1 (en) 2012-11-15
AU2011201953B2 (en) 2013-09-19

Similar Documents

Publication Publication Date Title
CN102833478B (zh) 容错背景模型化
US7751647B2 (en) System and method for detecting an invalid camera in video surveillance
CN116018616A (zh) 保持帧中的目标对象的固定大小
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
KR102486986B1 (ko) 객체 검출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN109313806A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN114387548A (zh) 视频及活体检测方法、系统、设备、存储介质及程序产品
CN115273208A (zh) 轨迹生成方法、系统、装置及电子设备
CN106331444A (zh) 监控摄像机
KR20100025338A (ko) 영상 촬영을 통한 물체 추적 시스템 및 그 방법
TW202242803A (zh) 定位方法、裝置、電子設備及儲存媒體
WO2022044369A1 (ja) 機械学習装置及び画像処理装置
JP2012212238A (ja) 物品検出装置および静止人物検出装置
KR20130062489A (ko) 객체추적 시스템 및 그 운영방법
CN114863337A (zh) 一种新型屏幕防拍照识别方法
KR102122853B1 (ko) 외부기기 제어가 가능한 모니터링시스템
CN110400329B (zh) 人流计数方法及其系统
CN106157260A (zh) 并行图像平滑处理平台
KR101311728B1 (ko) 침입자의 얼굴감지 시스템 및 그 방법
TWI448976B (zh) 超廣角影像處理方法與其系統
Weng et al. Visual knowledge transfer among multiple cameras for people counting with occlusion handling
CN108881860A (zh) 一种人工智能终端防御系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant