CN1110780C - 视频信息智能管理系统 - Google Patents

视频信息智能管理系统 Download PDF

Info

Publication number
CN1110780C
CN1110780C CN99123610A CN99123610A CN1110780C CN 1110780 C CN1110780 C CN 1110780C CN 99123610 A CN99123610 A CN 99123610A CN 99123610 A CN99123610 A CN 99123610A CN 1110780 C CN1110780 C CN 1110780C
Authority
CN
China
Prior art keywords
data
video
dynamic image
recording medium
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN99123610A
Other languages
English (en)
Other versions
CN1259720A (zh
Inventor
戴维·R·马克迈克
帕特里克·O·努纳里
查尔斯·P·威尔逊
哥尔哈德·J·温特尔
哈里·E·克莱恩
威廉·T·恩古阳
森·林-柳
林恩·恩古阳
亚历克斯·K·奥耶昂
小克里斯·H·帕德森
戈登·W·史密斯
戴维·J·奥斯里
舍温·圣-舒·王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensormatic Electronics Corp
Original Assignee
Sensormatic Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/741,982 external-priority patent/US5875305A/en
Priority claimed from US08/741,715 external-priority patent/US5875304A/en
Priority claimed from US08/741,983 external-priority patent/US5854902A/en
Priority claimed from US08/741,914 external-priority patent/US5828848A/en
Priority claimed from US08/741,650 external-priority patent/US6031573A/en
Priority claimed from US08/740,651 external-priority patent/US5862342A/en
Priority claimed from US08/729,620 external-priority patent/US5822542A/en
Priority claimed from US08/740,628 external-priority patent/US5917958A/en
Priority claimed from US08/742,015 external-priority patent/US5909548A/en
Priority claimed from US08/740,627 external-priority patent/US5884042A/en
Application filed by Sensormatic Electronics Corp filed Critical Sensormatic Electronics Corp
Publication of CN1259720A publication Critical patent/CN1259720A/zh
Application granted granted Critical
Publication of CN1110780C publication Critical patent/CN1110780C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

一个灵活的视频信息保存和分析装置,保存一个视频信息数据库和多个用于分析在该数据库中的视频信息的运动图象内容分析算法。被选择的算法是用于分析该数据库中的视频信息。该装置记录和显示多个视频信息流。内容分析算法可以被从一个远程位置下载。该装置采取合适的动作来对检测到输入视频流中的特征作出响应。基于数据瓦片的条件刷新视频数据压缩被使用。一个支持结构有效的支持几个记录媒质驱动器单元。一个磁带备份驱动器用作对被保存在硬盘上的视频数据进行存档的机制。输入视频的记录和被保存的视频的存档知显示均被同时处理。

Description

视频信息智能管理系统
(本申请是申请97199221.5的分案申请)
技术领域
本发明涉及闭合电路视频安全监视系统,特别地,涉及使用机器智能来管理,解释和使用视频信息的应用。所以,这里所揭示的系统可以被称作一个“视频信息智能管理”(IVIM)系统。至今为止,还没有将IVIM领域与其他相关领域明显地区分开来,所以本发明的基本目的之一是讲授视频信息智能管理的出现技术的一般应用的基本原理。
背景技术
众所周知,提供视频安全系统时,需要使用一个视频摄像机来产生表示需要安全监视的位置的视频信号。在一个典型的系统中,一部分或者所有这些视频信号被显示在视频屏幕上,以便安全人员来进行监视。另外,众所周知,将一部分或者所有这些视频信号记录在视频磁带上,或者是为安全人员的陈述提供支持证据,或者是应用于不可能实现“实时”人工监视或者不需要“实时”人工监视的场合。
但是,作为一个存储媒质,磁带有严重的缺点,特别是视频安全系统产生了大量视频信息时。一个主要的问题是需要保存巨大数量的磁带,特别是当需要记录大量监视摄像机所产生的信号时。另外,在一个大的系统中,需要许多视频磁带记录器,这引起了大量的资本消耗,同时也需要为这些视频磁带记录器分配空间。另一个问题是需要频繁地更换磁带。
从所记录的磁带中检索所感兴趣的信息也是一个需要考虑的问题。视频监视的特点是,大部分磁带所记录的视频监视信号是不怎么需要的,因为它一般表示一个走道或者类似地方的一个静态图象。发现表示一个重要事件的一个特殊序列是非常困难的,也是要花费大量时间的,它需要工作人员花几小时或者几天来长时间沉闷乏味地观察磁带所记录的信号。
当所感兴趣的视频信号刚录完不久,以致当前的记录操作仍然在使用记录了该信号的磁带时,就产生了另一个问题。在这种情形下,需要中止记录操作,以将磁带从磁带盒中移出并且插入另一个磁带。然后,使用一个单独的磁带盒来回放该感兴趣的信号。很明显地,这个过程需要一个不方便的和耗时的磁带盒处理,并且有一个危险是当更换磁带盒时有可能会不能记录感兴趣的新的信号。
已经尝试了一些方法来克服这些缺点,但是至今为止仅取得了有限的成功,或者产生了另外的缺点。例如,众所周知,使用一个“四复用器”来将来自四个视频摄像机的信号融合成为一单个动态图象,它有四个四分之一的部分,其中每一个专用于摄像机的一个相应部分。然后记录该产生的空间复用信号,从而在所需存储容量上实现4比1的压缩比例。但是,该复用图象损失了相应的空间分辨率,并且有可能削弱作为证据的该记录图象的价值或者会影响随后的观察。另外,复用图象的记录并不能解决从记录磁带中发现感兴趣的序列所产生的问题。
另外,众所周知,是对一个正在监视信号的一个人工操作员的输入进行响应,或者对排列成检测开门或者开窗等事件的传感器装置所产生的信号作出响应,有选择性地记录监视视频信号。这个技术可以减少需要记录的总的信息量,而不用大量保存不感兴趣的信息,但是有一种危险是可能会没有记录那些不能被传感器或者人工操作员所轻易地或者即时地检测到的重要事件。另外,对外部设备的依赖可能会产生不可靠性并且增加费用,特别是由人工操作员来启动记录时。
本申请的受让人所引入的OPTIMA II视频监视复用器使用一个更复杂的技术,以在保存以前挑选出不感兴趣的信息。在OPTIMA II复用器中,从多个摄像机接收视频图象信息的相应流并且通过时分复用来自摄像机的图象可以形成一个组合图象流。然后将该组合的图象流输出到一个传统的视频磁带记录器以记录在磁带上。该OPTIMA II复用器通过对相应输入图象流进行运动检测分析,可以在输出流中进行自适应时隙分配,对那些从检测到有运动的输入流来的图象分配更多的时隙。使用这种方式,系统存储容量中的相对较多的部分被分配给包含运动目标的图象流,由此更可能包括重要信息。
相对于传统的、基于磁带监视视频存储技术而言,OPTIMA II复用器有了一个大的改进,但是仍然需要提高效率和改善适应性。
Geutebruck GmbH销售的“MultiScop”视频磁盘记录器是将数字记录技术应用到保存视频监视信息的问题的一个产品。该MultiScop系统使用了上述选择性记录技术来使记录的不感兴趣的信息容量最小。另外,通过使用一种传统的数字图象压缩技术,从记录中排除了一些冗余信息。根据日期和时间索引,或者根据表示一个外部敏感的告警条件的索引来随机访问所保存的信息,从检索所保存的视频图象而言,这系统相对于传统的基于磁带的系统有适度的改善。
尽管MultiScop记录器在随机访问检索方面是毫无疑问的具有优势,但是这种记录器的一个不太理想的特性是在进行检索时,会中止所有记录操作。为了减少对应该记录而没有记录的新视频信息的可能性,需要将MultiScop编程为对一个告警条件作出响应,从而能自动地中止检索,以立即返回到记录模式中。当没有引入这种自动中止特征时,或者是因为缺乏一个告警条件,或者是因为没有选择该特性,将会不记录该新视频信息。尽管MultiScop避免了磁带的更换,但是在检索操作的整个期间,MultiScop的记录被中止,其中止时间比在有一个回放的单独VCR的、基于磁带的系统中更换磁带所需要的时间相对长一些。
因此人们迫切希望有一个视频信息智能管理系统,它能避免前面的系统所特有的、在记录和回放工作模式之间的来回倒换,同时又比前面所知道的系统有更高的效率和更大的灵活性。
MultiScop系统所提供的更高的效率和更大的灵活性是非常可取的。特别地,如果能够将不感兴趣的信息从记录中排除出去,同时又使错过重要信息的可能性最小,这是最有用的。另外,还需要更有效的信息检索技术。
完全可以相信,MultiScop系统采用了基于变换的压缩编码技术,例如众所周知的JPEG标准,它能够提供40∶1或者50∶1的压缩因子。对于数据存储容量是2,000兆字节,和记录速率是每秒50场,MultiScop系统能够记录一个小时多一点点的视频信号。一个更可取的方法是,对于一个给定的数据存储容量,提供一个具有更高压缩程度的技术,以提供更高的记录速率和/或者更长的记录时间。
对用于IVIM和视频监视操作的一个视频数据压缩技术,如果压缩和解压缩各自的运算量大致相同,该视频数据压缩技术能够包含一个实施方式,它采用一个通用的处理器装置来同时实现压缩和解压缩运算,那么这种视频数据压缩技术的这个特性是非常可取的。另外,如果这种压缩技术能够使视频图象流的机器分析和反向回放很便利的话,就更有帮助。
本发明的发明者还注意到,当前广泛使用的视频数据压缩技术没有利用监视视频信号的特殊特性,该特殊特性可以实现更高的压缩比例,同时又有足够的用于监视的图象质量。例如,众所周知的MPEG监视能够提供更高的压缩比例和提供用户广播应用所需的高图象质量,但是其复杂性增加了。另外,MPEG类型的技术对反向回放,或者同时压缩多个输入视频流等等这些特性来说,是不能适应的。
在一个视频信号流中出现的大量信息(有用的或者其他的)不仅对数字数据存储装置提出了很高的要求,而且对那些在保存到一个存储装置上以前,或者从一个存储装置检索出来以后发送和处理视频信息的电路结构也提出了很高的要求。当需要同时记录许多视频信号流时,这是一种经常出现的情形,这些要求就更高了。另外,对视频信息进行压缩促进了对存储容量的有效使用,但是增加了发送和处理电路的负担。
已有系统的另一个缺点是这种需要:为了访问记录器所保存的视频数据,用户必须实际到达记录器。另外,用户搜寻视频数据的选择被限制在该记录器所提供的能力上。
另一个与视频数据存储相关的设计问题是需要提供的总存储容量。已有的系统仅包括了一单个内部硬盘驱动器,当用户需要的容量比内部硬盘驱动器所提供的容量多时,就需要使用外部存储媒质驱动器。假设一个包含几个内部驱动器单元的记录器可以允许更大的存储容量并且提供其他优点,将内部驱动器单元安全地安装在一个容易制造和组装的结构中也是可取的。进一步,应该安排好一个数字视频记录器的其他内部电子部件,以使制造费用最小,同时又能够方便视频信息的捕获和处理。
假设一个视频信息智能管理系统有比已有装置更大的有效硬盘存储容量,当时间过去时和需要捕获和记录更多的当前视频信息时,即使是这样的磁盘,其存储容量也是有限的,并且需要重新使用该磁盘。所以,即使使用了固定磁盘而不是录相带作为基本存储媒质,允许在可拆卸的媒质上永久保存或者“存档”保存视频信息也是可取的。系统存档的能力能方便用户的管理,并且能够有效地与其他系统特征相互吻合。
虽然很可能无法避免的是,一个记录系统的灵活性的增加将伴随有复杂性的增加,但是系统的使用却不应该变难,这一点也是重要的。在判断一个IVIM系统是否令人满意地执行了它所预期的功能时,使用的方便程度可能成为一个至关重要的因素。
这里所公开的视频信息智能管理系统代表了视频记录和个人计算机技术的一种崭新的融合,它能够全面改善捕获和检索视频信息的能力。提供了一定的用户可以设置的选项,这增强了系统的灵活性并且允许用户将系统调节成适应特殊的应用。
已经提出了许多技术来滤除视频图象数据,以检测图象数据所表示的图象的重要特征。发表的关于这个领域的技术包括下述这些:M.P.Cagigal,等等在1994年8月,第33卷,第8期的 Optical Engineering的第2810-2812页上发表的“低亮度级别图象的目标运动特征表示”,S.J.Nowlan等等在1994年12月,第11卷,第12期的 J.Opt.Soc.Am. A的第3177-3200页上发表的“用于运动分割和速率综合的滤波器选择模型”,T.G.Allen等等在1994年7月,第33卷,第7期的 Optical Engineering的第2248-2254页上发表的“图象序列中对运动目标检测的多尺度逼近”,M.-P.Dubuisson等等在1995年,第14卷的International Journal of ComputerVision的第83-105页上发表的“复杂室外环境中运动图象的轮廓提取”,M.Bichsel在1994年11月,第16卷,第11期的 IEEE Transactions on Pattern Analysis and Machine Intelligence的第1138-1142页上发表的“在一个静态环境中分割简单连接的运动物体”,M.Irani等等在1994年12:1的 International Journal of ComputerVision的第5-16页上发表的“封闭和透明运动的计算”,I.J.Cox在1993年10:1的 International Journal of ComputerVision的第53-66页上发表的“用于运动对应的统计数据相关技术的回顾”,D.Koller等等在1993年10:3的 International Journal of ComputerVision的第257-281页上发表的“道路交通环境的单筒望远镜图象序列中的基于模型的目标跟踪”,J.H.Lee等等在1994年5月,第40卷,第2期的 IEEE Transactions on Consumer Electronics的第2154-2160页上发表的“对一个HDTV信号进行运动估计的VLSI芯片”,T.Koivunen在1994年8月,第40卷,第3期的 IEEE Transactions on Consumer Electronics的第753-760页上发表的“一个隔行扫描的视频信号的运动检测”,S.-I.Jang等等在1994年5月,第40卷,第2期的 IEEE Transactions on Consumer Electronics的第145-153页上发表的“对一个视频摄像机的运动和聚焦不好引起的图象模糊的一个实时识别方法”,但是,这些推荐的滤波技术大部分仅限于分析静态图象,而不是通过分析一个动态图象流来试图获取信息,所以这些推荐的滤波技术的商业应用还是比较少的。
希望改进对包含在单个或者并发视频图象流中的信息的管理和使用。还特别希望能够允许一个视频监视系统的一个用户,或者其他保存动态图象信息的一个用户能够更灵活地管理输入视频信息和更灵活地使用输入和所保存的视频流。
除了上面描述的OPTIMA II复用器以外,其他专用于对视频信息的检测特征作出自动响应的装置的主要目的是检测运动,并且当检测到运动时就激发一个告警条件。在美国专利号4,737,847(Araki等等);4,160,998(Kamin);4,198,653(Kamin);3,988,533(Mick等等);4,081,830(Mick等等);3,743,768(Copeland);和4,249,207(Harmon等等)中公开了这样一种装置。
除在现有技术中期望的那些以外,将机器智能扩展到视频信息特征的检测,和功能的自动完成是很可取的。
发明内容
本发明的一个目的是提供一个装置,它通过使用该装置能够允许用户从多个可用的视频数据选项中选择一个或者几个所需的选项。
本发明的另一个目的是能够允许这样一种装置的用户将一个选择的视频信息分析算法调节成能够适应由待分析的信息所表示的已知或者期望的特征。
本发明的另一个目的是提供一个具有一些用户可以选择的工作模式的一个视频信息智能管理系统,它改善了该系统的灵活性和使用的方便性。
本发明的另一个目的是提供一个分布式视频信息数据库系统。一个进一步的目的是提供这么一种能力,即使一个希望检索视频信息的用户远离视频信息所存储的位置,他也能对这些视频信息进行基于内容的检索。
本发明的另一个目的是提供一个视频信息智能管理系统,它检测一个输入视频信息流的重要特征,并且在检测到所感兴趣的特征时,采取合适的动作来对此作出响应。
本发明的另一个目的是提供一个方法和一个装置,以对表示动态视频图象的流的视频数据进行高度有效的压缩。
本发明的另一个目的是提供一个视频数据压缩技术,它能够很好的适应视频监视安全应用。
本发明的另一个目的是使用一种适合于数据的机器分析的格式来提供压缩视频数据。
本发明的另一个目的是使用一种能够便利对图象流进行反向播放的格式来压缩一个视频图象流。
本发明的另一个目的是提供一种用于视频信息的捕获,格式和临时保存的技术,以在一个视频信息智能管理系统中简化视频信息的处理和路由。
本发明的另一个目的是为几种将要被安装在一个数字视频记录器中的记录媒质驱动器单元提供一个支持结构。
本发明的另一个目的是使用一个方便于制造和组装的结构来提供这样一种支持结构。
本发明的另一个目的是为包括在一个数字视频记录装置中的数据处理电路结构提供一个有效的和性价比好的结构。
本发明的另一个目的是提供具有视频信息存档能力的视频信息智能管理系统。
本发明的另一个目的是提供一个IVIM系统,其中其存档能力是灵活的并且是用户友好的。
本发明的另一个目的是提供一个视频信息智能管理系统,其中使用一种智能的和有用的形式来向该系统的用户提供关于该系统的状态的信息。
本发明的另一个目的是在一个视频信息智能管理系统中采样并行处理和多任务技术,以使在该系统执行基本功能的同时还能够消除功能之间的干扰或者使它最小。
本发明的另一个目的是提供识别,标志和索引视频信息的相应部分的技术,以支持灵活地和有效地保存和检索视频信息。
为了实现上述目的,本发明提供了一种视频信息保存装置,包括:一个用于产生第一动态图象流的视频摄像机;一记录媒质驱动器单元,其包括一个记录媒质,该记录媒质用于保存表示所述第一动态图象流的数据,保存表示前面已经被保存在所述记录媒质上的第二动态图象流的数据,以及保存表示第三动态图象流的数据,该第三动态图象流与已经保存在所述记录媒质上的所述第一动态图象流和第二动态图象流不同;显示装置,用于显示所述第一动态图象流和第二动态图象流中被选择的一个;输出装置,用于将从所述记录媒质上再生的数据发送到一个远程装置;和控制装置,用于控制所述记录媒质驱动器单元和所述显示装置,以使当所述第二动态图象流被同时从所述记录媒质回放和被所述显示装置显示时,将表示所述第一动态图象流的数据记录在所述记录媒质上,且所述控制装置还控制所述记录媒质驱动器单元和所述输出装置以使表示所述第三动态图象流的所述数据被从所述记录媒质再生并且被所述输出装置发送到所述远程装置,同时记录所述第一动态图象流和显示所述第二动态图象流。
本发明还提供了一种视频信息保存装置,包括:一个用于产生第一动态图象流的视频摄像机;一记录媒质驱动器单元,其包括一个记录媒质,该记录媒质用于保存表示所述第一动态图象流的数据,保存表示前面已经被保存在所述记录媒质上的第二动态图象流的数据;显示装置,用于显示所述第一动态图象流和第二动态图象流中被选择的一个;控制装置,用于控制所述记录媒质驱动器单元和所述显示装置,以使当所述第二动态图象流被同时从所述记录媒质回放和被所述显示装置显示时,将表示所述第一动态图象流的数据记录在所述记录媒质上;和,存档装置,用于接收由所述记录媒质驱动器单元再生的视频数据,并用于在一可拆卸的记录媒质上记录该接收的视频数据,其中所述接收的要被记录在所述可拆卸的记录媒质上的视频数据被所述记录媒质驱动器单元再生,同时记录所述第一动态图象流和显示所述第二动态图象流。
本发明还提供了保存和显示视频信息的方法,该方法包括步骤:(a)通过一视频摄像机产生第一动态图象流;(b)在记录媒质驱动器单元的记录媒质上保存表示所述第一动态图象流的数据,保存表示前面已经被保存在所述记录媒质上的第二动态图象流的数据,以及保存表示第三动态图象流的数据,该第三动态图象流与已经被保存在所述记录媒质上的所述第一动态图象流和第二动态图象流不同;(c)在显示装置上显示所述第一动态图象流和所述第二动态图象流中被选择的一个;(d)由输出装置将从所述记录媒质上再生的数据发送到一远程装置;(e)由所述控制装置控制所述记录媒质驱动器单元和所述显示装置,以使当所述第二动态图象流被同时从所述记录媒质回放和被所述显示装置显示时,将表示所述第一动态图象流的数据记录在所述记录媒质上,并且还控制所述记录媒质驱动器单元和所述输出装置以使表示所述第三动态图象流的所述数据被从所述记录媒质再生并被所述输出装置发送到所述远程装置,同时记录所述第一动态图象流和所述第二动态图象流。
附图说明
图1A和1B使用框图的形式来表示了根据本发明所提供的一个分布式智能视频信息管理系统。
图2使用功能模块的形式来表示了形成如图1A和1B的系统的一个功能部分的一个视频分析和保存装置。
图3是根据本发明所提供的、并且在图1A和1B的系统中所使用的一个视频记录/个人计算机(VR/PC)单元的电子部件的一个框图。
图4是图3的VR/PC单元所采用的一个电路板结构的一个图象表示。
图5是说明该VR/PC单元的机架和前面板的一个透视图。
图6是该VR/PC单元的前面板的一个正面图。
图7是该VR/PC单元的后视图。
图8是在该VR/PC单元中所提供的、用于支持磁盘驱动器单元和类似的一个结构支持组件的一个等角投影视图。
图9A和9B是图8的该磁盘驱动器支持结构的一个部件分解图。
图10是图8的该驱动器支持结构的一个等角投影视图,如那样被组装并且用于支持硬盘驱动器单元和其他媒质驱动器单元。
图11是当该VR/PC单元工作在一个现场显示模式下,并且包括光标激发控制区域时,由该VR/PC单元所产生的一个屏幕显示的一个打印。
图12是当该VR/PC单元工作在一个回放模式下,并且包括光标激发控制区域时,由该VR/PC单元所产生的一个屏幕显示的一个打印。
图13A和13B是显示在图4中的一个模拟处理/复用电路板的一个原理框图。
图14是在图4中显示的一个数字/压缩/分析电路板的一个框图。
图15表示在图14中显示的一个模拟到数字转换,场缓冲器和视频总线控制模块的功能框图。
图16说明了在图15中显示的该模拟到数字转换功能的一些细节。
图17说明了在图15中显示的一个视频数字化控制功能的一些细节。
图17A使用流图的形式图示说明了在图17中显示的一个控制器逻辑框图中执行的处理。
图18说明了在图15中显示的一个场缓冲器的一些细节。
图19说明了在图15中显示的一个视频输出控制功能的一些细节。
图20A和20B分别表示在该VR/PC单元中形成的视频数据的一个图象平面(场)的光栅扫描格式和矩形数据瓦片格式。
图21图示说明了该VR/PC单元所采用的一个矩形数据瓦片的格式。
图22表示该VR/PC单元所采用的一个最小编码单元(MCU)的格式。
图23表示该VR/PC单元所采用的一个4∶1∶1颜色视频数据格式。
图24表示每一个MCU所使用的一个颜色数据格式。
图25是在图14所显示的一个视频总线上发送视频数据的一第一模式的一个图象表示。
图26使用图象的形式表示了在该视频总线上发送视频数据的一第二模式。
图27使用图象的形式表示了在该视频总线上发送视频数据的一第三模式。
图28使用图象的形式表示了用于在该视频总线上发送的视频数据的光栅扫描线的一个数据光栅。
图29是在该视频总线上被发送的视频数据数据瓦片的一个格式的一个图象表示。
图30表示被包括在该视频数据总线上被发送的视频数据场的头中的头数据比特的一个格式。
图31使用功能框图的形式表示在图19中被显示的一个输出控制逻辑模块所执行的处理。
图31A使用一个流图的形式,表示由图31的输出控制逻辑模块执行的、用于形成场头数据的处理。
图31B使用流图的形式,图示说明了由图31的输出控制逻辑模块执行的、用于使用线和数据瓦片头数据来控制线和数据瓦片输出操作的处理。
图32使用流图的形式,图示说明了由图31的输出控制逻辑模块执行的、用于产生视频数据的光栅扫描线的处理。
图33使用流图的形式,图示说明了由图31的输出控制逻辑模块执行的、用于形成视频数据的矩形数据瓦片的处理。
图34使用流图的形式,图示说明了由图31的输出控制逻辑模块执行的、用于产生视频数据的光栅扫描线和矩形数据瓦片的一个交叉出现的序列的处理。
图35是一个表示图31的输出控制逻辑模块的操作的状态机图。
图36是表示一个数字信号处理芯片和相应电路结构的一个原理框图,该数字信号处理芯片和相应电路结构一起执行对该视频数据压缩而言是视频前端处理和初始处理的控制功能。
图37使用框图的形式,表示图14的现场视频数据分析处理模块的特定细节。
图38使用框图的形式,图示说明了图14的现场显示处理模块的特定细节。
图39是对图36和14的控制DSP芯片的操作进行编程的主要软件模块的一个原理图。
图39A使用流图的形式,表示该用于控制DSP的软件的“改变数据瓦片”的地图产生器模块。
图40是一个表示用于控制DSP的软件的PCI接口驱动器模块的流图。
图41A和41B一起形成一个表示用于控制DSP的该软件的压缩器管理模块的流图。
图42使用流图的形式,表示由该控制DSP所执行的视频数据数据瓦片比较功能。
图43A是表示在本发明中所使用的一个视频数据数据瓦片格式的图象。
图43B和43C使用图象来表示将图42A的该视频数据数据瓦片格式分成四分之一,并且表示一个应用到每一个四分之一的数据元素的校验器板子采样模板。
图44表示用于由图14的前端处理板所产生的压缩视频数据的一个数据格式。
图45表示控制显示在图3中的主板微处理器的工作的主要软件部件的概略图。
图46A是表示该主板CPU软件的系统指导器模块的一个COM(部件对象模型)。
图46B是表示该CPU软件的其他部件的一般形式的一个COM。
图47是一个表示用于该主板CPU的安全管理者软件模块的流图。
图48表示一个可以在由该主板CPU执行的处理中时时被用具体的例子说明的典型的远程对象。
图49表示处理该主板CPU和图5的VR/PC单元的物理前面板之间交互作用的一个软件对象。
图50使用流图的形式,说明了用于主板CPU的一个建立管理者软件模块。
图51图示说明了视频数据和该VR/PC单元在将视频数据保存在其中的硬盘上时所使用的索引数据格式。
图52使用流图的形式,图示说明了用于主板CPU的一个视频保存处理软件模块。
图53使用流图的形式,图示说明了用于该主板CPU的一个视频搜寻处理软件模块。
图54使用流图的形式,图示说明了图53的“执行搜寻”模块。
图55使用流图的形式,图示说明了由该主板CPU在执行视频回放操作时所执行的处理。
图56使用流图的形式,图示说明了图55的“重新解压缩器”模块。
图57使用流图的形式,图示说明了图56的“解压缩参考图象”模块。
图58使用流图的形式,图示说明了图55的“停止解压缩器”模块。
图59使用流图的形式,图示说明了图56的“解压缩差异图象”模块。
图60使用流图的形式,图示说明了与特定视频数据块相关的图59的处理的部分。
图61是在该VR/PC单元中使用的、用于重新组成一个压缩视频数据场的一个技术的一个图象表示。
图62A和62B分别图示说明了用于刷新一个视频显示缓冲器和VR/PC单元的替代技术。
图63A和63B分别图示说明了可能要在该VR/PC单元中使用的较低分辨率和较高分辨率视频数据保存和回放技术。
图64A和64B是当该VR/PC单元的作用是提供一个反向回放功能时,一个用于重新组成压缩视频数据的一个技术的一个图象说明。
图65A和65B是图64A和64B的该反向回放解压缩技术的高程度流图表示。
图66使用流图的形式,图示说明了图65A和65B的“建立后向历史缓冲器”模块。
图67是作为该反向解压缩处理的部分、被采用来解压缩和重新编码参考图象数据的该过程的一个流图表示。
图68使用流图的形式,图示说明了图67的“解压缩&重新编码数据瓦片”模块。
图69A和69B使用流图的形式,图示说明了对该主板CPU进行编程来与该前端处理电子装置进行交互作用的一个软件模块的一个命令处理部分。
图70A和70B是对该主板CPU进行编程来与该前端处理电子装置进行交互作用的一个软件模块的状态消息处理部分的一个流图表示。
图71是由该主板CPU对从该前端处理电子装置发送到其上的视频数据执行的视频数据处理的一个流图表示。
图72图示说明了在该主板CPU开始将输入视频数据记录在该VR/PC单元的一个硬盘上时,所执行的处理。
图73图示说明了在存档管理者软件模块处理搜寻请求时,所执行的处理。
图74A和74B使用流图的形式,图示说明了在该主板CPU将视频数据记录在一个可拆卸的存档记录媒质和/或者从该可拆卸的存档记录媒质中回放视频数据时,所执行的处理。
图75图示说明了,该主板CPU对一个告警条件的一个表示作出响应,由该主板CPU所执行的处理。
图76是作为一个对一个告警条件作出的标准响应被提供的、一个视频数据场记录时隙的时间序列的一个分配的一个图象表示。
图77使用流图的形式,图示说明了与该VR/PC单元的图象处理设施特征一起,由该主板CPU执行的处理。
图78原理性地图示说明了与该图形用户接口的操作一起的该主板CPU的操作。
图79使用流图的形式,图示说明了对该主板CPU进行编程来选择主要规划选项的软件。
图80使用流图的形式,图示说明了在该主板CPU建立一个用于规划该系统的操作的假期选择时,由该主板CPU执行的操作。
图81是一个用于定义一个24小时日历天间隔的“白天”与“夜晚”时期的屏幕显示的一个图形表示。
图82使用流图的形式,图示说明了对该主板CPU进行编程来执行在图81中图形显示的白天/夜晚分配功能。
图83使用流图的形式,图示说明了在该主板CPU规划系统操作时,对该主板CPU进行编程来执行选项选择。
图84使用流图的形式,图示说明了在该主板CPU产生用于控制预规划的系统操作的描述的同时,对该主板CPU进行的编程。
图85图示说明了控制被预规划的系统操作的一个队列的一个数据格式。
图86是图示说明了由图84的处理所产生的一个规划描述表的类型。
图87使用流图的形式,图示说明了对该主板CPU进行编程,以根据预设置的规划参数来控制系统操作。
图88使用总结的形式,图示说明了在该主板CPU执行一个典型的图象分析算法中,由该主板CPU所执行的操作。
图89使用流图的形式,图示说明了图88的图象分析工具操作的选择和建立部分。
图90A-D是表示参数设置操作和在这里所公开的该系统中所提供的一个周长违反检测图象分析工具。
图91使用一个流图的形式,图示说明了在执行一个图象分析以前所需的准备步骤。
图92使用流图的形式,图示说明了对一个输入视频图象所执行的一个图象分析算法的一个初始化阶段。
图93A图示说明了图14的前端视频板的现场图象分析处理器所执行的处理,图93B和93C是由视频板控制器继续执行的相关处理步骤。
图93D和93E使用流图的形式,进一步图示说明了由该现场图象分析处理器继续执行的处理。
图94是一个图示说明被继续执行的初始化步骤以及被应用到一个再生的视频图象流的图象分析的流图。
图95A-95C是图示说明了由该主板CPU执行的、用于将一个图象分析算法应用到一个被再生的视频流的处理的流图。
图96是在解释对一个被再生的视频流所执行的一个曲线拟合分析中所使用的一个图象说明。
图97使用流图的形式,图示说明了将一个周长违反检测图象分析算法应用到一个被再生的视频流的过程。
图98使用流图的形式,图示说明了对一个事件的发生作出响应,激发一个现场视频分析算法的过程。
图99使用流图的形式,图示说明了在本发明的一个替代实施方式中所提供的一个视频数据压缩技术。
图100使用流图的形式,图示说明了对根据图99的处理被压缩的数据所执行的一个解压缩技术。
图101A和101B使用流图的形式,图示说明了允许一个用户来调节视频显示时间分辨率和/或者空间分辨率的设置的系统操作。
图102使用流图的显示,图示说明了允许一个用户来调节视频数据压缩参数的该系统的操作。
图103A-103C是图示说明系统操作和将图象分析算法从一个系统装置下载到另一装置的流图。
图104是图示说明对被一个现场视频分析算法所检测到的一个条件作出响应,选择性地发送一个输入视频流的一个流图。
图105是图示说明对被一个现场视频分析算法所检测到的一个预定特征作出响应,改变摄像机流保存序列的一个流图。
图106使用流图的形式,图示说明了对被一第一现场视频分析算法所检测到的一个预定特征作出响应,激发一第二现场视频流分析算法的过程。
图107是对检测到一个告警条件作出响应,图示说明自动改变一个视频数据压缩参数的一个流图。
图108是对被一个现场视频分析算法所检测到的一个预定条件作出响应,图示说明一个被自动激发的软件缩小视图的操作的一个流图。
图109是对被现场视频分析所检测到的一个预定条件作出响应,图示说明该系统来自动激发一个视频摄像机的一个运动的操作的一个流图。
图110是当两个不同的现场视频分析算法检测到相应的移动条件时,图示说明该系统采取一个预定动作的操作的一个流图。
图111是当提供该视频流的该摄像机在移动时或者检测到一个告警条件时,图示说明该系统来禁止现场视频流分析的操作的一个流图。
图112是图示说明该系统来保存表示产生一个输入视频流的一个摄像机在移动的头数据的操作的一个流图。
图112A是图示说明该系统的、禁止将一个图象分析算法应用到被一个移动摄像机所产生的一个被再生视频流的操作的一流图。
图113是当检测到一个告警条件时,图示说明该系统来增加集合场吞吐速率的操作的一个流图。
图114是图示说明该系统提供对不同的输入视频数据流是不同的压缩参数的操作的一个流图。
图115是图示说明根据是否检测到一个告警条件,该系统来改变一个显示缓冲器更新技术的操作的一个流图。
图116是图示说明关于视频数据流的记录,再生和存档的优先级的一个流图。
图117A和117B是分别图示说明该系统的替代存档操作模式的流图。
图118是图示说明该系统减少输入视频信号被保存的速率来防止过度运行一个存档操作的操作的一个流图。
图119是图示说明该系统保存与前面被存档的视频信号相关的数据的操作的一个流图。
图120是图示说明一个自动摄像机诊断功能的操作的一个流图。
图121是图示说明该系统提供一个显示给该用户的系统状态的操作的一个流图。
图122是图示说明该系统自动地搜寻和显示与一个当前被显示的再生视频流同时产生的一个再生视频流的操作的一个流图。
图123使用一个流图的形式,图示说明了该系统同时记录输入视频信号和显示一再生的视频图象流的操作。
图124是图示说明该系统同时显示两个被再生的视频图象流的操作的一个流图。
图125是图示说明该系统将视频数据索引信息同时记录在两个不同的硬盘上的操作的一个流图。
图126是图示说明该系统为以一个其随时间而下降的速率被记录的一个视频图象流提供预告警缓冲的操作的一个流图。
图127是说明该系统根据被再生的视频信息的一个机器分析,来改变和/或者补充视频数据头信息的操作的一个流图。
图128(a)和(b)一起图示说明了一个用户可操作的图象增强设施。
图129是被提供给一个用户的、与搜寻被记录的视频信息相关的一个屏幕显示。
图130是被提供给一个用户的、与搜寻被记录的视频信息相关的一个屏幕显示。
图131是被提供给一个用户的、与搜寻被记录的视频信息相关的一个屏幕显示。
图132是被提供给一个用户的、与搜寻被记录的视频信息相关的一个屏幕显示。
图133是被提供给一个用户的、与搜寻被记录的视频信息相关的一个屏幕显示。
图134是被提供给该用户,来允许该用户选择一个建立操作的一个屏幕显示。
图135是被提供给该用户,来允许该用户选择一个视频数据记录模式的一个屏幕显示。
图136是被提供给该用户,来允许该用户选择一个视频数据记录模式的一个屏幕显示。
图137是被提供给该用户,来允许该用户登录到该系统的一个屏幕显示。
图138是被提供给一个用户,来允许该用户将一个被授权的用户加到该系统的一个屏幕显示。
图139是被提供给一个用户,来允许选择要被一个被授权用户访问的系统功能的一个屏幕显示。
图140是被提供给一个用户,来允许选择要被一个被授权用户访问的系统功能的一个屏幕显示。
图141是被提供给一个用户,来允许选择要被一个被授权用户访问的系统功能的一个屏幕显示。
图142是被提供给一个用户,来允许选择要被一个被授权用户访问的系统功能的一个屏幕显示。
图143是被提供给一个用户,来允许选择要被一个被授权用户访问的系统功能的一个屏幕显示。
图144是被提供给该用户,来构造该系统的安全功能的一个屏幕显示。
图145是被提供给一个用户,来允许该用户将名字分配到与该系统相连的摄像机的一个屏幕显示。
图146是被提供给该用户,来允许该用户将名字分配到由该系统提供的告警信号输出的一个屏幕显示。
图147是被提供给一个用户,来允许该用户将名字分配到可以由该系统接收的告警信号输入的一个屏幕显示。
图148是被提供给该用户,来允许该用户在一些该系统可以执行的设施功能中进行选择的一个屏幕显示。
图149是向该用户提供系统状态信息的一个屏幕显示。
图150和图151是被提供给该用户,来允许该用户将视频显示窗口分配到与该系统相连的多个摄像机的屏幕显示。
图152是被提供给该用户,来允许该用户指定作为用于规划系统操作模式的假期的日历日期的一个屏幕显示。
图153是被提供给该用户,来允许该用户调节关于一个图象分析算法的参数的一个屏幕显示,其中该图象分析算法用于检测由一个视频图象流所表示的一个场景的亮度的变化。
图154是被提供给该用户,来允许该用户调节关于一个图象分析算法的参数的一个屏幕显示,其中该图象分析算法用于检测在由一个视频图象流所表示的一个场景中的运动。
图155是被提供给该用户,来允许该用户调节关于一个图象分析算法的参数的一个屏幕显示,其中该图象分析算法用于检测一个运动物体是否已经通过了一个周长边界。
图156是被提供给一个用户,来允许该用户调节关于一个图象分析算法的参数的一个屏幕显示,其中该图象分析算法用于检测一个感兴趣的物体的迁移。
图157是被提供给一个用户,来允许该用户定义用于预规划系统操作模式的一个假期列表的一个屏幕显示。
图158是被提供给该用户,来允许该用户为多个摄像机中的每一个规划记录模式的一个屏幕显示。
图159是被提供给一个用户,来允许该用户定义关于被预规划的系统操作模式的规划周期的一个屏幕显示。
图160是被提供给一个用户,来允许该用户定义关于被预规划的系统操作模式的规划周期的一个屏幕显示。
图161是被提供给一个用户的,与在图128(a)和(b)中图示说明的该图象增强设施的操作相关的一个屏幕显示。
图162是被提供给该用户,来允许该用户命令该系统丢弃与一个图象平面中一个被用户选择的部分相应的视频数据的一个屏幕显示。
图163是一个与图11类似的现场显示屏幕格式,除了该屏幕的一个现场视频区域被分成一个四分之一结构以外,并且其中每一个显示窗口有记录表示。
图164是被提供给一个用户的、与选择一个存档操作模式相关的一个屏幕显示。
图165是图164的显示的一个替代格式。
图166是被提供给该用户的、与搜寻被保存在一个可拆卸存档记录媒质上的视频数据相关的一个屏幕显示。
图167是被提供给该用户的,来允许访问前面被记录在可拆卸存档记录媒质上的一个索引信息数据库的一个屏幕显示。
图168是被提供给该用户的,来更新安装有该VR/PC单元的一个存档媒质驱动器装置列表的一个屏幕显示。
图169是被提供给该用户的,来允许选择一个要用于搜寻被保存在该VR/PC单元中的该视频数据库的图象分析算法的一个屏幕显示。
图170是与图169所示的一个屏幕显示类似的一个屏幕显示,但是还说明了可以被该用户选择的一个下拉式菜单列表图象分析算法。
图171和172是允许该用户选择,与被预规划的系统操作模式相关的,要被应用到一个现场输入视频流的一个图象分析算法的屏幕显示。
图173是对激发在图161中提供的一个“打印”选项作出响应,所产生的一个硬拷贝屏幕打印的一个示例。
具体实施方式
IVIM系统综述
图1A和1B表示了一个由总标号500所表示的、视频信息智能管理(IVIM)系统的一个概观。该系统500跨越了多个位置和多个商业公司。例如,该商业公司可能包括一个多分支银行502和一个多位置的零售商504。该银行502和该零售商504分别由IVIM系统506和508提供服务,这两个IVIM系统506和508相互之间是准独立的,但是至少与由一个安全服务组织512所提供的一个主节点设施510进行选择性的相互作用。例如,该服务组织512可能提供安装和服务视频信息智能管理系统和其他视频安全系统。
优选地,该主节点510的形式是一个能够为IVIM系统506和508提供支持功能和可下载的软件资源的一个主计算机。尽管图1A和1B仅显示了两个商业公司IVIM,但是仍然希望该主节点510能够支持大量其中每一个保持有它自已的IVIM系统的商业公司。该商业公司可能跨越整个美国(例如)以及其他国家并且在整个美国的所有地方以及其他国家均有分支机构。可以想象,这里所公开的该系统除了用于银行和零售商以外还用于许多其他类型公司中。
如图1B所示,IVIM系统506和508中的每一个包括一个为相应IVIM系统提供监督和管理功能的本地节点514。每一个本地节点514经过一个相应数据通信信道516与该主节点510相连。例如,每一个数据通信信道516可能由一个专用通信信道组成,或者该信道516可能被根据一个基于拨号的请求来建立。优选地,该本地节点514使用标准的个人计算机硬件和软件来实现,并增加了很多新软件,关于新软件的能力将在下面来讨论。
每一个IVIM系统的关键部件是通过数据通信路径519与相应本地节点514相连的视频分析和保存单元518。每一个单元518的上面连接有一个或者多个、被表示为摄像机520-1到520-N的视频摄像机。每一个视频分析和保存单元518提供对由连接到其上的视频摄像机520所产生的视频信息流的保存,分析和选择性的检索。
连接到每一个单元518的视频摄像机的数目对每一个分析和保存单元而言是不同的。例如,该摄像机的数目可以是从1到12甚至更多。如将要被看到的,该单元518的一个优选实施方式将支持数目多到16的视频摄像机。
还应该被认识到的是,每一个IVIM系统中的分析和保存单元518的数目也是不同的。尽管在图1A和1B中,仅显示了每一个IVIM系统包含2个或者3个单元518的情形,但是每一个商业公司中的分析和保存单元的实际数目可以是几十个或者更高。
与每一个分析和保存单元518相关的是如由点线框522所表示的、在视频安全系统中所发现的典型其他部件。该与每一个单元518相关的其他安全部件522可能对每一个单元来说是不同的。一个这种其他部件的例子被示例与图1A的左下角落中,并且包括两个视频显示监视器524,多个可以被机械激发的告警传感器526,和一个摄像机控制装置528。
分别由该视频摄像机520产生的和在该分析和保存单元518中所接收的视频信号流被选择性地从该单元518中引导出来以显示在该监视器524上。如将要被看到的,可以使用多种格式,包括全屏幕,或者仅占据该图象平面的一部分的窗口来显示该信号。多个显示窗口可以被形成在一个或者两个显示器524上,以使多个视频流被同时显示在一单个视频显示器524上。优选地,显示器524是传统的显示器,例如来自NEC公司的NTSC监视器模型JC-1215MA和/或者来自松下公司的SVGA监视器模型C1591E。这里所公开的新系统的该分析和保存单元518所提供的一个优点是该单元518执行在传统视频监视系统中由一个视频开关所执行的视频流分布式功能。所以,在该IVIM系统的一个实际实施方式中,在“其他安全系统部件”522中不需要包括视频开关。
优选地,该告警传感器526是传统的、用于检测例如打开或者关闭门,窗,显示器外壳等等事件,并且用于产生表示这种事件和告警信号的信号的传感器。该告警信号被提供到该分析和保存单元518和被提供到摄像机控制装置528。
例如,该摄像机控制单元528可以是一个传统的装置,例如可以从这个申请的受让人处买到的“TOUCHTRACK’R”摄像机控制垫。该摄像机控制装置528和该分析和保存单元518被连接起来,用于在它们之间交换数据消息。
这里假定一些视频摄像机520是可以移动的。即,一些摄像机520是传统的摄像机,例如由这个申请的受让人所销售的圆顶(dome)摄像机,它有一个随控制信号而调节的视野的方向。视频摄像机520中的可移动摄像机还包括可以沿一个轨道移动的摄像机。典型地,在可移动的摄像机中,其缩放和聚焦设置也是由控制信号控制的。如530所表示的,该摄像机控制装置528被组织成来向该视频摄像机520中可移动的摄像机提供控制信号。
还假定,对于视野而言,视频摄像机520中的一些摄像机是固定。应该理解,可以想象所有与一个特定分析和保存单元518相连的摄像机是可以被移动的,或者所有摄像机可以是固定的。
如532所表示的,该分析和保存单元518和该摄像机控制装置528被连接在一起来相互交换数据。可以这样来组织该摄像机控制装置528,以使或者对来自告警传感器526的输出作出响应,或者对来自该分析和保存单元518的一个数据消息作出响应,控制信号经过控制信号路径530自动地被发送到该可以移动的摄像机520中一个被选择的摄像机,以对由该告警传感器526所检测的一个事件或者由该分析和保存单元518所检测的一个事件作出响应,该可移动摄像机被自动地进行定位。
上面描述的附加部件结构522仅是一个示例,并且可以对其进行许多变化。例如,监视器的数目可以被减少到一个或者增加到比2大的一个数。作为另一个可能性,可以省略该告警传感器526和该摄像机控制装置528。特别地,可以理解,如果所有摄像机520是固定的,将不需要任何摄像机控制装置528。其他外围装置,例如打印机可以被提供,并且还可以提供告警显示装置,例如闪烁的灯,警报器或者类似的装置。除了那些被包括在该分析和保存单元518中的装置以外,还可以提供辅助数据保存装置。
在该附加部件522中还可以包括由这个申请的受让人所销售的、商标是POS/EM的一个销售点异常监测(Point of Sale ExceptionMonitoting)系统。
除了前面已经被描述的、位于该本地节点514与相关分析和保存单元518之间的通信链路以外,在该主节点510与该分析和保存单元518之间,还可以有如534所表示的直接通信链路。该数据链路可以由传统的专用线路,拨号连接,卫星,LAN,WAN和/或者通过互联网络来形成。如果使用了该互联网络,优选地,这些节点和保存单元被组织成支持“流”协议,以进行有效的数据传输。
VR/PC单元综述
图2提供了该视频分析和保存模块518的一个功能综述。一个在下面将要被详细描述的主单元550提供了一个控制功能552,一个分析功能554,一个保存功能556,一个存档功能558和一个视频处理功能566。
到该单元550的输入包括来自该摄像机520(图1)的视频输入562和附加输入564,例如由告警传感器526(图1)所提供的该告警条件检测信号。
继续参考图2,用于该主单元550的用户控制信号可以由一个光标定位和特征选择装置566来提供。优选地,该装置566是一个传统的鼠标,例如那些可以从微软公司买到的鼠标,但是该装置可以用一个跟踪球,触摸屏幕,光笔,等等来替代。该单元550的一个优选实施方式还包括一个包括一些由该用户操作的开关的前面板(没有被显示在图2中)。
来自该单元550的输出包括通过一个视频显示缓冲器570被提供到一个显示单元524的现场视频数据568。该单元550的另一个输出是一个如572所表示的再生视频信号。尽管显示的该再生视频输出572与该现场视频输出568是独立的,但是应该理解,该被再生的视频可以被通过视频显示缓冲器570被发送,以被显示在该视频显示单元524上。来自该单元550的另一个输出包括控制信号574和被再生的视频数据和伴随的索引信息,如576所表示,以被保存在外部保存装置上。这类装置(图中未示出)可以包括数字或者模拟磁带记录器,仅写一次的或者可读写视频磁盘记录器,和/或者DVD记录器,这些装置是被专用线或者被一个拨号线路连接到该主单元550。
数据通信链路578提供了该主单元550和其他计算机装置之间的数据通信,并且包括,例如如图1所示的通信信道516,519,和534。尽管没有被显示在该图中,一个传统调制解调器可以被包括到该VR/PC单元中在或者被连接到该VR/PC单元。
图3图示说明了该主单元550的硬件结构。如图3所示的该单元550包括了提供PC和视频记录能力的全新结合的独特的硬件和软件特征,所以可以被称作一个VR/PC’(视频记录器/PC)单元。除了新的视频数据压缩和记录技术以外,该VR/PC单元550执行以前没有被提供的数据管理,路由和分析功能。该VR/PC单元550还实现了独特的用户接口特征,它能够使该用户可以方便地选择和操作该单元的能力。
该VR/PC单元550包括一个主板580,前端视频处理和视频数据压缩硬件582,一个后面板584和一个前面板586(图5和图6)。
如图4的、有点原理性的图示说明,该前端视频处理和视频数据压缩硬件582由两个独立的印刷线路板组成:一个模拟处理/复用板588,它接收直接来自该后面板584的视频信号,和一个连接在该模拟板588和该主板580之间的一个数字化/压缩/分析板590。
在本发明的一个替代实施方式中,该数字化/压缩/分析部件板590被安排在连接在该模拟板588和该主板580之间的两个独立的PWB上。
再一次参考图3,优选地,该主板580的结构类似于标准个人计算机主板,并且是整个被标准化并且是商业上可用的部件。这样,尽管有新的前端电子部件,该VR/PC硬件基本上是作为一个标准PC平台被实现的,如下面将要被详细描述的。在该主板558上的部件包括一个微处理器592,其功能与一个CPU相同。优选地,该微处理器592是一个Intel公司所产生的、工作在100兆赫并且工作在Windows95操作系统下的奔腾P5-120C。可以使用其他处理器,包括那些工作在高速的处理器。一个根据PCI标准的总线594,将该CPU592与在该主板580上的其他部件进行互联。如596所表示的,该PCI总线594被扩展成将该主板580与该前端电子部件582进行互联。在该主板580上的其他部件包括一个程序存储器ROM598,和一个工作存储器602。在一个优选实施方式中,工作存储器602由16兆字节的RAM组成。
还被提供在该主板580上的是一个SVGA芯片组604,它可以是由Cirrus Logic公司销售的“Alpine”芯片组。一个SVGA视频数据输入路径606被直接从该前端电子部件582提供到该SVGA芯片组604。该SVGA芯片组提供一个输出608来驱动一个或者多个SVGA监视器。(一个NTSC输出被直接从该前端电子部件提供来驱动NTSC监视器。如果(由传统装置,没有被示出)检测到出现了一个NTSC监视器,然后该SVGA输出可以被关闭。)
该主板580还包括一些串口612,来处理在该主板与附加装置之间的数据通信。该附加装置可能包括上述告警传感器,以及告警显示,电子控制门锁,传统POSEM(销售点异常监测point of sale exceptionmonitoring)装置等等。一个鼠标口614被包括在该主板580上,以从该鼠标566(图6)接收用户激发的控制信号。继续参考图3,在该主板580上提供了一个并行口616,作为一个用于驱动一个报告打印机(没有被显示)的数据源。还与该主板580连接的是一个传统的软盘驱动器618,它优选地被组织成来接受31/2英寸磁盘。
还被提供在该主板580上的是一个IDE(集成驱动器电子部件)控制器620,它向多个IDE硬盘驱动器622提供一个接口并且被安装在该VR/PC单元550中。该硬盘驱动器622提供了对视频数据,索引信息,程序等等进行大容量保存的能力。该VR/PC单元的优选实施方式包括两个,三个或者多个硬盘驱动器622。一个用于该VR/PC单元550的合适硬盘驱动器单元是Western Digital公司所提供的“Caviar”2或者2.5吉字节驱动器。还可以使用来自Seagate或者其他供应商的硬盘驱动器。
在该主板580上还提供了一个SCSI接口624。一个DAT(数字音频磁带)驱动器626通过该SCSI接口624与该主板580相连,并且组成用于该VR/PC单元的主要存档媒质驱动器装置。该DAT驱动器可以,例如,是一个在一个4毫米×90米的磁带上保存2吉字节数据的Sony model SDT-700/BM。还可以使用其他已知的DAT记录器。可以想象,除了DAT驱动器626以外,可以使用其他存档媒质驱动器装置,或者替代DAT驱动器626。例如,可以使用一个数字视频磁盘(DVD)装置或者一个线性数字磁带驱动器。
通过该SCSI接口624所提供的还有一个SCSI输出口628。
图5和图6图示说明了该VR/PC单元550的物理外观。图5说明了具有一个前正视图632的一个注塑机架630,它包括该前面板586和一个可以绕轴旋转的挡灰尘板634。被显示在图5和图6的、位置状态处于闭合的该挡灰尘板634可以选择性地由用户来打开,以允许拿出和放入被包含在该机架630中的该软盘和DAT驱动器。
作为对被显示在图5中的该独立机架结构的一个替代结构,可以想象来提供安装了适合于架装的硬件的一个机架。
被提供在该前面板586上的这些开关636,允许用户来控制该VR/PC单元的许多功能。这些开关636包括显示格式开关638,640,642和644。如在这四个开关上的文字说明所表示的,该用户可以使用这些开关来在能够将1,4,9或者16个图象流显示在该监视器或者多个监视器上的显示格式中进行选择。开关646允许该用户来选择提供表示该VR/PC单元的状态的信息的一个显示屏幕,开关648允许该用户选择一种操作模式,这种操作模式允许一次出现多个视频流但根据一预定序列出现。
该前面板586还在其上安装了标为“1”到“16”的、摄像机选择开关650。当被激发时,每一个摄像机选择开关650来将目前被该相应视频摄像机所产生的视频信号显示在该监视器上。与每一个摄像机选择开关650相关的是一个相应LED652,当来自该相应摄像机的现场信号被显示时,该LED652就发光。该前面板586上还安装有一个LED652,当该VR/PC单元正在记录一个或者多个由该摄像机520所产生的输入视频信号时,该LED652就发光。
另一个被安装在该前面板586上的LED656是用于表示已经检测到一个告警条件(或者经过该传感器526,或者由在该VR/PC单元中所执行的图象分析)。一个告警开关658邻近该告警指示器656并且可以被该用户激发以促使该系统来显示关于该被检测到的告警和一些告警的信息。
另一个被安装在该前面板586上的显著特征是一个慢往返移动开关660。该慢往返移动开关660在外观上,操作方面和功能上与被提供在传统的VCR上的开关类似,并且是用于控制对被保存在该VR/PC单元550内的该硬盘驱动器或者一些驱动器上的视频图象流的回放的。
该慢往返移动开关660被组织成来允许该用户控制这样一些众所周知的回放特征,例如前向回放,后向回放,和暂停(静止图象)回放。优选地,与该慢往返移动开关660被顺时钟旋转或者逆时针旋转的不同数量相应,提供了至少两个前向回放,后向回放的速率。优选地,在被该用户释放以后,该慢往返移动开关660自动地回到一个“中性”位置,并且回放或者重绕的速率继续是由最后一次对该开关660的操作所选择的一个速率。
对该前面板的整体布局进行总结,从左到右,定义了四个区域:
区域1:两行具有相关摄像机选择指示器652(也形成两行)的摄像机选择开关650(每行8个开关),并且还包括该记录指示器650;
区域2:告警指示器656和选择开关658;
区域3:慢往返移动开关660;和
区域4:显示控制开关638-648。
如将要看到的,在形成被该VR/PC单元550所支持的图形用户接口(GUI)的部分的鼠标激发屏幕显示器上,提供了模拟该前面板586的、一个基本上类似的开关和指示器布局。图11和12显示了这种屏幕显示器的示例并且将进一步在下面进行讨论。
根据另一个实施方式,在该VR/PC单元中,所有显示在该前面板586上的开关,LED和其他特征均可以被省略,以使仅通过鼠标激发屏幕显示器来控制该VR/PC单元。
在该后面板584的上面靠中间的区域中,有16个视频输入口,它们被排列成两行,每行8个,并且用标号662来表示。在该视频输入口662的下面是16个环路输出口(它们也被排列成两行,每行8个),由标号664表示。所有输入口662和输出口664是用于模拟视频的。在口662和664下面的一行中,从左到右有一个串口666,一个打印机(并行)口668,一个SVGA(数字视频)输出口670和一个SCSI口672。与该输入视频口662相邻的有一个附加(模拟)视频输出口674。
在该后面板584的上面靠左的部分中,有一个多位置连接器插口676,来允许该VR/PC单元与其他装置进行连接以进行数字通信。在该数据通信口676的下面是一个电源输入插座678和一个环路电源输出插座680。与该电源插座678和680相邻的是一个通风口682。在该后面板584的右侧是三个扩展槽684。
媒质驱动器支持结构
一个有效的和紧凑的媒质驱动器支持结构被安装在该VR/PC单元550的机架630中。现在将参考图8-10来描述该媒质驱动器支持结构并且参考图8中的标号700来一般表示该媒质驱动器支持结构。
该支持结构700的主要部件是一个基础支持件702,一个中间支持件704,和一个顶支持件706。
如从该图9A和9B的解析图可以看到的,该基础支持件702的横截面基本上是U形状,该中间支持件704基本上是平的,该顶支持件706基本上是一个反U形状。当组装该支持结构700时,该基础支持件702上放置该中间支持件704,依次地,该中间支持件704上放置该顶支持件706。优选地,将弯曲和冲压操作应用到金属片来形成所有支持件702,704,706。
该基础支持件702包括一个基本上平的基础板部分708。除了在该板708的平面中、从该基础板708的一个后侧712的一个部分向后扩展的一个扩展部分710以外,该基础板708基本上是矩形的。在该板708的相对两端,垂直侧壁714和716被形成并且从该基础板708向上扩展。定位螺栓718被安装在该基础板708右侧的一个区域。该螺栓718是用于固定一个DAT驱动器单元在该基础支持件702上的被安装位置的。在该基础板708的一前面侧,形成了一个弯曲的突出部分720。通过剪切部分722,在该基础板708的相应后面部分形成了一些附加的突出部分720。(在图9的视图中,这些附加的突出部分720中的一个和它的相应剪切部分722被该侧壁716和竖立件726所封闭)。该突出部分720的形状被调节成能插入到形成在该VR/PC单元的底盘(没有示出)上的桥形撞杆中。通过这些桥形撞杆和该突出部分720,结果整个媒质驱动器支持结构(其中安装了一些驱动器)被安全地安装在该VR/PC单元的机架630中。
在该基础板708的扩展部分710的左半部分有一个凸起的存取口724。该凸起的存取口724的作用是允许插入一个固定器例如一个螺栓来使该基础板708安全地连接到该VR/PC单元的底盘上的一个针形螺母(没有示出)。一个竖立件726被固定在该基础板708的一左半部分。多个定位螺栓728(其中图8仅显示了一个螺栓)被提供在该竖立件726上,以安排要被该竖立件726所支持的一个软盘驱动器单元的位置。当组装了该驱动器支持结构700时,如图8和10,在该竖立件726的上表面和该中间支持件704的下表面之间的空间提供了与一个标准驱动器单元形状因素的一半相应的一个形状因素,并且适合于容纳一个标准的软盘驱动器。
再来参考图9B,该基础支持件702的右侧壁714的上面形成有3个槽,它们水平地延伸到靠近该侧壁714的上边缘的位置。该基础支持件702的左侧壁716有一个上边缘734,从该上边缘,多个短突出部分736分别从该上边缘734的前面和后面部分垂直地向上延伸。一个固定器突出部分738水平地从该侧壁716的上边缘734的中间部分向外延伸。在该突出部分738上有一个孔740,以允许通过该突出部分738插入一个固定器。再参考图9B,该中间支持件704上有8个螺栓742,这8个螺栓被排列成两组,每组有4个螺栓,每组的4个螺栓是用于来固定一个相应的硬盘驱动器单元。
在该中间支持件704的下面是压力垫744(用阴影部分表示)。当该支持结构位于其组装的状态下,如图10所示,并且其中还安装了驱动器单元时,该压力垫744分别向一个DAT驱动器单元746和一个软盘驱动器单元748施加一个向下的压力,以将这些驱动器单元保持在该驱动器支持结构700中。优选地,该压力垫744是一个有弹性的人造橡胶材料。
被冲压出来的固定器突出部分749从该中间支持件704的4个角的位置向上延伸。在该突出部分749上的孔允许插入多个螺检,来将安装在该支持件704上的硬盘驱动器单元固定在该中间支持件704上。一个U形托架751是用于经过在该中间支持件704的中心部分的一个固定器753来提供连接的。该托架751能够帮助将安装在其上的该硬盘驱动器单元固定在该中间支持件704上。
一个短突出部分750从该中间支持件704的一右边缘752水平地向外延伸。两个枢轴突出部分754从该边缘752向外和向上弯曲,并且分别位于该边缘752的前面位置和后面位置。该突出部分754和750之间沿该支持件704的边缘的位置被安排成能够通过该基础支持件702的侧壁714上的槽730同时插入。在将该枢轴突出部分754插入到外部槽730中时,在安装时,可以将该中间支持件704向下朝该基础支持件702旋转。在该中间支持件704的左侧,有槽756,它们之间的位置被安排成能够允许将该基础支持件702的侧壁716上的短突出部分736插入到这些槽之中。在该支持件704的左侧壁上有多个向下延伸的活叶758和一个固定器突出部分760(与该支持件702的固定器突出部分738类似),并且其上有一个孔762。
该支持件704还进一步有两对槽764,每对槽764与该支持件704的一个相应边缘之间的距离短。在该支持件704的前面边缘和后面边缘上有一个向下的短活叶766。
参考图9A,与该中间支持件704类似,该顶支持件706上有8个定位螺栓742,这8个定位螺栓被排列成两组,每组有4个螺栓,每组的螺栓是用于固定一个相应的硬盘驱动器单元的位置。这些定位螺栓742被固定在形成大部分该顶支持件706的、一个基本上平的顶板768上。如图9A所示,该顶板768的下侧上安装了压力垫744,该压力垫744的作用是向被安装到该中间支持件704上的硬盘驱动器施加向下的压力。
从该顶板768的相应左边缘和右边缘向下延伸的是侧壁770和772。一些短突出部分774从该侧壁770和772的下边缘垂直地向下延伸。这些突出部分774的位置被排列成能够被同时插入该中间支持件704的那些槽764。(图9A的视图中,这些在顶支持件706上的突出部分774中的一个突出部分被所提供的顶板768所封闭)。一个固定器突出部分776从侧壁772的下边缘的中间部分水平地向外延伸。该固定器突出部分776与上述固定器突出部分738和760类似,并且在其上有一个孔778。该支持件702,704和706一般,和特别地该相应固定器突出部分738,760和778的尺寸被安排成这样,以使当按如图8所示来组装这3个支持件702,704,和706时,这些相应的孔740,762和778被组装成相互之间处于垂直并列的位置,因此允许一单个固定器779同时通过这三个孔并且允许该单个固定器来固定这三个支持件702,704和706,以形成该驱动器支持结构700。
图10显示了完全组装好了的该媒质驱动器支持结构700。除了前述DAT驱动器746和软盘748以外,硬盘驱动器单元786和788被显示成并排安装在该中间支持件704上,并且一单个硬盘驱动器单元790被安装在顶支持件706上。可以看到,用于安装一第四硬盘驱动器单元(没有显示出来)的一个空间保留在该顶支持件706的顶板768中靠右边的部分。
根据下述步骤,安装驱动器单元和该支持结构会变得快速和有效:1,将DAT驱动器和软盘驱动器安装在基础支持件上;2,使用铰链突出部分将中间支持件安装到基础支持件;3,将两个硬盘驱动器单元安装在中间支持件上;4,使用从侧壁向下延伸的直突出部分,将顶支持件安装到中间支持件上;5,插入固定器(由图10中的标号779所表示)并且使其通过在相应固定器突出部分上的所有三个孔,来使这三个支持件702,704和706形成一单个的稳定结构;6,使用托架782和通过突出部分780的固定器,将一个或者两个硬盘驱动器安装在顶支持件上。这个已经安装好了的媒质驱动器结构然后就可以被安装在该VR/PC单元的底盘上。如果仅两个硬盘驱动器需要在该单元中被提供,则可以省略步骤6。
应该理解,图8-10所示的该媒质驱动器支持结构允许该VR/PC单元的大容量保存硬件部分可以使用这样一种方便而且价格和时间均优的方式来安装。
模拟视频硬件
现在参考图13A和13B来描述板588上所提供的模拟前端电路结构(图4)。
从图13A和13B中可以看出,由被连接到该VR/PC单元的16个视频摄像机所产生的16个模拟视频信号流被一起提供到三个十六比一的复用器,该十六比一的复用器用标号802来表示。该复用器802提供三个输出,它们分别构成到三个场锁定信道804的输入。由一个相应控制信号(该控制信号由806来表示)来控制每一个复用器802,来选择摄像机16中的相应一个,以通过该相应锁定信道804来进行数据采集。该控制信号806由该数字前端板590(图4)来提供。
继续参考图13A和13B,该三个锁定信道804是相同的,以使仅描述这三个信道中的一个。被选择的输入视频信号通过放大器808和810,分别被提供到一个色度陷波滤波器812和一个色度带通滤波器814。一个亮度信号被从该色度陷波滤波器812中输出,并且被提供到一个同步信号分离器电路816,该同步信号分离器电路816输出一个从该亮度信号中提取的复合同步信号。来自该同步分离器816的该复合同步信号被提供到一个垂直同步信号分离电路818,该垂直同步信号分离电路818将一个垂直同步信号从该复合同步信号中分离出来。该垂直同步信号和该复合同步信号均被提供到该数字前端板590。来自该同步分离器816的该复合同步信号还被提供到一个脉冲门检测电路820,该脉冲门检测电路820输出一个脉冲门检测信号。该脉冲门检测信号和从该色度带通滤波器814输出的色度信号被作为输入提供到一个锁相环(PLL)电路822。该PLL822输出一个基带色度信号和一个参考信号。另一复用器模块824位于该场锁定信道804和两个选择信道826之间。该复用器模块820由6个三比一的复用器组成,其中3个复用器是用于两个选择信道中的每一个的。用于该复用器模块824的控制信号由828所表示,并且被从该数字前端板提供。
这两个选择信道826是相同的,所以仅描述两个信道中的一个信道。到每一个选择信道的三个输入是一个亮度信号,一个色度信号和一个参考信号,所有这些与由三个输入摄像机信号中的一被选择用于锁定的单个摄像机所提供的视频信号相应,该单个摄像机被三个锁定信道804中的一个来选择。从该模块824来的一个相应三比一复用器的输出是用于亮度信号,色度信号与参考信号中的每一个的,以使相应地,该相应复用器的三个输入是三个亮度输出,色度输出或者参考输出,看情况而定,可能来自该锁定信道804。该被选择的亮度信号被提供到一个亮度钳制电路830,该亮度钳制电路830为被选择信道一输出一个被钳制的亮度信号。该被选择的参考和色度信号,它们与该被选择的亮度信号相应,被提供到一个向一个复用器834输出R-Y和B-Y信号的色度解调电路832。如836(控制信号被前端数字板提供)所示,该复用器834被控制来提供一个交替的R-Y和B-Y信号序列,以作为为被选择的信道一的色度信号。该被钳制的亮度信号和组成该色度信号的该连续交替颜色差异信号然后被输出到该数字前端板590,以进行进一步的处理。
如上面所描述的,与信道二相应的被选择信道826和与该信道一相应的被选择信道相同。
前端数字硬件
图14使用功能模块的形式提供了该数字前端板590的一个综述。在该前端板590上的主要功能模块包括一个模拟-数字转换和缓冲器模块840,一个控制和压缩处理模块842,一个现场视频显示处理模块844,一个现场视频图象分析模块846和一“后端”压缩模块848。该前端数字板590还包括对PCI总线扩展596的一个接口850(图3)。
继续参考图14,该模块840接收两个通过和由该模拟前端588所选择的模拟视频信道,并且对被选择的两个模拟信道进行数字化,并且将被数字化的视频数据场分别缓冲在与这两个被选择的信道相应的缓冲器853和855中。将要被输出到该模拟前端的控制信号,和表示该模拟前端的状态的信号,包括同步信号,被通过模块840的接收和发送。另外,该模块840控制一个视频数据总线852和根据一个在下面将要被描述的格式,将该被缓冲的视频数据场分配到模块842,844,846和848。一个控制/状态总线854与该数字前端板590的控制模块842和其他模块进行互联,并且允许该控制模块842来控制该其他模块和接收表示该其他模块的状态的信号。最终被发送到该模拟前端或者从该模拟前端被发送的控制和状态信号还被在该控制/状态总线854上传输。
除了提供该前端板的功能的整体控制以外,该模块842还对在视频总线852上输出的视频数据执行初始数据压缩处理。模块844对在视频总线852上运载的该视频信号进行显示处理,并且在被提供到该主板580和被提供到该显示监视器的一个输出信号中,输出一个包括覆盖信息和图象平面分配的被处理视频信号。根据下面描述的技术,该模块846对在视频总线852上运载的该视频数据执行运动图象分析,来允许该VR/PC单元检测由该输入视频数据所表示的图象的特征。
优选地,该模块848使用一个标准的、商业上可以获取的集成电路来实现,它可以对已经被模块842进行预处理的该视频数据执行数据压缩处理。在本发明的一个优选实施方式中,由该模块848所执行的该压缩处理与众所周知的JPEG标准一致,并且商业可以从C3公司买到的IC模型CL 560来实现。根据这个实施方式,仅使用了该JPEGIC的编码能力,而不是其解码能力。
该PCI接口850被用于经过直接存储器访问(DMA)技术,在模块842的控制下,向该主板580提供该输入的,压缩编码视频信号。被从来自该模块842的该主板580所接收的控制信号,和被发送到来自该模块842的该主板580的状态信号还被经过该PCI接口850进行转移。
数字化和缓冲视频数据
现在首先参考图15,来详细描述图14的该数字化和缓冲模块840。在图15中,原理性地显示了该模块840的主要功能部分,包括模拟-数字转换(856),视频数字化控制(858),场缓冲(860),视频输出控制(862)和控制寄存器访问(864)。提供了该控制寄存器访问功能864来允许该控制模块842(图14)写入关于该模块840和该模拟前端板的控制消息,并且读取输入视频数据和关于该模块840和该模拟前端板的状态消息。现在参考随后的附图来讨论被显示在图15中的该模块840的其他部分。
该模拟-数字转换功能856的细节被显示在图16中。提供了四个离散转换信道866-874。信道866和868分别是用于在信道一和二中的该亮度信号的,信道870和872分别是用于在信道一和二中的该色度信号的。该四个转换信道中的每一个包括一个缓冲器放大器174和一个模拟-到-数字转换电路876。如878所示和如880所示的一个参考电平,每一个信道被根据一个模拟/数字转换时钟(点时钟)来控制。
如图17所示,被从该A/D转换功能856输出的该被数字化视频信号被提供在两个信道中(信道一包括亮度一和色度一,信道二包括亮度二和色度二),并且被提供到该视频数字化控制器858。执行该数字化,以使一个8比特码字表示每一个点。该点数据被提供到执行将要联系图17A描述的处理的控制逻辑882。为每一个信道提供了一个FIFO存储器884,来允许当要处理根据该PAL标准的一个视频信号时,执行所需的定时调整。
该控制器逻辑882对每一个独立的信道执行被显示在图17A中的该处理。对一个特定的信道,该控制器逻辑一直等到在该特定信道中检测到一个视频信号场的开始时(模块886),然后等待一预定时间周期(来清除该垂直空白间隔),然后等到检测到一行的开始时(模块888)。当检测到该行的开始时,该第一点值被载入到与该特定信道相应的该场缓冲器,并且该逻辑然后执行由模块892和894所组成的一个循环,由此载入该行中的所有随后的点的值,直到检测到该行的末尾。当检测到该行的末尾时,退出该循环并且转到模块896,在模块896处,判断这是否是该场的最后一行。如果不是,该处理循环被返回到模块888,否则,该处理循环被返回到模块886。
有利的是,图17A的该处理可以用形成为在一个可编程的逻辑装置中的固件的一个状态机来实现。这种固件的设计对那些该领域的技术人员来说是很容易的,这里就不需要进行进一步的描述。
再次参考图17,该控制逻辑模块882根据图17A的该处理,输出该第一和第二信道的视频数据的点,并且还向下述场缓冲器模块提供一个控制信号,如898所示。
图18显示了该场缓冲器模块860的细节。除了前述场缓冲器853和855(每一个使用一个VRAM来实现)以外,该场缓冲器模块860还包括一个VRAM控制器902。该VRAM控制器902控制该缓冲器VRAM853和855并且反过来又被信号898(来自该视频数字化控制器858)和信号904(来自视频输出控制器862)所控制。从该视频数字化控制器858所输出的该视频数据被保存在该场缓冲器853和855中,并且被经过一个总线906从该场缓冲器853和855中读取出来。缓冲器853和855的地址和使能信号被运载在由该VRAM控制器902所控制的一个地址总线908上。
如图19所示,该视频输出控制模块862的核心是作为一个输出状态机(图35,将要描述)来实现的输出控制逻辑910。该输出控制逻辑910接收来自该VRAM853和855的该视频数据。该VRAM控制器902产生用于控制该VRAM和产生所需地址的该控制信号908。该输出控制逻辑910控制一个延迟FIFO912,一个头模块912B,和一个FIFO累加914。来自这些模块的数据被总线驱动器912A缓冲到该视频总线上。该FIFO914对要被该控制/压缩前端模块842所使用的视频数据进行累加,以进行视频数据压缩。经过该控制寄存器访问864(图15),这个数据被发送到该模块842。
视频数据格式
现在来描述该格式的各方面,其中该输出控制逻辑910促使该视频数据被在该视频总线上852进行发送。
图20A和20B每一个显示一个图象平面920,其中为了内部数据表示的目的,该图象平面920被分成垂直方向的240行,并且每一行在水平方向被分成640个点。用于驱动该显示监视器的实际视频数据被形成为480行乘以640点,其中对提供用于该内部数据表示中的每一场的该240数据行进行垂直内插,来产生该附加行。该图象平面还被使用数据瓦片的形式来进行显示,每一个数据瓦片测量水平方向和垂直方向上的各8个点(图21)。这样,该图象平面在水平方向上被分成80个数据瓦片,在垂直方向上被分成30个数据瓦片(图20B)。
使用一个4∶1∶1数据格式,由此由四个字节的亮度数据和两个字节的色度数据来表示一组四个点。实际上,每一行被分成四个点的离散组,并且为每一个这样的组提供了四个亮度点字节,以及一个点字节的U颜色数据和一个点字节的V颜色数据(图23)。这个格式与传统的4∶1∶1格式形成对比,其中每一个色度数据字节与该图象平面的一个两个点乘以两个点的区域相应。这里所使用的和在图23中所图示说明的该格式可以帮助使在该垂直方向上的该颜色信息的变污最小化,并且使产生于仅将240个水平行分配给每一个视频数据场的、对图象质量的任何负影响得到减少。
为了进行压缩编码,该图象平面被分成四个水平排列的8乘8数据瓦片(tile)的离散组(图22)。每一组四个水平连续的数据瓦片组成一个“最小编码单元”(MCU)。需要表示每一个MCU的该数据由四个8乘以8亮度数据点块,一个8乘以8U数据点块和一个8乘以8V数据点块组成。如图24所示,用于发送在每一个MCU中的数据的一个优选顺序是U数据块,V数据块和然后四个亮度数据块。
根据在该VR/PC单元中所使用的该新视频数据格式,由该视频输出控制器862从该模块840中输出的每一个视频数据场被发送两次,一次使用数据瓦片的格式,一次使用光栅扫描行的显示。该数据瓦片被与该扫描行进行交叉,如图25所示。在一个优选的格式中,15个8乘以8数据瓦片在一块场头数据以前被发送,该块场头数据标识该要被发送的视频数据场。然后,该场头被再次发送,其后是第二光栅扫描行,然后是另一15个数据瓦片和然后是第三光栅扫描行,等等。交叉发送光栅扫描行和矩形数据瓦片组的这个过程继续,直到所有数据瓦片已经被发送和所有光栅扫描行已经被发送。结果,如上所述,该场的每一个点数据码字被发送两次,一次是作为一个矩形数据瓦片的部分,一次是作为一个光栅扫描行的部分。根据如图25所示的时序,需要一个大略27毫秒的周期来发送每一个光栅扫描行,和需要大略40毫秒的一个周期来发送每一组15个数据瓦片。
图25表示名义上与每秒60场的发送速率的该NTSC标准的四分之三相应的一个发送模式。在如图25所示的模式中,每秒发送45场的行,和每秒发送相同45场的数据瓦片。应该注意到,每场发送了240行,每场发送了3600个数据瓦片(2400个亮度数据数据瓦片,加上600个U数据数据瓦片和600个V数据数据瓦片)。这样,当如图25所示的来操作该视频总线852时,该系统的输入速率是每秒45场,可以选择性地将这45场分布到16个视频摄像机的输入上。简短地参考图14,按照操作模块842和846的优选格式,该数据瓦片被提供在该视频总线852上;由此对现场显示处理模块844来说,该场的光栅扫描行发送是优选输入格式。
现在转到参考图26,将要描述操作该视频总线的另一模式。在这个模式中,使用每秒60场的速率来发送数据瓦片(tile),但是该60场中,仅每隔一场来使用行的形式来进行发送。换句话说,一半的场被发送两次,一次是作为行被发送的,一次是作为数据瓦片被发送的,并且余下的场仅被作为数据瓦片来发送。可以使用这个模式;例如,当一个或者多个场锁定信道804,和一个或者两个选择信道826被唯一地用于一单个摄像机输入时。在这样一种情形下,该模拟前端电子装置可以锁定到该输入信道,而在场之间没有任何延迟,以允许每秒60场的吞吐率。
在如图26的操作模式中,在一个27毫秒的周期中,发送一第一光栅行,然后在一个80毫秒的周期中发送30个数据瓦片,然后发送下一个光栅行,然后发送下一组30个数据瓦片,等等。(图26中省略了该场头,来简化图)。在发送了与一场相应的240行的期间以内(即,大略30分之一秒),还发送了与两个场相应的7200个数据瓦片。
图27图示说明了另一操作该视频总线852的模式。当要使用缩放方式在该图象平面的一个特定部分中显示该正在被发送的场时,使用如图27所示的该模式。在这个模式中,仅发送需要产生该被放大的图象的光栅行,并且仅发送位于该被放大的图象所需的那些光栅行中的点。这减少了需要保存在该现场显示帧缓冲器中的带宽。
在如图27所示的例子中,假定实现一个两倍的缩放显示。如果将图27与图25进行比较,在图27的模式中可以观察到,在光栅行发送时隙的替代时隙中,在发送中省略了所有数据。在其他时隙中,仅发送每一行中的一半点。但是,为了维持该总线的正确定时,尽管没有发送任何光栅数据,或者只发送较少数量的光栅数据,仍然维持在每对数据瓦片时隙之间提供的27毫秒的行时隙。(图27中,再一次省略了该场头,以简化图)
图28图示说明了在该视频总线852上发送该光栅行数据时所使用的该数据格式。在该系统的一个优选实施方式中,该视频总线852包括19根并行信号线,该19根并行信号线中的16根是用于数据的(并列两个字节)和余下的三比特是用于标识要被并发发送的字节数。在图28所示的示例中,假定要被发送的该行是一场中的该第一行,所以该第一四字节(第一两个字节用于发送时隙)是用于一个场头926的。在该场头926中,首先被发送的该两个字节组成一个16比特时间码。下两个字节表示该摄像机号码和其他表示要被发送的场的类型的信息。在该摄像机号码字节中,该第一四比特是该摄像机号码,最后四比特是表示正在被发送的该场要被显示在其中的该图象平面的部分(“窗口”号码)。该窗口号码可能表示,例如,使用一个4×4多窗口显示格式的该第三行,将正在被发送的该场显示在该第二窗口中。在该现场显示处理模块844中(图14),该窗口号码有助于有效地组成多窗口显示。
字节930包括场类型和其他信息。在这个格式中,没有使用字节930中的该第一到第四个比特和第八比特。第五比特表示该输入视频是否是被一单个摄像机模式(即,仅捕获来自一个摄像机的视频信息)所捕获的。第六比特表示该场是偶数场还是奇数场,第七比特表示是否捕获了该视频信号的场的帧。
下两个字节,由标号940所表示,组成了一个16比特行标识号码的行头。在光栅行的点数据之后包括第一四字节亮度数据,然后是两个字节的U颜色数据,然后是另一四字节的亮度数据,然后是两个字节的V颜色数据,等等。当发送了640字节亮度数据和160字节U数据和160字节V数据时,就完成了该行的发送。伴随在最后一对字节以后的是表示该行的末尾的一个标识号码,如标号942所示。如果该正在被发送的行是该场中的最后一行,然后下一对字节包括与上面所描述的“摄像机号码”字节928有相同数据格式的一个“下一个摄像机”标识字节944。该“下一个摄像机”标识字节944预先提醒该现场显示处理模块844,来允许预先产生覆盖信息,缓冲器指针的合适设置等等。
作为如图28所示的格式的一个替代格式,在图28所示的格式中,两个相同类型的颜色数据字节被一起发送,替代地,可以这样来发送每一对颜色字节,其中每一对字节包括与四个前一亮度点相应的一个U信息字节和一个V信息字节。
现在将参考图29和30来描述要使用其来在该视频总线上发送该数据瓦片数据的格式。如952所示,该第一两个字节组成该数据瓦片头。该头中的一个字节,如954所示,包括使用列来表示该数据瓦片在该图象平面中的位置的一个七比特列标识号码。该字节954的最后一个比特表示是否发现该数据瓦片是一个用于下面将要描述的该数据压缩处理的“被改变的”数据瓦片。该数据瓦片头中的另一字节,如956所示,包括6比特来表示该数据瓦片在该图象平面中的行位置。最后两个比特分别被保留用作表示对两个不同的图象分析算法而言,该数据瓦片是否被改变(即,可以将两个不同的“改变阈值”用于图象分析,并且这两个可以与用于字节954的被改变数据瓦片比特的该阈值不同,后者用于数据压缩处理)。
在头字节952以后是与该8×8数据瓦片相应的64字节。在图29所示的示例中,假定该数据瓦片是一个U颜色信息数据瓦片。另一数据瓦片由64个亮度字节或者64个V颜色信息字节组成。对该图象平面的四个水平连续8×8点区域的每一个最小编码单元(见图22),发送了四个亮度数据瓦片,一个U数据瓦片和一个V数据瓦片(图24)。因为该图象平面被分成2400个8点×8点区域(在水平方向上有80个数据瓦片,在垂直方向上有30个数据瓦片;见图20B),总数3600个数据瓦片,包括颜色信息,被用于表示每一场。
在该数据瓦片场的第一场的前面,为每一个数据瓦片场发送一个场头。除了在数据瓦片格式中所使用的该摄像机号码和一个场类型字节与在行格式中所使用的那些字节有些不同以外,该数据瓦片场头类似于为图28的行发送格式所示的该场头,包括两个字节的时间码,一个“摄像机号码”字节和一个“场类型”字节。现在参考图30,将描述数据瓦片场所使用的该摄像机号码和场类型格式。该数据瓦片摄像机号码字节928’在其首先四字节中包括与该行格式所使用的相同的、16比特摄像机标识码。但是,因为该数据瓦片不用于现场显示,就不需要窗口标识信息,所以没有使用该摄像机号码字节928’的其他四比特。
对于在该数据瓦片场的头中所使用的该场类型字节930’,最后6比特与该行格式场头中的相同。其第一比特表示该数据瓦片场是否被用作用于进行图象分析的一个参考图象场,其第二比特表示该数据瓦片场是否被用作用于进行数据压缩处理的一个参考图象。
图31提供了由图19的该输出控制逻辑910所执行的该处理功能的一个综述。从图31中可以看出,该输出控制逻辑910包括一个控制状态机960,一个用于建立该场头的功能962,头翻译逻辑964,光栅建立逻辑966,数据瓦片建立逻辑968和光栅/数据瓦片序列发生器970。该输出控制逻辑的功能是产生上面联系图25-30所描述的该数据格式和总线工作模式。在图31A中使用流图的形式图示说明了该场头建立功能964。如图31A中的模块972所示,该场头建立功能处于空闲状态,直到检测到了一个场的开始(在第一行中的第一点)。只要这种情形发生了,该场头建立功能就从该前端板控制器842获取摄像机标识和时间邮戳信息(图14),如模块974所示,然后该场头格式被组装(模块976)。
如图31B所示,该头翻译逻辑决定偏移和伸缩参数(步骤978)并且使用这些参数来驱动该光栅建立逻辑966和该数据瓦片建立逻辑968(步骤980)。
图32图示说明了由该光栅建立逻辑966所进行的该处理。首先(步骤982),该光栅建立逻辑根据该当前光栅号获取行号。然后判断这是否是一个场的第一行(步骤984)。如果不是,该行头(如图28的940所示)被组装(步骤986),然后组成该光栅行的该数据被发送到该序列发生器970(步骤988),然后该处理循环回到步骤982。但是,如果在步骤984发现将要处理在该场中的第一行,那么在步骤986以前插入步骤990。在步骤990,获取该摄像机号码和场字节的信息并且组装该场头。
在图33中显示了由该数据瓦片建立逻辑968所执行的该处理。在图33中所显示的该处理被表示为一个连续循环,包括一第一步骤992,其中该数据瓦片建立逻辑966获取数据瓦片标识数据,即用于该图象平面中的数据瓦片的行和列。然后,在步骤994,该数据被组装到该数据瓦片头字节中(如图29的952所示)。
继续参考图33,步骤994之后是步骤996。在步骤996,该数据瓦片建立逻辑从该行和列信息中计算合适的VRAM地址,并且继续从VRAM853和855中该合适的一个(图18),并且检索需要构造该数据瓦片(步骤998)的数据。在步骤998之后是步骤1002,其中该数据瓦片建立逻辑968将该被完成的数据瓦片前转到该序列发生器970。
图34图示说明了由该光栅/数据瓦片序列发生器970所进行的该处理。
开始,在步骤1004,判断是否是发送一个光栅行的时间。如果这样,该序列发生器970在由该光栅建立逻辑996所产生的该行头以后,发送与该光栅行相应的该数据(步骤1006),如果这是该场的第一行,前面还有该场头。
如果在步骤1004,没有发现发送该光栅数据的时间,然后就转到步骤1006。在步骤1006,判断该序列发生器970是否已经从该数据瓦片建立逻辑968接收了在两个光栅行之间的期间以内要被发送的一组完整的数据瓦片。该数据瓦片的数目或者是15或者是30,这与图25中的模式或者图26的模式是否分别有效有关。如果在步骤1008中,发现出现了一个完整的数据瓦片组,那么该数据瓦片数据,包括由该数据瓦片建立逻辑968所产生的数据瓦片头(和一个场头,如果需要)被发送到该视频总线852(步骤1010)上。否则,步骤1008以后是步骤1012。在步骤1012中,每一次从该数据瓦片建立逻辑968中接收了一个数据瓦片,该数据瓦片组计数器就增加1,并且该处理循环回到步骤1008。
在步骤1006或者步骤1010以后,该处理循环回到步骤1004。
图35图示说明了该控制状态机960(图31)。从图35可以看出,当开始一个场时,退出空闲状态1014,进入数据瓦片处理状态。当完成了15个数据瓦片的发送时(或者是完成30个数据瓦片的发送,这与操作该视频总线的模式有关),然后退出状态1016,进入状态1018,在状态1018中,发送与一个光栅行相应的数据。当完成了该行时,从该行处理状态1018转回到该数据瓦片处理状态1016。但是,在完成了最后一行时,就完成了该场,在这种情形下,该状态机从该行处理状态1018跳到该空闲状态1014。
前端板控制硬件
现在转到图36,现在详细描述用于该前端电子装置的该控制模块842。该控制模块842的主要部件包括一个数字信号处理集成电路1050,一个动态RAM1052,一个静态RAM1054和一个DMA寻址模块1056。该DSP1050(与分别监视该现场显示处理模块和该现场图象分析模块846的该数字信号处理装置类似)可以是Texas仪器公司所生产的一系列TMS-C32装置。该DSP1050是该前端电子装置的“大脑”和“交通警察”。除了其它功能外,该DSP1050对被用于视频数据的管理和数据压缩处理的一个地址总线1058和一个数据总线1060进行管理,这一个地址总线1058和这一个数据总线1060还用于经过PCI接口850将压缩视频数据转移到主板。
该DSP1050还管理该控制/状态总线854(图14;没有显示在图36中)。该控制状态总线854可以被实现为一个高速串行链路,该高速串行链路将该DSP1050的命令发送到该数字化,缓冲和总线控制模块840,该现场显示处理模块844和该现场图象分析模块846。从模块840,844和846来的、要发送到该DSP1050的状态消息也由该控制/状态总线854所运载。通过经过该模块840所中继的消息(图14),该DSP1050还能处理对该前端模拟板588的控制和监视(图4和13)。
再一次参考图36,该DRAM1052保存由该DSP1050所产生的和使用的统计数据和视频数据数据瓦片的初始压缩处理,该DSP1050经过图19的该FIFO914和该控制寄存器访问864(图15)访问该视频数据。该SRAM1054用作该DSP1050的普通工作存储器,并且还用作准备好要被经过该PCI接口850发送到该主板的压缩视频数据的一个输出缓冲器。该DMA寻址模块1056提供在该被压缩的视频数据被从该数字前端板590转移到该主板的DMA转移期间所使用的地址。
由标号1062所表示的三态总线驱动器与总线1058和1060相关,并且用于按照需要路由在这些总线上的信号业务流。
现场图象分析硬件
现在参考图37来描述该现场图象分析模块846的细节。一个现场分析模块846包括一个数字信号处理集成电路1064,该数字信号处理集成电路可以是上述Texas仪器公司所生产的这类装置。包括在该DSP1064内部的是包括一个算术和逻辑单元1066,一个启动码(bootcode)存储器1068,一个程序缓冲存储器1070和锁存和控制电路结构1072的功能模块。与该DSP1064相关的是一个串口1074,程序存储器1076和图象存储器1078。该串口1074从该前端控制器DSP1050接收控制信号并且将该控制信号中继到该锁存和控制电路结构1072。类似地,状态消息被从该锁存和控制电路结构1072经过该串口1074中继到该DSP1050。一个地址和数据总线1080与该DSP1064和存储器1076和1078进行相互作用。
该程序存储器1076保存控制该DSP1064来执行一个或者多个图象分析算法的软件。该图象分析算法软件由该控制DSP1050载入到该程序存储器1076中。反过来,该算法软件可能被从该主板前转到该控制DSP1050。一些或者所有图象分析算法软件的起始源可能是与该VR/PC单元分开的、并且远离该VR/PC单元的一个装置。
该图象存储器1078保存将要被该现场图象分析模块846所分析的该视频信息。该视频信息被使用数据瓦片的形式从该视频总线852所接收,然后在被保存到该图象存储器1078中以前,在格式逻辑1082中被格式化。
优选地,该图象存储器1078有足够的保存容量来保存多个独立的视频信息流的参考图象,或者从参考图象推导出的统计数据。例如,可以想象,该现场图象分析模块846能够同时对分别由与该VR/PC单元相连的16个摄像机所产生的16个现场输入视频流进行图象分析。另外,被应用到每一个输入视频流的该相应图象分析算法中的、用于约束该算法的执行的参数可以发生变化,并且一个或者多个完全不同于其他同时所应用的图象算法的算法可以针对图象特征的不同进行变化。例如,一个周界违反检测算法可以被应用到一些输入图象流,而一个“博物馆”算法可以被应用到一个或者多个其他输入视频流。下面将进一步描述该周界违反检测算法和该“博物馆”算法。
应该理解,由该模块846所执行的该图象分析处理的结果被经过该串口1074报告给该控制器DSP1050。
现场显示处理硬件
现在参考图38来描述该现场显示处理模块844的细节。
该现场显示处理模块844的主要部件是一个DSP1084,一第一伸缩和颜色空间转换电路1086,一个显示VRAM1090,一个覆盖平面产生电路1092,一个覆盖混合器和串联器1094,一先进/先出存储器1096,一第二伸缩和颜色空间转换电路1098,一个SVGA特征连接器1102,一个NTSC/PAL编码电路1104和一个同步信号发生器1106。
优选地,使用标准的商业部件来实现所有显示在图38中的电路模块。例如,该现场显示控制器DSP1084优选地是一个前面提到的Texas仪器公司所生产的装置。该DSP1084从该控制器DSP1050接收命令消息,并且将状态消息发送到该控制器1050。在该控制器DSP1050的监视下,该现场显示控制DSP1084控制该现场显示处理电路结构844的操作,并且,特别地,控制两个伸缩/颜色空间转换电路1086,1098和该覆盖平面发生器1092。
该第一伸缩/颜色空间转换电路1086接收和处理在该视频总线852上所提供的该光栅行数据。如果由该接收的视频数据行所表示的该图象占据了该显示屏幕的整个现场视频显示部分,然后电路1086不执行任何伸缩处理。但是,如果要显示一个分离屏幕现场图象,包括与两个或者多个现场视频图象流相应的图象,然后在电路1086中执行伸缩处理。例如,如果要使用2×2的格式将四个图象显示在相应窗口中,然后在电路1086中,每一个图象在水平方向和垂直方向上均缩小一倍。另外,在电路1086中还完成颜色空间的转换,以使从该视频总线所接收的该YUV颜色数据被转换到RGB数据。
从该伸缩/颜色空间转换电路1086输出的、该被转换的(并且如果需要,被伸缩的)RGB数据被提供到用作一个缓冲器的一个显示VRAM1090,然后该被缓冲的视频数据被输出到该覆盖混合器/串联器1094。同时,对来自该DSP1084的控制信号作出响应,该覆盖平面发生器1092提供一个覆盖图象,例如可能表示包括“现场”或者“摄像机一”的题头的字母字符。表示该覆盖图象的该图象数据被从该覆盖平面发生器1092提供到该覆盖混合器1094,以与该现场视频图象数据进行混合。在该电路1094的串联器部分中被进行合适的缓冲以后,包括,如果需要,分配到一个被选择的显示窗口,该视频信息(可能是几个视频图象流的一个复合)被经过FIFO存储器1096转移到该第二伸缩/颜色空间转换电路1098。
如果从该前端电子装置输出的该图象所占据的部分比该显示监视器的整个图象平面小,在电路1098就对经过该FIFO存储器1096输出的该图象进行伸缩处理。如果在该监视器上的整个显示屏幕被用于显示从该前端电子装置所输出的该现场图象,然后在电路1098中就不执行伸缩处理。但是,如果该现场视频仅占据该视频屏幕的一个部分(如图所示,例如,如图11),然后就执行伸缩处理,以使该前端电子装置所产生的该图象的大小被调节成适合于分配到其上的该窗口。在图11的显示中,可以观察到,在该屏幕显示的一个靠下面的部分中,提供了图形用户接口特征。如下面将要解释的,在主板产生该GUI元件。
RGB视频数据(如果需要的话,在电路1098中被进行了伸缩处理),经过标准的SVGA特征连接器1102(图38),被作为从该数字前端板590(图4)输出的该SVGA发送到该主板。另外,该电路1098对该RGB数据执行一个颜色空间转换(如果需要,在进行伸缩处理以后),来使用YUV视频数据的形式提供一第二输出。该YUV视频数据被提供到一个NTSC或者PAL编码器1104,该编码器1104使用在同步发生器1106中所产生的一个同步信号来形成一个可能会用于驱动一个NTSC监视器的NTSC(或者PAL,如果情形需要)模拟输出信号。
前端软件
图39表示控制该视频板控制器DSP1050的操作的该软件的一个综述。控制该DSP1050的该软件包括一个对该DSP1050的其他软件模块进行仲裁的视频板主控制软件模块1108。其他软件模块包括一个模拟板管理(摄像机排序)模块1110,一个事件管理器1112,一个时间跟踪模块1114,一个现场分析模块管理者1116,一个现场显示模块管理者1118,一个压缩管理者模块1120,一个数据瓦片比较模块1122,一个映射产生器模块1124和一个用于主板PCI接口的驱动器模块1126。
经过1118和1126的该软件模块1110可以被看作处理该DSP1050的“管理”职责,而模块1120-1124涉及与该视频数据的压缩相关的功能。在该“管理”软件模块中,除了PCI接口驱动器1126以外,所有软件模块本质上是执行例行功能,例如将来自该主板的消息中继到该视频处理前端电子装置的其他部件,并且将来自该视频处理前端电子装置的其他部件的消息中继到该主板。该领域的技术人员可以使用标准的编程技术来轻易地提供这些软件部件,所以不进一步讨论它们。
但是,将参考图40来进一步地描述该PCI接口驱动器1126的功能。基本上,该PCI接口执行两个功能:(1)通过DMA操作,将被压缩的视频数据从该前端板转移到该主板;和(2)在该主板和该视频处理前端板之间转移命令和状态消息。从该前端板到该主板的单向视频数据业务的容量远大于该双向消息业务的容量。
从图40中可以看出,由该PCI接口驱动器所执行的该处理是从判断一个消息是否是从该主板输入(步骤1128)而开始的。如果在步骤1128中发现一个消息是从该主板输入的,然后就执行解码该消息的步骤1130。然后,该被解码的消息被使用一个适合于被示于图39的管理者模块中相关的一个模块所处理的格式来放置(步骤1132),并且该被重新格式化的消息被发送到该相关管理者(步骤1134)。该处理然后循环回到步骤1128。典型地,在该前端处理板接收的、来自该主板的消息包括程序和/或者命令数据,例如在该模拟视频板的场捕获操作中,改变摄像机的序列所需的数据,用于视频数据压缩操作的参数的改变,要被该前端板所执行的现场图形分析算法的选择或者调节,等等。
如果在步骤1128没有发现从该主板输入的消息,该驱动器处理就在步骤1136以前,在步骤1136中,判断是否有一个消息要从该前端板被发送到该主板。如果有,就执行步骤1138,将输出消息重新格式化,以能被“系统指挥员”所处理。如将要看到的,该“系统指挥员”是一个软件模块,该软件模块控制该主板CPU并且用作在由该主板CPU所支持的该软件对象之间互发消息的一个中央消息交换所。在步骤1138以后是步骤1140,在步骤1140中,经过在该前端板和该主板之间的该PCI连接,输出消息被发送到该系统指挥员。然后该处理循环回到步骤1128。
如果在步骤1136中,没有发现输出消息,下一步骤是步骤1142。在步骤1142中,判断被压缩的视频数据是否已经准备好要被转移到该主板。如果没有,该处理循环回到步骤1128。但是,如果在步骤1142中发现视频数据已经准备好要被转移到该主板,然后该处理进行到步骤1144,在步骤1144中,在该DMA寻址单元1056(图36)中的一个计数器被用该主板存储器空间中、该视频数据要被转移到的目标位置来初始化。在该目标地址的初始化以后,就开始该视频数据到该主板的DMA转移(步骤1146)。当正在进行该视频数据的转移时,图40的该处理可能检测到一个超时的条件,如在步骤1148中所示。应该注意,如果由于某种原因,该DMA转移失败了,就可能发生一个超时的条件。如果检测到了一个超时,就产生一个消息,将该超时通知给该主板(步骤1152)。在该重新格式化和消息发送步骤1138和1140以后,该处理然后返回到步骤1128。如果没有发生一个超时的条件,该接口驱动器处理就处于空闲状态,如模块1154所示。
视频数据压缩
现在参考图41到44和39A来讨论在该数字前端板590(图4)上所执行的该视频数据压缩操作。
这里所公开的该VR/PC单元采用了一个新的视频数据压缩技术,在该单元的典型工作条件下,该新的视频数据压缩技术能够提供的有效压缩比为至少大略250∶1,而所提供的一个图象的质量对视频监视安全应用而言至少是足够的。这种高度的压缩允许对保存容量(基本上是硬盘容量)的有效使用,而在该VR/PC单元中实现数据传输和操作。另外,如将要从随后的讨论部分中所理解到的,这里所公开的该新的视频数据压缩技术综合容纳了随后将要对该压缩视频数据所执行的图象分析算法。另外,即使本发明的压缩技术提供了显著的高压缩比例,还是能够相当有效地执行较难的回放功能,例如逆向回放。
现在参考图44来描述本发明的视频数据压缩技术的一个综述,和该被压缩视频数据的格式。
在压缩以后,由一个给定摄像机所产生的该视频图象流被表示为一系列数据场1130。在该场序列中,有两类场:参考图象场1132和“差异”图象场1134。该参考场1132在该数据场序列中的出现间隔是固定的。例如,在本发明的压缩技术的一个优选实施方式中,在该序列中每第33个场是一个参考场;即,在每对连续的参考场1132之间是32个“差异”场1134。该参考场1132中的每一个不参考任何其他图象进行压缩编码。在另一方面,每一个差异场1134是相对于一个或者多个前一图象进行压缩编码的。
每一个参考场1132用一个场头(没有显示在图44中)开始,该场头可能与上面联系图30所讨论的该数据瓦片场头相同(在图30中所没有显示的时间码字可能也被包括在该场头中)。该参考场1132的其他部分是由与该图象平面的2400个数据瓦片中的每一个相应的压缩视频数据组成的。特别地,组成该参考场的其他部分的该压缩视频数据由该JPEG芯片848(图14)的压缩编码电路结构处理该3600个数据数据瓦片中的每一个(2400个亮度数据瓦片和1200个颜色信息数据瓦片)来形成。该领域的技术人员均知道,由该芯片848所执行的该JPEG编码处理必然包括传统的编码步骤,例如正交(DCT)变换,系数值的数字化,和变长编码。对该参考场的压缩比例是30∶1到70∶1的量级。
另一方面,在该差异场中,每一个该“差异”数据场1134仅包括表示相对于一前一图象的“变化”的、被选择的数据瓦片的压缩视频数据。当该视频图象流中有一点运动或者没有运动时,在该差异数据场1134中仅表示很少的数据数据瓦片或者不表示任何数据瓦片,以使可以实现一个高度的压缩。
从图44的下面部分可以看出,一个典型的差异数据场1134由一个场头1136组成,该场头以后是映射数据1138,该映射数据1138表示当前图象中被认为是“发生了改变”的该图象平面的部分,并且相应地由在当前差异数据场1134中的视频数据来表示。例如,该映射数据可能包括一个用于该图象平面中600个最小编码单元(MCU)中的每一个的比特,可以想起,一个MCU与四个数据瓦片的一个离散水平序列相应。例如,一个与一个特定的MCU相应的“1”比特将表示已经发现该MCU发生了改变并且被用与该MCU的六个数据数据瓦片相应的JPEG压缩视频数据所表示。与一个特定MCU相应的该比特取值“0”表示在当前差异数据场中没有包括该MCU的数据。
在被改变的MCU映射1138以后是数据段1140,该数据段1140由与该映射数据1138所表示的该被改变的MCU相应的JPEG压缩视频数据组成的。该映射数据中的“1”比特的数目与被编码的MCU部分1140的数目相同。
刚才所描述的该压缩技术考虑到了在图61中图示说明的一个图象重构技术。根据这个技术,通过使用一个传统的方式来对该JPEG压缩编码进行解码,就可以重新组成一个参考场1132。然后,对于随后的差异场,每一段发生了改变的MCU数据被进行JPEG解码,并且所产生的视频数据中的每一个MCU替代如该被改变的MCU映射数据所表示的、该图象平面中的合适部分。可以将重构该第一差异场的过程看作是一个使用该MCU映射数据作为一个指导来“粘贴”邮票(重构MCU)的过程。然后,对每一个随后的差异场,重复这个过程。
对该差异场的压缩编码处理的一个关键部分必然要判断是否要对一个特定的MCU进行JPEG编码(因为它与一个相应的参考MCU不同)或者丢弃该MCU(因为它与该参考MCU相同)。在本发明的一个优选实施方式中,在该MCU中的每一个数据瓦片被与在该参考MCU中的一个相应数据瓦片进行比较,并且如果发现任何数据瓦片与该相应的参考数据瓦片不同,就认为在该差异场中的一个MCU是不同的。通过从组成该参考数据瓦片的点数据计算出特定的统计数据,并且根据一个阈值,将该统计数据与前面产生的该参考数据瓦片的相同统计数据进行比较,就可以判断一个数据瓦片是否与一个参考数据瓦片不同。在本发明的一个优选实施方式中,用户可以调节表示“相同程度”的该阈值电平,以使该用户能够对压缩比例和图象质量进行折衷。
图43A-43C原理性地图示说明了该数据瓦片比较过程的方面。图43A显示的该数据瓦片是一个8×8点阵。图43B表示图43A的该数据瓦片怎样被分成相互之间是分开的、并且每一个包括一个4×4点阵的四个四分之一部分的。通过对每一个四分之一部分的16个点中的8个进行相加,如果将加法的和除以4(向右移两个二进制位),就可以计算该四分之一部分的一个数据瓦片比较统计数据。其结果是一个9比特四分之一的统计数据。(该8点和被除的除数可以被看作是一个“伸缩因子”并且可以是一个与4不同的数。)
如图43C所示,使用被称作“检验板”子采样的来选择将要被相加的该8点。可能使用两个检验板子采样技术:图43C中的用“X”来表示的点可以被选择来用于相加,或者选择没有使用标记来表示的点。在任何一种情形下,可以观察到,该检验板子采样必然是一个因子为2的子采样,并且对每一行发生偏移。在本发明的一个优选实施方式中,仅这两个检验板子采样技术之一被用于所有数据瓦片的所有四分之一部分,以使没有一对水平或者垂直相邻的点被用于计算该数据瓦片特征的统计数据。
该相同的技术被用于计算该参考数据瓦片的统计数据和在该差异场中的那些数据瓦片的统计数据。如果一个参考数据瓦片的四个四分之一部分的统计数据之一与该相应参考四分之一部分的统计数据的差异大于该阈值,然后这整个数据瓦片,由此整个MCU被认为对该参考MCU来说发生了变化。应该理解,这个过程被用于每一个MCU的六个数据瓦片(四个亮度,两个颜色)。
图39A,41A,41B和42图示说明了与该差异视频数据场的压缩编码一起继续的处理。先参考图41A,将描述该压缩管理者软件模块1120的一个建立操作(图39)。该压缩管理者的建立阶段从一个步骤1142开始,在步骤1142中,从该主板接收了分别用于来自相应摄像机的该输入视频流的阈值表。这些与该相应视频信号流的图象质量和压缩比例参数相应的阈值表被保存在该前端板控制模块842的一个板上RAM中。然后,载入该表中的阈值,以用于DSP1050所执行的压缩处理(步骤1146)并且复位该压缩处理(步骤1148)。特定地,在步骤1148中,合适的指令被发送到该JPEG芯片848来设置所需的参数,例如量化表和哈夫曼编码表的选择,单色及多颜色编码的选择等等。
图41B图示说明了该压缩管理者软件模块的操作。如模块1152所示,对16个输入视频流中的每一个继续该相同的操作过程。首先,如模块1154所示,检索与产生将要被编码的该当前差异场的摄像机相应的阈值数据。然后判断该阈值设置是否与那些最近所应用的设置不同(模块1156)。如果没有,使用与对最近的差异数据场所使用的方式相同的方式来执行压缩处理,但是,如果该阈值数据与最近被应用的不同,就更新该压缩处理的操作表(步骤1158)和复位该压缩处理(步骤1160)。
应该理解,相同的阈值参数可以被用于来处理亮度和颜色数据数据瓦片,或者在一个方面,对该亮度数据使用一阈值,而在另一个方面,颜色(U,V)数据使用另一阈值。
图42图示说明了由该数据瓦片比较软件模块1122所执行的该处理。开始,通过访问在该FIFO914(图19)中的数据瓦片数据,来读入在该视频总线操作(见图25)的数据瓦片阶段将要被发送的这15个数据瓦片,然后如步骤1164所示,下述处理被应用到每一个数据瓦片:检索该相应参考数据瓦片的该参考特征统计数据(步骤1166)和根据联系图43描述的该技术来计算该当前数据瓦片的特征统计数据(步骤1168)。如果根据该所应用的阈值,被检索的参考特征和该当前数据瓦片的被计算的特征统计数据,发现一个数据瓦片与该参考数据瓦片不同,然后将该数据瓦片标记为“不同”(步骤1170),并且将该当前数据瓦片的被计算特征统计数据保存,来替代前一参考特征并且用作被更新的参考特征。但是,如果在步骤1168中,发现该当前数据瓦片与该参考数据瓦片“相同”(即特征的差异比该阈值小),然后不标记该数据瓦片。如步骤1172所示,继续处理步骤1164到1178,直到所有15个数据瓦片已经被与该参考特征进行比较。然后,这些数据瓦片,包括已经被标记为“不同”的数据瓦片,被返回到该视频输出模块(步骤1174)。从前面的讨论可以记起,所有数据瓦片,或者是被标记为“不同”的,或者是与一个“不同”的数据瓦片位于相同的MCU中的,均被提供到该JPEG处理芯片848来进行JPEG压缩并且被包括在该被压缩的差异数据场中。其他所有数据瓦片没有被提供到该JPEG芯片,而是被简单地丢弃。
下面参考图39A来描述由该映射发生器软件模块1124(图39)所执行的处理。
如模块1176所示,对每一个数据瓦片执行下述处理。首先,判断该数据瓦片是否已经被标记为“不同”步骤1178)。然后,如步骤1180,1182和1184所示,如果该数据瓦片被标记为“不同”,就将一个与该当前数据瓦片相应的标识设置为1,否则就将与该当前数据瓦片相应的该标识设置为0。如步骤1186所示,该标识然后被融合到当前正在被构造的一个映射字节中。如果从它们来构造该映射字节的所有8个标识已经被融合到该映射字节中(步骤1188),然后就开始了一个新的映射字节(步骤1190)。在对该图象的所有数据瓦片构造了映射字节以后,所产生的映射数据经过该PCI接口850被转移到该主板(步骤1192)。
尽管前面图39A的讨论已经说明了每个数据瓦片使用一个映射比特,应该理解,作为一个优选的替代实施方式,一个映射比特被分配到每一个MCU并且如果该MCU中的六个数据数据瓦片中的任何一个被标记为“不同”,该给定MCU的标识就被设置为“1”。
主板软件
现在将讨论控制该主板CPU592(图3)的操作,由此作为一个整体控制该VR/PC单元的该软件。在该VR/PC单元的一个优选实施方式中,使用了一个标准的微处理器(例如,一个奔腾处理器),并且在一个标准的操作系统下工作,其目的是为了使主板的费用最小。因为Windows95的多任务环境和其所支持的软件开发能力,所以在该VR/PC单元的一个优选实施方式中,该主板CPU使用众所周知的Windows95操作系统。下面将要讨论的应用软件模块是根据由微软所提出的部件对象模型(COM)结构来实现的。使用C++这个面向对象编程的语言来产生应用模块。
图45提供了组成该主板CPU应用的软件部件的一个综述。如下对图示说明的部件进行编号:系统指挥员1202,建立管理者部件1204,规划部件1206,安全管理者部件1208,用户接口部件1210,告警处理部件1212,前端面板部件1214,压缩管理者部件1216,视频记录部件1218,图象处理设施对象1220-1到1220-p,图象处理设施管理者部件1222,视频搜寻部件1224,存档管理者部件1226,视频播放部件1228,图象分析(回放)工具对象1230-1到1230-M,数据库搜寻工具管理者部件1232,视频保存部件1234,远程装置对象1236-1到1236-N和远程对象管理者部件1238。除了该远程对象1236,回放分析工具对象1230和图象处理设施对象1220以外,所有不是该系统指挥员1202的部件均被显示为与该系统指挥员1202进行双向消息传递的通信。
该系统指挥员的作用是作为一个中央消息交换中心,来允许消息在其他应用软件部件之间进行传递。到该远程对象1236和来自该远程对象1236的消息均经过该远程管理者部件1238,到该图象分析工具对象1230和来自该图象分析工具对象1230的消息均经过该数据库搜寻工具管理者1232,和到该图象处理设施对象1220和来自该图象处理设施对象1220的消息均经过该图象处理设施管理者部件1222。通过由Windows95操作系统所提供的多任务环境,可以期望每一个软件模块和对象将使用它自已的处理线程或者替代地,使用该主GUI线程。该应用软件结构是面向消息的和事件驱动的。该系统指挥员1202如图46A所示。根据该COM结构的标准方法,该系统指挥员1202支持两个接口,IUnknown(标号1240)和INotifySrc(标号1242)。如那些该领域的技术人员所理解的,IUnknown接口1240是一个用于参考计数,释放存储器,和对由其他COM对象所支持的接口进行访问的标准COM接口。INotifySrc接口1242是在标准的COM设计指南允许软件部件来对接收特定的消息表示兴趣以后,被建立的模型。该系统指挥员维持一个将消息与感兴趣的团体相关的映射,当一个消息来到该系统指挥员时,该系统指挥员搜寻所有感兴趣的团体并且通过该INotifySrc接口激发一个对感兴趣的团体(party)的部件的调用。该系统指挥员是被应用软件首先载入和初始化的部件。然后,该系统指挥员从一个系统的登录来判断所有将要被该系统指挥员初始化的部件,然后载入每一个部件并且调用一个传递该INotifySrc接口指针的初始化函数,以使该部件可以自已进行登录。
图46B图示说明了使用一般形式的其他软件部件。应该注意,其他部件典型地支持接口Iunknown和Inotify。
关于该COM结构和对象之间使用接口的消息的背景材料可以在一篇论文中找到,该论文是K.Brockschmidt发表在1996年5月的Microsoft Systems Journal第63-80页上的“OLE和COM怎样解决部件软件设计的问题”,一篇相关的论文是在1996年6月的 Microsoft Systems Journal第19-28页上。
图47图示说明了由该安全管理者部件1208所执行的处理。从模块1244可以看出,该安全管理者处于空闲状态,直到一个用户试图进行登录以后。当检测到一个登录的试图时,就判断(步骤1246)该登录请求是否有效。如果该登录请求无效,该部件循环回到模块1244。但是如果该登录请求有效,然后该用户就登录进入系统(步骤1248),然后它就判断(步骤1252)该登录进入的用户被允许操作何种系统特征。这是通过访问一个安全数据库1254来检索与该登录进入的用户相关的特征设置来实现的。根据该被检索的特征设置,该安全管理者部件然后向每一个该用户被允许访问的(步骤1256)部件发送允许操作的命令。图47的模块1258还表示,该安全管理者部件进一步提供一个处理,由此被授权的超级用户可以进入和编辑在该安全数据库1254中的该特征设置。
图48图示说明了该远程对象1236的一个典型对象的操作。该远程对象的功能是用作该VR/PC单元的外部装置的驱动器或者接口。这样一种装置可能包括外部媒质驱动器装置(例如,一个外部DAT驱动器),其他VR/PC单元,或者类似于那些显示在图1中的本地或者远程节点。优选地,对每一个与该VR/PC单元进行通信的外部装置,均用一个远程对象来进行具体的说明。
如模块1260所示,经过一个与该远程装置连接的通信链路被接收的数据被接收,然后被缓冲(步骤1262)。被接收的数据然后被翻译成该应用软件部件所使用的消息协议(步骤1264),所产生的消息被发送到该远程管理者1238(图45)。继续参考图48,当一个消息将要被从该VR/PC单元发送到一个远程装置时,该消息由该远程对象1236中合适的一个从该远程管理者1238中所接收。该消息被该远程对象1236翻译成一个合适的、发送到该外部装置的格式(步骤1266),然后被放置在一个输出缓冲器中(步骤1268),并且被经过该通信链路发送出去(步骤1270)。
图49图示说明了由该前端面板软件部件1214所执行的处理(图45)。当该VR/PC单元的一个用户操纵在该前端面板586上的一个开关时(图6),该前端面板软件对象1214接收了一个相应的信号(步骤1272,图49)。该开关操纵信号然后被翻译成该应用软件所使用的消息协议(步骤1274),所产生的消息被前转到该系统指挥员。
该前端面板软件对象还管理被提供在物理前端面板586上的LED的状态。当将要改变在该前端面板586上的该LED显示状态时,该前端面板软件对象1214从该系统指挥员接收一个合适的消息。该前端面板软件模块然后进行工作,将该消息翻译成LED寄存器命令(步骤1276),并且输出所产生的数据,以保存在该LED寄存器中(步骤1278;没有显示LED寄存器)。
图50图示说明了由该建立管理者部件1204所执行的处理。开始(步骤1280),它判断是否已经接收了一个关于前面被保存的建立信息的请求。如果接收了该请求,就满足该请求(步骤1282)。步骤1282以后(或者如果没有接收关于建立信息的请求,在步骤1280以后)是步骤1284,在步骤1284中,它判断是否接收了一个要改变前面被保存的建立信息的请求。如果接收了该请求,就根据该请求来改变该建立信息(步骤1286)并且处理循环返回到1280。如果在步骤1284中没有接收该请求,然后该处理直接从步骤1284返回到步骤1280。
现在参考图51和52来描述由该视频保存软件部件1234所执行的处理。
从图51可以看出,被保存在该硬盘驱动器上的数据包括压缩视频数据1288和索引数据1290。该视频数据与来自所有16个摄像机(如果有16个摄像机与该VR/PC单元相连并且在工作中)的该输入流相应,并且其格式是与微软关于音频/视频文件的.AVI(音频/视频交叉)标准一致。尽管这里所描述的该VR/PC单元的实施方式不保存音频信息,可以想象来修改该系统,以使提供音频拾音器(麦克风)并且数字化的音频数据与相关的视频信息被保存在一起。与该输入视频信号流相应的数据被使用固定长度的文件格式来进行交叉保存,其中如图52所示的N个文件1292被记录在硬盘上。每一个文件1292的一个优选大小是大略20兆字节。通过将连续的视频数据流分成文件,由于抽取引起的数据丢失或者硬盘上的数据破坏可以得到限制。
除了准永久视频数据文件1292以外,在该硬盘上还保存了维持在该硬盘的一个预告警缓冲器部分(标号1294)中的视频数据。优选地,该预告警缓冲器1294使用一个交叉的方式和使用基本上是该系统的满帧速率(在该16个摄像机之间进行分配的每秒45场)保存与来自所有16个摄像机的该输入视频信号。通过对比,应该理解,一些或者所有16个摄像机当前可能根本没有被记录在该准永久文件1292中,或者可能被使用一个“随时间下降”的速率来保存,该“随时间下降”的速率基本上比每秒45/16的频率低。优选地,该预告警缓冲器1294在硬盘上可以作为一个环形缓冲器来实现,例如,可能保存所有在过去60秒以内在前端电子装置所捕获的视频场。
现在来看在该硬盘上的索引数据,覆盖了所有文件1292的整个索引用标号1296来表示。对于该N个文件1292中的每一个文件,均提供了一个开始的日期和时间,以及一个结束的日期和时间。对每一个单独的文件1292,还提供了一个附加的、说明文件的索引。该说明文件的索引被用标号1298来表示,并且为每一个视频数据场提供了该场被捕获的日期和时间,捕获该场的摄像机,事件相关的信息,和该场在该文件中的偏移。如标号1302所示,给定用于一个特定场的事件信息可能包括表示在捕获该场时,发生了多种类型的事件的数据。该事件的检测可以通过联系图1所讨论的告警传感器526和/或者通过分析该图象流的特征来完成。可以在接收该图象流的时间来分析该图象,或者是在一个较后的时间,回放该图象流时来分析图象。除了检测事件本身已经发生以外,该用于检测事件的图象分析算法可能返回一个置信因子值。在这种情形下,表示已经检测到一个事件的该数据可能会伴随有由事件检测算法所提供的该置信因子,如标号1304所示。
在本发明的一个优选实施方式中,该索引信息1290被保存在与保存该相关视频数据文件1292的硬盘相同的硬盘上,该索引信息还被保存在一第二硬盘上。为了搜寻该用户感兴趣的视频数据在该第一硬盘上的位置,然后可能会访问该第二硬盘,而访问该第一硬盘来在其上保存新视频数据的操作会继续,且不会被索引的搜寻所打断。在本发明的一个实施方式中,提供了两个硬盘,两个硬盘中的一个被用于视频数据保存(和相关的索引),而另一硬盘没有被用于视频数据保存,但是被专用于备份或者“阴影”索引信息和程序或者类似的保存。在本发明的另一实施方式中,提供了三个或者更多的硬盘驱动器。在后一实施方式中,硬盘驱动器之一是专用于阴影索引(shadow index)和程序信息保存的,另外两个或者更多的硬盘是用于保存视频数据的。
该视频保存软件部件执行功能:管理预告警视频数据在该硬盘或者这些硬盘上的缓冲,将该输入视频流保存在该硬盘上,和检索被保存在该硬盘上的视频数据。图52使用流图的形式图示说明了由该视频保存软件模块所执行的处理。开始,它在步骤1306判断该视频保存软件部件现在是否参与了预告警缓冲器管理部分或者其功能的固定视频数据保存部分。如果没有参与预告警缓冲器管理,该处理在该硬盘上一个当前被打开的文件中保存下一大量要被准永久保存的视频数据(步骤1308)。如前面所提到的和如随后的讨论,应该理解,大量视频数据与数据的数量相应,该数据要能够被方便地处理并且被缓冲以准备写入到硬盘。然后更新相应的索引数据(步骤1310)。下一处理判断是否已经到达了该当前视频数据文件1292的末尾。如果是,然后就判断用于保存视频数据的该硬盘或者这些硬盘是否已经满了(步骤1314)。如果不是,在该硬盘或者这些硬盘上打开另一视频数据文件(步骤1316)。如果该硬盘或者这些硬盘是满的,步骤1314以后就是步骤1318。在步骤1318中,判断该视频数据保存硬盘或者这些硬盘是否是被用一个环的方式来使用。如果不是,然后该视频保存软件部件向该系统指挥员发送一个表示已经到达了保存容量的末尾的消息(步骤1320)。但是,如果在步骤1318中,发现硬盘是用一个环形的方式来工作的,然后复位该文件索引清单并且在该硬盘的“开始”处继续进行保存(步骤1322)。
如果在步骤1306发现已经到了执行该预告警缓冲器管理功能的时间,然后该处理从1306转到步骤1324。在步骤1324中,判断是否已经检测到一个告警条件。如果没有,下一块将要被保存在该预告警缓冲器中的视频数据被放置在该硬盘的环缓冲器部分中的下一个保存位置中(步骤1326)。然后它判断是否已经到了该硬盘的环缓冲器部分的末尾(步骤1328)。如果是到了末尾,该表示在该环缓冲器中的下一个保存点的指针就被移动到该环缓冲器的前面(步骤1330)。否则,该指针被简单地移动到该硬盘的该环缓冲器部分中的下一个保存位置上(步骤1332)。
如果在步骤1324中,发现已经检测到了一个告警条件,然后步骤1334跟在步骤1324后。在步骤1334中,被保存在该环缓冲器中的该视频数据被拷贝到该硬盘的永久保存部分。如步骤1336所示,将该数据从该环缓冲器拷贝到该硬盘的该永久保存部分继续,直到完成了拷贝,然后该指针被复位到该环缓冲器部分的开始。替代地,该硬盘的一个新部分被分配用作该环缓冲器,前面被分配用作一个环缓冲器的该硬盘的部分已经组成该永久保存部分的一个部分,以在检测到该告警条件以前保留被记录在该预告警缓冲器中的该视频数据。
图53图示说明了由该视频搜寻软件部件1224所继续的该处理。当一个用户激发了一个搜寻操作时(如下面将要描述的,通过与该图形用户接口进行交互作用),该视频搜寻软件部件进行处理,来从该用户获取表示日期,时间和该用户所感兴趣的视频信息的源摄像机的搜寻参数(步骤1340)。另外,该视频搜寻部件从该用户获取关于该搜寻是否使用一个图象分析算法(“工具”)的表示。步骤1342是一个判断模块,其中它判断是否请求一个基于一个图象分析的搜寻。如果是,该视频搜寻软件部件从该用户获取表示将要被执行的图象分析算法的类型的输入,和,如果合适,获取一个或者多个约束该图象分析算法的执行的参数(步骤1344)。根据这个信息,该处理然后准备该图象分析算法,来对在该搜寻中被检索的该视频数据进行分析(步骤1346)。在步骤1346以后(或者,如果该用户没有请求图象分析,在步骤1342以后)是步骤1348,在步骤1348中,搜寻该数据库来检索由该用户请求的视频数据。如果请求了图象分析,然后该分析算法被加到该被检索的视频数据。在任何一种情形下,均报告该搜寻的结果(步骤1352)。
现在参考图54来详细描述在图53的步骤1348(“执行搜寻”)中所示的该处理步骤。该步骤1348初始地包括建立与由该用户所规定的该搜寻准则相互匹配的(图54,步骤1354)、一个或者多个日期和时间文件的列表。对于在该列表上的每一个文件,如步骤1356所示,执行该下述步骤:对每一个文件产生该日期,时间和摄像机条目的一个列表,然后判断是否要应用一个图象分析算法(步骤1360)。如果没有,即如果该用户没有请求图象分析,然后就简单地提交来用于产生报告(步骤1362)。但是,如果已经请求了基于一个图象分析的搜寻,然后对在步骤1358中组装的该列表中的每一个条目,如步骤1364所示,就执行下述处理:首先,复位该图象分析算法(步骤1366),并且然后使用该图象分析算法来分析与该条目相应的视频图象序列(步骤1368)。然后在步骤1370中判断该图象序列是否有将要由该图象分析算法所检测的一个特征。如果是,该序列被加到一个正结果列表(步骤1372),并且该文件的索引信息被更新来表示检测到了该事件(步骤1374)。即,在图51中的1302所示的、与该事件相关的数据被更新来表示检测到了该事件,以及用于该事件检测判断的置信因子。应该理解,如果没有发现有该图象流的该特征,该序列不被加到该结果列表并且不更新该索引信息。在任何一种情形下,在步骤1374以后,或者如果没有检测到所感兴趣的特征,就在步骤1370以后,判断在该列表中是否出现了更多的条目(步骤1376)。如果没有,就报告作为该图象分析的一个结果的结果(步骤1362)。但是,如果出现了更多的条目,就检索下一个条目(步骤1378),对下一个条目执行在步骤1364中开始的该循环。
图55提供了由该视频播放软件部件1228所执行的该处理的一个综述。通过用户操纵在该前端面板586上的慢旋转开关660,或者通过用户与该图形用户接口进行相互作用,来激发视频播放操作,如下面所述。在某些情形下,在完成了一个搜寻以后,就自动输入该视频播放功能,来显示由该用户请求的该视频数据。
如图55所示,该视频播放功能的开始步骤是判断已经发了何种播放命令(步骤1380)。如果已经发了一个暂停命令(步骤1382),然后就中断该视频数据解压缩操作(步骤1384),并且该视频播放功能向该系统指挥员报告已经暂停视频播放(步骤1386)。如果已经使用一给定的每秒X场的速率,发了一个快速播放命令(步骤1388),然后就再一次中断该解压缩操作(步骤1390)并且复位该快速模式播放图象速率(1392)。然后就重新开始该视频数据解压缩操作(步骤1304),并且向该系统指挥员报告该新请求的播放速率(步骤1396)。
如果已经选择了使用每秒Y个图象的速率来逆向播放(步骤1398),然后就再一次中断该解压缩操作(步骤1402),并且复位该逆向再生模式的图象速率(步骤1404),并且开始一个逆向解压缩操作(步骤1406)。在步骤1406以后是前述步骤1396,在步骤1396中,该被请求的播放速率被报告给该系统指挥员。如果在步骤1382,1388和1398中将要被检测的情形都未出现,则一个播放状态没有被改变的消息被发送到该系统指挥员(步骤1408)。
视频数据解压缩(前向)
下面将参考图56来更详细地描述图55中所示的该处理步骤1394。
图56中所示的该处理从接收该解压缩引擎的重新开始的命令开始(步骤1410)。以后是步骤1412,在步骤1412中,根据所使用的每秒X图象的速率来设置该回放速率定时器,并且清除该退出解压缩标识。
以后是步骤1414,在步骤1414中,找出该将要被回放的视频流中的第一参考图象在将要开始回放的点以后的位置。然后在步骤1416中解压缩(重新组成)该参考图象。在步骤1416以后,是步骤1418,在步骤1418中,判断是否已经请求了中断该解压缩引擎。如果是,一个消息被发送到该系统指挥员,来表示已经中断了该解压缩引擎(模块1420),并且停止了该解压缩操作。但是,如果在步骤1418中没有发现将要中断该压缩,然后该处理就移动到步骤1422,在步骤1422中,判断是否已经到了对下一图象进行解压缩的时间。如果不是,该处理循环返回到步骤1418。但是,如果是对下一图象进行解压缩的时间,该处理转到步骤1424,在步骤1424中,判断将要被解压缩的该下一图象是一个参考图象或者是一个差异图象。如果该下一图象是一个参考图象,就使用一个用于对一个参考图象进行解压缩的处理(模块1426),然后该处理循环返回到步骤1418。如果该下一图象是一个差异图象,然后就使用一个用于对该差异图象进行解压缩的处理(模块1428),然后该处理再一次返回到模块1418。
现在参考图57来描述用于对参考图象进行解压缩的处理(图56中的模块1416和1426)。图57所示的该处理由循环套组成,其中由模块1430所表示的一个外循环是用于该图象中最小编码单元的每一行的(每一个图象30行),由模块1432所表示的该内循环是用于该当前行中的每一个MCU的(每一行20个MCU)。
在步骤1434中,处理JPEG编码数据的六个块中的每一个,来对该JPEG编码进行逆操作并且基本上恢复视频数据的原始六个数据瓦片(四个亮度和两个颜色)。控制一个通用微处理器来对JPEG编码视频数据进行解码的程序是众所周知的,所以不需要在这里进行描述。被解码的、与该MCU相应的视频数据然后被拷贝到一个输出缓冲器(步骤1436)。只要已经解码了该参考图象的所有行中的所有MCU并且已经将它们放在该输出缓冲器中,表示该整个解码图象的被缓冲的数据在比特的层次上被转移,以显示在该监视器上(步骤1438)。
现在参考图56和58来进一步讨论图55的模块1384,1390,和1402。如图58所示,当接收了一个停止解压缩的命令时(步骤1440),然后就设置一个“退出进程”的标识(步骤1442)。如果然后发生了一个快速回放操作,然后该退出进程的标识触发在模块1418的一个肯定寻找(图56),导致关闭该解压缩引擎,并且向该系统指挥员发送一个合适的消息。如将要从关于逆向再生的处理的讨论中可以看到的,该退出进程标识对该逆向再生操作有类似的效果。
现在参考图59和如图44所示的差异图象数据的表示,来描述由模块1428所执行的处理(“解压缩差异图象”)。如模块1444所示,解压缩该差异图象的开始步骤是读入表示与该差异图象相应的、被改变的MCU数据在该图象平面中的位置的数据。然后执行该循环套,其中该外循环由模块1446所表示并且对该图象平面中的MCU的每一行均执行(每一图象30行),该内循环由步骤1448所示,并且对该行中的每一个MCU均执行(每一行20个MCU)。
对每一个MCU,从该映射数据中拾取与该MCU相应的该比特(步骤1450),然后判断(步骤1452)在该图象平面中的该MCU是否在该当前图象中发生了改变。例如,如果该比特的值是“0”,然后该MCU就没有发生改变,但是该比特的值是“1”时,就表示该MCU已经发生了改变并且与该MCU相应的该更新数据被包括在该当前视频数据场中。如果遇到了一个“0”比特,然后该处理就简单地进行循环,以拾取下一个MCU的比特。当该图象中的运动很少或者没有运动时,该MCU映射一般是很稀疏的,以致MCU的整个行可能都没有发生改变。但是,当遇到了一个被改变的MCU时,图59的该处理就转到模块1454,在模块1454中,解码被改变的MCU数据的下一块。该MCU数据的解码可能由与联系图57的步骤1434被参考的标准程序相同的程序来执行。
继续参考图59,在已经解码了该被改变的MCU数据以后,该处理根据该MCU的当前行和列计数来决定一个合适的偏移,以使刚才被解码的MCU数据块被引入到该图象平面的合适位置上(步骤1456)。然后,根据所产生的偏移,输出MCU数据的该被解码块来刷新该显示缓冲器(步骤1458)。图61用图形表示了步骤1456和1458的结果。图61说明,基于一个MCU接一个MCU地产生当前被解码的该差异图象,更新前面被显示的一个图象。如前面所提到的,该被改变的MCU可以被看作将要被粘贴到该图象平面中、根据该被改变的MCU映射数据所决定的位置上的“邮票”。
步骤1456和1458以后,该处理进行循环,以获取该图象平面中下一个MCU的该映射数据比特。
现在参考图60来描述图59的步骤1454的附加细节。开始对被改变的MCU数据的一块进行解码以后,拾取一个缓冲器大小的压缩编码视频数据(步骤1460)。然后判断是否有足够的压缩视频数据来进行解码处理(步骤1462)。如果有,就使用前面所提到的该标准解码程序,来对由在该前端板上所执行的该JPEG编码进行逆操作(步骤1464)。如果在步骤1462中发现没有足够的压缩编码视频数据来进行解码时,然后就重新填充该缓冲器,如步骤1466所示。另外,如果当重新填充该缓冲器时,遇到了一个数据保存文件的末尾,然后就打开下一个数据文件(步骤1468和1470)。在一个替代的实施方式和优选的实施方式中,用来补充图象的数据可以一次性完成,这样可以不要步骤1462,1466,1468和1470。
现在参考图62A和62B来描述在回放操作期间刷新该显示缓冲器的替代技术。
图62A显示了在该VR/PC单元中使用来提供一个每秒18场的刷新速率的一个技术。开始,对一个参考图象中的点数据的600个MCU使用JPEG解码,或者对一个差异图象中被改变的MCU数据使用JPEG解码(步骤1472)。然后主板CPU使用一个垂直内插操作来从该640点×240行的内部数据表示中获取480行点数据(步骤1474)。后面是一个进一步的软件处理步骤,其中该YUV数据被翻译成RGB数据(步骤1476),该被翻译的数据包括640点×480行,每点是三个字节,并且在步骤1478中被缓冲,然后被使用每秒18场的速率来进行比特转移,来驱动一个SVGA监视器。
图62B图示说明了在回放期间提供一个每秒30场的刷新速率的一个替代技术。根据这个技术,与如图62A的技术相同,使用了相同的开始JPEG解码步骤1472,但是该被解码的数据被发送到一个硬件模块1480,该硬件模块1480使用一个2倍的垂直缩放功能并且然后将所产生的480行数据发送到另一硬件模块1482,以将颜色空间从YUV翻译到RGB。然后直接从该硬件1482输出该RGB数据,以使用一个每秒30场的刷新速率来驱动该SVGA。虽然其代价是提供了附加的硬件部件1480和1482,图62B中图示说明的所谓“直接绘制”技术,除了提供一个更快的刷新速率以外,还减少了该主板CPU的负担。
现在参考图63A和63B来描述在该VR/PC单元中所使用的替代记录和回放策略。
图63A中原理性地图示说明的该第一替代策略最大程度地获得了该单元同时记录分别由几个(例如,16)与该单元相连的摄像机所产生的视频信号流的灵活性,但是所提供的图象的垂直分辨率是240行,大略是商业广播标准的一半。但是,已经发现使用内插技术来产生480行,该垂直分辨率对视频监视应用来说至少是足够的。在任何一种情形下,在图63A所示的技术中,一个“三-带(tri-corder)”时隙1484(与该前端模拟板(图13)的三个场锁定信道804之一相应)在一个给定时间被分配到由摄像机X所产生的一个场。这样来操作该前端模拟板,以使仅捕获奇数场来使表示运动或者被改变的MCU的抖动和错误最少。来自该摄像机X的被捕获场然后被并行处理,来通过该前端电子装置进行数字化和压缩,如步骤1486所示,并且被作为一单个.AVI数据流被保存在该硬盘1488上。
当请求回放该由摄像机X所产生的图象流时,就从硬盘1488,使用上面(模块1490)所讨论的方式来进行解码(解压缩)的软件再生该相应的.AVI流,然后使用该再生流来驱动一个SVGA监视器(模块1492)。
图63B图示说明了一个替代技术,其中这样来操作该VR/PC单元,来对一个摄像机进行回放时,提供基本上标准的商业广播垂直分辨率,但是其代价是大大地减少了与该VR/PC单元相连的其他摄像机所能够使用的记录资源。在图63B的技术中,该前端模拟板的场锁定信道804中的两个,由图63B中的“三-带”时隙1494和1496来表示,各自专用于捕获由摄像机X所产生的奇数场和偶数场。该“三-带”时隙1494仅捕获偶数场,“三-带”时隙1496仅捕获奇数场。
在随后的直到保存到磁盘的处理中,该摄像机X的偶数场和该摄像机X的奇数场被处理成这两个场似乎是两个不相关的视频信号流。这样,偶数场的数字化和压缩与奇数场的数字化和压缩分离开,如模块1498和1502所示。因为可以获得一第三场捕获信道,所以该第三信道可以被另一摄像机所使用或者被其他摄像机所共享,以使一个或者多个附加的流(图63B中没有显示)的数字化和压缩与由该摄像机X所产生的该奇数场和偶数场流的数字化和压缩一起进行。在任何一个事件中,这两个独立的流被作为两个独立.AVI文件保存在该硬盘1488上,并且被以两个独立的文件进行管理和检索。结果,图63B所示的安排允许该VR/PC单元保存由摄像机X所产生的、垂直分辨率是480行的图象。
因为该偶数场和奇数场流是独立保存的,在进行回放时,有几个软件解码选项,如模块1504所示。例如,因为完全垂直分辨率所需的所有数据出现在该硬盘1488上,这两个流被播放和交叉,来提供一个交叉的480行显示,如1506所示。当使用前向或者逆向运动来进行播放时,一个计算量较少的方法,可以被称作“中断和填充”(标号1508),只回放这两个流中的仅一个流,并且进行垂直内插来提供480行。但是,当该回放图象流被暂停时,从其他流来的场可能被再生来产生一个有完全垂直分辨率的图象。
逆向视频数据解压缩
现在来描述当以一个反方向来再生该图象流时,解压缩该压缩编码视频数据所需的处理。开始,将参考图64A和64B来提供该处理的一个概念性综述。
在图64A中,标号1510显示了格式与联系图44所讨论的格式相同的一系列压缩视频数据场。但是,为了图64A和64B中图示说明的示例,假定在两个连续的参考图象1132之间仅有三个差异图象1134,而不是VR/PC单元的一个优选实施方式中实际所使用的32个差异图象。从图44所示的格式可以看出,标号1138-1到1138-3表示包括在该差异图象数据场1134-1到1134-3中的被改变的MCU映射数据。使用相同的表示,标号1140-1到1140-3分别表示包括在该差异图象数据(原文为参考)场1134-1到1134-3中的被改变的MCU数据。应该理解,该图象场序列1510中的从左到右的方向与当记录该场时的时间前进的方向相应。换句话说,产生和记录该场的时间序列是1132-1,1134-1,1134-2,1134-3,1132-2。图64A中的标号1512图示说明了在实际对在参考标号1510所示的该图象序列进行逆向回放以前所执行的一系列预处理步骤。
已经产生了与一个与开始被压缩来形成该参考数据场1132-1的图象相应的图象,然后该预处理步骤读取与下述差异图象1134-1相应的被“改变”MCU映射数据1138-1。因为该映射数据1138-2表示下一差异图象1134-1与该当前图象1132-1不同的、在图象平面中的MCU部分,该映射数据1138-1还表示当形成下一图象时,在该当前图象中将要被“粘贴”的MCU。因为这个原因,根据映射数据1138-1来选择与该数据场1132-1相应的图象的MCU,来形成在逆向回放中将要被用于重构该当前图象的“后向邮票”数据1514-0。在保存了“将要被改变的”MCU1514-0以后,再一次使用该映射数据1138-1,这一次是通过“粘贴”被改变的MCU数据1140-1来重构与数据场1134-1相应的该图象,来更新与该数据场1132-1相应的图象。
如联系图59所描述的该过程,该映射数据1138-1被用于使用在图61中图示说明的方式,来“引导”被解码的MCU“邮票”。(但是,与图59的过程不同,所产生的参考图象不被输出到显示器。)
在这个点上,咨询数据场1134-2的映射数据1138-2来决定要将哪一个与1134-1相应的该图象的MCU作为与该数据场1134-1相应的“将要被改变的”MCU1514-1来进行保存。然后,与前面的相同,第二次使用该映射数据1138-2来通过粘贴MCU数据1134-2,以产生一个与该数据场1134-2相应的重构图象,来更新与场1134-1相应的该图象。
下面,使用该映射数据场1138-3来决定要将哪一个与1134-2相应的该图象的MCU作为与该数据场1134-2相应的“将要被改变的”MCU1514-2来进行保存。然后,再一次使用该映射数据1138-3来引导MCU数据1134-3,以通过更新该场1134-2的图象来产生一个与场1134-3相应的重构图象。图64B中被表示为1134-3R(重构的)的、所产生的重构图象,然后在下面的逆向回放序列中,被作为一个后向“参考”图象来进行保存。现在完成了该预处理序列1512,然后如前面的从右到左的方向,该逆向回放处理可能转到图64B所示的一个序列1514。
开始在序列1514中,输出被重构的后向“参考”图象1134-3R(与在捕获参考图象1132-2以前所捕获的该图象相应)来进行显示。
然后,使用引导该后向邮票(“将要被改变的MCU”)的该映射数据1138-3来更新图象1134-3R,以使一个MCU接一个MCU地来更新该后向参考图象1134-3R来产生与“下一个时间上较早的图象”(即相应于差异视频数据场1134-2的图象)相应的一个图象。然后,依次地,使用被改变的MCU映射数据1138-2来将将要被改变的“后向邮票”1514-1引导到该图象平面中合适的位置上,来更新与数据场1134-2相应的图象,以形成与该视频数据场1134-1相应的一个图象。
下面,使用由映射数据1138-1引导的将要被改变的MCU1514-0来更新该场1134-1的图象,以形成与场1132-1相应的一个图象。替代地,整个参考场1132-1被重新进行解码,但是这花费的时间比使用“后向邮票”1514-0所花费的时间长。在这一点上,可以再一次使用上面相对于序列1512所讨论的该过程,但是,这次使用的是在图象流中,在该参考图象1132-1的前面、最后所出现的该参考图象,和在紧接在该参考图象1132-1以前的一组差异图象数据场。
在图64A和64B的余下部分中,显示了一个简单地对用于逆向回放操作的解压缩技术的图示说明。作为一个简化的示例,显示了一个图象序列1516。该序列1516包括图象1132-1E,1134-1E,1134-2E,1134-3E和1132-2E。已经作了下述假定,以使不会使用不适当的复杂图象来图示说明该解压缩技术的原理:
(1)假定每一个图象由一个4×4最小编码单元的阵列组成。
(2)每一个最小编码单元的形状是方形,而不是该VR/PC单元的一个实际优选实施方式中的MCU结构的4×1矩形数据瓦片。
(3)该初始图象1132-1E是全白的。
(4)一个在尺寸上精确地与一个MCU相应的物体进入MCU的最上一行的最左MCU处的观察图象场,并且精确地在该图象1134-1E的时间进入,然后该过程使用每帧精确地一个MCU的速率,以一个朝右的方向穿过该图象平面。
在1518所显示的是分别与该差异图象1134-1E,1134-2E和1134-3E相应的映射数据1138-1E,1138-2E和1138-3E。(但是,应该注意,1518仅显示出映射数据1138-(N)E的前面4个比特。根据显示在15-16中的该示例性图象,每一个映射数据的最后12个比特将全是“0”,并且被省略以简化该图象。)
检查被显示在1518中的该映射数据,可以看到,该图象1134-1E仅有一个被改变的MCU(在顶行中的第一个MCU),以使该映射数据1138-1E中仅相应的第一比特的值是“1”。在下一个图象1134-2E中,在顶行中的前两个MCU相对于前一图象发生了改变,所以在该映射数据1138-2E中的前两个比特的值是“1”,余下的比特是值“0”。在下一个图象1134-3E中,在顶行中的第二和第三MCU相对于前一图象发生了改变,所以产生了如1138-3E所示的映射数据“0110”。
该相应被改变的MCU数据被图示于1520。从图中可以看出,对于表示该第一差异图象1134-1E的数据,仅一单个MCU数据块(一个黑“邮票”)组成了该被改变的MCU数据1140-1E。下一个图象的被改变的MCU数据1140-2E在一个白“邮票”以后包括一个黑“邮票”,下一图象的被改变的MCU数据1140-3E是相同的,即在一个白“邮票”以后包括一个黑“邮票”。
在上述讨论的、关于该序列1512的预处理以后,就读取该映射数据1138-1E。值“1000”意味着仅需要保存该参考图象1132-1E的第一MCU,由此来形成将要被改变的MCU数据1514-0E(一个“后向邮票”-全白)。下面,使用该映射数据1138-1E来在该MCU的顶行中的第一MCU位置处应用所有黑邮票被改变的MCU数据,来产生被重构的差异图象1134-1E,由此来更新该参考图象1132-1E。然后读取下一差异图象的该映射数据1138-2E。该值“1100”表示需要保存该被重构图象1134-1E的前两个MCU(一个黑邮票以后是一个白邮票),由此来形成将要被改变的MCU数据1514-1E(“后向邮票”)。然后,一个被改变的MCU接一个被改变的MCU,来更新该图象1134-1E,以形成该图象1134-2E。特别地,一个比特接一个比特地读取该映射数据1138-2E,如值“1100”所表示的,该MCU数据1140-2E的第一邮票被引导到顶行中的第一MCU位置,然后1140-2E中的下一个邮票(全黑)被引导到到顶行中的第二MCU位置。然后,再一次地保存“将要被改变的”MCU。这样就读取了该映射数据1138-3E,并且发现在该顶行中的第二和第三MCU(与后面跟一个白邮票的一个黑邮票相应)被选择来形成该(“后向邮票”)将要被改变的MCU数据1514-2E。
下面是一个MCU接一个MCU地更新该图象1134-2E来形成该图象1134-3E的步骤。如前面所述,使用该映射数据1138-3E来将该前向被改变的MCU1140-3E引导到该图象平面中的合适位置上,来完成这个步骤。因为1134-3E是在一个参考图象以前的最后一个差异图象,所以保存该被重构的图象1134-3E来进行显示,然后该被重构的图象1134-3E被用作一个后向“参考”图象。
在这一点上,完成了该预处理步骤,并且可能发生实际的逆向回放操作。开始,显示该被重构的图象1134-3E。然后,读取该映射数据1138-3E并且使用该映射数据1138-3E来引导该后向MCU数据1514-2E,以更新该图象1134-3E来形成该图象1134-2E。下面,读取该映射数据1138-2E并且使用该映射数据1138-2E来引导该后向MCU数据1514-1E,以更新该图象1134-2E来形成该图象1134-1E。最后,使用该映射数据1138-1E来引导该后向MCU数据1514-0E,以更新该差异图象1134-1E来形成该参考图象1132-1E。从前述的讨论中可以看出,然后下面对该参考图象和最先产生在该图象1132-1E以前的差异图象组执行该预处理序列。
从前面关于在逆向回放操作中所使用的该解压缩技术的描述中可以理解,该映射数据1138被用于逆向回放解压缩操作和前向回放操作。特别地,在该逆向回放解压缩技术中使用该映射数据1138的目的明显有三个:
(1)为了使用一个与在前向回放解压缩操作中所使用的方式类似的方式,在该预处理步骤期间,在一个前向方向重构差异图象。
(2)为了选择该“后向邮票”(将要被改变的MCU)1514。
(3)为了在该实际逆向回放期间,引导该被改变的MCU。
可以确信,在逆向解压缩处理期间多次使用和高效地使用该映射数据代表了这里所公开的该压缩视频数据格式(图44)和相应的压缩技术的一个特别有利的方面。
与图64A和64B中图示说明的背景示例相比,现在参考图65-68更详细地描述了由图55的模块1406所表示的处理。
开始参考图65A和65B,该后向解压缩处理的开始步骤是根据所需的后向回放速率来设置该图象速率定时器并且清除该退出标记(步骤1522)。然后,在步骤1524中,找出在时间上与将要出现该逆向回放操作的时间点相应的该参考图象,然后解压缩该参考图象(步骤1526)。在步骤1526以后是步骤1528,步骤1528与图64A中的1512所表示的该预处理序列相应。
下一步骤是步骤1530,在步骤1530中,判断是否设置了该退出进程的标记。如果设置了该标记,将一个合适的消息发送到该系统指挥员(步骤1532),并且停止该后向解压缩操作。如果在步骤1530中没有发现设置了该“退出进程”的标记,则该处理就进行到步骤1534,在步骤1534中,对所需的回放图象速率判断是否是解码和显示下一图象的时间。如果不是,该处理循环返回到步骤1530。但是,如果是解码和显示下一图象的时间,就进行步骤1536,在步骤1536中,判断该下一图象是一个参考图象或者是一个差异图象。如果该下一图象是一个参考图象,就根据一个合适的过程来解码该参考图象(步骤1538),然后建立下一“后向历史缓冲器”(步骤1540),即将显示在图64A中的1512的预处理过程应用到下(紧接在记录时间以前)一组差异图象。
如果在步骤1536中发现将要被解码的该下一图象是一个差异图象,然后使用前面所产生的后向历史缓冲器并且根据一个合适的过程来解码该差异图象。
现在转到图66,将进一步解释“建立后向历史缓冲器”,图65A和65B中的步骤1528和1540。开始(步骤1544),就在现在将要进行解码的差异图象组以前记录的该该参考图象(如图64A的1132-1所示)被解压缩,然后被使用记录的形式保存在一个“上一场”的缓冲器中。然后,在步骤1546中,该过程拾取与该差异图象1134相应的映射数据,该差异数据1134是在刚才被解码的该参考图象的时间的后面被记录的。该被拾取的映射数据使用与该第一差异场相应的被改变的MCU数据1140,来一个MCU接一个MCU地更新该“上一场缓冲器”(步骤1548)。然后下面是一个循环,如步骤1552所示,并且对于现在被解码的该差异图象组中的其他差异图象1134中的每一个使用该循环。作为该循环的一第一步骤,它是步骤1554,并且拾取用于在最近被重构的该差异图象的后面的该差异图象的映射数据。然后根据下一差异场映射数据来产生(步骤1556)来自刚才被重构的差异图象的将要被改变的MCU(后向邮票1514),然后使用前向被改变的MCU数据1140来更新该上一场缓冲器,来重构该下一差异图象(步骤1558)。在循环1552-1558的所有所需迭代以后,已经产生由图64A和64B中的1512所表示的后向历史缓冲器数据。
图67详细图示说明了与图66的模块1544相应的该处理。图67的该处理的形式是三个循环套,该循环套的外循环由模块1560所表示,并且对MCU中的每一行执行该外循环。该循环套的中间循环由模块1562所表示,并且对该行中的每一个MCU执行该中间循环。该循环套的内循环由模块1564所表示,并且对该MCU中的每一个数据瓦片执行该内循环。如模块1566所示,对每一个数据瓦片执行一个解压缩和然后的记录处理。模块1566的细节被显示在图68中。开始,如步骤1568所示,处理与该数据瓦片相应的该被压缩的视频数据来恢复被量化的系数值。然后,将该DC系数作为一个绝对值来记录,而不是作为与前一数据瓦片DC电平进行比较所产生的一个差异值来记录。
然后,根据标准的视频数据压缩技术(步骤1572)来对其他系数进行霍夫曼编码和变长编码,并且保存该被记录的数据瓦片数据(步骤1574)。(如刚才所述,在前向回放操作期间,可以执行产生一个后向历史缓冲器的操作,如图56中的模块1575所示,来实现从前向到逆向回放操作的快速切换。)
压缩器管理者软件部件
现在参考图69A和69B和70A和70B来详细描述显示在图45中的该压缩器管理者软件部件1216。应该理解,该压缩器管理者软件部件1216处理在该主板CPU和该前端电子装置(特别是前端控制器DSP1050,如图36)之间进行的通信。
图69A和69B图示说明了该压缩器管理者软件部件涉及处理命令,即从该主板被发送到该前端电子装置的消息,的方面。开始,在步骤1576判断是否要发送一个告警命令。如果要发送一个告警命令,与该当前告警条件或者多个告警条件相应的该比特或者多个比特被设置在告警条件数据字节中(步骤1578),然后使用一个合适的格式来产生运载该告警条件字节的一个消息,以被该前端控制器DSP所接收(步骤1580)。
如果要将涉及要被捕获来进行保存的摄像机输入流的序列的一个命令发送到该前端板(步骤1582),然后产生表示用于捕获该摄像机信号流的所需序列的一个数据集(步骤1584)。所产生的消息被格式化,以被该前端板控制器所接收(步骤1586)。
在步骤1588中,判断是否要将一个场保存速率命令发送到该前端电子装置。如果要将一个场保存速率命令发送到该前端电子装置,就产生将该前端电子装置编程成使用该所需的速率来捕获视频数据场所需要的数据(步骤1590),然后,所产生的消息被格式化,以被该前端电子装置所接收(步骤1592)。
在步骤1594中,判断是否要将一个涉及将要在该前端电子装置中的现场图象分析模块846(图14)中执行的一个图象分析算法的命令发送到该前端电子装置。继续参考图69B,如果要发送一个图象分析算法命令,然后就产生涉及该图象分析的数据(例如,详细说明将要被执行的该算法的数据,或者用于约束该算法的执行的参数)(步骤1596),然后被使用一个合适的格式来放置,以被该前端电子装置所接收(步骤1598)。
在步骤1602中,判断是否要将一个涉及视频数据压缩的命令发送到该前端电子装置。如果要将一个涉及视频数据压缩的命令发送到该前端电子装置,就组合用于选择一个压缩参数的数据(步骤1604)。例如,可以发送一个压缩参数,该压缩参数用于选择一个标准数据瓦片“相同性”阈值,或者一个提供更好的再生图象质量的第二更严格的阈值,或者一个不太严格的、并且能够减少每场所产生的压缩视频数据的平均数量的第三参数中的一个。替代地,该压缩参数可以用于设置用于量化在该JPEG芯片848中的系数的比特的数目。
应该注意到,优选地,在步骤1596和1604中所组装的数据包包括标识哪一个摄像机要应用该数据的数据,以使该图象分析算法和/或者该压缩处理可以对每一个摄像机均不同。
步骤1604以后是步骤1606,在步骤1606中,对该压缩参数包进行格式化,以被该前端电子装置所接收。在步骤1608中,判断是否要将一个消息送到该前端电子装置,以控制该现场显示处理模块844(图14)的操作。例如,从该现场显示模块844输出的该图象的大小,将要被同时显示的视频流的数目,例如1,4,9,或者16,和/或者摄像机流在多个显示窗口之间的分配可以被改变。如果步骤1608中作出了一个肯定的判断,然后在步骤1610中产生该合适的现场显示命令序列,并且在步骤1612中对该合适的现场显示命令序列进行格式化,以在该前端电子装置提供一个能够被正确处理的消息。
在步骤1580,1586,1592,1598,1606,或者1612中任何一个步骤以后,是一个步骤1614,在步骤1614中,所涉及的该消息被耦合到该PCI总线596(图3)以被发送到该前端电子装置。
现在参考图70A和70B来描述涉及由该主板从该前端电子装置所接收的状态消息的处理的、该压缩器管理者软件部件的方面。如步骤1616所示,接收了经过PCI总线来的消息数据,然后就检测该消息的类型。
如果发现该消息是一个告警消息(步骤1618),然后就解码该告警数据(步骤1620),并且使用一个对该主板CPU软件部件合适的格式来产生报告该告警数据的一个消息(步骤1622)。例如,该告警消息可以详细说明通过一个告警传感器526(图1)所检测的、或者通过由该前端电子装置所执行的现场图象分析所检测的该告警事件的类型。
继续参考图70A和70B,如果发现该输入消息是一个涉及用于记录的摄像机流的序列的消息(步骤1624),就解码包括在该消息中的该数据(步骤1626),并且对它进行格式化以与该主板CPU软件交流消息(步骤1628)。
如果该输入消息涉及由该前端电子装置所实现的一个场捕获速率(步骤1630),然后就解码该场速率数据(步骤1632),并且使用一个适合于在该主板CPU软件中使用的格式来对该数据进行格式化(步骤1634)。
如果该输入消息涉及在该前端电子装置中所执行的一个现场图象分析算法(步骤1636),然后就解码该涉及该算法的数据(步骤1638),并且使用一个适合于在该主板CPU软件中使用的格式来对该数据进行格式化(步骤1640)。
如果该输入消息涉及用于控制在该前端电子装置中正在被执行的压缩操作的一个参数(步骤1642),然后就解码该压缩参数数据(步骤1644),并且使用一个适合于在该主板CPU软件中使用的格式来对该压缩参数数据进行格式化(步骤1646)。
如果该输入消息涉及在该前端电子装置中正在执行的现场显示处理(步骤1648),然后就解码该数据(步骤1650),并且使用一个适合于在该主板CPU软件中使用的格式来对该数据进行格式化(步骤1652)。
在步骤1622,1628,1634,1640,1646,或者1652中任何一个步骤以后,是一个步骤1654,在步骤1654中,所涉及的消息被前转到该系统指挥员软件部件1202(图45),并且通过该系统指挥员被传递到需要接收该消息的其他软件部件。典型地,在模块1624,1630,1636,1642和1648中被检测的该消息是表示该前端板已经实现了前面从该主板被发送到该前端电子装置的命令的状态消息。
现在参考图71来描述涉及处理输入压缩视频数据的该压缩器管理者软件部件的方面。已经假定发生了一个视频数据的DMA转移。然后该压缩器管理者判断该DMA视频数据转移是否已经完成(步骤1656)。如果已经完成了该DMA视频数据转移,就转移刚才被接收的该被缓冲的视频数据,来将它记录在该硬盘上(步骤1658),然后判断是否已经到达了一个图象的末尾(步骤1660)。如果没有到达一个图象的末尾,该处理循环返回到步骤1656。但是,如果已经到达了一个图象的末尾,然后就产生与刚才被接收的该视频数据相应的该索引数据(步骤1662),就产生和保存表示该视频数据的位置的该地图并且将该视频数据保存在该地图的位置以后的位置(步骤1664)。最后,在一个步骤1666中,该被接收的视频数据和该索引数据被前转到该视频保存软件部件1234(图45)。
现在参考图72来描述该视频记录软件部件1218(图45)。基本上,该视频记录软件部件执行三个功能。第一,这个部件通过产生(步骤1668)通过该压缩器管理者软件部件1216被前转到该前端电子装置的参数设置消息来建立该压缩操作。进一步,合适的初始消息被提供到该视频保存软件部件1234(图45),如步骤1670所示。最后,在该前端电子装置中所执行的该压缩处理操作被在步骤1672中所产生的一个合适的消息激发并且被通过该压缩器管理者软件部件来进行前转。
现在参考图73来描述涉及处理搜寻请求的存档管理者软件部件1226(图45)的方面。
图74A和74B图示说明了涉及命令处理的存档管理者软件部件的方面。本质上,在如图74A和74B所示的处理中被处理的命令涉及那些需要执行“磁带记录器”功能或者类似的功能的命令。
显示在图73中的一第一步骤1674表示该存档管理者部件已经接收了一个搜寻请求。该搜寻请求被分析(步骤1676)并且然后该命令被翻译成适合于进一步在该存档管理者软件部件被进行处理的一个格式(步骤1678)。
参考图74A和74B,如果检测到了一个记录开始命令(步骤1680),然后就产生一个相应的开始消息(步骤1682)。如果检测到了一个停止命令(步骤1684),然后就产生一个相应的停止消息(步骤1686)。如果检测到了一个载入命令(步骤1688),然后就产生一个相应的载入消息(步骤1690)。如果检测到了一个播放命令(步骤1692),然后就产生一个相应的播放消息(步骤1694)。如果检测到了一个弹出命令(步骤1696),然后就产生一个相应的弹出消息(步骤1698)。如果检测到了一个重新开始命令(步骤1702),然后就产生一个相应的重新开始消息(步骤1704)。如果检测到了一个搜寻命令(步骤1706),然后就产生一个相应的搜寻消息(步骤1708)。如果检测到了一个回绕命令(步骤1710),然后就产生一个相应的回绕消息(步骤1712)。如果检测到了一个跳转命令(步骤1714),然后就产生一个相应的跳转消息(步骤1716)。在这段中所提到的每一个消息的情形下,该消息被前转到一个存档软件对象(步骤1718)。该存档对象是控制该存档DAT驱动器626(图3)或者一个外部连接的存档媒质驱动器单元的一个驱动器软件功能。例如,一个独立的DAT驱动器,DVD驱动器,磁光盘驱动器,或者类似的可以被通过SCSI口628连接到该VR/PC单元。
可以想象,该存档保存和/或者检索操作可以同时使用两个或者多个存档装置来进行操作,这些存档装置可能包括DAT驱动器626和一个或者多个外部连接的装置。
告警处理器部件
下面将参考图75和76来描述该告警处理器软件部件1212的操作。对于图75,已经假定,从该前端电子装置接收了一个告警消息。然后在步骤1720中根据一个标准的协议或者一个客户定义的协议判断该用户是否被选择来处理这些告警。如果选择了一个标准的协议,然后步骤1720以后是步骤1722。在步骤1722中,该告警处理器根据被接收的告警消息的类型来促使产生一个或者多个预定告警输出信号。例如,该告警输出信号或者多个信号可以是自动关门或者自动锁门,激发告警器或者可视的告警显示,或者类似的信号。步骤1722以后是步骤1724,在步骤1724中,产生一个消息来促使该前端电子装置改变视频信号场被从连接到该VR/PC单元的相应摄像机中捕获的该序列。
下一步骤是步骤1726,在步骤1726中,判断该VR/PC单元是否正在被使用一个预告警缓冲模式来操作。如果该VR/PC单元正在被使用一个预告警缓冲模式来操作,然后步骤1726以后是步骤1728。在步骤1728中,该告警处理器软件部件分发一个消息,该消息是用于指示该视频保存软件部件来捕获在该预告警缓冲器中的该数据,如前面联系步骤1334-1338(图52)所描述的。该视频保存功能可以被组织成这样,以使在该预告警缓冲器中的所有数据被转移到该硬盘上的“永久”保存,或者该视频保存功能可以被组织成这样,以使仅与特定摄像机相应的视频数据场被这样来转移。
步骤1728以后是步骤1730(如果该VR/PC单元没有被使用一个预告警缓冲模式来操作,就直接位于步骤1726以后)。在步骤1730中,设置该告警定时器(或者如果一个告警条件已经在起作用,就扩展该告警定时器),并且该被检测的告警事件被加到由该告警处理器软件部件所维护的一个告警事件列表中。
图76图示说明了根据一个标准的告警激发摄像机序列图,在步骤1724中实现的该摄像机序列。图76所示的该序列类似于本发明的受让人所销售的MV200模拟复用器中提供的该序列(见1995年,RobotResearch公司出版的 Multivision Optima II TM  Multiplexers, Installation and Operatin Manual的第33页)。在图76所示的视频场1732的一个序列中,有标志“A”的该模块1734与由一个或者多个摄像机所产生的一场或者多个场相应,该一个或者多个摄像机被预定为可能产生相对于被检测的告警来说是感兴趣的视频信号。模块1736,1738和1740中的每一个分别表示从三个相对于该告警条件来说不是特别感兴趣的不同摄像机中捕获的一个视频信号场。这样,如在上面所表示的MV200复用器中一样,对一个告警作出响应,对这些摄像机重新排序,以使由与该告警相关的一个摄像机或者多个摄像机所产生的场相对于其他摄像机来说,被给予更频繁的记录时隙。
步骤1730以后是步骤1742。步骤1742表示图76所示的该记录序列被维持,直到该告警定时器超时了。关于该最后一次的告警是否已经发生了超时的判断是在步骤1744中作出的,如果该最后一次的告警已经发生了超时,就关闭该告警定时器(步骤1746)。
只要使用一个增加的场速率来记录该告警相关的摄像机的时间已经过去了,如每个图76所示,这些摄像机的场记录速率就被减少到这些摄像机在检测到该告警以前所被规定的场速率。应该理解,前面所规定的记录场速率可能是“0”(即,该摄像机的状态是仅有告警才能记录),或者使用普通的序列来进行记录,而其他摄像机处于正常记录状态,或者是一个“时间延时(time-lapse)”的记录状态,在该状态中,使用比用正常序列来记录摄像机的速率低的一个场速率来记录该摄像机。
如果在步骤1720中,判断一个客户定制的告警处理模式有效,然后在步骤1720以后是步骤1748。在步骤1748中,该告警处理器软件部件决定该摄像机,事件的类型和关于被检测到的告警条件的时间。以后是步骤1749,在步骤1749中,被解码的摄像机,事件类型和时间数据被用于拾取来自一个事件响应描述数据库1746的相应事件响应描述。步骤1749以后是一个循环,如步骤1750所示,该循环对在该被检索的事件响应描述中的每一个命令均被执行。该循环由步骤1752,1754和1756组成。在步骤1752中,读取与在该描述中的当前行相应的命令。在步骤1754中,对与该命令相应的一个消息进行编码,在步骤1756中,该消息被发送到该系统指挥员软件部件。
下面是一个典型的事件响应描述的示例:
事件响应描述(示例)
告警1输出=ON(1)
告警2输出=ON(2)
摄像机1速率=30(3)
摄像机1=ON(4)
等待=30(5)
重新开始(6)
可以观察到,上面提出的示例性事件响应描述包括六个行。该第一行表示告警1输出信号被设置为开。例如,这可能是一个激发一个视觉告警指示器例如一个闪烁的光信号。该第二行表示第二告警输出信号被设置为开。例如,这可能将操纵一个可听告警指示器,例如一个警报器。
该第三行表示捕获记录来自摄像机1的场的速率被设置为每秒30场。余下的记录带宽然后将被在前面被排序进行记录的其他摄像机之间进行分配。
该第四行表示摄像机1的记录状态被设置为开“ON”。这个命令将覆盖前面任何一个使用软件来关闭摄像机1的命令。
该第五命令表示由该响应描述中的前面四个行所定义的状态被维持30秒。
该描述的第六行即最后一行表示该系统前面的操作状态在30秒告警响应以后将重新开始。
图象处理设施
现在将参考图77来描述该图象处理设施管理者软件部件1222(图45)。开始,在步骤1758中,该图象处理设施管理者软件部件的作用是向该VR/PC单元的该用户提供对该用户可用的选项,来处理被该系统所显示的一个图象或者图象序列。步骤1758以后是步骤1760,在步骤1760中,判断该用户是否指示已经完成了一个图象处理设施和其参数的选择。如果该用户没有指示完成了该设施和参数的选择处理,然后是步骤1762,在步骤1762中,判断该用户是否指示已经取消了一个当前被选择的设施和其参数组。如果该用户还没有指示这样做,然后在步骤1762以后是步骤1764。步骤1764表示将对被该用户选择的一个设施执行步骤1766到步骤1772。从下面的讨论中可以理解,对该用户可用的该图象处理设施选项可以使用一个菜单的形式或者作为一个表示一个“工具箱”的图标集合来被提供。可以想象的、包括在该VR/PC单元中的该图象处理设施选项是一个缩进选项,一个颜色调节选项,一个对比度调节选项,一个聚焦调节选项,一个柱状图平衡选项或者一个对象识别选项。
步骤1766必然包括从该用户接收与被选择的图象处理设施相关的参数的输入。该参数可能包括在该图象平面中、该被选择的设施将要被应用或者不被应用的一个区域或者多个区域。其他参数可能包括该被选择的设施的操作的强度的程度或者数字或者数量控制例如一个滑动条。例如,如果选择了一个缩放设施,就可能选择缩放的程度(2,3,4倍等等)。
在步骤1768中,被该用户选择的该参数或者多个参数被翻译成与该图象平面相关的单元,例如点位置。如果合适的话,它们还可能被翻译成颜色或者对比度或者聚焦调节控制值或者类似的。然后,在步骤1770中,该图象处理设施管理者部件使用该被翻译的参数值,来产生将向该用户指示被选择的图象处理设施的可能效果的一个“预览”图象。然后,在步骤1772中,该预览图象被显示。
步骤1772以后是步骤1774,在步骤1774中,判断该用户是否赞成执行该被选择的设施和参数。如果该用户赞成执行该被选择的设施和参数,以后就是步骤1776,在步骤1776中,被选择的设施和参数被应用到该图象或者图象序列。然后该处理循环返回到步骤1760。但是,如果在步骤1774中,该用户表示该被选择的设施和参数设置不令人满意,然后该图象或者图象序列被恢复到在该图象处理设施被应用以前占优(prevailing)的条件(步骤1778),并且该处理循环返回到步骤1760。进一步,可以看到,如果在步骤1762中,判断该用户已经选择取消被选择的设施和参数,就再一次进入该步骤1778。
当然,如果在步骤1750中,判断出该用户希望结束与该图象处理设施管理者的交互式会话,然后该处理就结束,并且任何被选择的和没有被取消的图象处理设施继续起作用。
图形用户接口
图78图示说明了该主板CPU软件的图形用户接口部分的操作。如在步骤1778中所示,一个图形用户接口(GUI)引擎解释由一个用户经过一个位置选择装置,例如一个鼠标来输入的信号,并且产生将要被显示在一个显示监视器上的对象。在该VR/PC单元的一个优选实施方式中,该GUI引擎1778使用众所周知的Windows95操作系统的能力。在替代实施方式中,可以想象使用其他GUI核心,例如WindowsNT。图78的步骤1780到1784图示说明了该GUI引擎1778解释来自该位置选择装置的信号的操作。
在步骤1780中,接收并且解码该用户输入。在步骤1782中,该被解码的输入信号数据被翻译成一个标准的消息格式,并且在步骤1784中,该用户接口软件部件向该系统指挥员发送一个相应的消息或者多个消息。
规划软件部件
现在参考图79来描述涉及建立,特别地涉及一个主选项屏幕显示的该规划软件部件的一部分。在步骤1786中,判断该用户是否选择来建立一个假期规划操作。如果是,就执行该假期建立操作(步骤1788)。
在步骤1790中,判断该用户是否希望建立一个“白天时间”与“夜晚时间”时期的定义。如果是,将组成一天的24小时分成白天和夜晚的一个操作就被执行(步骤1792)。
在步骤1794中,判断该用户是否希望来对一个特定的时间块执行一个规划功能(例如,工作日的白天时间或者周末的夜晚时间)。如果是,就对该被选择的时间块执行一个规划操作(步骤1796)。
在步骤1798中,判断该用户是否表示完成了该规划操作。如果该用户没有表示完成了该规划操作,该处理循环返回到步骤1786。否则,就结束该处理。
图80图示说明了被包括在图79的模块1788中的处理。图80中图示说明的该假期建立处理是以一个步骤1802开始,在步骤1802中,向该用户提供一个日期屏幕显示(见,例如图152)。
在步骤1804中,判断该用户是否已经选择了来自该日期显示的一天。如果是,就解码该被选择的天(步骤1806)。然后判断该用户是否希望将该被选择的天加到该假期列表中(步骤1808)。如果是,该被选择的天就被加到该假期列表(步骤1810)。
在步骤1812中,判断该用户是否希望取消将一个被选择的天加到该假期列表的一个决定。如果取消了一个选择,判断该用户是否表示完成了该假期建立会话(步骤1814)。如果表示已经完成了该会话,在该会话期间被产生的假期列表被用于替代前面存在的假期集合(步骤1816),并且结束该规划会话。直到该用户表示完成了该会话,该处理循环经过步骤1804,1808,1812和1814。如果在步骤1812中,该用户表示希望取消由该会话所作出的选择,然后就结束该会话而不替代在该假期会话以前存在的原来的假期列表。
现在参考图81和82来描述由图79中的步骤1792所必然包括的该处理。如步骤1818所示,在图82中所示的该处理的开始是使用如图81图示说明的两个时间控制,在显示框1820中显示当前开始(夜晚)时间和结束(白天)时间。每一个时间控制(1822,1824)组成一个上箭头按钮(1822A),一个下箭头按钮(1822B)和一个时间显示域(1822C)。除了这两个控制,还有一个取消按钮(1826)和一个“完成”按钮(1828)。使用定位器/光标(1830)操纵该整个控制框。在开始的显示以后,该处理就一直处于无休止的循环中,直到该用户激发取消按钮(1826),如判断框1832所示,或者激发该“完成”按钮(1828),如判断框1836所示。如果该光标(1830)激发该取消按钮(1826),就结束该处理,而不更新如处理框1834中所示的分配数据。如激发了该完成按钮(1828),就读取在该控制的显示部分(1822C)中的值并且如处理框1838和1842所示更新该分配数据。如果该光标被用于选择开始时间控制(1822)和结束时间控制(1824),然后可以通过使用该光标(1830)来激发相应的上箭头按钮(1822A)或者下箭头按钮(1822B)来增加或者减少该时间。如判断框1844和1848和处理1846和1850所示,该增加或者减少操作的结果产生了一个被更新的显示值。
图83图示说明了在规划建立期间所执行的、来允许该用户从一些不同的模式中选择将要被选择用于规划的模式的处理。
在步骤1854中,判断该用户是否对一个存档模式执行了规划。如果该用户对一个存档模式执行了规划,被选择用于预规划存档操作的时间就被设置在一个规划队列中(步骤1856)并且拾取被该用户选择的、该存档操作的参数(步骤1858)。
在步骤1860中,判断该用户是否已经选择了规划一个操作记录模式。如果是,由该用户所选择的该相关操作参数被接收(步骤1862)并且在该规划队列中设置该操作模式的相关时间。
在步骤1866中,判断该用户是否规划一个或者多个摄像机要“脱机”,即不进行录制(还称作“软件禁止”)。如果是,就在该规划队列中设置该相关时间(步骤1868)。
现在参考图84-86来继续进一步讨论图83所示的该处理。特别地,图84图示说明了模块1862的细节(“获取操作参数”)。如图84的步骤1870所示,图84中所图示说明的该处理是对与该VR/PC单元相连的每一个摄像机来执行一个循环。步骤1872说明,对于特定的摄像机,记录了被该用户所选择的该记录模式。如果被选择的模式是“脱机”的(如步骤1874所判断的),然后表示那种效果的一个表示被作为一个登录项插入在一个规划描述中(步骤1876)。
如果在步骤1874中,发现被选择的模式没有脱机,然后就获取该用户对控制将要被记录的数据的空间分辨率参数的选择(步骤1880)。然后判断是否要根据一个连续进行的在线方式或者是根据一个事件驱动模式来记录该摄像机。如果是在线的方式,然后它就被表示在一个合适的表登录项中(步骤1876)。
如果在步骤1880中,判断出仅使用一个事件驱动的方式来记录该摄像机,然后就是步骤1882,在步骤1882中,判断该事件是否是通过外部传感器或者是通过由该前端电子装置所执行的图象分析处理来检测的。如果是通过告警传感器来检测该事件的,然后就是步骤1884,在步骤1884中,标识来驱动本发明的记录的该告警传感器或者多个传感器。否则,步骤1882以后是步骤1886,在步骤1886中,选择由该前端电子装置所应用的、用于产生对特定摄像机的进行记录的事件驱动的该图象分析算法。
步骤1886以后是步骤1888,在步骤1888中,接收用于约束被选择的分析算法的执行的参数。视不同的情况,或者步骤1888或者步骤1884以后,又是步骤1876,在步骤1876中,该相关的数据被作为一个登录项提供在一个规划描述或者表中。
图85提供了一个简化的规划队列的示例。该规划队列由登录项1890,1892等等组成。每一个登录项由一个时间和操作状态头开始,然后是表示操作模式参数的数据或者一个指向一个相关规划描述或者表的指针。图86显示了一个规划描述或者表的示例。在一第一登录项中,如1894所示,该系统被显示为脱机。在下一登录项中,如1896所示,规划了一个存档操作并且表示根据一个迭代的方式使用一个标为一个“外部驱动器2”的装置来执行该操作。一第三登录项表示该系统开始工作的时间并且包括了详细说明每一个摄像机的工作模式的一个描述。例如,在1902,表示摄像机1将要被使用“实时”方式来记录(不是有时间延迟的),并且使用与一个高质量图象相应的一个压缩参数。所以,摄像机1将被包括在使用固定间隔从其中捕获场来进行记录的摄像机序列中。在1904中,表示仅当通过一个告警传感器检测到了事件时,才记录摄像机2。在1906中,表示仅当通过由前端电子装置所执行的一个运动图象检测算法检测到了事件时,才记录摄像机3。
在1908中,表示使用一个比其他摄像机的记录频率低的“时间延迟(time lapse)”的速率来记录摄像机4,但是有高图象质量的压缩。
在1910中,表示使用实时的方式来记录摄像机5,但是视频数据压缩提供的图象质量较低。相应的描述行(没有显示)也被提供给与该VR/PC单元相连的其他摄像机(直到总数是16个)。
图87表示在执行被保存在该系统中的预规划操作模式时所执行的处理。在步骤1912中,判断是否到了校验该规划的时间。例如,该定时器可能每隔一分钟就“停止(go off)”一次,以使每一分钟就校验一次规划的改变。当该定时器时间到时,就解码该当前的时间(步骤1914)并且如果有一个匹配的话,就在该规划队列中搜寻该时间(步骤1916)。在对该规划队列中的每一行所执行的一个处理循环中(如步骤1918所示),执行步骤1920-1924。在步骤1920中,读取该登录项行。在步骤1922中,根据该登录项行建立一个合适的命令消息。然后,在步骤1924中,该消息被发送到该系统指挥员,以进行前转来被该相关的软件部件来执行。
视频流内容的机器分析
现在参考图88-98来讨论用于执行图象分析算法的软件。接下来的讨论将基于两个方面:由前端电子装置所执行的对“现场”视频的图象分析,和由该主板CPU对从该硬盘中再生的视频数据场下来所执行的图象分析。
图88表示对所有被提供在该VR/PC单元中的图象分析算法均相同的方面的综述。1926表示涉及该用户接口的方面,涉及该用户接口的方面可以被分成那些用于选择一个图象分析算法的方面(1928)和那些用于对一个被选择的算法设置参数的方面(1930)。模块1932表示所讨论的该算法是由该前端电子装置来对“现场”视频来执行,还是由该主板CPU来对被再生的视频信号来执行。然后,如1934所示,该算法的结果被报告和/或者被保存和/或者采取特定的动作,这与该图象分析算法的输出有关。
图89图示说明了被包括在一个图象分析算法或者“工具”的选择和建立中的处理。如步骤1936所示,该用户开始被提供了一个屏幕显示,在该屏幕显示上,一些工具(分析算法)可以被该用户选择。例如,与每一个可用的工具相应的一个相应的图标可以被显示在该屏幕上。或者,可以显示通过名字来对这些可用的工具进行列表的一个菜单。然后在步骤1939中,判断该用户是否从该工具箱中选择了一个工具。如果该用户从该工具箱中选择了一个工具,就产生一个新的屏幕,或者使用一个表示已经选择了该工具的方式来改变被选择的屏幕(步骤1940)。然后,判断(步骤1942)该用户是否希望激发对该被选择的工具的使用。如果该用户不希望激发对该被选择的工具的使用,该处理循环返回到步骤1936。但是,如果该用户希望激发对该被选择的工具的使用,以后就是步骤1944,在步骤1944中,该用户通过摄像机号码或者名字来表示该被选择的工具将要被应用到其上的视频信号流源。然后是一循环(如步骤1946所示),该循环被应用到涉及被选择的工具的每一个参数。该循环由步骤1948到步骤1952组成。在步骤1948中,可以被该用户选择的、关于该参数的选项被显示给该用户。在步骤1950中,接收该用户关于所需的选项的输入,在步骤1952中,由该用户所提供的参数设置被翻译成涉及该图象分析处理的数据。
在该工具参数循环已经对每一个参数执行了以后,就是步骤1954,在步骤1954中,判断所讨论的该工具是否将要被应用到现场视频或者被再生的视频。如果将要使用被选择的工具来分析现场视频,然后就产生一个合适的命令消息或者命令消息组(步骤1956)并且通过该系统指挥员该合适的命令消息或者命令消息组被发送到该前端电子装置(步骤1958)。在另一方面,如果被选择的算法将要被应用到被再生的视频信号,然后就载入该主板CPU的图象分析部件(步骤1960)并且表示该被选择的算法和参数的一个合适的命令消息经过该系统指挥员被发送(步骤1962)。
现在参考图90A-90D来在一个“边界侵入工具”的范围中,描述参数设置的示例。
图155是这样一种类型的屏幕显示,它可以被提供给该用户来使该用户能够设置执行一个“边界侵入”图象分析工具的参数。
现在转到图90A,在一个开始的步骤1964中,在一个视频图象上显示了一个表示由该视频信号所表示的场景中一个区域的一个边界的绘图元素(例如一个框或者一些线),该图象分析算法的目的是检测对象进入到该指定区域的登录项。在图155的该屏幕显示中,该参数由该框图形元素1966所表示。
再参考图90A,步骤1964以后是步骤1968。在步骤1968中,该用户被允许使用本质上与在一个传统的PC软件绘图包中使用来拖动或者拉伸一个多边形或者线的方式相同的方式来拖动和/或者拉伸该边界元素1966。当该用户表示已经完成了参数设置时(如步骤1970中所检测到的),然后根据该图象平面空间中的相关数据瓦片(行和列)来决定表示该边界元素1966的该线或者框的端点(步骤1972)。然后这些端点作为表示该边界元素的位置的参数被保存起来。
另一个涉及该边界工具的参数是穿过该边界的方向。即,可能命令该图象分析工具来检测是在两个方向上穿过该边界,还是仅在两个可能的方向上的一个方向上穿过该边界。为了使该用户进行选择,可以使用一个箭头(它可以是两个头的箭头,以表示在任何一个方向上穿过)来表示穿越方向。图155中,1976表示了单方向的箭头。
图90B图示说明了用于选择该穿越方向或者将要被检测的方向的该处理。在一个开始的步骤中,显示了该穿越方向箭头1976(步骤1978)。步骤1978以后是步骤1980,在步骤1980中,判断该用户是否指示已经改变了穿越方向。如果该用户指示已经改变了穿越方向,一个穿越方向就被切换到下一方向。例如,可以使用这样的循环,例如入,出,双方向,入等等来切换该穿越方向(步骤1982)。
如图90A,在图90B的该处理中也提供了一个步骤1970,以使当该用户表示已经完成了参数设置时,可以设置该穿越方向参数(步骤1984)。
另一个涉及该边界侵入检测工具的参数是发现正在穿越该边界的物体的尺寸。例如,如果看起来正在穿越该边界的物体的尺寸不是给定的尺寸或者不是更大,忽视明显的边界穿越是可取的。为了规定物体的该尺寸,另一绘图元素框(可能被使用一对比色例如红色来进行阴影)被显示,如图155中的1986所示。这样,转到图90C,该开始步骤1988必然包括显示该物体尺寸框1986的步骤。步骤1988以后是步骤1990,在步骤1990中,判断该用户是否表示将要改变该物体尺寸框。如果该用户表示将要改变该物体尺寸框,就从用户的输入决定该新尺寸设置(步骤1992)并且在该显示屏幕上更新该尺寸框(步骤1994)。再一次,图90C提供了一个步骤1970来判断是否完成了该参数设置。如果完成了该参数设置,就根据当前被显示在该屏幕上的该尺寸框的状态来决定最终的尺寸设置(步骤1996)。然后将该最终物体尺寸设置翻译成基于数据瓦片的单元(步骤1998)并保存该相应的、基于数据瓦片的物体尺寸参数(步骤2002)。
另一涉及该边界侵入检测算法的参数是“灵敏度”,即一个将被认为是表示运动而不是噪声的信号对比度电平。图90D图示说明了该灵敏度参数的设置,并且该灵敏度参数的设置包括一第一步骤2004,在步骤2004中,显示了一个滑动条或者类似的图象元素。该相应的灵敏度滑动条元素由图155中的标号2006所表示。
再一次转到图90D,步骤2004以后是一个步骤2008。在步骤2008中,判断该用户是否已经表示该灵敏度电平有改变。如果是,就检测该新滑动条设置(步骤2010)。如图90A-90C所示,再一次来执行步骤1970,来判断是否完成了该参数设置处理。如果是,以后就是步骤2012,在步骤2012中,该滑动条上的读数被翻译成一个视频信号对比度比例,并且该所产生的对比度比例阈值被作为该灵敏度参数保存(步骤2014)。
图91显示了用于载入该图象分析引擎的一个处理。开始(步骤2016),载入对任何分析工具均实用的参数。在步骤2016中被载入的该参数可能包括例如,表示如何将GUI输入信息翻译成数据瓦片空间和/或者速度空间的数据。然后,在步骤2018中,涉及速度的参数被决定,并且涉及速度的参数被发送到该图象分析引擎的一个速度分析部件(步骤2020)。然后决定涉及被检测的运动矢量聚类(clustering)的参数(步骤2022),并且该涉及聚类的参数被发送到该图象分析引擎的一个聚类部件(步骤2024)。步骤2024以后是步骤2026,在步骤2026中,决定涉及单个视频数据数据瓦片的分析的参数。然后所产生的数据瓦片分析参数被发送到该图象分析引擎的一个数据瓦片分析部分(步骤2028)。为了提供涉及该边界侵入检测工具的参数的示例,该边界工具的涉及速度的参数将是任何运动的检测(模块2030)。该边界工具的涉及聚类的参数是该对象尺寸框,如用图象平面数据瓦片单元来测量的(模块2032)。该边界工具的该相关数据瓦片分析参数是从该灵敏度设置推导出来的该对比度比例(模块2034)。
图92图示说明了对由该前端电子装置对现场视频数据所执行的一个图象分析算法进行初始化的一个处理。首先,获取一个或者多个参考图象(优选地,是现场视频图象)(步骤2036)。相关的参数参考值被从该参考图象中提取出来(步骤2038)。步骤2038以后是步骤2040。在步骤2040中,该被提取的参数参考值被保存在现场图象分析模块846的存储器中(图14),然后,在该图象分析引擎中所使用的计数器被设置为零(步骤2042),并且一个消息被发送到该主板软件的该系统指挥员部件,表示该现场分析引擎已经准备工作了(步骤2044)。在步骤2042中被设置为零的该计数器被用于判断何时有足够的数据来应用FFT处理。在该边界侵入检测工具的情形下,步骤2038优选地包括计算沿该边界线的一个平均发光度,来提供一个基础值,根据该基础值来检测变化(模块2046)。
现在参考图93A-93E来描述用于执行该边界侵入检测算法的该现场分析模块846的操作。
首先,假定该现场分析模块使用产生表示光学流的数据的一些传统图象序列滤波算法中任何一个。在本发明的一个优选实施方式中,使用基于FFT的时间空间滤波来实现涉及运动的分析算法来应用到一个随时间改变的被改变MCU映射数据序列上,来产生X-和Y-方向速度的估计值。(要被进行FFT分析的该MCU映射数据是与用于压缩处理的相同的数据,或者是根据那些与用于压缩的那些准则不同的MCU“相同性”准则特别产生用来进行运动分析的数据。)一个聚类分析被应用到该速度估计,来检测该运动物体的上升沿和下降沿。涉及运动的算法的特别示例是下面所讨论的该运动检测和边界侵入检测分析工具。
其他分析算法,例如下面所讨论的“博物馆”和“光学”工具,必然包括将一个当前图象数据场与一个参考图象数据场的内容一个数据瓦片接一个数据瓦片来进行比较。如图93A所示,获取表示速度矢量的数据(步骤2048),并且获取表示该速度矢量的聚类的数据(步骤2052)。在步骤2054中,获取涉及在被指定边界处的数据瓦片的分析的数据。然后,如步骤2056所示,判断是否有足够的时间来完成该分析。如果没有足够的时间来完成该分析,一个“分析被中断的”消息被发送到该前端控制器DSP1050(步骤2058)。如果合适,然后该控制器DSP可能向该主板发送一个事件报告,接着,该主板可能宣告一个告警条件。
但是,如果有足够的时间来完成该分析,然后步骤2056以后是步骤2060。在步骤2060中,分析该速度矢量数据。如果满足表示一个边界侵入的该速度矢量准则(步骤2062),然后就分析该矢量聚类数据(步骤2064)。然后,判断是否满足了用于发现一个边界侵入的该聚类“对象尺寸”准则(步骤2066)。如果满足了用于发现一个边界侵入的该聚类“对象尺寸”准则,以后就是步骤2068,在步骤2068中,分析该表示边界数据瓦片本身的数据。
步骤2068以后是步骤2070。在步骤2070中,判断该边界数据瓦片的分析是否表示已经发生了一个边界侵入。如果该边界数据瓦片的分析表示已经发生了一个边界侵入,就执行步骤2072。在步骤2072中,计算该侵入检测判断的一个置信因子。然后,在步骤2704中,向该前端控制器DSP1050报告该边界侵入的发生和该置信因子。
另一方面,接着步骤2058,或者在步骤2062,2066或者2070中任何一个为否判断时,结束该边界侵入检测分析,而不寻找是否发生了一个侵入。
图93B图示说明了由该控制器DSP1050对在步骤2058中所产生的一个“分析被中断的”消息作出响应,所采取的动作。如图93B所示,该控制器DSP首先接收该“分析被中断的”消息(步骤2076),然后对一个合适的消息进行格式化,以被该主板所接收(步骤2078),并且将该消息经过位于该前端电子装置和该主板之间的PCI连接,前转到该主板软件的该系统指挥员部件(步骤2080)。
图93C图示说明了由该前端控制器DSP对在步骤2074中由该现场显示分析模块所产生的该消息作出响应,所执行的处理。如图93C所示,该控制器DSP接收报告被检测到的事件的该消息(步骤2082),然后对一个合适的消息进行格式化,以向该主板报告该事件(步骤2084),并且将该消息经过上述PCI连接,发送到该主板软件的该系统指挥员(步骤2086)。
图93D使用一般的形式图示说明了图93A中的处理的判断模块2062,2066和2070的每一个所执行的该处理。图93D的第一步骤是一个表示对每一个参数均已经执行了图93D的该处理的步骤2087。在一个步骤2088中,判断该参数值是否比该参数的一个较高电平的阈值低。如果是,然后在步骤2090中,判断该参数值是否比该参数的一个较低电平的阈值高。
如果对步骤2088和2090的响应均是肯定的,就到了一个步骤2092。在步骤2092中,设置一个表示满足了该参数准则的标志值,并且返回一个置信水平值。另一方面,如果步骤2088和2090中一个获得了一个否定的结果,就到了一个步骤2094。在步骤2094中,设置该标志来表示该参数准则没有被满足。
图93E图示说明了步骤2072的细节(计算置信因子,图93A)。在图93所示的处理中,一个置信权重因子被应用到该速度置信水平值(步骤2096),然后一个置信权重被应用到与该聚类判断相应的该置信水平值(步骤2098),然后一个置信权重被应用到该数据瓦片处理置信水平值(步骤2102)。在步骤2104中,该权重速度,聚类和数据瓦片值被相加,来获取一个整体的置信水平值,并且产生一个包括该相加结果值的消息(步骤2106)。图94图示说明了用于对被包括在该主板CPU软件中的一个分析引擎进行初始化、来将一个图象分析算法应用到一个被再生的视频数据流的一个处理。
在图94所显示的第一步骤中,在这个流中的该第一参考图象在将要开始分析的点以后被发现(步骤2108)。步骤2108以后是步骤2110,在步骤2110中,提取并且保存该相关参数参考值。然后,在步骤2112中,该图象分析引擎的该标志被初始化为合适的开始值,并且在步骤2114中,该分析引擎向该系统指挥员报告它已经准备开始进行该分析算法。
图95A-95C图示说明了该图象分析引擎对该被再生的视频流所执行的操作。被使用来分析被再生的视频数据的该图象分析引擎与上面联系图93A-93E所描述的该现场视频分析技术类似。如步骤2116所表示的,图95A中所显示的该处理是被应用到该被再生的视频图象场流中的每一个差异图象场1134(图44)的一个循环。步骤2118表示为当前差异图象场,读取被改变的MCU映射数据,然后该映射数据被用作到一个速度分析处理的一个输入(步骤2120),并且被用作到一个聚类分析处理的一个输入(步骤2122)。根据来自该速度分析和聚类分析处理的输出,判断是否需要对被改变的MCU数据瓦片数据本身进行分析(步骤2124)。如果是,就进行该基于数据瓦片数据的分析(步骤2126)。在任何一个情形下,下面是步骤2128,在步骤2128中,根据该分析处理的结果来评价该图象。然后判断是否满足了该准则(步骤2130)。如果在步骤2130中,发现该准则肯定没有被满足,然后就不寻找是否已经检测到了感兴趣的图象特征。如果发现该准则肯定被满足,然后步骤2130以后是一个步骤2132。在步骤2132中,检测到了感兴趣的特征和一个置信水平被报告给该系统指挥员。但是,如果从该分析所产生的该置信水平没有高到足以来报告检测到了感兴趣的特征,并且也没有低到肯定取消该特征的出现,就发生进一步的处理,如步骤2134所示。
图95B图示说明图95A中步骤2126的进一步细节。如图95B所示,被改变的MCU数据被读取(步骤2136),然后被使用传统的JPEG解压缩处理来进行解码(步骤2138)。
然后判断是否需要进一步分析该频率系数数据(步骤2140),如果是,就对该DCT系数进行分析(步骤2142)。然后,在步骤2144中,判断是否需要点数据(时域数据),如果是,就通过进行逆向变换处理来获取该点数据,并且分析该点数据(步骤2146)。
图95C图示说明了图95A中步骤2134所示的该处理。图95C的第一步骤是步骤2148,其中将从光学流分析中所产生的速度矢量的当前集合与根据该图象序列中前面的图象所产生的速度矢量的历史记录进行比较。
步骤2148以后是步骤2150,在步骤2150中,判断速度矢量历史记录的分析是否表示该速度已经通过了该图象分析算法希望检测的一个速度矢量值。如果是,然后就将被该光学流分析所检测到的当前对象与前面的图象组进行比较(步骤2152)。然后在步骤2154中判断是否出现了将要被该分析算法检测的一个该类型的对象。如果是,以后就是步骤2156。在步骤2156中,执行数据瓦片数据的一个历史分析,然后在步骤2158中,判断当前和过去被检测的数据瓦片特征是否表示已经出现了将要被该当前算法所检测的数据瓦片的特征。如果步骤2158作出了一个肯定的判断,然后就执行步骤2160。在步骤2160中,为该算法输出产生一个置信因子,并且设置一个与一个“可能是”的判断相应的标志。然后,在步骤2162中,从该算法的每一个分析部分所产生的该置信数据被组合和加权,下面就计算一个被调节的置信因子(步骤2164)。下面是步骤2166,在步骤2166中,一个包括一个“可能是”结果的合适的消息被前转到该系统指挥员。
如果在步骤2150,2154和2158中任何一个作出一个否定的判断,然后图95C的该处理返回一个没有出现将要被该算法所检测的该特征的结论(步骤2168)。
现在参考图96和97来描述被应用到被再生的视频数据的一个图象分析算法的操作的一个特定示例。对于该示例,已经假定将要被应用的该分析算法是上面提到的、检测一个“边界”侵入的类型。图96示意性地表示了由一个视频摄像机(没有显示)所产生的一个图象序列,该视频摄像机提供了从上面看被放置在一个部分密封的区域2172中的一个现金盒所获得的一个视图。
一个图形绘图元素2174表示被一个用户分配的、用于执行一个边界侵入分析算法的边界。形状2176-1到2176-6表示被该分析算法所检测的一个运动对象被放置在被分析的视频信号序列的相应场中。转到图97,一个开始的步骤2178表示对正在被分析的被再生的视频信号序列中的每一组差异场执行随后的处理。为了进行有效的处理,当被应用到被再生的视频流时,该基于运动的图象分析算法的优选实施方式忽视该“参考”图象,并且如前面所述,对被改变的MCU映射数据进行操作。结果,在每一个参考图象的图象序列中有一个“孔”或者“缝”,但是发现,如果在参考图象之间的每一个间隔中有适当的、大量的差异图象,它并不会产生严重的缺陷。当然,大量的差异图象也产生一个较高的压缩比例,并且应该在逆向再生的情形下,对图象质量和方便性进行折衷。如前所述,该VR/PC单元的一个优选实施方式在每对参考场之间产生32个差异场。
继续参考图97,被应用到每组差异场的该处理包括一个步骤2180,在步骤2180中,产生一个被改变的MCU映射数据阵列,并且在步骤2182中,通过使用FFT(快速付立叶变换)处理或者类似的处理,来从该MCU映射数据阵列中形成一个速度轮廓组(velocityprofile set)。在步骤2184中,然后就组合构成对象的速度矢量聚类,并且如图95A一样,分析对象和速度矢量的每一个可能的组合,来产生关于每一个对象/速度组的一个“是”,“否”或者“可能是”的判断(步骤2186)。步骤2186以后是一个判断模块2188。在步骤2188中,它可能判断每一个对象/速度组已经被标记为“否”,在这种情形下,后面是步骤2190。步骤2190表示结束该分析处理,而不检测任何对该边界的侵入。
对每一个对象/速度组已经被标记为“是”(如步骤2192所表示的),即每一个满足表示侵入该边界的该准则的对象/速度组,在步骤2194中判断是否满足该灵敏度(亮度)准则。如果满足该灵敏度(亮度)准则,就产生一个置信水平值(步骤2196),并且将该置信水平,以及表示该对象和速度分析的输出的值作为输出来产生(步骤2198)。对于每一个对象/速度组已经被标记为“可能是”(即,不明确地表示一个边界的侵入,也不明确的表示没有一个边界的侵入),就执行开始于步骤2202的一个处理。开始,产生基于该速度历史的一个样条(步骤2204)。这种样条的一个示例被显示为图96中的点线2206。然后,就决定(步骤2210)该样条(图96的2208表示)的一个拐点,然后判断该样条的该拐点是否穿越了该边界(步骤2212)。从图96中可以看出,在其中所示的示例中,该样条2206的该拐点2208确实穿越了该边界2174。
在步骤2212的判断是肯定的判断的情形下,如前面所描述的,就执行步骤2196和2198。在步骤2212,或者2194中任何一个的判断是否定的判断的情形下,就执行步骤2190(结束该处理,而不检测侵入)。
图98图示说明了在发生了一定的告警事件以后,促使一个预选择的图象分析算法被应用到一预定现场视频信号流的处理步骤。在图98中,步骤2214表示已经接收了由一个外部告警传感器装置或者类似的装置所提供的一个告警信号。步骤2216是一个判断模块,步骤2216表示一个特定的图象分析算法正在根据一个连续的方式被应用到从一个摄像机Y所产生的一个现场视频图象流。步骤2214的发生或者步骤2216是一个肯定的判断(检测到图象特征),就执行步骤2218。在步骤2218中,根据已经被预保存的参数(例如一个边界线的位置),该预选择图象分析算法被应用到从一个摄像机Z所产生的一个现场视频图象流。步骤2218中所执行的该图象分析算法可能,但是不必须,与步骤2216所应用的该图象分析算法类似。另外,摄像机Z可以被看作是与摄像机Y相同。换句话说,使用一第一分析算法来检测一个现场视频流中感兴趣的一个特征可能自动地引起将一第二分析算法应用到该相同的现场视频流。
替代的视频数据压缩技术
图99和100图示说明了根据前面已经被描述的该“邮票”压缩技术的一个变化来执行的处理。本质上,在图99和100的变化中,不是简单地在保存中忽略差异图象中的“相同”MCU,而是在JPEG编码以前,该差异图象的该“相同”MCU部分可以被转换为一个全黑的条件。
转到图99,一个初始化步骤被执行(步骤2220)。步骤2220以后是步骤2222,在步骤2222中,接收将要被解码的下一视频数据场。步骤2222以后是步骤2224,在步骤2224中,每一个点值的最低位被强制取一个与一黑点值不一致的值。下面判断(步骤2226)该正在被处理的场是否是一个参考场。如果该正在被处理的场是一个参考场,就执行步骤2228。在步骤2228中,对所有块执行JPEG压缩(如在前面所描述的压缩技术中一样),并且更新用于作出“相同性”判断的该参考统计数据。然后该处理循环返回到步骤2222。
如果在步骤2226,发现将要被处理的该场是一个差异场,然后就拾取下一个数据瓦片或MCU(步骤2230),并且计算特征统计数据(步骤2232)。该统计数据的计算可以使用上面所描述的校验板子采样技术或者其他合适的技术,包括数据瓦片或者数据瓦片的四分之一部分中的对角线采样。
步骤2232以后是步骤2234,在步骤2234中,将该计算的特征与参考特征进行比较,并且在步骤2236中作出一个“相同性”的判断。如果在步骤2236中,发现该当前MCU或者数据瓦片与参考数据瓦片或者MCU“相同”,则所有组成正在被处理的MCU或者数据瓦片的点被设置成表示MCU或者并列形式中的一个实心黑颜色的值(步骤2238)。
步骤2238以后是步骤2240、2242和2246,它们表示包括正交变换、量化和变长编码的JPEG编码技术的部分。所以,变黑的数据瓦片或者块被进行JPEG编码。但是,如果在步骤2236中发现被处理的数据瓦片或者MCU与参考统计数据不同,那么就对该数据瓦片或者MCU执行JPEG编码步骤,而且不首先使该数据瓦片或者MCU变黑。
步骤2246所示的判断模块说明该处理循环返回到步骤2230,直到已经处理了最后的数据瓦片或者MCU或者差异场,在这一点,该处理循环返回到步骤2222。与图99的“黑色填充”邮票解压缩技术相应的解压缩技术被显示在图100中。图100中开始的步骤是步骤2248,步骤2248表示现在是否需要解码一个参考场的判断。如果是,就对该场中的所有数据瓦片进行JPEG解压缩,并且使用被解码的数据瓦片来更新与整个图象平面相应的显示缓冲器位置(步骤2250)。然后该处理循环返回到步骤2248。
如果在步骤2248中发现现在将要解码一个差异场,然后对该差异场中的每一个数据瓦片或者MCU执行一个处理循环(如步骤2252所示)。该循环中的一第一步骤是步骤2254,在步骤2254中对特定的数据瓦片或者MCU进行JPEG解压缩。然后在步骤2256中判断整个数据瓦片或者MCU是否是黑的。如果是,下面就是步骤2258,在步骤2258中不更新与该数据瓦片或者MCU相应的显示缓冲器位置。但是,如果在步骤2256中发现该数据瓦片或者MCU不是全黑的,然后就完成了对该块的JPEG解压缩处理(步骤2260),并且使用与该块相应的“邮票”来更新该图象平面相应位置的显示缓冲器(步骤2262)。
图100的解压缩技术可以总结为:在差异数据场中,黑邮票被扔掉,不黑的邮票被用于更新该图象平面。可以看到刚才联系图99和100所描述的技术与例如联系图44所描述的初始“邮票”压缩技术相比,缺乏被改变的MCU映射数据1134。这样,图99和100所显示的数据格式和处理技术在某种程度上更简单了,但是缺乏运动检测和由该映射数据所提供的后向解压缩所带来的优点。另外,“黑色填充”邮票技术提供了一个较低的压缩比例。另外,图99的技术所提供的被压缩的视频数据的动态范围比纯“邮票”技术的小,这是因为不允许一个被压缩的视频数据点具有一个真正的黑色值。
用户可选择的显示/保存选项
现在参考图101A和101B描述允许该用户选择关于输入视频信号流的保存的空间和时间分辨率选项的处理。
首先,将参考图101A来描述该处理的一个建立部分。在步骤2264中,向该用户提供空间和时间分辨率选项。在步骤2266中,判断该用户是否对由一个给定的摄像机所产生的视频信号流选择了一个非标准的时间分辨率。一个非标准的时间分辨率的示例是一个“时间延迟”记录模式,该“时间延迟”记录模式记录该相应输入流的场速率(时间分辨率)比使用标准分辨率来记录流的场速率要低。如果在步骤2266中的判断是一个肯定的判断,然后向该前端电子装置发送一个合适的消息(步骤2268)以使对所考虑的摄像机流实现该非标准的时间分辨率。
在步骤2270中判断是否对给定的一个摄像机流请求了一个非标准的空间分辨率,非标准的空间分辨率的示例是使用比系统标准240水平行更多的或者更少的行来表示所考虑的摄像机流的每一个的视频场。如果在步骤2270中的判断是一个肯定的判断,然后向视频保存软件部件发送一个合适的消息来实现被选择的非标准的空间分辨率(标准2276)。
图101B表示被执行来实现联系图101A所讨论的分辨率选项的处理。特别的,图101B所显示的处理表示在图52(“视频保存”软件部件)的模块1306(“预告警?”)的判断是一个否定的判断时所进入的步骤。在图101B的处理中,首先判断是否接收了关于正在被保存的场的一个非标准分辨率消息(步骤2274)。如果不是这样,就从图101B的步骤2274直接进入图52的步骤1308。但是,如果步骤2274中的步骤是一个肯定的判断,然后例如,正在被保存的该场的替换行被从保存中忽略(步骤2276),然后产生表示被保存的数据一个非标准的时间或空间分辨率的索引数据(步骤2278)。
图102表示被执行来设置一个与输入信号流的压缩相关的参数的处理。图102所显示的第一步骤是步骤2280,在步骤2280中提供了一个屏幕显示,来向该用户提供与压缩操作相关的参数设置选项。该选项通常在图象质量和有效的使用VR/PC单元的保存容量之间进行折衷。该选项可能包括设置对JPEG芯片848(图14)中的量化操作有用的比特率,增加在参考场之间的每一个间隔中的差异场的数目,和/或者调节在判断是否保留或者丢弃差异场中的数据瓦片所用的一个数据瓦片相同阈值。应该理解被提供给该用户的该选项应该是针对不同摄像机可进行不同的设置的。
步骤2282中判断是否选择了一个参考场之间的非标准间隔。另外,在步骤2284中判断是否选择了一个非标准的块相同阈值。在步骤2282和2284中的任何一个判断是肯定的情形下,以后是步骤2286,在步骤2286中,向该前端电子装置发送实现该非标准的压缩参数的一个合适的消息。尽管没有被显示在图102中,如果该用户表示量化比特率发生了改变,一个关于这种影响的消息也被发送到该前端电子装置。
图象分析工具在分布式IVIM系统中的应用
现在参考图103A到103C来描述涉及从一个远程位置,例如一个本地或者主节点向该VR/PC单元下载图象流分析算法的处理。
图103A所显示的处理是从该外部装置,例如该主节点或者该远程节点的角度来提供的。在步骤2286中,判断一个远程VR/PC单元是否已经请求将一个与一个图象分析算法相应的程序从该主节点或者本地节点发送到该VR/PC单元(步骤2286)。如果是,下面就是步骤2288,在步骤2288中判断是否将在该请求VR/PC单元中设置将用来约束该算法执行的参数。步骤2290以后是步骤2292,或者如果该参数不被设置在该主节点或者本地节点中,步骤2288以后就是步骤2292。步骤2292中与该被请求的分析算法相应的程序,和被设置的参数(视情况而定)被下载到该请求的VR/PC单元。
图103B提供了涉及图103A中步骤2290的附加细节。特别的,在图103B的步骤2294中,表示一个参考图象被从该请求的VR/PC单元上载到该算法参数将要在其中被设置的主节点或者本地节点。然后该主节点或者本地节点使用该被更新的参考图象来设置该算法参数(步骤2296)。
图103C是说明了当一个主节点或者本地节点进行工作来在两个或者多个远离该节点装置的VR/PC单元中发起基于分析工具的搜寻时,在该节点中所发生的处理。步骤2302是图103C所显示的第一步骤。在步骤2302中,该节点装置发起与在一第一远程位置的一个VR/PC单元之间进行的通信,来促使一个参考图象被该第一VR/PC单元上载到远程装置。然后在该节点装置中选择一个图象分析算法,并且使用该被上载的参考图象来设置约束该算法的执行的参数(步骤2304)。步骤2304以后是步骤2306,在步骤2306中,时间参数(开始和结束时间)被规定来表示对该第一VR/PC单元中的视频数据所执行的随之发生的数据库搜寻的时间。步骤2306以后是步骤2308。步骤2308中,一个数据消息(或者更明确的一系列数据消息)被从该节点装置发送到该第一远程VR/PC单元来下载该被选择的分析算法、在该节点装置中被设置的参数、和所感兴趣的时间范围。在这一时刻在第一VR/PC单元中开始执行视频数据库的基于算法的搜寻。
步骤2308以后是步骤2310到步骤2316,除了步骤2310到步骤2316是对位于一个与该第一VR/PC单元的位置不同的位置的第二VR/PC单元而执行的,步骤2310到步骤2316与步骤2302到步骤2308相同。与前面相同,一个参考图象被上载(步骤2310),在该节点装置执行分析算法的选择和参数的设置,还进行相关的时间范围的设置(步骤2312和2314),并且消息被发送到该第二VR/PC单元来下载该被选择的算法,并与包括时间参数的参数一起,激发在该第二VR/PC单元所执行的一个视频数据库搜寻(步骤2316)。图103C中的最后步骤是2318,在步骤2318中该节点装置等待VR/PC单元报告在每一个VR/PC单元所执行的相应搜寻的结果。在该分布式IVIM系统中,另一可以设计的示例是将一个动态视频图象数据序列从一个VR/PC单元上载到一个主节点或者本地节点,以将一个图象分析算法应用到该节点中被上载的图象序列。可以看到,因为将该视频数据从该VR/PC单元发送到该节点需要很高的传输带宽和/或者大量的时间,这个示例并不总是可取的。
图104表示在一个被应用到一个现场输入视频流的图象分析算法检测到一个感兴趣的特征时所产生的自动发送感兴趣的视频信息的处理。假定图104中的处理是在一个VR/PC单元中被执行的。开始,在图104的处理中,判断被应用到由摄像机X所产生的一个输入流的一个分析算法是否检测到该算法希望检测的一个特征(步骤2320)。如果是,该VR/PC单元工作,来自动将来自输入摄像机X信号的视频数据场发送到一个外部装置,例如一个本地或者主节点装置(步骤2322)。
对事件的智能响应
图105说明了在一个VR/PC单元中被执行的、来在通过对一个现场输入视频图象流进行图象分析检测到一个感兴趣的特征时,改变一个摄像机记录序列的处理。
图105的开始步骤是步骤2324,在步骤2324中,判断是否已经在来自一第一视频摄像机的输入视频信号流中检测到一个感兴趣的特征。当检测到一个这样的特征时,以后就是步骤2326,在步骤2326中,一个与第一摄像机不同的、并且到现在还没有被包括在记录序列中的摄像机被加到该记录序列中。例如,两个摄像机可能产生从不同的角度观察相同的区域的视图。第一摄像机可能正常的使用被应用到来自该第一摄像机的输入流的一个运动检测分析算法来进行工作。当检测到运动时,正常处于“脱机”(没有进行记录)的第二摄像机被加到该记录序列,以使从两个角度来捕获这个运动事件。尽管图105中没有表示,步骤2326的响应也包括永久的保存由第二摄像机产生的和作为以图75的块1726和1728出现在一个预告警缓冲器中的视频信号。
图106说明了在软件中所实现的一个特征,通过该软件,一个图象分析算法所检测到一个图象特征促使激发一个另外的图象分析算法。图106中的一个开始模块2328与图105中的模块2324相同。如果由模块2328所表示的该图象分析算法检测到它希望检测到的特征,然后步骤2328以后是步骤2330。在步骤2330中,一个预定图象分析算法,和预保存参数被从存储器中进行检索。步骤2330以后是步骤2332。在步骤2332中,该被检索的分析算法被发送到该前端电子装置,以被应用到由使用在2328中所提到的该算法来进行监测的相同摄像机所产生的输入视频图象流,或者另一输入视频流,或者两个视频流。在步骤2330中被检索的该附加算法可以是与步骤2328中所应用的算法具有相同的类型,或者本质上不同。
图107说明了促使对检测到一个告警条件作出响应,改变视频数据压缩参数的处理。从图108可以看出,首先在步骤2334中,判断是否检测到一个告警条件。可以通过来自一个告警传感器装置的输入,通过使用一个图象分析算法对一个现场视频流所执行的分析,或者通过这个系统的一个用户输入一个信号来宣称一个告警条件来检测该告警条件。在任何一种情形下,当检测到一个告警条件时,步骤2334以后是步骤2336。在步骤2336中,从存储器中检索一个描述,该描述指定与被检测到的告警条件相关的一个摄像机或者多个摄像机,并且表示因为被检测到的告警条件而将被应用的被更新的压缩算法参数。典型的,该告警激发的压缩参数可以是一种能够改善图象质量的参数。这样,将增加JPEG编码处理中的量化可用的比特数目,将减少参考图象之间的每一个间隔中的差异图象的数目,和/或者降低用于将差异场数据瓦片与参考数据瓦片进行比较的“相同”阈值。
步骤2336以后是步骤2338。在步骤2338中,在步骤2336中被检索的该被更新的压缩参数,和根据该被更新的压缩参数来压缩被指定的摄像机视频流的命令被发送到前端电子装置。
图108说明了如何对使用被应用到一个现场输入视频流的一个图象分析算法检测到的一个图象特征作出响应,改变一个摄像机的有效视场的示例。图108中假定,如前面所描述的,一边界侵入检测算法被应用到由一个被指定为摄像机X的摄像机所产生的一个现场视频流。在步骤2340中,判断是否检测到了一个边界侵入。如果是,以后就是步骤2342。在步骤2342中,通过处理来自摄像机X的输入视频流来执行一个缩放操作,以使该图象平面中与被指定的边界相应的部分被放大。使用这样的方式,图象平面的一个较大部分可以被用于图象流中可能是最重要的信息,即在被指定的边界上或与被指定的边界相邻的边界上的特征。
图109说明了对被应用到一个现场输入视频流的一个图象分析算法检测到一个图象特征作出响应,自动的改变一个摄像机的视场的示例。图109中所显示的开始步骤2344与图105中的步骤2324相同。如果在步骤2344中发现检测到了感兴趣的特征,然后就执行步骤2346。在步骤2346中,产生一个预定告警输出和/或者产生一个信号来引起在步骤2344中监视到来自其中的视频流的摄像机的一个预定运动和/或一个不同的摄像机的预定运动。可以使用一个预定目标算法来执行一个预定的摄像机运动或者多个运动,如美国专利号5,526,041所描述的。
图110说明了对检测到一个输入视频流的两个不同特征作出响应采取一个运动动作或者多个动作的处理。步骤2348中通过应用以第一图象分析算法,判断在一个输入视频图象流中是否出现了一第一特征。如果在步骤2348中,判断出第一分析算法已经检测到该预定特征,然后就是步骤2350,在步骤2350中通过使用一第二分析算法判断在相同的输入视频流中是否检测到一第二预定特征。如果是,以后就是步骤2352。如图110所示,仅当步骤2348和2350均作出了一个肯定的判断时,才进入步骤2352。
步骤2352表示下述动作中一个或者多个的性能:改变输入视频流的显示图象(例如,通过增加垂直分辨率或者时间分辨率);选择其中将要保存一个输入视频流的一个保存媒质(例如,向一个外部装置,例一个本地或者主节点发送表示该视频流的数据);发送一个信号来引起产生该输入视频流的摄像机或者一个不同的摄像机的一个自动目标搜寻或者其他运动;和/或者选择一个将要被应用到一个不同视频流的输入视频流的附加图象分析算法。图110所显示的处理可以被认为是应用两个分析工具的一个逻辑组合,特别是在这种情形下,两个工具的一个与组合。进一步可以设计分析工具的其他逻辑组合也可以被使用来检测一个事件条件,或者来触发一个预定的响应,等等。例如,当“点击”两个或者多个工具中的任何一个被检测到时,就宣称有一个事件条件。这能构成两个或者多个工具的一个或组合。(从前面的句子另一理解,也可以设计多于两个分析工具的逻辑组合。)另外,还可以采用其他逻辑运算符,例如或非,与非,异或,等等,和包括两个或者多个运算符的复杂逻辑组合。
可以向该用户提供一个屏幕显示(没有显示出来)以允许从工具或者逻辑运算符的选择中构造一个所需的分析工具逻辑组合。该用户还可被允许选择该分析工具将被应用到其上的一个摄像机流或者多个流,并且被允许设置与该被选择的工具相关的参数。
图111说明了一个处理,在该处理中,当产生将要被应用该算法的视频流的摄像机在运动时;或者当有一个与该摄像机相关的告警条件时,禁止应用一个现场图象分析算法。在图111中,步骤2354表示判断是否出现了与一个特定摄像机(被指定为摄像机X)相关的一个告警条件。该告警条件可以通过一个告警传感器装置,通过现场图象分析被检测,或者通过用户输入来被发起。步骤2356表示判断摄像机X是否在运动,这个判断可以是基于是否从该摄像机控制装置528(图1)接收到一个摄像机运动信号。
继续参考图111,如果步骤2354和2356中的任何一个作出一个肯定的判断,就进入步骤2358。在步骤2358中,一个合适的信息被发送到该前端电子装置,来禁止向由摄像机X所产生的现场视频流应用一个图象分析算法。在已经检测到与摄像机X相关的一个告警条件的地方,禁止对摄像机X视频流进行现场分析,以避免不适当的延长告警条件是有利的。另外,当摄像机X在运动时,禁止对摄像机X视频流进行现场分析是可取的,因为产生关于由正在运动的摄像机所产生的视频流的有意义的分析可能是不可能的,这与图象分析算法的本质有关。图112说明了被设计来处理一运动的摄像机正在产生有关视频流的情形的另一特征。图112中,第一步骤是2360,步骤2360与图111的步骤2356相同。如果在步骤2360中,判断出一个摄像机X正在运动,然后就是步骤2362。在步骤2362中,一个消息被发送到该前端电子装置来加入一个表示(例如,在摄像机X视频流的视频数据场头中设置一个比特值)来说明所考虑的视频数据场是在摄像机在运动时所产生的。在再生由一个运动摄像机所捕获的视频数据场时,可以使用该头数据来禁止一个后记录图象分析算法,或者作为将被一个图象分析算法进行特殊处理的一个提示。作为步骤2362的一个替代,在头数据中的该“处于运动中”的提示可以在记录处理期间被加到主板CPU,和/或者被加到在将视频流记录在硬盘的期间所产生的索引数据中。
图112A说明了使用该摄像机在运动的提示来禁止随后应用一个图象分析算法。图112A显示的第一步骤是步骤2364。在步骤2364中,判断是否选择了一个图象分析算法和用于将该算法应用到从该硬盘被再生的一个视频图象流的参数设置。如果是,然后从该硬盘中检索将要被分析的该视频流(步骤2366)。步骤2366后面是步骤2368。在步骤2368中,判断伴随着被再生的视频数据场的头数据表示在产生视频数据场时,产生视频数据场的该摄像机是否在运动。如果是,步骤2368以后是步骤2370。在步骤2370中,禁止被选择的图象分析算法的执行,然后产生在被选择的视频流期间摄像机在运动的一个消息报告(步骤2372)。另一方面,如果在步骤2368中没有发现运动标志,然后就应用图象分析算法,并且根据前面所公开的通常实践来报告该算法的结果(步骤2374和2376)。
应该理解,一个运动表示被包括在索引数据而不是一个头数据中,在这种情形下,步骤2368必然检查该索引数据是否有运动表示。
图113说明了一个处理,其中当检测到一个告警条件时,增加捕获和保存视频数据场的一个整体速率。
图113中,步骤2378判断是否检测到一个告警条件。该告警条件的检测可以是基于从一个告警传感器装置所接收的一个信号,或者是通过将一个图象分析算法应用到一个现场视频图象流,或者是通过该系统的一个用户来激发一个告警信号。如果在步骤2378中,发现出现了一个告警条件,然后就是步骤2380。在步骤2380中,该VR/PC单元,特别是其上的前端电子部分被从使用一第一速率来捕获和保存视频数据场的一第一模式切换到使用一更高的综合速率来捕获视频数据场的一第二模式。例如,可以设计当没有告警条件时,该VR/PC单元使用每秒30场的速率来进行捕获和保存。例如,该每秒30场的综合速率可以被依次分配给与该VR/PC单元相连的每一个摄像机。但是,当检测到一个告警条件时,该综合场捕获速率被增加到每秒45场。可以根据与前面相同的序列来分配该每秒45场的捕获和保存速率,或者更优选的,每秒15场或者30场的速率可以被分配到一个或者两个特别感兴趣的摄像机,然后将余下的场记录时隙分配到一系列其他摄像机。被一个有告警的摄像机所产生的序列被与上面联系图76所讨论的其他摄像机所产生的一系列场交织在一起。
图114说明了分别将不同的压缩参数应用到从不同的摄像机所接收的输入视频流的步骤。步骤2382是图114所显示的第一步骤,它表示当每一个摄像机被选择到将要被记录的摄像机记录序列中时,对每一个摄像机执行随后的步
骤2384和2386。在步骤2384中,该处理检索将要被记录的下一个摄像机的压缩算法参数,该压缩算法参数决定在一个差异视频数据场的一个数据瓦片和一个参考场之间的差异在多大程度上可以被认为是该差异场数据瓦片与该参考场数据瓦片没有“差异”。在步骤2386中,使用在步骤2384中所检索的压缩参数来将该压缩算法应用到该差异场数据。
图115表示一个处理,使用该处理一个告警条件的检测促使一个显示缓冲器被使用与没有告警条件时的方式不同的方式来更新。图115中的第一步骤是步骤2388,该步骤与图113的步骤2378相同。如果步骤2388判断出现了一个告警条件,然后更新该显示缓冲器以使在每一个场显示间隔更新整个显示缓冲器(步骤2390)。另一方面,如果没有发现告警条件就执行步骤2392。在步骤2392中,在每一个显示周期,仅更新一部分显示缓冲器。例如,可以使用一个隔行更新的技术,由此在一第一显示周期更新与偶数行点相应的显示缓冲器位置,然后在下一个显示周期更新余下的位置(奇数行),并且对随后的显示周期执行该偶数和奇数行显示缓冲器位置的交替更新。
VR/PC单元同时执行主要功能
图116说明VR/PC单元解决在该VR/PC单元中所执行的记录,回放和存档功能之间的冲突的处理。在记录,回放和存档期间所处理的数据的数量是动态改变的。例如,存在一个时间既不执行回放,也不执行存档。或者将要被回放,或者将要被存档的视频信息的数量发生改变。另外,产生要记录的视频数据的速率与视频场被捕获的综合速率,对输入视频流可获得的压缩程度,该用户所选择的分辨率和压缩参数和其他因素相关并且会发生改变。
这里所公开的VR/PC单元是用于同时进行记录、回放和存档存在的。如在这里所使用的,术语“同时”应该被从字面上和从虚拟的角度来理解。作为一个字面上同时进行的记录和回放操作的示例,可以考虑这样一种情形,一个视频显示监视器正在显示从该硬盘被再生的一个视频图象流的一个信号,而在严格相同的时刻,由一个或者多个与该VR/PC单元相连的摄像机所产生的视频数据被写到该硬盘中。“虚拟”同时可以用该主板CPU的一个多任务操作来实现,通过该操作,独立的记录、回放和存档控制线程同时在运行。该领域的技术人员可以理解,同时运行记录、回放和存档线程包括被该CPU执行的处理周期进行时分复用来在其他操作中实现记录、回放和存档线程。通过该多任务操作,在很短的时间,例如,一秒的一小部分以内,重复执行与记录、回放和存档线程这三个均相应的活动。
当然,在一个给定时间以内由该主板CPU所执行的处理周期的数目是有限的。另外,数据被写到或者从该硬盘读取的速率也是有限的。所以存在一种情形,同时进行记录、回放和存档操作被CPU的处理能力或者硬盘的访问速率所限制。图116说明了该VR/PC单元如何来管理这种限制的一个优选实施方式。
图116的第一步骤是步骤2394,在步骤2394中,就同时运行记录、回放和存档操作。步骤2394以后是一个步骤2396,在步骤2396中,判断该处理器(和/或者硬盘访问带宽)是否已经被三个同时运行的记录、回放和存档线程造成了过载。如果没有,该处理简单地循环返回到步骤2394。但是,如果在步骤2396中发现该处理能力已经过载了,然后是步骤2398,在步骤2398中,仅同时运行记录和回放操作。这样,存档的优先级比记录和回放中任何一个的优先级低。步骤2398以后是步骤2402。在步骤2402中,判断同时运行的记录和回放操作是否已经引起该处理器的能力(和/或者硬盘访问带宽)的过载。如果没有,然后在步骤2404中判断是否有足够的处理能力和硬盘带宽来支持存档以及记录和回放。如果是,该处理返回到步骤2394。否则,该处理返回到步骤2398。
如果在步骤2402中发现该记录和回放已经引起该处理器过载或者超过了该硬盘访问的能力,然后该回放操作就被停止,仅执行记录操作(步骤2406)。这样,可以看出,记录的优先级比回放和存档的优先级均高。
步骤2406以后是步骤2408。在步骤2408中,判断该处理器是否有一预定数量的未使用容量,如果有,就是步骤2398,并且重新同时运行记录和回放。但是,如果没有出现预定数量的未使用容量,然后就仅运行步骤2406中的记录操作。
在同时运行记录和存档操作而没有运行回放操作的情形下,在某种程度上对图116的流图的理解变得简单了。但是,应该理解,记录的优先级总是比回放和存档的优先级高,回放的优先级总是比存档的优先级高。
图117A说明了在同时运行记录和存档操作时所被执行的处理。根据图117A的第一步骤2410,数据被从一个磁盘驱动器(被指定的磁盘驱动器B)拷贝到用于存档的可拆卸的记录媒质上(例如,数字音频磁带),而同时输入的视频流被记录到另一个磁盘驱动器,指定的驱动器A。步骤2410以后是步骤2412,在步骤2412中,判断所有视频数据是否已经被从磁盘驱动器B拷贝到该存档媒质。如果没有,就继续步骤2410。但是,一旦完成了将该数据磁盘驱动器B拷贝出来,就开始将数据从磁盘驱动器A拷贝到该存档媒质,而使用磁盘驱动器B来记录输入视频数据流(步骤2414)。在步骤2416中,判断是否已经将所有视频数据从磁盘驱动器A拷贝到该存档媒质。如果没有,就继续步骤2414。但是,一旦完成了该磁盘驱动器A的存档,该处理就返回到步骤2410,并且对磁盘驱动器B进行存档和在磁盘驱动器A上进行现场记录。
在图117A中执行的该处理可以总结如下:磁盘从存档切换到记录的时刻是存档的完成。图117B提供了一个替代的技术,其中继续将现场数据记录在第一磁盘上,即使在另一磁盘驱动器上的所有视频数据被存档以后。图117B的处理的开始步骤是步骤2418,其中它与图117A的步骤2410相同。图117B中,步骤2418以后是步骤2420。步骤2420与图117A中的步骤2412相同。即判断在磁盘驱动器B上的所有视频数据是否已经被拷贝到该存档记录媒质上。如果没有,就继续进行步骤2418。但是如果完成了对磁盘驱动器B的拷贝,然后就是步骤2422。在步骤2422中,不再进行存档操作,但继续将输入视频数据记录在磁盘驱动器A上。步骤2422以后是步骤2424。在步骤2424中,判断是否已经使用了整个磁盘驱动器A的保存容量(或者替代的,判断是否已经使用了记录容量的一预定部分)。如果没有,继续步骤2424。但是,如果磁盘驱动器A已经满了或者已经达到预定数量程度,然后就是步骤2426。步骤2426与图117A的步骤2414相同,表示现场记录已经被从磁盘驱动器A切换到磁盘驱动器B,并且开始将被记录的视频数据从磁盘驱动器A拷贝到该存档媒质上。在步骤2428中,判断是否已经完成了对磁盘驱动器A的存档。如果没有,就继续步骤2426,但是如果已经完成了对磁盘驱动器A的存档,然后就是步骤2430。在步骤2430中,不再执行存档,但是继续将现场数据记录到磁盘驱动器B。在步骤2432中,判断磁盘驱动器B是否已经满了。如果没有,继续将视频数据记录到磁盘驱动器B上,否则就再一次进入步骤2418。即现场记录被切换回磁盘驱动器A,又开始对磁盘驱动器B存档。
对于图117A和图117B,已经假定在完成对另一磁盘驱动器的存档以前,决不会达到一个磁盘驱动器的满记录容量。如果情形不是这样,就设计成将现场记录从满磁盘驱动器切换到正在被存档的磁盘驱动器。应该理解,在联系图117A和117B所讨论的记录和存档操作进行的同时,可以执行回放操作。
一个在另一磁盘被完全存档以前禁止一个磁盘被填满的技术被提供在图118中。对图118,已经假定对一个磁盘驱动器进行记录,同时对另一磁盘驱动器进行存档。在步骤2434中,对完成存档操作的时间进行估计,并且考虑存档的速率和要被存档的数据的数量。在步骤2436中,对正在被用于记录的磁盘的容量被耗尽的时间进行估计。例如,根据余下的未被使用的保存容量和数据被记录的速率来进行估计。
在步骤2438中,判断在另一磁盘驱动器被填满以前是否将已经完成了存档操作。如果首先完成了存档,然后处理循环返回到步骤2434。但是,如果在存档完成以前,另一磁盘的容量将被填满,就向该前端电子装置发送一个消息来减少用于捕获视频数据场以进行保存的综合速率(步骤2440)。使用这样的方式,减少了保存速率,从而允许完成对另一磁盘的存档。
VR/PC单元的用户友好特征
图119说明了产生一个将要被保存在VR/PC单元的硬盘上的、用于保存关于前面被VR/PC单元记录的存档磁带的索引信息的数据库的一个处理。图119中的第一步骤是步骤2442,在进行存档时,该步骤2442请求对一个存档磁带的索引消息进行累计。在步骤2444中,表示继续对存档磁带的索引信息的累计,直到弹出了存档磁带。这时,被累计的被弹出磁带的索引信息被加到保存在VR/PC单元中至少一个硬盘上的存档数据库中(步骤2446)。该用户被允许访问该存档磁带数据库,以使该VR/PC单元能够帮助该用户管理被保存在该存档磁带上的视频数据。
图120说明了一个处理,通过该处理该VR/PC单元进行工作来对连接到该VR/PC单元的摄像机中的故障的起因进行自动诊断。典型的视频摄像机的服务寿命是有限的,并且随时间的增加其性能降低。老化的视频摄像机遇到的典型问题是无法聚焦和“光晕”,即一些点位置产生的输出比实际的要亮。图120所示的该处理使该VR/PC单元能够自动跟踪和诊断摄像机的特性随时间的降低。
图120中的第一步骤是2448,在步骤2448中,在该摄像机被首先连接到该VR/PC单元的以后就,或者不久以后,捕获由该摄像机所产生的一个图象。步骤2448以后是步骤2450。在步骤2450中,对与在步骤2448中被捕获的图象相应的数据执行一个统计数据分析,来产生当分析随后被该摄像机所捕获的图象时所使用的一组基础特征统计数据线。优选地,该基础特征统计数据线包括一个或者两个表示图象信号的高频分量的统计数据和表示图象数据的颜色分布的统计数据。该基础特征统计数据线然后被保存在该VR/PC单元中的一个硬盘中。
步骤2452表示在周期性的产生基础特征统计数据线以后,执行对摄像机的一自动诊断。在开始安装了摄像机以后,例如,可以使用固定的间隔,例如每周或者每月,来执行该自动诊断处理。自动诊断的第一步骤是步骤2454。在步骤2454中,捕获由该摄像机所产生的当前图象。然后在步骤2456中,从该当前图象数据产生与该基础特征统计数据线相应的统计数据,并且将该统计数据与基础统计数据线进行比较。然后如步骤2458所示,根据该当前图象的统计数据与基础统计数据线的比较结果来判断该摄像机是否继续有令人满意的性能。例如,与基础高频分量统计数据线相比,当前图象信号的高频分量的显著下降可能表示该摄像机不再有令人满意的聚焦。类似的,颜色数据的分布的显著偏移可能表示在摄像机的拾取元件中有过度的光晕。为了避免错误的发现摄像机的故障,建议用于诊断被捕获的图象在与产生基础线图象的光线条件相同的光线条件下来被产生。例如,通过在晚上在受控的光线条件下来拍摄基础线和随后的图象,就可以做到上面这一点。
如果在步骤2458中发现在图象统计数据中有一个表示不令人满意的摄像机性能的显著改变,然后采取合适的步骤,例如显示一个告警(步骤2460),来表示该摄像机不能正确的工作。尽管图120说明了是仅对一单个摄像机进行自动诊断,可以理解,通过对捕获基础统计数据线和随后的自动统计图象的捕获的时序进行合适的变化,图120的处理可以被应用到所有与VR/PC单元相连的摄像机。
现在参考图121来描述一个处理,通过该处理VR/PC单元产生要被用于向一个用户提供一个状态信息显示的数据。这样一种状态显示的示例被提供在图149中。
图121的处理从步骤2462开始,在步骤2462中,判断该用户是否请求要显示系统状态信息。例如,可以通过激发被提供在前面板上的状态按钮646来输入该状态显示的请求(图6)。
继续参考图121,如果请求了一个状态请求显示,步骤2462以后是步骤2464。在步骤2464中,该主板CPU判断被包括在VR/PC单元中的该磁盘驱动器或者多个磁盘驱动器有多少没有被使用的记录容量。然后在步骤2466中,判断被装到内部存档DAT驱动器中的记录媒质(数字音频磁带)上有多少没有被使用的记录容量。下面在步骤2468中,判断已经记录了但是没有被用户浏览的告警事件条件的数目。步骤2468以后是步骤2470。步骤2470产生已经被浏览但没有被删除的告警事件报告的数目。步骤2470以后是步骤2472。在步骤2472中,该王板CPU产生连接到该VR/PC单元的摄像机的数目,在步骤2474中,对位于激活记录序列中的摄像机的数目进行计数。最后在步骤2476中,步骤2464到2474所捕获的所有数据被用于产生状态信息显示屏幕(图149)。
图122说明了允许一个用户方便的从观看由一第一摄像机在一给定时间所产生的一个被再生的视频图象流移动到观看由一不同的摄像机在相同时间所产生的一被再生的视频图象流的VR/PC单元的一个特征。图122的第一步骤是步骤2478。在步骤2478中,由一第一摄像机在过去一特定时间所产生的一图象流被从该硬盘中再生并且被显示在该显示监视器上。一个回放显示格式的示例,例如在步骤2478中被提供的,被显示在图12中,图12的屏幕显示包括显示由一个摄像机(假定为摄像机1)所产生的被再生的图象的一个视频图象显示区域2479。对于这个示例,假定被显示在该区域2479中图象流是由摄像机1在前一天的早上十点所产生的。
再一次参考图122,步骤2478以后是步骤2480。在步骤2480中,判断是否选择了一个不同的摄像机来进行回放。如果没有,就继续再生由摄像机1在前天所产生的图象流(步骤2478)。但是如果除了与摄像机1相应的按钮外该用户还激发了其它的摄像机选择按钮650(图6)中的一个,然后步骤2480中,选择另一摄像机(摄像机2)。在这种情形下,步骤2480以后是步骤2482,该主板CPU进行工作,以搜寻、再生和显示由摄像机2(被选择的摄像机)在与摄像机1产生当前被显示的回放视频的时间相同的时间(前一天的十点)所产生的视频图象流。步骤2482以后是步骤2484,在步骤2484中,该VR/PC单元促使该显示监视器移动到一个分离屏幕显示模式(图12中没有显示),在该模式中同时显示摄像机1和摄像机2在前一天的早上十点所分别产生的视频图象流。
应该注意,可使用鼠标来激发被显示在图12中的虚拟摄像机选择按钮来执行在步骤2480中被检测的摄像机选择,它可以作为激发相应的前面板摄像机选择按钮650的一个替代方式。
图123示意性的说明了VR/PC单元同时执行记录和回放操作的操作。图123示意性的说明了同时运行的控制线程2486和2488。线程2486涉及捕获和记录由连接到VR/PC单元的摄像机所产生的现场输入视频信号流,线程2488涉及接收用户请求并且按照该用户请求来检索和回放被保存在VR/PC单元中的硬盘上的视频数据流。通过使用被提供给该主板CPU的操作系统软件的多任务特性,同时实现独立的控制线程是可能的。
所显示的线程2486包括步骤2490和2492。在步骤2490中,由连接到VR/PC单元的摄像机所产生的视频图象流被使用一个时分复用的方式来连续捕获,在步骤2492中,将所产生的视频数据场序列记录在该硬盘上。
所显示的回放线程2488包括步骤2494和2496。在步骤2494中,该用户发起一个请求,请求来回放前面由一个特定的摄像机在一个特定的时间所产生的、被记录在该硬盘上的一个视频数据流。在步骤2496中,与该被请求的流相应的视频数据被从该硬盘中检索并且被显示在该显示监视器上。例如,可以提供按照图12所显示的格式显示的一个显示。应该理解,即使被请求的被再生的视频数据流被显示在图12的屏幕显示的显示区域2479中,继续进行现场输入视频数据流的记录而不会中断。
图124使用一般的形式说明了同时显示两个不同的被再生视频图象流的特征。图124的第一步骤是步骤2502,步骤2502与图122的步骤2478相应。然后在步骤2504中,判断该用户是否请求在步骤2502显示流的同时再生一个附加的视频流并且显示该附加视频流。步骤2504的一个特殊示例是图122中的步骤2480,在步骤2480中,该用户请求在产生在步骤2502中被显示的流的同时,同时显示由一个不同的摄像机所产生的流。步骤2504可能产生的另一请求是请求同时显示由产生在步骤2502中被再生的图象流的相同摄像机在不同的时刻所产生的被记录视频图象流。
在任何一种情形下,当在步骤2504中请求回放一个附加流时,以后就是步骤2506,在步骤2506中,接收或者产生被请求的流的参数(摄像机和产生的时间)。然后在步骤2508中,在步骤2502中被显示的图象流和附加的被请求的流被使用一个分离屏幕格式来同时显示。
现在参考图125来描述一个处理,通过该处理,涉及被记录在一个硬盘上的视频数据场的数据被记录在与记录有视频数据场的硬盘相同的硬盘上和一个独立的硬盘上。图125包括一第一步骤2510,在步骤2510中,接收一个现场视频数据场序列。下一个步骤是步骤2512,步骤2512表示产生与被接收的视频数据场相应的索引数据。然后,步骤2512以后是步骤2514和2516,这两个步骤被同时执行。在步骤2514中,输入视频数据场和在步骤2512中被产生的索引数据一起被记录在一个硬盘上。在步骤2516中,相同的索引数据被记录在一个与记录有视频数据场的硬盘不同的硬盘上。
通过将一“阴影(shadow)”组索引数据记录在独立的硬盘驱动器上,可以在该独立的硬盘驱动器上搜寻该索引数据,而不会阻止正在进行的、需要访问其上记录了视频数据场的硬盘驱动器的记录、回放或者存档操作。
图126描绘了VR/PC单元使用比分配到该视频流的一个“永久”场速率要高的一个场速率来对一个输入视频信号流进行预告警缓冲器保存的操作。图126中的第一步骤是步骤2518。在步骤2518中,一个输入视频数据流被接收并且被使用一个视频数据场序列的形式被捕获。对这个示例,假定使用一个大略每秒3场的速率来捕获该视频数据流。
在步骤2520中,使用一个较低的场速率,即每秒一场的速率,来将在步骤2518中被捕获的视频数据场中被选择的一些记录在一个硬盘驱动器的一个主要“永久记录区域”。(应该理解,在应该优选实施方式中,仅对该硬盘驱动器中该“永久”记录部分上的视频数据进行存档;并且优选地,不对该预告警缓冲材料进行存档,除非它被首先转移到该硬盘驱动器的该“永久”部分)。同时,在步骤2422中,所有被捕获的数据场被记录在该硬盘驱动器的一个环形缓冲器区域中,来提供一个与捕获速率相等的记录速率,即这个示例中是每秒3场。
步骤2522以后是步骤2524,在步骤2524中,判断是否已经检测到一个告警条件。如果是,下面就是步骤2526,在步骤2526中,定义该环形缓冲器区域的一个指针被移动来对该每秒3场的数据进行永久保存(替代地,该每秒3场的数据可以被从该环形缓冲器区域拷贝到步骤2526中用于永久保存的该主要区域中。)
在步骤2528中,在检测到该告警条件以后的一个预定时间期间以内继续使用满场速率来进行记录(假定是每秒3场)。
应该理解,图126的上述讨论所给定的场速率仅是示例性的,并且会发生变化,其主要点在于在步骤2522和步骤2528中被提供的时间分辨率(场速率)比在步骤2520中所提供的时间分辨率大。
图127表示这里前面所描述的该回放图象分析示例的一个一般化示例。在图127的一第一步骤中,即步骤2530中,视频数据和/或者相应的所有数据从例如一个硬盘的一个记录媒质中被检索出来。然后,在步骤2532中,VR/PC单元分析被检索的数据。例如,可以使用前面或者以后描述的一个或者多个图象分析算法。替代的,可以使用其他的图象分析算法,包括涉及在图象流中被表示的目标的运动或者加速度的其他算法。但是在步骤2532中,被使用的机器分析不限于检测图象特征。例如,该索引数据可被调查以判断在过去的某一给定时刻是哪一摄像机流被记录了。
在步骤2534中,被保存在该硬盘或者其他记录媒质上的头数据,索引数据或者类似的数据被改变或者加入,来表示在步骤2532中被执行的机器分析的结果。
应该认识到,图127中被提供的处理一般考虑了将应该机器分析应用到被保存在应该记录媒质上的应该视频数据库,然后更新索引数据或者头数据来表示该机器分析的结果。现在参考图128(a)和图128(b)来讨论前面已经被提到的图象处理设施的一个示例。特别的,这些图涉及允许该用户改善在图象平面中一个被选择的部分中的图象对比度的一个特征。
图128(a)显示了可以被提供在图113的前端模拟板电子装置中、来替代被显示在图13中的每一个放大器808的一个增益可变的放大器808’。
如图128(a)的2536所示,该放大器808’的增益可以被来自该前端控制器DSP-1的一个控制信号控制。
图128(b)说明了实现选择性的对比度改善特征的处理。在步骤2538中,选择图象平面的一部分来进行对比度改善。然后在步骤2540中,一个合适的消息被发送到该前端电子装置,来促使每一个增益可变的放大器808’进行工作,以增加该图象平面中被选择部分的图象对比度(动态范围)。
图161是被提供给该用户的、来允许选择图象平面中一部分进行对比度改善的一个显示屏幕的一个示例。2542中所表示的矩形绘图元素是图象平面中被选择来进行图象改善的区域。
用户接口屏幕的示例
图11是被提供在IVIM系统中来显示由连接到VR/PC单元的摄像机中的一个目前所产生的一个现场视频信号的一个屏幕显示格式的一个示例。图11的该屏幕显示格式包括屏幕的上部2546和屏幕的下部2548。上部2546包括一个视频图象流显示窗口2550。在该现场视频显示窗口2550的下面提供了排成一个水平阵列的六个可以用鼠标激发的开关区域2552。从图11中可以看出,可以用鼠标激发的开关区域2552的上面分别有符号说明“全屏”(全屏幕),“规划开”(打开预规划操作模式),“设施”,“存档”,“建立”和“帮助”。激发该“全屏”开关区域将促使在图11中被显示的两个部分显示的显示格式被用整个屏幕区域用作现场图象显示窗口的一个显示格式所替代。“规划开”开关允许该用户促使该VR/PC单元进入预规划操作模式。“设施”开关区域允许该用户访问特定的系统特征,例如向其他装置发送数据,或者产生系统活动的报告。“存档”开关区域允许该用户访问涉及被该VR/PC单元所执行的存档功能的特征。“建立”开关区域允许该用户进入对该VR/PC单元进行配置的一个模式。“帮助”开关区域允许用户访问上下文敏感的解释性文本显示。
在上部区域2546的右下位置提供了一个模拟的LED显示区域2554。一个符号说明“记录”靠近该模拟LED2554。该模拟LED2554与被提供在物理前面板(图6)上的LED654相应。优选的,当该VR/PC单元正在记录现场视频信号时,该模拟的LED2554被显示为第一状态(例如,红色),当没有进行记录时,它被显示为一不同的状态(例如,黑色或者深灰色)。
如果将图11的屏幕显示的下部区域2548与图6所显示的前面板布局相比,可以观察到该下部区域2548的有一个与该前面板的布局相应的布局。特别的,用鼠标可以激发的开关区域被提供在区域2548中与前面板(图6)的开关638,640,642,644,646,648,650,658和660的相应位置相应的位置。该区域2548的摄像机选择开关区域上分别有符号说明“1”到“16”,并且与物理前面板上的数目一致的摄像机选择开关650相应。另外,图11的2556所表示的一个“告警”开关区域与该前面板上的标有“告警”的开关658相应。
下部区域2548的右边有被排列成一个横向为2纵向为3的阵列、并且在位置和功能上与前面板的开关638,640,642,644,646和648相应的六个开关区域。与该前面板开关638相应的开关区域被用由2558所表示的一单个矩形所覆盖,该单个矩形表示通过激发开关638或者上面有该单个矩形的开关区域来建立的一单个窗口显示格式。类似的,表示一个2×2窗口格式的一个覆盖被提供在与开关640相应的开关区域,表示一个3×3窗口格式的一个覆盖被提供在与前面板的开关642相应的开关区域,表示一个4×4窗口格式的一个覆盖被提供在与前面板的开关644相应的开关区域。图11的下部区域2548中所有上述开关区域均可以通过操作鼠标来被激发,并且其效果与物理上按该前面板上的相应开关按钮的效果相同。还被包括在该区域2548中的是上面有符号说明“播放”的一个基本上圆的、可以用鼠标激发的开关区域2560。该圆开关区域2560在位置和功能上与该前面板的慢推进往返开关660相应。与该慢推进往返开关相似,开关区域2560有箭头的符号说明。在开关区域2560的箭头在的区域被用鼠标来操作,以使该开关区域2560发生顺时针旋转或者逆时针旋转。开关区域2560的可以用鼠标激发的旋转的效果模拟了手工旋转该前面板的慢推进往返开关660的效果。图11的屏幕显示的下部区域2548上还包括了在位置和功能上模拟前面参考该前面板(图6)所讨论的LED652和656的模拟LED显示区域。
图11的屏幕显示格式的另一显著特征是被提供在图象显示窗口2550中的字母数字字符的覆盖(overlay)。图11中所显示的该覆盖包括日期和时间信息,和一个符号说明“现场”,该符号说明“现场”明确的向读者表示被提供在窗口2550中的是一个现场视频信号。一个摄像机标识覆盖也被提供在窗口2550的左下角。
图12说明了当VR/PC单元使用一个回放模式进行工作时所使用的一个显示格式。可以通过激发该前面板的慢推进往返开关660上的播放/暂停区域,或者通过用鼠标点击在图11中所显示的圆开关区域2560的中心的符号说明“播放”来进入该回放模式。图12的屏幕显示格式基本上与图11的屏幕显示格式相同,并且仅讨论这两个格式之间的差异。首先应该理解,在图12的显示窗口2479中被显示的视频图象流表示一前面被记录的和目前被再生的图象流,而不是一个现场的、目前被产生的图象流。
图12中的开关区域特征和模拟LED区域与图11中的相同,除了图11的开关区域“规划开”,“设施”,“存档”和“建立”被图12的显示格式中的标志为“退出”,“搜寻”和“工具”的开关区域替代。图12中的“退出”开关区域的激发将该系统返回到具有图11的格式的一个现场显示模式。图12中的“搜寻”开关区域的激发将产生允许该用户来在视频数据库搜寻功能中进行选择的一个菜单屏幕显示。该“工具”开关区域允许该用户访问图象处理设施。
图129表示可以通过激发在图12的屏幕显示上的“搜寻”开关区域来被该用户来调用的一个搜寻对话框屏幕显示。图129的搜寻对话框显示的一个主要特征是选择分别有符号说明“日期/时间”,“摄像机”,“告警”和“工具”的标记对话框。在图129中所显示的特定显示格式示例中,“日期/时间”对话框在最上端。通过点击相应的标记可以激发其他标记对话框。
该日期/时间对话框有三个可以用鼠标激发的模式选择设置,分别被表示为“所有被记录的图象”,“在…之间的图象”,和“其中的图象”,第一选择实现没有任何时间限制的一个视频数据库搜寻。第二选择提供限制该搜寻时期的开始和停止限制。第三选择将该搜寻限制到在当前时间以前的一给定延迟和直到该当前时间的期间。
在该对话框区域的下面是被用于显示标识发现与搜寻准则匹配的图象的信息的一个“结果场”。在该对话框区域的右边是被排列成一个垂直列的五个开关区域,分别有符号说明“查找”,“停止”,“播放”,“关闭”和“帮助”。紧接在这些开关区域的下面是其中显示了一个“探照灯”图标的一个图标区域。当执行一个搜寻时,使用一个振荡扫描的方式来移动该探照灯图标2562,来向用户表示一个搜寻正在进行。
激发“查找”搜寻按钮促使执行被选择的搜寻。激发“停止”按钮促使停止一个正在执行的搜寻。激发“播放”开关区域促使VR/PC单元回放与在所产生的场中一个被选择项相应的一个视频流。激发“关闭”开关区域将该用户返回到图12的回放屏幕显示。在图129中可以观察到选择了所有被记录的图象”。
图130是与图129的显示屏幕类似的一个显示屏幕,但是表示选择“在…之间的图象”选项而不是“所有被记录的图象”选项。图130中还显示允许用户设置限制该搜寻时期的一个日期的一个弹出式日期框。在该弹出式日期框的左边是用户可以调节的一天中的时间的设置。
图131说明了当选择“告警”对话框时被提供的搜寻对话框显示。在该告警对话框的左边,该用户可以选择涉及被外部告警传感器装置所检测的告警事件的搜寻准则。在该告警对话框的右边该用户可以根据在产生该视频数据的时候进行工作的图象分析算法是否已经检测到该图象分析算法将要检测的预定特征,来选择搜寻准则。
图132说明了当选择摄像机对话框时被提供的搜寻对话框显示屏幕。在图132所显示的示例中,激发一个下拉的摄像机列表来允许该用户规定将要被搜寻的摄像机流。
应该注意到,在图132中所产生的场包括在一个前面的搜寻中被发现的四个映射数据部分的一个列表。在132的显示的右边的“播放”开关区域被亮显(与图129到131进行对比),来允许该用户回放列表在所产生的场中的视频数据部分。
在图133中,再一次选择日期/时间对话框。另外,被列在所产生的场中的第一视频数据部分被选择,并且如果该用户激发了“播放”开关区域就回放该第一视频数据部分。
图134是对用户激发图11中的“建立”开关区域作出响应,被产生的建立选项显示屏幕。该建立选项显示屏幕向该用户提供四个建立选项,每一个建立选项可以通过一个相应的开关区域被访问。这些选项是“命名”(将名字应用到摄像机和告警输入和输出),“记录”(允许该用户选择记录选项),“安全”(如果被授权,允许该用户对该VR/PC单元进行安全结构的配置),和“登录”(如果被授权,允许该用户增加或者删除被允许登录到该VR/PC单元的用户)。被提供的还有促使该屏幕显示返回到图11的显示格式的一个“关闭”开关区域,和客户定制的“帮助”开关区域。
图135是对激发图134中的“记录”开关区域作出响应被显示的记录选项对话框的一个示例。在图135中被显示的该对话框允许该用户选项3类选项:记录模式,记录质量,和记录速率。两个可能的记录模式是“线性”和“圆形”。在线性模式中,当硬盘驱动器的保存容量被用完时,就停止在该硬盘驱动器上的记录。在圆形记录模式中,当达到该硬盘保存区域的末尾时,下一个输入视频数据被写到该硬盘保存区域的开始。
记录质量选项是“正常”,“高保真度”,和“扩展的”,这三个质量选项中的每一个与由JPEG芯片848(图14)执行的不同量化比特速率相应。继续参考图135,“高保真度”设置平均所使用的表示每一个视频数据场的数据字节比“正常”设置所使用的多,以提供被改善的图象质量。“扩展的”设置平均所使用的表示每一个视频数据场的数据字节比“正常”设置所使用的少,以更有效的利用硬盘保存容量,但图象质量仅降低一点。
如图136所示,通过一个下拉列表来实现记录速率选项。该速率选项与不同的场捕获速率相应,并且表示在相应的速率选项由硬盘保存容量所提供的有效记录延迟(2,6,12或者24小时)。尽管图135和136中的选项没有被表示,也可以一个摄像机流接一个摄像机流的来设置速率和质量选项。另外,质量设置可以被用于调节压缩前端“块相似性”阈值和/或者参考图象速率,而不是调节由质量设置选项目前驱动的JPEG量化设置,或者可以同时用来进行上述调节。还可以设计对每一个质量和速率选项,显示采样视频图象序列来向该用户表示从每一个质量和速率设置中可以获得的图象质量。
图137是对激发图134中的“登录”开关区域作出响应被提供的登录对话框。图137的登录对话框要求该用户使用在对话框的右边的虚拟数字键盘来输入一个个人标识号码(PIN)。还提供了一个退格开关区域2564。当激发了在该虚拟键盘中的一个数字时,一个与每一个数字相应的星号被显示在符号说明“输入PIN号码:”下面的区域中。“OK”开关区域实现一个输入功能,在这个时刻读取被输入的数字来判断是否是一个被授权的用户来试图登录。
如果当前登录进入的用户被授权重新设置该单元的安全特征,然后激发在图134中的“安全”开关区域将促使在图144中被显示的屏幕显示被显示。图144的显示中所显示的主要选项是增加一个新用户(“增加”开关区域),改变一个已经存在的用户的访问特征(“编辑”开关区域),和删除一个已经存在的用户(“删除”)。在图144的显示的左边的区域中,有一个已经存在的、被授权的用户的列表。
激发图144中的“编辑”开关区域允许访问其一第一示例被显示在图138中的访问优先级显示。在图138的右下部分的一个垂直方向的滚动条允许该用户通过滚动来看到各种特征访问优先级设置。图138所显示的设置选项包括覆盖预规划操作模式的能力(在“规划”下面的“使能”)和对预规划操作模式进行配置(在“规划”下面的“配置”)。
图139显示了包括涉及系统建立优先级的选项的特征访问优先级设置选项的另一视图。图139中所显示的建立优先级与用于选择将要被应用到输入视频流的分析算法的涉及摄像机的建立选项,现场视频显示格式选项和系统安全特征相应。
图140是与图139的显示相同的显示,但是表示安全特征访问特权已经被给予一个特定用户。另外,“摄像机”左边的被亮显的区域和“分析工具”特征特权表示这些特权在前面已经被给予该相同的用户。
图141表示在相对于该特征访问特权的另一滚动位置的相同的显示。图141中所显示的特权涉及选择记录模式选项(“记录”下面的“配置”),访问操作系统软件文件(“记录”下面的“维护”),访问被保存在该硬盘上的视频数据(“回放”下面的“使能”)和访问被保存在没有被显示的、一个传统的外部连接的视频磁带记录器上的视频信号(“回放”下面的“VCR转录”)。
图142中显示了进一步的特征访问特权,即对事件处理模式进行配置的能力(“事件”下面的“配置”),和访问关于被检测的事件的报告的能力(“事件”下面的“报告”)。
图143进一步显示了特征访问特权。这些特征涉及检索被保存在一个存档记录媒质上的数据(“存档”下面的“使能”)和被保存在一个硬盘上的、对存档记录媒质的内容进行索引的数据的保存和检索(“恢复”和“库”)。
图145表示对激发图134中的“命名”开关区域作出响应,被显示的屏幕显示。在图145的该显示屏幕中,可以访问三个对话框即“摄像机”,“告警输入”,和“告警输出”。在图145显示的特定显示中,已经选择了该“摄像机”对话框。该摄像机对话框为16个摄像机中的每一个提供命名区域。可以使用连接到该VR/PC单元的一个键盘(没有被显示),或者被显示在该显示监视器并且可以被该鼠标激发的一个“虚拟键盘”(没有被显示)来输入字母数字的名字。
图146提供了在图145中可以被访问的“告警输出”对话框。该告警输出对话框允许对16个告警输出信号的字母数字指定。
图147提供了在图145(或者图146)中也可以被访问的“告警输入”对话框。在图147中,名字可以被输入来标识产生16个输入告警检测信号的相应外部告警传感器装置。
图148是对激发图1的“设施”开关区域作出响应被显示的一个屏幕显示。在图148中的显示中被提供给该用户的选项是向一个外部装置,例如一个本地或者主节点发送数据(包括视频数据),产生将要被一个打印机(没有显示)打印的、涉及该VR/PC单元的操作的报告,和产生信号来控制连接到该VR/PC单元的、可以移动的摄像机。
图149是对激发图11的和图12的“状态”开关区域作出响应被显示的一个显示屏幕。图149中被显示的状态数据通过上面联系图121所讨论的处理被产生。图149显示数据,该数据表示在该硬盘或者多个硬盘上可用的余下保存容量,一个可拆卸存档记录媒质上可用的余下保存容量,已经被检测到的并且没有被该用户浏览的告警事件的数目,已经被浏览的但是没有被从该告警事件文件中删除的告警事件的数目,连接到该VR/PC单元的视频摄像机的数目和从其中来的视频流正在被记录的摄像机的数目。
图150是被提供来用于定义一个预规划现场视频显示格式的一个显示屏幕。在图150的显示屏幕中、可以被该用户访问的对话框分别是2×2,3×3,4×4和“客户定制的”视频显示窗口格式。图150中该2×2对话框被显示为是激活的。在被选择的对话框的顶部的右边文字“周末”表示该用户正在定义在定义为周末的白天时间的期间以内将要被自动执行的预规划操作模式。该对话框的左边是一些图标,每一个图标与连接到该VR/PC单元的一个相应摄像机相应。在该被选择的对话框的右边是表示正在被建立的显示格式中的四个视频显示窗口的一个2×2空框阵列。如图151所示,可用使用一个光标2566来拖拉一个摄像机图标,以使该图标被放置在一个框中。将该摄像机放置在该框中表示将该相应的摄像机视频流分配在相应的显示窗口中来进行显示。在图151的特殊示例中,“停止标签”摄像机流已经被指定显示在该2×2显示格式的左上端。
图152是在规划建立操作期间被提供的一个显示屏幕,以定义哪一个日历天将要被当作假期。在图152的显示的左边,提供了一个日历显示来允许该用户来选择一个特定年的一个特定的月的一个特定的天。在图152的显示的右边,提供了已经被指定为假期的日期的一个列表。激发图152中的“增加”开关区域促使在该日期显示中被选择的一个日期将要被增加到该假期列表中。
图象分析工具建立屏幕
图153表示被提供该用户、来允许该用户设置被指定为“光工具”的一个图象分析算法的参数。这个算法被设计成来检测所感兴趣的屏幕中的被选择的亮度变化。图153中的屏幕显示包括其中显示了一个静态视频图象的一个图象显示窗口2568。该静态视频图象被用于定义该光工具的参数。在该图象中被显示的是一个显示元素框2570,该显示元素框2570显示了该算法将要对其进行操作的该图象平面中的区域。通过使用在一个传统的计算机画图软件包中操纵类似的图形元素的方式来使用鼠标操作,该框2570可以被从一个位置拖拉到该图象平面中的另一位置,并且其尺寸可以被减少或者被增加并且形状可以被改变。使用一个比该图形的余下部分更亮的方式来显示在该框2570中的图象部分,以对该框2570中的区域进行高亮显示。该框2570中有一个圆形点2572。如果激发了该分析算法的一个点亮度检测特征,该点2572的尺寸表示将要被检测的一个亮度点的尺寸。优选地,该点被显示为一个实心颜色,例如红色。
所以用于选择该算法的特征和设置参数的虚拟按钮和开关被提供在图153的显示的右边。在2574中,该用户被允许固定位置(“标志”)或者删除(“擦除”)被该框2570所定义的激活区域。在2576中,该用户被允许来在该算法的三个操作模式中进行选择:检测亮度(“暗到亮”)的一个大的增加,检测亮度(“亮到暗”)的一个大的减少或者检测在该激活区域中的亮的一个光点(“点光(spot light)”)。第一选项使该VR/PC单元来检测何时打开光,第二选项使该VR/PC单元来检测何时关闭光,第三选项被用于使该VR/PC单元来检测一个黑暗区域中一个闪光的出现。
在2578中的滑动条控制用于该点光操作模式的一个参数设置的点2572的尺寸。当该滑动条被操作来到左边时,就减少点2572的尺寸。当该滑动条被操作来到右边时,就促使该点尺寸被增加。
2580提供了该光工具的灵敏度设置选项。该光工具的灵敏度参数构成用于判断是否已经发生了从黑暗到亮或者从亮到黑暗的改变的阈值,或者判断在该点光模式中将要被检测的该发光区域是否是足够地亮来构成将要被检测的一个事件。如果该用户激发了“缺省”开关区域,然后应用被该VR/PC单元的指定者考虑为最优的阈值设置。该用户还可以调节该灵敏度程度来操作2580中的滑动条。将该滑动条移动到左边就减少灵敏度,这减少了错误告警的危险,但是增加了没有注意到重要的事件的危险。将该滑动条滑动到右边增加了灵敏度,由此减少了没有注意重要事件的危险,但是增加了错误告警的危险。该“ADV”开关区域允许该用户访问一个对话框,在该对话框中各种灵敏度参数没有被捆绑并且可以被分别设置。
在图象显示窗口2568中,有一个符号说明标识正在被建立的分析算法的类型以及将要被应用该算法的该摄像机的类型。在该窗口2568的下面是激发将该算法应用到被选择的视频图象流的开关区域,或者取消选择该分析算法的开关区域。
图154提供了允许该用户设置关于一个运动检测分析算法的参数的一个屏幕显示。与被显示在图153中的光工具建立屏幕类似,图154的该运动检测建立屏幕包括一个图象显示窗口2568和一个图形元素框2570,该图形元素框2570定义了其中将要被应用该运动检测算法的图象平面的一个区域。图154中的显示的右上部分,由标号2582所表示,提供了可以使用光标激发的特征来允许该用户激发,或者去激发或者移去一个或者多个与一个或者多个图形图象元素框2570相应的激活区域。图154中的显示也包括与图153的灵敏度控制区域相应的一个灵敏度控制区域2580。至于运动检测工具,该灵敏度控制提供了在该激活区域和/或者亮度电平中被检测的运动的数量的因子的阈值。
图155提供了建立屏幕显示,以用于上述边界侵入检测分析算法。与刚才所讨论的其他工具建立屏幕显示,图155的显示包括一个图象显示窗口2568。前面已经联系图90A-90C中显示的处理算法来提到了图155中显示的其他特征,包括表示边界的图形元素框1966,穿越方向箭头1976和对象尺寸框1986。在2584中被提供的控制允许该用户来标记或者擦除与该框1966相应的标记。在2586中的该控制选择该方向箭头1976相对于该边界是否指向内,指向外或者两个方向。2588的滑动条控制该对象框1986的尺寸。将该滑动条2588移动到左边就减少该对象框的尺寸,向相反的方向操作该滑动条就增加该对象框的尺寸。应该理解,作为一个替代的方式,可以通过直接操作鼠标来减少或者增加该对象框的尺寸,如在传统的计算机画图软件包中对画图元素所操作的一样。
前面已经联系图90D提到了灵敏度控制2006。在2006的可以控制的灵敏度因子可能包括对比度比例和就一个或者多个运动的出现,运动对象的位置,和运动对象的尺寸的置信程度。
尽管没有被显示在图155中,还可以设计成允许该用户将一个对象穿越该边界的速度设置成一个参数。还可以提供以被用户输入所设置的一个速度进行振荡的一个图形元素。例如,这种图形元素的表现形式可以类似于一个音乐节拍器的指挥棒。可以将该VR/PC单元编程为检测图象边缘,来检测表示图象场景的深度的远景,并且来调节速度的数据瓦片空间测量以当估计一个对象的速度时考虑深度。用于设置该速度参数的一个滑动条控制可以与该“节拍”元素一起提供,或者替代该“节拍”。
图156是称作“博物馆工具”的分析算法的建立屏幕。该博物馆工具算法的目的是允许自动检测一个对象的移去,例如一幅画,一个珠宝或者类似的。如在其他工具建立屏幕中一样,图156显示的该屏幕包括一个图象显示窗口2568。一个图形图象元素框2590定义了将要被该分析算法监测的一个区域。该框2590的宽度和高度或者两者可以被改变,以改变被监测的区域。除非该被监测的区域是很小,否则该博物馆工具算法的一个优选实施方式需要定义一些被彩色矩形2592所表示的“热点”。当提供了热点2592时,实际上仅需要监测与该热点相应的图象平面的部分。所提供的热点的数目与该图象平面中有多大的区域被由该框2590所定义的被监测的区域所占据有关。在一个优选实施方式中,该用户可以减少热点的数目,但是不能够增加其数目。仅监测热点而不监测整个被监测的区域的目的是节省存储器。在该博物馆工具的一个优选实施方式中,通过注意在位于该热点上的数据瓦片的内容与一个参考图象中的相应数据瓦片的内容之间的差异来监测对象的移去。
2594中的控制允许该用户来标记或者擦去与该框2590相应的被监测的区域。在2594中的控制允许该用户来标记或者擦去热点。该用户被允许通过使用一个光标来拖拉热点,来重新设置热点在被监测的区域中的位置。
在2598中的控制允许该用户定义在认为已经发生了一个事件以前多长时间该被监测的区域必须被错过或者被封闭。
在2602中,提供了灵敏度控制来设置例如色度的变化,被封闭的热点的数目或者类似的因子。
图157是使用一个格式的、替代图152中用于产生一个假期列表的显示的一个屏幕显示。在图157中所示的格式中,使用一个下拉式元素来实现该日期选择框,并且该“设置假期”对话框是包括“一般”,“工作日”,“周末”和“假期”的一些对话框中的一个。
图158提供了在图157中可以被访问的“工作日”对话框。图158对连接到该VR/PC单元的16个摄像机的记录状态进行规划。一般,图158中显示的格式是一个条形图,其水平条用于16个摄像机中的每一个的显示。不同颜色的条表示该摄像机的、被选择用于24小时周期的相应部分的不同操作模式。可以使用光标来操作该条,以拉伸或者压缩该条,其效果是增加或者减少相应操作模式的被规划时期。对每一个摄像机可用的操作模式选项是“激活”(正在记录),“告警”(在事件中仅记录被检测到的一个条件)和“禁止”(不记录摄像机流)。在2604中的一个弹出式元素使用数字的形式来描述由被选择的条元素所表示的时间。图158中所示的弹出式元素2604与摄像机7的条相应,如选择表示器2606所示。“周末”和“假期”对话框的格式与图158的类似。
图159显示了与在图157和158中可以看见的“一般”对话框相应的对话框。图159中的2608的控制允许该用户在固定规划选项和客户定制的规划选项之间进行选择。在2610中,该用户被允许来对工作日定义何时发生“白天时间”和“夜晚时间”,2610的控制是对图81中被提供的显示的一个替代。
继续参考图159,在2612被提供的控制允许该用户定义周末的开始时间和结束时间,在2614的控制允许该用户定义假期的开始时间和结束时间。
图160是图159的显示屏幕的一个变化。从图160的控制2608中可以看出,“周末”和“假期”没有被选择用于客户定制的规划。结果,显示在图159中的该周末和假期对话框在图160中没有被作为选项提供。
图161提供一个屏幕显示,来允许该用户选择和设置一个图象处理设施的一个参数。图161的该显示屏幕包括用于显示将要被处理的一个图象的一个图象显示窗口2616。上面已经被提到的一个框2542在该窗口2616的一部分被覆盖,并且定义了其中将要被应用一个被选择的处理设施的图象平面的该部分。缩放控制2618被提供在该显示屏幕的一个右上部分。该缩放控制允许一个用户对由该框2542所定义的该图象的部分进行缩小和放大,和/或者移动将要被缩放的该区域。标志为“1∶1”的开关区域将该图象恢复为一个没有被缩放的状态。标志为“改善”的开关区域将一组图象改善处理应用到该被缩放的区域,该组图象改善处理包括突出高频分量,增加对比度,归一化颜色和强度分布,点的非线性内插,而不是线性内插。在控制2618的下面是允许一个用户从除缩放功能以外的其他图象处理设施中进行选择的设施选择控制2620。例如,可以被使用控制2620来选择的一个设施是前面参考图128(a)和图128(b)描述的选择性对比度改善设施。其他可以被提供给该用户的图象处理设施选项包括调节亮度,“尖锐度”(即突出图象数据的高频分量的程度),和颜色和/或者强度分布。在该显示屏幕的底部提供了一个水平阵列的开关区域。标志为“满屏幕”的一个开关区域将图161的屏幕格式切换到一个满屏幕格式。标志为“载入”的开关区域促使从被插入到该VR/PC单元的一个软盘中检索一个图象,以使被检索的该图象能够被显示在该窗口2616中。标志为“保存”的开关区域促使被显示在该窗口2616中的该图象,包括被处理设施所施加的任何改变,被写入到该软盘中。
“打印”开关区域促使被显示在该窗口2616中的图象作为一个硬拷贝经过一个打印机被输出,或者作为一个传真被发送。标志为“恢复”的开关区域移去任何被该处理设施所施加的改变。
图162是允许一个用户实现丢弃与该图象平面的特定部分相应的视频数据的一个处理的一个屏幕显示。图162的屏幕显示包括用于显示一个视频图象的一个图象显示窗口2622。该用户可以形成例如2624和2626所表示的多边形绘图元素来定义该图象平面中、其视频数据不需要被保存的区域。2628提供了涉及被选择的区域的控制。对该用户指定被多边形图2624和2626所表示的区域作出响应,该主板CPU命令该前端电子装置,被该被选择的摄像机所产生的视频信号中一个图象平面的相应部分不被发送来进行保存,由此更有效地利用了该硬盘的保存容量。图162中所说明的特征允许该用户选择对于一个特定的摄像机图象流,图象平面中被判断为不感兴趣的区域。该不感兴趣的区域可以是类似于图162中所表示的区域,它们本质上是交替的,或者可能包括有频繁运动(例如,背景中的一个高速公路,或者一个风吹的树)的区域,尽管该频繁的运动如果不被丢弃的话,看起来会产生大量的差异视频数据场的数据数量,但是它们不可能提供重要的信息。
图163说明了类似于图11的现场视频显示格式的一个现场视频显示格式,除了该现场视频显示格式窗口2550已经被分成4个2×2结构的子窗口以外。在图163所显示的该2×2结构的特殊示例中,两个不同的现场输入信号中的每一个被显示在4个窗口中的两个。但是,可以设计成在图163的格式中,同时显示四个不同的现场视频流。另外,如2630所示,在每一个窗口的左上部分提供一个亮颜色框(例如使用红色)来表示正在记录所考虑的该图象流。应该理解,如果被显示在一个子窗口中的一个图象流没有正在被记录,然后不出现该表示器2630。还可以设计其他形式的记录选择表示器2630,包括例如位于该显示窗口的下边界的一个圆形表示器。
图164是对激发图11(或者图163)的显示中的“存档”开关区域作出响应,被产生的一个屏幕显示。参考图164,该用户被提供与“存档”和“搜寻”相应的两个对话框的一个选择。图164所显示的该显示屏幕的特定示例显示“存档”对话框被激活的情形。该存档对话框允许该用户在四个存档操作模式中进行选择:“后台”,其中在VR/PC单元的其他功能操作发生时存档操作在后台被连续地执行(优选地,该存档后台处理的优先级比记录或者回放操作的优先级低,如图116的上述讨论所示);“无声后台”,它与“后台”相同,除了涉及存档空间的数据没有被状态显示所显示出来以外(图149);“专用快速”,它是其中没有进行记录或者回放操作的一个模式,以使该主板CPU处理和磁盘访问资源被专用于快速地将视频数据从该磁盘拷贝到该存档媒质;和“存档关闭,”其中没有进行存档操作。
该存档对话框也表示哪一个装置正在被用于存档功能;在这个情形下,它是内部安装的DAT驱动器。在图164的屏幕显示的左边的一个垂直列中的开关区域与图129-133中所显示的那些类似,但是当选择了存档对话框时它们是不可被操作的。另外,这些开关区域可以与下面将要被提到的“搜寻”对话框一起来使用。被提供在图164的格式中的是与上面联系图129所讨论的图标2562类似一个“探照灯”图标。另外,一个搜寻结果场被提供在该屏幕显示的下部分。
图165提供了一个图164的显示的替代版本。图165与图164的不同点在于图165提供了两个分别被标记为“库”和“客户定制”的附加对话框。另外,图165的存档对话框允许该用户在一些内部或者外部记录媒质驱动器装置中进行选择。在图165中被提供的选择是一个内部安装的磁光盘驱动器装置。
图166提供了通过选择在图164中的“搜寻”对话框来可以获得的一个屏幕显示。图166中所显示的该搜寻对话框允许该用户定义将要在对已经被保存在当前被插入的存档记录媒质上的、感兴趣的视频数据进行搜寻中被使用的日期和时间或者告警参数。
图167是当在图165中选择“库”对话框时所被提供的一个屏幕显示。该库对话框的目的是访问上面联系图119所讨论的、前面被记录的存档媒质数据库。该用户可能请求浏览与所有前面被记录的存档媒质相应的数据,或者仅浏览那些被记录在一个用户定义的时间期间以内的数据。被提供在该屏幕显示的底部的显示场是用于显示被请求的信息。该“增加”开关区域允许该用户将与一个附加记录存档媒质相应的一个项增加到该数据库。该“删除”开关区域允许该用户将一个项从该数据库中移去。该“细节”开关区域允许该用户来选择涉及在该数据库中的一个项的细节数据的显示。该“复位”开关区域允许该用户来从该记录存档媒质数据库中清除所有数据。
图168中所显示的显示屏幕说明了在图165到167中的屏幕显示中、对该用户可用的“客户定制”对话框。在该“客户定制”的对话框中,该用户被允许来更新已经被安装在VR/PC单元内部中的或者连接到该VR/PC单元的一个存档媒质驱动器单元的列表。在已经被安装或者可能被安装的存档媒质驱动器单元的类型中,图168的屏幕显示显示了下述:一个数字视频磁盘(DVD)驱动器,一个内部DAT驱动器,一个磁光盘驱动器,一个所谓的“爵士”驱动器(可拆卸的硬盘),和一个DAT圆盘转送带。当然,可以设计成这些装置类型中的任何一个或者所有被连接到该VR/PC单元。
分析工具选择屏幕
图169是对选择图129到图133中的任何一个的“工具”对话框作出响应、被提供的一个屏幕显示。该“工具”对话框的目的是允许一个用户来对与一个给定摄像机相应的一个被记录的视频流,选择将要被应用到该图象流的一个图象分析算法。该“工具”对话框包括用于选择一个摄像机的一个下拉式列表2632,和另一个下拉式列表2634,来允许该用户选择将要被应用到由被选择的摄像机所产生的、被记录的视频流的一个图象分析算法。被标志为“建立”的一个开关区域允许该用户提出与被选择的分析算法相应的工具建立屏幕显示。前面已经讨论了工具建立屏幕显示的示例,该工具建立屏幕显示的示例被显示在图153-156中。在图169的下部分,表示前面将分析工具分配到被记录的摄像机流的信息被显示。
图170显示了当已经下拉了在图169的“要用的工具:”的下面的该下拉菜单。从2636中可以看出,该菜单向该用户提供了关于图象分析算法的选择的几个选项,包括“运动工具”,“边界工具”,“博物馆工具”和“光工具”,另外,该用户可能选择在该搜寻中不应用任何分析工具。这样,图170的该屏幕显示允许该用户方便地从多个前面被保存的图象分析算法中进行选择来用于搜寻。作为在图170中所显示的分析算法选项的词列表的一个替代,还可以设计成该用户可以选择表示前面被保存的分析算法的用户图标。
从图171和172中可以看出,该下拉式菜单也被提供给该用户来允许该用户选择将要被应用到现场输入视频流的一个分析算法。在图171所显示的该屏幕显示中,一个摄像机接一个摄像机地来分配该分析算法,而在图172中提供甚至更精细的“粒度”,由此一个特定分析算法的选择不久应用到一个特定的摄像机,而且应用到一个特定的将来时期。
图173是对激发在图161中被显示的“打印”开关区域作出响应所产生的一个硬拷贝屏幕打印的一个示例。图173中所显示的该硬拷贝打印包括可能是一个彩色的、并且可能表示被显示在图161的窗口2616中的该图象的一个缩放和/或者其他处理部分的一个图象2640。另外,如2642所示,提供了表示该图象被产生和被打印输出的时间,该图象源等等的标题信息。
前面已经提到,该优选的视频数据文件格式也将在磁盘上保存视频数据和同时产生的音频数据。一个或者多个麦克风(没有被显示)或者其他音频信息源可以被作为该VR/PC单元或者其一个修改版本的输入来进行连接。在被量化以后,该音频信息将被保存在磁盘上,同时被保存的还可能有相关的视频数据。该VR/PC单元将有内带的或者作为一个外设来被连接的一个扬声器(没有被显示),以使用可听的形式来再生从该磁盘中被检索出来的音频信息。
也可以设计成,在该VR/PC单元中提供音频内容分析算法(“工具”)来检测可听的事件,例如开门/关门,脚步声等等。该音频工具可能被作为“现场”或者作为“搜寻”工具来进行操作,即被应用到从磁盘中被检索出来的音频数据,和被类似地应用到上面所描述的该视频“工具”。例如,可以使用一个现场音频工具或者多个工具来检测事件和激发告警条件。还可以使用音频工具相互之间的逻辑组合和该音频工具与视频工具之间的逻辑组合。作为一个示例,在缺乏一个视频工具的光的检测下,一个音频工具检测到脚步声将激发一个告警条件。检测到一个音频事件可以触发一个视频工具的应用,和/或者检测到一个视频事件可以触发一个音频工具的应用。
优选地,可以使用与上面在图170-172和153-156中说明的“视频工具箱”特征类似的方式来选择和配置音频工具。用户可以选择的、约束一个音频工具的执行的参数包括声音大小,声音频率,方向等等。因为音频监视具有费用低,数据保存量相对较小,全方位,和与环境的亮度无关等特征,所以在许多应用中音频监视对视频监视来说是一个更有价值的实现方式,或者可以替代视频监视。同时,使用这里所公开的信息管理思想可以大大地改善音频监视和所产生的被保存数据的价值。
应该理解,上面所公开的本发明的实施方式是用于示意性的,不是进行限制的。

Claims (4)

1.一种视频信息保存装置,包括:
一个用于产生第一动态图象流的视频摄像机;
一记录媒质驱动器单元,其包括一个记录媒质,该记录媒质用于保存表示所述第一动态图象流的数据,保存表示前面已经被保存在所述记录媒质上的第二动态图象流的数据,以及保存表示第三动态图象流的数据,该第三动态图象流与已经保存在所述记录媒质上的所述第一动态图象流和第二动态图象流不同;
显示装置,用于显示所述第一动态图象流和第二动态图象流中被选择的一个;
输出装置,用于将从所述记录媒质上再生的数据发送到一个远程装置;和
控制装置,用于控制所述记录媒质驱动器单元和所述显示装置,以使当所述第二动态图象流被同时从所述记录媒质回放和被所述显示装置显示时,将表示所述第一动态图象流的数据记录在所述记录媒质上,且所述控制装置还控制所述记录媒质驱动器单元和所述输出装置以使表示所述第三动态图象流的所述数据被从所述记录媒质再生并且被所述输出装置发送到所述远程装置,同时记录所述第一动态图象流和显示所述第二动态图象流。
2.一种视频信息保存装置,包括:
一个用于产生第一动态图象流的视频摄像机;
一记录媒质驱动器单元,其包括一个记录媒质,该记录媒质用于保存表示所述第一动态图象流的数据,保存表示前面已经被保存在所述记录媒质上的第二动态图象流的数据;
显示装置,用于显示所述第一动态图象流和第二动态图象流中被选择的一个;
控制装置,用于控制所述记录媒质驱动器单元和所述显示装置,以使当所述第二动态图象流被同时从所述记录媒质回放和被所述显示装置显示时,将表示所述第一动态图象流的数据记录在所述记录媒质上;和
存档装置,用于接收由所述记录媒质驱动器单元再生的视频数据,并用于在一可拆卸的记录媒质上记录该接收的视频数据,其中所述接收的要被记录在所述可拆卸的记录媒质上的视频数据被所述记录媒质驱动器单元再生,同时记录所述第一动态图象流和显示所述第二动态图象流。
3.保存和显示视频信息的方法,该方法包括步骤:
(a)通过一视频摄像机产生第一动态图象流;
(b)在记录媒质驱动器单元的记录媒质上保存表示所述第一动态图象流的数据,保存表示前面已经被保存在所述记录媒质上的第二动态图象流的数据,以及保存表示第三动态图象流的数据,该第三动态图象流与已经被保存在所述记录媒质上的所述第一动态图象流和第二动态图象流不同;
(c)在显示装置上显示所述第一动态图象流和所述第二动态图象流中被选择的一个;
(d)由输出装置将从所述记录媒质上再生的数据发送到一远程装置;
(e)由所述控制装置控制所述记录媒质驱动器单元和所述显示装置,以使当所述第二动态图象流被同时从所述记录媒质回放和被所述显示装置显示时,将表示所述第一动态图象流的数据记录在所述记录媒质上,并且还控制所述记录媒质驱动器单元和所述输出装置以使表示所述第三动态图象流的所述数据被从所述记录媒质再生并被所述输出装置发送到所述远程装置,同时记录所述第一动态图象流和所述第二动态图象流。
4.如权利要求3所述的方法,还包括步骤:
(f)与步骤(b)的同时,将从所述记录媒质再生的视频数据保存在一个可拆卸的记录媒质上。
CN99123610A 1996-10-31 1999-10-28 视频信息智能管理系统 Expired - Fee Related CN1110780C (zh)

Applications Claiming Priority (21)

Application Number Priority Date Filing Date Title
US08/742,015 US5909548A (en) 1996-10-31 1996-10-31 Apparatus for alerting human operator to status conditions of intelligent video information management system
US08/740,651 US5862342A (en) 1996-10-31 1996-10-31 Intelligent video information management system with information archiving capabilities
US08/740,628 US5917958A (en) 1996-10-31 1996-10-31 Distributed video data base with remote searching for image data features
US08/729,620 US5822542A (en) 1996-10-31 1996-10-31 Electronic and structural components of an intelligent video information management apparatus
US08/740,651 1996-10-31
US08/741,650 1996-10-31
US08/742,017 1996-10-31
US08/741,982 US5875305A (en) 1996-10-31 1996-10-31 Video information management system which provides intelligent responses to video data content features
US08/740,628 1996-10-31
US08/740,627 1996-10-31
US08/741,982 1996-10-31
US08/740,627 US5884042A (en) 1996-10-31 1996-10-31 Data identification in an intelligent video information management system
US08/741,715 1996-10-31
US08/741,715 US5875304A (en) 1996-10-31 1996-10-31 User-settable features of an intelligent video information management system
US08/741,914 1996-10-31
US08/729,620 1996-10-31
US08/741,650 US6031573A (en) 1996-10-31 1996-10-31 Intelligent video information management system performing multiple functions in parallel
US08/742,015 1996-10-31
US08/741,914 US5828848A (en) 1996-10-31 1996-10-31 Method and apparatus for compression and decompression of video data streams
US08/741,983 US5854902A (en) 1996-10-31 1996-10-31 Video data capture and formatting in intelligent video information management system
US08/741,983 1998-10-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB971992215A Division CN1145122C (zh) 1996-10-31 1997-10-01 视频信息智能管理系统

Publications (2)

Publication Number Publication Date
CN1259720A CN1259720A (zh) 2000-07-12
CN1110780C true CN1110780C (zh) 2003-06-04

Family

ID=27581314

Family Applications (3)

Application Number Title Priority Date Filing Date
CN99123164A Expired - Fee Related CN1110779C (zh) 1996-10-31 1999-10-26 视频信息智能管理系统
CN99123611A Expired - Fee Related CN1109323C (zh) 1996-10-31 1999-10-28 视频信息智能管理系统
CN99123610A Expired - Fee Related CN1110780C (zh) 1996-10-31 1999-10-28 视频信息智能管理系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN99123164A Expired - Fee Related CN1110779C (zh) 1996-10-31 1999-10-26 视频信息智能管理系统
CN99123611A Expired - Fee Related CN1109323C (zh) 1996-10-31 1999-10-28 视频信息智能管理系统

Country Status (1)

Country Link
CN (3) CN1110779C (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831132B2 (en) * 2002-09-06 2010-11-09 Sony Corporation Information processing device and program
CN102264003B (zh) * 2010-05-27 2013-10-09 华为软件技术有限公司 降低码率的实现方法与相关设备及系统
CN104754421A (zh) * 2014-02-26 2015-07-01 苏州乐聚一堂电子科技有限公司 互动节拍特效系统及互动节拍特效处理方法
AU2017222701A1 (en) * 2016-02-26 2018-08-30 Iomniscient Pty Ltd A method and apparatus for conducting surveillance
CN117409110B (zh) * 2023-10-17 2024-08-13 广州中望龙腾软件股份有限公司 一种视图显示方法、装置、设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4308559A (en) * 1979-05-14 1981-12-29 Peter Schiff Switching apparatus for closed circuit television monitoring systems
US4857912A (en) * 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
US4918523A (en) * 1987-10-05 1990-04-17 Intel Corporation Digital video formatting and transmission system and method
CN1048116A (zh) * 1989-06-15 1990-12-26 奥米加电子股份有限公司 赛跑计时设备
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5119205A (en) * 1963-03-11 1992-06-02 Lemelson Jerome H Methods and apparatus for scanning and analyzing selected images areas
US5229862A (en) * 1990-11-16 1993-07-20 Sony Corporation Apparatus and method for recording image signals to allow reproduction at more than one data rate
CN1086652A (zh) * 1992-07-31 1994-05-11 三星电子株式会社 视频程序库及其方法
US5463565A (en) * 1993-10-29 1995-10-31 Time Warner Entertainment Co., L.P. Data block format for software carrier and player therefor

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031044A (en) * 1989-04-20 1991-07-09 Rca Licensing Corporation Inset picture centering in a pix-in-pix system
CN2063256U (zh) * 1990-03-12 1990-10-03 庄志荣 高分辨汉字图文显示控制器
US5202765A (en) * 1991-05-06 1993-04-13 Thomson Consumer Electronics, Inc. Television receiver with picture in picture and non-linear processing
CN1030863C (zh) * 1991-11-30 1996-01-31 浙江大学 运动目标轨迹图像分析法
KR0129792B1 (ko) * 1993-11-16 1998-04-11 배순훈 줌(zoom) 녹화 방식의 감시용 카메라

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119205A (en) * 1963-03-11 1992-06-02 Lemelson Jerome H Methods and apparatus for scanning and analyzing selected images areas
US4308559A (en) * 1979-05-14 1981-12-29 Peter Schiff Switching apparatus for closed circuit television monitoring systems
US4918523A (en) * 1987-10-05 1990-04-17 Intel Corporation Digital video formatting and transmission system and method
US4857912A (en) * 1988-07-27 1989-08-15 The United States Of America As Represented By The Secretary Of The Navy Intelligent security assessment system
CN1048116A (zh) * 1989-06-15 1990-12-26 奥米加电子股份有限公司 赛跑计时设备
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5229862A (en) * 1990-11-16 1993-07-20 Sony Corporation Apparatus and method for recording image signals to allow reproduction at more than one data rate
CN1086652A (zh) * 1992-07-31 1994-05-11 三星电子株式会社 视频程序库及其方法
US5463565A (en) * 1993-10-29 1995-10-31 Time Warner Entertainment Co., L.P. Data block format for software carrier and player therefor

Also Published As

Publication number Publication date
CN1271146A (zh) 2000-10-25
CN1259721A (zh) 2000-07-12
CN1259720A (zh) 2000-07-12
CN1110779C (zh) 2003-06-04
CN1109323C (zh) 2003-05-21

Similar Documents

Publication Publication Date Title
CN1145124C (zh) 视频信息智能管理系统
US8166420B2 (en) Electronic apparatus and image display control method of the electronic apparatus
CN100409228C (zh) 用于共享多媒体处理的具有硬件/软件接口的独立打印机
CN1741178B (zh) 再现装置
CN1777950A (zh) 再现装置,程序,集成电路
CN101094397A (zh) 图像监视系统以及图像监视程序
JP2008192013A (ja) 表示画像制御装置及びその制御方法
CN1110780C (zh) 视频信息智能管理系统
JP2007165983A (ja) メタデータ自動生成装置、メタデータ自動生成方法、メタデータ自動生成プログラムおよびプログラムを記録した記録媒体
JP4279812B2 (ja) デジタルデータ再生装置
CN1110778C (zh) 视频信息智能管理系统
CN1581337A (zh) 记录设备
US20090129742A1 (en) Imaging apparatus, information recording apparatus, and information recording method
JP2002175298A (ja) データ管理システム、データ管理方法、及び、プログラム
CN1645355A (zh) 具有打印时基媒体的嵌入式功能的打印机和联网打印系统
JP2003256446A (ja) データ管理システム、データ管理方法、及び、プログラム
JP2001216770A (ja) 情報処理装置および方法、並びに記録媒体
JP2001215875A (ja) 情報処理装置および方法、並びに記録媒体
CN1925587A (zh) 媒体数据记录系统以及方法
TH2723C3 (th) "ระบบตรวจตราความปลอดภัยชนิดบันทึกข้อมูลภาพแบบดิจิตอล"
TH2723A3 (th) "ระบบตรวจตราความปลอดภัยชนิดบันทึกข้อมูลภาพแบบดิจิตอล"

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee