CN101098469A - 图像处理系统及其服务器和图像处理方法 - Google Patents
图像处理系统及其服务器和图像处理方法 Download PDFInfo
- Publication number
- CN101098469A CN101098469A CNA200710127328XA CN200710127328A CN101098469A CN 101098469 A CN101098469 A CN 101098469A CN A200710127328X A CNA200710127328X A CN A200710127328XA CN 200710127328 A CN200710127328 A CN 200710127328A CN 101098469 A CN101098469 A CN 101098469A
- Authority
- CN
- China
- Prior art keywords
- metadata
- server
- video data
- equipment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 51
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004458 analytical method Methods 0.000 claims description 105
- 238000009434 installation Methods 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000013500 data storage Methods 0.000 claims description 14
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000001914 filtration Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 239000012141 concentrate Substances 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
- G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
此处所公开的是一种图像处理系统,包括图像拾取设备、服务器以及终端装置,其中所述图像拾取设备包括视频数据生成部分和元数据生成部分,其中所述服务器包括视频数据存储部分和元数据存储部分。
Description
相关申请的交叉参考
本发明包含与2006年6月30日在日本专利局提交的日本专利申请JP 2006-182820相关的主题内容,其全部内容包含在此以供参考。
技术领域
本发明涉及通过使用多个图像拾取设备来执行监视的图像处理系统、应用于该图像处理系统的服务器以及应用于该图像处理系统的图像处理方法,尤其涉及使用每个都能生成元数据的多个装置作为多个图像拾取设备的图像处理系统,所述元数据表示视频数据信息。
背景技术
在相关技术的监视系统中,图像拾取设备(摄像机)和监视器各自通过网络相互连接,所述监视器可以在其上显示与从图像拾取设备输出的视频数据对应的图像。因此,监视器分别在其中记录图像,因而使得可能在异常情况发生时对所监视的图像进行确认。例如,在日本专利公开No.2003-274390中描述了这种相关技术的监视系统。
发明内容
现在,在使用这种类别的监视系统来执行监视时,当监视人员仅仅通过他/她的视觉观察来直接监视所显示的图像时,效率非常差。鉴于这种情况,开发了一种可以根据图像本身的改变来检测侵入者或异常出现的系统。然而,相关技术的监视系统涉及了这样的问题,仅仅可以执行遵守特定确定条件的监视,所述确定条件例如是由于在监视的图像中出现移动物体而显示帧(移动物体帧)。因此已经需要开发出一种能够执行更高级监视的系统。
例如,更具体地,其中记录从网络摄像机传送的监视图像信息(元数据)的装置对元数据进行分析,从而产生监视状态报告。因此,很难同时产生大量的报告。
在利用经服务器向大量客户端发送元数据的系统配置来显示图像中的移动物体帧的处理时,所有的客户端都执行相同的元数据分析。结果,当存在低性能的客户端时很难实时处理元数据。
另外,即使当负荷平衡改变使负荷集中在服务器,或者相反使负荷集中在系统中的特定客户端时,在所述系统中与其连接客户端数量或者与其连接的摄像机数量实时改变,该系统倾向于将负荷集中至特定装置,这是由于在这样的情况下不可能对处理进行改变。
另外,当对大量元数据进行分析时,服务器本身花费大量时间来分析这些大量的元数据。
本发明是考虑到上述情况而进行的,因此期望提供一种能够满意地执行各种形式的监视的图像处理系统。
根据本发明的实施例,提供了一种图像处理系统,包括:图像拾取设备;服务器,用于在其中存储从所述图像拾取设备输出的视频数据,利用所述图像拾取设备来捕获图像且以视频数据的形式从所述图像拾取设备输出;和终端装置,所述视频数据从所述服务器传送至所述终端装置,其中所述图像拾取设备包括:视频数据生成部分,被配置成捕获图像并产生图像视频数据;和元数据生成部分,被配置成生成代表监视对象图像信息的元数据,其中所述服务器包括:视频数据存储部分,被配置成在其中存储从所述图像拾取设备提供的视频数据;和元数据存储部分,被配置成在其中存储从所述图像拾取设备提供的元数据,其中所述终端装置输出关于存储在所述元数据存储部分中的元数据的分析结果。
在根据本发明实施例的图像处理系统中,可以在任何时候利用存储在服务器中的元数据来执行被记录的监视图像信息的分析。
根据本发明的另一实施例,提供了用于图像处理系统的服务器,所述服务器用于在其中存储从图像拾取设备输出的视频数据,利用所述图像拾取设备来捕获图像且以视频数据形式从所述图像拾取设备输出,以及用于向终端装置提供这样存储的视频数据,所述用于图像处理系统的服务器包括:视频数据存储部分,被配置成在其中存储从所述图像拾取设备提供的视频数据;元数据存储部分,被配置成在其中存储从所述图像拾取设备提供的元数据;和分析部分,被配置成分析存储在所述元数据存储部分中的元数据,并将关于元数据的分析结果提供给所述终端装置。
根据本发明的另一实施例,提供了一种应用于监视系统的图像处理方法,所述监视系统包括:图像拾取设备;服务器,用于在其中存储从所述图像拾取设备输出的视频数据,利用所述图像拾取设备来捕获图像且以视频数据的形式从所述图像拾取设备输出;和终端装置,视频数据从所述服务器传送至所述终端装置,所述图像处理方法包括以下步骤:利用所述图像拾取设备捕获图像,并由所述图像拾取设备生成代表监视对象信息的元数据,将从所述图像拾取设备提供的视频数据和元数据存储在所述服务器中;和在所述终端装置中输出关于存储在所述服务器中的元数据的分析结果。
根据本发明的实施例,通过利用存储在服务器中的元数据,可以在任何时刻执行所记录的图像信息的分析。另外,可以自由地执行基于终端装置中所设置条件的分析。并且,还可以得到元数据分析结果的报告等。例如,准备多个终端装置,可以分别在多个终端装置中执行所存储的监视图像信息的不同分析。结果,使得监视效率得到提高。另外,还可能执行与服务器或终端装置的能力相应的元数据分析。
附图说明
图1示出了根据本发明实施例的图像处理系统的系统配置示意图;
图2示出了图1所示图像处理系统中服务器的配置方框图;
图3示出了图1所示图像处理系统中客户端的配置方框图;
图4示出了图1所示图像处理系统中在客户端执行分析的实例的说明性方框图;
图5示出了在图1所示图像处理系统中执行分析的实例的说明性方框图;
图6示出了图1所示图像处理系统中在服务器和多个客户端之间以分配性方式执行分析的实例的说明性方框图;
图7示出了图1所示图像处理系统中的多个服务器的实例的说明性方框图;
图8示出了图1所示图像处理系统中在多个客户端中同时执行分析的实例的说明性方框图。
具体实施方式
下文中将参考附图对本发明的优选实施例进行详细的描述。
图1示出了根据本发明实施例的图像处理系统的系统配置示意图。在该实施例中,准备了多个网络摄像机11,12,13,...,19,且所述多个网络摄像机通过网络连接至服务器21,22和23。尽管图1所示的实施例采用了将来自三个网络摄像机的输出提供至相应一个服务器的结构,但是该结构仅仅是个举例。因此,本发明并不限制于该结构。服务器21,22,23可以将数据传送至每个客户端31和32。注意,监视系统专用网络或者互联网均可用作所述网络。
网络摄像机11至19中的每一个均为图像拾取设备,所述图像拾取设备包括用于捕获监视图像的图像拾取部分,并输出利用图像拾取部分捕获的图像的视频数据。另外,该实施例图像处理系统中的网络摄像机11至19中的每一个均包括用于生成元数据的元数据生成部分并输出由该元数据生成部分生成的元数据,所述元数据作为这样捕获的监视图像的信息。所述元数据是代表在监视图像移动范围内的坐标位置的信息,或者通过检测监视图像状态(诸如监视图像的移动状态)而得到的信息。在该实施例中,以代表坐标位置、监视图像状态等的文本数据形式来产生元数据。注意,尽管准备的所有网络摄像机11至19各自均能产生元数据,但是备选地,网络摄像机11至19中可以仅仅部分包括元数据生成部分。
这里,现在将对于网络摄像机中产生的元数据进行描述。元数据是作为视频数据和音频数据的补充信息的数据。例如,元数据可以包括下列信息。
(i)对象信息(在网络摄像机内部作为检测移动物体的结果而得到的信息。当把被识别为移动物体的物理对象确定为对象时,该信息中包含ID、X-坐标、Y-坐标以及尺寸)。
(ii)图像的时间数据。
(iii)摄像机的摇摄(pan)·倾斜信息(方向信息)。
(iv)摄像机的位置信息。
(v)图像授权的签名信息。
在下面的说明中,将在下面特别地对使用了对象信息和时间数据的实例进行描述。
以二进制数据的形式对元数据中包含的对象信息进行描述,且所述对象信息具有最小数据大小。通过从元数据中将对象信息开发为有意义的数据结构(诸如此处描述的结构)而得到的信息作为“对象信息”。
告警信息是通过过滤对象信息(由元数据开发成的)而得到的信息。通过分析多个帧的元数据以根据移动物体位置的改变来计算速度,通过检验移动物体是否移动超出特定线或者通过对这些方面进行综合分析来得到告警信息。
告警信息中包含图像内的人数及人数统计,并且也可用作报告功能。
包含在告警信息中的数据实例列举如下:
(i)对象累计数目
当设置有使用对象累计数目的过滤器时,将与过滤器对应的对象数目记录在告警信息中。
(ii)对象
对象数目与所涉及的帧中的过滤器对应。
(iii)与过滤器对应的对象信息。
对象的对象信息与过滤器对应。在对象信息中包含对象的ID、X-坐标、Y-坐标、尺寸等。
图2示出了图1所示图像处理系统中的服务器的配置方框图。尽管图2中示出了服务器21的配置,但是其它服务器22、23中的每一个均具有与服务器21的配置相同的配置。服务器21包括网络连接部分91。因此可以在每个网络摄像机11到19、每个客户端31和32以及每个服务器21、22和23中执行数据传输。服务器21的网络连接部分91从网络摄像机11、12和13中的相应网络摄像机接收的视频数据被发送至视频数据缓冲部分92,然后存储在视频数据库94中。网络连接部分91从网络摄像机11、12和13中的相应网络摄像机接收的元数据被发送至元数据缓冲部分93,然后存储在元数据数据库95中。诸如硬盘驱动器的大容量存储装置用作视频数据库94和元数据数据库95中的每一个。在元数据过滤部分96中对存储在元数据数据库95中的元数据进行过滤,从而对元数据的内容进行分析。将被过滤的内容(即,将被分析的内容)由过滤设置部分97来设置。随后将描述过滤处理的实例。当元数据过滤部分96中执行的分析结果表明,需要将利用网络摄像机11、12和13捕获图像的条件等分别改变为不同的条件等时,规则改变部分98发布命令将图像拾取规则等改变为另一规则。所涉及的命令通过网络连接部分91被发送至网络摄像机11、12和13中的每一个。作为分析元数据的结果而得到的数据(诸如告警信息)也可以存储在元数据数据库95中。
注意,图2示出的服务器21采用了这样的配置,视频数据和元数据各自存储在视频数据库94和元数据数据库95中,并且在元数据过滤部分96中对存储在元数据数据库95中的元数据进行分析。然而,服务器21可以采用这样的配置,使得可以执行视频数据显示、分析结果显示等。此外,如随后将进行描述的,当所有分析在客户端侧执行时,服务器21可以不包括元数据过滤部分96等。
图3示出了图1所示图像处理系统中客户端的配置方框图。尽管图3中示出了客户端31的配置,但是其它客户端32具有与客户端31的配置相同的配置。作为用于执行监视的终端装置的客户端31包括网络连接部分101。因此,可以在每个服务器21、22和23、每个网络摄像机11到19以及每个客户端31和32中执行数据传输。客户端31的网络连接部分101从服务器21、22和23中的相应服务器接收的视频数据被发送至视频数据缓冲器102,然后存储在视频数据库104中。网络连接部分101从网络摄像机11至19中的相应网络摄像机接收的元数据被发送至元数据缓冲部分103,然后存储在元数据数据库105中。诸如硬盘驱动器的大容量存储装置用作视频数据库104和元数据数据库105中的每一个。在元数据过滤部分106中对存储在元数据数据库105中的元数据进行过滤,从而对元数据的内容进行分析。将被过滤的内容(即,将被分析的内容)由过滤设置部分107来设置。当元数据过滤部分106中执行的分析结果表明,需要将利用网络摄像机11至19捕获图像的条件等分别改变为不同的条件等时,规则改变部分108发布命令将图像拾取规则等改变为另一规则。所涉及的命令通过网络连接部分101至服务器11,12和13被发送至网络摄像机11至19中的每一个(或者直接发送至网络摄像机11至19,而不经过服务器11、12和13中任何一个)。作为分析元数据的结果而得到的数据也可以存储在元数据数据库105中。
此外,客户端31包括用于在其上显示监视图像等的显示部分111。为了使显示部分111可以在其上显示监视图像等,客户端31包括视频数据处理部分109和元数据处理部分110。因此,视频数据处理部分109从视频数据库104获取对应于将被显示图像的视频数据。而且,元数据处理部分110从元数据数据库105获取元数据,所述元数据与将被显示图像的视频数据同步。为了使视频数据处理部分109管理的数据与元数据处理部分110管理的数据在时间上相互同步,再生同步部分112执行同步处理。当从服务器21、22和23中的相应服务器或从网络摄像机11至19中的相应网络摄像机直接提供的实况图像数据显示在显示部分111上时,将数据从视频缓冲部分102和元数据缓冲器103发送至显示部分111,然后显示部分111在其上显示与数据对应的实况图像。
此处,将对于元数据过滤部分96和106中的过滤过程实例进行描述,所述元数据过滤部分96和106分别提供在服务器21、22和23中每一个和客户端11至19中每一个之中。
此处,过滤处理信息是描述规则的信息,根据所述规则从对象信息中产生告警信息。在过滤处理中对多个帧的元数据进行分析,从而使得可能产生报告或者输出,基于所述报告或者输出连同图像一起显示人数信息。例如,准备了下列四种过滤类型。
(i)出现:当对象存在于特定区域时,该情形成为告警。
(ii)消失:当对象装置位于特定区域,然后从特定区域消失时,这种情形确定为告警。
(iii)经过:当绘制了特定线,而对象移动超出该特定线时,将这种情形认为是告警。
(iv)容量:当对在特定区域内存在人数进行计数时,计数得到的人数超过特定数,这种情形确定为告警。
如上所述,可以将各种形式应用于使用元数据的分析,并且分析结果的显示与执行监视的目的对应。
注意,如在随后将描述的分析情况中所解释的,可以采用这样的配置,使得每个客户端不包括执行分析的功能,而是接收和显示在服务器侧的分析结果。即使当每个客户端包括分析功能时,客户端之间分析功能的分析能力可以不相同。另外,提供在每个客户端31和32中的每个视频数据库104和元数据数据库105不需要执行提供在每个服务器21、22、23中的每个视频数据库94和元数据数据库95所执行的大容量存储。因此,无论何时执行显示处理或分析,都可以从服务器21、22和23中的相应服务器来获取显示处理或者分析所需的数据。
接着,现在将参考图4至图8对元数据相关分析的情况进行描述,所述分析是通过利用至此已描述实施例中的系统配置来执行的。对于在图4至图8中执行处理的服务器和客户端,是从图1示出的系统配中选择的特定服务器和客户端。然而,也可以从图1示出的系统配置中选择其它服务器和客户端。此外,在每个相应的装置中示出的元数据分析模块通常示出了用于执行元数据分析处理的功能部分。例如,更具体地,在服务器的情况下,涉及的元数据分析模块对应于图2所示服务器21的元数据过滤部分96或者过滤设定部分97。另一方面,在客户端的情况下,涉及的元数据分析模块对应于图3所示客户端31的元数据过滤部分106或过滤设定部分107。
对于关于元数据的分析,存在以下情况:在服务器中执行元数据分析的情况,在客户端执行元数据分析的情况,及其结合的情况。现在将按照顺序对这些情况进行描述。
首先,将参考图4描述在客户端执行元数据分析的实例。在该实例中,在把从网络摄像机11、12和13发送的视频数据(流数据)和元数据暂时存储在服务器21之后,根据从客户端31发出的请求,将视频数据和元数据发送至客户端31。此时,视频数据和元数据被发送至客户端31以使其在时间上相互同步。而且,提供在客户端31中的元数据分析模块31a对元数据进行分析,并向显示部分111提供作为分析结果的对象信息和告警信息。然后,显示部分111在其上连同图像一起显示对象信息和告警信息。在这种情况下,规定了将执行元数据分析的网络摄像机。因此,从客户端31请求服务器21,以读取从特定时间至另一时间的特定时间周期的元数据和视频数据。然后将这样读取的元数据和视频数据传送至客户端31。因此,在操纵客户端的监视人员(操作员)通过直接操纵客户端而设置了在客户端执行元数据分析的条件等之后,客户端可以这种方式来执行元数据分析。因此,可以简单地执行各种分析条件。
注意,可期望将例如下面的输出类型作为在这种情况下从元数据分析模块31a发送的分析结果相关的输出。
(i)以报告的形式输出分析结果。例如,这里期望的是特定时间周期内在特定区域中的人数计数转变相关的输出、通过该特定区域内人数的统计数据相关的输出等。而且,可以期望将表格形式、图表形式或者简单的数据文件(利用CVS系统)来作为数据格式。
(ii)当视频信号与对象信息和告警信息一起被同时接收时,实时将告警信息给予与图像对应的视频信号。例如,可以根据对象信息将移动物体位置的帧显示给予图像,计数得到的人数信息可以另外显示在图片上,或者可以将适合于过滤过程的移动物体的图像以红色帧的形式显示以使其突出。
接着,将参考图5描述在服务器执行元数据分析的实例。在该实例中,从网络摄像机11、12和13发送的元数据和视频数据(流数据)临时存储在服务器21中。而且,提供在服务器21中的元数据分析模块21a对临时存储在服务器21中的视频数据和元数据的数据(所述数据属于从客户端31请求的任意网络摄像机中的任意部分)进行分析。因此,得到分析结果信息21b,其中将作为分析结果的对象信息和告警信息添加在视频数据中。例如,分析结果信息21b以数据形式得到,其中将告警信息添加至视频数据的头部。将分析结果信息21b传送至客户端31。而且,提供在客户端31的显示部分111在其上显示分析结果信息21b。在这种情况下,不必将既没有添加对象信息也没有添加告警信息的视频数据以及分析之前的元数据传送至客户端31。然而,也可以将既没有添加对象信息也没有添加告警信息的视频数据以及分析之前的元数据传送至客户端31。以这种方式在服务器内执行元数据分析可以使得元数据分析需要的处理集中在服务器侧执行,因此就可以降低强加在客户端的负担。注意,在该实例的情况下,必须将与应执行何种分析相关的用于确定分析详情的数据从客户端发送到服务器。或者,可以将以前预定条件下分析的数据存储在服务器中。
接着,现在将参考图6对客户端和服务器都执行元数据分析的实例进行描述。在该实例中,使用了两个客户端31和32。一个客户端31被配置为具有高元数据分析性能的终端,另一方面,另一客户端32被配置为具有低元数据分析性能的终端(或者配置为不具有分析元数据功能的终端)。而且,将来自网络摄像机11、12和13的元数据和视频数据(流数据)临时存储在服务器21中。临时存储在服务器21中的视频数据和元数据的数据(所述数据属于从客户端31请求的任意网络摄像机中的任意部分)被发送至客户端31。在这种情况下,来自网络摄像机11,12和13中的数据可能没有临时存储在服务器21中,而是直接发送至客户端31。
在一个客户端31,元数据分析模块31a对元数据进行分析。而且,元数据分析模块31a为配置在客户端31中的显示部分111提供作为分析结果的对象信息和告警信息以及视频数据。然后,显示部分111连同与视频数据对应的图像一起在显示部分111上显示对象信息和告警信息。
另外,服务器21中配置的元数据分析模块21a还对元数据进行分析,并得到分析结果信息21b,其中将作为分析结果的对象信息和告警信息添加至视频数据。服务器21将分析结果信息21b传送至另一客户端32。而且,提供在客户端32中的显示部分111在其上显示分析结果信息21b。根据客户端的能力,服务器和客户端以分配性的方式对元数据进行分析,这就致使可能执行适合于客户端能力的处理,且因此还可能提高图像处理系统构造的灵活性。
此外,可以使服务器21中元数据分析模块21a分析元数据的条件以及客户端31中元数据分析模块31a分析元数据的条件彼此不同。结果是,可以对一个监视图像执行多种不同的分析,并因此可能进行各种分析。
此处,当以图6所示的方式,以分配性的方式执行用于分析元数据等的处理来时,可以确定服务器是否获取每个客户端的性能信息以及是否将元数据原封不动地发送至每个客户端,或者服务器是否将分析结果原封不动地传送至每个客户端。也就是说,服务器获取每个客户端的性能信息,并确定将被发送的信息。
例如,对于来自客户端的用于服务器的基于HTTP的命令选项进行如下所述的讨论。
/Image?ClientPerformance=X
X=H:高(性能足够,因此发出传送元数据的请求)
X=M:中(性能足够,因此发出传送元数据的请求)
X=L:低(由于性能为低,因此仅请求元数据分析的相关分析结果)
而且,服务器确定由命令表示的性能信息,把将被传送的数据改变为另一种,并将另一种数据发送至客户端。
例如,对于改变的确定说明如下:
(i)在客户端的性能为高的情况下:将元数据原封不动地传送至客户端。
(ii)在客户端的性能为中的情况下:将元数据原封不动地发送至客户端。
(iii)在客户端的性能为低的情况下:根据元数据产生告警信息和对象信息,并将这些信息给予与图像对应的视频数据的头部,然后将结果得到的视频数据传输至客户端。
服务器以上述方式根据客户端的性能自动确定将被传送的信息。其结果是,使得可能执行与连接至图像处理系统的客户端的性能对应的满意处理。
接下来,参考图7将对其中一个客户端31同时分析分别存储在多个服务器21、22和23中的元数据的实例进行描述。在该实例中,客户端31包括元数据分析模块31a、31b和31c,分别用于分析来自三个服务器21、22和23的元数据。客户端31还包括模块31d,用于综合元数据分析模块31a、31b和31c中的分析结果。综合模块31d得到综合了作为分析结果的告警信息和对象信息的报告信息。而且,客户端31中的显示部分111在其上显示结果得到的报告信息。注意,尽管图7的实例示出没有传输图像的流数据,但是也可以从每个服务器21、22和23传送视频数据(或者进行请求的服务器),从而在显示部分111上连同报告信息一起显示视频数据。
可以以如上所述的方式执行处理,这将致使可以收集多个服务器的告警信息,因此可以执行更复杂的分析。例如,可以对网络摄像机计数的人数进行求和,所述网络摄像机是与多个服务器对应的网络摄像机中看守同一地点的网络摄像机,或者可以执行由多个网络摄像机监视的商店内交通线的分析。
接着,将参考图8对其中多个客户端以分配性的方式分析元数据的实例进行描述。在该实例中,存储在服务器21中的元数据21c被分成第一半和第二半。因此,将花费很长时间的元数据分析处理将在短时间周期内完成。
在图8示出的实例中,元数据的第一半被传送至一个客户端31,配置在客户端31中的元数据分析模块31a对元数据的第一半进行分析。另一方面,元数据的第二半被传送至另一客户端32,配置在客户端32中的元数据分析模块32a对元数据的第二半进行分析。将在客户端31和32中得到的分析结果(对象信息和告警信息)分别发送至服务器21。而且,服务器21集中管理分析结果本身。
下面对其中执行了这种处理的具体实例进行说明。例如,当对七天的元数据进行分析时如果七个客户端连接至图像处理系统,则从服务器传输每个客户端24小时的元数据。结果,七个客户端可以各自分析七天的元数据。在这种情况下,服务器21可以综合来自各个客户端的元数据分析结果,从而产生报告。
图8的实例示出了多个客户端以分配性的方式对元数据进行分析的情况。然而,多个客户端中执行分配处理的一个客户端可以由服务器自身构成,并且服务器同样可以分析元数据。
另外,至此已经描述的元数据分析的分配处理可以采用这样的结构,其中实时获取各个客户端中的负荷状态,并实时地改变分配处理状态。
例如,为了避免负荷集中在特定的服务器,仅将告警信息传输至客户端中具有低性能的部分,而将元数据分析前的元数据传输至其它客户端中的每一个客户端。结果,就可能避免负荷集中在特定的服务器。实时执行该操作。因此,告警信息被传输至施加了重负荷的客户端,而将元数据传送至施加了轻负荷的客户端。结果,可以动态地实现最优负荷分配。
另外,还可能弥补客户端的低性能。也就是讲,通常客户机装置的性能低于服务器装置的性能。而且,可以将重负荷临时施加给多任务型客户机装置。在这种情况下,相当于临时在服务器侧执行告警信息的产生,从而使得可能弥补客户端的低性能。
本领域技术人员应当理解,在位于本发明的附属权利要求书或者其等效表述范围内的情况下,根据设计要求以及其它因素可能出现各种变型、组合、子组合以及替代。
Claims (8)
1.一种图像处理系统,包括:
图像拾取设备;
服务器,用于在其中存储从所述图像拾取设备输出的视频数据,利用所述图像拾取设备来捕获图像且以视频数据的形式从所述图像拾取设备输出;和
终端装置,所述视频数据从所述服务器传送至所述终端装置,
其中所述图像拾取设备包括:
视频数据生成部分,被配置成捕获图像并产生图像视频数据;和元数据生成部分,被配置成生成代表监视对象图像信息的元数据,
其中所述服务器包括:
视频数据存储部分,被配置成在其中存储从所述图像拾取设备提供的视频数据;和
元数据存储部分,被配置成在其中存储从所述图像拾取设备提供的元数据,
其中所述终端装置输出关于存储在所述元数据存储部分中的元数据的分析结果。
2.根据权利要求1所述的图像处理系统,其中所述分析是用于检测图像是否具有与预定条件一致的改变以及用于对监视范围内的改变进行告警的分析。
3.根据权利要求1所述的图像处理系统,其中所述终端装置包括分析部分,所述分析部分被配置成接收从所述服务器提供的视频数据和元数据作为其输出并对提供至所述分析部分的元数据进行分析。
4.根据权利要求1所述的图像处理系统,其中所述服务器包括分析部分,所述分析部分被配置成对存储在所述元数据存储部分的元数据进行分析,并将所述分析部分中的分析结果提供给所述终端装置。
5.根据权利要求4所述的图像处理系统,其中所述图像处理系统包括具有不同数据吞吐量的多个终端装置作为终端装置,并且将所述服务器的所述分析部分中的分析结果提供至具有低数据吞吐量的第一终端装置,而将存储在所述服务器的所述元数据存储部分中的元数据提供至具有高数据吞吐量的第二终端装置,使得在第二终端装置侧对元数据进行分析。
6.根据权利要求4所述的图像处理系统,其中所述服务器的所述分析部分对部分元数据进行分析,所述终端装置对剩余的元数据进行分析。
7.一种用于图像处理系统的服务器,所述服务器用于在其中存储从图像拾取设备输出的视频数据,利用所述图像拾取设备来捕获图像且以视频数据形式从所述图像拾取设备输出,以及用于向终端装置提供这样存储的视频数据,
所述用于图像处理系统的服务器包括:
视频数据存储部分,被配置成在其中存储从所述图像拾取设备提供的视频数据;
元数据存储部分,被配置成在其中存储从所述图像拾取设备提供的元数据;和
分析部分,被配置成分析存储在所述元数据存储部分中的元数据,并将关于元数据的分析结果提供给所述终端装置。
8.一种应用于监视系统的图像处理方法,所述监视系统包括:图像拾取设备;服务器,用于在其中存储从所述图像拾取设备输出的视频数据,利用所述图像拾取设备来捕获图像且以视频数据的形式从所述图像拾取设备输出;和终端装置,视频数据从所述服务器传送至所述终端装置,所述图像处理方法包括以下步骤:
利用所述图像拾取设备捕获图像,并由所述图像拾取设备生成代表监视对象信息的元数据,
将从所述图像拾取设备提供的视频数据和元数据存储在所述服务器中;和
在所述终端装置中输出关于存储在所述服务器中的元数据的分析结果。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006-182820 | 2006-06-30 | ||
JP2006182820 | 2006-06-30 | ||
JP2006182820A JP4363421B2 (ja) | 2006-06-30 | 2006-06-30 | 監視システム、監視システム用サーバ及び監視方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101098469A true CN101098469A (zh) | 2008-01-02 |
CN101098469B CN101098469B (zh) | 2015-04-22 |
Family
ID=38610926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200710127328.XA Expired - Fee Related CN101098469B (zh) | 2006-06-30 | 2007-07-02 | 图像处理系统及其服务器和图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7936372B2 (zh) |
EP (1) | EP1873733B1 (zh) |
JP (1) | JP4363421B2 (zh) |
CN (1) | CN101098469B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101895727A (zh) * | 2009-05-21 | 2010-11-24 | 索尼公司 | 监视系统、摄像设备、分析设备和监视方法 |
CN102244774A (zh) * | 2010-05-13 | 2011-11-16 | 霍尼韦尔国际公司 | 具有直接数据库服务存储器的监视系统 |
WO2012027891A1 (en) * | 2010-09-02 | 2012-03-08 | Intersil Americas Inc. | Video analytics for security systems and methods |
CN102780872A (zh) * | 2011-05-12 | 2012-11-14 | 日立(中国)研究开发有限公司 | 装置监视服务器以及装置监视系统 |
CN103314601A (zh) * | 2010-11-05 | 2013-09-18 | 日本电气株式会社 | 信息处理设备 |
US9609348B2 (en) | 2010-09-02 | 2017-03-28 | Intersil Americas LLC | Systems and methods for video content analysis |
CN108055507A (zh) * | 2017-12-19 | 2018-05-18 | 四川九洲电器集团有限责任公司 | 一种用于视频分析系统通信的数据组包方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010093342A (ja) * | 2008-10-03 | 2010-04-22 | Canon Inc | 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法 |
JP2010136032A (ja) * | 2008-12-04 | 2010-06-17 | Hitachi Ltd | 映像監視システム |
JP2010181920A (ja) * | 2009-02-03 | 2010-08-19 | Optex Co Ltd | エリア管理システム |
JP5523027B2 (ja) * | 2009-09-02 | 2014-06-18 | キヤノン株式会社 | 情報送信装置及び情報送信方法 |
WO2011034924A1 (en) * | 2009-09-15 | 2011-03-24 | Envysion, Inc. | Video streaming method and system |
JP5693147B2 (ja) * | 2010-10-29 | 2015-04-01 | キヤノン株式会社 | 撮影妨害検知方法、妨害検知装置及び監視カメラシステム |
US8515990B2 (en) * | 2010-11-19 | 2013-08-20 | Lg Electronics Inc. | Mobile terminal and method of managing video using metadata therein |
US9424255B2 (en) * | 2011-11-04 | 2016-08-23 | Microsoft Technology Licensing, Llc | Server-assisted object recognition and tracking for mobile devices |
US10769913B2 (en) | 2011-12-22 | 2020-09-08 | Pelco, Inc. | Cloud-based video surveillance management system |
EP2905968A1 (en) | 2014-02-10 | 2015-08-12 | Thomson Licensing | Method and apparatus for determining data enabling generation of a user profile |
CN104935871A (zh) * | 2014-03-19 | 2015-09-23 | 北京信威通信技术股份有限公司 | 一种视频调度中的视频回传方法 |
JP6910208B2 (ja) * | 2017-05-30 | 2021-07-28 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10951903B2 (en) * | 2018-04-02 | 2021-03-16 | Intel Corporation | Video analytics encoding for improved efficiency of video processing and compression |
US10972768B2 (en) * | 2019-06-27 | 2021-04-06 | Intel Corporation | Dynamic rebalancing of edge resources for multi-camera video streaming |
DE102022104410A1 (de) * | 2022-02-24 | 2023-08-24 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Verteiltes monitoring-system für filmaufnahmen |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224257A (ja) | 1999-01-29 | 2000-08-11 | Jisedai Joho Hoso System Kenkyusho:Kk | 送信装置および受信装置 |
JP2002165210A (ja) * | 2000-08-04 | 2002-06-07 | Matsushita Electric Ind Co Ltd | データ送信端末及びデータ送受信装置 |
US7868912B2 (en) | 2000-10-24 | 2011-01-11 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US20020167587A1 (en) * | 2001-05-10 | 2002-11-14 | E.C.R Corporation | Monitoring system |
JP4099973B2 (ja) * | 2001-10-30 | 2008-06-11 | 松下電器産業株式会社 | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
JP2003274390A (ja) | 2002-03-18 | 2003-09-26 | Olympus Optical Co Ltd | 映像配信サーバおよび映像受信クライアントシステム |
JP2004247844A (ja) * | 2003-02-12 | 2004-09-02 | Mitsubishi Electric Corp | メタデータ選別処理方法、メタデータ選択統合処理方法、メタデータ選択統合処理プログラム、映像再生方法、コンテンツ購入処理方法、コンテンツ購入処理サーバ、コンテンツ配信サーバ |
US20060001537A1 (en) | 2003-11-20 | 2006-01-05 | Blake Wilbert L | System and method for remote access to security event information |
AU2004233453B2 (en) * | 2003-12-03 | 2011-02-17 | Envysion, Inc. | Recording a sequence of images |
JP4759988B2 (ja) * | 2004-11-17 | 2011-08-31 | 株式会社日立製作所 | 複数カメラを用いた監視システム |
US20080117295A1 (en) * | 2004-12-27 | 2008-05-22 | Touradj Ebrahimi | Efficient Scrambling Of Regions Of Interest In An Image Or Video To Preserve Privacy |
CN100440971C (zh) * | 2005-10-31 | 2008-12-03 | 北京中星微电子有限公司 | 一种基于因特网的摄像装置 |
US7460149B1 (en) * | 2007-05-28 | 2008-12-02 | Kd Secure, Llc | Video data storage, search, and retrieval using meta-data and attribute data in a video surveillance system |
-
2006
- 2006-06-30 JP JP2006182820A patent/JP4363421B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-28 EP EP07111245.2A patent/EP1873733B1/en not_active Expired - Fee Related
- 2007-06-28 US US11/824,104 patent/US7936372B2/en not_active Expired - Fee Related
- 2007-07-02 CN CN200710127328.XA patent/CN101098469B/zh not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101895727A (zh) * | 2009-05-21 | 2010-11-24 | 索尼公司 | 监视系统、摄像设备、分析设备和监视方法 |
CN102244774A (zh) * | 2010-05-13 | 2011-11-16 | 霍尼韦尔国际公司 | 具有直接数据库服务存储器的监视系统 |
CN102244774B (zh) * | 2010-05-13 | 2016-04-06 | 霍尼韦尔国际公司 | 具有直接数据库服务存储器的监视系统 |
WO2012027891A1 (en) * | 2010-09-02 | 2012-03-08 | Intersil Americas Inc. | Video analytics for security systems and methods |
CN102726042A (zh) * | 2010-09-02 | 2012-10-10 | 英特赛尔美国股份有限公司 | 用于安全的视频分析系统和方法 |
CN102726042B (zh) * | 2010-09-02 | 2016-04-27 | 英特赛尔美国有限公司 | 视频处理系统和视频解码系统 |
US9609348B2 (en) | 2010-09-02 | 2017-03-28 | Intersil Americas LLC | Systems and methods for video content analysis |
CN103314601A (zh) * | 2010-11-05 | 2013-09-18 | 日本电气株式会社 | 信息处理设备 |
US9251188B2 (en) | 2010-11-05 | 2016-02-02 | Nec Corporation | Information processing device |
CN102780872A (zh) * | 2011-05-12 | 2012-11-14 | 日立(中国)研究开发有限公司 | 装置监视服务器以及装置监视系统 |
CN108055507A (zh) * | 2017-12-19 | 2018-05-18 | 四川九洲电器集团有限责任公司 | 一种用于视频分析系统通信的数据组包方法 |
Also Published As
Publication number | Publication date |
---|---|
US20080016541A1 (en) | 2008-01-17 |
EP1873733B1 (en) | 2014-01-08 |
EP1873733A2 (en) | 2008-01-02 |
EP1873733A3 (en) | 2009-11-18 |
US7936372B2 (en) | 2011-05-03 |
JP2008016895A (ja) | 2008-01-24 |
JP4363421B2 (ja) | 2009-11-11 |
CN101098469B (zh) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101098469A (zh) | 图像处理系统及其服务器和图像处理方法 | |
CN105978728B (zh) | 智能监控系统及业务指标的监控方法 | |
CN113038122B (zh) | 一种基于视频图像诊断数据的故障定位系统及方法 | |
EP2046040A3 (en) | An alerting system and method for safety, security, and business productivity | |
CN109903175A (zh) | 一种保险核心系统监控平台 | |
GB2463952A (en) | Analysing a service processing status in a network | |
CN101246646A (zh) | 一种基于Web服务的E-Police系统架构 | |
CN101872515B (zh) | 银行业务系统交易联动视频图像监控系统 | |
CN108235353A (zh) | 一种基于lte-m通信的城轨系统的监测系统 | |
CN104170375A (zh) | 用于群组视频分发的体系结构和系统 | |
CN111741007B (zh) | 一种基于网络层报文解析的金融业务实时监控系统及方法 | |
CN101106702B (zh) | 视频监控系统可配置告警过滤方法 | |
TWI448975B (zh) | 應用於影像監控平台的分散式運算系統 | |
JP5752932B2 (ja) | 機器情報管理システム | |
CN113411209A (zh) | 一种分布式的密码服务全链路检测系统及方法 | |
CN109639456A (zh) | 一种自动化告警的改进方法及告警数据的自动化处理平台 | |
CN107820051A (zh) | 监控系统及其监控方法和装置 | |
CN109120896B (zh) | 安防视频监控卫士系统 | |
KR101668303B1 (ko) | 이벤트 영상의 통합 관리시스템 | |
CN109670079B (zh) | 基于监控系统的督察方法和系统 | |
EP4013044A1 (en) | Method and system for automatically determining and tracking the performance of a video surveillance system over time | |
CN115333791A (zh) | 基于云端的车辆安全防护方法及相关设备 | |
WO2017131265A1 (ko) | 다중객체 영상분석 및 그 결과 제공을 위한 영상분석 시스템 | |
CN114553808B (zh) | 信息处理系统 | |
CN112559561B (zh) | 数据处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150422 Termination date: 20210702 |
|
CF01 | Termination of patent right due to non-payment of annual fee |