CN1391404A - 图像监视的设备、方法和处理程序 - Google Patents

图像监视的设备、方法和处理程序 Download PDF

Info

Publication number
CN1391404A
CN1391404A CN02127558A CN02127558A CN1391404A CN 1391404 A CN1391404 A CN 1391404A CN 02127558 A CN02127558 A CN 02127558A CN 02127558 A CN02127558 A CN 02127558A CN 1391404 A CN1391404 A CN 1391404A
Authority
CN
China
Prior art keywords
image
data
surveillance zone
background image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02127558A
Other languages
English (en)
Other versions
CN1201585C (zh
Inventor
福原良雄
熊田清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN1391404A publication Critical patent/CN1391404A/zh
Application granted granted Critical
Publication of CN1201585C publication Critical patent/CN1201585C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种图像监视设备包括：包含具有旋转体形状凸透镜的成象部分，该成象部分获得全方位范围的图像并产生全方位范围的图像数据；监视区设置部分，用于在成象部分获得的全方位范围的图像数据中设置监视区；图像处理部分，用于根据从由成象部分事先获得的作为监视区的正常状态的参考的背景图像数据与由成象部分按预定时间间隔获得的当前图像数据的比较/确定获得的确定信息执行图像处理；和监视信息输出部分，用于根据确定信息输出监视信息。

Description

图像监视的设备、方法和处理程序
技术领域
本发明涉及具有安装成象装置以便观察某个监视区的图像监视设备，其中对由成象装置获得的图像进行处理，以便检测入侵到监视区的人或目标。本发明还涉及图像监视方法和在这种图像监视设备中实施的图像监视处理程序。
背景技术
近年来，诸如工业电视摄象机(下文称为“ITV”)等的成象装置已用于监视设备中。这些监视设备安装在工厂建筑物的适当地方。监视设备监视通过监视设备的成象装置获得的图像。这种监视设备通过检测异常事件的出现和罪犯入侵到工厂建筑物，已经被用于有效地改善工厂建筑物的安全。
作为这种应用的的监视设备，通过安装在天花板等处的ITV摄象机获得将被监视的某些区域的图像，并且由ITV摄象机获得的图像被用作监视该监视区的监视图像。监视设备将监视区的监视图像与监视参考图像进行比较，该监视区的监视图像是由ITV摄象机捕获并每预定时间更新(下文称为“当前图像”)，而该监视参考图像是监视区中经常提供的背景图像并事先存储在监视设备中的(下文称为“背景图像”)。如果当前图像不同于背景图像，则监视设备确定在监视区有入侵者等。
例如，当作为当前图像与背景图像比较的结果监视设备检测到入侵者的入侵时，监视设备通过检测到入侵者的监视设备通知正在监控该监视区的监控者或者操作员。被通知入侵的监控者去到曾检测入侵的监视区或者采取任何必要的动作。
但是，常规图像监视设备中，成象装置的视角很窄，使得由单一成象装置覆盖的监视区受到限制，当需要监视一个大的区域时，在适当位置必须安装多个成象装置，以便能通过各个成象装置覆盖整个监视区。另外一种方案，成象装置必须是可移动的，以便通过单一成象装置覆盖一个大的监视区。
发明内容
按照本发明的一个方面，图像监视设备包括：包含具有旋转体形状凸透镜的成象部分，该成象部分获得全方位图像并产生全方位图像数据；监视范围设置部分，用于在从成象部分获得的全方位图像数据中设置监视区；图像处理部分，用于根据由成象装置事先得到的背景图像数据与由成象装置在预定时间间隔得到的当前图像数据之间的比较/确定获得的确定信息执行图像处理，该背景图像数据用作监视区的表示正常状态的参考；监视信息输出部分，用于根据确定信息输出监视信息。
在本发明的一个实施例中，监视信息输出部分是图像输出部分。
在本发明的另一个实施例中，图像处理部分包括：图像比较部分，用于比较背景图像数据与当前图像数据；确定部分，用于根据图像比较部分的比较结果确定将要检查的目标存在/不存在；和图像变换部分，用于根据确定部分的确定结果，执行某种图像变换处理。
本发明的再一个实施例中，监视区设置部分设置多个监视区。
本发明的再一个实施例中，图像处理部分变换由成象部分获得的全方位的图像数据为全景图像数据或远景变换的图像数据。
本发明的再一个实施例中，图像监视设备还包括告警信息输出部分，用于当图像处理部分，确定当前图像数据不同于背景图像数据时输出告警信息。
本发明的另一个实施例中，图像比较部分根据背景图像数据与当前图像数据之间的区别产生比较结果图像数据；并且确定部分根据对每个监视区的比较结果执行投影处理。
本发明的再一个实施例中，当获得背景图像数据时指示时间的时间信息附加到背景图像数据上。
本发明的再一个实施例中，由成象部分获得的图像数据是圆形图像数据；并且根据极座标系统设置监视区，在该系统中圆形图像数据的中心是系统的原点。
本发明的另一个实施例中，由成象部分获得的图像数据是圆形图像数据；并且通过从圆形图像数据的中心指定两个距离，环形区被设置为监视区。
本发明的另一个实施例中，由成象部分获得的图像数据是圆形图像数据；并且通过从圆形图像数据的中心指定两个距离和两个中心角，一对对称的区被设置为监视区。
按照本发明的另一个方面，提供一种利用成象部分的图像监视方法，该成象部分包括含具有旋转体形状的凸透镜，并获得全方位图像，包括以下步骤：在由成象部分获得的全方位图像数据中设置希望的监视区的监视区设置步骤；设置多个由成象部分获得的图像数据作为背景图像数据的背景图像设置步骤，该背景图像数据被用作监视区的正常参考状态的参考；和根据多个背景图像数据与由成象部分在预定时间间隔获得的当前图像数据之间的比较结果，在监视区监视有/无异常事件的监视步骤。
本发明的一个实施例中，图像监视方法还包括：根据预定逝去时间设置背景图像数据以后，当预定时间逝去时，更新背景图像数据的背景图像更新步骤。
本发明的再另一个实施例中，监视步骤包括：在预定时间间隔获得的捕获当前图像数据的二进制差分图像生成步骤，和根据对每个监视区的当前图像数据与背景图像数据之间执行比较生成二进制差分图像数据；对每个监视区的二进制差分图像数据执行投影处理的投影步骤；相加由投影处理获得的数据并且计算相加结果的最大值的最大值计算步骤；确定是否计算的最大值比预定阈值大的确定步骤；和输出至少一个告警，或当确定计算的最大值大于预定阈值时，变换从某个区中的当前图像数据产生的图像数据的告警步骤。
本发明的另一个实施例中，图像监视方法还包括：当在确定步骤中确定计算的最大值不大于预定阈值时，存储当前图像数据作为存储部分的背景图像侯选的存储步骤。
按照本发明再一个方面，提供一种执行上述图像监视方法的图像监视处理程序。
在本说明书中，“全方位”涉及360°视角。
因此，本发明可以实现以下优点：(1)提供利用单一成象装置可以监视大的监视区使得能可靠地检测到入侵到监视区中的入侵者等的图像监视设备；(2)提供在这种图像监视设备实现的图像监视方法和图像监视处理程序。
当参照附图阅读并理解了下面的详细描述以后，对本专业技术人员来说本发明的这些和其它优点将变得清楚。
附图说明
图1是表示按照本发明的一个实施例的图像监视设备的总结构框图；
图2是表示本发明的图像监视设备的图像处理部分结构的框图；
图3是表示本发明的图像监视设备存储部分结构的框图；
图4(a)表示本发明的全方位摄象机的总结构，和呈现在全方位摄象机的视野中的各个目标；图4(b)到4(d)表示由本发明的全方位摄象机获得的图像数据，和从由全方位摄象机获得的图像数据产生的变换的图像；
图5是说明利用本发明的图像监视设备的监视操作的总过程的流程图；
图6是说明监视区设置处理的总过程的流程图；
图7表示监视区设置处理的第一例子；
图8表示监视区设置处理的第二例子；
图9表示监视区设置处理的第三例子；
图10表示监视区设置处理的第四例子；
图11是说明背景图像设置处理的总过程的流程图；
图12是说明监视处理的一般过程的流程图；
图13是说明背景图像更新处理的总过程的流程图；
图14表示投影处理的例子。
具体实施方式
下面，将参照附图描述本发明的图像监视设备。
本发明的图像监视设备包括能获得大面积区域的图像的成象装置。
该成象装置安装在工厂建筑物的例如防止入侵者入侵的位置，以便覆盖这样的位置的监视区。如果由成象部分检测到有入侵者入侵，由成象部分获得的图像受到某种处理，使得在监视器等上显示经处理的图像。另一方面，由监视设备执行某些对于安全需要的输出处理，诸如产生告警音、告警信号等。
图像监视设备的操作模式包括：安全模式和去激活模式。在正常状态中，图像监视设备被设置为安全模式。在安全模式中，检查由成象部分获得的图像中是否存在入侵目标或人(下文称这种安全状态为“监视状态”)。在安全模式中，如果检测到入侵者(“异常状态”)，执行诸如产生告警音的必要操作(未检测到入侵者的状态称“正常状态”)。例如，当监视者处在进行监视的位置时，选择去激活模式，并因此不需要产生告警音，或者当监视系统必须被停止以对工厂场地等的维护时。
图1是表示按照本发明的一个实施例的图像监视设备总结构的框图；
该图像监视设备包括：成象部分1，用于捕获某个监视区的图像并从捕获的图像获得图像数据；控制部分2，用于控制图像监视设备的整个操作；存储部分3，用于存储控制程序、图像数据等；操作部分4，用于设置监视区或改变用于设置监视区的设置条件；图像处理部分6，用于当监视设备检测到由成象部分1获得的图像数据中发生异常事件时，根据包含不同目标的监视区最近图像数据产生远景变换图像、整个监视区的全景图像；图像输出部分5，用于输出由图像处理部分6产生的经变换的图像等；和告警输出部分7，用于输出诸如告警音、告警消息等之类的告警信息，告警信息是当根据由成象部分1获得的图像数据监视设备检测到发生异常事件时结合监视区产生的。
控制部分2例如是连接着成象部分1、存储部分3、操作部分4、图像输出部分5、图像处理部分6、和告警输出部分7的中央处理单元(CPU)。
控制部分2获得存储在存储部分3的控制程序，以便控制成象部分1、图像输出部分5、图像处理部分6和告警输出部分7。
成象部分1在控制部分2的控制下获得某个监视区的图像。具体地说，成象部分1获得多个当前图像，这些图像是作为在一个监视步骤期间每个预定时间的图像数据而获得的。另一方面，成象部分1获得在监视步骤开始前的预定的不同时间的多个用于与当前图像比较的背景图像。获得的背景图像的图像数据和当前图像的图像数据经控制部分2和图像处理部分6每次每个图像数据获得时被发送到存储部分3，并分别存储在背景图像存储区15和当前图像存储区16，这些存储区将在下面结合图3进行描述。
成象部分1是由能获得大视野图像的成象装置构成的。例如，由具有旋转体形状(即，旋转体构成的形状)的凸透镜，和捕捉在凸透镜反射图像的成象摄象机构成的全方位摄象机，可以用作成象部分的成象装置。在全方位摄象机的情况下，凸透镜放置在成象摄象机的前面，使得镜的凸表面面向成象摄象机，并且圆锥镜与成象摄象机固定得使圆锥镜的旋转轴与成象摄象机透镜的光轴相一致。
通常用在工业摄象机中的CCD成象器件可以用在全方位摄象机的摄象机部分。另一种方案，红外摄象机、可见光摄象机等根据监视目标的类型也可以使用。作为具有旋转体形状的凸透镜，圆锥镜、球面镜、抛物面镜、双曲面镜、类球面镜等都可以使用，因为具有这种形状的镜可以容易地变换该镜的反射图像为远景变换图像，该图像假设是从镜的焦点看到的。
图2表示本发明的图像监视设备的图像处理部分6的一般结构。如图2所示，图像处理部分6包括：监视区设置部分8，能在一个显示图像范围设置多个希望的监视区；背景图像寄存部分9，用于对由成象部分1获得的图像数据附加上时间信息，当该图像数据被获得时该信息指示图像数据获得的时间，并且转移这个图像数据到存储部分3。图像处理部分6还包括图像比较部分10，用于比较由成象部分1在每个预定时间获得的当前图像数据与来自存储部分3的背景图像数据。根据图像比较部分10的当前图像数据与背景图像数据之间的差，确定部分11确定监视区的当前图像数据是否正常。如果确定部分11的确定结果为不正常，则由图像变换部分12产生将被显示的一个远景变换图像等，使得包含待检查的目标。
图4(a)表示成象部分1的全方位摄象机的总结构，和出现在全方位摄象机视野内的目标(A)和(B)。图4(b)到4(d)表示由成象部分的全方位摄象机获得的图像数据，和由图像变换部分12从由全方位摄象机获得的图像数据产生的经变换的图像。
参照图4(a)，成象部分1是由全方位摄象机给成的，该摄象机包括：安装得使凸表面朝下的双曲线镜1a，和位于刚好在双曲线镜1a的下面的CCD摄象机1b。在如图4(a)所示的例子中，目标(A)和(B)在成象部分1的视野(监视区)内。
图4(b)表示由成象部分1的全方位摄象机获得的图像，包括图4(a)的目标(A)和(B)的目标图像。由全方位摄象机获得的图像是如图4(b)所示的圆形图像。
图4(c)表示由全景变换图4(b)的圆形图像获得的全景图像。图4(d)表示由远景变换图4(b)的圆形图像获得的远景变换图像。
图3是表示存储部分3的结构的框图。连接到控制部分2的存储部分3(见图1)可以是由诸如硬盘之类的磁记录装置构成的。另外一种情况下，存储部分3可以是由诸如可以实现高速处理的RAM(随机访问存储器)之类的半导体存储器形成。
存储部分3包括：程序存储区13，用于存储控制部分2、图像处理部分6等的操作程序；参数存储区14，用于存储各种参数，诸如涉及监视区的信息、作为在背景图像与当前图像之间比较的参考二进制阈值(将在下面描述)、确定出现异常事件的异常确定参考值等；背景图像存储区15，用于存储多个事先由成象部分1获得的背景图像数据并且是与当前图像比较的参考图像；当前图像存储区16，用于存储由成象部分1获得的当前图像数据；经变换的图像存储区17，用于存储由图像处理部分6根据由成象部分1获得的当前图像产生的经变换的图像；背景图像侯选存储区22，用于存储背景图像侯选(将在下面描述)；监视状态存储区18，用于存储监视状态(正常或者异常)；监视模式存储区19，用于存储图像监视设备的监视模式(安全模式、去激活模式等)；差图像存储区20，用于存储代表比较各个图像之间的差的二进制差分图像(将在下面描述)；和直方图存储区21，用于存储涉及差图像中异常部分的直方图数据(将在下面描述)。
再参照图1，描述图像监视设备。
告警输出部分7经有线或无线装置连接到外部控制器(未示出)，并当异常事件出现时输出告警到外部控制器。
图像输出部分5具有诸如监视器之类的显示屏。图像输出部分5经有线或无线装置连接到用于监视的外部装置的控制器，该外部装置装备在图像监视设备中，即，诸如安装在提供监视的保安室中的通信装置、由他/她携带或类似情况始终监视的通信装置之类的通信装置(未示出)的控制器。当异常事件发生时，包括要监视的目标的监视区域的经变换的图像数据、监视区域的未经转换的数据等被输出到该通信装置的控制器。
操作部分4具有允许键入图像输出部分5的显示屏的键开关。例如，该键开关是与图像输出部分5的监视器设置在一起的键盘。另外一种情况下，键开关可以是形成在与控制器设置在一起的监视器屏幕上的触模屏。操作部分4输出根据监视者通过通信线路(未示出)对控制部分2的操作产生的指令信号。
接下来，描述利用本发明的图像监视设备监视监视区的监视操作的总过程。
图5是说明利用本发明的图像监视设备的监视操作的总过程的流程图。
参照图5描述本发明的图像监视设备的总处理流程。
本实施例的图像监视设备的处理流程总通过4个处理步骤形成的，该4个步骤包括：监视区设置步骤、背景图像设置步骤、监视步骤、和背景图像更新步骤。
在第一个步骤，即在监视区设置步骤，由监视者操作操作部分4，在图像输出部分5的显示屏显示的图像设置一个区作为监视区(步骤S01)。在这个步骤中，通过设置多个区作为监视区可以监视多个区。
在设置某个监视区以后，在背景图像设置步骤执行背景图像的设置处理(步骤S02)。
在步骤S02的背景图像设置处理中，例如正在监视该监视区的监视者操作操作部分4，使得由成象部分1获得的图像数据通过具有帧数为N(一个背景图像单元)的图像数据段的各个单元被存储在存储部分3(图3)的背景图像存储区15。而后，不断更新背景图像单元，直至处理前进到监视步骤。
在背景图像设置处理(步骤S02)完成以后，在安全模式确定步骤(步骤S03)，确定图像监视设备的安全模式是开还是关。如果安全模式是开，处理从背景图像设置步骤变换到监视步骤。如果安全模式是关，处理返回到步骤S02的背景图像设置处理，并继续背景图像单元的更新。在这里描述的例子中，帧数N是个复数。但是，即使当帧数N是1也可以执行基本图像比较操作。
从背景图像设置步骤到监视步骤的变换是由正在监视有关监视区的监视者按从监视区设置步骤到背景图像设置步骤变换的类似方式操作操作部分4实现的。操作部分4具有转换图像监视设备的安全模式的通/断的输入开关。这个开关是由监视者操作的。没有由转换安全模式为通的监视开关操作，不发出监视步骤的转换指令，并且处理返回背景图像设置步骤，用于更新背景图像单元。
在监视步骤(步骤S04)中，执行监视处理。具体地说，在监视处理期间，一帧当前图像数据与背景图像单元进行比较，因此监视诸如入侵者的入侵之类的异常事件出现。下面将更详细地描述监视处理。
在完成监视处理的单一转换以后，处理前进到安全模式确定步骤，在该步骤控制部分2确定图像监视设备的安全模式是通还是断(步骤S05)。如果安全模式是断，处理前进到停止处理确定步骤，在该步骤控制部分2确定是否发出停止信号，用于停止图像监视设备的操作(步骤S08)。这个停止信号例如通过正在监视该监视区的监视者的操作开关被输出到控制部分2。如果停止信号被输出到控制部分2，给图像监视设备的电源被关断，因此处理结束。如果停止信号未输出到控制部分2，处理前进到监视区改变指令确定步骤，在该步骤控制部分2确定是否发出用于改变监视区的指令(步骤S09)。用于改变监视区的指令例如通过正在监视该监视区的监视者的操作开关被发出。如果没有发出改变监视区的指令，处理返回步骤S02的背景图像设置处理步骤。如果发出改变监视区的指令，处理返回到步骤S01的监视区设置处理步骤。
在安全模式确定步骤(步骤S05)，如果安全模式是通，处理前进到背景图像更新定时确定步骤，在该步骤控制部分2确定是否有适当时间更新背景图像单元(步骤S06)。如果控制部分2确定没有适当时间更新背景图像单元，处理返回到S04的监视步骤。如果控制部分2确定有适当时间更新背景图像单元，处理前进到步骤S07的背景图像更新步骤。
在背景图像更新步骤，执行背景图像更新处理(步骤S07)。在背景图像更新处理步骤，各个背景图像被存储在存储部分3的背景图像存储区15并且这些背景图像具有帧数N，控制部分2查阅每个背景图像的时间信息，该信息指示该背景图像何时获得的时间，并且选择最老的背景图像。选择的背景图像被更新为新的背景图像。在更新处理完成以后，处理返回到步骤S04的监视步骤。
通过例如操作操作部分4实现从背景图像更新处理步骤到监视步骤的变换。由操作操作部分4产生的指令信号被输出到控制部分2。控制部分2根据该指令信号的指令执行处理。
接下来，更详细地描述上述每个步骤。
图6是说明步骤S01的监视区设置处理的总过程的流程图。
在步骤S01的监视区设置处理中，在图像捕获步骤，由成象部分1捕获的包括某个监视区的图像的图像数据(捕获数据)通过控制部分2被存储在存储部分3的当前图像存储部分16(步骤S11)。而后，用读作句子“从成象部分1捕获的当前图像”简单表示这个处理。在这个处理中，指示何时获得该捕获数据的时间的时间信息，连同捕获的数据一起被存储在存储部分3的当前图像存储区16。
从控制部分2连同其时间信息一起经由图像输出部分5输出获得的当前图像数据到与外部装置的控制器一起提供的监视器(未示出)。
然后，在步骤S12，正在观察监视器的监视者在监视器显示的图像上根据监视区设置方法(将在下面描述)设置监视区，并将该设置监视区信息存储在存储部分3的参数存储区14中。
在步骤S12的监视区设置处理完成以后，处理前进到步骤S13，在该步骤用于询问监视者是否他/她希望发出增加另外的监视区或改变监视区的指令的消息。如果监视者想要发出指令增加另一个监视区域改变该监视区，监视者通过操作部分4输入这样的指令。发送由监视者输入的指令到控制部分2。
如果发出增加另外监视区或改变监视区的指令，处理返回到步骤S11的当前图像捕获步骤，在该步骤由监视区设置部分8继续监视区设置处理。如果未发出增加另外监视区或改变监视区的指令，图6的处理前进到图5的主流程中步骤S2的背景图像设置处理。
现在，描述上述监视区设置方法的具体例子。
图7示意性地表示由使用在成象部分1的全方位摄象机获得的圆形捕获图像。下面参照图7描述设置监视区的第一和第二方法。
按照第一方法，在圆形捕获图像中设置监视区的处理中，通过操作部分4由键输入指定监视区中心的座标(例如，A0(r0、θ0))。在这种方法中，围绕指定座标设置区的预定面积为监视区。在图7所示的例子中，通过指定座标A0(r0、θ0)为监视区的中心，指定由(r0±Δr0、θ0±Δθ0)表示的阴影区为监视区。
其中，对于座标(r、θ)，“r”代表从圆形图像的中心0到座标(r、θ)的距离，和“θ”代表相对于圆形图像的中心0的座标(r、θ)的中心角。利用这些参数r和θ可以指定圆形图像上的任何位置座标。
按照第二方法，通过操作部分4由键输入指定对应于某个区域(例如，A1(r1、θ1)、A2(r2、θ2)、A3(r3、θ3)、和A4(r4、θ4)、)的4角的座标。在这种情况下，设置由4点限定的区为监视区。按这种方法，监视区可以设置为具有任何面积范围。
按照本发明，利用上述第一和/或第二方法不仅可以设置一个监视区而且可以设置多个监视区。
图8示意性地表示作为成象部分1使用的CCD摄象机获得的捕获图像。下面参照图8描述设置监视区的第三方法。
按照第三方法，在监视器上显示的圆形捕获图像中，这样设置一对监视区，即它们相对于圆座标系统的中心0对称。在如图8所示的例子中，通过指定离圆座标系统的中心的距离r1，和从圆形图像的参考位置的两个中心角θ1和θ2，可以选择4个点，A1(r1、θ1)、A2(r1、θ2)、A3(r1、180°+θ1)、A4(r1、180°+θ2)。结果，可以同时设置由点A1(r1、θ1)、B1(r2、θ5)、B4(r2、θ8)、和A4(r1、180°+θ2)限定第一监视区，和点A2(r1、θ2)、B2(r2、θ6)、B3(r2、θ7)、和A3(r1、180°+θ1)限定第二监视区。
这里，所有4个点A2、B2、B1、和A1都在一条线上。另外，所有4个点A3、B3、B4、和A4也都在另一条线上。
图9示意性地表示由成象部分1获得的圆形捕获图像。下面参照图9描述设置监视区的第四方法。
按照该第四方法，在由指定从圆形图像的中心座标的两个距离r1和r2的圆形捕获图像中，可以设置由具有半径r1的圆和具有半径r2的圆限定的环形监视区。
下面，考虑被监视的区域的房间的中心面积，并且本发明的图像监视设备安装在将被监视区域的上方的情况。在这种情况下，利用第四方法设置环形监视区，并且观察该设置的监视区，可以检测到无论在哪个方向入侵者走进或入侵到监视区的每种可能的走进和入侵到该监视区。另外，按照第四方法，通过简单指定两个不同距离就可以设置监视区。也就是说，在监视区可以按非常容易的方式进行设置方面，第四方法是有利的。
在上述第一到第四方法的任何一种中，座标(或各座标)是通过经到控制部分2的通信线路连接的操作部分4由键输入指定的。例如，在与外部装置的控制器一起提供的监视器屏，光标键滑动到希望位置，因此可以指定限定监视区的座标。另外一种方案，可以利用键输入操作输入座标参数指定座标。另外一种方案，在形成在监视器屏幕上的触模板可以用作操作部分4。在这样的安排中，可以通过直接触模在监视器屏幕上的触模板指定座标。
由成象部分1获得的当前图像，在监视区设置处理期间，通过在操作部分4上执行键输入操作，可以被变换为全景图像或远景图像。在这种情况下，具体地说，通过操作部分4输入图像变换的指令并被发送到控制部分2。控制部分2识别该指令并发送图像变换指令信息到图像处理部分6的图像变换部分12。图像变换部分12根据图像变换指令信息，变换当前圆形图像为全景图像、远景图像等。
例如，如果监视者不习惯于观察按照捕获的圆形图像，使得他/她在圆形图像掌握方向有困难，则圆形图像例如首先被变换为全景图像。在全景图像中，监视者可以更容易掌握相对方向，并容易设置希望的监视区。另一种方案，如果监视者已经重复使用监视监视器屏幕并现在习惯于观察圆形图像，他/她可能已经很好地掌握圆形图像的相对位置。在这种情况下，监视者容易在圆形图像中设置希望的监视区，并且这种监视区设置操作的效率高于上述执行图像变换的情况。
图10示意性地表示包含多个监视区的全景图像。下面参照图10描述设置多个监视区的方法。
其中，描述选择设置监视区的某个位置的两个示例性方法。
按照第一方法，通过指定监视区的中心座标，预定区域的面积被设置为监视区。
按照第二方法，在通过变换圆形图像获得的全景图像中，根据圆形图像中从参考点的角度，指定从全景图像中的参考点的距离，以便设置监视区。在图10中，通过分别指定角度范围(θ1、θ2)和(θ3、θ4)设置监视区。还在这种情况下，与在圆形图像中设置监视区使用的方式一样，利用操作部分4，诸如光标键、触模板等指定希望的位置。
将按这种方式对监视区的位置信息组存储在存储部分3的参数存储区14。
例如在日本专利公开2000-152208中，描述了由成象部分1捕获的圆形图像变换为全景图像或远景变换图像的方法。
下面，在步骤S02参照图11详细地描述执行的背景图像设置处理。
在步骤S02的背景图像设置处理中，在第一步骤，由成象部分1获得当前图像(步骤S21)。获得的当前图像被存储在存储部分3的当前图像存储区16。如上所述，由成象部分1获得的当前图像数据连同指示该当前图像何时由成象部分1捕获的时间的时间信息一起被存储在存储部分3的当前图像存储区16。
接下来，处理前进到步骤S22。在步骤S22，控制部分2确定存储在存储部分3的背景图像存储区15的背景图像数(每个背景图像具有指示该背景图像何时由成象部分1捕获的时间的时间信息)是否等于或大于预定帧数(N帧)。如果存储在存储部分3的背景图像存储区15的背景图像数小于N帧，在步骤S21，存储由成象部分1获得的当前图像数据作为在存储部分3的背景图像存储区15的背景图像数据(步骤S27)。然后，处理返回步骤S21。按这种方式，直至存储在存储部分3的背景图像存储区15的背景图像数达到N帧，由成象部分1获得的当前图像数据由图像处理部分6的背景图像寄存部分9作为背景图像数据被顺序地存储在背景图像存储部分15中。
这里，通过安排多个背景图像帧(N个帧)作为一个单元，可以防止出现由于在短时间周期内图像背景的变化引起的异常事件误检测。例如，考虑一种在成象部分1的视野中存在按某个频率闪现的闪光的情况，并且在该闪光处于关断周期由成象部分1获得的图像被设置为背景图像。如果在该闪光处于接通周期由成象部分1获得的图像被选作为当前图像，闪光的通/断周期之间的差，不应识别为异常事件(例如，外部目标的入侵)，却被控制部分2误识别为异常事件。在这种情况下，异常信号可能被发送到控制部分2。
在上述情况下，如果安排为一个单元的背景图像是多个帧(N个帧)，在闪光处于其通的周期由成象部分1获得的图像被寄存为多个背景图像之一。取多个背景图像之中的差的总和，用于与当前图像进行比较，即，均分该背景图像中的无明显变化。因此由于在背景图像中无明显变化可以降低误检测异常事件出现的可能性。再有，为了防止由于由诸如气候变化、照明条件等之类的过长周期引起变化的误检测，正如下面描述的，背景图像单元(包括背景图像N个帧)在预定时间间隔进行更新。应当指出，在监视设备的存储部分存储容量小，或异常事件误检测出现少的情况下，一个背景图像单元的帧数可以是1。
如果在存储部分3的背景图像存储区15中存储背景图像数等于或大于包括一个背景图像单元的预定帧数(N个帧)，处理前进到步骤S23。
在步骤S23，按照由图像处理部分6的背景图像寄存部分9的指令，由图像比较部分10根据当前图像数据(1帧的图像数据)和以前存储在存储部分3的背景图像存储区15中、包含在一个背景图像单元中的每个背景图像数据之间的差，计算图像的差数据。然后，在图像比较部分10中，利用存储在存储部分3的参数存储区14中某个阈值对计算的差图像数据进行二进制化，以便获得二进制图像的差分数据。二进制图像的差分数据暂时存储在存储部分3的差分图像存储部分20。
为了减少计算处理量并从而实现高处理速度，获得的二进制图像的差分数据，不是用于由成象部分1获得图像的整个视野范围的，而仅是预置监视区的。另外，在二进制中使用的阈值是由监视者通过操作部分4的键输入作为参数进行设置的并存储在存储部分3的参数存储区14。
接下来，在步骤S24，根据存储在存储部分3的差分数据存储部分20的二进制图像的差分数据，由图像处理部分6的确定部分11，通过对X-Y矩阵的每个列和行的相应X-Y矩阵座标求和二进制图像的差分数据的图像数据值(下面，这种处理称为“投影处理”)，产生对于通过二进制图像的差分数据格式化的X-Y矩阵的每个X-方向和Y-方向的直方图数据。产生的直方图数据被存储在存储部分3的直方图存储部分21。
现在，具体描述投影处理的总过程。
图14示意性地描述根据象素安排为5×5的二进制差分图像数据产生的直方图数据。
在表示在图14的例子中，在二进制图像23的5×5差分数据的每个图像值24是0或1。在表示在图14中的各个象素(X、Y)中，座标(3、4)、(1、3)到(4、3)，和(2、2)到(2、3)的每个像素值是1，而在每个其它座标的象素值是0。
在这个例子中，直方图26沿X方向从左到右是[1、2、3、1、0]，和直方图25沿Y方向向上是[0、2、4、1、0]。按这种方式执行投影处理。
在步骤S24的投影处理完成以后，处理前进到图11的步骤S25。由步骤S24的投影处理产生的直方图数据中，各个直方图数据的最大值进行比较，并且选择对应于具有最小的最大值的直方图数据的背景图像。
然后，发送选择的背景图像到背景图像寄存部分9，并且背景图像寄存部分9利用当前图像数据代替选择的对应于具有最小最大值的直方图数据的背景图像，并且寄存代替的当前图像数据作为背景图像数据(步骤S26)。
在上面的例子中，在确定部分11中，各个提取的直方图数据的各最大值进行比较，用于选择将被用当前图像数据代替的背景图像数据。但是，按照本发明，可以比较各个直方图数据的象素值总和，并且可以用当前图像数据代替具有最小总和值的背景图像数据。
在步骤S26的处理结束时完成背景图像设置处理，并且处理流程返回如图5所示的主处理流程。
接下来，参照图12所示的流程图详细描述在步骤S04执行的监视处理。
在步骤S04执行的监视处理中，在第一步骤，由成象部分1获得(步骤S31)当前图像(1帧的图像数据)。然后，在图像处理部分6的图像比较部分10中，对于每个监视区，由成象部分1获得的当前图像与事先存储在存储部分3的背景图像存储区15的包含在一个背景图像单元中的每个背景图像进行比较，以便获得二进制差分图像数据(步骤S32)。将二进制差分图像数据存储在存储部分3的差分图像存储区20，在该处理中，不对由成象部分1获得的整个视野范围执行二进制计算，而仅对预置监视区进行，以便降低计算处理量并因此实现高处理速度。
然后，对每个背景图像获得的二进制差分图像数据，如上所述图像处理部分6的确定部分11对每个监视区执行投影处理(步骤S33)。
然后，在确定部分11中，对各个背景图像的直方图数据取和，并且取和的结果被存储在存储部分3的直方图存储部分21(步骤S34)。
然后，在确定部分11，计算存储在存储部分3的直方图存储部分21中取和结果的最大值(步骤S35)，并且确定该计算的最大值是否大于一个阈值(步骤S36)。注意，使用在该处理中的阈值是通过操作部分4输入的并存储在存储部分3的参数存储取区14。
在步骤S36，如果最大值大于该阈值(参考值)，确定出现异常。处理前进到S37。在步骤S37，关于出现异常事件的相关监视区的异常信号和信息被发送到控制部分2。控制部分2向告警输出部分7输出连同关于相关监视区信息一起的告警指令。告警输出部分7向与其连接的外部装置输出连同关于相关监视区信息一起的告警消息或者告警音。
另一方面，从控制部分2向图像处理部分6的图像变换部分12发送图像变换指令。按照该图像变换指令，图像变换部分12产生远景经变换图像数据，使得具有取和直方图数据的最大值的当前图像数据的一部分位于X-Y座标系统的中心。产生的远景经变换图像数据被存储在存储部分3的变换图像存储部分17。然后，在步骤S38，存储在存储部分3的变换图像存储部分17中的远景变换图像数据通过控制部分2被输出到图像输出部分5。图像输出部分5发送远景变换图像数据到例如由监视者操作的控制器(未示出)。远景变换图像数据被显示在与控制器一起提供的监视器(未示出)。此后，处理流程返回如图5所示的主处理流程。
在步骤S36，如果取直方图数据和的最大值不大于该阈值，确定部分11确定没有将被检查的东西，即没出现异常，即，在监视区中一切正常。在这种情况下，不执行对输出告警和远景变换图像的处理，并且在存储部分3的背景图像侯选存储部分22存储当前图像作为背景图像侯选。而后，处理流程返回如图5所示的主处理流程。
接下来，参照如图13所示的流程图描述在步骤S07执行背景图像更新处理。
如果控制部分2在如图5所示的主处理流程步骤S06确定为更新背景图像单元的适当时间，则步骤S07的背景图像更新处理开始。该更新定时出现在获得背景图像的时间以后某个时间周期已逝过的时间。按照本发明，虽然受到背景图像变化程度的影响，该某个时间周期设置为30分钟到1个小时。例如，考虑到本发明的图像监视设备安装在商店的情况。在图像监视设备用于监视商店关闭以后商店内部的情况下，在从商店关闭的时间到商店下一次开门的时间期间不更新背景图像。在商店开门以后，按某个时间间隔更新背景图像。
如果控制部分2在图5的步骤S06确定更新背景图像的预定时间，步骤S07执行背景图像更新处理开始并且然后按照如图13所示的流程进行。在第一步骤，当在步骤S04(图5)确定没有异常事件出现时，已存储在存储部分3的背景图像侯选存储区22的背景图像侯选被读出到图像处理部分6的背景图像寄存部分9中(步骤S41)。
接下来，在S42，根据存储在存储部分3的背景图像存储区15的附加到相应图像数据的时间信息，确定有在背景图像寄存部分9中时限已经到某个时间周期或超过某个时间周期的老的背景图像数据。
如果有时限已经到某个时间周期或超过某个时间周期的老的背景图像数据(在步骤S42的“是”)，处理前进到S47。
在步骤S47，删除时限已经到某个时间周期或超过某个时间周期的老的背景图像数据并且将在步骤S41读出的背景图像侯选设置为新的背景图像数据。如果发现多个时限已经到某个时间周期或超过某个时间周期的老的背景图像数据，选择它们中间最老的一个并利用背景图像侯选予以替代。
如果没有背景图像满足这种判据(在步骤S42的“否”)，处理前进到步骤S43。
在步骤S43，图像处理部分6的图像比较部分10根据背景图像侯选与每个背景图像数据之间的差，产生二进制差分图像数据。产生的二进制差分图像数据被存储在存储部分3的差图像存储部分20。
然后，在步骤S44，对存储在存储部分3的差图像存储部分20中的每个二进制差分图像数据执行投影处理，以便产生直方图数据。产生的直方图数据被存储在存储部分3的直方图存储区21。
在步骤S44完成投影处理以后，处理前进到步骤S45。在步骤S45，在步骤S44由投影处理产生的直方图数据中，对各个直方图数据的最大值进行比较。
然后，选择对应于具有最小最大值的直方图数据的背景图像并且利用背景图像侯选替代这个选择的背景图像(步骤S46)。
在背景图像数据更新的整个处理完成以后，处理流程在步骤S04前进到如图5所示的监视处理步骤。
按照上述的操作，利用单一图像监视设备，在由图像监视设备的全方位摄象机获得的全方位视野图像中任何希望的区域都可以设置为监视区。在监视区中检测待检查的目标的情况下，可以按平滑的方式执行图像变换，以便获得远景变换的图像。另外，按照本发明，提供多个背景图像用于与当前图像进行比较。因此，降低了由图像的背景变化引起的不希望的干扰，并且从而改善检测待检查的目标的精度。
本发明的图像监视设备包括：具有旋转体形状凸透镜并且能从360°(全方位)视野获得图像的成象部分。仅利用具有这种结构的单一成象部分，可以设置从该成象部分在任何方向都可以看到每个区域的多个区域为监视区。因此，不需要提供多个监视设备，或提供用于从希望的方向获得图像的移动成象部分的驱动机构。不用这样的附加的装置，本发明的图像监视设备可以监视很宽的各个监视区。
再有，在检测待检查目标的情况下，图像处理部分执行图像变换，以便产生包含将要检查的目标的远景变换的图像。利用这种远景图像，可以容易和稳定地检查目标。再另外，因为根据多个背景图像与当前图像进行比较执行异常事件的检测，所以由于图像背景的变化引起的不希望的干扰可以降低，并且因此改善将要检查的目标的检测精度。
在不脱离本发明的范围和精神的情况下，本专业的技术人员显然的可以容易作出各种其它的修改。因此，不是要后附的权利要求书范围限制于本说明书的描述，而权利要求书应有更宽的解释。

Claims (16)

1.一种图像监视设备，包括：
包含具有旋转体形状凸透镜的成象部分，该成象部分获得全方位范围的图像并且产生全方位范围的图像数据；
监视区设置部分，用于在从成象部分获得的全方位范围的图像数据中设置监视区；
图像处理部分，用于根据从背景图像数据与当前图像数据的比较/确定获得的确定信息执行图像处理，其中背景图像数据是由成象部分事先获得的，并且，用于作为代表监视区的正常状态的参考，而当前图像数据是由成象部分按预定时间间隔获得的；和
监视信息输出部分，用于根据确定信息输出监视信息。
2.按照权利要求1的图像监视设备，其中，监视信息输出部分是图像输出部分。
3.按照权利要求1的图像监视设备，其中，图像处理部分包括：
图像比较部分，用于比较背景图像数据与当前图像数据；
确定部分，用于根据图像比较部分的比较结果，确定存在/不存在将要检查的目标；和
图像变换部分，用于根据确定部分的结果执行某种图像变换处理。
4.按照权利要求1的图像监视设备，其中，监视区设置部分设置多个监视区。
5.按照权利要求1的图像监视设备，其中，图像处理部分变换由成象部分获得的全方位的图像数据为全景图像数据或经变换的远景图像数据。
6.按照权利要求1的图像监视设备，还包括告警信息输出部分，用于当图像处理部分确定当前图像数据与背景图像数据不同时，输出告警信息。
7.按照权利要求3的图像监视设备，其中：
图像比较部分根据背景图像数据与当前图像数据之间的差产生比较结果图像数据；和
确定部分根据每个监视区的比较结果，执行投影处理。
8.按照权利要求1的图像监视设备，其中，指示何时获得的背景图像数据的时间的时间信息附加到背景图像数据。
9.按照权利要求1的图像监视设备，其中：
由成象部分获得的图像数据是圆形图像数据；和
根据圆形图像数据的中心是系统的原点的极座标系统设置监视区。
10.按照权利要求1的图像监视设备，其中：
由成象部分获得的图像数据是圆形图像数据；和
通过指定从圆形图像数据的中心的两个距离，设置环形区为监视区。
11.按照权利要求1的图像监视设备，其中：
由成象部分获得的图像数据是圆形图像数据；和
通过指定从圆形图像数据的中心的两个距离和两个中心角，设置一对对称的区为监视区。
12.一种利用包含具有旋转体形状凸透镜的成象部分的图像监视方法，该成象部分获得全方位范围的图像，包括：
监视区设置步骤，用于在由成象部分获得的全方位图像数据中设置希望的监视区；
背景图像设置步骤，用于设置由成象部分获得的多个图像数据作为背景图像数据，该数据作为代表监视区的正常状态的参考；和
监视步骤，根据多个背景图像数据与由成象部分在预定时间间隔获得的当前图像数据之间的比较结果，监视监视区中存在/不存在异常事件。
13.按照权利要求12的图像监视方法，还包括背景图像更新步骤，在根据预定逝过时间设置背景图像数据以后，当预定时间已经逝过时，更新背景图像。数据
14.按照权利要求13的图像监视方法，其中，监视步骤包括：
二进制差分图像产生步骤，在预定时间间隔获得的捕捉的当前图像，并且根据对每个监视区在当前图像数据与背景图像数据之间执行的比较，产生二进制差分图像；数据
投影步骤，对每个监视区的二进制差分图像数据执行投影处理；
最大值计算步骤，取和由投影处理获得的数据并计算取和结果的最大值；
确定步骤，确定计算的最大值是否大于预定阈值；和
告警步骤，当确定计算的最大值大于预定阈值时，输出至少一个告警或从某个区中的当前图像数据产生的经变换的图像数据。
15.按照权利要求13的图像监视方法，还包括存储步骤，用于当确定步骤确定计算的最大值不大于预定阈值时，在存储部分存储当前图像数据作为背景图像候选。
16.一种图像监视处理器程序，用于执行在权利要求12中描述的图像监视方法。
CNB021275580A 2001-06-12 2002-06-12 图像监视的设备、方法和处理程序 Expired - Fee Related CN1201585C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP177810/2001 2001-06-12
JP2001177810A JP3698420B2 (ja) 2001-06-12 2001-06-12 画像監視装置及び画像監視方法及び画像監視処理プログラム

Publications (2)

Publication Number Publication Date
CN1391404A true CN1391404A (zh) 2003-01-15
CN1201585C CN1201585C (zh) 2005-05-11

Family

ID=19018600

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021275580A Expired - Fee Related CN1201585C (zh) 2001-06-12 2002-06-12 图像监视的设备、方法和处理程序

Country Status (6)

Country Link
US (1) US7260241B2 (zh)
EP (1) EP1267313B1 (zh)
JP (1) JP3698420B2 (zh)
KR (1) KR100634237B1 (zh)
CN (1) CN1201585C (zh)
DE (1) DE60213715T2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100426863C (zh) * 2003-11-26 2008-10-15 株式会社日立制作所 监视系统
CN101635837B (zh) * 2008-07-23 2011-07-20 三菱电机株式会社 显示装置
CN102244715A (zh) * 2010-05-10 2011-11-16 佳能株式会社 图像处理装置、用于图像处理装置的设置装置及其方法
CN102576407A (zh) * 2009-09-23 2012-07-11 Iee国际电子工程股份公司 用于距离成像系统的实时动态参考图像产生
CN102695044A (zh) * 2012-06-08 2012-09-26 杭州海康威视数字技术股份有限公司 摄像机抓取部分图的方法及其系统
CN101615297B (zh) * 2008-06-27 2013-04-10 索尼株式会社 图像处理装置、成像装置、图像处理方法、以及程序
CN102056032B (zh) * 2009-11-05 2013-06-05 中兴通讯股份有限公司 一种基于obsai协议的多标准数据传输装置和方法
WO2014094437A1 (zh) * 2012-12-17 2014-06-26 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
CN105334543A (zh) * 2014-05-26 2016-02-17 北京维森科技有限公司 基于红外触发图像比对的人体存在检测方法和装置
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技（深圳）有限公司 图像聚类方法及装置
CN107079098A (zh) * 2014-10-24 2017-08-18 Sk电信有限公司 基于ptz摄像机的影像播放方法及装置

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US20030234863A1 (en) * 2002-06-19 2003-12-25 Chin-Hsin Yang Environmental change auto-detection digital camera
US7920718B2 (en) 2002-09-05 2011-04-05 Cognex Corporation Multi-zone passageway monitoring system and method
AU2003901532A0 (en) * 2003-04-04 2003-05-01 Evolution Broadcast Pty Limited Broadcast control
KR100481538B1 (ko) * 2003-05-19 2005-04-07 삼성전자주식회사 배경영역 변화검출장치 및 방법
US7956889B2 (en) * 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
US8326084B1 (en) 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
JP2006025007A (ja) * 2004-07-06 2006-01-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
US7366359B1 (en) * 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
US8132225B2 (en) 2004-09-30 2012-03-06 Rockwell Automation Technologies, Inc. Scalable and flexible information security for industrial automation
US8111904B2 (en) 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
JP2008028606A (ja) * 2006-07-20 2008-02-07 Opt Kk パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム
DE102007024868A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Bildverarbeitungsvorrichtung, Überwachungssystem, Verfahren zur Erzeugung eines Szenenreferenzbildes sowie Computerprogramm
TW200811749A (en) * 2006-08-17 2008-03-01 Inventec Corp System and method for setting image-monitoring region
US8072482B2 (en) * 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
JP4795212B2 (ja) * 2006-12-05 2011-10-19 キヤノン株式会社 録画装置、端末装置及び処理方法
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US8126260B2 (en) 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US9380256B2 (en) * 2007-06-04 2016-06-28 Trover Group Inc. Method and apparatus for segmented video compression
FR2944934B1 (fr) * 2009-04-27 2012-06-01 Scutum Procede et systeme de surveillance
JP5550293B2 (ja) 2009-09-18 2014-07-16 キヤノン株式会社 画像照合システム、撮像装置、送信装置、及びプログラム
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
JP5090496B2 (ja) 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5589644B2 (ja) * 2010-07-27 2014-09-17 日本精機株式会社 周辺画像表示装置及びその表示方法
JP2012029180A (ja) * 2010-07-27 2012-02-09 Nippon Seiki Co Ltd 周辺画像表示装置及びその表示方法
JP5739722B2 (ja) * 2011-04-26 2015-06-24 株式会社日立情報通信エンジニアリング 物体認識方法及び認識装置
CN103192414B (zh) * 2012-01-06 2015-06-03 沈阳新松机器人自动化股份有限公司 一种基于机器视觉的机器人防撞保护装置及方法
US8615110B2 (en) * 2012-03-01 2013-12-24 Herzog Railroad Services, Inc. Automated track surveying and ditching
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
MY168266A (en) 2013-01-29 2018-10-16 Syusei Co Ltd Surveillance system
US9544511B2 (en) 2013-03-15 2017-01-10 International Business Machines Corporation Large-area monitoring using infrared imaging system
US9508115B2 (en) 2013-03-15 2016-11-29 International Business Machines Corporation Large-area monitoring using infrared imaging system
TWI493477B (zh) * 2013-09-06 2015-07-21 Utechzone Co Ltd 用於偵測多人狀態之方法、電腦可讀取記錄媒體及用於偵測多人狀態之視訊監控裝置
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
US10909384B2 (en) 2015-07-14 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Monitoring system and monitoring method
JP6727998B2 (ja) * 2016-09-08 2020-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN112019960A (zh) * 2019-05-28 2020-12-01 深圳市冠旭电子股份有限公司 利用耳机进行情景监测方法、耳机、装置及可读存储介质
US20220345619A1 (en) * 2019-09-27 2022-10-27 Ricoh Company, Ltd. Apparatus, image processing system, communication system, method for setting, image processing method, and recording medium
JP7552167B2 (ja) 2019-09-27 2024-09-18 株式会社リコー 設定装置、通信システム、設定方法、及びプログラム
TWI739203B (zh) * 2019-11-08 2021-09-11 大猩猩科技股份有限公司 一種評估影像有效分析區域之方法與系統
AT527033B1 (de) * 2023-05-09 2024-10-15 Frequentis Ag Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3823261A (en) * 1968-05-27 1974-07-09 E Bolsey Image motion and change transducers and systems controlled thereby
JPS56160183A (en) * 1980-05-09 1981-12-09 Hajime Sangyo Kk Method and device for monitoring
US4679077A (en) * 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
DE3720489A1 (de) * 1987-06-20 1988-12-29 Sood Ralf A Verfahren zum lesen von text- und druckvorlagen
US5243418A (en) 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
JP2758282B2 (ja) 1991-05-02 1998-05-28 三菱電機株式会社 画像監視装置
US6243131B1 (en) * 1991-05-13 2001-06-05 Interactive Pictures Corporation Method for directly scanning a rectilinear imaging element using a non-linear scan
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
WO1995006303A1 (en) * 1993-08-25 1995-03-02 The Australian National University Panoramic surveillance system
JPH07262355A (ja) 1994-03-18 1995-10-13 Fuji Electric Co Ltd 画像監視装置
US5455561A (en) * 1994-08-02 1995-10-03 Brown; Russell R. Automatic security monitor reporter
JP3048896B2 (ja) 1995-08-11 2000-06-05 東京電力株式会社 ２値画像用ノイズ除去フィルタ装置
JPH10117338A (ja) 1996-10-09 1998-05-06 Nippon Lsi Card Kk 監視装置
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
DE69921237T2 (de) 1998-04-30 2006-02-02 Texas Instruments Inc., Dallas Automatische Videoüberwachungsanlage
JP2000253310A (ja) 1998-07-21 2000-09-14 Canon Inc 画像処理装置及び方法及び記憶媒体及びシステム
JP2000059758A (ja) * 1998-08-05 2000-02-25 Matsushita Electric Ind Co Ltd 監視カメラ装置、監視装置、及びこれらを用いた遠隔監視システム
JP3965003B2 (ja) 1999-06-01 2007-08-22 セコム株式会社 画像認識装置及び監視装置
JP2001114045A (ja) 1999-10-15 2001-04-24 Furukawa Co Ltd 周囲監視装置
JP3907891B2 (ja) * 1999-11-11 2007-04-18 富士フイルム株式会社 画像撮像装置及び画像処理装置
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
US20010052933A1 (en) * 2000-01-12 2001-12-20 Nybo Larry Carl System and method for image capture, storage and retrieval
CA2313803A1 (en) * 2000-07-11 2002-01-11 Dong-Chan He Automatic extraction of linear features from digital imagery
US7257235B2 (en) * 2002-02-28 2007-08-14 Minolta Co., Ltd. Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100426863C (zh) * 2003-11-26 2008-10-15 株式会社日立制作所 监视系统
CN101615297B (zh) * 2008-06-27 2013-04-10 索尼株式会社 图像处理装置、成像装置、图像处理方法、以及程序
CN101635837B (zh) * 2008-07-23 2011-07-20 三菱电机株式会社 显示装置
CN102576407A (zh) * 2009-09-23 2012-07-11 Iee国际电子工程股份公司 用于距离成像系统的实时动态参考图像产生
CN102576407B (zh) * 2009-09-23 2014-10-15 Iee国际电子工程股份公司 用于距离成像系统的实时动态参考图像产生
CN102056032B (zh) * 2009-11-05 2013-06-05 中兴通讯股份有限公司 一种基于obsai协议的多标准数据传输装置和方法
CN102244715B (zh) * 2010-05-10 2015-07-22 佳能株式会社 图像处理装置、用于图像处理装置的设置装置及其方法
CN102244715A (zh) * 2010-05-10 2011-11-16 佳能株式会社 图像处理装置、用于图像处理装置的设置装置及其方法
US9424655B2 (en) 2010-05-10 2016-08-23 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for analyzing changes in video
CN102695044A (zh) * 2012-06-08 2012-09-26 杭州海康威视数字技术股份有限公司 摄像机抓取部分图的方法及其系统
CN102695044B (zh) * 2012-06-08 2015-04-15 杭州海康威视数字技术股份有限公司 摄像机抓取部分图的方法及其系统
GB2523283A (en) * 2012-12-17 2015-08-19 Boly Media Comm Shenzhen Co Security monitoring system and corresponding alarm triggering method
WO2014094437A1 (zh) * 2012-12-17 2014-06-26 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
RU2628745C2 (ru) * 2012-12-17 2017-08-21 Боли Медиа Коммуникейшнз (Шэньчжэнь) Ко., Лтд. Система защитного наблюдения и соответствующий способ инициирования тревожной сигнализации
CN105334543A (zh) * 2014-05-26 2016-02-17 北京维森科技有限公司 基于红外触发图像比对的人体存在检测方法和装置
CN107079098A (zh) * 2014-10-24 2017-08-18 Sk电信有限公司 基于ptz摄像机的影像播放方法及装置
CN106446797A (zh) * 2016-08-31 2017-02-22 腾讯科技（深圳）有限公司 图像聚类方法及装置
CN106446797B (zh) * 2016-08-31 2019-05-07 腾讯科技（深圳）有限公司 图像聚类方法及装置

Also Published As

Publication number Publication date
DE60213715D1 (de) 2006-09-21
US7260241B2 (en) 2007-08-21
EP1267313B1 (en) 2006-08-09
DE60213715T2 (de) 2007-08-16
US20020196962A1 (en) 2002-12-26
KR20020094915A (ko) 2002-12-18
CN1201585C (zh) 2005-05-11
JP2002374519A (ja) 2002-12-26
JP3698420B2 (ja) 2005-09-21
KR100634237B1 (ko) 2006-10-17
EP1267313A3 (en) 2003-10-15
EP1267313A2 (en) 2002-12-18

Similar Documents

Publication Publication Date Title
CN1201585C (zh) 图像监视的设备、方法和处理程序
CN101068342A (zh) 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN1492280A (zh) 全方位监视控制系统、全方位监视控制方法、全方位监视控制程序和计算机可读记录介质
CN1157077A (zh) 可视保安系统
CN1829320A (zh) 信息处理的方法和装置
CN1554985A (zh) 摄像系统、显示以及控制方法、控制程序和可读记录介质
CN1260974C (zh) 摄像装置及监控系统
US20130021433A1 (en) Overview configuration and control method for ptz cameras
CN1704928A (zh) 照相机系统、照相机以及照相机的控制方法
CN1929602A (zh) 用于自动跟踪摄像机图像的虚拟遮罩
CN1917611A (zh) 成像设备和成像方法
CN1661323A (zh) 表面状态检查方法、表面状态检查装置和基板检查装置
CN1882078A (zh) 监视摄像机的图像异常检测装置
CN1198443C (zh) 隐藏带测试模式的图像传感器中的缺陷像素的方法和设备
CN1737548A (zh) 目视确认装置和检查系统
CN102736363A (zh) 照明装置
US20120044348A1 (en) Method of selecting an optimal viewing angle position for a camera
CN101051407A (zh) 智能化联动报警监控系统
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
CN1254904A (zh) 用于拍摄/识别脸孔的方法和装置
CN109717966A (zh) 用于牙齿整形的影像仿真方法及其影像仿真装置
KR20200137744A (ko) 감시시스템, 그 시스템에서의 어안 카메라를 이용한 ptz 카메라 제어 방법
CN104122264A (zh) 外观瑕疵检测系统及方法
CN1633807A (zh) 将本地场景和远程场景集合在一起的模块化视听系统
CN1281923C (zh) 缺陷检测器和缺陷检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050511

Termination date: 20120612