CN100525424C - 成像装置和方法以及成像系统 - Google Patents

成像装置和方法以及成像系统 Download PDF

Info

Publication number
CN100525424C
CN100525424C CNB2006100898509A CN200610089850A CN100525424C CN 100525424 C CN100525424 C CN 100525424C CN B2006100898509 A CNB2006100898509 A CN B2006100898509A CN 200610089850 A CN200610089850 A CN 200610089850A CN 100525424 C CN100525424 C CN 100525424C
Authority
CN
China
Prior art keywords
imaging
infrared
image
image signal
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006100898509A
Other languages
English (en)
Other versions
CN1870739A (zh
Inventor
池田幸雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1870739A publication Critical patent/CN1870739A/zh
Application granted granted Critical
Publication of CN100525424C publication Critical patent/CN100525424C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

本发明提供了一种成像装置和方法、计算机程序产品以及成像系统，可以在红外摄像机捕获的红外图像中与活动对象的背景相关地明确识别出活动对象的相对位置。本发明的成像装置包括：红外摄像机，用于通过红外辐射测量来对被对被监视区域成像；活动对象检测器，用于根据由红外摄像机所获取的红外图像信号检测监视区域中的活动对象；图像信号处理器，用于用预定颜色给红外图像信号的由活动对象检测器检测出的活动部分着色；以及图像显示器，用于显示由图像信号处理器给红外图像信号的活动部分着色后得到的图像。

Description

成像装置和方法以及成像系统
对相关申请的引用
本发明包含了于2005年5月26日在日本专利局提交的日本专利申请JP 2005-154446的相关主题，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及一种成像装置和方法、计算机可读介质上的计算机程序产品以及成像系统，用于利用通过连续改变成像方向进行成像而获得的全景图像来监视宽范围的场景。
背景技术
在过去已经广泛使用的电子照相机中，通过释放照相机的快门而穿过镜头来对对象成像的光可以通过固态图像传感器例如CCD(电荷耦合器件)转换成图像信号，并且该图像信号被记录在记录介质上。可以从记录介质中读出过去记录的图像信号以进行再现。许多电子照相机具有监视器，该监视器能够显示所捕获的静像并且可以在其上显示从至今为止记录在记录介质上的静像中选择出的一幅图像。在电子照相机中，提供给监视器的图像信号与每屏一个对象相对应。因此，同时显示在监视器上的多个图像中的每个图像的尺寸受限，从而不能用于同时监视任意宽范围的场景。
因此，出现了越来越流行的监视摄像机，这种监视摄像机允许通过连续移动成像方向来使对象成像，以产生由多个单位图像形成的全景图像，从而监视宽范围的场景。近来，已经提出一种收缩/合成多个视频信号以产生出一帧视频信号的技术(如1998年的日本专利申请公开No.108163中的技术)，并且还提出了一种集中式监视/记录系统，该系统能够从多个已有的监视摄像机收集监视视频信号并将这些信号记录在记录介质例如录像带上以便进行监视(如日本专利申请特许公开No.2000-243062中的技术)。
发明内容
要指出的是，为了在观看记录在记录介质例如上述录像带中的监视图像的同时检测出成像范围中的某些变化，观察者应该详细观看在每次扫描时所提供的监视图像。观察者不得不一直谨慎小心，以免遗漏了所观察图像的细小变化、非常小的物体的出现等，这需要太多的劳动和时间。另外，由于监视/监控系统依赖于观察者的眼睛，所以他或她有可能没有发现这些场景的变化。
为了在晚上监视这样的区域，观察者应该非常谨慎小心，避免没有发现摄像机在光线不充足的情况下所捕获的黑暗图像中的侵入者。尤其是，在所监视的场景的范围较宽的情况下，非常难以发现这样的侵入者。
另外，由于摄像机在晚上所捕获的图像本身太黑，以至于无法得知侵入的细节，即，无法得知某人从哪个建筑物的哪一部分进入禁止进入区域或者入侵者通过了哪条路径。所监视场景的范围越宽，就越难以知道上述细节。
而且，由能够与对象的亮度无关地使对象成像的红外摄像机捕获的视频信息被转换成单色(W/B)图像以便向外输出。因此，在使其形状和温度分布变化很少的对象成像的情况下，在很多情况中难以核实目标和该目标周围的场景。
而且，已经有人提出显示用红外摄像机获取、并且根据整个图像的热分布来着色的单色(W/B)图像。但是，由于着色是在图像上用人造颜色进行，所以着色后的图像可视性较差。
因此，通过这种着色来显示用红外摄像机获取的图像的传统技术的缺点在于，不容易检测出对象的红外图像中的变化。
因此，为了克服现有技术的上述缺陷，最好提供一种能够夜以继日地与其背景相关地监视特定对象例如人的成像装置和方法、允许计算机控制成像装置在利用该成像方法成像过程中的操作的计算机可读介质上的计算机程序产品，以及成像系统。
根据本发明，提供一种成像装置，包括：
红外成像部件，用于通过红外辐射测量来对被监视区域成像；
活动对象检测部件，用于根据由红外成像部件所获取的红外图像信号，检测监视区域中的活动对象；
图像信号处理部件，用于使用预定颜色给红外图像信号的由活动对象检测部件检测出的活动部分着色；以及
图像显示部件，用于显示由图像信号处理部件给红外图像信号的活动部分着色后得到的图像。
根据本发明，还提供了一种成像方法，包括以下步骤：
通过红外辐射测量来对被监视的区域成像；
根据在红外成像步骤中获取的红外图像信号，检测监视区域中的活动对象；
使用预定颜色给红外图像信号的在活动对象检测步骤中检测出的活动部分着色；并且
显示在图像信号处理步骤中给红外图像信号的活动部分着色后得到的图像。
根据本发明，还提供了一种计算机可读介质上的计算机程序产品，该计算机程序产品允许计算机执行成像控制处理，该处理包括以下步骤：
通过红外辐射测量来对被监视的区域成像；
根据在红外成像步骤中获取的红外图像信号，检测监视区域中的活动对象；
用预定颜色给红外图像信号的在活动对象检测步骤中检测出的活动部分着色；并且
显示在图像信号处理步骤中给红外图像信号的活动部分着色后得到的图像。
根据本发明，还提供了一种成像系统，包括：
红外成像装置，用于通过红外辐射测量来对被监视区域成像；以及
控制器，用于经由网络控制红外成像装置的操作，
所述控制器包括：
活动对象检测部件，用于根据由红外成像装置获取的红外图像信号，检测监视区域中的活动对象；
图像信号处理部件，用于使用预定颜色给红外图像信号的由活动对象检测部件检测出的活动部分着色；以及
图像显示部件，用于显示由图像信号处理部件给红外图像信号的活动部分着色后得到的图像。
根据本发明，根据通过利用红外辐射测量对监视区域成像而获取的红外图像信号，检测出该区域中的活动对象，使用预定的颜色给红外图像信号的活动部分着色，并且显示给红外图像信号的活动部分着色后得到的图像。由此，可以夜以继日地用颜色显示包括在监视区域的红外图像中的活动对象，从而也可以与其背景相关地明确识别出监视区域中的活动对象。而且，由于可以准确无误地检测出人的任意轻微活动，所以本发明提供了更高精度的监视。
附图说明
图1示出本发明的监视/监控系统的结构；
图2为摄像机单元和监视器的示意性方框图；
图3说明了以某种视场角用摄像机单元对黑框所围的观看范围进行成像；
图4示出显示器上的观看区域的合成的例子。
图5示出由监视/监控系统中的监视器进行的操作流程；
图6图示的也是在检测活动对象过程中由监视器进行的操作流程；
图7示意性地示出由监视器进行活动对象检测的结果；
图8示出在着色过程中由监视器进行的操作流程；并且
图9示意性地示出已着色的屏幕上的图像的示例。
具体实施方式
下面参照附图并通过实施方式对本发明进行详细说明。
本发明例如应用于如图1中所示构成的监视/监控系统1。
该监视/监控系统1包括用于对被监视区域成像的红外摄像机2、被供以来自红外摄像机2的红外图像信号的监视器5、与监视器5连接的显示器6、由多个用户用于执行其应用的终端设备9、与终端设备9连接的终端显示器10以及用于在红外摄像机2、监视器5和终端设备9之间进行双向通信的网络8。
在监视/监控系统1中，红外摄像机2为摇摄/俯仰机构3和摄像机部件4的组合。摇摄/俯仰机构3被形成为旋转平台，该旋转平台例如可以绕着俯仰轴和摇摄轴转动，以自由地改变成像方向。
摄像机部件4安装在作为旋转平台的摇摄/俯仰机构3上，以在监视器5的控制下在水平或垂直地改变其成像方向的同时对对象成像。而且，随着视场角在监视器5的控制下发生改变，摄像机部件4提高或者降低其功率来对对象成像。通过为一个监视器5提供多个摄像机部件4，可以分别以不同的视场角利用这些摄像机单元来使对象成像，从而从多个视点获取图像信息。
监视器5由电子设备例如个人计算机等构成。它记录从红外摄像机2传送来的图像信号并在显示器6上显示所记录的图像信号。而且，在用户指定了图像的期望部分或点时，监视器5从所记录的图像信号中选择出最佳的一个，并且控制显示器6显示出所指定的图像部分或点。监视器5起到所谓的中央控制器的作用，用于控制整个网络8，并在得到来自终端设备9的请求时将图像发送给终端设备9。应该指出的是，监视器5如将在后面所详细描述的那样构成。
网络8是可以进行信息的双向通信的公用通信网络，例如经由电话网络与监视器5连接的互联网、与TA/调制解调器连接的ISDN(综合业务数字网)/B-ISDN(宽带ISDN)等。应该指出的是，在监视/监控系统1用在固定的较窄区域中的情况下，网络8可以由LAN(局域网)形成。而且，网络8可以由所谓的光纤通信网形成。另外，网络8可以设计成发送MPEG图像以及静像。在该情况下，根据互联网协议(IP)，MPEG数据将从一个信道连续发送，而静像将以恒定的时间间隔从另一条信道发送。
终端设备9是个人计算机(PC)，每个家庭或办公室中的用户利用该个人计算机经由网络8从监视器5获取图像，以便对这种图像数据进行所需的处理。通过使多个终端设备9与网络8连接，可以向多个用户同时提供用于监视/监控系统1的应用程序。终端设备9在终端显示器10上显示从监视器5获取的图像。而且，终端设备9响应由用户输入的命令，产生请求信号并且将该信号发送给监视器5。应该指出的是，终端设备9的模块结构与将在后面描述的监视器5的结构类似，并且不再说明。
下面将参照图2对本发明的监视/监控系统1的每个组成部件进行举例说明和描述。
如图2所示，红外摄像机2和监视器5与公共控制器总线21连接。
包括在红外摄像机2中的摇摄/俯仰机构3包括用于改变成像方向的俯仰部件3a和摇摄部件3b。红外摄像机2包括摄像机部件4。摄像机部件4主要包括用于改变镜头组件22的视场角的镜头控制器23、设置在与镜头组件22的光轴垂直的位置处的成像装置24、用于将由成像装置24产生的图像信号发送给图像输入/输出单元13的IEEE(电气和电子工程师协会)1394接口25、用于检测红外摄像机2的当前位置的GPS(全球定位系统)接收器28，以及设置在GPS接收器28中的元数据发生器29。应该指出的是，IEEE 1394接口25可以用以太网(注册商标)代替。
监视器5包括与1394接口25连接的缓冲存储器51、与缓冲存储器51连接的编码器52、服务器53、用于压缩从服务器53读取的图像的图像压缩器54、与服务器53和图像压缩器54连接并用于产生用于显示在显示器6上的图像的图形控制器55、用于经由控制器总线21控制每个组成部件的CPU 56，以及分别与I/O端口58连接的存储卡61和时钟62。
监视器5还包括键盘59和鼠标60，供用户用于指定显示在显示器6上的图像中的期望图像区域和位置。
在俯仰部件3a和摇摄部件3b的每一个当中，根据CPU 56提供的驱动信号来驱动被设计为旋转平台的驱动源的步进电机。因此，可以水平或垂直地改变设置在旋转平台上的摄像机部件4的成像方向。
镜头控制器23根据CPU 56提供的驱动信号来控制镜头组件22，以进行自动光圈控制和对焦控制。而且，镜头控制器23根据这种驱动信号改变与对象相关的视场角。因此，摄像机部件4还可以在连续调节放大率的情况下对该对象成像。
成像装置24包括例如用于检测从人体表面发出的红外辐射的热感摄像机(thermal camera)或IRCCD图像传感器。它在像面上形成通过镜头组件22入射的对象图像，以产生红外图像信号，并且将该信号发送给IEEE 1394接口25。
这里要指出的是，红外摄像机2采用了所谓的热成像技术来获取所谓的热图像，即描绘出人体的温度分布的红外图像。在红外摄像机2中，从人体发射出的红外辐射由成像单元24检测出，将所检测到的红外辐射的强度转换成相应的电信号，分别将这些电信号放大至预定水平，从而产生形成红外图像的红外图像信号。
GPS接收器28被设置为根据从GPS系统发送的信号检测红外摄像机2的位置和成像方向。尤其在设置有多个红外摄像机2的情况下，GPS接收器28允许控制共同起作用的的多个红外摄像机2的成像方向。将来自GPS接收器28的输出信号提供给元数据发生器29，该元数据发生器29用于根据GPS系统定位的结果产生包括纬度、经度、方位、海拔高度等的位置信息以及包括例如时间和各种参数的元数据。元数据发生器29将位置信息和元数据提供给编码器52。应该指出的是，在本发明中可以省略上面的GPS接收器28和元数据发生器29。
控制缓冲存储器51受CPU 56提供的控制信号的控制，临时存储从IEEE 1394接口25提供的图像信号和红外图像信号。临时存储在缓冲存储器51中的图像信号和红外图像信号被提供给编码器52，在那里它们将按照标准例如JPEG(联合图像专家组)被压缩编码。应该指出的是，编码器52可以是用于将元数据发生器29提供的位置信息和元数据加入到将进行压缩编码的图像信号和红外图像信号的编码器。编码器52将压缩编码后的图像信号和红外图像信号输出给服务器53或图像压缩器54。应该指出的是，在所提供的图像信号和红外图像信号不准备进行压缩编码的情况下，编码器52将不进行压缩编码。
服务器53将编码器52提供的图像信号和红外图像信号一个接一个地与位置信息和元数据相关联地存储。应该指出的是，服务器53可以用硬盘或可移动盘状记录介质代替。在CPU 56的控制下，将记录在服务器53中的图像信号读出到图像压缩器54和图形控制器55。还应该提醒的是，使用CPU 56控制服务器53将记录在其中的红外图像信号传送给存储卡61，用户可以将这些所捕获的图像移动到另一台个人计算机(PC)上。而且，使用CPU 56控制服务器53将记录在其中的红外图像信号传送给上述网络服务器(未示出)，可以用网络服务器(未示出)来代替服务器53。
图像压缩器54将从服务器53读出的JPEG格式的红外图像信号压缩成压缩图像或缩略图像。而且，CPU 56控制图像压缩器54从服务器53读取图像并生成活动图像。应该指出的是，可以根据MPEG、运动JPEG(Motion-JPEG)、运动JPEG2000(Motion-JPEG2000)等将图像数据压缩成这种活动图像。
图形控制器55根据从服务器53读出的红外图像信号或从图像处理器54提供的红外图像信号针对显示器6进行图形处理。而且，图形控制器55由CPU 56控制，以控制显示器6上的对比度和亮度。
在用户使用键盘59或鼠标60指定图像区域和位置的情况下，CPU56经由控制器总线21发送用于驱动摇摄/俯仰机构3的驱动信号和用于控制监视器5中的每个组成部分的控制信号。而且，在被供以来自终端设备9的预定请求信号的情况下，CPU 56选择记录在服务器53中的最佳静像、活动图像或者各种信息，控制后者将图像或信息发送给终端设备9。
下面对本发明的监视/监控系统1的图像拾取操作进行说明。
如图3所示，红外摄像机2以视场角u捕获加黑框的成像范围中的图像。为了以视场角u覆盖整个成像范围，必须连续地水平或垂直移动成像方向。假设成像范围的大小可以由通过以任意视场角u成像而获得的一帧(下面将其称为“单元图像”)的大小的i×j倍表示，则必须设定至少i×j种成像方向。通过将以视场角u捕获的i×j个单元图像重叠，可以合成表示整个成像范围的总图像。
假设成像范围包括在坐标(M，N)处的单元图像，其中单元图像1，2，...，M，i按该顺序沿水平坐标从成像范围的左端开始排列，并且单元图像1，2，...，N，j按该顺序沿垂直坐标从上端开始排列，则CPU 56将驱动信号发送给俯仰部件3a和摇摄部件3b，以首先将摄像机部件4的成像方向设定为上左坐标(1，1)以便进行成像。通过在坐标(1，1)处捕获单元图像而产生的基于单元图像的图像信号被临时存储在缓冲存储器51中，然后根据JPEG标准在编码器52中进行压缩编码。该图像信号具有指示成像方向等的位置信息和从GPS 28发送并记录到服务器53中的元数据。
同样，CPU 56将驱动信号发送给俯仰部件3a和摇摄部件3b，以使摄像机部件4的成像方向向右移动一帧到坐标(2，1)以便进行成像。通过在坐标(2，1)处捕获图像而产生的图像信号同样记录到服务器53中。在CPU 56的控制下，摄像机部件4在其成像方向连续水平移动到坐标(3，1)，(4，1)，...，(i，1)的情况下进行成像。
在完成沿成像范围的第一行成像之后，CPU 56控制摄像机部件4，以将成像方向调节至第二行的坐标(1，2)以便进行成像，然后连续水平移动成像方向以进行成像。在重复上述操作之后完成了直到坐标(1，j)的成像后，服务器53将在其中记录了基于分别在相应坐标处捕获的i×j个单元图像的图像信号。
这里要指出的是，基于记录在服务器53中的单元图像的图像信号由图像压缩器54一个接一个地读出，并且被压缩至适合显示器6的显示屏尺寸。这样被压缩的单元图像通过图形控制器15传送并且显示在显示器6上。将记录在服务器53中的所有i×j个单元图像都显示在显示器6上，以合成出一幅全景完整图像(全景图像)。通过每隔一定间隔进行上述成像操作，可以获取描绘出由摄像机部件4的成像范围所覆盖的最新场景的完整图像，并且在服务器53中存储并且管理这些完整图像。
图4示出一个例子，其中将通过重叠由摄像机部件4捕获的i×j个单元图像而合成的完整图像显示在显示器6的完整图像显示区域70中。要指出的是，监视器5可适合于描绘出共同形成完整图像显示区域70中的完整图像的单元图像之间的接缝或边界，或者在显示区域70中仅显示无缝的完整图像。而且，监视器5可以设计成在完整图像显示区域70中显示以下述视场角捕获的一个完整图像：在该视场角下用整个成像范围代替全景完整图像。
显示器6具有显示屏45。如所示出的，显示屏45还包括放大图像显示区域71，其中用增大的比例系数来显示单元图像。在该放大图像显示区域71中，可以显示共同形成显示在完整图像显示区域70中的完整图像的单元图像中、用户所指定的一幅单元图像，或者可以按照其成像方向的顺序显示这样的多个用户指定单元图像。因此，用户可以实时检查每个指定单元图像的成像方向。
用户可以使用键盘59或鼠标60来指定完整图像显示区域70和放大图像显示区域71中的所期望的图像区域和位置。应该指出的是，在显示区域70和71的每一个中，还可以与鼠标60等的移动同步地显示用于进行上述指定操作的十字线或指针。
通过使用按键72、73、75和76代替鼠标60来向显示屏45进行输入操作，可以提高或降低显示在放大图像显示区域71中的单元图像的比例因子，控制成像方向以便水平或垂直调节摄像机部件4的成像方向，并且设定各种可能模式中所期望的一种。
而且，在被指定之后，上述人所处的图像区域可以以更大的比例显示在放大图像显示区域71中。
在该监视/监控系统1中，监视器5根据监视区域的每个红外图像，利用红外摄像机2检测活动对象(在图5的步骤S1中)，将被检测的包含活动对象的图像分成活动和静止部分(在步骤S2中)，用预定的颜色给活动部分着色，以从红外图像信号产生屏幕上的(on-screen)图像(在步骤S3中)，然后将这样产生的图像显示在显示器6上(在步骤S4中)。
更具体地说，在监视/监控系统1的监视器5中，CPU 56根据存储在ROM 57中的处理程序，如图6中的流程图所示执行活动对象检测程序，并如图8中的流程图所示执行着色程序。
在如图6所示的活动对象检测程序中，初始化比较图像的数目、比较块尺寸、差异检测水平、检测区域尺寸等(在步骤S11中)，将由红外摄像机2所捕获的红外图像信号形成的红外图像分成每个都由多个象素形成的多个比较块(在步骤S12中)，并且针对所分成的每个块判断这些比较图像与参考图像之间的差异是否高于预定检测水平(在步骤S13中)。在判断结果为肯定的情况下(“是”)，即比较图像与参考图像之间的差异高于预定检测水平的情况下，打开活动对象检测表MDT的相应区域(在步骤S14中)。相反，在步骤S13中的判断结果为否定的情况下(“否”)，即比较图像与参考图像之间的差异不高于预定检测水平的情况下，关闭活动对象检测表MDT的相应区域(在步骤S15中)。
接着，判断是否所有的块都已经进行了上面的比较(在步骤S16中)。在判断结果为否定的情况下(“否”)，即仍然还有块要进行比较的情况下，操作返回到步骤S12，在该步骤中将对下一个块进行上面的比较。相反，在判断结果为肯定的情况下(“是”)，即所有块都进行了比较的情况下，在活动对象检测表MDT的打开区域周围进行搜索，并且测量连续的打开区域的总长(在步骤S17中)。根据测量结果，判断连续的打开区域的总长是否大于预定值(在步骤S18中)。
在步骤S18中的判断结果为肯定的情况下(“是”)，即连续的打开区域的总长大于预定值的情况下，直接判断是否已经检查了所有打开区域的总长(在步骤S20中)。否则，在步骤S18中的判断结果为否定的情况下(“否”)，即连续的打开区域的总长不大于预定值的情况下，在判断是否已经检查了所有打开区域的总长(在步骤S20中)之前，关闭活动对象检测表MDT中的相应区域(在步骤S19中)。在步骤S20中的判断结果为否定的情况下(“否”)，即仍然存在其长度还要测量的打开区域的情况下，操作回到步骤S16，在该步骤中检查打开区域的总长，然后结束活动对象检测程序。相反，在步骤S20中的判断结果为肯定的情况下(“是”)，立即结束活动对象检测程序。
在活动对象检测程序中，例如测量出如图7A所示的连续的打开区域(表示通过检测比较图像与参考图像之间的差异而检测出的活动对象)的总长，以获得活动对象检测结果，该检测结果仅表示出其尺寸大于预定值的活动对象部分，作为如图7B所示的活动对象检测表MDT中沿着比预定长度大的长度的连续的打开区域。
并且，在如图8所示的着色程序中，首先检查活动对象检测表MDT(在步骤S21中)，并且判断每个块是否为打开区域(在步骤S22中)。
然后，在步骤S22中的判断结果为肯定的情况下(“是”)，即该块为打开区域的情况下，从颜色数据表中获取与对应于该打开区域的红外图像信号的一部分的信号电平相对应的颜色(在步骤S23中)，并且在屏幕上的图像的相应区域中设定该颜色数据(在步骤S24中)。
而且，在步骤S22中的判断结果为否定的情况下(“否”)，即该块不是任何打开区域的情况下，在屏幕上的图像的相应区域中设定与红外图像信号的信号电平相对应的单色(W/B)数据(在步骤S25中)。
在步骤S26中判断是否已经针对所有块设定了屏幕上的图像。在判断结果为否定的情况下(“否”)，即仍然存在需要为其设定屏幕上的图像的任何块的情况下，操作返回到步骤S21，在该步骤中针对下一个块设定屏幕上的图像。相反，在判断结果为肯定的情况下(“是”)，即已经针对所有块进行了屏幕上的图像设定的情况下，结束该着色程序。
要指出的是，在颜色数据表中，可以通过将与红外图像信号的对应于打开区域的部分的信号电平相对应的任意颜色，例如冷色，逐渐改变为暖色，或者通过用仅指示具有与预定信号电平相对应的预定温度的对象的特定颜色来代表任意颜色，来预先设定颜色数据。
在本发明的监视/监控系统1中，监视器5检测出监视区域中的活动对象，根据通过用红外摄像机2进行红外辐射测量所捕获的监视区域的红外图像信号，用预定颜色给红外图像信号的活动部分着色，并且利用用预定颜色给活动部分OB着色后得到的红外图像信号来显示图像。因此，如图9所示可以昼夜用颜色显示包含在监视区域的红外图像中的活动对象，从而还可以与其背景相关地在监视区域中明确识别出活动对象。而且，由于可以准确无误地检测出人的任意轻微活动，所以本发明的监视/监控系统1提供了更高精度的监视。
本领域普通技术人员应当理解的是，只要在所附权利要求或其等同方案的范围之内，根据设计要求和其它因素可以作出各种修改、组合、子组合和替换。

Claims (3)

1.一种成像装置，包括：
红外成像部件，用于通过红外辐射测量来对被监视区域成像；
活动对象检测部件，用于根据由红外成像部件所获取的红外图像信号，检测监视区域中的活动对象；
图像信号处理部件，用于使用预定颜色给红外图像信号的由活动对象检测部件检测出的活动部分着色；以及
图像显示部件，用于显示由图像信号处理部件给红外图像信号的活动部分着色后得到的图像。
2.一种成像方法，包括以下步骤：
通过红外辐射测量来对被监视的区域成像；
根据在红外成像步骤中获取的红外图像信号，检测监视区域中的活动对象；
使用预定颜色给红外图像信号的在活动对象检测步骤中检测出的活动部分着色；并且
显示在图像信号处理步骤中给红外图像信号的活动部分着色后得到的图像。
3.一种成像系统，包括：
红外成像装置，用于通过红外辐射测量来对被对被监视区域成像；以及
控制器，用于经由网络控制红外成像装置的操作，
所述控制器包括：
活动对象检测部件，用于根据由红外成像装置获取的红外图像信号，检测监视区域中的活动对象；
图像信号处理部件，用于使用预定颜色给红外图像信号的由活动对象检测部件检测出的活动部分着色；以及
图像显示部件，用于显示由图像信号处理部件给红外图像信号的活动部分着色后得到的图像。
CNB2006100898509A 2005-05-26 2006-05-25 成像装置和方法以及成像系统 Expired - Fee Related CN100525424C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005154446A JP2006333133A (ja) 2005-05-26 2005-05-26 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP2005154446 2005-05-26

Publications (2)

Publication Number Publication Date
CN1870739A CN1870739A (zh) 2006-11-29
CN100525424C true CN100525424C (zh) 2009-08-05

Family

ID=37444277

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100898509A Expired - Fee Related CN100525424C (zh) 2005-05-26 2006-05-25 成像装置和方法以及成像系统

Country Status (4)

Country Link
US (1) US8179442B2 (zh)
JP (1) JP2006333133A (zh)
CN (1) CN100525424C (zh)
TW (1) TWI314008B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8413247B2 (en) * 2007-03-14 2013-04-02 Microsoft Corporation Adaptive data collection for root-cause analysis and intrusion detection
US8959568B2 (en) * 2007-03-14 2015-02-17 Microsoft Corporation Enterprise security assessment sharing
US8955105B2 (en) * 2007-03-14 2015-02-10 Microsoft Corporation Endpoint enabled for enterprise security assessment sharing
US20080229419A1 (en) * 2007-03-16 2008-09-18 Microsoft Corporation Automated identification of firewall malware scanner deficiencies
US8424094B2 (en) * 2007-04-02 2013-04-16 Microsoft Corporation Automated collection of forensic evidence associated with a network security incident
JP4877165B2 (ja) * 2007-09-11 2012-02-15 ソニー株式会社 モニタリングシステム
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
WO2012170949A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US9635285B2 (en) * 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US20110032326A1 (en) * 2009-08-06 2011-02-10 Milton Bernard Hollander Video scanner system and method
DE102010009476A1 (de) * 2009-12-15 2011-06-16 Testo Ag Verfahren und Vorrichtung zur Visualisierung von ortsaufgelösten Messergebnissen von nicht unmittelbar für das menschliche Auge sichtbaren Eigenschaften
DE102010013377B4 (de) * 2010-03-30 2012-02-02 Testo Ag Bildverarbeitungsverfahren und Wärmebildkamera
US20120019665A1 (en) * 2010-07-23 2012-01-26 Toy Jeffrey W Autonomous camera tracking apparatus, system and method
KR102248161B1 (ko) 2013-08-09 2021-05-04 써멀 이미징 레이다 엘엘씨 복수의 가상 장치를 이용하여 열 이미지 데이터를 분석하기 위한 방법들 및 깊이 값들을 이미지 픽셀들에 상관시키기 위한 방법들
CN105450971A (zh) * 2014-08-15 2016-03-30 深圳Tcl新技术有限公司 视频通话的隐私保护方法、装置及电视机
US10366509B2 (en) 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
JP6459808B2 (ja) * 2015-07-08 2019-01-30 オムロン株式会社 画像処理装置およびこれを備えた交通違反管理システム
JP6418089B2 (ja) * 2015-07-08 2018-11-07 オムロン株式会社 画像処理装置およびこれを備えた交通管理システム、画像処理方法
TWI626926B (zh) * 2017-01-25 2018-06-21 林庠序 體溫異常個體偵測系統與方法
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US20220262029A1 (en) * 2019-05-16 2022-08-18 Maxell, Ltd. Image processing apparatus and image processing method
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
WO2023145645A1 (ja) * 2022-01-31 2023-08-03 富士フイルム株式会社 制御装置、撮像制御システム、制御方法、及び制御プログラム
CN115242265B (zh) * 2022-06-28 2024-01-30 上海自动化仪表有限公司 炼钢炉红外成像测温系统的通信方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0504023A1 (fr) * 1991-03-15 1992-09-16 Thomson-Csf Caméra d'observation bispectrale
CN2445309Y (zh) * 2000-09-30 2001-08-29 广州飒特电力红外技术有限公司 消防用红外热像仪
CN1512258A (zh) * 2002-12-30 2004-07-14 上海科星自动化技术有限公司 一种自动跟随摄像装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528290A (en) * 1994-09-09 1996-06-18 Xerox Corporation Device for transcribing images on a board using a camera based board scanner
US5589901A (en) * 1995-05-15 1996-12-31 Means; Kevin P. Apparatus and method for synchronizing search and surveillance devices
US5646405A (en) * 1995-11-29 1997-07-08 Lawson-Hemphill, Inc. Method of detecting contaminants in cotton fibers
US6049363A (en) * 1996-02-05 2000-04-11 Texas Instruments Incorporated Object detection method and system for scene change analysis in TV and IR data
JPH10108163A (ja) 1996-09-26 1998-04-24 Sony Corp ビデオ装置
JPH10304351A (ja) 1997-02-25 1998-11-13 Masanobu Kujirada 動物移動映像等提供システム
JP4332231B2 (ja) * 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6304284B1 (en) * 1998-03-31 2001-10-16 Intel Corporation Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
US20030025599A1 (en) * 2001-05-11 2003-02-06 Monroe David A. Method and apparatus for collecting, sending, archiving and retrieving motion video and still images and notification of detected events
JP2000243062A (ja) 1999-02-17 2000-09-08 Sony Corp 映像記録装置および映像記録方法、ならびに集中監視記録システム。
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
JP2002305742A (ja) 2001-04-06 2002-10-18 Tateyama Kagaku Kogyo Kk 情報送信プログラム及び当該情報送信プログラムを記録したコンピュータ読み取り可能な記録媒体、並びに情報送信装置
JP3616355B2 (ja) 2001-06-21 2005-02-02 立山科学工業株式会社 コンピュータによる画像処理方法と画像処理装置
JP3857129B2 (ja) 2001-12-26 2006-12-13 株式会社タイテック 移動体検出方法及び移動体検出装置
JP3756452B2 (ja) * 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
DE60320169T2 (de) * 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
JP3969172B2 (ja) 2002-05-02 2007-09-05 ソニー株式会社 モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4274758B2 (ja) 2002-08-09 2009-06-10 株式会社竹中工務店 情報処理装置、情報処理方法及び環境制御装置
JP2004312638A (ja) 2003-04-10 2004-11-04 Mitsubishi Electric Corp 障害物検知装置
US7907150B2 (en) * 2003-08-09 2011-03-15 Doubleshot, Inc. Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
JP4279083B2 (ja) * 2003-08-18 2009-06-17 富士フイルム株式会社 画像処理方法および装置、並びに画像処理プログラム
JP4379052B2 (ja) 2003-08-29 2009-12-09 ソニー株式会社 動体検出装置、動体検出方法、及びロボット装置
JP4614653B2 (ja) * 2003-12-12 2011-01-19 ソニー株式会社 監視装置
US20050229227A1 (en) * 2004-04-13 2005-10-13 Evenhere, Inc. Aggregation of retailers for televised media programming product placement
US20080211908A1 (en) * 2005-05-16 2008-09-04 Human Monitoring Ltd Monitoring Method and Device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0504023A1 (fr) * 1991-03-15 1992-09-16 Thomson-Csf Caméra d'observation bispectrale
CN2445309Y (zh) * 2000-09-30 2001-08-29 广州飒特电力红外技术有限公司 消防用红外热像仪
CN1512258A (zh) * 2002-12-30 2004-07-14 上海科星自动化技术有限公司 一种自动跟随摄像装置

Also Published As

Publication number Publication date
CN1870739A (zh) 2006-11-29
US8179442B2 (en) 2012-05-15
TWI314008B (en) 2009-08-21
JP2006333133A (ja) 2006-12-07
TW200642445A (en) 2006-12-01
US20060268112A1 (en) 2006-11-30

Similar Documents

Publication Publication Date Title
CN100525424C (zh) 成像装置和方法以及成像系统
CN100546366C (zh) 成像设备、方法以及成像系统
CN100455014C (zh) 拍摄装置和方法、监视系统
US7423272B2 (en) Monitoring apparatus
US20170309144A1 (en) Monitoring system for a photography unit, monitoring method, computer program, and storage medium
JP4614653B2 (ja) 監視装置
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
KR100995949B1 (ko) 화상 처리 장치, 카메라 장치 및 화상 처리 방법
JP4583717B2 (ja) 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2004228711A (ja) 監視装置及び方法、プログラム並びに監視システム
JP3838149B2 (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP3969172B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4225040B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2005244626A (ja) 監視装置
JP3838150B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3838151B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4438396B2 (ja) 監視装置
JP2006014215A (ja) 監視装置
JP2005176141A (ja) 監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090805

Termination date: 20130525