CN109643482A - 使用照相机的烟雾检测系统和方法 - Google Patents

使用照相机的烟雾检测系统和方法 Download PDF

Info

Publication number
CN109643482A
CN109643482A CN201780052933.7A CN201780052933A CN109643482A CN 109643482 A CN109643482 A CN 109643482A CN 201780052933 A CN201780052933 A CN 201780052933A CN 109643482 A CN109643482 A CN 109643482A
Authority
CN
China
Prior art keywords
image
pixel
value
electronic
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780052933.7A
Other languages
English (en)
Inventor
R·P·米尔斯
G·K·罗赫德
F·兰尼
S·C·戴维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smoke Detector Co Ltd
Original Assignee
Smoke Detector Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/194,878 external-priority patent/US10304306B2/en
Application filed by Smoke Detector Co Ltd filed Critical Smoke Detector Co Ltd
Publication of CN109643482A publication Critical patent/CN109643482A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Abstract

提供了基于图像的火灾检测方法,这些方法包括以下步骤:基于多个图像分析视场;确定变化是否发生;以及分析任意这种变化是否是由于烟雾状材料引起。排除由于大对象引起的变化,并且方法考虑场景的漂移或图像采集装置的抖动。方法采用由量化值来表示视场的图像并与对于各情况创建的阈值进行比较,并且在检测到由于烟雾状材料引起的变化时启动警报。火灾检测方法还可以包括以下步骤:对于变化监测视场;以及如果检测到变化,则仅对图像执行分析。方法的监测和验证阶段包括为了不同量的信息而以不同采样率采集图像。

Description

使用照相机的烟雾检测系统和方法
优先权的要求
本申请是要求2016年6月28日提交的具有美国序列号15/194,878的未决申请的优先权的国际申请,该未决申请是2015年2月19日提交的具有美国序列号14/625,689的之前提交申请的部分接续申请案,此处以引证的方式将上述申请全文并入。
技术领域
本发明总体涉及分析各种图像上的变化来检测烟雾并因此检测火灾的烟雾检测系统和方法。进一步地,本申请涉及可以连同包括移动和静止装置的若干不同装置一起部署的烟雾检测系统和方法。
背景技术
因为人不可以总是觉察他们的周围环境,所以用于自动检测火灾的装置是有价值的。标准烟雾检测器已知且可以是若干不同类型中的一种。例如,已知使用光束和能够检测光束的光传感器的光电烟雾检测器。在烟雾不存在时,光束越过光传感器照射且不接触光传感器,并且不启动警报。然而,在烟雾装满光束行进穿过的室时,光束与烟雾交锋并被偏转或散射某一量,这导致它与传感器交锋并被传感器检测到。然后将启动警报,以警告附近的人们烟雾且因此火灾的存在。其他类型的传统烟雾检测器使用离子化室和离子化辐射的源来检测烟雾。
已知捕捉图像且然后分析图像以便确定图像中是否存在火焰的火灾检测装置。一个这种装置通过观察图像的红色、绿色以及蓝色分量的强度来分析图像。注意图像中的人造光仅展示高亮度等级的红色分量。这些人造光源可能是车辆的尾灯和前照灯。然而,存在于图像中的火焰将生成高亮度等级的红色和绿色分量。这样,火灾检测装置能够分析图像的颜色分量来确定火焰是否存在,并且在检测到火灾时排除其他非火焰照明源。
使用图像处理的不同火灾检测装置接收图像数据,然后向用于检测火灾或火灾迹象的火灾检测模块发送该图像数据。评价来自图像的抽象信息,诸如纹理、强度以及颜色。优选地不执行对象检测或分割。系统使用照相机,该照相机安装到天花板上,并且具有沿着天花板延伸但不向下指向地板的视场。使用眼罩或其他阻挡机构来防止照相机对地板成像。该结构使得系统仅聚焦在将检测到烟雾的天花板的区域上,而忽视在其他方面将使得系统混淆的地板上的移动。
已经提出另外的火灾检测系统,这些火灾检测系统寻求将火灾检测能力并入到使用成像的安全系统中,使得两个单独的系统(安全和火灾检测)可以组合为一个,以便成本和公共设施节省。在照相机的视场内投射光束,并且将由系统检测由烟雾的存在引起的光束的变化,以便向操作员警告火灾的存在。
持续需要能够检测火灾的存在并警告人们以便向他们提供逃生或扑灭火灾的足够时间的装置。这种装置应为移动的,使得用户当在可能装配有或可能不装配有烟雾检测器的地点中行进和通宵睡觉时可以随身携带。由此可见,在领域中仍然存在改变和改进的空间。
发明内容
本发明致力于检测图像采集装置的视场中的烟雾或烟雾状材料的基于图像的方法。方法包括以下步骤:采集多个图像并对图像执行分析,以可量化地确定某些值;以及将这些值与指示大或小变化的预定阈值进行比较,所述预定阈值可以指示或不指示烟雾。
在至少一个实施方式中,方法包括以下步骤:使用图像采集装置采集多个电子图像。每个图像包括多个像素,每个像素由量化像素值来定义。将每个图像的像素值与像素值阈值进行比较。在该阈值以上的像素值指示变化可能已经发生。为了排除变化是由于视场中的大对象(诸如移动穿过区域的人)而不是由于烟雾引起的可能性,方法然后计算表示具有超过像素值阈值的像素值的、图像中的像素的总数的量化图像像素值。如果图像中的任意一个具有超过预定图像像素值阈值的图像像素值,则这指示检测到的变化是大对象,而不可能是烟雾。方法重新开始采集并分析图像。
然而,如果图像像素值小于图像像素值阈值,那么方法继续将各图像解析成部分,诸如图块,并且将对应的部分彼此比较。然后基于对应部分的比较对于每个部分计算量化图像部分值,诸如通过执行数学地比较至少两个图像之间的对应部分的误差函数来进行。因此,图像部分值可以是对应部分之间的相似性或差异的测度。将所设置的每个对应部分的图像部分值与指示视场中的小变化的图像部分值阈值进行比较。如果图像部分值中的任意一个小于图像部分值阈值,则这指示烟雾状材料存在,并且启动警报。
在至少一个实施方式中,方法可以包括以下步骤:首先监测视场;以及仅在检测到变化时执行上述分析。以诸如每几秒一个图像的第一采样率采集第一多个电子图像。选择第一多个图像中的每一个的对应部分,并且计算用于所设置的每个对应部分的第一图像部分值。如上注释的,该计算可以为误差函数。将第一图像部分值与第一图像部分值阈值进行比较,并且如果第一图像部分值中的任一个小于第一图像部分值阈值,则可以执行另外的分析。如果是这样,则以比第一采样率高的第二采样率采集第二多个图像,诸如每秒采集多个图像的视频。然后对该第二多个图像执行上述分析,以排除由于大对象/移动引起的变化,并且确认指示烟雾状材料的小变化。
在至少一个实施方式中,可以将第二多个图像转换成导数图像,以用于进一步处理和分析。这种转换可以仅隔离图像之间的变化,以便简化另外的分析。另外,如可能对于增加的信息或简化的计算优选地,可以将在本方法的方法中使用的所有图像在RGB与灰度之间转换。而且,方法包括定期更新分析期间图像和/或部分与其相比较的参考图像的步骤,以便考虑漂移并维持准确信息。
本发明的这些和其他特征以及优点将在将附图和详细描述考虑在内时变得更清楚。
附图说明
参照附图,在说明书的剩余部分中更具体地阐述了致力于本领域一个普通技术人员的、包括本发明的最佳模式的本发明的完全且启用的公开,附图中:
图1是位于房间中的火灾检测装置的侧视图,在该房间中,烟雾存在于房间的天花板处。
图2是根据一个示例性实施方式的火灾检测装置的示意图。
图3是在参考阶段期间接收光的像素的阵列的顶部平面图。
图4是在测量阶段期间接收光的、图3的像素的阵列的顶部平面图。
图5是像素的光强度在图3和图4的参考和测量阶段之间的差的俯视图。
图6是示出了根据一个示例性实施方式的、火灾检测装置如何检测火灾的流程图。
图7是示出了根据不同示例性实施方式的、火灾检测装置如何检测火灾的流程图。
图8是根据一个示例性实施方式的、在随着时间的过去在测量图像与参考图像之间检测的差的图。
图9是如并入到智能电话中的火灾检测装置的后平面图。
图10是图9的智能电话的前平面图。
图11是示出了被识别的像素和未被识别的像素的像素阵列。
图12是示出了百分之五十的像素位于的区域比另外百分之五十的像素位于的区域更靠近中心的像素阵列。
图13是示出了使用监测和验证这两者的本发明的检测烟雾的方法的实施方式的流程图。
图14是多个电子图像的示意图。
图15是对应图像的示意图,该示意图示出了对应图像的部分和像素。
图16是示出了在本方法中如何更新参考帧的流程图。
图17是示出了仅使用验证的本发明的检测烟雾的方法的另一个实施方式的流程图。
附图标记在本说明书和附图中的重复使用旨在表示本发明的相同或类似特征或元素。
具体实施方式
现在将对本发明的实施方式详细地进行参照,附图中例示了本发明的一个或更多个示例。各示例用说明本发明的方式来提供,而不意指本发明的限制。例如,被例示或描述为一个实施方式的一部分的特征可以与另一个实施方式一起使用,以仍然产生第三实施方式。预期的是本发明包括这些和其他修改例和变型例。
应理解,这里提及的范围包括位于规定范围内的所有范围。由此可见,这里提及的所有范围包括在所提及范围内的所有子范围。比如,从100至200的范围还包括从110至150、170至190以及153至162的范围。进一步地,这里提及的所有限值包括在所提及限值中包括的所有其他限值。比如,多达7的限值还包括多达5、多达3以及多达4.5的限值。
本发明提供了一种火灾检测装置10,该火灾检测装置可以采用照相机22,以便检测建筑物的房间12中的火灾92。火灾检测装置10使用参考图像,然后将由照相机22拍摄的随后图像进行比较,并且将随后图像与参考图像进行比较,以确定火灾92是否存在。火灾检测装置10可以借助火焰本身的识别或从由火灾92产生的烟雾14来识别火灾92的存在。火灾检测装置10可以具有灯24,该灯照亮房间12,以辅助照相机22捕捉顺序图像。火灾检测装置10可以并入到智能电话、蜂窝电话、PDA或其他手持通信装置中,或者火灾检测装置10可以为专用的独立装置。虽然提供了当在不具有其自身的烟雾检测器的位置中睡眠时的益处,但手持装置10可以用作备用装置或可以在任意时间或位置使用,并且不需要仅在用户在其他结构中睡眠时采用。
现在参照图1,火灾检测装置10位于建筑物的房间12的内部。火灾92已经在房间12中的支柱94的顶部上开始,并且火灾92产生烟雾14且烟雾上升到房间12的天花板18。取决于房间12中的气流的模式,烟雾14可能流到或不流到天花板18上,并且可能覆盖或不覆盖天花板18的全部。然而,通常是以下情况:来自火灾92的烟雾14将上升到并覆盖天花板18的某一部分,并且通常将处于房间12的最高部分处。火灾检测装置10被放置在位于房间12内部的台16的上表面上。火灾检测装置10具有光源24,该光源向上发射光28,以碰撞天花板18。光28将随着它照射穿过烟雾14而将照亮烟雾14,以使得烟雾14中的颗粒(诸如煤烟和灰烬)对火灾检测装置10的照相机22更佳地可见。照相机22具有同样指向房间12的天花板18的视场26,并且由于光28的照亮而可以更容易地捕捉烟雾14的图像。因此,是以下情况:光28可以位于照相机22的视场26内,并且光28和视场26这两者向上指向天花板18。然而,应理解,根据其他示例性实施方式,光28和视场26不需要指向天花板18上。例如,在火灾检测装置10的一些结构中,这些元素28和26可以指向房间12的墙壁、或者房间12的地板、房间12中的对象、房间12的窗户、或天花板18、地板、墙壁、对象或窗户的某一组合。
照相机22可以被设置为靠近光源24,使得在光28从其发出的光源24的部分与视场26从其发出的照相机22的部分之间存在非常小的距离。这两部分之间的距离可以从0.1至0.4厘米、从0.4至0.8厘米、从0.8至2.0厘米、从2.0至2.5厘米、从2.5至3.0厘米、或多达10厘米。在其他示例性实施方式中,距离可以多达20厘米、多达50厘米、或多达1000厘米。照相机22和光源24可以被设置为使得在它们之间没有距离,使得单个装置提供它们的功能这两者。照相机22可以被设置为使得视场26和光28在测量的整个顺序期间或在装置10的测量顺序的一部分期间的某一点重叠。照相机22和光源24靠近彼此的定位可以减少或消除烟雾14可能投射到天花板18上的阴影的存在。这些部件的靠近定位可以使得烟雾14被光28更明亮地照亮,使得照相机22可以将烟雾14的存在拾取为没有由于烟雾14引起的阴影和黑暗的存在或使其最小化的明亮图像。应理解,如这里使用的,术语“烟雾”14足够广泛,以包括灰烬、煤烟、燃烧碎片以及由于火灾92引起的燃烧的任意其他副产品。火灾92可以包括任意类型的火焰,包括无火焰火灾,诸如不是必须具有可见火焰但确实产生烟雾14的阴燃火灾。
图2更详细地示出了火灾检测装置10。火灾检测装置10可以包括壳体20,火灾检测装置10的各种部件被收容在壳体中。火灾检测装置10的所有部件可以在壳体20的内部,或者部件中的一些可以在壳体20的内部,而其他部件被定位为远离壳体20,并且不被壳体20承载且不与壳体20啮合。可以包括光源24,并且光源可以能够生成由单个光束或多个光束组成的光28。光源24根据特定示例性实施方式可以是照相机上的闪光灯,并且在火灾检测装置10的一些结构中可以是智能电话上的闪光灯或灯。光源24被设置为使得光28不被壳体20阻挡,并且光源24的多个部分可以延伸穿过壳体20的孔,或者整个光源可以位于壳体20的外部且不被壳体20覆盖。
照相机22被壳体20承载,并且可以同样地完全位于壳体20外部、完全位于壳体20的内部、或部分位于壳体20的内部和外部。照相机22可以完全在壳体20的内部,并且照相机22的镜头可以经由延伸穿过壳体20的孔接收来自壳体20外部的光。内部计时器和控制器30可以与照相机22和光源24这两者通信,以便向两者发送指令,以便告诉两者何时和如何启动。例如,光源24可以被指示为按顺序闪光一次或更多次,并且各个闪光的强度和长度可以由内部计时器和控制器30排序。以类似方式,照相机22可以由内部计时器和控制器30指示为何时捕捉图像、是聚焦还是不聚焦、要使用什么快门速度、是拍摄彩色图像还是拍摄黑白图像以及是拍摄视频连续镜头还是静止图像。照相机22可以由内部计时器和控制器30指示为操纵光源24的闪光强度,使得装置10可以在不产生将是对尝试睡眠的某人的妨害的太多光的情况下在黑暗房间中起作用。闪光强度还可以如由装置10需要或期望的在其他情况下改变或控制。内部计时器和控制器30可以能够指示照相机22和光源24记录在光源24点亮时照亮的图像,使得用闪光灯对照片计时。来自照相机22的信息或指令可以通信到内部计时器和控制器30。由此,火灾检测装置10可以能够调节快门速度、图像聚焦、要闪烁的光、以及与照相机22关联的其他变量。
火灾检测装置10还可以包括接收来自照相机22的信息的内部图像存储器32。图像数据在特定示例性实施方式中可以为完全数字的,使得火灾检测装置10在从光向前进入照相机22的镜头开始的任意点根本不接收或使用模拟图像数据。图像数据可以存储在内部图像存储器32中,并且可以转移到火灾检测装置10的处理器34。以类似的方式,处理器34可以与内部图像存储器32通信,以便指示内部图像存储器32做诸如发送或去除内部图像存储器32内的数据的特定事情。
处理器34可以具有执行不同功能的各种模块。例如,处理器34可以具有向内部计时器和控制器30发送信息和从其接收信息的照相机和闪光灯模块36。照相机和闪光灯模块36可以为控制火灾检测装置10并使得它用来检测火灾92的算法的一部分。照相机和闪光灯模块36可以向内部计时器和控制器30发送信号,以使得它生成光28,并且使得照相机22捕捉图像。同样地,与光28和照相机22有关的细节可以经由内部计时器和控制器30发送到照相机和闪光灯模块36,以通知模块36何时拍摄照片和何时发射光28。
处理器34还可以包括图像比较器模块40,该图像比较器模块可以从内部图像存储器32接收信息,可以将不同图像与彼此或与参考图像进行比较。这些比较可以发送到图像分析器模块38,该图像分析器模块可以分析各种比较,以便确定火灾92是发生还是未发生。图像比较器40可以向照相机和闪光灯模块36和图像分析器38发送信息和从其接收信息。如果图像分析器模块38确定火灾92发生,则图像分析器模块38可以向警报模块42发送命令,该警报模块转而使得由火灾检测装置10生成警报。警报可以为声音或听觉警报、振动警报或视觉警报,或者可以包括三者的任意组合。在其他示例性实施方式中,另外的警报类型是可以的,并且火灾检测装置10可以生成用于通知用户火灾92发生的任意类型的警报。例如,警报可以为消息(诸如电话呼叫、文本消息、电子邮件或其他消息)到911应急中心、消防部门、酒店前台或与装置关联的监测服务的发送。在其他结构中,警报模块42不需要存在。相反,处理器34的图像分析器模块38可以使得警报直接生成,使得火灾检测模块10进行声音、振动和/或视觉报警,以信号通知火灾92的警告。
照相机22可以为数字照相机,该数字照相机对从感兴趣对象(烟雾14或天花板18)反弹的原始光直接采样,并且将所采样的光分解成一系列像素值。光28用于照亮烟雾14,以对烟雾14成像,并且光28本身不被分析为光束。数字照相机22可以包括一系列感光点(photosite)(像素),每个像素检测入射光的量(入射光子的数量)并将其存储为每个所检测光子一个电子电荷。随后诸如由AD转换器将每个像素中的电荷量转换成成比例的数字计数。由此,可以对被给予到每个感光点上的光的光子量计数,并且该数量转而可以用于表示撞击该特定感光点的光的强度。这样,可以测量并分析撞击在照相机22的表面上的各像素元素的光量。在该应用中,我们通常将照相机数字输出可互换地称为“光子”、“光子计数”、“光强度”或“数字计数”。
现在参照图3,示出了例示了十二个像素的照相机22的像素阵列66。实际上,像素阵列66可以由数百万像素组成,由此,应理解,为了与火灾检测装置10有关的讨论,大幅简化所例示的像素阵列66。
照相机22例如可以是光强度值从0至255数字化的8位装置。另选地,照相机可以具有12位或更大的精度,或者可以为产生例如24位RGB数据的彩色照相机。为了例示,假定8位数据。数字计数20可以对应于数百光子。光强度21高于光强度20,由此,表示比光强度20更多的光子。应理解,这里所用的数量在描述装置10的一个或更多个实施方式方面仅是示例性的。第一像素68被示出为具有光强度20。换言之,由照相机22所获得的图像中的第一像素68捕捉的光子由数字计数20表示。如所陈述的,可以是以下这种情况:实际上捕捉数百光子来产生计数“20”。为了方便起见且根据一些已知装置中的标准光学实践,简单地使用数量20。第二像素70被定位为紧挨着第一像素68,并且在该示例中具有光强度10,该光强度也是在获得图像时由第二像素70捕捉的光子的数量。另外的像素被指定为第三像素72、第四像素74、第五像素76、第六像素78、第七像素80、第八像素82、第九像素84、第十像素86、第十一像素88以及第十二像素90,并且所有像素同样地具有被示出为在它们各自的边界内的特定光强度测量值。再次,如之前陈述的,光子的实际数量当然可以大于10、40、70等,但为了示例且根据光学成像标准而被列出为是这些数量。火灾检测装置10可以捕捉图像并将该图像指定为参考图像。图3的像素阵列66可以是由火灾检测装置10捕捉的参考图像的示例。如之前提及的,图像比较器模块40可以获得该图像并将其指定为参考图像。
照相机和闪光灯模块36可以通过在获得参考图像之后的某一时间点启动照相机22和光源24来使得内部计时器和控制器30获得另一个图像。该时间可以为从1至3秒、从3至6秒、从6至10秒、或多达1分钟的时间。图4示出了在图3的参考图像之后的某一时间量的、图3的相片阵列66。图4的相片阵列66可以被识别为测量图像。在测量图像处测量的图像可以在一些方面上与在参考图像中测量的图像不同。如图4所示,图像的变化在于第一像素68现在具有所测量的光强度10,而不是来自图3中的第一像素的20。因为在该图像期间已经由第一像素68捕捉更少量的光子,所以它意指图像在测量图像中的该部分中比在参考图像中更暗。第二像素70具有与图3的参考图像中的第二像素70的所测量值相同的所测量值10,并且这代表以下事实:图像在第二像素70处在参考图像与测量图像之间根本未变化。
在图4的测量图像中的其他像素示出了光强度的增大,该增大代表图像在测量图像中的这些像素处比在参考图像中更亮。例如,第七像素80的强度从100变为150,并且第十二像素90的强度从130变为200。图5示出了再次显示像素阵列66的差图像。差图像可以为由火灾检测装置10生成的图像,或者可以简单地为诸如由图像分析器38进行的、火灾检测装置10的一部分的计算。图5的差图像示出了将每个像素的光强度,其通过将该特定像素的所测量的光强度减去同一像素的参考光强度计算。例如,因为第一像素68从参考值20变为所测量值10,所以第一像素68具有差值-10。第七像素80具有差值50(150-100),并且第十二像素90具有差值70(200-130)。图5中示出了所有12个像素的各种差,并且该差图像在由火灾检测装置10显示时可以被设置为使得正差值为白色且负差值为黑色。差图像可以被显示为使得如果差为正,则讨论中的像素为白色,并且如果差为负,则像素为黑色,而不管强度水平如何。在其他结构中,像素可以基于讨论中的像素的所测量强度水平来被显示为更暗或更亮。
之前描述的分配可以包括照相机22和黑白的阵列66。照相机22的设置可以为黑白设置,或者照相机22可以仅能够获得黑白相片。在其他结构中,照相机22所捕捉的图像可以为彩色图像。这里,红色、蓝色以及绿色分量可以被捕捉并保持在像素阵列66中。彩色或RGB图像可以由算法转换成亮度图像并以与关于黑白捕捉和处理方法描述的类似的方式来处理。
如图5所示,差中的一些为正,一些为负,并且一些在参考图像与测量图像之间未变化。指示图像的可识别变化的变化通常聚集在连续或至少接近彼此的一组像素周围。例如,第七像素80、第八像素82、第十一像素88以及第十二像素90在测量图像中与参考图像相比全部示出显著的亮度。这些像素80、82、88以及90全部为连续的或至少接近彼此。这些接近/连续的像素80、82、88以及90的显著增加可以指示检测到明亮的物品,诸如烟雾14。在检测到烟雾14时,警报可以发声,因为火灾检测装置10使烟雾14的存在与火灾92的存在关联。
火灾检测装置10可以被设置为通过仅使用被给予到像素阵列66上的光的强度来检测烟雾14的存在,而不使用由照相机22或火灾检测装置10的任意其他零件(诸如处理器34或内部图像存储器32)感知的颜色。然而,应理解,关于烟雾14是否存在的分析实际上可以包括从所观察图像获得的颜色信息的考虑。
图6示出了可以为了探知来自火灾92的烟雾14或火焰的存在而使用的火灾检测系统10的分析的一个实施方式。分析可以是由处理器34或不同处理器的组合执行的算法。分析首先从基于一个或更多个参考帧的测量创建阈值开始。即使图像不变化,照相机22也可能不随着拍摄连续图像而在像素阵列66中的所有像素上登记相同强度。这是因为台16上的振动、温度变化以及照相机22特性全部用来在图像捕捉过程中产生噪音。比如,照相机22可能具有自动聚焦或其他机械过程,该自动聚焦或其他机械过程引起移动并因此引起在同一图像中观察到的亮度在连续帧之间的变化。由此可见,预期在系统中将存在某一天然发生的噪音,并且火灾检测装置10可以被设置为考虑该噪音的存在发出警告。在特定结构中可以关闭自动聚焦,使得分析在由照相机22拍摄的图像未焦点对准的情况下执行。在其他结构中,图像实际上可以焦点对准,并且可以使用照相机22的自动聚焦特征。即使除了变化的这些原因之外,照相机22也无法在来自所拍摄的连续图像的像素阵列66中的所有像素上登记相同强度,因为任意光子计数过程固有地是随机过程,并且值可能与连续图像不同,即使连续图像之间没有任何场景变化。
在步骤96中,由照相机22拍摄第一参考帧1。然后可以在步骤98中由照相机22拍摄某一时间量之后的第二参考帧2。可以在分析步骤100处进行之前在第一和第二参考帧的像素阵列66之间描述的比较函数。帧之间的差可以被计算为第一与第二参考帧之间的强度的总差。由此可见,可以从来自第二参考帧的光子的总数减去来自第一帧的光子的总数来达成该差。考虑到光子计数检测装置的性质,像素阵列66中的各像素的分布将被认为是泊松(Poisson)。来自第一至第二参考帧的各像素之间的差将被分布为斯戈兰姆(Skellam)分布。然而,应理解,该分布在其他结构中不需要为斯戈兰姆分布。比如,如果风扇或某一其他移动在视场26内,则将不预期斯戈兰姆分布。这些情况下的像素的分布可以通过使用假定场景稳定的一些图像来经验地估计。相反可以使用该所估计的分布。
从该步骤100,可以设置阈值,超过该阈值,观察到像素差的可能性低。在一个示例中,比如,在步骤96处的参考阈值帧1光子计数可以为100万光子,并且步骤98处的参考阈值帧2光子计数可以为120万光子,并且差可以为20万光子。步骤100中的阈值可以基于参考阈值帧的分析而创建在150万光子,其中,差为20万光子,并且阈值被创建为30万光子,由此,这意指阈值为来自帧2参考帧的150万光子。虽然被描述为仅采用两个参考阈值帧,但应理解,这仅是为了示例,并且在达成在步骤100处设置的阈值时可以测量并使用多个参考帧。阈值可以在火灾检测装置10在启动时起作用的整个时间内相同,或者阈值可以通过取得不同的参考帧测量来调节,以引起在贯穿过程的不同时间创建新阈值。
过程然后可以移至捕捉测量图像的步骤102上。照相机22可以拍摄房间12的天花板18或其他区域的测量图像。可以每秒、每两秒或每三秒进行连续的测量。在其他结构中,在连续测量之间可以发生3至5秒、5至30秒或多达120秒。一旦照相机22捕捉测量图像,则在下一步骤104处,将测量图像与之前的参考图像进行比较。参考图像可以为在参考帧1中获得的图像,或者可以为以贯穿测量过程的各种间隔更新的参考图像。例如,参考帧可以随着火灾检测系统10起作用而每5分钟、每10分钟或每15分钟更新一次。根据特定实施方式,参考图像可以为与参考帧1图像相同的图像,或者可以为与参考帧2图像相同的图像。
步骤104处的比较可以以之前参照图3至图5讨论的方式来执行,在图3至图5中,确定不同的像素的光子的总数。比如,参考帧可以具有100万光子,而测量图像可以具有160万。差为大于所创建的30万光子的阈值的60万光子(或150万光子的总数)。
烟雾14的存在可以使得图像更亮,因此在烟雾14存在时,另外的光子将存在。烟雾14可以将阴影投射到天花板18上,并且引起暗区域且因此引起更少的光子,但照相机22与光源24的接近放置可以使由烟雾14投射的阴影最小化或消除其存在。评价可以仅面向光子数量在测量图像与参考图像之间的增加,并且可以忽略任意减少。然而,应理解,根据各种示例性实施方式,考虑增加、减少以及没有变化这两者。
如图8所示,图像比较器模块40和图像分析器模块38的输出将为检测统计。这可以和差图像的所合计像素值、或更鲁棒指数(诸如(a)均方根差(RMSD)、(b)差的所合计绝对值、或(c)更复杂测量,其包括差图像中在阈值以上的连续像素的数量或者在差图像中向上或向下偏离多于阈值的连续像素的RMSD)一样简单。根据不同的示例性实施方式,检测统计可以以各种方式来计算,并且在本申请中在申请的其他部分处描述这些方式中的一些。
图8示出了检测统计的图,在该实施方式中,该检测统计是Y轴上的、测量图像中的光子数量减去参考图像中的光子数量的差与X轴上的时间相对。在图8所例示的示例中,阈值被设置为近似60000光子,其是测量减去参考的差。连续测量随着时间在X轴上增加而发生,其中,标绘测量图像中的光子总数减去参考图像中的光子总数的差。如图所示,在大约52秒时,检测统计与所创建阈值交叉。此点的分析然后可以移至如将为了确定是否使警报发声而立刻讨论的另外比较上。应理解,在特定实施方式中,图8的图在火灾检测系统10的运行期间不需要生成或显示。
返回参照图6,如果在步骤104中未超过阈值,则过程移回步骤101,并且测量下一图像,然后在步骤104中随后重新评价该图像。如果在步骤104中实际上超过阈值,则系统移至步骤106上,在该步骤中,检查像素阵列66的像素,以便确定它们是否大于某一数量。例如,系统可以确定是否测量图像中的像素的10%或更多的具有大于它们在参考帧1中的相应强度的强度。该计算将为逐像素的,并且将不是帧1中的所有像素对测量图像中的所有像素的强度的综合比较。另外或另选地,系统可以在步骤106处确定测量图像中的所有像素是否具有比它们在参考帧1中具有的更大的强度。另外或另选地,系统可以在步骤106处测量是否以像素阵列66的像素的10%或更少的量超过阈值。为了确定像素是否大于某一数量,可以在步骤106处进行前面提及的测量中的全部三个、或一个、或任意组合。应理解,所提及的百分比仅是示例性的,并且根据其他示例性实施方式,其他百分比是可以的。
虽然在流程图中未示出,但另外的步骤可以存在于过程的该点。该另外步骤可以涉及照相机22以比在更早步骤96和98中捕捉参考帧更快的步调(即,以帧之间的更短时间间隔)捕捉另外的参考帧。以更短时间间隔进行的这些另外帧捕捉可以给出为了更精确结果而进行更多计算所用的另外测量。另外测量可以用于验证步骤106处的之前描述的检查,并且如果被确认,则方法可以继续到步骤108。如果未被确认,则方法可以返回到步骤102。如之前陈述的,该另外步骤可以为可选的,并且不需要存在于装置10的其他结构中。
如果分析在步骤106处确定像素不大于某一数量,则分析移回步骤102。然而,如果实际上超过在步骤106中创建的限值,则过程移到步骤108上。这里,将来自步骤106的像素的位置因素考虑在内。位置因素基于在步骤106中识别像素阵列66的哪些特定像素。在步骤108中,处理器34可以确定所识别的像素是连续的还是欺骗性地隔开且由此彼此分离。该确定可以用来帮助装置10决定烟雾14是否存在,因为如果烟雾14存在,则所识别的像素可以接触,并且如果不存在,则所识别像素可能无法接触。在一些结构中,处理器34可以确定是否大于50%的具有增大光子强度的像素是连续的。在这一点上,大于50%的所识别像素是紧邻彼此的所识别像素。在其他实施方式中,数量可以为60%、70%、或多达90%。
现在参照图11,例示了像素阵列66,在该像素阵列中,像素中的六个是所识别像素,由此被识别为具有增大光子强度。这六个像素是第一像素68、第二像素70、第四像素74、第五像素76、第十像素86以及第十二像素90。第一像素68、第二像素70以及第五像素76全部是连续的,因为第二像素70和第五像素76这两者相邻于第一像素68且衔接第一像素68。然而,第四像素74和第十二像素90不是连续的,因为没有被定位为紧邻它们、同样被指定为所识别像素的像素。在一些示例性实施方式中,第十像素86可以是连续的,因为它被定位为对角地面对第五像素76,由此可以被称为连续的。然而,在系统的其他实施方式中,第十像素86不是连续的,因为第十像素86的空间方位相对于第五像素76对角地设置,并且这不被认为是连续的。
另外或另选地,系统在步骤108处可以力图确定所识别的像素是否靠近像素阵列66的边缘。这可以指示烟雾14侵入照相机22的视场26,因为烟雾14将首先出现在像素阵列66的边缘处,而不首先出现在像素阵列66的中心处。该确定可以表示烟雾14的“云”是从中心还是边缘移动到视场26中。在步骤108中仍然另外或另选地,处理器34在步骤108中可以力图确定所识别像素的数量是否足够大。这里,可能必须使在步骤106中识别的像素填入像素阵列66的特定尺寸的区域中,并且如果它们不填入该区域中,那么不满足分析的该空间要求。在一些结构中,系统可以确定是否所识别像素中的全部或大部分位于像素阵列66的区域,所述区域包括最远离像素阵列66中心的像素阵列66的一半像素。换言之,最远离像素阵列66中心的像素不是最接近中心的50%像素。如果像素阵列66是矩形的,则50%的最接近像素可以被成形为矩形,像素阵列66的中心处于矩形的中心处。最远离中心的50%像素可以形成在被包括为最近的50%中的像素的像素周围的照片帧状边界。如果所识别像素的全部、75%或更大、65%或更大、50%或更大、或35%或更大落在被空间地定位为最远离像素阵列66中心的50%像素内,则系统可以确定为了烟雾14确认空间分析。
图12示出了像素阵列66,但为了清晰起见省去像素。像素阵列66为正方形状的,并且像素同样可以各为正方形的形状。像素阵列66的中心132连同组成整个像素阵列66的外边界的所有四个边缘134一起被注释。像素阵列66的中心区域128是像素阵列66的50%的像素最接近中心132的区域。该中心区域128在形状上可以是圆形。像素阵列的外区域130包括沿着从中心132开始的任意半径最远离中心132的像素阵列的50%的像素。外区域130中的所有像素沿着从中心132开始的任意半径比中心区域128中的任意像素更远。外区域130包括通常最接近边缘134的、像素阵列66的像素。在一些示例性实施方式中,系统可以确定是否某一数量的所识别像素位于外区域130中,并且如果是这样,则可以使得满足系统的空间要求。该数量在特定示例性实施方式中可以是100%、90%、80%、50%或从50%至85%。另选地,系统可以观察在中心区域128中的所识别像素的数量,并且可以使用该信息来确定是满足还是不满足系统的空间要求。
步骤108中的空间分析可以采用前面提及的比较中的一个、两个或任意组合,以便确定是否满足空间要求。如果情况是这样,则过程将移到步骤110上,在该步骤中,触发警报,以警告用户烟雾14存在,由此火灾92存在。如果所识别像素的空间评价未被确定为是肯定的,那么系统认识到没有烟雾14存在,并且再一次移回至步骤102来继续捕捉测量图像。火灾检测装置10将在预设时间内起作用,或一直到它被用户关闭为止。
根据火灾检测装置10的其他示例性实施方式,分析可以不同。图7示出了用于检测烟雾14和火灾92的火灾检测装置10的不同分析。分析在获得参考帧的步骤112处开始。这里,单独测量像素阵列66的各像素的强度。比如,第一像素68可以被测量为20个光子,第二像素70可以被测量为10个光子,以此类推。在步骤114处,获得第二参考帧2,并且再次测量相同像素68和70。这里,像素68可以为22个光子,并且第二像素70可以为12个光子。同样在第二参考帧2处测量像素阵列66的剩余单独像素。
移到步骤116上,通过对于像素阵列66的各单独像素设置阈值创建阈值。该阈值可以由任意统计过程(诸如之前关于上述步骤96、98、100描述的过程)来设置。比如,用于第一像素68的阈值可以基于第一与第二参考帧之间的水平的统计分析来设置为24个光子。像素阵列66的另外像素可以同样设置有它们自己的阈值,这些阈值可以与第一像素68的阈值不同。第二像素70的阈值可以为13。
系统在创建阈值之后可以移到下一步骤118上,并且随着火灾检测装置10连续监测房间12而以顺序方式拍摄图像。连续图像之间的计时可以如之前讨论的来执行。系统在步骤120处分析测量图像,在该步骤中,将测量像素与参考像素进行比较。参考像素可以为步骤112或114中的参考帧处的第一像素68的强度,或者可以为在贯穿监测的各种计时点测量的参考像素。在比较步骤120处,从参考图像处的第一像素68的强度减去测量图像的第一像素68的强度,并且将差与在阈值步骤116处创建的第一像素68的阈值进行比较。比如,如果阈值为24个光子且强度被测量为25个光子,那么阈值被超过,并且在步骤120处将第一像素68被识别为具有被超过的阈值。第二像素70可以被测量为具有强度15,并且该数字可以超过在之前对于第二像素70设置的阈值13。可以在步骤120处类似地评价像素阵列66的所有像素,以确定哪些像素超过它们的阈值。
过程然后可以移动到步骤122,在该步骤中,关于超过像素阈值的像素的数量或百分比是否超过某一设置的数量或百分比进行确定。例如,所设数量可以为40000个像素,或者可以被设置为10%。所设数量或百分比可以独立于步骤116处的阈值计算来创建,或者可以整体或部分基于在阈值步骤116处创建的值来创建。该数量可以被选择为从30000至100000个像素、从100000至500000个像素、从500000至2000000个像素、或多达5000000个像素的任何地方。应理解,前面提及的像素的数量仅是示例性的,并且根据不同示例性实施方式,可以使用其他数量。如果在步骤122中未超过该数量/百分比,那么系统移回至步骤118,以继续进行图像测量。如果实际上超过对于像素设置的数量/百分比,那么过程移到步骤124上。
在步骤124处,评价在步骤120处被确定为超过它们各自的阈值的像素,以便探知位置和空间信息。该分析与上面关于步骤108描述的相同在于:观察像素的数量(不管它们是否是连续的且不管它们是不是从像素阵列66的边缘或角落发出)来确定像素是否指示烟雾14或火灾92。如果超过其阈值的像素满足空间或尺寸要求,那么系统在步骤126处触发警报。如果不,那么系统移回至步骤118,以便继续监测。再次,可以将各种空间因素中的一个或任意组合考虑在内,以确定是否满足步骤124处的空间要求。
应理解,在其他实施方式中,可以修改之前描述的分析方法。例如,在一些结构中,可以消除步骤108和124中的空间要求。在其他实施方式中,比较步骤104和120可以基于像素的光子计数仅比较顶部10%的像素,使得将根本不评价图像中的具有最低像素计数的90%的像素。该顶部10%的像素将是在测量步骤102和118中被识别为顶部10%的像素。
已经用与由像素阵列66检测的另外光子关联的烟雾14的检测描述了之前的结构。然而,与烟雾14检测关联的光子不需要总是为正或光子的添加,而是可以与光子的去除关联。例如,由烟雾14投射到天花板18或其他表面上的阴影或黑烟的存在可能使得被测量的图像比参考图像暗,因此引起由火灾检测装置10检测到的更少光子。在这一点上,火灾检测装置10还可以具有以基本上与之前关于光子的增加讨论的相同的方式寻找光子的损失的分析。所提及的阈值可以包括上水平和下水平。上水平可以与像素亮度的增加关联,并且下水平与像素亮度的降低关联。如果测量图像的像素具有高于上水平的强度,那么阈值被超过。同样,如果测量图像的像素具有低于下水平的强度,那么阈值被超过。由此,如这里描述的阈值可以具有上限值和下限值,使得如果测量图像在这些限值的外部,则认为阈值被超过。仍然进一步地或另选地,火灾检测装置10可以被设置为使得它寻找测量图像中的光子的绝对值相对于参考图像的变化。绝对值的使用可能能够将由于烟雾14引起的光强度的增加和降低这两者考虑在内。而且,使用绝对值时的分析可以与寻找测量图像相对于参考图像的亮度的上述分析类似。
然而,虽然被描述为在寻求识别烟雾14时将光子的所有正负变化考虑在内,但火灾检测装置10的一些结构仅将正变化考虑在内。在这点上,忽略参考帧与测量帧之间的任何负变化,并且任何负变化对分析是检测到烟雾14还是未检测到烟雾14不起作用。仅正变化计数。正变化与光子从参考帧到测量帧的增加关联,由此,仅观察亮度的增加来确定烟雾14是存在还是不存在。由此,这些结构中的阈值可以仅具有上限值,因为光子计数的减少无论如何都将省略。
火灾检测装置10可以由于装置用来检测烟雾14和火灾92但不执行任何其他功能而是独立装置。另选地,火灾检测装置10可以并入到能够执行其他功能的另一个装置中。例如,火灾检测装置10可以并入到蜂窝电话、智能电话、个人数字助理、或膝上型计算机中。现在参照图9,示出了被并入到智能电话中的火灾检测装置10的背面。智能电话具有壳体20,该壳体可以是智能电话储存到其中的箱,或者可以简单地为设置有智能电话的原始壳体。处理器34可以是智能电话的处理器,或者可以是远离智能电话的计算机的处理器。示出了智能电话的照相机22和光源24,并且它们可以是在监测烟雾14时由火灾检测装置10使用的照相机22和光源24。智能电话被放置到台16的上表面上,使得照相机22和光源24向上引导指向天花板18,并且通过被定位为面向智能电话被放置到上面的台16的上表面来使得阻止观看智能电话的屏幕44。智能电话可以包括音量按钮50和52、以及用于打开和关闭智能电话的电源按钮48。
图10示出了图9的智能电话的前侧,其中的屏幕44显示与火灾检测装置10相关的信息。火灾检测装置10的分析部分可以是下载到智能电话上或以其他方式可用于智能电话的应用程序或应用(app)。因此,应用可以指导步骤的操作或执行上述方法。比如,应用可以控制照相机22和光源24,并且可以指导为了确定是否应使警报发声而获得的信息的处理。如果是这样,则应用可以指示智能电话的喇叭发射可听到的报警,指示智能电话的屏幕44发射视觉报警,或者指示启动智能电话的振动,以便警告用户火灾92发生。虽然被描述为在火灾检测装置10处直接警告,但警报可以为电话呼叫、文本消息、或通过有线或无线网络发送到一个或更多个监测站(诸如消防部门或警察局)的其他通信。在特定结构中,警报可以发送到远离火灾检测装置10的其他装置。警报可以发送到任意指定个人或实体,诸如消防部门、EMS或警方。
智能电话可以具有位于智能电话前面的物理按钮54,该物理按钮用于控制智能电话的特定特征并提供输入。智能电话包括可以同样用于捕捉图像的第二照相机46。在这点上,智能电话可以被放置在其背侧上,使得屏幕44和第二照相机46向上指向为朝向天花板18且远离台16的上表面。火灾检测装置10可以起作用为使得第二照相机46获取必要图像。第二光源24可以表现为与智能电话不同的装置,该第二光源可以受智能电话控制或不受智能电话控制。屏幕44可以提供关于起光源24作用的充分照明。在另一些结构中,火灾检测装置10不采用光源24,并且可以在不使用由火灾检测装置10生成的光28的情况下拍摄图像并准备分析。
可以包括在火灾检测装置10中的应用可以在屏幕44上呈现特定信息,以向用户通知火灾检测装置10的运行,并且从用户请求信息,以帮助火灾检测装置10识别火灾92。应用的标题56可以显示在屏幕44上,以便向用户通知智能电话以火灾检测模式运行。屏幕44还可以向用户呈现启动画面58,该画面向用户通知火灾检测装置10处于启动模式。启动画面58可以向用户通知火灾检测装置10尚未开始对房间成像,并且可以从用户请求输入,以便获得可以更佳地帮助火灾检测系统10确定火灾92是否存在的信息。
启动画面58可以请求用户录入第一设置60,该第一设置可以询问用户在火灾检测装置10用来检查火灾92时在房间中是打开还是不打开吊扇。用户可以使用智能电话来录入是或否的回答,并且火灾检测装置10可以根据吊扇是否运行来调节其灵敏度。运行的吊扇的存在可能有助于在监测期间感测的明度和暗度的变化。
启动画面58还可以具有第二设置62,该第二设置询问用户房间的百叶窗是打开还是关闭的。打开的百叶窗可能使得来自外部的光进入房间,并且可以由照相机22成像的关联移动和阴影可能存在于房间内。鉴于光和其他非火灾相关移动在百叶窗打开时可能存在于房间中的事实,取决于该移动是预期或非预期的,火灾检测装置10可以被编程为有不同灵敏度。在启动画面58上还可以向用户呈现另一个第三设置64,该第三设置询问用户火灾检测装置10在火灾检测模式下应运行多长时间。如果用户打算在早上6点起床,则可以通过在此时关掉火灾检测模式来省电,或者如果通过用户在早上6点打开灯等来预期房间中的移动,那么如果在不需要火灾检测装置10时不使用它,则可以使错误警报的频率最小化或消除它。
火灾检测装置10可以为用户可以随身携带至不同位置的移动装置。例如,在行进到需要睡眠的时间和位置的不同位置处,用户可以使用火灾检测装置10。火灾检测装置10可以被设计为使得照相机22、光源24以及处理器34不安装到台16、地板、墙壁或房间12中的其他表面上,而是与这种表面分离且不附着。在其他结构中,火灾检测装置10实际上可以为实际附着到地板、台、或房间12中的其他表面的已安装装置。
火灾检测装置10可以使用另外用作安全照相机的照相机22来监测房间12、门厅、停车场或其他位置。由此,来自照相机22的图像不仅可以用于检测火灾92,还可以用于监测入侵者或其他活动。由此,火灾检测装置10可以并入到一切已经现有的安全系统中。在另一些结构中,火灾检测装置10可以包括台式计算机或膝上型计算机的一些部件。例如,照相机22可以并入到台式计算机或膝上型计算机中并用于捕捉图像。图像的处理可以由台式计算机或膝上型计算机来进行,或者可以发送到远程位置来处理。警报42可以在台式计算机或膝上型计算机处发声,或者可以在远离台式计算机或膝上型计算机的位置处发声。由此可见,在一些结构中,照相机22可以由于它并入到本质上到处移动的装置中而是移动的,或者照相机22可以由于它停留在单个位置中而是静止的。在照相机22停留在单个位置中的情况下,它可以被刚性地定位,使得它不能移动,或者可以能够摇摄并倾斜,使得不同视场26是可能的。
火灾检测装置10可以被采用在诸如音乐厅、电影院、工厂以及交通隧道的设施处来检测火灾92。仍然进一步地,火灾检测装置10还可以用于在禁止吸烟的像餐馆和飞机的地点中检测来自香烟的烟雾14。火灾检测装置10可以在有人期望确定火灾92存在还是不存在的任意位置中采用。
如这里所用的火灾检测装置10可能能够检测烟雾14,然后使警报发声,因为烟雾14的存在指示火灾92存在。另外,火灾检测装置10还能够检测由火灾92产生的火焰,以便确定火灾92存在。前面提及的处理步骤可以被设置为检查与火灾92的火焰关联的亮度,并且可以在存在检测到的火焰时使警报发声。
在另一些结构中,火灾检测装置10能够检测火灾92的烟雾14,但无法且不能检测火灾92的实际火焰。火灾检测装置10可以在甚至未检测到火焰的情况下警告某事正在发生,是火焰。由此,即使装置10甚至未识别或看到检测到的实际物品,也可以给出警报。火灾检测装置10在确定烟雾14是否存在时无法将图像的纹理或颜色考虑在内。在特定结构中,火灾检测装置10在寻找烟雾14时可以仅观察像素的强度和像素相对于像素阵列66的位置。在一些实施方式中,火灾检测装置10可以寻找烟雾14的特定特性并基于这些特性警告。比如,装置10在分析所捕捉图像时可以寻找烟雾14跨房间12如何移动,以便确定烟雾14是存在还是不存在。应理解,如这里使用的,诸如在说明书和权利要求中,火灾92的检测可以从烟雾14的检测推断,使得即使仅检测到烟雾14,也可以生成警报,以警告火灾92存在。由此,即使装置10仅检测烟雾14,而不直接检测火灾92,或者它直接检测烟雾14和火灾92这两者,它也可以是火灾检测装置10。
本发明还致力于检测在区域中(诸如在如上所述的火灾检测装置10和/或照相机22的视场26中)的烟雾的方法。这些检测方法可以包括如上所述的分析或下面描述的方法。它们可以由如之前描述的、由可以在智能电话或其他装置10上运行的应用、或可以在这种装置10的处理器34、图像分析器38或图像比较器40上运行的软件程序来执行。
在至少一个实施方式中,如图13所示,检测烟雾的一个方法600涉及对于环境的变化监测区域或视场26,并且如果检测到变化,那么证实变化指示烟雾。该方法600从监测视场26开始,该监测包括如在200处首先以第一采样率采集多个电子图像。这些电子图像用图像采集装置来采集,该图像采集装置可以为如之前讨论的照相机22。电子图像可以为数字图像,诸如可以由具有数字图像获得能力的任意装置来捕捉。该装置包括但不限于:智能电话、平板电脑或其他移动装置上的照相机22、或如可以为安全照相机系统的一部分的照相机22。
如图14描绘的,电子图像150可以在时间段内顺序采集,该采集可以定期执行。例如,在本方法的监测阶段中使用的第一采样率可以被定义为每几秒采集视场26的新电子图像或每多秒采集一个图像。在一个示例中,第一采样率被定义为每2至5秒一个新电子图像。在优选实施方式中,第一采样率可以为每3秒一次。其他时间间隔是可以的且在此预期内,并且可以取决于有人希望多么近或多么频繁地监测视场26而变化。因此,随着方法继续,在稍微不同的时间拍摄视场26的另外电子图像150’、150”。以第一采样率获得的电子图像在这里还可以被称为“监测图像”。
电子图像150、150’、150”可以以图像采集装置的任意分辨率来采集。例如,在至少一个实施方式中,图像采集装置是照相机22,该照相机可以是8位、12位、14位或16位照相机。还可以使用其他位深。另外,照相机的分辨率可以为适于图像采集的任意分辨率。因此,分辨率可以在兆像素范围内,诸如1至20兆像素,该分辨率指示将在所采集的每个图像中捕捉的像素的数量。像素越多,图像质量越高,且图像所包括的细节越多。在一些实施方式中,可能优选更低分辨率,以便保持处理负荷低。在其他实施方式中,可能期望更高分辨率,诸如在视场26很大、很广阔或覆盖一距离(如在大房间或仓库中)并且另外细节对于图像增强和/或缩放有用时。在至少一个实施方式中,所用的分辨率可以在1兆像素的量级上,诸如产生1024x1024个像素的图像。在其他实施方式中,分辨率可以低于兆像素范围,诸如256x256或640x480。
另外,电子图像可以以彩色(“RGB”)或灰度采集。可以对每像素可以具有任意数量的值的电子图像、RGB或灰度中的任一类型执行这里描述的方法。例如,8位照相机将每像素提供256个值(28)。12位照相机将每像素提供4096个值(212)。在至少一个实施方式中,方法包括以下步骤:如图13中的202处,将电子图像从RGB转换到灰度。这可以简化稍后在方法中执行的计算,这在处理器容量有限时或在增加的计算时间是优选的时可以是有益的。在一个实施方式中,将图像从RGB转换到灰度涉及对于各像素取值的平均。例如,RGB图像中的各像素将具有用于像素中的红色的值、用于绿色的另一个值以及用于蓝色的第三值。为了转换到灰度,取红色、绿色以及蓝色值的平均,以达成单个值。该值用作用于该像素的灰度值。对于图像中的各像素重复该过程,直到各像素由平均值来定义(而不是由三个色值定义)为止。这构成已转换的灰度图像。如果图像以RGB采集而期望检测烟雾的方法用灰度图像执行,则对所获得的各电子图像150、150’、150”执行该转换过程。这里还预期从灰度到RGB或不同颜色方案、滤波器或梯度之间的转换。
另外,电子图像150、150’、150”可以捕捉可见光谱中的图像,还可以捕捉紫外光谱、红外光谱或电磁光谱的其他部分中的图像。例如,可见光谱落在大约390至700nm波长的范围内。紫外光谱落在大约10至390nm波长的范围内。红外光谱落在大约700nm至1mm的范围内。因此,照相机22可以是可见光照相机,或者可以为红外、UV或其他类型的照相机。在一些实施方式中,照相机22可以包括夜视能力,以检测微光或无光环境中的烟雾。在其他实施方式中,照相机22还可以检测热成像、热签名(诸如可以用于检测无烟火灾,包括阴燃余烬)、来自热量的光波失真(诸如闪烁或热霾)、涉及热量的水动力特性、以及火焰。
在一些实施方式中,装置10可以包括光传感器27,该光传感器检测和/或量化存在于视场26中的光量,该光量诸如可以由光强度或光子检测来检测。如上所述,光可以具有任意波长。方法可以包括以下步骤:检测视场中的光量;以及如果检测到小于预定光水平,则启动光源28。例如,昏暗的视场(诸如没有打开顶灯或仅有从周围区域存在的环境光的视场)可能落到对于图像采集装置22的图像采集所需的光阈值。在这些实施方式中,可以启动灯28来添加足够的光,以上升至光阈值以上,因此可以采集图像。在其他实施方式中,低光可能是优选的,诸如当在人睡眠的同时监测房间时。在这些实施方式中,光阈值可以更低,或者可以有效地为零。光阈值可以取决于所用的特定图像采集装置22、以及由图像采集装置22使用的光的类型或波长。因此,对于可见光照相机22的光阈值与对于红外或UV照相机的光阈值将是不同的。还应理解,在方法的一些实施方式中,光的检测和/或到视场26的添加可以不是必要或优选的。
现在返回到图13,一旦存在以第一采样率获得的至少两个电子图像150、150’,则方法600还包括以下步骤:如在210处,选择电子图像中的至少两个的对应部分。例如,如图15所示,各电子图像150、150’可以解析或细分成部分152、152’。各对应图像150、150’将被类似地解析,使得各图像具有相同尺寸和数量的部分152、152’。因此,一个电子图像150的部分152将对应于另一个电子图像150’的类似坐落的部分152’。比如,被指示为图15中的A的第一部分152将对应于在随后图像150’中被指示为A’的类似坐落的第一部分152’。同样,在第一图像150中被指示为B的第二部分152将对应于在随后图像150’中被指示为B’的类似坐落的第二部分152’。该模式对于各图像150、150’的整体继续。
部分152、152’可以为总电子图像150、150’的任意子集。例如,在一些实施方式中,部分152可以小至单个像素154。在其他实施方式中,如图15所示,各部分152可以为包括多个像素154的图块。如这里使用的,“部分”和“图块”可以可互换地使用,但应理解,部分152可以具有任意尺寸和形状且不限于图块。部分152可以包括任意数量的像素154。每图像150的部分152的数量越大,各部分152将包括的像素154的数量越小,反之亦然。
图像150分成的部分152或图块的数量将取决于图像采集装置22的分辨率和为了监测视场26而期望的细节的水平。第一多个图像的部分152、152’可以是总图像150、150’的子集,并且可以为其任意尺寸。例如,在至少一个实施方式中,第一多个图像的部分152、152’是图像150、150’的图块,其中,每个图块包括多个像素154。在一些实施方式中,第二多个图像的部分152、152’可以小至单独像素154。然而,尺寸定得太小的部分152、152’提供太多的将要有用的数据,而尺寸定得为太大的部分152、152’将不能提供足够的将要有用的数据。因此,在至少一个实施方式中,第一多个图像的各部分152、152’多达总图像尺寸的10%。在其他实施方式中,每个部分152为图像150的2%至4%。在另一些实施方式中,每个部分152小于图像150的1%。
部分152、152’的尺寸还可以鉴于部分152与像素154的比或各部分152包括的像素154的数量来描述。这可以取决于所用的图像采集装置22的分辨率以及用于采集多个图像的其他设置或参数。例如,在至少一个实施方式中,部分152与像素154的比可以在1:500至1:2000的范围内。比如,如果使用8位深度图像采集装置22,则总图像尺寸为1024x1024个像素,并且像素的总数是1048576。如果该图像被解析成在尺寸上每个是32x32个像素的部分152,则每个部分152包含1024个像素,使得每个图像150为32个部分宽且跨32个部分。因此,部分152与像素154的比为1:1024。在百分比方面,每个部分156包含总图像150的像素154的0.097%或0.01%。
在另一个示例中,使用8兆像素照相机采集第一多个图像,并且图像150可以为2448x3264个像素,这产生总共7990272个像素。如果这些图像150被解析成在尺寸上是34x34个像素的部分152,则每个部分152包含1156个像素,并且因此是96个图块宽和72个图块高。部分152与像素154的比为1:1156。因此,在百分比方面,每个部分152包含总图像150的像素154的0.01%。
当然,部分152不需要在尺寸上相同。例如,在使用12兆像素照相机的又一个实施方式中,图像150可以为4256x2832个像素,这产生总共12052992个像素。这些图像可以解析成在尺寸上各是34x32个像素的部分,各部分152包含768个像素,使得图像是133个图块宽和118个图块高。这产生1:768的部分与像素比。因此,在百分比方面,各部分152包含总图像150的像素154的0.006%。这些只是一些例示性示例,并不旨在以任何方式限制。
方法600以如在220处计算表示各部分的第一图像部分值继续。该图像部分值是反映各部分152中的像素信息的量化值,该信息可以是数值或其他值。因此,各部分152、152’将具有其自己的图像部分值。图像部分值可以是整数、分数、小数,并且可以是正数或负数。因为方法600对于监测视场26的变化,所以图像部分值是通过比较至少两个图像150、150’之间的对应部分152、152’确定的比较值。比如,第一电子图像150被定义为参考图像,并且随后图像150’、150”中的一个与参考图像150进行比较。因此,第一图像150可以是参考图像,并且下一图像150’可以与参考图像150进行比较。之后的图像150”也可以与第一图像150进行比较,或者可以与作为参考图像的介入图像150’进行比较。
在至少一个实施方式中,方法600包括在图16中示意性描绘的参考图像的定期更新。这适应视场26的缓慢变化,诸如场景的漂移,并且确保对准确的信息继续执行该方法。凭借更新,在监测期间检测到的任意变化更可能是视场26的实际变化且不太可能为错误正数。更新包括如在204处采集第一电子图像150且将该第一图像定义为参考图像。它还包括如在206处以相同采样率采集至少一个随后图像150’、150”,用于与参考图像150进行比较。因此,可以采集一个或多于一个随后图像150’、150”。最后,更新包括如在208处以预定间隔将参考图像150重新定义为随后图像150’、150”中的一个。因此,新参考图像150是稍后采集的图像中的一个,但在至少一个实施方式中,它可以是为了作为参考图像而单独采集的稍后图像。重新定义参考图像150的预定间隔可以是时间间隔、诸如特定数量的图像的数量间隔、或其他类型的间隔。例如,在至少一个实施方式中,参考图像150按秒定期重新定义。间隔在一个示例中可以为2至10秒。在另一个示例中,它可以为6秒或9秒。在其他实施方式中,预定间隔是若干个所采集的随后图像150’、150”。间隔可以是2至4个随后图像。在至少一个实施方式中,参考图像150可以每3个随后图像更新一次。如以上注释的,更新参考图像150贯穿监测过程继续,并且以每预定间隔定期发生。
在至少一个实施方式中,计算图像部分值包括在至少两个电子图像150、150’的对应部分152、152’之间执行误差函数计算。参照图14,这些图像150、150’可以彼此相邻,这意指之间没有获取介入图像150。然而,在一些实施方式中,这些图像150、150’可以在之间具有一个或更多个介入图像150,使得图像150例如可以与图像150”进行比较。优选地,两个图像150与彼此进行比较,并且对于各对应部分152计算图像部分值。该过程可以对在进行中的监测阶段中采集的各对图像150重复。
在计算图像部分值时,将各对应部分152、152’进行比较,并且对部分中的各像素执行误差函数,以用量化方式确定对应部分152、152’多么类似或不同。误差函数可以是如许可确定两个物品之间的相似性或差异的任意误差函数,并且可以包括数值计算。例如,误差函数可以是归一化纯量积、纯量积、相关系数、方差和、点积、向量点积、非标准点积、均方根或其他比较计算中的一个。
在至少一个实施方式中,第一图像部分值是表示各部分152的相关系数。在该实施方式中,将在逐像素等级上将来自不同图像150、150’的对应部分152、152’进行比较。将来自各部分152、152’的对应像素154进行比较,并且可以根据以下公式确定部分的相关系数:
其中,c是用于特定部分152的相关系数,并且x和y指示用于部分i和j内的各像素的坐标,使得在部分i、j之间比较用于各像素x、y的值。因此,每个像素154将具有相关系数,并且用于部分152的相关系数因此是用于被比较部分152、152’内的每个对应像素的相关系数的和。相关系数c将在1至-1的范围内,其中,1指示被比较的部分最相似(无变化),并且-1指示被比较的部分最不同(变化)。
在其他实施方式中,第一图像部分值是标准归一化纯量积,其可以由以下公式来确定:
其中,γ是归一化纯量积,x和y指示用于部分i和j内的各像素的坐标,使得在部分i、j之间比较用于各像素x、y的值。各像素154将具有归一化纯量积γ,并且特定部分152内的所有像素的所有归一化纯量积γ被集合在一起,以形成第一图像部分值。归一化纯量积γ可以在1至-1的范围内,其中,1指示最多相似性,并且-1指示被比较图像部分152之间的最多变化。
在上述示例中,图像部分值是被比较图像部分152之间的相似性的测度。然而,在一些实施方式中,诸如在图像部分值通过使用方差和来计算时,可以计算被比较图像部分152之间的差异的测度。在这种实施方式中,增大值指示更多变化,并且更小的值指示更少的变化。进一步地,用于图像部分值的值范围将取决于使用哪一个函数来计算图像部分值。比如,相关系数和标准正规化纯量积计算产生在-1至1之间的值。另一方面,方差和计算具有指示无变化的最小值0和指示变化的增大值。
如图13所示,方法600继续如在230处将如计算的第一图像部分值与第一预定图像部分值阈值进行比较。图像部分值阈值指示监测的灵敏度水平。落在图像部分值阈值以下的值指示与参考图像的低水平相似性或变化在视场26中已经发生。超过阈值的值指示更高水平的相似性或视场26中的更少变化。因此,阈值可以取决于期望监测多么灵敏而被设置为更高或更低。阈值被设置的越高,则监测系统越灵敏,其中,仅轻微变化将指示场景的变化,并且方法600应继续。
第一图像部分值阈值还取决于用于计算图像部分值的特定函数。例如,在使用标准归一化纯量积来计算图像部分值的至少一个实施方式中,第一图像部分值阈值可以在0.75至0.99的范围内。在一个实施方式中,图像部分值阈值可以为0.95。应理解,图像部分值阈值将大约在可以使用特定误差函数计算产生的可能值的范围内。例如,图像部分值阈值在使用方差和来计算图像部分值时不可以小于零,因为可以使用该函数的最低值为零。
在如在230处将第一图像部分值与第一图像部分值阈值进行比较时,如在240处,确定图像部分值是落在阈值以上还是以下。在第一图像部分值大于第一图像部分值阈值时,这指示视场26在要关注的图像150之间未充分变化,并且方法600继续进一步监测。具体地,方法600重复如在200处以第一图像采样率采集电子图像,并且借助上述步骤继续。在第一图像部分值小于第一图像部分值阈值的情况下,这指示视场26的变化,并且方法600继续证实来探知检测到的变化是否是由于视场26中的烟雾或烟雾状物质而产生。
在至少一个实施方式中,可以将用于各图像150、150’的各部分152、152’的第一图像部分值与第一图像部分值阈值进行比较,并且对于各部分152、152’进行确定。如果图像150、150’的任意部分152、152’或图块小于阈值,那么指示变化,并且方法600继续。在另一个实施方式中,方法600包括以下步骤:如在225处,确定图像150的所有部分152的第一图像部分值中的最低值,并且仅将最低第一图像部分值与阈值进行比较。方法600仅在该最低值小于第一图像部分值阈值时继续。该实施方式在处理能力非常珍贵或必须快速进行时可以有用。
如果检测到变化,则如上所述,方法600继续如在图13中的300处以第二采样率采集第二多个电子图像。与第一多个图像一样,第二多个图像也如上所述的使用诸如照相机22的图像采集装置来采集。由此,第二多个电子图像150、150’、150”可以具有任意分辨率或质量。在至少一个实施方式中,第二多个图像使用与用于采集第一多个图像相同的图像采集装置22来采集,并且最优选地是使用图像采集装置22的相同构造或设置。例如,在一个实施方式中,对于第一采样率的第一多个图像和第二采样率的第二多个图像这两者,可以使用8位深照相机来采集在可见光谱中的视场的图像。在另一个实施方式中,可以将不同的构造或规范用于第一多个图像和第二多个图像,诸如在对于第二多个图像期望更多或更少细节时。与第一多个图像一样,如之前描述的,第二多个图像可以以RGB或灰度二者之一来采集,并且可以如在302处在RGB与灰度之间转换。
采集第二多个图像的第二采样率大于采集第一多个图像的第一采样率。采样率是采集电子图像150、150’、150”的速率或频率。因为第二采样率高于第一采样率,所以第二多个图像比第一多个图像更频繁地采集。如将从下面描述变得明显地,这使得能够采集视场26的更多电子图像,提供用于确定烟雾状物质是否存在的更多信息。
在至少一个实施方式中,第二采样率比第一采样率大至少一个数量级。如果第一采样率是每3秒采集一个图像,那么第二采样率可以是每0.3秒采集一个图像或每0.03秒(30毫秒)采集一个图像。在至少一个实施方式中,第二采样率是每秒采集多个图像。在这种实施方式中,第二多个图像可以包括视频,使得图像采集装置22拍摄视场26的视频,而不是简单地顺序静止镜头。如这里使用的,“视频”可以是以每秒多帧(诸如每秒30帧)的间隔拍摄的、在一时间段内采集的图像序列,但理解,可以使用更小或更大的间隔,而且这里预期该间隔。还应理解,第二多个电子图像的采集不需要由“视频”发生,而是由以比第一采样率更大的频率拍摄的图像的序列发生。间隔可以被认为是采样率,诸如第二采样率。因此,在至少一个实施方式中,第二采样率是每秒10个或更多个图像,诸如每秒10至50个图像。在一个实施方式中,如与这里使用的视频的定义一致的,第二采样率为每秒30个图像。
如在300处采集第二多个图像的步骤可以在预定时间段发生,诸如3秒至3分钟。例如,在一个实施方式中,第二多个图像的采集在5秒的时段发生。在该时间段期间,以第二采样率采集第二多个图像,这可以为定期或连续的。在至少一个实施方式中,采集第二多个图像一直继续到如方法600确定不存在烟雾状材料的这种时间为止,并且重新开始监测阶段。
第二多个电子图像150、150’、150”中的每一个包括多个像素154,各像素由像素值来定义。如这里使用的,“像素值”意指表示单独像素的强度的量化数值。在至少一个实施方式中,像素值可以为给定像素的原始数值强度。在至少一个其他实施方式中,像素值可以被定义为来自两个或更多个图像150、150’、150”的对应像素的误差函数计算比较的结果值。如之前描述的,误差函数可以是归一化纯量积、纯量积、相关系数、方差和、点积、向量点积、非标准点积、均方根或其他比较计算中的任意。在另一些实施方式中,如下面描述的,像素值可以是用于特定像素的时间导数计算的结果。
比如,在至少一个实施方式中,方法600包括以下步骤:如在304处,将第二多个电子图像150、150’、150”转换成对应的多个导数图像。该转换将第二多个电子图像150、150’、150”中的至少两个与彼此进行比较,并且去除它们之间的任意相似性,从而仅将从一个电子图像到下一电子图像的变化分离。这可以由产生仅强调或挑选图像中的变化的结果的任意过程来完成。在至少一个实施方式中,转换成导数图像包括使用以下公式诸如由中心有限差分计算时间导数值D:
其中,i是在位置x、y处和在时间t时的各像素的图像值。这里,每时间t采集一个新图像。因此,中心有限差分计算通过将来自在讨论中的特定图像之前和之后的图像的各像素的值进行比较并除以2来确定该像素的x和y的变化。对于在每时间t拍摄的每个图像中的每个像素154执行这一点。时间导数值D的集合产生用于第二多个图像中的每一个的导数图像,但该导数图像现在仅包括差数据或从一个图像到下一图像变化的数据,其中,用于各像素154的像素值是时间导数计算的结果。
方法600还可以包括以下步骤:如在306处确定导数图像的绝对值。比如,因为导数图像仅指示从第二多个图像中的一个图像到下一图像的变化,所以变化可以为正或负。采取用于每个像素的每个D的绝对值将导数图像中的每个像素值转换成正值,这在方法的进一步计算中可以是有益的。
方法600还包括以下步骤:如在310处,将在第二多个电子图像150、150’、150”中的每一个的每个像素值与预定像素值阈值进行比较。在如上所述将第二多个图像转换成导数图像的实施方式中,与像素值阈值进行比较的像素值是导数值D。在不转换成导数图像而是使用来自如所采集(或如在RGB与灰度之间转换)的第二多个电子图像的信息的其他实施方式中,与像素值阈值进行比较的像素值是如之前描述的像素值。像素值阈值被设置为创建阈值的值,超过该阈值,指示视场26的大变化。如与产生更平缓变化且因此产生更小像素值或导数的烟雾状材料相比,视场26的大变化(诸如人走过房间或对象在空间中移动)将产生大像素值或时间导数D。
为了排除突然出现且不是由于烟雾或烟雾状材料产生的大变化,设置像素值阈值。该像素值阈值可以取决于图像采集装置22的参数,诸如照相机22的动态范围。如这里使用的,“动态范围”意指在图像的最亮与最暗区域之间定义的连续体上的每件事物。在至少一个实施方式中,像素值阈值被定义为图像采集装置22的动态范围的五分之一。例如,8位深照相机可以具有250的动态范围,该动态范围意指图像的最亮像素与最暗像素之间的像素值的差为250。最亮像素可以具有值300,并且最暗像素可以具有值50,使得两者之间的差为250。在该示例中,像素值阈值可以被设置为50,其是250的五分之一。在其他实施方式中,像素值阈值可以在从10至80的范围内。在至少一个实施方式中,像素值阈值是50。在另一个实施方式中,像素值阈值是70。在又一个实施方式中,像素值阈值是20。这些是像素值阈值的例示性示例。
在与阈值进行比较时,如果用于第二多个电子图像中的任意一个的任意像素值小于像素值阈值,那么方法600返回到再次监测并以第一采样率采集图像。如果如在320处任意像素值大于像素值阈值,那么方法600包括以下步骤:在图13中,如在330处,计算图像像素值。图像像素值表示具有大于像素值阈值的像素值的电子图像150中的像素154的数量。换言之,图像像素值是具有超过像素值阈值的像素值的像素的数量,并且可以通过添加满足准则的、图像150中的像素数量来计算。超过像素值阈值的像素的大数量指示不只是短暂发生,并且在视场26中检测到的变化是大变化,诸如人或对象,因此归因于除了烟雾状材料之外的某物产生。另一方面,超过像素值阈值的像素的小数量指示烟雾状材料存在,并且执行另外分析。
因此,图像像素值阈值被定义为区分视场26中的大变化和小变化的值。因此,图像像素值阈值可以被定义为图像中的像素的总数的特定百分比、或像素的特定数量。例如,在至少一个实施方式中,图像像素值被定义为图像150的像素的总数的0.001%至1%。在一个实施方式中,图像像素值阈值为总像素的大约0.04%。应理解,图像像素值可以为在该陈述范围内的任意值,包括给定的顶值和底值。在其他实施方式中,图像像素值可以取决于对于方法600期望的灵敏度水平而在上面陈述的范围以上或以下。在其他实施方式中,图像像素值阈值被定义为像素的数量。例如,如果图像是1024x1024个像素,那么图像中像素的总数是1048576,并且图像像素阈值可以为400个像素。在其他实施方式中,图像像素值阈值可以被设置为更低,诸如为10或15个像素,或者可以被设置为更高,诸如为1000个像素。再次,具体阈值将取决于方法600为检测视场26中的大变化的期望灵敏度。
因此,方法600继续如在340处将图像像素值与图像像素值阈值进行比较。如果图像像素值大于图像像素值阈值,那么变化是由于大变化而不可能是烟雾状材料产生的,并且方法600再次返回到如之前描述的监测视场26。
如果检测到的变化未被确定为场景中的大变化,则进一步分析它们,以便开始确定变化是否由于烟雾状材料产生的过程。烟雾和烟雾状材料展示特定流体动力学。比如,它可能以小恒定移动来移动穿过区域,而不是大型对象的快速或间歇移动。因此,方法600可以探知检测到的变化是否来自大型对象、以及它们是否是与烟雾状材料动力学一致的小的恒定变化。
因此,如果如在350处上面讨论的图像像素值小于图像像素值阈值,那么方法600还包括以下步骤:确定变化是否是小的恒定变化。具体地,方法600包括以下步骤:如在360处,选择以第二采样率拍摄的第二多个图像中的至少两个的对应部分152、152’。如上面关于第一多个图像的部分152、152’讨论的,第二多个图像的部分152、152’可以是总图像150、150’的子集,并且可以为其任意尺寸。在至少一个实施方式中,第二多个图像的部分152、152’是图像150、150’的图块,其中,每个图块包括多个像素154。在一些实施方式中,第二多个图像的部分152、152’可以小至单独像素154。然而,尺寸被确定得太小的部分152、152’提供太多将要有用的数据,而尺寸被确定得太大的部分152、152’将不能提供要足够的将要有用的数据。因此,在至少一个实施方式中,第二多个图像的每个部分152、152’多达总图像尺寸的10%。在其他实施方式中,每个部分152为图像150的2%至4%。在另一些实施方式中,每个部分152小于图像150的1%。
部分152、152’的尺寸还可以鉴于部分152与像素154的比或每个部分152包括的像素154的数量来描述。这可以取决于所用图像采集装置22的分辨率以及用于采集第二多个图像的其他设置或参数。例如,在至少一个实施方式中,部分152与像素154的比可以在1:500至1:2000的范围内。比如,如果使用8位深图像采集装置22,则总图像150为1024x1024个像素,并且像素的总数是1048576。如果该图像被解析成在尺寸上各是32x32个像素的部分152,则每个部分152包含1024个像素。因此,部分152与像素154的比为1:1024。在百分比方面,每个部分156包含总图像150的像素154的0.097%或0.01%。
在另一个示例中,使用8兆像素照相机采集第二多个图像,并且图像150可以为2448x3264个像素,这产生总共7990272个像素。如果这些图像150可以被解析成在尺寸上是34x34个像素的部分152,则每个部分152包含1156个像素,并且部分152与像素154的比是1:1156。因此,在百分比方面,每个部分152包含总图像150的像素154的0.01%。
在使用12兆像素照相机的又一个实施方式中,图像150可以为4256x2832个像素,这产生总共12052992个像素。如果被解析成在尺寸上各是34x32个像素的部分,则每个部分152对于1:768的部分与像素比包含768个像素。因此,在百分比方面,每个部分152包含总图像150的像素154的0.006%。这些只是一些例示性示例,并不旨在以任何方式限制。
而且,第二多个图像150、150’可以被解析成与第一多个图像之前解析成的相同的数量和/或尺寸的部分152、152’。在其他实施方式中,第二多个图像150、150’可以被解析成与第一多个图像的部分数量或尺寸不同的部分152、152’。应理解,因为第二多个图像以比第一多个图像更高的采样率来采集,所以第二多个图像提供比第一多个图像多得多的、与视场26有关的信息。这是可以理解的,因为第二多个图像打算核实或验证使用第一多个图像在监测阶段期间检测到的变化是否是由于烟雾状材料引起。而且,在方法600中的该点,已经对于不可能为烟雾状材料的、场中的大变化筛检第二多个图像。
一旦选择第二多个图像的对应部分152、152’,则方法600还包括以下步骤:如在图13中的370处,计算表示第二多个图像的各对应部分152的第二量化图像部分值。与用于第一多个图像的第一量化图像部分值一样,用于第二多个图像的第二量化图像部分值可以通过执行误差函数来计算,以比较两个图像150、150’的对应部分152、152’。误差函数可以是归一化纯量积、纯量积、相关系数、方差和、点积、向量点积、非标准点积、均方根或许可两个值的量化比较的其他计算。因此,如之前讨论的,用于第二多个图像的各部分152的结果图像部分值可以是相似性的量化测度。在一些实施方式中,也如之前讨论的,它可以是对应部分152之间的差异的测度。在对于第二多个图像计算导数图像的实施方式中,可以在导数图像上执行部分152的解析和对应部分152、152’的比较。
方法600还包括以下步骤:如在380处,将第二图像部分值的每一个与第二预定图像部分值阈值进行比较。第二图像部分值阈值指示方法600可以忍受的相似性或差异的水平。第二图像部分值阈值可以为与第一图像部分值阈值相同或不同的值。例如,在至少一个实施方式中,第二图像部分值阈值在0.7至0.99的范围内。在一些实施方式中,第二图像部分值阈值为0.95。
大于第二图像部分值阈值的第二图像部分值指示没有变化或如此小以至不关注的变化。然而,低于第二图像部分值阈值的第二图像部分值指示视场26中的小的恒定变化。因此,如果任意第二图像部分值小于第二图像部分值阈值,如在390处,那么方法600包括以下步骤:如在400处,启动警报。警报可以位于装置10的警报模块42中,或者可以在装置10之外。进一步地,警报可以为听觉的、视觉的、触觉的和/或振动的,或者可以借助另一个感测机构向用户提供通知。例如,警报可以是向区域中的人们警告危险的存在的声音。在另一个实施方式中,警报可以是可以保持接通的光或可以是处于一模式的脉冲,该光或脉冲提供危险的通知和信息。在其他实施方式中,警报可以使得装置10振动,使得可以在表面上或借助直接或间接接触来听到和/或感到振动。在至少一个实施方式中,警报可以是上述模式的任意组合。
不是本发明的所有方法都需要监测。例如,如上对于验证阶段描述的,如果不关注处理能力且恒定的图像采集和处理是可能的,则方法可以放弃监测,相反对于大小变化持续不断地扫描视场26。因此,在至少一个实施方式中,如图17描绘的,方法800包括以下步骤:采集多个图像,如在500处。如上所述,这些图像从图像采集装置22的视场26来采集,并且可以以任意采样率和分辨率采集。因此,如以上详细讨论的,如在500处采集多个电子图像可以包括采集视场26的一系列静止图像,或者可以包括拍摄在预定时间段内的视频。采集的多个电子图像150中的每一个包括多个像素154,每个像素具有量化像素值。
方法800还包括以下步骤:如在510处,将各像素154的量化像素值与预定像素值阈值进行比较。与之前相同,在一些实施方式中,像素值阈值可以在10至80之间,并且在至少一个实施方式中,像素值阈值可以为50。如果像素值中的任意一个大于所创建的像素值阈值,如在520处,那么方法800还包括以下步骤:计算图像像素值,如在530处。该图像像素值是像素值超过像素值阈值的图像150中的像素154的数量。如上所述的对于每个图像150、150’、150”来计算图像像素值,并且如在540处且如上所述的将该图像像素值与图像像素值阈值进行比较。与之前相同,图像像素值阈值可以是像素的特定数量或图像的总像素的百分比。例如,图像像素值阈值可以在图像150中的任意一个中的总像素154的0.001%至1%的范围内。在另一个示例中,图像像素值阈值可以在100至1000个像素之间,诸如400个像素。
如果用于图像的图像像素值大于图像像素值阈值,那么方法800返回到如在500处采集图像。然而,如果图像像素值小于图像像素值阈值,如在550处,那么方法800还包括以下步骤:如在560处,选择多个电子图像中的至少两个的对应部分152、152’。如之前详细描述的,这些部分152、152’是图像150的子集,并且可以是图块或小至单独像素。一旦被解析成对应部分152、152’,则如在570处计算表示每个对应部分152、152’的量化图像部分值。该量化图像部分值如上所述,并且可以通过在对应部分152、152’之间执行误差函数来计算。这种误差函数包括但不限于:归一化纯量积、纯量积、相关系数、方差和、点积、向量点积、非标准点积或均方根误差。
一旦对于各对对应部分152、152’计算图像部分值,则方法800还包括以下步骤:如在580处,将图像部分值与预定图像部分值阈值进行比较。如上所述,图像部分值阈值足以指示视场26中的小但恒定的变化。在一些示例中,图像部分值阈值在0.7至0.99的范围内。在至少一个实施方式中,图像部分值阈值是0.95。
如果图像部分值大于图像部分值阈值,那么方法800重新开始采集图像,如在500处。如果用于部分152中的至少一个的图像部分值小于图像部分值阈值,如在590处,那么方法800包括以下步骤:如在400处,启动警报。警报如之前所述。
在至少一个实施方式中,这里描述的方法600、800可以是恒定地或没有中断地操作。在一些实施方式中,方法600、800在致动按钮、设置、屏幕的一部分或其他致动模式时由装置10、图像采集装置22、处理器34、图像分析器模块38、图像比较器模块40和/或警报模块42来执行。比如,在方法600、800由应用或程序(诸如可以在智能电话或移动装置10上)执行的实施方式中,方法600、800的致动可以通过与应用的启动画面58的一部分交互(诸如通过触摸指示开始方法600、800的按钮的屏幕44的区域)来发生。进一步地,方法600、800可以一直继续到预定操作时段到期为止、到方法600、800通过取消按钮的致动来取消为止或者到启动警报为止。预定操作时段可以是任意时间量,诸如几秒或多个小时甚至多天。在一些实施方式中,诸如在方法600、800使用闭合电路成像系统(诸如CCTV系统)来执行时,方法600、800可以无限地一直继续到选择性地停止为止。在其他实施方式中,诸如在使用智能电话时,方法600、800可以在10分钟或8小时或其他这种定义的时间之后停止。在至少一个实施方式中,装置10的用户可以选择要执行方法600、800的时间长度。
虽然已经关于特定优选实施方式描述了本发明,但应理解,用本发明的方式包含的主题不限于这些具体实施方式。相反,预期的是本发明的主题包括如可以被包括在以下权利要求的精神和范围内的所有替代、修改以及等同物。

Claims (42)

1.一种检测视场中的烟雾的方法,包括以下步骤:
用图像采集装置采集所述视场的多个电子图像,其中,所述电子图像中的每一个包括多个像素,所述多个像素的每一个由量化像素值定义;
将在所述多个电子图像中的每一个中的所述像素值的每一个与预定像素值阈值进行比较;
如果所述单独像素值中的任意一个超过所述预定像素值阈值,则计算量化图像像素值,所述量化图像像素值表示像素值超过所述预定像素值阈值的所述像素的数量;
将所述图像像素值与预定图像像素值阈值进行比较;
如果所述图像像素值小于所述预定图像像素值阈值,则选择所述多个电子图像中的至少两个的对应部分;
计算表示所述至少两个电子图像的所述对应部分中的每一个的量化图像部分值;
将所述图像部分值中的每一个与预定图像部分值阈值进行比较;以及
如果用于所述对应部分中的至少一个的所述图像部分值小于所述预定图像部分值阈值,则启动警报。
2.根据权利要求1所述的方法,还包括以下步骤:将所述多个电子图像转换成所述视场的对应的多个导数图像。
3.根据权利要求2所述的方法,其中,所述量化像素值被定义为绝对值。
4.根据权利要求1所述的方法,其中,所述至少两个电子图像的所述部分的每一个是所述电子图像的子集。
5.根据权利要求4所述的方法,其中,所述至少两个电子图像的所述部分的每一个包括多达所述电子图像的10%。
6.根据权利要求5所述的方法,其中,所述至少两个电子图像的所述部分的每一个包括所述电子图像的2%至4%。
7.根据权利要求5所述的方法,其中,所述至少两个电子图像的所述部分的每一个包括少于所述电子图像的1%。
8.根据权利要求4所述的方法,其中,所述至少两个电子图像的所述部分与所述电子图像的每一个中的总像素的比在1:500至1:2000的范围内。
9.根据权利要求8所述的方法,其中,所述至少两个电子图像的所述部分与所述电子图像的每一个中的总像素的比为1:1024。
10.根据权利要求8所述的方法,其中,所述至少两个电子图像的所述部分与所述电子图像的每一个中的总像素的比为1:1156。
11.根据权利要求1所述的方法,其中,所述预定像素值阈值取决于所述图像采集装置的动态范围。
12.根据权利要求11所述的方法,其中,所述预定像素值阈值是所述图像采集装置的所述动态范围的至少五分之一。
13.根据权利要求1所述的方法,其中,所述预定像素值阈值被定义在10至80之间。
14.根据权利要求13所述的方法,其中,所述预定像素值阈值被定义为50。
15.根据权利要求1所述的方法,其中,所述预定图像像素值阈值被定义为在所述电子图像中的任意一个中的总像素的0.001%至0.1%的范围内。
16.根据权利要求15所述的方法,其中,所述预定图像像素值阈值被定义为至少400。
17.根据权利要求1所述的方法,其中,所述预定图像部分值阈值被定义在0.75至0.99之间。
18.根据权利要求17所述的方法,其中,所述预定图像部分值阈值是0.95。
19.根据权利要求1所述的方法,其中,计算量化图像部分值包括执行所述至少两个电子图像的对应部分之间的误差函数计算。
20.根据权利要求19所述的方法,其中,所述误差函数选自由归一化纯量积、纯量积、相关系数、方差和、点积、向量点积、非标准点积以及均方根构成的组。
21.根据权利要求1所述的方法,其中,所述多个电子图像是RGB和灰度中的至少一种。
22.根据权利要求22所述的方法,还包括以下步骤:将所述多个电子图像在RGB与灰度之间转换。
23.一种检测视场中的烟雾的方法,包括以下步骤:
用图像采集装置以第一采样率采集所述视场的第一多个电子图像;
选择所述第一多个电子图像中的至少两个的对应部分;
计算第一量化图像部分值,所述第一量化图像部分值表示来自所述第一多个图像的所述至少两个电子图像的所述对应部分中的每一个;
将表示来自所述第一多个图像的所述至少两个电子图像的所述对应部分中的每一个的所述第一图像部分值与第一预定图像部分值阈值进行比较;
如果所述第一图像部分值中的任意一个小于所述预定第一图像部分值阈值,则用图像采集装置以比所述第一采样率大的第二采样率采集所述视场的第二多个电子图像,其中,所述第二多个电子图像中的每一个包括每一个都由量化像素值定义的多个像素;
将在所述第二多个电子图像中的每一个中的所述像素值的每一个与预定像素值阈值进行比较;
如果所述单独像素值中的任意一个超过所述预定像素值阈值,则计算量化图像像素值,所述量化图像像素值表示像素值超过所述预定像素值阈值的所述像素的数量;
将所述图像像素值与预定图像像素值阈值进行比较;
如果所述图像像素值小于所述预定图像像素值阈值,则选择所述第二多个电子图像中的至少两个的对应部分;
计算表示所述第二多个图像中的所述至少两个电子图像的所述对应部分中的每一个的第二量化图像部分值;
将所述第二图像部分值中的每一个与第二预定图像部分值阈值进行比较;以及
如果用于所述对应部分中的至少一个的所述第二图像部分值小于所述第二预定图像部分值阈值,则启动警报。
24.根据权利要求23所述的方法,其中,所述第二采样率比所述第一采样率大至少一个数量级。
25.根据权利要求23所述的方法,其中,所述第一采样率是每多秒一个图像。
26.根据权利要求25所述的方法,其中,所述第一采样率是每2至5秒一个图像。
27.根据权利要求23所述的方法,其中,所述第二采样率是每秒多个图像。
28.根据权利要求27所述的方法,其中,所述第二采样率是每秒10至50个图像。
29.根据权利要求23所述的方法,其中,所述第一预定图像部分值阈值被定义为0.70至0.99。
30.根据权利要求29所述的方法,其中,所述第一预定图像部分值阈值被定义为0.95。
31.根据权利要求23所述的方法,其中,计算所述第一图像部分值和所述第二图像部分值包括执行所述至少两个电子图像的对应部分之间的误差函数计算。
32.根据权利要求31所述的方法,其中,所述误差函数选自由归一化纯量积、纯量积、相关系数、方差和、点积、向量点积、非标准点积以及均方根构成的组。
33.根据权利要求23所述的方法,还包括以下步骤:
确定来自所述第一多个图像的所述至少两个电子图像的所述对应部分的所述第一图像部分值的最低值;
将所述第一图像部分值的所述最低值与预定第一图像部分值阈值进行比较;以及
如果所述第一图像部分值的所述最低值小于所述预定第一图像部分值阈值,则用图像采集装置以比所述第一采样率大的第二采样率采集所述视场的第二多个电子图像。
34.根据权利要求23所述的方法,还包括以下步骤:
以所述第一采样率采集第一电子图像并将所述第一电子图像定义为参考图像;
以所述第一采样率采集至少一个随后的电子图像,用于与所述参考图像进行比较;以及
以预定间隔将所述参考图像重新定义为所述随后的电子图像中的一个。
35.根据权利要求34所述的方法,其中,所述预定间隔是时间间隔。
36.根据权利要求35所述的方法,其中,所述预定间隔是2至10秒。
37.根据权利要求36所述的方法,其中,所述预定间隔是9秒。
38.根据权利要求34所述的方法,其中,所述预定间隔是随后的电子图像的数量。
39.根据权利要求38所述的方法,其中,所述预定间隔是2至4个随后的电子图像。
40.根据权利要求39所述的方法,其中,所述预定间隔是3个随后的电子图像。
41.根据权利要求23所述的方法,其中,所述第一多个电子图像和第二多个电子图像是RGB和灰度中的至少一种。
42.根据权利要求41所述的方法,还包括以下步骤:将所述第一多个电子图像和第二多个电子图像在RGB与灰度之间转换。
CN201780052933.7A 2016-06-28 2017-06-28 使用照相机的烟雾检测系统和方法 Pending CN109643482A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/194,878 2016-06-28
US15/194,878 US10304306B2 (en) 2015-02-19 2016-06-28 Smoke detection system and method using a camera
PCT/US2017/039691 WO2018005616A1 (en) 2016-06-28 2017-06-28 Smoke detection system and method using a camera

Publications (1)

Publication Number Publication Date
CN109643482A true CN109643482A (zh) 2019-04-16

Family

ID=60785539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052933.7A Pending CN109643482A (zh) 2016-06-28 2017-06-28 使用照相机的烟雾检测系统和方法

Country Status (3)

Country Link
EP (1) EP3475928A4 (zh)
CN (1) CN109643482A (zh)
WO (1) WO2018005616A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111632303A (zh) * 2020-06-09 2020-09-08 孙健春 基于无人机的小区火灾应急逃生系统
CN111951508A (zh) * 2020-07-03 2020-11-17 北京中安安博文化科技有限公司 一种火情分级方法、装置、介质和电子设备
CN113096062A (zh) * 2020-01-07 2021-07-09 通用汽车环球科技运作有限责任公司 高斯图像质量分析工具和操作方法
CN113570813A (zh) * 2021-07-26 2021-10-29 郑州蓝视科技有限公司 一种智能烟感装置
CN115311811A (zh) * 2022-10-11 2022-11-08 江苏安世朗智能科技有限公司 基于物联网的电气火灾远程报警处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456749B2 (en) * 2002-01-14 2008-11-25 Rosemount Aerospace Inc. Apparatus for detecting a fire by IR image processing
KR101224494B1 (ko) * 2012-05-29 2013-01-21 (주)에이치엠씨 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기 검출 방법
US8804119B2 (en) * 2008-06-10 2014-08-12 Xtralis Technologies Ltd Particle detection
CN105447471A (zh) * 2015-12-04 2016-03-30 国网技术学院 基于红外检测的设备气体泄漏识别方法和装置
CN105469105A (zh) * 2015-11-13 2016-04-06 燕山大学 一种基于视频监控的香烟烟雾检测方法
CN105654494A (zh) * 2016-01-04 2016-06-08 杭州中威电子股份有限公司 视频图像中烟雾检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3201101A (en) * 2000-02-07 2001-08-14 Intelligent Security Limited Smoke and flame detection
WO2005045775A1 (en) * 2003-11-07 2005-05-19 Axonx, L.L.C. Smoke detection method and apparatus
JP2007094742A (ja) * 2005-09-28 2007-04-12 Olympus Corp 画像信号処理装置及び画像信号処理プログラム
US7609856B2 (en) * 2007-11-13 2009-10-27 Huper Laboratories Co., Ltd. Smoke detection method based on video processing
WO2009136895A1 (en) * 2008-05-08 2009-11-12 Utc Fire & Security System and method for video detection of smoke and flame

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456749B2 (en) * 2002-01-14 2008-11-25 Rosemount Aerospace Inc. Apparatus for detecting a fire by IR image processing
US8804119B2 (en) * 2008-06-10 2014-08-12 Xtralis Technologies Ltd Particle detection
KR101224494B1 (ko) * 2012-05-29 2013-01-21 (주)에이치엠씨 촬영 대상의 명도 및 채도 변화에 강건한 영상 기반 연기 검출 방법
CN105469105A (zh) * 2015-11-13 2016-04-06 燕山大学 一种基于视频监控的香烟烟雾检测方法
CN105447471A (zh) * 2015-12-04 2016-03-30 国网技术学院 基于红外检测的设备气体泄漏识别方法和装置
CN105654494A (zh) * 2016-01-04 2016-06-08 杭州中威电子股份有限公司 视频图像中烟雾检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096062A (zh) * 2020-01-07 2021-07-09 通用汽车环球科技运作有限责任公司 高斯图像质量分析工具和操作方法
CN113096062B (zh) * 2020-01-07 2023-11-07 通用汽车环球科技运作有限责任公司 高斯图像质量分析工具和操作方法
CN111632303A (zh) * 2020-06-09 2020-09-08 孙健春 基于无人机的小区火灾应急逃生系统
CN111951508A (zh) * 2020-07-03 2020-11-17 北京中安安博文化科技有限公司 一种火情分级方法、装置、介质和电子设备
CN113570813A (zh) * 2021-07-26 2021-10-29 郑州蓝视科技有限公司 一种智能烟感装置
CN115311811A (zh) * 2022-10-11 2022-11-08 江苏安世朗智能科技有限公司 基于物联网的电气火灾远程报警处理方法及装置
CN115311811B (zh) * 2022-10-11 2022-12-06 江苏安世朗智能科技有限公司 基于物联网的电气火灾远程报警处理方法及装置

Also Published As

Publication number Publication date
EP3475928A4 (en) 2020-03-04
EP3475928A1 (en) 2019-05-01
WO2018005616A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109643482A (zh) 使用照相机的烟雾检测系统和方法
US10304306B2 (en) Smoke detection system and method using a camera
US10395498B2 (en) Fire detection apparatus utilizing a camera
RU2380758C2 (ru) Cпособ и устройство для обнаружения дыма
US8508376B2 (en) Particle detector, system and method
US6711279B1 (en) Object detection
US20060242186A1 (en) Thermal signature intensity alarmer system and method for processing thermal signature
US8169496B2 (en) Image processing system and image acquisition method
EP2290629B1 (en) System and method of target based smoke detection
US20190266869A1 (en) Smoke Detection System and Method Using a Camera
CN104969239A (zh) 一用于侦测摄影机的装置和方法
CN101315326B (zh) 烟雾侦测方法与装置
KR101476764B1 (ko) 카메라의 명암 영상신호를 이용한 화염 검출방법
TWI638334B (zh) 前景影像提取的影像處理方法與電子裝置
KR100268771B1 (ko) 화상에 확률 분포함수를 이용한 화재 감시 방법
JP6189284B2 (ja) 画像センシング装置
JP3115786B2 (ja) 炎検出装置および炎検出方法
JP2007060468A (ja) 画像センサ
JP6155106B2 (ja) 画像センサ
JP6093270B2 (ja) 画像センサ
KR101320864B1 (ko) 형상체를 활용한 모니터링영역 내의 외부 객체 유무 판별방법
JP7215495B2 (ja) 情報処理装置、制御方法、及びプログラム
JP6687659B2 (ja) 領域区分装置
WO2021109458A1 (zh) 对象识别方法、装置、电子设备和可读存储介质
JP3716057B2 (ja) 人物検知用画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190416