CN109727417B - 控制视频处理单元以促进检测新来者的方法和控制器 - Google Patents

控制视频处理单元以促进检测新来者的方法和控制器 Download PDF

Info

Publication number
CN109727417B
CN109727417B CN201811202099.8A CN201811202099A CN109727417B CN 109727417 B CN109727417 B CN 109727417B CN 201811202099 A CN201811202099 A CN 201811202099A CN 109727417 B CN109727417 B CN 109727417B
Authority
CN
China
Prior art keywords
environment
human
thermal
human subject
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811202099.8A
Other languages
English (en)
Other versions
CN109727417A (zh
Inventor
范星
尼克拉·丹尼尔松
安东·雅各布松
伊曼纽尔·约翰逊
托马斯·温泽尔
耶斯佩尔·本特松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109727417A publication Critical patent/CN109727417A/zh
Application granted granted Critical
Publication of CN109727417B publication Critical patent/CN109727417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit

Abstract

本发明涉及控制视频处理单元以促进检测新来者的方法和控制器。提供用于控制视频处理单元以促进在第一环境中检测新来者的方法和控制器。该方法包括：捕捉在第一环境中的人体对象的热图像，第一环境与第一气候相关联；基于热图像来计算人体对象的部位的热特征；当人体对象的部位的热特征偏离预先确定的与第一环境相关联的热特征时，确定人体对象已从第二环境进入了第一环境，其中，第二环境与第二不同的气候相关联；并且控制视频处理单元，以在处理将人体对象与其他人体对象一起描绘的视频帧时，相对于其他人体对象将人体对象优先化。

Description

控制视频处理单元以促进检测新来者的方法和控制器
技术领域
本发明涉及视频处理的领域。具体地，涉及控制视频处理单元以促进在第一环境中检测新来者。
背景技术
摄像机常常用于监测目的。例如，可以在建筑物内部使用摄像机以监视其中的人。一些人(例如，在建筑物中工作的人)可以具有处于建筑物中的许可，而其他人可能不具有处于建筑物中的许可，并且可以因此被认为是闯入者。在此类监测应用中，因此感兴趣的是将闯入者与被允许处于建筑物中的人进行区分。
将新来者与已经处于建筑物一会儿的人进行区分也可能是在其他监测应用中感兴趣的。例如，处于建筑物中的人可以与表征人的元数据相关联。随着新的人进入，感兴趣的是，尽快使新来者与此类元数据相关联。
区分新来者或闯入者的一种方式是使用视频分析工具，该视频分析工具识别被记录的视频中的人并且将身份与已经处于建筑物中的人或具有处于建筑物中的许可的人的身份的记录进行匹配。然而，当在建筑物中存在许多人时，特别地当实时地执行识别时，考虑通常有限的可用的计算能力，这可能在计算上是不可行的。另一个限制因素是视频的比特率。在没有对建筑物中的人的进一步了解的情况下，典型地将利用同一压缩级别对视频中描绘的所有人(不管是否是新来者)进行编码。然而，为了改善视频的以下分析，可能感兴趣的是，相比视频中的其他人在闯入者上消耗更多比特。因此存在改善的空间。
发明内容
本发明的目的是减轻以上提及的缺点，并且促进在环境中对新来者进行检测。
根据本发明的第一方面，通过控制视频处理单元以促进在第一环境中检测新来者的方法来实现以上目的，该方法包括：
捕捉在第一环境中的人体对象的热图像，该第一环境与第一气候相关联，
基于热图像来计算人体对象的部位的热特征，
当人体对象的部位的热特征偏离预先确定的与第一环境相关联的热特征时，确定人体对象已从第二环境进入第一环境，其中，第二环境与不同的第二气候相关联，并且
控制视频处理单元，以在处理将人体对象与其他人体对象一起描绘的视频帧时，相对于其他人体对象将该人体对象优先化。
本发明基于一认识：从具有另一个气候的第二环境(诸如从户外)最近进入第一环境(诸如温度被调节的建筑物之类)的人与已经停留在第一环境中一会儿的人相比，将典型地具有偏离的热特征。因此，通过分析人或人的部位的热特征，人们可以将最近进入了第一环境的人(即，新来者)与已经处于第一环境中一会儿的人进行区分。因为可能对最近进入的人具有较高的分析兴趣，例如因为他们很可能是闯入者，所以当处理视频帧时，可以相比其他人对此类人给予优先。例如，为了识别和编码的目的，可以对于最近进入的人给予较高优先级。以这种方式，计算工作量主要集中于可疑的新来者。
新来者通常是最近(即，在某个时间段内)进入第一环境的人。为了入侵检测应用，可以将新来者考虑为可疑的闯入者。
第一环境和第二环境典型地是两个不同的但是邻近的环境。第一环境和第二环境可以彼此分开以便允许第一环境和第二环境具有不同的气候。例如，第一环境可以是建筑物，并且第二环境能够是建筑物外部的户外环境。根据另一个示例，第一环境和第二环境两者都可以是具有不同的温度的室内环境，诸如装有空调设备的一个环境和具有未调节的温度的一个环境。
第一环境和第二环境与不同的气候相关联。因此，第一环境和第二环境定义不同的气候带。气候带例如可以在温度和湿度方面不同。
人体对象的部位通常意指人体的部位。人体对象的部位可以包括整个身体，或者其有限的部位，诸如面部。
一个热特征偏离另一个热特征通常意指该热特征偏离超过预定义的阈值。根据如何测量热特征(如以下进一步讨论的)，可以以不同的方式(例如通过应用诸如L2模之类的模)来计算两个热特征之间的偏差。预定义的阈值也可以在空间上改变，使得与对于热特征的其他空间区域相比，对于热特征的一些空间区域来说更大的偏差是可接受的。可以基于预定义的与第一环境相关联的热特征的变化性测量(即，基于已处于第一环境中一会儿的人体对象的热特征的变化性)来选择预定义的阈值。
视频处理单元可以被安排为关于被确定为已从第二环境进入第一环境并且被给予较高优先级的人体对象来执行不同类型的处理。例如，当执行视频内容分析时(即，当分析视频的图像内容时，或者当对描绘人体对象的视频帧进行编码时)，视频处理单元可以被控制为将人体对象优先化。
视频内容分析例如可以包括人体对象的识别，和/或与人体对象有关的其他类型的分析，诸如识别由人体对象携带的物品或分析人体对象的运动模式。通过在执行视频内容分析时对被确定为已从第二环境进入第一环境的人体对象给予较高优先级，与第一环境中的其他人相比，可以在对可疑的新来者的识别或分析上花费更多计算资源。
通过在执行编码时对被确定为已从第二环境进入第一环境的人体对象给予较高优先级，与第一环境中的其他人相比，可以在对可疑的新来者进行编码上花费更多比特。可以在作为结果得到的解码视频中以较高的图像质量描绘可疑的新来者，因此促进对新来者的检测和识别。
人体对象可以与优先等级相关联，并且视频处理单元可以被控制以通过关于其他人体对象的优先等级而提高人体对象的优先等级来将人体对象优先化。因此，每个描述的对象可以具有优先等级，并且可以关于已在第一环境一会儿的人体对象的优先等级来提高被确定为已进入第一环境的人体对象的优先等级。
例如，视频处理单元可以被控制以按优先等级的递减顺序来分析视频帧中的人体对象。以这种方式，首先分析具有较高的优先等级的人体对象(即，可疑的新来者)，并且此后将分析具有较低优先等级的人体对象(即，已处于第一环境中一会儿并且不被怀疑为是新来者的人体对象)。在一些情况下，可能不具有足够的计算资源来分析所有的人体对象。通过按优先级的顺序分析人体对象，人们能够确保可用资源主要花费在分析可疑的新来者。分析例如可以包括人体对象的识别、分析诸如人体对象的运动模式之类的行为，和/或分析由人体对象携带的物体。
视频处理单元可以被控制以在人体对象已被分析之后降低人体对象的优先等级。在捕捉到新的视频帧时，基于固定的时间来典型地重复以上方法。因此，基于在方法被重复时的若干次的偏离热特征，可以将人体对象确定为可疑的新来者。然而，典型地，利用高优先级分析此类人体对象一次可以是足够的，并且，一旦被分析，可以利用类似于第一环境中的其他人体对象的优先级的较低优先级来处置该人体对象。例如，如果基于高优先级分析可疑的新来者结果弄清楚是已经有处于建筑物中的许可的人，则对该人体对象的进一步分析不需要被给予较高优先级。根据另一个示例，如果可疑的新来者没有以可疑的方式表现达预先确定的时间量，可以再次降低人体对象的优先级。
根据另外的示例，视频处理单元可以被控制，以基于人体对象的优先等级，来选择用于分析人体对象的算法的复杂度或者用于分析人体对象的算法的数量，使得算法的复杂度或算法的数量随着人体对象的优先等级而增加。例如，当识别可疑的新来者时，可以选择更复杂的识别算法。更复杂的识别算法可以给出更可靠的结果，但是典型地也将需要更多的计算。也可能是这样的情况：对可疑的新来者运行若干算法。例如，对于可疑的新来者，可以执行对人体对象的识别、对人体对象的运动模式的分析，以及对人体对象所携带的物品的检查，而对于较低优先级的人体对象，仅仅执行识别。
视频处理单元可以被控制，以在对将人体对象与其他人体对象一起描绘的视频帧进行编码时，通过与和其他人体对象相对应的区域相比而降低与人体对象相对应的区域中的压缩级别，来将人体对象优先化。换句话说，与其他人体对象相比较，在对可疑的新来者进行编码时可以使用更多比特。以这种方式，以其他人体对象作为代价，可疑的新来者给人的印象将是具有较高的图像质量，因此进一步促进检测新来者。压缩级别可以例如与诸如H.264标准的量化参数之类的量化参数对应。
人体对象可以与用于触发警报的阈值相关联，并且视频处理单元可以被控制以关于其他人体对象的对应的阈值来减小用于触发警报的阈值。以这种方式，更有可能的是，警报被可疑的新来者触发，而不是其他人体对象。阈值可以例如与置信级别有关。通过降低置信级别，还有较不偏离的观察(即，更可能的观察)可以触发用于可疑的个体的警报。例如，针对可疑的个体，可以使检测人体对象携带的某些物品(诸如武器、炸弹等等)的灵敏度较高。
如上所述，典型地在接收到新的视频帧时基于固定时间来重复以上方法。对于一些帧，将确定人体对象已从第二环境进入了第一环境，而对于其他帧，将没有此类人体对象。
该方法可以进一步包括：控制视频处理单元。以在处理视频帧时如果被确定为已从第二环境(104)进入第一环境(102)的人体对象在视频帧中被描绘则增加帧速率，并且以在处理视频帧时如果当前没有已从第二环境进入第一环境的人体对象在视频帧中被描绘则在处理视频帧时减小帧速率。以这种方式，可以节省比特率，直到可疑的新来者存在于视频帧中。
大体上，人体对象的部位的热特征反映与人体对象的部位相对应的区域中的热图像的强度值的分布。强度值的分布可以在某些情况下对应于强度值的直方图。在一些情况下，热特征反映空间分布，即，在与人体对象的部位相对应的区域中的热图像的强度值的空间图案。热特征也可以被认为是光学特征(其是在军事区中常用的术语)，但是受限于包括中波红外和长波红外的光谱的热红外部分。
与第一环境相关联的预先确定的热特征和与第一环境的第一气候处于热平衡中的人体对象的热特征相对应。当人体对象处于第一环境中达特定时间后，人体对象将典型地与第一环境的第一气候处于热平衡中。在该特定时间期间，人体对象的表面温度已适配为第一环境的温度，并且在该特定时间之后人体对象的热特征保持基本上恒定。处于热平衡中的人体对象的热特征可以对应于与第一环境的第一气候处于热平衡中的人体对象的平均热特征。另外可以存在若干预先确定的与第一环境的第一气候处于热平衡中的人体对象的热特征。例如，可以存在与人体对象的不同的姿态对应的不同的预先确定的热特征。
通常，如在本文所使用的，与环境相关联的热特征指的是与该环境的气候处于热平衡中的人体对象的热特征。
可以以不同的方式执行计算和确定的步骤。在最简单的形式中，可以包括将在与人体对象的部位相对应的区域中的热图像的强度值的直方图与预先确定的与已处于第一环境中达特定时间的人体对象的直方图相比较。如果直方图的不同超过阈值，则确定人体对象已从第二环境进入了第一环境，并且人体对象被优先化，如以上解释的。在更完善方式中，还考虑在与人体对象的部位相对应的区域中的热图像中的强度值的空间分布。这例如可以通过使用诸如卷积神经网络之类的机器学习算法来实施。更详细地，可以将热特征计算为与人体对象的部位相对应的热图像的区域，并且其中，确定的步骤包括：向机器学习算法提供与人体对象的部位相对应的热图像的区域，其中，机器学习算法已被训练区分：存在于第一环境中但是没有与第一环境的第一气候处于热平衡中的人体对象的热图像、与存在于第一环境中并且与第一环境的第一气候处于热平衡中的人体对象的热图像。存在于第一环境中但是没有与第一气候处于热平衡中的人体对象可以是：与第二气候处于热平衡中然后从第二环境进入第一环境的人体对象。那些人体对象可能已在第一环境中停留少于特定时间段。该特定时间段可以是短到足够确保人体对象尚未与第一气候处于热平衡中的时长。相比之下，存在于第一环境中并且与第一气候处于热平衡中的人体对象可以是已在第一环境中停留超过该特定时间段的人体对象，因此确保人体对象处于与第一气候的热平衡中。一旦机器学习算法已被训练(典型地是在应用方法之前所执行的处理)，机器学习算法可以快速且高效地用于检查人体对象的部位的热特征是否偏离于预先确定的与第一环境相关联的热特征。
如以上解释的，关于人体对象是否已从第二环境进入了第一环境的判定基于热图像。然而，可以由热感照相机或描绘同一场景的视觉照相机两者来使用确定的结果。视频处理因此不受限于对热图像的处理。更详细地，可以由热感照相机捕捉热图像，并且视频处理单元可以被控制，以在处理由热感照相机捕捉的视频帧时或在处理由可见光照相机捕捉的描绘同一人体对象的视频帧时，优先化人体对象。
响应于人体对象已从第二环境进入第一环境的确定，该方法可以进一步激活或控制图像传感器以外的其他类型的传感器，诸如音频传感器和振动传感器。例如，音频检测器可以响应于此类确定被激活以检测和分析音频。以该方式，音频检测和分析可以被限制在人体对象刚刚从第二环境进入第一环境的片刻时间。除了该片刻时间之外，音频检测器可以被停用以尊重人体对象的隐私。
根据本发明的第二方面，通过用于控制视频处理单元以促进在第一环境中检测新来者的控制器来实现以上目的，该控制器包括：
接收机，被配置为接收在第一环境中的人体对象的热图像，该第一环境与第一气候相关联，
计算组件，被配置为基于热图像来计算人体对象的部位的热特征，
确定组件，被配置为，当人体对象的部位的热特征偏离预先确定的与第一环境相关联的热特征时，确定人体对象已从第二环境进入第一环境，其中，第二环境与不同的第二气候相关联，以及
控制组件，被配置为控制视频处理单元，以在处理将人体对象与其他人体对象一起描绘的视频帧时，相对于其他人体对象将人体对象优先化。
根据第三方面，通过计算机程序产品来实现以上目的，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质上存储有计算机代码指令，该计算机代码指令当由具有处理能力的设备执行时用于执行第一方面的方法。
第二方面和第三方面可以大体上具有与第一方面相同的特征和优点。进一步请注意，本发明涉及特征的所有可能组合，除非被另外明确地陈述。
附图说明
通过参考附图进行的以下对本发明的实施例的说明性的且非限制性的详细描述，将更好地理解本发明的以上以及附加的目的、特征和优点，其中将对类似的要素使用相同的附图标记，在附图中：
图1示意地图示出其中能够实施本发明的实施例的第一环境。
图2图示出根据实施例的包括控制器的照相机系统。
图3a图示出描绘在第一环境中的人体对象的热图像。
图3b在左侧图示出在图3a的热图像中描绘的人体对象的热特征，并且在右侧图示出加强显示热特征的某些方面的热特征的简化版本。
图3c在左侧图示出与第一环境相关联的预先确定的热特征，并且在右侧图示出加强显示预先确定的热特征的某些方面的预先确定的热特征的简化版本。
图4是根据实施例的用于控制视频处理单元以促进在第一环境中检测新来者的方法的流程图。
具体实施方式
现在将在下文参考其中示出本发明的实施例的附图来更全面地描述本发明。将在操作期间对本文公开的系统和设备进行描述。
图1图示出第一环境102和第二环境104。第一环境102可以例如是建筑物，并且第二环境104可以是建筑物的室外环境。第一环境102与诸如建筑物的室内气候之类的第一气候相关联。第二环境104与诸如室外气候之类的另一个气候相关联。另外存在入口110，经由入口110人体对象106可以从第二环境104进入第一环境102的。入口110可以是常规入口，或者不被认为将用作常规入口的入口，诸如紧急出口或窗口。随着人体对象从第二环境104进入第一环境102，人体对象将从第二环境104的气候去往第一环境102的气候。起先，新近进入的人体对象将具有其分布适于第二环境104的气候的表面温度。例如，人体对象可能已与第二环境104处于热平衡中，这一点将通过其表面温度的分布被反映。然而，随着人体对象106进入第一环境102，其表面温度的分布开始适于第一环境102的气候，直到一会后人体对象与第一环境处于热平衡中为止。因此，在人体对象106已从第二环境104进入第一环境102之后，将存在一时间窗口，在该时间窗口期间新近进入的人体对象106的表面温度的分布不同于已处于第一环境102中足够久以与第一环境102处于热平衡中的人体对象106的表面温度的分布。
通过一个或多个照相机系统108来监视第一环境102。具体地，一个或多个照相机系统108被安排为监视人体对象106，即，处于第一环境102中的人。具体地，照相机系统108被安排为将新来者与被允许处于第一环境102中的人进行区分。例如，为了识别目的，被允许处于第一环境102中的人的列表可以被维持并且保持为对于一个或多个照相机系统108是可访问的。为了促进在第一环境102中检测新来者，照相机系统108利用最近从第二环境进入了第一环境102的人体对象106具有偏离温度的事实，如以上进一步解释的。随后将更详细地解释如何进行利用这个事实。此外，因为与其他人相比闯入者更可能经由非常规入口(诸如经由紧急出口或窗口)进入，一个或多个照相机系统108可以为了入侵检测目的而有利地被安排为监视非常规入口附近的第一环境102的区域，诸如紧急出口和窗口。
图2示意地图示出照相机系统108。照相机系统108包括控制器300和热感照相机400。在一些实施例中，照相机系统108可以还包括可见光照相机500，即，在可视光谱区中操作的照相机。当在使用中时，可见光照相机500可以被安排为与热感照相机400描绘同一场景，意味着，可见光照相机500可以被安排为与热感照相机400描绘同一人体对象106的图像。
热感照相机400和可见光照相机500可以每个均包括视频处理单元402、502。视频处理单元402、502可以包括用于对由热感照相机400或可见光照相机500捕捉的视频进行编码的视频编码单元。视频处理单元402、502可以包括用于分析由热感照相机400或可见光照相机500捕捉的视频的内容的视频分析单元。控制器300被配置为控制热感照相机400和可见光照相机500中的至少一个的视频处理单元402、502。为此目的，控制器300包括接收机302、计算组件304、确定组件306，和控制组件308。虽然视频处理单元402、502被描绘为被包括在热感照相机400和可见光照相机500之一中，但应当理解，视频处理单元402、502可以位于系统中的别处，诸如位于可以例如通过网络与照相机400、500中的一个或多个进行通信的服务器或专用处理设备中。
控制器300因此包括被配置为实施控制器300的功能的各个组件302、304、306、308。具体地，每个所图示出的组件对应于控制器300的功能。通常，控制器300可以包括被配置为实施组件302、304、306、308并且更具体地实施它们的功能的电路。
在硬件实施中，组件302、304、306、308中的每一个可以对应于专用于并且具体被设计为提供组件的功能的电路。电路可以是一个或多个集成电路(诸如一个或多个专用集成电路)的形式。作为示例，控制组件308可以因此包括当在使用中时控制视频处理单元402、502的电路。
在软件实施中，电路可以替代地是处理器(诸如微处理器之类)的形式，该处理器与存储在诸如非易失性存储器之类的(非暂时性)计算机可读媒介上的、使控制器300执行在本文公开的任何方法的计算机代码指令相关联。在那种情况下，组件302、304、306、308可以因此每个均与存储在计算机可读媒介上的计算机代码指令的一部分对应，当由处理器执行时，使控制器300执行组件的功能。
应当理解，也可以具有硬件和软件实施的组合，意味着，可以在硬件中实施组件302、304、306、308中的一些的功能，并且在软件中实施其他。
现在将参考图1、2、3a-c以及图4的流程图来更详细地描述控制器108的操作。
在步骤S02中，热感照相机400捕捉第一环境102中的一个或多个人体对象106的热图像。由控制器300的接收机302来接收热图像。图3a是描绘三个人体对象106a、106b、106c的热图像600的示意图示。热感照相机400可以是已校准的，这意味着已关于温度将热图像中的强度值校准，或者未校准的，这意味着没有关于温度将热图像中的强度值校准。在前一种情况下，可以从热图像中的强度值直接地读出温度，而在后一种情况中，不可以从热图像中的强度值直接地读出温度。尽管如此，对于未校准的照相机，可以从热图像中的强度值读出温度的相对水平。
在步骤S04中，计算组件304继续基于热图像600来计算所描绘的一个或多个对象106a、106b、106c的部位606a、606b、606c的热特征。部位606a、606b、606c例如可以对应于一个或多个对象106a、106b、106c的面部。更具体地，计算组件304可以例如通过使用诸如标准面部检测算法之类的标准图像处理工具来首先找出每个描绘的人体对象106a、106b、106c的所关注的部位606a、606b、606c。根据实施例，由可见光照相机500捕捉的描绘与热图像600相同的区域的图像可以用于促进热图像600中的所关注的部位606a、606b、606c的检测。例如，可以例如通过使用标准图像处理工具在来自可见光照相机500的图像中首先检测有关的部位，然后，由热感照相机400捕捉的热图像600中的对应的部位可以被识别为部位606a、606b、606c。
接下来，计算组件304可以基于找出的部位606a、606b、606c中的热图像600的强度值来形成针对每个描绘的人体对象106a、106b、106c的找出的部位606a、606b、606c的热特征。
通常，人体对象106a、106b、106c的热特征反映与人体对象106a、106b、106c的部位606a、606b、606c相对应的区域中的热图像600的强度值的分布。如在以上进一步描述的，热特征可以以其最简单的形式对应于与人体对象106a、106b、106c的部位606a、606b、606c相对应的区域中的热图像600的强度值的直方图。此外，在其中热图像的强度值直接地对应于温度值的已校准的热感照相机的情况下，热特征可以基于温度值自身，诸如与人体对象106的部位相对应的热图像的区域内的温度差。替换地，为了也考虑空间变化，热特征可以对应于与人体对象106a、106b、106c的部位606a、606b、606c相对应的热图像的区域，即，在该情况下热特征对应于热图像的部位。在已校准的热感照相机的情况下，热特征然后对应于与人体对象106a、106b、106c的部位606a、606b、606c相对应的热图像的区域内的温度值的空间分布。在图3b中图示出将空间变化考虑在内的热特征，图3b示出与人体对象106a相对应的热特征608b。在图3b中的左侧，热特征608b如同其可以实际上看起来而被示出，即，作为热图像而被示出。为了图示，在图3b的右侧示出了热特征608b的简化版本。所图示出的热特征608b清楚地示出，相比面部的其余部分，鼻子和眼镜较凉。在图3b中的右侧的简化版本中将这突出。
在步骤S06中，确定组件306继续确定在热图像600中描绘的每个人体对象106a、106b、106c是否已从第二环境104进入了第一环境102。为此目的，确定组件306可以将热图像600中的每个人体对象106a、106b、106c的热特征608b与预先确定的与第一环境102相关联的热特征相比较。图3C示出这样的预先确定的与第一环境102相关联的热特征610的示例。在图3c中的左侧，预先确定的热特征610如同其可以实际上看起来而被示出，即，作为热图像而被示出。为了图示，在图3c右侧示出了预先确定的热特征610的简化版本。如在图3c中能够看出，在左侧和右侧图像两者中，预先确定的热特征610的鼻子不比面部的其余更凉。预先确定的与第一环境102相关联的热特征610典型地对应于已处于第一环境102中足够久以与第一环境102的气候处于热平衡中的人体对象的热特征。可以将热特征610作为平均热特征来形成，即，可以将热特征610作为与若干人相关联的热特征的平均来形成。此外，可以存在对应于人体对象106可以具有的不同的姿态的若干预先确定的热特征610。例如，使用关于人体对象106b的目视前方的预先确定的热特征可以是适当的，而使用人体对象106c的轮廓中的预先确定的热特征可以是适当的。
基于热特征608b和预先确定的热特征610之间的比较，确定组件306然后可以检查人体对象106b的部位606b的热特征608b是否偏离与第一环境102相关联的预先确定的特征610。如果热特征608b偏离预先确定的特征610，则确定人体对象106b已经从第二环境104进入了第一环境102。
根据热特征608b和610如何被表示，可以以不同的方式来执行人体对象106b的部位606b的热特征608b是否偏离预先确定的与第一环境102相关联的特征610的检查。例如，如果热特征608b和610被表示为强度值的直方图，则能够热特征608b、610的强度值的变化性(被测量作为标准偏差)可以被比较。如果变化性相差超过阈值，则可以确定，热特征608b偏离预先确定的特征610。如果已校准的热感照相机用于测量表面温度，即，用于捕捉热图像600，则可以采用另一种方式。在该情况下，预先确定的热特征610可以对应于温度间隔。如果在热图像600的部位606b中(即，在热特征608b内)发现落在温度间隔之外的温度值，则可以确定热特征608b偏离预先确定的热特征610。
对于图3a、3b、3c中图示出的示例，假定仅仅对于人体对象106b发现了此类偏离热特征，而没有发现人体对象606a和606c具有偏离热特征。因为被确定为已从第二环境104进入了第一环境102的那些人体对象106a、106b、106c可以被认为是可疑的新来者，所以因此仅仅人体对象606b被考虑为可疑的新来者。
可以通过机器学习算法来实施步骤S06。如在以上关于步骤S04进一步描述的，热特征608b可以对应于与人体对象106b的部位606b相对应的热图像600的区域。在步骤S06中，可以提供热图像的该区域作为对机器学习算法的输入。此类算法包括但不限于卷积神经网络。在应用本文描述的方法之前，机器学习算法需要被训练，以便设置机器学习算法的内部参数。
用于训练机器学习算法的训练数据可以包括两个不同集合的热图像。第一集合可以包括存在于第一环境102中并且与第一环境102的气候处于热平衡中的人体对象的热图像。可以例如通过使用热感照相机400捕捉已经处于第一环境102中足够久以与第一环境102的气候处于热平衡中的人体对象106的图像，来生成第一集合的训练数据。可以通过使用热感照相机400捕捉存在于第一环境102中但是没有与第一环境102的第一气候处于热平衡中的人体对象106的图像，来生成第二集合的训练数据。例如，可以通过使用热感照相机400捕捉已经从第二环境进入了第一环境102并且没有处于第一环境102中足够久以与第一气候处于热平衡中的人体对象106的图像，来生成第二集合的训练数据。相反，人体对象可以在进入第一环境102之前已经处于第二环境104中足够久以与第二环境104的气候处于热平衡中。
在替换实施例中，第一集合可以包括与第一环境102的气候处于热平衡中的人体对象的热图像。也在这种情况下，可以例如通过使用热感照相机400捕捉已经处于第一环境102中足够久以与第一环境102的气候处于热平衡中的人体对象106的图像，来生成第一集合的训练数据。第二集合可以包括与第二环境104的气候处于热平衡中的人体对象的热图像。可以例如通过捕捉已经处于第二环境104中足够久以与第二环境104处于热平衡中的人体对象的热图像，来生成第二集合的训练数据。
这两个集合的热图像然后可以如在现有技术中已知的训练机器学习算法，使得机器学习算法学习对第一集合的训练数据和第二集合的训练数据的热图像之间进行区分。
一旦机器学习算法已经被训练，其可以用于实施步骤S04和S06。更详细地，与人体对象106a、106b、106c的部位606a、606b、606c相对应的热图像的区域中的每个可以被输入到机器学习算法。如根据以上所训练的机器学习算法然后将输出关于人体对象106a、106b、106c是否具有偏离(即，区别于)与第一环境102的气候处于热平衡中的人体对象的热特征的热特征的判定。
可能发生的是，步骤S06的结果是，确定没有所描绘的人体对象106a、106b、106c已经从第二环境104进入了第一环境102。在此类情况中，因此不存在热图像600中当前所描绘的可疑的新来者。当这发生时，控制组件308可以控制视频处理单元402、502减小视频的帧速率。以这种方式，因为将处理减小数量的帧以及比特率(因为减小数量的帧需要被编码)，所以可以节省两种计算资源。相反地，当步骤S06的结果是确定人体对象106b已经从第二环境104进入了第一环境102时，可以增加帧速率以便允许以较高的时间分辨率监视可疑的闯入者。
在步骤S08中，控制组件308然后继续控制热感照相机400和/或可见光照相机500的视频处理单元402、502。更具体地，控制组件308控制视频处理单元402、502在处理视频帧时如何优先化不同描绘的人体对象106a、106b、106c。由视频处理单元402、502执行的处理可以涉及执行视频内容分析，诸如执行对人体对象的识别，和/或视频编码。通常，控制组件308控制视频处理单元402、502相对于其他人体对象106a、106c将已经被确定为已经从第二环境104进入了第一环境102的人体对象106b优先化。因此，如果在步骤S06中人体对象106b已经被确定为已经从第二环境进入了第一环境，则与没有被发现最近已经从第二环境104进入了第一环境102的其他人体对象106a、106c相比，将对人体对象106b给予较高优先级。
为了控制不同的被描绘的人体对象106a、106b、106c的优先级，每个被描绘的人体对象106a、106b、106c可以与优先等级相关联。当在步骤S06中已经通过确定组件306确定了诸如在图3a、3b、3c的示例中的对象106b之类的对象为可疑的新来者时，控制组件308可以控制视频处理单元402、502相对于没有被怀疑是新来者的其他人体对象106a、106c的优先等级来提高可疑的新来者106b的优先等级。
一旦优先等级已被设置，控制组件308可以控制视频处理单元402、502以优先等级的递减顺序来分析视频帧中的人体对象106a、106b、106c。换句话说，视频处理单元402、502可以被控制为首先分析具有最高优先等级的人体对象106b，然后，如果存在足够的剩余的计算资源，则分析具有较低优先等级的人体对象106a、106c。分析可以例如涉及：对人体对象106a、106b、106c的识别、对由人体对象106a、106b、106c携带的物品的分析，以及对人体对象106a、106b、106c的运动模式的分析。当已完成对具有增加的优先等级的人体对象106b的分析时，控制组件308可以控制视频处理单元402、502再次降低该优先等级。因此，随着新的视频帧到达，因为可疑的新来者106b已经被分析过，不对其给予较高优先级。
优先等级可以不仅仅用于控制执行视频处理单元402、502中的分析的次序，而且也可以用于控制要执行哪种类型的分析。更具体地，视频处理单元402、502可以被控制为与具有较低优先等级的人体对象106a、106c相比对具有较高优先等级的人体对象106b使用更复杂的算法。类似地，可以控制视频处理单元402、502，使得与具有较低优先等级的人体对象106a、106c相比对具有较高优先等级的人体对象106b执行增加的数量的算法。例如，对于可疑的新来者106b，可以执行针对识别、针对人体对象携带的物体的分析，和/或针对人体对象的运动模式的分析的更复杂的算法。而且，对于可疑的新来者106b，除识别之外，可以执行针对由人体对象携带的物品的分析，和/或针对人体对象的运动模式的分析，而对于其他人体对象106a、106c，仅仅执行识别。
控制组件308可以进一步控制视频处理单元402、502在对由热感照相机400或可见光照相机500捕捉的视频帧进行编码时相对于其他人体对象106a、106c来将可疑的新来者106b优先化。更详细地，当对视频帧进行编码时，视频处理单元402、502可以以不同的压缩级别来压缩视频帧的不同的区域。压缩级别可以受例如从H.264视频编码标准中得知的量化参数QP管理。视频处理单元402、502可以被控制为根据人体对象106a、106b、106c的优先等级来设置压缩级别，使得与较低优先等级相比，较高的优先等级带来较低压缩级别。更具体地，对于视频帧中的与诸如人体对象106b之类的可疑的新来者对应的区域，相比于视频帧中的与诸如人体对象106a、106c之类的其他人体对象对应于的区域，将压缩级别设置得较低。以这种方式，在对作为可疑的新来者的人体对象进行编码上花费更多比特，意味着，在作为结果得到的解码视频帧中，与其他人体对象相比，作为可疑的新来者的人体对象将具有较高的图像质量。应当理解，也可以根据优先等级来设置压缩级别之外的其他参数。例如，可以改变用于选择将像素的块编码为p-skip块的阈值，使得视频处理单元402、502变得更倾向于，与和可疑的新来者相对应的区域相比，在不和可疑的新来者相对应的视频帧的区域中将块编码为p-skip块。
作为视频内容分析的一部分，视频处理单元402、502可以被配置为在各种异常情形出现时触发警报。此类异常情形可以是：识别出不允许处于第一环境中的人，例如，不在为了该目的的由视频处理单元402、502维持的人的列表上的人；人携带可疑的物品，例如，武器或炸弹背心；或者人具有偏离的运动模式。控制组件308可以被安排为控制视频处理单元402、502以基于所描绘的人体对象106a、106b、106c的优先级来调整用于触发警报的灵敏度。具体地，与其他人体对象106a、106c比较起来，可以对于诸如人体对象106b之类的可疑的新来者来增加用于触发警报的灵敏度。在一些情况下，用于触发警报的灵敏度可以与阈值相关联。如果阈值被超过，则触发警报。阈值的值可以取决于人体对象106a、106b、106c的优先级，使得与其他人体对象106a、106c比较起来，视频处理单元402、502减小用于诸如人体对象106b之类的可疑的新来者的阈值。以该方式，关于可疑的新来者来增加用于触发警报的灵敏度。
在更详细的层次上，触发警报的处理可以被实施为统计假设检验。统计假设检验包括将基于观察所形成的测试统计与阈值相比较。在这种情况下的观察对应于由热感照相机400或由可见光照相机500捕捉的人体对象的图像。测试的阈值将与显著性水平相关联。显著性水平将在该设置中对应于触发假警报的概率。视频处理单元402、502可以被控制为基于人体对象106a、106b、106c的优先级来设置显著性水平，使得与对于其他对象106a、106c相比，对于可疑的新来者106b设置较高的显著性水平，即，对于可疑的闯入接受更多假警报。
将理解的是，本领域技术人员能够以许多方式修改以上所描述的实施例并且仍然使用在以上实施例中示出的本发明的优点。例如，应当注意，可以存在用于提高人体对象的优先级的其他原因。例如，如果对可疑的新来者106b以外的人体对象106a、106c所进行的识别检查失败，则也可以提高人体对象106a、106c的优先级。优先等级可以因此基于许多因素被设置，其中偏离热特征是一个因素。在所有因素已经被考虑到之后，对于视频处理单元402、502的控制然后可以基于作为结果得到的优先等级。因而，本发明不应当被限制到示出的实施例，而是应当通过所附权利要求物来限定。另外地，如本领域技术人员所理解的，可以将示出的实施例组合。

Claims (15)

1.一种用于控制视频处理单元(402、502)以促进在第一环境(102)中检测新来者的方法，包括：
捕捉(S02)在所述第一环境(102)中的人体对象(106b)的热图像(600)，所述第一环境(102)与第一气候相关联，
基于所述热图像(600)来计算(S04)所述人体对象(106b)的部位(606b)的热特征(608b)，
当所述人体对象(106b)的部位(606b)的热特征(608b)偏离预先确定的与所述第一环境(102)相关联的热特征(610)时，确定(S06)所述人体对象(106b)已从第二环境(104)进入所述第一环境(102)，其中，所述第二环境(104)与不同的第二气候相关联，并且
控制(S08)所述视频处理单元(402、502)，以在处理将所述人体对象(106b)与其他人体对象(106a、106c)一起描绘的视频帧时，将所述人体对象(106b)相对于所述其他人体对象(106a、106c)优先化。
2.根据权利要求1所述的方法，其中，当执行视频内容分析时或当对描绘所述人体对象(106b)的视频帧进行编码时，所述视频处理单元(402、502)被控制以将所述人体对象(106b)优先化。
3.根据权利要求1所述的方法，其中，所述人体对象(106b)与优先等级相关联，并且其中，通过相对所述其他人体对象(106a、106c)的优先等级来提高所述人体对象(106b)的优先等级，所述视频处理单元(402、502)被控制以将所述人体对象(106b)优先化。
4.根据权利要求3所述的方法，其中，所述视频处理单元(402、502)被控制以按优先等级的递减顺序来分析视频帧中的人体对象(106a、106b、106c)。
5.根据权利要求4所述的方法，其中，所述视频处理单元(402、502)被控制以在所述人体对象(106b)已被分析之后降低所述人体对象(106b)的所述优先等级。
6.根据权利要求3所述的方法，其中，所述视频处理单元(402、502)被控制，以基于视频帧中的人体对象(106a、106b、106c)的优先等级，来选择用于分析所述视频帧中的人体对象(106a、106b、106c)的算法的复杂度或用于分析所述视频帧中的人体对象(106a、106b、106c)的算法的数量，使得所述算法的复杂度或所述算法的数量随着所述视频帧中的人体对象(106a、106b、106c)的所述优先等级而增加。
7.根据权利要求1所述的方法，其中，所述视频处理单元(402、502)被控制，以在对将所述人体对象(106b)与所述其他人体对象(106a、106c)一起描绘的视频帧进行编码时，通过与和所述其他人体对象(106a、106c)相对应的区域相比而降低与所述人体对象(106b)相对应的区域中的压缩级别，来将所述人体对象(106b)优先化。
8.根据权利要求1所述的方法，其中，所述人体对象(106b)与用于触发警报的阈值相关联，并且其中，所述视频处理单元(402、502)被控制以相对所述其他人体对象(106a、106c)的对应的阈值来减小所述用于触发警报的阈值。
9.根据权利要求1所述的方法，进一步包括：控制所述视频处理单元(402、502)，以在处理视频帧时如果被确定为已从所述第二环境(104)进入所述第一环境(102)的人体对象在所述视频帧中被描绘则增加帧速率，并且以在处理视频帧时如果当前没有已从所述第二环境(104)进入所述第一环境(102)的人体对象在所述视频帧中被描绘则减小帧速率。
10.根据权利要求1所述的方法，其中，所述人体对象(106b)的部位(606b)的热特征(608b)反映与所述人体对象(106b)的部位(606b)相对应的区域中的所述热图像(600)的强度值的分布。
11.根据权利要求1所述的方法，其中，所述预先确定的与所述第一环境(102)相关联的热特征(610)和与所述第一环境(102)的所述第一气候处于热平衡中的人体对象的热特征相对应。
12.根据权利要求1所述的方法，其中，所述热特征(608b)被计算为与所述人体对象(106b)的所述部位(606b)相对应的所述热图像(600)的区域，并且其中，所述确定(S08)的步骤包括：
向机器学习算法提供与所述人体对象(106b)的所述部位(606b)相对应的所述热图像(600)的所述区域，其中，所述机器学习算法已被训练为区分以下热图像：存在于所述第一环境中但是没有与所述第一环境(102)的所述第一气候处于热平衡中的人体对象的热图像和存在于所述第一环境中并且与所述第一环境(102)的所述第一气候处于热平衡中的人体对象的热图像。
13.根据权利要求1所述的方法，其中，所述热图像(600)由热感照相机(400)捕捉，并且其中，所述视频处理单元(402、502)被控制，以在处理由所述热感照相机(400)捕捉的视频帧时或在处理由可见光照相机(500)捕捉的描绘同一人体对象(106b)的视频帧时，将所述人体对象(106b)优先化。
14.一种用于控制视频处理单元(402、502)以促进在第一环境(102)中检测新来者的控制器(300)，包括：
接收机(302)，被配置为接收在所述第一环境(102)中的人体对象(106b)的热图像(600)，所述第一环境(102)与第一气候相关联，
计算组件(304)，被配置为基于所述热图像(600)来计算所述人体对象(106b)的部位(606b)的热特征，
确定组件(306)，被配置为，当所述人体对象(106b)的部位(606b)的热特征(608b)偏离预先确定的与所述第一环境(102)相关联的热特征(610)时，确定所述人体对象(106b)已从第二环境(104)进入第一环境(102)，其中，所述第二环境(104)与不同的第二气候相关联，以及
控制组件(308)，被配置为控制所述视频处理单元(402、502)，以在处理将所述人体对象(106b)与其他人体对象(106a、106c)一起描绘的视频帧时，将所述人体对象(106b)相对于所述其他人体对象(106a、106c)优先化。
15.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机代码指令，所述计算机代码指令当由具有处理能力的设备执行时用于执行根据权利要求1所述的方法。
CN201811202099.8A 2017-10-27 2018-10-16 控制视频处理单元以促进检测新来者的方法和控制器 Active CN109727417B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17198810.8 2017-10-27
EP17198810.8A EP3477941B1 (en) 2017-10-27 2017-10-27 Method and controller for controlling a video processing unit based on the detection of newcomers in a first environment

Publications (2)

Publication Number Publication Date
CN109727417A CN109727417A (zh) 2019-05-07
CN109727417B true CN109727417B (zh) 2022-01-18

Family

ID=60301773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811202099.8A Active CN109727417B (zh) 2017-10-27 2018-10-16 控制视频处理单元以促进检测新来者的方法和控制器

Country Status (3)

Country Link
US (1) US11164008B2 (zh)
EP (1) EP3477941B1 (zh)
CN (1) CN109727417B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415475B (zh) * 2019-06-20 2021-12-07 广东白云学院 防盗报警系统、防盗报警控制方法及装置
CN110991304A (zh) * 2019-11-27 2020-04-10 云南电网有限责任公司电力科学研究院 基于摄像头与热感探头的交互手势采集和识别方法及装置
CN111901517B (zh) * 2020-06-13 2022-02-25 无锡利水管业有限公司 基于时区检测的帧率调节系统以及相应终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200950597A (en) * 2008-05-16 2009-12-01 Kai-Bo Chen Illumination device with sensing capability
CN204029528U (zh) * 2014-09-04 2014-12-17 台力电气有限公司 一种具有火灾报警功能的变压器
CN206194079U (zh) * 2016-11-23 2017-05-24 青岛亿联信息科技股份有限公司 一种家居安防系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996256B2 (en) 2000-06-08 2006-02-07 Honeywell International Inc. Detection system and method using thermal image analysis
WO2002013535A2 (en) * 2000-08-08 2002-02-14 Koninklijke Philips Electronics N.V. Video encoder using image from a secondary image sensor
US7457441B2 (en) 2005-02-25 2008-11-25 Aptina Imaging Corporation System and method for detecting thermal anomalies
KR101001060B1 (ko) * 2006-03-15 2010-12-14 오므론 가부시키가이샤 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
EP1865478A1 (en) 2006-06-06 2007-12-12 Optex Co., Ltd. Sensitivity adjustable intrusion detecting system
EP2100454B1 (en) * 2006-11-20 2019-10-30 Axis AB Wireless network camera systems
US20080198159A1 (en) 2007-02-16 2008-08-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining
US8212877B2 (en) 2007-03-02 2012-07-03 Fujifilm Corporation Image capturing system, image capturing method, and computer program product at which an image is captured at a predetermined time
BR112014008362A2 (pt) * 2011-10-07 2017-04-18 Flir Systems sistemas de câmeras de vigilância inteligentes e métodos
US20170147885A1 (en) * 2013-11-11 2017-05-25 Osram Sylvania Inc. Heat-Based Human Presence Detection and Tracking
US9813643B2 (en) 2014-06-06 2017-11-07 Flir Systems, Inc. Thermal recognition systems and methods
US10080500B2 (en) * 2014-10-09 2018-09-25 Flir Systems, Inc. Systems and methods for monitoring sun exposure
EP3012777B1 (en) 2014-10-23 2017-03-15 Axis AB Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
EP3029600A1 (en) * 2014-12-01 2016-06-08 Axis AB Thermal image object detection
US10586102B2 (en) * 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
CN107533775B (zh) * 2015-09-30 2021-05-14 富士达株式会社 安全门、电梯的组管理系统以及电梯系统
CN105957314B (zh) * 2016-04-29 2018-07-10 北京奇虎科技有限公司 一种监控报警方法和系统
US20180143321A1 (en) * 2016-11-22 2018-05-24 4Sense, Inc. Modulated-Light-Based Passive Tracking System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200950597A (en) * 2008-05-16 2009-12-01 Kai-Bo Chen Illumination device with sensing capability
CN204029528U (zh) * 2014-09-04 2014-12-17 台力电气有限公司 一种具有火灾报警功能的变压器
CN206194079U (zh) * 2016-11-23 2017-05-24 青岛亿联信息科技股份有限公司 一种家居安防系统

Also Published As

Publication number Publication date
US20190130197A1 (en) 2019-05-02
EP3477941A1 (en) 2019-05-01
CN109727417A (zh) 2019-05-07
US11164008B2 (en) 2021-11-02
EP3477941B1 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
US10475311B2 (en) Dynamic assessment using an audio/video recording and communication device
CN109727417B (zh) 控制视频处理单元以促进检测新来者的方法和控制器
Di Lascio et al. Improving fire detection reliability by a combination of videoanalytics
US9224278B2 (en) Automated method and system for detecting the presence of a lit cigarette
JP5390322B2 (ja) 画像処理装置、及び画像処理方法
US9648285B2 (en) Monitoring method and camera
US8538063B2 (en) System and method for ensuring the performance of a video-based fire detection system
US20190304272A1 (en) Video detection and alarm method and apparatus
KR101858396B1 (ko) 지능형 침입 탐지 시스템
US10719717B2 (en) Scan face of video feed
US8941484B2 (en) System and method of anomaly detection
KR20190046351A (ko) 침입 탐지방법 및 그 장치
CN113033521B (zh) 基于目标分析的周界动态预警方法与系统
Juhana et al. Design and implementation of Smart Home Surveillance system
US20130016880A1 (en) Traffic monitoring device
JP4862518B2 (ja) 顔登録装置、顔認証装置および顔登録方法
CN115346060A (zh) 画面异常识别方法、装置、电子设备和存储介质
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
US20200410226A1 (en) Method and system for locating an occupant
KR20200056498A (ko) 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템
JP2009032116A (ja) 顔認証装置、顔認証方法および入退場管理装置
US20200302572A1 (en) Information processing device, information processing system, information processing method, and program
US10268922B2 (en) Image processing by means of cross-correlation
CA3057222A1 (en) Method and apparatus for thermal liveness detection
CN111918028A (zh) 基于人工智能的楼宇信息处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant