CN109154435B - 自动照明和安全装置 - Google Patents

自动照明和安全装置 Download PDF

Info

Publication number
CN109154435B
CN109154435B CN201780014842.4A CN201780014842A CN109154435B CN 109154435 B CN109154435 B CN 109154435B CN 201780014842 A CN201780014842 A CN 201780014842A CN 109154435 B CN109154435 B CN 109154435B
Authority
CN
China
Prior art keywords
interest
visible light
light source
axis
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780014842.4A
Other languages
English (en)
Other versions
CN109154435A (zh
Inventor
D·埃尔维拉
M·费尔希
F·波特
P·吕克
K·穆泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netatmo SAS
Original Assignee
Netatmo SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netatmo SAS filed Critical Netatmo SAS
Publication of CN109154435A publication Critical patent/CN109154435A/zh
Application granted granted Critical
Publication of CN109154435B publication Critical patent/CN109154435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • F21V23/0471—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors the sensor detecting the proximity, the presence or the movement of an object or a person
    • F21V23/0478—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors the sensor detecting the proximity, the presence or the movement of an object or a person by means of an image recording device, e.g. a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

在多个方面，本发明公开了一种装置(100)，其包括一个或多个红外光源(40，41)；一个或多个可见光源(50，51)；图像传感器(10)；处理单元(20)，其被配置成分析由图像传感器输出的关注区域的一系列图像；控制单元(30)，其被配置成基于从处理单元收到的命令产生一个或多个可见光源的激活中的一种或多种或警报；其中，所述分析包括检测关注区域的一系列图像中的移动前景，跟踪移动前景中的一个或多个表征特征，并将一个或多个表征特征分类为两种或更多种类型的关注对象，关注对象的类型确定由处理单元发送到控制单元的命令。

Description

自动照明和安全装置
技术领域
本发明的技术领域是自动照明技术领域，尤其是外部环境的自动照明技术领域。本发明涉及一种自动照明装置。
背景技术
为了照亮外部环境，已知的做法是使用包括运动检测器的自动照明装置。运动检测器通常使用红外技术。当检测到运动时，该装置则激活照明。当没有检测到任何运动时，该装置则停用照明。
然而，这种装置存在的缺点是不能在不同类别的对象之间进行任何区分。因此，一旦检测到运动，照明就会被触发，无论是例如行人、动物或车辆的运动。这造成了不必要的光污染。
许多现有技术文献公开了能够对场景或关注区域(RoI)中的移动对象或生物进行检测和分类的图像传感器，以在识别出一个或多个触发事件时产生多个动作。这是以编号US9215781、US2005002572、US2015062337出版的美国专利和专利申请的情况。
然而，这些装置和系统具有一些限制，尤其是因为改进的识别准确度是以虚假警报数量的增加或计算能力要求的增加或两者为代价的。因此，需要一种具有在高识别准确度、低虚假警报率、低计算能力要求之间改进平衡的装置，尤其是在家庭环境中。
发明内容
为此，本发明公开了一种装置，其包括图像传感器、IR光源、可见光源和处理单元，该处理单元被配置成检测场景的移动前景元素，对其进行跟踪并将其分成不同类型的关注对象，该不同类型的关注对象可触发或不触发通过可见光源对场景的照明或警报。
更准确地说，本发明公开了一种装置，其包括：一个或多个红外光源；一个或多个可见光源；图像传感器；处理单元，该处理单元被配置成分析由图像传感器输出的关注区域的一系列图像；控制单元，该控制单元被配置成基于从处理单元接收的命令产生一个或多个可见光源的激活中的一种或多种或警报；其中，所述分析包括检测关注区域的一系列图像中的移动前景，跟踪移动前景中的一个或多个表征特征，并将一个或多个表征特征分类为两种或更多种类型的关注对象，关注对象的类型确定由处理单元发送到控制单元的命令。
有利地，本发明的装置通过通信链路进一步连接到网络，其中警报被发送到通信链路上的用户装置。
有利地，控制电路进一步触发关注对象的图像被发送到通信链路上的用户装置。
有利地，所述检测使用一系列图像中的像素的YUV编码中的Y亮度值。
有利地，所述检测包括将关注区域的一系列图像和所述关注区域的背景模型的图像之间的差异图像与阈值图像进行比较，该阈值图像是使用移位方差(Shifted Variance)动态地计算出的。
有利地，所述跟踪包括在通过所述检测输出的限界区块(Bounded Block)中的表征特征的相关联移动的计数器增加且不动性的计数器等于零的情况下，将良好特征值分配给该表征特征。
有利地，所述跟踪还包括利用具有高于阈值的多个良好特征的限界区块产生图案(vignette)。
有利地，所述分类包括使用神经网络、定向梯度历史或支持向量机器分类器中的一种或多种。
有利地，神经网络是卷积神经网络分类器并且包括一个或多个全连接层。
有利地，摄像机包括镜头以及红外光和可见光传感器、该至少一个红外光源具有红外光发射锥，该至少一个可见光源具有可见光发射锥，在一方面的摄像机的镜头与另一方面的红外光发射锥和可见光发射锥之间不存在相交。
有利地，镜头具有旋转轴线A并且包括具有朝向传感器定向的法向向量的第一面和具有朝向环境定向的法向向量的第二面，且其中与第一面相切并且与旋转轴线A成直角的第一平面限定了第一半空间和第二半空间，传感器属于第一半空间且镜头的第二面和环境属于第二半空间，并且该至少一个红外光源的发射锥具有布置在第二半空间内的顶点；该至少一个可见光源的发射锥具有布置在第二半空间内的顶点。
有利地，该至少一个红外光源具有带轴线A40的发射锥，该至少一个可见光源具有带轴线A50的发射锥，并且摄像机具有带轴线A的吸收锥，在第二半空间内，轴线A40与轴线A之间的距离是恒定的或在远离第一平面移动时是增加的，且在第二半空间内，轴线A50与轴线A之间的距离是恒定的或在远离第一平面移动时是增加的。
有利地，本发明的装置包括多个可见光源，每个可见光发射源具有带轴线的发射锥，其中在第一半空间内，对于该多个可见光源的每个可见光源来说，所述光源的发射锥的轴线与每个其他光源的发射锥的轴线之间的距离是恒定的或在远离第一平面移动时是增加的。
有利地，镜头具有旋转轴线A，该装置还包括用于该至少一个红外光源、用于该至少一个可见光源和用于该摄像机的镜头的保护元件，该保护元件对红外光和可见光是透明的，该保护元件基本上沿着与旋转轴线A成直角的平面延伸。
本发明还公开了一种监视关注区域的方法，包括：利用一个或多个红外光源照亮关注区域；通过图像传感器捕获关注区域的一系列图像；通过处理单元分析由图像传感器输出的关注区域的一系列图像；通过控制单元基于从处理单元接收的命令产生一个或多个可见光源的激活中的一种或多种或警报；其中，所述分析包括检测关注区域的一系列图像中的移动前景，跟踪移动前景中的一个或多个表征特征，并将一个或多个表征特征分类为两种或更多种类型的关注对象，关注对象的类型确定由处理单元发送到控制单元的命令。
本发明的装置还给其安装位置带来了改进的安全性。
在某些实施例中，它可通过互联网远程地控制。
它是用途非常广泛的，因为其软件可以不时地更新以改进检测、跟踪或分类的效率，并且因此持续减少误报(false positive)和/或漏报(false negative)的数量。
根据本发明的一个方面，在人眼不可见的波长范围内用红外光照亮环境。摄像机拾取由环境反射的红外光，并从环境反射的红外光产生环境的至少一个图像。
处理单元向该图像的至少一部分分配多个类中的至少一个类。换句话说，可以将一个或多个类分配给整个图像或该图像的一部分。控制单元根据分配给检测到的每个关注区域的类激活可见光源。因此，用户可以有利地选择他或她想要利用待激活的可见光照亮的一个或多个类。对于用户未选择的所有类，利用可见光照亮保持停用。该多个类通常包括：
-用于给定类别的第一类，和
-用于不属于给定类别的所有情况的第二类。该多个类可替代性地包括三个或更多个类。
除了上面刚描述的特征之外，根据本发明的一个方面的自动照明装置可具有以下的一个或多个附加特征(单独地考虑或者在所有技术上可行的组合中考虑)：
-处理单元检测图像内的至少一个关注区域，并将该多个类中的至少一个类分配给检测到的每个关注区域。“检测至少一个关注区域”应理解为指的是搜索至少一个关注区域。这种搜索的结果可以是正值也可以是负值。如果检测到至少一个关注区域，则该搜索的结果是正值。如果没有检测到关注区域，则该搜索的结果是负值。
-关注区域可以是表现出运动的区域。替代性地，关注区域可以是预定义的区域，尤其是用户预定义的区域。
-摄像机拍摄由至少一个红外光源照亮的环境以获得N个图像的影片，其中N是大于或等于2的自然整数，并且处理单元执行：
○对于影片的每对紧接连续的图像，检测表现出运动的至少一个关注区域；
○对于检测到的每个关注区域：
●及时跟踪所述关注区域，以便获得所述关注区域的一组k个缩略图像，其中k是小于或等于N的自然整数，k个缩略图像中的每一个包括所述关注区域，该k个缩略图像是从影片的k个紧接连续的图像中提取的；
●从该组k个缩略图像中选择至少一个缩略图像；
●将分类算法应用于所选择的该至少一个缩略图像，以用于将多个类中的一个类分配给包含在所选择的缩略图像中的关注区域。
在时间t1拍摄的影片的第一图像和在比时间t1晚的时间t2拍摄的影片的第二图像，如果在时间t(使得t1<t<t2)不存在拍摄的影片图像，则它们是“紧接连续的”。
从图像提取的缩略图像可以具有小于或等于缩略图像从中提取出的图像的像素尺寸的像素尺寸。
在摄像机的视野中移动的同一关注区域出现在多个k个紧接连续的图像上。对于多个图像中的每个图像来说，缩略图像接着被定义，其包含所述关注区域。获得多个N个缩略图像。对这种关注区域的跟踪有利地使其可以将多个N个缩略图像与所述单个关注区域相关联。因此，避免了利用与N个关注区域中的每一个相关联的单个缩略图像来检测N个关注区域。
从所述关注区域的多个N个缩略图像中选择p个缩略图像的子集，其中p是自然整数，使得：1≤p<N，并且将分类算法应用于所选择的p个缩略图像的所述子集，而不是应用于多个N个缩略图像，有利地使其可以最小化与分类算法的运行相关联的计算时间。从所述关注区域的多个N个缩略图像中选择p个缩略图像的子集还使其可以通过向分类算法提供高质量的输入数据来提高分类算法的准确性。实际上，为了其内在质量，可以从多个N个缩略图像中选择p个缩略图像的子集。以补充或替代性的方式，可以处理p个缩略图像的子集以便改善其特性。
根据一种改进，对于影片的每对紧接连续的图像来说，表现出运动的至少一个关注区域的检测步骤包括：
-第一子步骤，根据该子步骤检测运动中的一组区域，并且
-第二子步骤，根据该子步骤，将滤镜应用到先前检测到的运动中的一组区域，以便消除至少一种第一类型的运动。
例如，云朵的运动和被风吹动的树枝运动属于第一类型的运动。
检测到的每个关注区域的该组k个缩略图像的每个缩略图像可定义为包含检测到的所述关注区域的最小矩形。因此，每个缩略图像的大小被最小化，这使其可以减少与分类算法运行相关的计算时间。
替代性地，检测到的每个关注区域的该组k个缩略图像的每个缩略图像可定义为包含检测到的所述关注区域的最小椭圆，或者是包含检测到的所述关注区域的最小多边形。缩略图像的尺寸可以从一个关注区域到另一个关注区域变化。缩略图像的尺寸也可在跟踪同一关注区域期间变化。
对于检测到的每个关注区域，有利地根据所述关注区域的移动类型来从该组k个缩略图像中选择单个缩略图像。
该装置有利地具有第一操作模式，根据该第一操作模式，单个缩略图像的选择是从该组k个缩略图像的子集中进行的，该子集包括该组k个缩略图像的q个第一图像，其中q是小于或等于10的自然整数，并且优选地小于或等于5。因此，根据本发明的一个方面，照明装置的高度响应性有利地成为可能。
摄像机包括镜头以及红外光和可见光传感器，该至少一个红外光源具有红外光发射锥，并且该至少一个可见光源具有可见光发射锥，该装置有利地使得在一方面的摄像机的镜头与在另一方面的红外光发射锥和可见光发射锥之间不存在相交。
“在一方面的摄像机的镜头与在另一方面的红外光发射锥和可见光发射锥之间不存在相交”应被理解为事实上指的是，对于包括传感器和镜头的摄像机来说，镜头具有朝向传感器定向的第一面和朝向环境定向的第二面，红外光发射锥和可见光发射锥在下列情形并不到达镜头：
-在其第一面上，或在其第二面上，
-直接地，或在保护元件上反射之后。
因此，避免了红外光源或可见光源中的任一个对摄像机的镜头造成的眩光和任何污染。
镜头具有旋转轴线A并且包括具有朝向传感器定向的法向向量的第一面和具有朝向环境定向的法向向量的第二面，并且与第一面相切且与旋转轴线A成直角的第一平面限定了第一半空间和第二半空间，传感器属于第一半空间，且镜头的第二面和环境属于第二半空间，该装置有利地使得：
-该至少一个红外光源的发射锥具有布置在第二半空间内的顶点；
-该至少一个可见光源的发射锥具有布置在第二半空间内的顶点。
镜头具有旋转轴线A，该装置有利地包括用于该至少一个红外光源、用于该至少一个可见光源和用于该摄像机的镜头的保护元件，该保护元件对红外光和可见光是透明的，该保护元件基本上沿着与旋转轴线A成直角的平面延伸。因此，该装置是密封的，以用于外部环境中而不管天气条件如何。在用户操纵的情况下该装置的设置完整性也得到保证。最后，保护操纵该装置的用户免受由于红外光源和可见光源造成的任何灼照。
该至少一个红外光源具有带轴线A40的发射锥，该至少一个可见光源具有带轴线A50的发射锥，并且摄像机具有带轴线A的吸收锥，该装置有利地使得：
-在第二半空间内，轴线A40和轴线A之间的距离是恒定的或在远离第一平面移动时是增加的，且
-在第二半空间内，轴线A50和轴线A之间的距离是恒定的或在远离第一平面移动时是增加的。
因此，避免了红外光或可见光在保护元件上的反射到达镜头，尤其是镜头的第二面。
该装置有利地包括多个可见光源，每个可见光源具有带轴线的发射锥。在第一半空间内，对于多个可见光源的每个可见光源来说，所述光源的发射锥的轴线与每个其它光源的发射锥的轴线之间的距离有利地是恒定的或在远离第一平面移动时是增加的。
因此，在第二半空间内，获得其中至少两个可见光发射锥重叠的区域。因此，可见光照明的均匀性得到了改善，尤其是通过消除任何中心光晕。
该装置有利地包括多个红外光源，每个红外光源具有带轴线的发射锥。在第一半空间内，对于多个红外光源的每个红外光源来说，所述光源的发射锥的轴线与每个其他光源的发射锥的轴线之间的距离有利地是恒定的或在远离第一平面移动时是增加的。
因此，在第二半空间内，获得其中至少两个红外光发射锥重叠的区域。因此，红外光照明的均匀性得到了改善，尤其是通过消除任何中心光晕。
附图说明
在阅读下面仅以非限制性示例的方式给出的具体实施例的详细描述后，将更好地理解本发明及其优点，该描述是参照附图进行的，其中：
-图1示出了根据本发明第一实施例的自动照明装置的示意图；
-图2示出了根据本发明第二实施例的自动照明装置的示意图；
-图3示出了根据本发明第三实施例的自动照明装置的示意图；
-图4a示出了根据本发明第三实施例的自动照明装置的第一横截面视图；
-图4b示出了根据本发明第三实施例的自动照明装置的第二横截面视图；
-图5示出了根据本发明第三实施例的变型的自动照明装置的横截面视图；
-图6示出了根据本发明实施例的自动照明装置的镜头、可见光源和红外光源的布置的示意图；
-图7示出了根据本发明实施例的自动照明装置的第一可见光源和第二可见光源的布置的示意图；
-图8示出了根据本发明实施例的自动照明装置的处理单元对图像进行处理的示意图。
-图9示出了根据本发明在其多个实施例中使用图像传感器的识别方法的流程图；
-图10示出了根据本发明某些实施例的场景中关注区域的检测方法的流程图；
-图11示出了根据本发明某些实施例的场景中已被检测到的关注区域的跟踪方法的流程图；
-图12示出了根据本发明某些实施例的场景中被跟踪的关注区域的学习/分类过程的架构。
具体实施方式
图1示出了根据本发明第一实施例的自动照明装置100的示意图。装置100包括：
-红外光源40，
-摄像机10，其包括镜头Ob和传感器Ca，
-用于处理至少一幅图像的处理单元20，
-可见光源50，
-用于控制可见光源50的控制单元30，和
-用于红外光源40、可见光源50和镜头Ob的保护元件60。
“可见光”通常被理解为是指对人类用户可见的光，也就是说其波长基本上属于[380nm；780nm]范围的光。“红外光”通常被理解为是指对人类用户不可见的光，其波长大于780nm。红外光源可以是发光二极管或LED。类似地，可见光源可以是LED，或者替代性地，是卤素灯或者氖灯等。可见光源、红外光源和摄像机可以组合在单个模块中，如图1所示。根据一替代性方案，可见光源可位于第一模块中，而红外光源和摄像机则组合在与第一模块不同的第二模块中。根据另一替代性方案，可见光源可位于第一模块中，红外光源可位于与第一模块不同的第二模块中，而摄像机可位于与第一模块和第二模块不同的第三模块中。
在第一种操作模式下，红外光源40被永久地激活。在第二种操作模式下，红外光源40可停用。第一种操作模式(例如)在夜间激活。第二种操作模式(例如)在白天激活。在第一种操作模式下，环境在每一时刻都被红外光照亮。然后，摄像机10可拍摄被红外光照亮的环境。
摄像机10拍摄的每一幅图像通常都是通过环境反射且到达传感器Ca的红外光来获得的。摄像机10的传感器Ca是(例如)CMOS传感器。
处理单元20可以(例如)是微控制器或微处理器。类似地，控制单元30可以(例如)是微控制器或微处理器。单个微控制器或微处理器可同时包含处理单元20和控制单元30。
保护元件60对装置100进行密封，因此允许其在外部环境中使用，同时对红外光和可见光是透明的。
图2示出了根据本发明第二实施例的自动照明装置101的示意图。根据本发明第二实施例的装置101包括分隔元件Se，该分隔元件将在一方面的红外光源40和可见光光源50与在另一方面的摄像机10分隔开。分隔元件Se使得可以防止来自红外光源40的辐射和/或来自可见光源50的辐射到达摄像机10的传感器Ca。
根据本发明的第二实施例，保护元件60被分成用于保护红外光源40和可见光源50的第一部分61，以及用于保护摄像机10的第二部分62。
图3示出了根据本发明第三实施例的自动照明装置102的示意图。根据本发明第三实施例的装置102包括红外滤镜fIR。红外滤镜fIR通常可布置在第一位置或第二位置，该第一位置和第二位置分别结合图4a和4b示出。
图4a示出了根据本发明第三实施例的装置102的第一横截面视图。图4a示出了布置在第一位置的红外滤镜fIR。在第一位置，红外滤镜fIR与传感器Ca分离，使得红外光可以穿透进入传感器Ca。
图4b示出了根据本发明第三实施例的装置102的第二横截面视图。图4b示出了布置在第二位置的红外滤镜fIR。在第二位置，红外滤镜fIR被放置在摄像机10的镜头Ob和传感器Ca之间，以防止红外光穿透进入传感器Ca。
根据第三实施例的自动照明装置102可有利地在白天或夜晚的任何时间运行：红外滤镜fIR在夜间被放置在其第一位置，而在白天被放置在其第二位置。事实上，期望减少在白天太阳发出的红外光，以便改善针对人类用户由摄像机10捕捉到的图像的表现。
刚描述的第二实施例和第三实施例可组合在一起，以获得包括分隔元件Se和红外滤镜fIR的自动照明装置。
图5示出了根据本发明第三实施例的变型的自动照明装置102'的横截面视图。自动照明装置102'包括多个红外光源和多个可见光源。在图5的具体示例中，该多个红外光源包括红外光源40和第二红外光源41。替代性地，该多个红外光源可包括三个或更多的红外光源。仍然在图5的具体示例中，该多个可见光源包括可见光源50和第二可见光源51。替代性地，该多个可见光源可以包括三个或更多的可见光源。
刚描述的第三实施例的变型与第一实施例和第二实施例兼容。换句话说：
-根据第一实施例的装置100可根据一种变型包括多个红外光源和多个可见光源，以及
-根据第二实施例的装置101可根据一种变型包括多个红外光源和多个可见光源。
根据第一、第二和第三实施例的第二种变型(未示出)，自动照明装置可包括单个红外光源和多个可见光源。根据第一、第二和第三实施例的第三种变型(未示出)，自动照明装置可包括多个红外光源和单个可见光源。
根据本发明的实施例之一的自动照明装置有利地包括加速度计。因此，可检测到自动照明装置的运动，以便在必要时避免错误地检测到所观察的环境中的运动。
根据本发明的实施例之一的自动照明装置有利地包括通信接口，使得可从至少一个移动终端接收信号以及向至少一个移动终端发送信号。例如，通信接口可以是射频接口、Wi-Fi接口、蓝牙接口或Zigbee接口等。
图6示出了根据本发明的实施例之一的自动照明装置的镜头Ob、可见光源50和红外光源40的布置的示意图。具有旋转轴线A的镜头Ob包括：
-具有朝向传感器Ca定向的法向向量nf1的第一面f1，和
-具有朝向环境定向的法向向量nf2的第二面f2。
第一平面P1，其与第一面f1相切并且与镜头Ob的旋转轴线A成直角，限定以下项：
-第一半空间dE1，传感器Ca属于该第一半空间DE1，和
-第二半空间dE2，镜头Ob的第二面f2和环境属于该第二半空间dE2。
图6示出：
-可见光源50具有发射锥c50、轴线A50和顶点s50，且
-红外光源40具有发射锥c40、轴线A40和顶点s40。
为了使可见光源50的发射锥c50不入射在镜头Ob的第一面f1上，可见光源50有利地被布置成使得发射锥c50的顶点s50位于第二半空间dE2内。
类似地，为了使红外光源40的发射锥c40不入射在镜头Ob的第一面f1上，红外光源40有利地被布置成使得发射锥c40的顶点s40位于第二半空间dE2内。
根据本发明的实施例之一的自动照明装置优选地包括保护元件60。红外光源40发出的辐射可能被保护元件60部分反射。为了避免在保护元件60上反射的这种辐射到达镜头Ob的第二面f2，红外光源40有利地被布置成使得在第二半空间dE2中，红外光源40的轴线A40与镜头Ob的旋转轴线A之间的距离是恒定的或在远离第一平面P1移动时是增加的。
图6示出，例如：
-在第二半空间dE2中与第一平面P1相距第一距离处，在镜头的旋转轴线A和红外光源40的轴线A40之间测量到的第一距离D1，以及
-在第二半空间dE2中与第一平面P1相距第二距离(大于第一距离)处，在镜头的旋转轴线A和红外光源40的轴线A40之间测量到的第二距离D2。
第二距离D2大于或等于第一距离D1。
类似地，由可见光源50发射的辐射可能被保护元件60部分地反射。为了避免在保护元件60上反射的这种辐射到达镜头Ob的第二面f2，可见光源50有利地被布置成使得在第二半空间dE2中，可见光源50的轴线A50与镜头Ob的旋转轴线A之间的距离是恒定的或在远离第一平面P1移动时是增加的。
当根据本发明一方面的自动照明装置包括多个可见光源时，每个可见光源具有发射锥，所述多个可见光源优选地被布置成在第二半空间dE2中获得其中至少两个可见光发射锥重叠的区域。
类似地，当根据本发明一方面的自动照明装置包括多个红外光源时，每个红外光源具有发射锥，所述多个红外光源优选地被布置成在第二半空间dE2中获得其中至少两个红外光发射锥重叠的区域。
在这方面，图7示出了包括多个可见光源的自动照明装置的可见光源的布置的示意图。图7的装置包括：
-可见光源50，其具有发射锥c50、轴线A50和顶点s50，和
-第二可见光源51，其具有发射锥c51、轴线A51和顶点s51。
可见光源50和第二可见光源51有利地被布置成使得在第一半空间dE1中，可见光源50的轴线A50与第二可见光源的轴线A51之间的距离是恒定的或在远离第一平面P1移动时是增加的。
图7示出，例如：
-在第一半空间dE1中与第一平面P1相距第一距离处，在可见光源的轴线A50和第二可见光源的轴线A51之间测量的第三距离D3，以及
-在第一半空间dE1中与第一平面P1相距第二距离(大于第一距离)处，在可见光源的轴线A50和第二可见光源的轴线A51之间测量的第四距离D4。
第四距离D4大于或等于第三距离D3。
图7中所示的用于多个可见光源的布置可以转换到多个红外光源。
图8示出了根据本发明的实施例之一的自动照明装置的处理单元20对图像Im进行处理的示意图。在图8所示的具体示例中，处理单元20检测图像Im中的第一关注区域z1、第二关注区域z2和第三关注区域z3。第一关注区域z1是(例如)运动中的行人。第二关注区域z2是(例如)运动中的车辆。第三关注区域z3是(例如)运动中的动物。处理单元20限定第一关注区域z1的第一缩略图像v1、第二关注区域z2的第二缩略图像v2和第三关注区域z3的第三缩略图像v3。处理单元20从多个类(class)中向每个关注区域分配一个类。在第一示例中，该多个类包括：
-涉及第一类别(category)的第一类，和
-涉及不属于第一类别的所有元素的第二类。
根据第一示例，一旦第一类被分配到至少一个缩略图像，控制单元30就可以激活可见光源。
第一类别是(例如)行人。替代性地，第一类别可以是动物或车辆。在第一类别是行人的情况下，处理单元20将第一类分配给第一缩略图像v1，将第二类分配给第二缩略图像v2和第三缩略图像v3。
在第二示例中，该多个类包括：
-涉及第一类别的第一类，
-涉及与第一类别不同的第二类别的第二类，和
-涉及既不属于第一类别也不属于第二类别的所有元素的第三类。
在第一类别是行人的情况下，第二类别是(例如)动物或车辆。根据第二示例，一旦第一类被分配给至少一个缩略图像或者一旦第二类被分配给至少一个缩略图像，控制单元30就可以激活可见光源。
在第三个示例中，该多个类包括：
-涉及第一类别的第一类，
-涉及第二类别的第二类，
-涉及第三类别的第三类，和
-涉及既不属于第一类别、也不属于第二类别、也不属于第三类别的所有元素的第四类。
在第一类别是行人且第二类别是动物的情况下，第三类别(例如)是车辆。根据第三示例，一旦第一类被分配给至少一个缩略图像或者一旦第二类被分配给至少一个缩略图像或者一旦第三类被分配给至少一个缩略图像，控制单元30就可以激活可见光源。
图9示出了根据本发明在其多个实施例中使用图像传感器的识别方法的流程图。
根据本发明，照明装置100包括处理单元20，该处理单元20被配置成确定将触发一个或多个动作的关注对象。动作中的一个是根据被一个或多个红外(IR)光源40、41照亮且被图像传感器10检测到的关注对象的类型，通过控制单元30设置一个或多个可见光源50、51为接通(ON)状态或使其保留在断开(OFF)状态。另一个可能的动作是触发警报，该警报可在本地生成或发送到远程位置。随后，安装有该装置的财产的业主或负责监视财产的看守人员可采取适当的行动，尤其是基于图像传感器10捕获的图像，该图像可在使用通信链路的装置上发送给业主或看守人员。
根据本发明，在将适当的命令发送到控制单元之前，必须实施多个步骤。
处理单元20包括处理逻辑，该处理逻辑可嵌入在照明装置的硬件中或存储在连接到处理单元的存储器中，以确定在图像传感器的视野中发生的事件是否应触发命令或警报。
处理逻辑被配置成使虚假警报的数量最小化、使警报事件的真实检测的数量最大化且使所使用的处理能力最小化。
发明人已确定，为实现这种优化，使用实现图像分析的三个连续处理步骤的处理架构是有利的：
-在第一步骤910处，通过分析来自传感器的一系列图像从静止背景中分离出而检测移动前景；
-在第二步骤920处，跟踪检测到的移动前景的特征，以确认其是否为有效的关注对象；
-在第三步骤930处，使用实现深度学习技术的分类器将跟踪的有效关注对象划分为预先确定的类或类型。
图像分析是计算机技术的一个领域，其被用于从图像中提取有意义的信息。在本发明的优选实施例的用例中，将其应用于围绕建筑物的场景，该场景包括出现在场景中的关注区域(RoI)，即，其中检测到移动对象且然后将其分为关注对象(OoI)类型的区域。在检测步骤和分类步骤之间，跟踪移动对象的表征特征。
在本发明的变型中，可以进一步处理分类步骤930的输出，该输出包括对象是预定义类型(人类、动物、汽车等)的关注对象(OoI)的概率，以对OoI进行去重(de-duplicate)，从而检查它们是否在之前已被看到过。在该变型中，OoI属于已定义的类之一的概率被传送(步骤931)到去重步骤932。如果之前已看到过OoI，则丢弃该OoI并且不采取动作(设置光源为ON状态、触发警报或发送通知)并忽略该OoI(步骤933)。如果在最近的帧序列中没有看到过该OoI，则执行将光源设置为ON状态、触发警报或通知用户的动作中的一个或多个动作(步骤940)。考虑用来确定之前已看到过该OoI的时间是大约几秒钟。它可以是用户定义的，也可以由该装置中此功能的内存分配来定义。
在与该用例一致的时间内使用与处理单元的容量一致的处理能力，可以在最少的虚假警报和最多的实报(true positive)的情况下触发适当的命令或警报。
在另一变型中，可建议一些用户报告分类错误。这些错误被输入到分类器中，以提高真实分类的概率并使误报最小化。
以下分别结合图10、11和12进一步详细描述在步骤910、920和930中的每一步骤处执行的操作。
在一些用例中，关注对象的类或类型可以例如是：人类；动物；汽车。但是可以添加其他类。或者，可以仅选择一个类或两个类来触发设置灯为ON状态或触发警报。
图10显示了根据本发明某些实施例的场景中关注区域的检测方法的流程图。
场景中关注区域的检测步骤的目的是在场景的一系列图像中将移动前景与静止背景区分开，该移动前景将包括关注区域。该方法包括首先对场景的背景进行建模以提供参考图像。然后，在运行图像和参考图像之间进行比较(即，背景去除或前景提取)，生成被标记为“移动中”的像素。有效执行此步骤的方法的设计者将会遇到许多困难，尤其是：
-光照变化，在白天/夜晚期间太阳或月亮的位置缓慢变化，或天空中云的移动突然变化；
-动态背景，诸如在风中移动的树木或改变颜色的交通灯；
-伪装，当移动对象与背景场景不形成对比时；
-阴影，这可能使分类(通常在基于形状时)复杂化；
-改变的背景，例如，当静止的车辆开始移动时，目前被认为是背景的一部分将成为移动前景……。
-图像传感器噪声，可能来自传感器本身或与之相关联的图像处理(尤其是压缩)，并将在检测结果的输出中再现。
其他人工因素也可能影响检测的质量，但是发明人认为，在解决了上面列出的问题之后，他们已经找到了一种检测方法，该方法足够鲁棒，以面对大多数他们没有具体识别的人工因素。
发明人应用的第一个原理是足够频繁地更新其背景模型(BM，1010)。BM根据当前图像帧之前的多个帧构建，这些帧存储在FIFO(“先进先出”)存储器中。FIFO中使用的像素的大小n应足够小以避免合理缓慢的照明变化的影响，并且应足够大以包括场景的并非正常地移动的且应被视为背景的部分。发明人已经通过实验确定，几秒的持续时间(或者在24fps(即，每秒帧数)下50至250帧)是一个很好的折衷方案。注意，通过图像传感器处理的YUV编码中的Y亮度数据足以从场景的一系列图像中提取信息以构建BM。
通过假设取缓冲器中值的亮度值的像素属于背景，可以构建有效的BM。但是计算随时间变化的一系列的中值在计算上是复杂的。这就是为什么在一种变型中，发明人使用在缓冲器中的一系列像素亮度值的滚动平均值。
为了计算滚动平均值，可以对缓冲器中的像素进行多种选择：缓冲器中的p个最近的对应像素或缓冲器中p个最老的像素，其中p是所选像素的数量，以对应于如上所述被确定为最佳的FIFO中的像素数n。本发明人已经通过实验确定，选择产生最接近当前BM的平均值的选项是有利的。
在步骤1050处，当从输入帧(如果执行帧的清理，即抑制如下所述的噪声，则可以是预处理帧1020，)中的对应像素减去BM帧的对应像素的亮度的结果高于该帧的阈值图像(TI)中的对应像素的计算亮度时，通过将帧中像素的亮度值设置为1，并且在不满足此条件时，将亮度值设置为0来构造运动图像
在运行1050测试之前，计算动态阈值图像TI(步骤1040)。发明人已确定固定的阈值在阴影区域中产生大量漏报(false negatives)，而在明亮区域则不是这种情况。为了抵消这种不期望的影响，在步骤1040处计算移位方差。在步骤1030处计算移位方差，使得：
Figure BDA0001786693840000151
地点：
-s为当前像素；
-τ(s)为当前s像素对应的阈值；
-σshifted(s)为当前s像素对应的移位方差；
-α，β为基于启发法选择的参数。
启发法基于两个考虑因素：
-在明亮的区域，阈值应更高；
-对于高方差的像素，阈值也应较高。
发明人已经确定，将参数α和β分别设置为30和3将减少在阴影区域的漏报率且不增加在明亮区域的误报率，但其他值也是可行的。
在本发明的某些实施例中，BM和当前帧可以通过预处理步骤(1020)进行模糊(即，它们的对比度减小)以降低噪声的影响。
阈值处理1050是提取图像的结果，使得：
|PF-BM|＞TI。该步骤产生第一前景帧1060。
然后，在本发明的一些实施例中，可以通过从当前帧中减去第一前景帧来执行背景清理(1070)。这产生了修改的背景BM'(1080)，利用该修改的背景BM'可以执行第二阈值处理(1090)以产生第二前景帧(10A0)。
然后，在本发明的一些实施例中，可以在步骤10B0处执行第二前景帧10A0的后处理。该步骤的目标之一是消除图像的可能是噪声并且无论如何都太小而无法适当地分类的部分。例如，我们可以使用光学几何关系确定检测高度为1.6米的人所需像素的最小尺寸，例如：
Figure BDA0001786693840000161
其中：
-H是我们要检测的对象或人的最小高度；
-W是帧的像素宽度；
-θ是水平视角的一半；
-DM是检测的最大距离。
利用5M像素的图像传感器，能够利用该传感器距离20m检测到的1.6m高的对象的最小尺寸是大约100个像素。组合最小高度和宽度允许定义结构元素或限界框(BB)。前景中尺寸低于BB但足够接近的对象将被分组，而那些尺寸低于BB但分离的对象将被滤除。
检测过程的输出是传送给跟踪过程的一组BB向量10C0。
本发明的检测过程尤其值得注意的是，它只考虑图像像素的灰度水平，并在计算移位方差时补偿“重影”效应。
本发明的检测过程已通过多个具体特征进行了描述，但应理解的是，其中的一些特征是可选的，因为它们可改进性能，但对于实现可接受的结果来说不是强制性的。
图11显示了根据本发明某些实施例的场景中已检测到的关注区域的跟踪方法的流程图。
上面描述的检测过程尤其表现出允许损失一些BB的优点。因此，跟踪可比现有技术中的更简单。
本发明的跟踪过程源于Bouguet(“Pyramidal Implementation of the LucasKanade Feature Tracker(卢卡斯--卡纳德特征跟踪器的金字塔形实现)”，英特尔公司微处理器研究实验室，2000)中描述的方法。这个过程建立在以下文献之上：Lucas和Kanade，“An Iterative Image Registration Technique with an Application to StereoVision(一种应用于立体视觉的迭代图像配准技术)”，第七届国际人工智能联合会议论文集，第2卷，IJCAI'81，第674-679页，1981年，以及Tomasi和Shi，“Good Features to Track(追踪的良好特征)”，1994年I3E计算机视觉和模式识别会议，CVPR'94，第593-600页，1994年。
在本发明的某些实施例中，在检测过程的每个前景提取输出中，检测到的BB与现有跟踪器(tracker)的位置进行比较，从而导致在多个现有跟踪器中尚未出现可比较的跟踪器时，创建新的跟踪器。跟踪器在属于其的BB中搜索良好特征(GF)。然后，使用上面引用的参考文献中描述的改进的金字塔型卢卡斯--卡纳德特征跟踪器，一帧一帧地跟踪GF。所使用的算法是如下所述的类型：
Zd＝e形式的方程必须求解，其中Z是在图像上计算的2x2矩阵，d是待得到的平移，e是误差向量。
矩阵必须满足其特征值λ1和λ2的最小化准则：
Min(λ1，λ2)>λ，其中λ是通过试错法适当选择的阈值。
然后，利用以下公式计算最小误差向量：
e＝∫∫W[J(A(Ax+d)-I(x)]2w(x)dx
其中w是加权函数，必须选择成使e最小化，以便找到从第I帧到第J帧的窗口W的变换。这允许在真实物理点和深度不连续或其他不可靠点之间进行辨别，诸如遮挡特征，该遮挡特征实际上独立地移动或由光的反射产生。
根据本发明的某些实施例，跟踪过程可通过以下步骤实现。
在步骤1111、1112处，通过跟踪过程获得由检测过程输出的限界区块BBi、BBi+1。在步骤1121处，作为前面步骤的结果产生跟踪器Tj(图中未示出)。在步骤1131处，将BBi、BBi+1与Tj进行比较。如果比较测试成功，则Tj吸收BBi和/或BBi+1(1141)。如果比较测试失败，则产生新的跟踪器Tj+1(1142)。
在本发明的一些实施例中，使用(1151)下列数据更新和监控追踪器Tj、Tj+1中的GF：
-其坐标；
-其最后的和最后之前的位移；
-与运动相关的多个计数器。
与运动相关的计数器可包括相关联移动的计数器，当最后的和最后之前的位移在大约同一方向上时，该计数器会增加。它们也可包括不动性的计数器，当最后的位移低于阈值时，该计数器会增加，且当位移高于阈值时，该计数器可设置为零。然后，可以定义多个状态(例如，有效的、中性的和不好的)，以确定跟踪器中特征的移动是否使所述特征成为GF。
然后，在步骤1161处，通过跟踪算法做出多个决定：当状态不好时，该特征被去除；基于相同的启发法产生新的GF，如果它们与其他GF足够接近。跟踪器也可被合并。
然后，在步骤1171处，利用具有足够数量的GF的跟踪器产生图案Vk。在本发明的某些实施例中，图案可按质量指数排序。
本发明的跟踪过程是显著的，因为它比上述现有技术的跟踪过程产生更好的结果，尤其是在这样的用例中，即，该用例的特征可在于能以不同速度且在模糊的背景上移动的各种待跟踪对象。
本发明的跟踪过程已用多个具体特征进行描述，但应理解的是，它们中的多个是可选的，因为它们可改善性能，但对于实现可接受的结果来说并不是强制性的。
图12显示了根据本发明某些实施例的场景中被跟踪的关注区域的学习/分类过程的架构。
根据本发明的一些实施例，使用基于卷积神经网络(CNN)的深度学习分类技术。CNN分类器非常适合于要解决的问题的假设是基于这样的想法：图案中存在的模式具有在其他地方存在的显著概率。此外，CNN是一种多阶段学习方法，其中神经元是本地连接的，且不连接到网络的所有层。共享相同参数的神经元组被按规则展开以覆盖整个图像。这允许更高的计算效率处理。
可以在下述文献中找到CNN分类器的描述：Garschik和他人，“Rich FeatureHierarchies for Accurate Object Detection and Semantic Detection(用于精确对象检测和语义检测的丰富特征层次结构)”，2014I3E计算机视觉和模式识别会议，CVPR 2014，哥伦比亚，俄亥俄州，美国，第558-587页，2014年。
CNN同时进行分类和学习。可以使用许多不同的CNN架构来实现本发明。因此，图中给出的架构仅是说明性的而非限制性的。而且，可以使用与CNN不同的分类方法来实现本发明。例如，在下述文献中描述的方法：Viola和他人的“Rapid Object Detection Using aBoosted Cascade of Simple Features(使用提升的简单特征级联的快速物体检测)”，2001年I3E，计算机视觉与模式识别协会会议(2001年CVPR)，考艾岛，夏威夷，USA，第511–518页，2001年，或Dalal和他人的“Histograms of Oriented Gradients for HumanDetection(用于人体检测的定向梯度直方图)”，国际计算机视觉和模式识别会议，第2卷，第893-886页，2005年6月，或者Lowe的，“Object Recognition from Local Scale-Invariant Features(局部尺度不变特征的对象识别)”，国际计算机视觉会议论文集，第2卷，ICCV'99，第1150页-，1999年。
在本发明的某些实施例中，用于将检测、跟踪和调节的关注对象分类为图案Vk的CNN包括：
-多个卷积层(CLi)，1211，其中使用尺寸为1x1、3x3、5x5和1x1的核矩阵将卷积乘积应用于输入图案；这些尺寸已经过测试以适应本发明的一些示例性用例，但是它们可设置为不同的值；还提供了多个非线性转换层(nLTLj)，1221；nLTLs的示例是：用以使CLs的输出规范化的深度连接(Depth Concatenation)；
-池化层(Pooling Layer)，通过对多个参数进行分组来减小问题的大小；丢失层(Drop_Out layer)用于消除不会添加有助于提高分类质量的信息的元素。进一步的操作由全连接层(FCL，1241)执行；FCL与CL的相似之处在于它们将卷积乘积应用到其输入中，但是它们的内核具有输入图案的尺寸；发明人已观察到，使用单个FCL是有利的；但在某些使用情况中，可以使用与关注的类一样多的FCL，每个FCL专用于“超类”中的一个，这是本发明的用例之一，即人类(HC_H)、动物(HC_A)、汽车(HC_C)；
-最后，对于每个FCL的输出，使用softmax成本函数1251来确定图案Vk的类是人类、动物或车辆的预测概率，以调整应用的CNN的活动层的系数；在大多数情况下，softmax成本函数无法解析求解；例如，可以使用梯度下降或反向传播算法来解决每次迭代的softmax成本函数。
可以通过试错法来调整CNN的各模块的多个参数，以根据所需的实报和误报与处理能力之间的最佳折衷方案来调整性能，例如，输入图案的大小、CL的内核的尺寸、用以消除误报的级联方法的使用、用以提高收敛速度的FCL的初始化。例如，用于在跟踪过程输出处的图案的112x112像素的矩阵已被确定是一种良好选择。
本说明书中公开的实施例仅例示说明本发明的某些实施例。它们不以任何方式限制由所附权利要求限定的所述发明的范围。

Claims (15)

1.一种自动照明装置(100)，包括：
-一个或多个红外光源(40，41)；
-一个或多个可见光源(50，51)；
-图像传感器(10)；
-处理单元(20)，所述处理单元被配置成分析由所述图像传感器输出的关注区域的一系列图像；
-控制单元(30)，所述控制单元被配置成基于从所述处理单元接收的命令生成所述一个或多个可见光源的激活中的一种或多种或警报；
其中，所述分析包括检测所述关注区域的所述一系列图像中的移动前景，跟踪所述移动前景中的一个或多个表征特征，并将所述一个或多个表征特征分类为两种或更多种类型的关注对象，关注对象的类型确定由所述处理单元发送到所述控制单元的命令。
2.根据权利要求1所述的装置，其中，所述装置还通过通信链路连接到网络，所述警报被发送到所述通信链路上的用户装置。
3.根据权利要求2所述的装置，其中，所述控制电路还触发所述关注对象的图像被发送到所述通信链路上的所述用户装置。
4.根据权利要求1至3中的任一项所述的装置，其中，所述检测使用所述一系列图像中的像素的YUV编码中的Y亮度值。
5.根据权利要求1至3中的任一项所述的装置，其中，所述检测包括将所述关注区域的所述一系列图像与所述关注区域的背景模型的图像之间的差异图像与阈值图像进行比较，所述阈值图像是使用移位方差动态地计算出的。
6.根据权利要求1至3中的任一项所述的装置，其中，所述跟踪包括在通过所述检测输出的限界区块中的表征特征的相关联移动的计数器增加且不动性的计数器等于零的情况下，将良好特征值分配给所述表征特征。
7.根据权利要求6所述的装置，其中，所述跟踪还包括：产生具有限界区块的图案，所述限界区块具有高于阈值的多个良好特征。
8.根据权利要求1至3中的任一项所述的装置，其中，所述分类包括使用神经网络、定向梯度历史或支持向量机器分类器中的一种或多种。
9.根据权利要求8所述的装置，其中，所述神经网络是卷积神经网络分类器并且包括一个或多个全连接层。
10.根据权利要求1至3中的任一项所述的装置，其中：
-所述图像传感器(10)包括镜头(Ob)以及红外光和可见光传感器(Ca)，
-所述至少一个红外光源(40)具有红外光发射锥(c40)，
-所述至少一个可见光源(50)具有可见光发射锥(c50)，
-在一方面的所述图像传感器(10)的镜头(Ob)与在另一方面的所述红外光发射锥(c40)和所述可见光的发射锥(c50)之间不存在相交。
11.根据权利要求10所述的装置，其中，所述镜头(Ob)具有旋转轴线A并且包括具有朝向所述传感器(Ca)定向的法向向量(nf1)的第一面(f1)和具有朝向环境定向的法向向量(nf2)的第二面(f2)，且其中与所述第一面(f1)相切并且与所述旋转轴线A成直角的第一平面(P1)限定第一半空间(dE1)和第二半空间(dE2)，所述传感器(Ca)属于所述第一半空间(dE1)，所述镜头(Ob)的第二面(f2)和所述环境属于所述第二半空间(dE2)，并且：
-所述至少一个红外光源(40)的所述发射锥(c40)具有布置在所述第二半空间(dE2)中的顶点(s40)；
-所述至少一个可见光源(50)的所述发射锥(c50)具有布置在所述第二半空间(dE2)中的顶点(s50)。
12.根据权利要求11所述的装置，其中：
-所述至少一个红外光源(40)具有带轴线A40的发射锥(c40)，
-所述至少一个可见光源(50)具有带轴线A50的发射锥(c50)，且
-所述图像传感器(10)具有带轴线A的吸收锥，
-在第二半空间(dE2)中，所述轴线A40与所述轴线A之间的距离是恒定的或在远离所述第一平面(P1)移动时是增加的，且
-在第二半空间(dE2)中，所述轴线A50与所述轴线A之间的距离是恒定的或在远离所述第一平面(P1)移动时是增加的。
13.根据权利要求11至12中的任一项所述的装置，其中，所述装置包括多个可见光源(50，51)，每个可见光源具有发射锥(c50，c51)，所述发射锥具有轴线(A50，A51)，其中在所述第一半空间(dE1)中，对于所述多个可见光源中的每个可见光源(50，51)来说，所述光源的发射锥的轴线与每个其它光源的发射锥的轴线之间的距离是恒定的或在远离所述第一平面(P1)移动时是增加的。
14.根据权利要求10所述的装置，其中，所述镜头(Ob)具有旋转轴线A，所述装置还包括用于所述至少一个红外光源(40)、用于所述至少一个可见光源(50)和用于所述图像传感器(10)的所述镜头(Ob)的保护元件(60，61，62)，所述保护元件对红外光和可见光是透明的，所述保护元件基本上沿着与所述旋转轴线A成直角的平面延伸。
15.一种监视关注区域的方法，包括：
-利用一个或多个红外光源(40，41)照亮所述关注区域；
-通过图像传感器(10)捕获所述关注区域的一系列图像；
-通过处理单元(20)分析由所述图像传感器输出的所述关注区域的所述一系列图像；
-由控制单元(30)基于从所述处理单元接收的命令生成一个或多个可见光源(50，51)的激活中的一种或多种或警报；
其中，所述分析包括检测所述关注区域的所述一系列图像中的移动前景，跟踪所述移动前景中的一个或多个表征特征，并将所述一个或多个表征特征分类为两种或更多种类型的关注对象，关注对象的类型确定由所述处理单元发送到所述控制单元的命令。
CN201780014842.4A 2016-01-04 2017-01-04 自动照明和安全装置 Active CN109154435B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1650016A FR3046519B1 (fr) 2016-01-04 2016-01-04 Dispositif d'eclairage automatique
FR1650016 2016-01-04
PCT/EP2017/050111 WO2017118647A1 (en) 2016-01-04 2017-01-04 Automatic lighting and security device

Publications (2)

Publication Number Publication Date
CN109154435A CN109154435A (zh) 2019-01-04
CN109154435B true CN109154435B (zh) 2020-07-07

Family

ID=56069025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014842.4A Active CN109154435B (zh) 2016-01-04 2017-01-04 自动照明和安全装置

Country Status (6)

Country Link
US (1) US11227165B2 (zh)
EP (1) EP3400405A1 (zh)
KR (1) KR102148586B1 (zh)
CN (1) CN109154435B (zh)
FR (1) FR3046519B1 (zh)
WO (1) WO2017118647A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572972A1 (en) * 2018-05-23 2019-11-27 IDEMIA Identity & Security Germany AG Extendend convolutional neural network for document analysis
JP7126864B2 (ja) * 2018-05-25 2022-08-29 キヤノンメディカルシステムズ株式会社 医用信号処理装置及び学習プログラム
EP3798620A1 (fr) * 2019-09-25 2021-03-31 ETA SA Manufacture Horlogère Suisse Systeme et procede de gestion d'un eclairement d'une zone d'interet comprenant au moins un objet susceptible d'etre manipule par un utilisateur
EP3876211A1 (en) * 2020-03-06 2021-09-08 Signify Holding B.V. Selecting a light source for activation based on a type and/or probability of human presence

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930653A (zh) * 2009-12-22 2010-12-29 广州广电运通金融电子股份有限公司 异物检测装置及其检测方法以及具有该装置的自动柜员机
CN102118554A (zh) * 2010-01-04 2011-07-06 鸿富锦精密工业（深圳）有限公司 监控系统
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
CN103975577A (zh) * 2011-10-07 2014-08-06 菲力尔系统公司 智能监视摄像机系统及方法
CN104145276A (zh) * 2012-01-17 2014-11-12 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
CN104769644A (zh) * 2012-11-08 2015-07-08 厉动公司 利用可变场照明设备的对象检测和跟踪

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192155B1 (en) * 1998-09-16 2001-02-20 Xerox Corporation Systems and methods for reducing boundary artifacts in hybrid compression
JP2003008954A (ja) 2001-06-20 2003-01-10 Fujitsu General Ltd ドーム型監視カメラ装置
US7627171B2 (en) * 2003-07-03 2009-12-01 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
GB2408879A (en) * 2003-12-03 2005-06-08 Safehouse Internat Inc Storing data recorded over a period of time
US20050163345A1 (en) * 2003-12-03 2005-07-28 Safehouse International Limited Analysing image data
US20070122000A1 (en) * 2005-11-29 2007-05-31 Objectvideo, Inc. Detection of stationary objects in video
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US9215781B2 (en) * 2008-04-16 2015-12-15 Avo Usa Holding 2 Corporation Energy savings and improved security through intelligent lighting systems
JP5480600B2 (ja) 2009-11-13 2014-04-23 パナソニック株式会社 照明制御システム
US20130329987A1 (en) * 2012-06-11 2013-12-12 Genesis Group Inc. Video segmentation method
US9436692B1 (en) * 2013-06-25 2016-09-06 Emc Corporation Large scale video analytics architecture
US9165444B2 (en) * 2013-07-26 2015-10-20 SkyBell Technologies, Inc. Light socket cameras
US9454819B1 (en) * 2015-06-03 2016-09-27 The United States Of America As Represented By The Secretary Of The Air Force System and method for static and moving object detection
US20180048894A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Methods and systems of performing lighting condition change compensation in video analytics
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930653A (zh) * 2009-12-22 2010-12-29 广州广电运通金融电子股份有限公司 异物检测装置及其检测方法以及具有该装置的自动柜员机
CN102118554A (zh) * 2010-01-04 2011-07-06 鸿富锦精密工业（深圳）有限公司 监控系统
CN103975577A (zh) * 2011-10-07 2014-08-06 菲力尔系统公司 智能监视摄像机系统及方法
CN102510480A (zh) * 2011-11-04 2012-06-20 大连海事大学 驾驶员视线自动校准和跟踪系统
CN104145276A (zh) * 2012-01-17 2014-11-12 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
CN104769644A (zh) * 2012-11-08 2015-07-08 厉动公司 利用可变场照明设备的对象检测和跟踪

Also Published As

Publication number Publication date
KR102148586B1 (ko) 2020-08-27
KR20180100406A (ko) 2018-09-10
EP3400405A1 (en) 2018-11-14
WO2017118647A1 (en) 2017-07-13
CN109154435A (zh) 2019-01-04
FR3046519B1 (fr) 2022-11-04
US20200274997A1 (en) 2020-08-27
US11227165B2 (en) 2022-01-18
FR3046519A1 (fr) 2017-07-07

Similar Documents

Publication Publication Date Title
Cristani et al. Background subtraction for automated multisensor surveillance: a comprehensive review
US9710716B2 (en) Computer vision pipeline and methods for detection of specified moving objects
US9299162B2 (en) Multi-mode video event indexing
US9928708B2 (en) Real-time video analysis for security surveillance
US8744125B2 (en) Clustering-based object classification
CN109154435B (zh) 自动照明和安全装置
Ko et al. Background subtraction on distributions
WO2005122094A1 (en) Method for detecting desired objects in a highly dynamic environment by a monitoring system
Negri et al. Detecting pedestrians on a movement feature space
Li et al. A visualized fire detection method based on convolutional neural network beyond anchor
Lou et al. An illumination invariant change detection algorithm
T'Jampens et al. Automatic detection, tracking and counting of birds in marine video content
Devi et al. A survey on different background subtraction method for moving object detection
Tian et al. Single image smoke detection
Hua et al. Onboard monocular pedestrian detection by combining spatio-temporal hog with structure from motion algorithm
Buch et al. Local feature saliency classifier for real-time intrusion monitoring
Negri Estimating the queue length at street intersections by using a movement feature space approach
Al Najjar et al. A hybrid adaptive scheme based on selective Gaussian modeling for real-time object detection
Atoum Detecting objects under challenging illumination conditions
JP2009181220A (ja) 物体検出装置
Lin et al. Foreground object detection in highly dynamic scenes using saliency
Mahajan et al. 3D Object 360-Degree Motion Detection Using Ultra-Frequency PIR Sensor
Razali et al. Detection and classification of moving object for smart vision sensor
Bobulski et al. Background segmentation method for autonomous car
CN108965688A (zh) 眼镜拍摄方法、眼镜和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant