CN113316805A - 使用红外线和可见光监视人的方法和系统 - Google Patents

使用红外线和可见光监视人的方法和系统 Download PDF

Info

Publication number
CN113316805A
CN113316805A CN202080009766.XA CN202080009766A CN113316805A CN 113316805 A CN113316805 A CN 113316805A CN 202080009766 A CN202080009766 A CN 202080009766A CN 113316805 A CN113316805 A CN 113316805A
Authority
CN
China
Prior art keywords
person
visibility
image
processor
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080009766.XA
Other languages
English (en)
Inventor
O·赫布斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Junge Connection Co
Jungo Connectivity Ltd
Original Assignee
Junge Connection Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Junge Connection Co filed Critical Junge Connection Co
Publication of CN113316805A publication Critical patent/CN113316805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

使用被配置为收集可见光和红外光这两者并捕获一个或多个人员的图像的相机以及被配置为确定图像中的可见度条件的处理器来监视空间中的一个或多个人员，该处理器使得能够检测人的眼睛，其中处理器可以基于可见度条件控制装置，诸如相机和/或照明源。

Description

使用红外线和可见光监视人的方法和系统
技术领域
本发明涉及监视人类诸如人类操作员的领域。
背景技术
在许多不同的行业和领域中，人为错误已被认为是灾难和事故的主要原因或促成因素。例如，涉及车辆的交通事故往往归因于人为错误，且是在许多发达国家中造成伤亡的主要原因之一。同样，据发现，工人分心(例如，精神分心)影响工作表现并且是工作场所事故的原因之一。
因此，监视人类操作员诸如工人或车辆的驾驶员是事故分析和预防的重要组成部分。
基于图像的系统用于监视人类操作员，诸如驾驶员。通常，这些系统使用红外或近红外(IR)照明以及位于车辆转向柱上的红外相机，以使得能够捕获来自驾驶员眼睛的反射光并基于眼睛的特征(诸如巩膜和角膜反射以及瞳孔参数)来监视驾驶员的状态。
基于眼睛跟踪的图像通常需要非常靠近人眼睛的高分辨率相机(例如，头戴式眼镜或头戴式耳机)。位于更远(例如，～40cm-120cm)的图像传感器通常需要IR照明来捕获角膜反射。这些系统根据来自眼睛的反射并基于人眼睛、IR照明源和图像传感器之间的几何形状来计算或估计眼睛凝视方向。因此，照明源和图像传感器的位置通常是有限的，并且系统通常只能跟踪单个人的眼睛。
与这些系统相关联的一些附加问题包括低光图像(因为图像传感器通常只能捕获大约8-12％IR光)和由于IR照明而导致的眼镜/太阳镜的反射。此外，使用高分辨率相机和许多IR LED导致系统的高成本、高功耗和可能的发热问题。此外，由于使用了大量IR照明，因此使用许多IR LED可造成潜在眼睛安全问题。IR照明的使用限制这些系统在黑暗环境和短距离成像中的使用，因为在IR光下，远距离处的物体将不可见。
发明内容
本发明的实施例提供在不需要恒定IR照明的情况下实现一定距离(例如～40cm-～5mr)的准确脸和眼睛跟踪的系统和方法。IR照明仅在低光照条件下或需要太阳镜穿透时使用。
因此，根据本发明的实施例，脸和眼睛跟踪利用减少的IR照明，从而提供具有比现有系统更低功耗、更少加热问题和显著更少安全问题的划算系统。
根据本发明的实施例的系统和方法提供光线充足的图像，没有来自眼镜/太阳镜的反射，从而实现准确监视人员。
根据本发明的实施例的系统和方法不需要高分辨率成像并且可以长距离操作，具有灵活图像传感器和照明定位。因此，根据本发明的实施例的系统和方法可用于监视车辆环境中的多个人员以及用于其他目的，如本文所述。
附图说明
现在将参考随附说明性附图结合某些实例和实施例来描述本发明，以便可以更充分地理解本发明。在图中：
图1A-图1D示意性示出根据本发明的实施例的用于基于图像中人的眼睛的可见度来控制成像参数的方法；
图2A-图2B示意性示出根据本发明的实施例的用于基于对图像中眼镜的检测来确定眼睛的可见度的方法；
图3示意性示出根据本发明的实施例的用于基于空间的照度来确定眼睛的可见度的方法；
图4示意性示出根据本发明的实施例的用于监视空间中的多个人员的方法；
图5示意性示出根据本发明的实施例的用于差异地应用监视算法的方法；和
图6示意性示出根据本发明的实施例可操作的系统。
具体实施方式
本发明的实施例提供用于监视空间中的一个或多个人员的系统和方法。空间可以包括封闭空间，诸如车辆轿厢或房间和/或开放空间，诸如公园。
本发明的实施例通常可以用于监视一般人员，诸如车辆的操作员和乘客、老人或病人、儿童、视频通话的参与者和装置诸如游戏和其他装置的用户。
术语“用户”可以指根据本发明的实施例被监视的任何人。
可以监视用户以确定用户的凝视方向和/或确定用户的一般状态。用户的凝视方向或用户的一般状态(例如，用户分心的水平)可以指示用户的生理或心理状况，诸如疾病、困倦、疲劳、焦虑、清醒、疏忽失明和准备好控制机器(例如车辆)。用户在操作机器时的意图也可以通过例如，基于用户眼睛的凝视方向来监视用户而推断。
监视人可以包括在空间的整个图像中跟踪人和/或使用图像处理技术根据空间的图像确定人的状态。可以通过应用光流法、梯度直方图、深度神经网络或其他适当检测和跟踪方法来跟踪人的头部或脸，例如以检测头部和/或眼睛运动。可以使用类似的光流法跟踪其他身体部位。
有时可以通过运行包括机器学习和深度学习过程的计算机视觉算法(例如，脸检测和/或眼睛检测算法)以提取人的生物特征来确定人的状态。可以在人的一组图像中跟踪人的头部或脸并且可以基于跟踪来提取人类的生物特征参数。在一个实施例中，从第一组图像中获得的特定人类的生物特征参数值用于表示人类的基线或正常状态，且因此其可以用作从第二(后来捕获)组图像中获得的该相同人类的生物特征参数值的参考系。
可以通过使用物体检测和/或运动检测和/或颜色检测算法来检测人员和人员的身体部位(例如，四肢)。此外，机器学习模型诸如支持向量机可用于检测人类和人类的身体部位。
通过对图像数据应用适当算法(和/或算法的组合)，诸如运动检测算法、颜色检测算法、地标检测、3D对齐、梯度检测、支持向量机、颜色通道分离和计算、频域算法和形状检测算法，可以确定参数，诸如凝视方向或人头的姿势或位置。
根据本发明的实施例，可以将以上和类似技术的组合应用于空间中一个或多个人员的图像，以便提供监视算法。可能地，在不同情况下可以应用不同监视算法，如下文进一步解释。
在以下描述中，将描述本发明的各个方面。出于解释的目的，阐述特定配置和细节以提供对本发明的透彻理解。然而，对于本领域技术人来说明显的是，本发明可以在没有本文呈现的具体细节的情况下实践。此外，可以省略或简化众所周知的特征以免混淆本发明。
除非另外具体说明，否则如从以下讨论中明显的，应理解在整个说明书讨论中使用术语诸如“处理”、“计算”、“运算”、“确定”、“检测”、“识别”、“提取”、“获得”、“应用”等是指计算机或计算系统或类似电子计算装置的动作和/或过程，该动作和/或过程将表示为在计算系统的寄存器和/或存储器中的物理量(诸如电子量)的数据操纵和/或转换为其他数据，该数据类似地表示为在计算系统的存储器、寄存器或其他此类信息存储、传输或显示装置内的物理量。
在本发明的一个实施例中，用于监视人的系统包括具有图像传感器的相机，该图像传感器可以收集可见光和IR光两者。相机可以捕获包括一个或多个人员的空间的图像。处理器可以根据空间的图像确定可见度条件并且可以基于所确定的可见度条件来控制装置(诸如相机和/或照明源)。通常，“可见度条件”涉及使得能够检测图像中人(或人员)的眼睛的条件。在一些实施例中，可见度条件使得能够检测人(或人员)的眼睛的凝视方向。
在图1A中示意性示出的一个实施例中，用于监视空间中的人的方法可以由处理器执行。方法包括获得空间中的人的至少一部分的图像(112)。在一个实施例中，图像包括人的眼睛。
处理器然后确定图像中的人的眼睛相对于预定阈值的可见度(114)并且基于眼睛相对于预定阈值的可见度来控制装置(116)。
在一个实例中，装置可以是照明装置并且处理器控制照明装置以基于眼睛相对于预定阈值的可见度以一定强度或波长照明。例如，如图1B中示意性示出的，获得空间中的人的图像(122)并且确定图像中的人的眼睛相对于预定阈值的可见度(124)。如果可见度低于阈值(125)，则启用照明装置(其可以是IR照明装置)(126)。如果可见度高于阈值，则不启用照明装置(128)。
在图1C中示意性示出的另一实例中，获得空间中的人的图像(132)并且确定图像中的人的眼睛相对于预定阈值的可见度(134)。如果可见度低于阈值(135)，则启用第一照明装置(136)和/或启用第一强度和/或波长的照明。如果眼睛的可见度高于阈值，则启用第二照明装置(138)和/或启用第二强度和/或波长的照明。
在一个实例中，照明装置是例如如下所述的IR照明装置。当眼睛的可见度低于阈值时，处理器可以启用IR照明装置。此实施例尤其使得仅在低照明条件和/或低可见度条件下能够使用照明源(例如，IR照明源)。照明源在高照明和/或可见度条件下不被启用，从而提供使用安全且划算的解决方案。
在其他实例中，如果眼睛的可见度低于预定阈值，则处理器控制(一个或多个)照明装置照射第一照明(例如，第一波长，例如，IR照明)，并且如果眼睛的可见度高于预定阈值，则照射第二照明(例如，第二波长，例如可见光)。第一和第二照明可以是不同强度的照明，使得处理器基于图像中眼睛的可见度改变一个或多个照明装置的照明强度。
在图1D中示意性示出的另一个实例中，由处理器控制的装置是被配置为捕获空间中的人(或人员)的图像的相机。在此实施例中，获得空间中人的图像(142)并且确定图像中的人的眼睛相对于预定阈值的可见度(144)。如果可见度低于阈值(145)，则控制第一相机捕获图像(146)和/或将相机的灵敏度设置在第一灵敏度。如果可见度高于阈值(145)，则控制第二相机捕获图像(138)和/或可以将相机的灵敏度设置在第二灵敏度。因此，可以基于眼睛相对于预定阈值的可见度来控制相机的灵敏度。
在一些实施例中，可以基于眼睛相对于预定阈值的可见度来控制空间中不同位置处的装置。例如，第一和第二照明源或第一或第二相机可以是位于空间内不同位置或部位的照明源或相机和/或可以以不同角度定向。
如上所述，处理器可以基于眼睛的可见度来控制成像参数(例如，照明和/或相机灵敏度)。
眼睛的可见度是量度，其可取决于包括眼睛的图像的参数。例如，可影响眼睛可见度的图像参数包括与眼睛对应的像素的数量和/或与眼睛对应的像素的像素值。在这些情况下，预定阈值可以是预定数量的像素(其可以包括平均值或百分比或其他统计表示)和/或预定值。眼睛的可见度可以根据眼睛图像的参数之一或组合来运算。
因此，在一个实施例中，处理器可以检测图像中的人脸和/或眼睛(例如，通过使用已知方法，诸如Open CV脸检测)，且然后可以确定哪些像素对应于眼睛(例如，通过使用分割方法)以确定对应于眼睛的像素的数量和/或值是否低于预定阈值。
可影响眼睛可见度的图像参数可受环境影响，诸如受环境光的波长或强度影响。在其他情况下，眼睛的可见度可受到被成像人的动作的影响，例如，当人将他的脸移离照明源和/或相机时。在这种情况下，处理器可以检测例如脸中较不可见的区域并且可以控制位于空间内适当位置和/或角度的照明装置和/或相机，以使得能够照明较不可见区域和/或捕获较不可见区域的图像，以提供人的另一图像并增加人眼睛的可见度。
通常，处理器可以访问照明装置和/或相机的位置和/或定位信息。位置和/或定位信息可包括空间内的真实世界坐标或其他位置标记或关于相机相对于照明装置或另一位置参考的位置和/或角度的信息。此类信息可以由用户输入或者可以例如基于先前校准或通过使用图像处理技术来确定图像内的物体的距离来运算。
例如通过用户输入和/或通过应用图像处理技术来确定图像内物体的位置，处理器还可以确定空间内人(和/或与照明装置和/或相机相关)的位置和/或定位信息。然后，处理器可以使用人的位置和/或定位信息以及照明装置和/或相机的位置和/或定位信息来运算哪个照明装置和/或相机(位于已知或运算出的位置)合适于使得能够照亮较不可见的区域。
在另一个实例中，人可以将配饰诸如眼镜(例如，太阳镜)放在他的眼睛上方，从而降低他眼睛的可见度。
在图2A中示意性示出的一个实施例中，处理器接收空间中的人的图像(212)并且在图像中检测人脸附近的眼镜(例如，太阳镜)(214)。检测到图像中的眼镜(尤其是人脸附近)可表明该人即将佩戴或正在佩戴眼镜，这可能降低人眼睛的可见度。然后，处理器可以基于检测到图像中人脸附近的眼镜(例如，太阳镜)来控制装置(216)。
在一个实施例中，装置是IR照明装置(例如，在红外线和近红外线波长范围(称为IR)内照明的LED或其他光源，例如850nm或940nm或在此范围内)。在此实施例中，处理器获得至少人脸的图像并且在图像中检测人脸附近的配饰诸如太阳镜。然后，处理器可以基于在图像中检测到人脸附近的太阳镜来操作IR照明装置。
在一个实施例中，处理器被配置为基于检测到太阳镜来打开/关闭IR照明装置。因此，当在图像中检测到太阳镜时，可以打开IR照明，而在图像中没有检测到太阳镜时可以关闭IR照明。在另一个实施例中，处理器可以基于检测到太阳镜和基于IR照明装置在空间中的位置和/或定位来打开/关闭IR照明装置。例如，处理器可以打开位于空间内的允许照亮人的脸的位置和/或角度的IR照明装置(当在图像中检测到太阳镜时)，而处理器可以关闭位于空间内的无法照亮人的脸的位置和/或角度的IR照明装置。处理器可以确定哪个照明装置的哪个位置和/或定位允许例如如上所述照亮人的脸。
在另一个实施例中，处理器被配置为基于检测到太阳镜来改变IR照明装置的照明强度，通常当在图像中检测到太阳镜时增加强度。
在图2B中示意性示出的实施例中，处理器接收空间中的人的图像(222)并在图像中检测人的脸附近的配饰诸如眼镜(例如太阳镜)(224)。处理器可以基于图像中检测到配饰(例如，太阳镜)来确定图像中的眼睛的可见度(226)并且可以基于所确定的眼睛的可见度来控制装置(228)。
例如，当在图像中检测到人脸附近的太阳镜时，处理器可以确定眼睛的可见度低于预定阈值，并且可以控制相机和/或照明装置来创建将增加眼睛的可见度的成像参数。例如，如果检测到太阳镜，则可以使用特定IR照明强度，以便穿透太阳镜，以能够获得关于与眼睛相关联的像素的数据。在其他实施例中，可以使用不同的IR照明强度，直到眼睛清晰可见以进行处理。
基于配饰的形状和/或颜色，可以使用适当物体检测算法来检测配饰诸如太阳镜。在一些实施例中，当检测到的脸和确定为眼镜的物体之间存在重叠时，可以在人的脸附近检测到眼镜。在其他实施例中，当确定为眼镜的物体位于检测到的脸内的眼睛区域中时，眼镜被确定为在人的脸附近。可以使用确定图像中人脸附近的配饰的其他方法。
在一些实施例中，处理器检测空间中的照度(例如，通过确定照度)并基于空间中的照度确定眼睛相对于预定阈值的可见度。
在图3示意性示出的实例中，接收空间中的人的图像(312)并且确定空间中的照度(314)。然后基于空间中的照度来确定人眼的可见度(316)并且基于所确定的可见度来控制装置(318)。
在一些实施例中，低于预定值的照度可以指示眼睛的可见度低于预定阈值，并且可以控制照明源在一定强度照明，以将空间中的照度增加到允许人眼的可见度高于预定阈值所需的最小照度。
在一个实施例中，处理器可以基于眼睛的可见度来打开/关闭IR照明装置。通常，处理器将在空间中的照度低时(例如，在夜间)打开IR照明装置，并在照度高时关闭IR照明装置。在一些实施例中，处理器可以基于眼睛的可见度来改变IR照明装置的照明强度。通常，照明强度将在低照度条件下增加，而将在高照度条件下降低。
例如通过在图像上应用图像分析算法以确定图像的强度并考虑捕获图像的相机的规格(例如，快门打开时间、传感器的灵敏度等)，可以运算空间中的照度。
在其他实施例中，检测空间中的照度可以包括从照度计接收数据，如下文进一步详述。
在图4中示意性示出的实施例中，可以根据一个或多个图像在单个空间中监视多个人员。在此实施例中，获得多个人员的图像(412)并且确定多个人员中的至少一些人员的眼睛的可见度(414)，例如，如本文所述。可以基于每个人的眼睛的可见度来运算可见度的组合值(416)并且可以基于可见度的组合值来控制装置(418)。
可以例如通过对每个人的眼睛的可见度分配权重(例如，基于人在空间内的位置)并且将加权可见度值相加来运算组合值。例如，如果期望监视位于车辆轿厢的后方的人员，则相比于如果确定人位于轿厢的前部，如果确定人位于后方，则可以为每个人的眼睛的可见度分配更高的权重。因此，轿厢的后方处的人员的可见度的组合值将更高，从而引起后方的更高照明以及可能启用位于和/或定位成以增加的可见度来捕获在轿厢的后方处的人员的眼睛的相机。因此，根据本发明的实施例，不同定位的照明装置和/或不同的照明条件和/或不同定位的相机和/或不同灵敏度的相机可用于获得图像，其提供所需组的人员的眼睛的最高可见度。在其他实施例中，可以获得不同的图像，图像中的每个在不同照明条件下和/或使用不同相机来捕获，图像中的每个示出空间中不同人或一组人员的最高可见度。
例如，知道一组人员正在看哪个方向可能是有利的。例如，如果车辆轿厢内的所有乘客都在看相同方向，这可能有助于理解车辆轿厢内的场景和条件。类似地，如果空间诸如教室或会议室中的大多数人员正在看特定的凝视目标，这可能有助于理解教室或会议室中的场景。类似地，确定与服务装置(诸如商店中的机器人或显示指令、广告等的用户界面装置)交互的一个或多个人员的凝视方向可以帮助服务装置更好地理解与人的交互的性质。
在一个实施例中，可以在空间中监视不同类型的人员，从而提供对空间中场景的更好理解。在一个实施例中，一种用于监视空间的系统包括捕获空间的图像的相机和检测空间的图像中的第一和第二人类型的处理器。处理器可以对第一人类型应用第一监视算法，而对第二人类型应用第二监视算法，并且可以基于第一监视算法和第二监视算法的结果输出空间的状态。
空间的状态可以包括关于空间中人员的行为(例如，遵守规则、和平/暴力行为等)的信息或关于空间中人员的情绪的信息或关于在空间中被监视的人员的其他信息。
不同的人类型可以包括例如服务提供者和服务接受者，诸如车辆中的驾驶员和乘客、商店中的收银员和顾客、教室中的老师和学生等。例如基于第一人类型和第二人类型在空间中的位置，处理器可以检测第一人类型和第二人类型。例如，车辆中的驾驶员通常将位于车辆的前部，而乘客将位于轿厢中的其他位置。收银员通常将位于收银机后面，而顾客将位于收银机的另一侧等。替代地或此外，处理器可以基于空间的图像中的第一人类型和第二人类型的外观来检测第一人类型和第二人类型。例如，驾驶员或其他服务提供者可穿着制服，且因此可以基于他的制服的不同颜色和/或他的帽子的形状等来检测该驾驶员或其他服务提供者。
在图5中示意性示出的一个实施例中，获得包含多个人员的空间的图像(512)。然后例如通过使用如上所述的图像处理来确定多个人员中的一个人员的类型(514)。可以基于人的类型对人应用特定的监视算法。如果人属于第一类型(517)，则对人应用第一监视算法(518)，并且如果人属于第二类型(517)，则对人应用第二监视算法(518)。可选地，在确定人的类型之前，可以在空间的整个图像中跟踪人(516)。在一些实施例中，可以基于跟踪来确定人的类型。例如，在教室中，教师通常将比学生更具移动性，且因此可以基于他的移动模式将其与学生区分。在一些实施例中，可以基于对人的跟踪和基于人的位置来确定人的类型。例如，位于教室前面的典型移动的人可以被确定为“教师类型”而不是“学生类型”。
第一和第二监视算法可以在具体技术和/或针对监视人而执行的步骤的顺序方面不同。例如，可以使用确定驾驶员意识的监视算法(例如，通过监视眨眼)来监视驾驶员，而可以使用确定乘客的情绪(检测微笑、打哈欠等)的监视算法来监视乘客。
图6示意性示出根据本发明的实施例可操作的系统。系统600包括一个或多个相机611。相机611可以位于空间614中的任何位置和/或角度以实现包括一个或多个人615中的至少一部分人的视野(FOV)。例如，相机611可以位于和/或被定位成捕获人615的眼睛或嘴，或人的另一身体部分，例如人的四肢。例如，一个或多个相机611可以定位在汽车的挡风玻璃上、汽车的遮阳板上、仪表板上、A柱上、仪表盘中、汽车的前视镜上、车辆的方向盘、或车辆诸如汽车、飞机、轮船等的前窗等上。类似地，一个或多个相机611可以放置在另一个空间614例如家、工作场所、诊所或其他环境中的任何位置，以使得能够获得人的至少一部分的图像数据。空间614可以是如上所述的封闭或开放空间。
相机611通常包括CCD或CMOS或其他合适的图像传感器。相机611可以是2D或3D相机的一部分，例如，配备移动装置诸如智能手机或平板电脑的标准相机的一部分。在一个实施例中，若干图像传感器可用于获得人615的3D或立体图像。在一个实施例中，相机611以高帧率(例如，每秒30帧或更高)获得图像以实现实时成像。
在一些实施例中，相机611包括能够捕获多个照明波长(例如，能够捕获IR和可见光两者)的图像传感器。相机611可以包括带通滤波器11，其使可见光能够通过，可选地连同近红外光(例如850nm或940nm)附近的带通一起通过。
在一些实施例中，系统600包括一个或多个照明源613，诸如红外线或近红外线(也称为IR)照明源(例如，以850nm或940nm照明的LED)。使用IR照明源使得即使在低光照条件下例如在夜间和人眼的可见度低时也能够获得空间的图像数据。
通常，照明源613和相机611两者与处理器610和一个或多个存储器单元612通信，并且可以将数据传输到处理器610和/或受处理器610生成的信号控制。
处理器610还可以与照度传感器诸如照度计619通信，该照度传感器可以测量空间614中(可能在空间614内的特定位置，例如在人615附近和/或在人的脸或眼睛附近)的照度。从照度计619提供的数据可以由处理器610使用来计算来自照明源613的照明是否低于阈值，如果是，则处理器610可以控制照明源613以一定强度照明，以将空间614中的照度达到使人眼的可见度高于预定阈值所需的最小照度。
系统600的部件和/或外部部件(诸如照度计619和可根据本发明的实施例控制的装置)之间的通信可以通过有线或无线连接进行。例如，系统600可以包括互联网连接。
处理器610可以包括例如一个或多个处理器并且可以是中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、微处理器、控制器、芯片、微芯片、集成电路(IC)或任何其他合适的多用途或特定处理器或控制器。
在一些实施例中，处理器610是专用单元。在其他实施例中，处理器610可以是已经存在的处理器诸如车辆处理器的一部分。例如，处理器610可以是已经存在于车辆中的多核CPU(诸如车辆IVI(车载信息娱乐)系统、车辆的远程信息处理盒、域控制器或与车辆相关联的另一处理器)的一个核心。
处理器610可以是本地嵌入的或远程的，例如基于云的。
一个或多个存储器单元612可以包括例如随机存取存储器(RAM)、动态RAM(DRAM)、闪存、易失性存储器、非易失性存储器、高速缓存存储器、缓冲器、短期记忆单元、长期记忆单元或其他合适的记忆单元或存储单元。
根据一些实施例，图像数据可以存储在存储器单元612中。典型地，存储器单元612存储可执行指令，当被处理器610执行时，该指令有利于执行处理器610的操作，如本文所述。
在一个实施例中，处理器610确定由相机611捕获的人615的图像中的可见度条件。处理器610确定使得能够检测人15的眼睛的可见度条件。然后，基于可见度条件，处理器610可以控制装置(诸如相机611、照明源613或其他装置)。
在一些实施例中，可见度条件使得能够从由相机611捕获的图像中提取生物特征参数。可以指示人的状态的生物特征参数尤其包括眼睛相关参数，诸如一个或多个眼睛瞳孔方向、瞳孔直径、眨眼频率、眨眼长度和眼睑闭合百分比(眼睑闭合度)。
在其他实施例中，可见度条件使得能够检测人615的眼睛的凝视方向。
系统600使得能够运行现有计算系统(例如，如上文详述的)，然而，该现有计算系统未配备眼睛检测和/或凝视方向跟踪可能需要的IR照明和其他硬件。系统600的另一个优点是处理器610可以与相机611和/或照明源613分开运行，且因此可以应用于已经存在的相机/照明系统和/或使得能够灵活选择相机和/或照明源和/或在空间614内定位它们。
系统600可以用于游戏目的，例如，当需要跟踪人的凝视方向时，并且处理器610可以控制游戏装置的功能。系统600可以用于医疗目的并且可以控制医疗装置。系统600可以用于安全目的，例如，当需要观察人的眼睛时并且当与机器人或个人助理通信时，例如在检测人的凝视方向时很有用。系统600可以用于广告和电视和家用电器以及其他应用中，其中装置可以基于人的凝视方向和/或基于人的生物特征参数(例如，与眼睛相关的生物特征参数)来控制。
上述系统600和方法允许在不需要恒定和高强度IR照明情况下的从远处(例如～40cm-～5mr)的准确脸和眼睛跟踪，从而提供具有低功耗、很少发热问题和很少用户安全问题的划算系统。

Claims (29)

1.一种用于监视空间中的人的方法，所述方法包括：
获得所述人的至少一张脸的图像；和
使用处理器来
在所述图像中检测所述人的所述脸附近的太阳镜，以及
基于所述图像中检测所述人的所述脸附近的所述太阳镜来操作IR照明装置。
2.根据权利要求1所述的方法，其包括基于所述太阳镜的所述检测，使用所述处理器来打开/关闭所述IR照明装置。
3.根据权利要求2所述的方法，其包括基于所述太阳镜的所述检测和基于所述IR照明装置在所述空间中的位置，使用所述处理器来打开/关闭所述IR照明装置。
4.根据权利要求1所述的方法，其包括基于所述太阳镜的所述检测，使用所述处理器来改变所述IR照明装置的照明强度。
5.一种用于监视空间中的人的方法，所述方法包括：
获得所述人的至少一部分的图像，所述图像包括所述人的眼睛；和
使用处理器来
确定所述图像中所述人的所述眼睛相对于预定阈值的可见度，以及
基于所述眼睛相对于所述预定阈值的所述可见度来控制装置。
6.根据权利要求5所述的方法，其中，所述装置是照明装置。
7.根据权利要求6所述的方法，其包括当所述眼睛的所述可见度低于所述阈值时使用所述处理器来启用所述照明装置。
8.根据权利要求6所述的方法，其包括如果所述眼睛的可见度低于所述预定阈值，则控制照明装置以第一波长照明，并且如果所述眼睛的可见度高于所述预定阈值，则控制照明装置以第二波长照明。
9.根据权利要求6所述的方法，其包括如果所述眼睛的可见度低于所述预定阈值，则控制照明装置以第一强度照明，并且如果所述眼睛的可见度高于所述预定阈值，则控制所述照明装置以第二强度照明。
10.根据权利要求6所述的方法，其中，所述照明装置是IR照明装置。
11.根据权利要求5所述的方法，其中，所述装置是被配置为捕获所述人的所述至少一部分的所述图像的相机。
12.根据权利要求11所述的方法，其包括如果所述眼睛的可见度低于所述预定阈值，则控制第一相机捕获图像，并且如果所述眼睛的可见度高于所述预定阈值，则控制第二相机捕获所述图像。
13.根据权利要求11所述的方法，其包括基于所述眼睛相对于所述预定阈值的所述可见度来控制所述相机的灵敏度。
14.根据权利要求5所述的方法，其包括使用所述处理器在所述图像中检测所述人的脸附近的太阳镜，并在检测到所述太阳镜时确定所述眼睛的所述可见度低于所述预定阈值。
15.根据权利要求5所述的方法，其包括检测所述空间中的照度；并且其中所述处理器基于所述空间中的所述照度确定所述眼睛相对于所述预定阈值的所述可见度。
16.根据权利要求15所述的方法，其包括使用所述处理器来基于所述眼睛的可见度来打开/关闭IR照明装置。
17.根据权利要求15所述的方法，其包括使用所述处理器来基于所述眼睛的可见度来改变IR照明装置的照明强度。
18.根据权利要求15所述的方法，其包括通过对所述人的所述至少一部分的所述图像应用图像分析算法来检测所述空间中的照度。
19.根据权利要求15所述的方法，其中，检测所述空间中的照度包括从照度计接收数据。
20.根据权利要求5所述的方法，其中，所述处理器基于所述眼睛相对于所述预定阈值的所述可见度来控制所述空间中不同位置处的装置。
21.根据权利要求5所述的方法，包括：
获得多个员的图像；和
使用所述处理器来
确定所述多个人员中的至少一些人员的所述眼睛相对于所述预定阈值的可见度；
基于所述多个人员中的所述至少一些人员的所述眼睛的所述可见度来计算可见度的组合值；和
基于所述可见度的组合值来控制所述装置。
22.一种用于监视空间中的人的系统，所述系统包括：
相机，其包括被配置为收集可见光和红外光两者的图像传感器，所述相机用于捕获所述人的图像；和
处理器，其被配置为
确定所述人的所述图像中的可见度条件，其使得能够检测所述人的所述眼睛，以及
基于所述可见度条件控制装置。
23.根据权利要求22所述的系统，其中，所述装置包括所述相机或照明源。
24.根据权利要求22所述的系统，其中，所述可见度条件使得能够检测所述人的所述眼睛的凝视方向。
25.一种用于监视空间的系统，所述系统包括：
用于捕获所述空间的图像的相机；和
处理器，其被配置为
检测所述空间的所述图像中的第一人类型和第二人类型，
对所述第一人类型应用第一监视算法，而对所述第二人类型应用第二监视算法，以及
基于所述第一监视算法和所述第二监视算法的结果输出所述空间的状态。
26.根据权利要求25所述的系统，其中，所述处理器被配置为在所述空间的图像中跟踪所述第一人类型和所述第二人类型。
27.根据权利要求25所述的系统，其中，所述处理器被配置为基于所述第一人类型和第二人类型在所述空间中的位置来检测所述第一人类型和所述第二人类型。
28.根据权利要求25所述的系统，其中，所述处理器被配置为基于所述空间的图像中的所述第一人类型和所述第二人类型的外观来检测所述第一人类型和所述第二人类型。
29.根据权利要求25所述的系统，其中，所述处理器被配置为基于在所述空间的整个图像中对所述人的跟踪来检测所述第一人类型和所述第二人类型。
CN202080009766.XA 2019-01-17 2020-01-16 使用红外线和可见光监视人的方法和系统 Pending CN113316805A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962793390P 2019-01-17 2019-01-17
US62/793,390 2019-01-17
PCT/IB2020/050342 WO2020148697A2 (en) 2019-01-17 2020-01-16 Method and system for monitoring a person using infrared and visible light

Publications (1)

Publication Number Publication Date
CN113316805A true CN113316805A (zh) 2021-08-27

Family

ID=71613719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080009766.XA Pending CN113316805A (zh) 2019-01-17 2020-01-16 使用红外线和可见光监视人的方法和系统

Country Status (4)

Country Link
US (1) US20220083786A1 (zh)
EP (1) EP3912149A4 (zh)
CN (1) CN113316805A (zh)
WO (1) WO2020148697A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824511B (zh) * 2022-05-09 2023-12-01 南臺學校財團法人南臺科技大學 瞳孔影像檢測系統及其方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022102494A (ja) * 2020-12-25 2022-07-07 スズキ株式会社 乗員監視装置
US11778315B2 (en) * 2021-12-09 2023-10-03 Fotonation Limited Vehicle occupant monitoring system including an image acquisition device with a rolling shutter image sensor
CN117710620B (zh) * 2024-02-05 2024-05-07 江西求是高等研究院 仿真智能体目标可见性检测方法、系统和存储介质及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6220706B1 (en) * 2000-02-10 2001-04-24 Carl Zeiss, Inc. Method and apparatus for determining position of an eye
CN101574261A (zh) * 2009-06-18 2009-11-11 金会庆 一种驾驶疲劳远程监控预警装置
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车
CN201677877U (zh) * 2008-06-13 2010-12-22 福特全球技术公司 基于驾驶员身份控制乘客通信装置的系统
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN105144199A (zh) * 2013-02-21 2015-12-09 Iee国际电子工程股份公司 支持多种功能的基于成像装置的乘坐者监控系统
CN106570444A (zh) * 2015-10-10 2017-04-19 腾讯科技（深圳）有限公司 基于行为识别的车载智能提醒方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
US8750853B2 (en) * 2010-09-21 2014-06-10 Cellepathy Ltd. Sensor-based determination of user role, location, and/or state of one or more in-vehicle mobile devices and enforcement of usage thereof
CN103268468B (zh) * 2012-07-06 2017-02-22 华南理工大学 机动车前排就坐者是否扣带安全带的自动检测方法
JP2015096413A (ja) * 2013-10-11 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 処理方法、プログラム、処理装置および検出システム
EP3358547A4 (en) 2015-09-29 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
EP3291191B1 (en) * 2016-08-29 2019-10-09 Panasonic Intellectual Property Management Co., Ltd. Suspicious person report system and suspicious person report method
US11151813B2 (en) * 2017-06-28 2021-10-19 Zendrive, Inc. Method and system for vehicle-related driver characteristic determination

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6220706B1 (en) * 2000-02-10 2001-04-24 Carl Zeiss, Inc. Method and apparatus for determining position of an eye
CN201677877U (zh) * 2008-06-13 2010-12-22 福特全球技术公司 基于驾驶员身份控制乘客通信装置的系统
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车
CN101574261A (zh) * 2009-06-18 2009-11-11 金会庆 一种驾驶疲劳远程监控预警装置
CN105144199A (zh) * 2013-02-21 2015-12-09 Iee国际电子工程股份公司 支持多种功能的基于成像装置的乘坐者监控系统
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN106570444A (zh) * 2015-10-10 2017-04-19 腾讯科技（深圳）有限公司 基于行为识别的车载智能提醒方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824511B (zh) * 2022-05-09 2023-12-01 南臺學校財團法人南臺科技大學 瞳孔影像檢測系統及其方法

Also Published As

Publication number Publication date
WO2020148697A3 (en) 2020-10-08
WO2020148697A2 (en) 2020-07-23
EP3912149A2 (en) 2021-11-24
US20220083786A1 (en) 2022-03-17
EP3912149A4 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
US20220083786A1 (en) Method and system for monitoring a person using infrared and visible light
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
JP6591085B2 (ja) 乗り物酔い推定装置、乗り物酔い防止装置および乗り物酔い推定方法
JP6454368B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
US20150238087A1 (en) Biological information measurement device and input device utilizing same
US11455810B2 (en) Driver attention state estimation
Lee et al. Measuring the degree of eyestrain caused by watching LCD and PDP devices
US20200104617A1 (en) System and method for remote monitoring of a human
TWI522257B (zh) 車用安全系統及其運作方法
CN109964230B (zh) 用于眼睛度量采集的方法和设备
US10874357B2 (en) Eye movement measuring device and eye movement analysis system
US20180063625A1 (en) Wireless Earpiece and Smart Glasses System and Method
JP2020515309A (ja) 方法および車両内で方法を実行するための装置
CN110462625A (zh) 面部识别装置
Yoon et al. Driver’s eye-based gaze tracking system by one-point calibration
US11200713B2 (en) Systems and methods for enhancing vision
Hamada et al. Detecting method applicable to individual features for drivers' drowsiness
CN114391129A (zh) 凝视方向的确定
Mohan et al. Eye Gaze Estimation Invisible and IR Spectrum for Driver Monitoring System
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法
CN112041903A (zh) 用于影响用于监控注意力的系统的方法
Kim et al. Resolution estimation technique in gaze tracking system for HCI
US20240051465A1 (en) Adaptive monitoring of a vehicle using a camera
US20210350554A1 (en) Eye-tracking system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210827

WD01 Invention patent application deemed withdrawn after publication