CN105122784B - 在低光照和高光照状况下的对象识别 - Google Patents

在低光照和高光照状况下的对象识别 Download PDF

Info

Publication number
CN105122784B
CN105122784B CN201380067876.1A CN201380067876A CN105122784B CN 105122784 B CN105122784 B CN 105122784B CN 201380067876 A CN201380067876 A CN 201380067876A CN 105122784 B CN105122784 B CN 105122784B
Authority
CN
China
Prior art keywords
illumination level
optical sensor
pair
threshold value
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380067876.1A
Other languages
English (en)
Other versions
CN105122784A (zh
Inventor
J·T·金
T·埃尔多克尔
P·瓦格赫菲纳扎里
S·M·山本
R·W·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ai Ji 3 Technology Co Ltd
Honda Motor Co Ltd
Original Assignee
Ai Ji 3 Technology Co Ltd
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ai Ji 3 Technology Co Ltd, Honda Motor Co Ltd filed Critical Ai Ji 3 Technology Co Ltd
Publication of CN105122784A publication Critical patent/CN105122784A/zh
Application granted granted Critical
Publication of CN105122784B publication Critical patent/CN105122784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Abstract

一种系统，用于在具有动态照度水平的车辆中从乘员或驾驶员捕获用于姿势的图像数据，所述系统包含：低光照传感器，其被安装为在具有低于照度阈值的照度水平的环境下捕获图像数据；高光照传感器，其被安装为在具有高于照度阈值的照度水平的环境下捕获图像数据；以及对象识别模块，其用于启动传感器。如果照度水平低于照明阈值，则对象识别模块判定环境的照度水平，且启动低光照传感器。如果照度水平高于阈值，则对象识别模块启动高光照传感器。

Description

在低光照和高光照状况下的对象识别
技术领域
本发明涉及对象识别，尤其涉及在低光照和高光照状况下的车辆中的对象识别。
背景技术
图像传感器用于在各种不同环境下捕获对象的图像数据。而且，图像传感器或辅助设备被调整成最适合被监测的环境。例如，在具有低照度即低光照水平的环境下，图像传感器可辅以提供固定照度的照射源。虽然这样的调整非常适用于静态环境，但这些调整无法应对动态环境中出现的问题。例如，当由于车辆驶过暗区域或在夜间行驶而导致车辆内的照度水平降低时，监测车辆内的对象且针对特定的照度水平而被调整了的图像传感器可能无效。
发明内容
本发明的各实施方式在具有动态照度水平的车辆中从乘员或驾驶员捕获用于姿势的图像数据。所公开的系统包括：低光照传感器，其被安装为在具有低于照度阈值的照度水平的环境下捕获图像数据；高光照传感器，其被安装为在具有高于照度阈值的照度水平的环境下捕获图像数据；以及对象识别模块，其用于启动和停用传感器。低光照和高光照传感器位于车辆的顶置控制台(overhead console)。
对象识别模块判定环境的照度水平，并判定照度水平是否低于照度水平阈值。如果照度水平低于阈值，则对象识别模块启动低光照传感器。在一个实施方式中，对象识别模块也随着低光照传感器的启动而启动照射源。照射源照亮低光照传感器的环境，并允许低光照传感器捕获低照度水平下的图像数据。如果照度水平高于阈值，则对象识别模块启动高光照传感器。在一个实施方式中，高光照传感器包含红外滤光片来减少到达高光照传感器的红外光量。
本发明的其他实施方式包含：计算机可读介质，其存储用于实现上述系统的功能的命令；计算机实现的方法，其包含实施上述功能的步骤。
附图说明
图1是基于一个实施方式说明用于在具有动态照度水平的环境下捕获图像数据的计算环境的框图。
图2是基于一个实施方式说明用于在具有动态照度水平的环境下捕获图像数据的计算环境中的对象识别模块的框图。
图3是基于一个实施方式说明用于在具有动态照度水平的环境下捕获图像数据的方法的流程图。
具体实施方式
本文中所描述的计算环境在车辆中在低光照和高光照状况下从驾驶员或乘员捕获表示姿势的图像数据。附图和以下描述仅通过实例的方式来描述某实施方式。本领域技术人员将从以下描述容易地认识到在不背离本文描述的原则的情况下能采用本文描述的结构和方法的替代实施方式。详细地参考几个实施方式，这些实施方式的示例描绘在附图中。应注意的是，适当时，在附图中使用类似或相同的附图标记，且类似或相同的附图标记表示类似或相同的功能。
系统环境
参照图1，在具有动态照度水平的环境下捕获图像数据的计算环境100包含：对象识别模块102、一对低光照图像传感器104a-b(例如，红外传感器)、一对高光照图像传感器106a-b(例如，RGB传感器)、照度水平探测仪110、和通信模块112。虽然所描述的计算环境100包含两个低光照图像传感器104a-b和两个高光照图像传感器106a-b，但计算环境100的其他实施方式可包含一个或多个低光照图像传感器104a-b和高光照图像传感器106a-b。另外，在一个实施方式中，计算环境100存在于车辆或移动舱中。计算环境100也可以位于其他具有动态照度水平的环境中。
照度水平探测仪110是用于测量环境100中存在的光量的设备。在一个实施方式中，照度水平探测仪110包括将光转换成能够测量的电的光伏式传感器。照度水平探测仪110测量产生的电量并基于测量的电对环境判定光量或照度水平。在一个实施方式中，照度水平探测仪采用测光表的原理，例如反射式测光表或入射式测光表来测量环境100中的照度水平。
对象识别模块102从照度水平探测仪110接收所测量的照度水平，来判定该照度水平是否超过光照阈值，并基于该判定启动该高光照图像传感器106a-b或该低光照图像传感器104a-b。在一个实施方式中，对象识别模块102响应于判定照度水平低于光照阈值而启动低光照图像传感器104a-b，并响应于判定照度水平等于或大于光照阈值而启动高光照图像传感器106a-b。在另一实施方式中，对象识别模块102确保低光照传感器104a-b和高光照传感器106a-b这两者不同时启动。因此，响应于启动低光照传感器104a-b，对象识别模块102使所有工作的高光照传感器106a-b停用，反之亦然。然后，对象识别模块102从被启动的传感器104、106接收图像数据，并处理接收到的图像数据，根据处理来识别图像中的对象。在一个实施方式中，该被识别的对象是正在进行特定姿势的人，并且对象识别模块102基于被识别的对象执行如通过通信模块112来与用户进行通信的功能。
低光照传感器104a-b和高光照传感器106a-b的通过对象识别模块102的择性性启动有益地确保了该对象识别模块102在低光照状况(例如，当环境100包含低光量的状况)和在高光照状况(例如，当环境100包含足够或高光量的状况)下捕获数据。因此，对象识别模块102能有益地用于具有动态照度水平的环境来捕获和处理图像数据。
通信模块112提供介于用户和对象识别模块102的界面。通信模块112因此包含输出设备和可选择的输入设备来与用户进行通信。输出设备的例子包含用来进行视觉通信的触摸屏和用来进行音频通信的音频设备。输入设备的例子包含触摸屏、鼠标和辅助键盘。
高光照传感器106a-b是能在大于或等于光照阈值的照度水平捕获图像数据的图像传感器。这样的高光照传感器106a-b的例子包括对光具有合适的灵敏度、即合适的亮度范围的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，来在大于或等于光照阈值的照度水平下捕获图像数据。图像传感器106a的亮度范围是场景亮度的范围，在该场景亮度的范围下，安装该传感器106a-b以捕获图像数据。例如，高光照传感器106a-b的亮度范围可以是每平方米300-1000坎德拉或1000-12000勒克斯。
在一个实施方式中，高光照传感器106a-b是捕获图像数据来重建环境100的彩色图像的彩色图像传感器。这些彩色高光照传感器106a-b可以选择地与红外阻挡滤光片一同使用来将由具有红外波长的光导致的任何失真减少或最小化。在一个实施方式中，两个高光照传感器106a-b彼此相距瞳孔距离(即人眼之间的近似距离)，来捕获用于立体图像处理的三维图像。
低光照传感器104a-b是能够在低于光照阈值的照度水平下捕获图像数据的图像传感器。这样的低光照传感器104a-b的例子包括具有合适的亮度范围的CCD或CMOS传感器，来在低于光照阈值的照度水平下捕获图像数据。在一个实施方式中，低光照图像传感器具有每平方米25-350坎德拉或0-80勒克斯的亮度范围。在一个实施方式中，两个低光照传感器104a-b彼此相距瞳孔距离，来捕获用于立体图像处理的三维图像。在一个实施方式中，低光照传感器104a-b的亮度范围不同于高光照传感器106a-b的亮度范围。不同的亮度范围使低光照传感器能够更好地捕获较低照度水平下的图像数据，并且使高光照传感器能够更好地捕获较高照度水平下的图像数据。在另一个实施方式中，低光照图像传感器104a-b的亮度范围和高光照图像传感器106a-b的亮度范围一致。
在一个实施方式中，该低光照图像传感器104a-b具有相关联的照射源108a-b，照射源108a-b照亮低光照图像传感器104a-b的视场。具有相关联的照射源的图像传感器的例子包含DEFENDER SPARTAN5夜视相机和CCTV EX11DXL双传感器彩色夜视相机。而且，在如下述的一个实施方式中，照射源108a-b发出具有包含单一波长或近似波长的光谱的光。在该实施方式中，低光照传感器104a-b是有效转换接收的具有与由照射源108a-b发出的光的波长近似的波长的光的单色图像传感器。这些单色低光照传感器104a-b有益地擅长捕获低照度水平下的图像数据。
在一个实施方式中，照射源108a-b发出红外光来照亮场景，低光照传感器104a-b在该实施方式中，不包含用于减少或最小化到达低光照传感器104a-b的红外光的红外滤光片。由于照射源108a-b用红外光照亮场景，所以当该环境100被红外光照亮时，缺少红外滤光片有益地使低光照传感器104a-b捕获图像数据。
照射源108a-b在一个实施方式中，包含于或附接于低光照图像传感器104a-b。在环境100的其他实施方式中，照射源108a-b物理地与低光照图像传感器104a-b分离。
照射源108a-b在一个实施方式中，为近红外(NIR)光发光二极管(LEDs)，其发出近红外光来照亮传感器104a-b的视场。由于近红外光对人类不可见，所以NIR光有益地照亮视场而不干扰环境100中的人。在被照亮的环境100为车辆内的情形下，不干扰驾驶员地照亮环境100是令人满意的。在另一实施方式中，照射源108a-b发出NIR光以外的光来照亮视场。另外，在一个实施方式中，照射源108a-b发出具有包含单一波长或近似波长的光谱的光，这是因为用这样的光照亮视场有益地降低了基于低光照图像传感器104a-b所捕获的数据而产生的图像色度。
在另一实施方式中，照射源108a-b发出具有在低光照图像传感器104a-b的响应曲线的峰值处的范围内的光谱带的光。图像传感器的响应曲线表示在不同波长该传感器接收到的每光量所产生的电流的传感器效率。因此，照射源108a-b发出具有包含如下波长的光谱带的光，在该波长下，由低光照图像传感器104a-b接收的每光量而传感器104a-b产生大量的电流。例如，照射源108a-b发出波长在750纳米(nm)至900nm之间的光，这是由于低光照传感器104a-b针对在这些波长所接收的光而产生0.2-0.275安培每瓦(A/W)，而且通常针对在其他波长的光而产生更少的电流。
照射源108a-b、低光照传感器104a-b、高光照传感器106a-b可选地在物理上位于比环境100中被监测的区域高的位置。位于较高位置的传感器104a-b、106a-b有益地对传感器104a-b、106a-b提供被监测区域的大致无遮挡的视野。例如，当环境100位于车辆内且被监测的区域是驾驶员或乘员周围的区域时，传感器104a-b、106a-b和照射源108a-b位于驾驶席与乘员席之间的中控台之上的顶置控制台。除了大致无遮挡的视野之外，传感器104a-b、106a-b在车辆中的位置减少从前挡风玻璃进入车辆的直接入射光的任何不良影响。
另外，在一个实施方式中，照射源108a-b邻近传感器104a-b，且照射源108a-b照亮传感器104a-b之前的区域。由于照射源108a-b相对于传感器相邻而不是相对，所以来自传感器104a-b上的照射源108a-b的直接入射光被有益地最小化。
对象识别模块
图2是基于一个实施方式说明用于在具有动态照度水平的环境下捕获图像数据的计算环境中的对象识别模块的框图。对象识别模块102包含：照度水平模块202、照度阈值模块204、捕获源模块206、照射源模块208、图像数据存储器210和图像处理模块212。
照度水平模块202以可通信的方式耦合至照度水平探测仪110，且该照度水平模块202判定探测仪110所测量的照度水平。在一个实施方式中，该照度水平模块202反复轮询(poll)照度水平探测仪110来判定所测量的照度水平。在另一实施方式中，照度水平探测仪110被配置成反复传输测量的照度水平，且照度水平模块202接收传输来的照度水平。在又一实施方式中，照度水平模块202接收阈值量的照度水平测量值，或在阈值时间内接收照度水平测量值，且照度水平模块202基于接收到的读数来判定照度水平。例如，关于照度水平，可以判定接收到的读数的平均值来作为照度水平。这样的基于多个照度水平测量值的判定有益地使对象识别模块102能够考虑到任何的异常读数，该异常读数可能是由于探测仪110的临时故障或探测仪110之前的临时障碍物而产生的。
照度阈值模块204从照度水平模块202接收所判定出的照度水平，并判定该判定出的照度水平是否超过光照阈值。在一个实施方式中，该光照阈值是可设置的，且用户或模块可通过用户界面而对照度阈值模块204提供合适的光照阈值。在一个实施方式中，光照阈值基于低光照图像传感器104a-b或高光照图像传感器的亮度范围。例如，光照阈值被设置为在低光照传感器104a-b和高光照传感器106的亮度范围内的重叠的值。因此，如果低光照传感器104a-b的亮度范围为每平方米25-350坎德拉，且高光照传感器106a-b的亮度范围为每平方米300-1000坎德拉，则光照阈值可被设置为每平方米325坎德拉。这样的光照阈值有益地确保当传感器104、106的任一个被启动时，当前照度水平在传感器104、106的亮度范围内。
捕获源模块206基于由照度阈值模块204做出的判定来启动低光照传感器104a-b或高光照传感器106a-b。如果照度阈值模块204判定照度水平大于或等于光照阈值，则捕获源模块206启动高光照传感器106a-b。否则，捕获源模块206启动低光照传感器104a-b。在一个实施方式中，当捕获源模块206启动高光照传感器106a-b时，捕获源模块206使低光照传感器104a-b停用，反之亦然。这样的停用有益地确保图像数据被与环境100的当前的光照状况相适的合适的传感器捕获。
照射源模块208控制照射源108a-b的启动和停用。在一个实施方式中，照射源模块208与捕获源模块206进行通信，且照射源模块208响应捕获源模块206启动和停用低光照传感器104a-b而启动和停用照射源108a-b。在另一实施方式中，照射源模块208基于照度阈值模块204作出的判定来启动和停用照射源108a-b。如果照度阈值模块204判定照度水平等于或大于照明阈值，则照射源模块208停用所有工作的照射源108a-b。否则，照射源模块208启动照射源108a-b。启动的照射源108a-b有益地照亮低光照传感器104a-b的视场。
图像数据存储器210是易失性或非易失性存储器，其接收并存储通过图像传感器104a-b、106a-b捕获的图像数据。在一个实施方式中，图像数据存储器210分别存储来自低光照传感器104a-b和高光照传感器106a-b的图像数据。分别存储的数据使图像处理模块212能够根据需要以不同的方式处理来自两个不同类型的传感器104a-b、106a-b的图像数据。
图像处理模块212处理存储于图像数据存储器210中的图像，根据处理来识别对象，并根据识别的对象来发起响应。图像处理模块212可实现如立体图像处理技术这样的技术来处理数据和识别对象。这样的技术的一个例子在题目为“立体图像处理”(可从http://dsp-book.narod.ru/DSPMW/57.PDF获取)的学术论文中有描述，通过引用该论文全部而包含于本文。基于识别的对象，图像处理模块212判定并发起合适的响应。例如，图像处理模块212可处理存储的图像数据并判定所存储的图像数据表示人正在进行一个特殊的姿势。响应于该判定，图像处理模块212查询数据库(未图示)并判定与该姿势相关联的用户请求。图像处理模块212然后指示合适的处理来采取合适的动作以响应所判定出的请求。例如，如果该请求表示用户想要命令音频播放器来播放特定的音乐文件，则图像处理模块212与音乐播放器进行通信，并命令播放器来播放该音乐文件。与各种姿势相关联的请求的其他例子包括：请求启动或停用汽车内的光、请求汽车中的应用程序如全球定位系统的启动或停用、和请求驾驶特征如巡航控制的启动或停用。
对象识别方法
图3是基于一个实施方式说明用于在具有动态照度水平的环境下捕获图像数据的方法的流程图。对象识别模块102判定环境100中的照度水平(步骤302)，并判定该照度水平是否低于光照阈值(步骤304)。如果照度低于光照阈值，则对象识别模块102使低光照传感器104a-b启动(步骤306)，并选择性地启动照射源108a-b。在一个实施方式中，对象识别模块102也随着低光照传感器104a-b的启动而停用所有工作的高光照传感器106a-b(步骤306)。
如果所判定出的照度水平不低于光照阈值，则对象识别模块102启动高光照传感器106a-b(步骤308)。此外，在一个实施方式中，对象识别模块102随着高光照传感器106a-b的启动而停用所有工作的低光照传感器104a-b和照射源108a-b。然后，对象识别模块102捕获图像数据(步骤310)并处理图像数据(步骤312)。在一个实施方式中，随着照度水平反复地变化为高于或低于光照阈值的水平，对象识别模块102反复地启动高光照传感器106a-b和低光照传感器104a-b。对象识别模块102从传感器104a-b、106a-b获取数据，并处理所获取的数据。在另一实施方式中，高光照传感器106a-b和低光照传感器104a-b始终工作，对象识别模块102基于照度水平而从某一个传感器获取数据。如果照度水平低于光照阈值，则对象识别模块102从低光照传感器104a-b获取数据并处理数据。否则，对象识别模块102从高光照传感器106a-b获取数据并处理数据。因此，识别模块102能够在如车辆驶过隧道那样的光照水平变化的状况下获取并处理数据，其中，在车辆驶过隧道中，光照水平随着车辆进入和驶离隧道而增加和减少。根据处理，对象识别模块102识别图像中的对象并发起合适的响应(步骤314)。
上述说明的本发明的实施方式目的在于例示，其并不意图穷举或将本发明限定为所公开的精确形式。本领域技术人员基于上述公开能理解可进行多种修改和变形。
本说明书中的某些部分按照信息处理的算法和符号表示说明了本发明的实施方式。这些算法描述和表示通常被数据处理领域的技术人员使用来将其工作的实质内容有效地传达给该领域的其他技术人员。在功能、计算、逻辑上说明的这些操作，被理解为通过计算机程序或等效电路、微代码等而实现。此外，参考这些操作的配置例如模块有时也被证明是便利的，而不失一般性。说明的操作和其相关联的模块可以被体现在软件、固件、硬件、或它们的任意组合中。本领域的一个普通技术人员将理解实现所说明的模块的硬件包含至少一个处理器和存储器，该存储器包含执行所说明的模块功能的命令。
本文说明的任一步骤、操作或处理可以用一个或多个硬件或软件模块单独或与其他设备组合来实施或实现。在一个实施方式中，软件模块用计算机程序产品实现，其包含：包括计算机程序代码的非瞬时(non-transitory)计算机可读介质，计算机程序代码能被计算机处理器执行来实现任意或所有所说明的步骤、操作、或处理。
本发明的实施方式也可以适用于用于实施本文中的操作的设备。该设备能为要求的目的而特别构造，及/或可以包含被存储在计算机中的计算机程序选择性地启动或重新配置的通用计算设备。这种计算机程序可以被存储于非瞬时的、有形的计算机可读存储介质中，或适合存储电子命令、可耦合于计算机系统总线的任意类型的介质。此外，本说明书中涉及到的所有计算系统能包含一个独立的处理器或可以为了增强计算能力而采用多处理器设计的结构。
本发明的实施方式也可以适用于通过本文中说明的计算过程(computingprocess)而制造的产品。这样的产品可包含由计算过程产生的信息，该信息被存储于非瞬时的、有形的计算机可读存储介质，并且这样的产品可包含本文说明的计算机程序产品或其他数据组合的任意实施方式。
最后，本说明书中使用的语言主要选择为可读性和指导性目的，而不被选择为描述或限制发明的主题。因此本发明的范围不被该具体的描述限制，而是被基于申请提出的所有权利要求所限制。因此，本发明的实施方式的公开意图是示意性的，但不限制发明的范围，发明的范围在所附权利要求中阐明。

Claims (30)

1.一种计算机实现的方法，用于在具有动态照度水平的车辆中从乘员或驾驶员捕获用于姿势的图像数据，所述方法包含：
判定所述车辆中的照度水平，所述车辆包含位于所述车辆的顶置控制台的一对低光照传感器和一对高光照传感器，所述一对低光照传感器彼此相距瞳孔距离并且所述一对高光照传感器彼此相距瞳孔距离，所述一对低光照传感器被分配为在具有低于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据，所述一对高光照传感器被分配为在具有高于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据；
通过照度阈值模块判定所判定出的所述照度水平是否低于阈值照度水平；
当所述照度水平低于所述阈值照度水平时处理由所述低光照传感器捕获的图像数据，其中处理所述图像数据包括从由所述一对低光照传感器捕获的所述图像数据中识别对象以及基于识别出的所述对象来发起响应；以及
当所述照度水平高于所述阈值照度水平时处理由所述高光照传感器捕获的图像数据，其中处理所述图像数据包括从由所述一对高光照传感器捕获的所述图像数据中识别对象以及基于识别出的所述对象来发起响应。
2.根据权利要求1所述的计算机实现的方法，还包含：
判定所述照度水平低于所述阈值照度水平；
处理由所述一对低光照传感器捕获的图像数据；
判定所述照度水平高于所述阈值照度水平；以及
处理由所述一对高光照传感器捕获的图像数据。
3.根据权利要求1所述的计算机实现的方法，还包含：
响应于所述照度水平低于所述阈值照度水平的判定而启动照射源。
4.根据权利要求1所述的计算机实现的方法，其中，
所述一对低光照传感器和所述一对高光照传感器具有不同的亮度范围，其中，传感器的亮度范围是所述传感器被安装以捕获图像数据的场景亮度的范围。
5.根据权利要求4所述的计算机实现的方法，其中，
所述一对低光照传感器的亮度范围和所述一对高光照传感器的亮度范围有重合，且所述阈值照度水平位于亮度范围的重合部分中。
6.根据权利要求1所述的计算机实现的方法，其中，
每一个所述高光照传感器包含红外滤光片来减少到达所述高光照传感器的红外光量。
7.根据权利要求3所述的计算机实现的方法，其中，
所述照射源发出具有在所述一对低光照传感器的响应曲线的峰值处的范围内的光谱的光。
8.根据权利要求1所述的计算机实现的方法，还包含：
响应于所述照度水平低于所述阈值照度水平的判定，判定所述一对高光照传感器是否在工作；以及
响应于所述一对高光照传感器在工作的判定，停用工作的所述一对高光照传感器。
9.根据权利要求1所述的计算机实现的方法，其中，
所述车辆包含用于从驾驶员或乘员捕获表示姿势的图像数据的四个传感器，所述四个传感器位于所述车辆的顶置控制台，其中，所述四个传感器包括两个RGB传感器和两个红外传感器。
10.一种装置，用于在具有动态照度水平的车辆中从乘员或驾驶员捕获用于姿势的图像数据，所述装置包含：
判定所述车辆中的照度水平的装置，所述车辆包含位于所述车辆的顶置控制台的一对低光照传感器和一对高光照传感器，所述低光照传感器被分配为在具有低于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据，所述高光照传感器被分配为在具有高于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据，所述一对低光照传感器彼此相距瞳孔距离并且所述一对高光照传感器彼此相距瞳孔距离；
通过照度阈值模块判定所判定出的所述照度水平是否低于阈值照度水平的装置；
当所述照度水平低于所述阈值照度水平时处理由所述低光照传感器捕获的图像数据的装置；以及
当所述照度水平高于所述阈值照度水平时处理由所述高光照传感器捕获的图像数据的装置。
11.根据权利要求10所述的装置，还包含：
判定所述照度水平低于所述阈值照度水平的装置；
处理由所述低光照传感器捕获的图像数据的装置；
判定所述照度水平高于所述阈值照度水平的装置；以及
处理由所述高光照传感器捕获的图像数据的装置。
12.根据权利要求10所述的装置，还包含：
响应于所述照度水平低于所述阈值照度水平的判定而启动照射源的装置。
13.根据权利要求10所述的装置，其中，
所述低光照传感器和所述高光照传感器具有不同的亮度范围，其中，传感器的亮度范围是所述传感器被安装以捕获图像数据的场景亮度的范围。
14.根据权利要求13所述的装置，其中，
所述低光照传感器的亮度范围和所述高光照传感器的亮度范围有重合，且所述阈值照度水平位于亮度范围的重合部分中。
15.根据权利要求10所述的装置，其中，
所述高光照传感器包含红外滤光片来减少到达所述高光照传感器的红外光量。
16.根据权利要求12所述的装置，其中，
所述照射源发出具有在所述低光照传感器的响应曲线的峰值处的范围内的光谱的光。
17.根据权利要求10所述的装置，还包含：
响应于所述照度水平低于所述阈值照度水平的判定，判定所述高光照传感器是否在工作的装置；以及
响应于所述高光照传感器在工作的判定，停用工作的所述高光照传感器的装置。
18.根据权利要求10所述的装置，其中，
所述车辆包含用于从驾驶员或乘员捕获表示姿势的图像数据的四个传感器，所述四个传感器位于所述车辆的顶置控制台，其中，所述四个传感器包括两个RGB传感器和两个红外传感器。
19.一种计算机系统，用于在具有动态照度水平的车辆中从乘员或驾驶员捕获用于姿势的图像数据，所述计算机系统包含处理器以用于：
判定所述车辆中的照度水平，所述车辆包含位于所述车辆的顶置控制台的一对低光照传感器和一对高光照传感器，所述一对低光照传感器彼此相距瞳孔距离并且所述一对高光照传感器彼此相距瞳孔距离，所述一对低光照传感器被分配为在具有低于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据，所述一对高光照传感器被分配为在具有高于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据；
通过照度阈值模块判定所判定出的所述照度水平是否低于阈值照度水平；
当所述照度水平低于所述阈值照度水平时处理由所述一对低光照传感器捕获的图像数据，其中处理所述图像数据包括从由所述一对低光照传感器捕获的所述图像数据中识别对象以及基于识别出的所述对象来发起响应；以及
当所述照度水平等于或高于所述阈值照度水平时处理由所述一对高光照传感器捕获的图像数据，其中处理所述图像数据包括从由所述一对高光照传感器捕获的所述图像数据中识别对象以及基于识别出的所述对象来发起响应。
20.根据权利要求19所述的计算机系统，还包含用于如下动作的计算机程序代码：
判定所述照度水平低于所述阈值照度水平；
处理由所述一对低光照传感器捕获的图像数据；
判定所述照度水平高于所述阈值照度水平；以及
处理由所述一对高光照传感器捕获的图像数据。
21.根据权利要求19所述的计算机系统，还包含用于如下动作的计算机程序代码：
响应于所述照度水平低于所述阈值照度水平的判定而启动照射源。
22.根据权利要求19所述的计算机系统，其中，
所述一对低光照传感器和所述一对高光照传感器具有不同的亮度范围，其中，传感器的亮度范围是所述传感器被安装以捕获图像数据的场景亮度的范围。
23.根据权利要求22所述的计算机系统，其中，
所述一对低光照传感器的亮度范围和所述一对高光照传感器的亮度范围有重合，且所述阈值照度水平位于亮度范围的重合部分中。
24.根据权利要求19所述的计算机系统，其中，
每一个所述高光照传感器包含红外滤光片来减少到达所述高光照传感器的红外光量。
25.根据权利要求21所述的计算机系统，其中，
所述照射源发出具有在所述一对低光照传感器的响应曲线的峰值处的范围内的光谱的光。
26.根据权利要求19所述的计算机系统，其中，
所述车辆包含用于从驾驶员或乘员捕获表示姿势的图像数据的四个传感器，所述四个传感器位于所述车辆的顶置控制台，其中，所述四个传感器包括两个RGB传感器和两个红外传感器。
27.一种计算机系统，用于在具有动态照度水平的车辆中从乘员或驾驶员捕获用于姿势的图像数据，所述计算机系统包含：
用于判定所述车辆中的照度水平的照度水平模块，所述车辆包含位于所述车辆的顶置控制台的一对低光照传感器和一对高光照传感器，所述一对低光照传感器彼此相距瞳孔距离并且所述一对高光照传感器彼此相距瞳孔距离，所述一对低光照传感器被分配为在具有低于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据，所述一对高光照传感器被分配为在具有高于阈值照度水平的照度水平下从所述车辆中的驾驶员或乘员捕获表示与请求相关联的姿势的图像数据；
用于判定所判定出的所述照度水平是否低于阈值照度水平的照度阈值模块；以及
捕获源模块，当所述照度水平低于所述阈值照度水平时，所述捕获源模块启动所述低光照传感器，并且当所述照度水平高于所述阈值照度水平时，所述捕获源模块启动所述高光照传感器。
28.根据权利要求27所述的计算机系统，其中，
所述一对低光照传感器和所述一对高光照传感器具有不同的亮度范围，其中，传感器的亮度范围是所述传感器被安装以捕获图像数据的场景亮度的范围。
29.根据权利要求28所述的计算机系统，其中，
所述一对低光照传感器的亮度范围和所述一对高光照传感器的亮度范围有重合，且所述阈值照度水平位于亮度范围的重合部分中。
30.根据权利要求27所述的计算机系统，其中，
所述车辆包含用于从驾驶员或乘员捕获表示姿势的图像数据的四个传感器，所述四个传感器位于所述车辆的顶置控制台，其中，所述四个传感器包括两个RGB传感器和两个红外传感器。
CN201380067876.1A 2012-10-24 2013-09-12 在低光照和高光照状况下的对象识别 Active CN105122784B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/659,826 2012-10-24
US13/659,826 US8781171B2 (en) 2012-10-24 2012-10-24 Object recognition in low-lux and high-lux conditions
PCT/US2013/059408 WO2014065951A1 (en) 2012-10-24 2013-09-12 Object recognition in low-lux and high-lux conditions

Publications (2)

Publication Number Publication Date
CN105122784A CN105122784A (zh) 2015-12-02
CN105122784B true CN105122784B (zh) 2018-09-25

Family

ID=50485366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380067876.1A Active CN105122784B (zh) 2012-10-24 2013-09-12 在低光照和高光照状况下的对象识别

Country Status (7)

Country Link
US (4) US8781171B2 (zh)
EP (1) EP2912836B1 (zh)
JP (1) JP6042555B2 (zh)
KR (1) KR101687125B1 (zh)
CN (1) CN105122784B (zh)
IL (1) IL238251A (zh)
WO (1) WO2014065951A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781171B2 (en) 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
CN106304570B (zh) * 2016-10-09 2018-11-02 惠州市海尼克电子科技有限公司 一种置于灯具内检测环境照度的方法及感应器
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
CN111428545A (zh) * 2019-01-10 2020-07-17 北京嘀嘀无限科技发展有限公司 行为判断方法、装置及电子设备
CN112001208A (zh) * 2019-05-27 2020-11-27 虹软科技股份有限公司 用于车辆盲区的目标检测方法、装置和电子设备
CN112541859B (zh) * 2019-09-23 2022-11-25 武汉科技大学 一种光照自适应的人脸图像增强方法
KR20220067733A (ko) * 2020-11-18 2022-05-25 한국전자기술연구원 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6291802A (ja) * 1985-10-18 1987-04-27 Canon Inc 観察計測装置
JP2007336449A (ja) * 2006-06-19 2007-12-27 Asahi Glass Co Ltd 撮像装置
JP2008042806A (ja) * 2006-08-10 2008-02-21 Nikon Corp カメラ
US7602947B1 (en) * 1996-05-15 2009-10-13 Lemelson Jerome H Facial-recognition vehicle security system
JP2010253987A (ja) * 2009-04-21 2010-11-11 Yazaki Corp 車載用撮影ユニット
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011142500A (ja) * 2010-01-07 2011-07-21 Toyota Motor Corp 撮像装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553296B2 (en) * 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US6507779B2 (en) * 1995-06-07 2003-01-14 Automotive Technologies International, Inc. Vehicle rear seat monitor
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
JPH06291802A (ja) 1993-04-02 1994-10-18 Furukawa Electric Co Ltd:The 多重伝送装置
US7049945B2 (en) * 2000-05-08 2006-05-23 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
US7527288B2 (en) * 1995-06-07 2009-05-05 Automotive Technologies International, Inc. Vehicle with crash sensor coupled to data bus
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6545670B1 (en) 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6535242B1 (en) 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US20050271280A1 (en) * 2003-07-23 2005-12-08 Farmer Michael E System or method for classifying images
US7177486B2 (en) * 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
US7123747B2 (en) * 2002-05-28 2006-10-17 Trw Inc. Enhancement of vehicle interior digital images
AU2003290791A1 (en) 2002-11-14 2004-06-15 Donnelly Corporation Imaging system for vehicle
US7088243B2 (en) 2003-05-26 2006-08-08 S1 Corporation Method of intruder detection and device thereof
JP2008518195A (ja) * 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
JP2005173257A (ja) * 2003-12-11 2005-06-30 Canon Inc 測距測光装置及び測距リモコン受信装置
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム，車両内状態検知装置および方法
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP5084322B2 (ja) * 2007-03-29 2012-11-28 キヤノン株式会社 撮像装置及びその制御方法
US20100039500A1 (en) 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8939842B2 (en) 2009-01-13 2015-01-27 Meimadtek Ltd. Method and system for operating a self-propelled vehicle according to scene images
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US8781171B2 (en) * 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6291802A (ja) * 1985-10-18 1987-04-27 Canon Inc 観察計測装置
US7602947B1 (en) * 1996-05-15 2009-10-13 Lemelson Jerome H Facial-recognition vehicle security system
JP2007336449A (ja) * 2006-06-19 2007-12-27 Asahi Glass Co Ltd 撮像装置
JP2008042806A (ja) * 2006-08-10 2008-02-21 Nikon Corp カメラ
JP2010253987A (ja) * 2009-04-21 2010-11-11 Yazaki Corp 車載用撮影ユニット
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011142500A (ja) * 2010-01-07 2011-07-21 Toyota Motor Corp 撮像装置

Also Published As

Publication number Publication date
US9469251B2 (en) 2016-10-18
US20140112528A1 (en) 2014-04-24
US9302621B2 (en) 2016-04-05
KR101687125B1 (ko) 2016-12-15
IL238251A0 (en) 2015-06-30
EP2912836A1 (en) 2015-09-02
JP6042555B2 (ja) 2016-12-14
EP2912836B1 (en) 2018-05-09
US8781171B2 (en) 2014-07-15
JP2015535412A (ja) 2015-12-10
KR20150094607A (ko) 2015-08-19
US20160364605A1 (en) 2016-12-15
WO2014065951A1 (en) 2014-05-01
IL238251A (en) 2016-08-31
US20160176348A1 (en) 2016-06-23
US9852332B2 (en) 2017-12-26
US20140285664A1 (en) 2014-09-25
EP2912836A4 (en) 2016-08-17
CN105122784A (zh) 2015-12-02

Similar Documents

Publication Publication Date Title
CN105122784B (zh) 在低光照和高光照状况下的对象识别
TWI471808B (zh) 瞳孔偵測裝置
CN103839054B (zh) 一种支持虹膜识别的多功能移动智能终端传感器
WO2017049923A1 (zh) 一种多功能移动图像处理装置、处理方法及用途
JP2019067778A (ja) 画像センサ
WO2011001761A1 (ja) 情報処理装置、情報処理方法、プログラム及び電子装置
TW201416908A (zh) 瞳孔追蹤裝置
WO2019200434A9 (en) Infrared light source protective system
CN209842644U (zh) 人脸识别检测装置
KR20130107981A (ko) 시선 추적 장치 및 방법
CN202614381U (zh) 头盔式消防热像仪
CN106304533A (zh) 一种灯光场景智能控制系统
CN105895057A (zh) 一种背光调节方法、装置和终端设备
US11904869B2 (en) Monitoring system and non-transitory storage medium
US20190066337A1 (en) Articulated arm coordinate measuring machine having a color laser line probe
US20200150758A1 (en) Display device, learning device, and control method of display device
CN106388441B (zh) 一种用于显示的方法、装置及智能镜子
CN102944928A (zh) 一种三维内窥镜及其三维重建方法
JP2008183933A (ja) 赤外線暗視装置
TWI355481B (en) Optical positioning system and method thereof
CN108664881A (zh) 用于乘员感测的装置和方法
CN103565399A (zh) 瞳孔检测装置
CN103885572B (zh) 开关装置
CN210328089U (zh) 一种照明控制装置
CN116184661A (zh) 眼动追踪装置和智能眼镜

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant