CN116389910A - 视觉系统的发光二极管的同步操作 - Google Patents
视觉系统的发光二极管的同步操作 Download PDFInfo
- Publication number
- CN116389910A CN116389910A CN202310297073.0A CN202310297073A CN116389910A CN 116389910 A CN116389910 A CN 116389910A CN 202310297073 A CN202310297073 A CN 202310297073A CN 116389910 A CN116389910 A CN 116389910A
- Authority
- CN
- China
- Prior art keywords
- image sensor
- enable signal
- exposure time
- led
- vision system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 56
- 238000002329 infrared spectrum Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000007792 addition Methods 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000003779 heat-resistant material Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- MPTQRFCYZCXJFQ-UHFFFAOYSA-L copper(II) chloride dihydrate Chemical compound O.O.[Cl-].[Cl-].[Cu+2] MPTQRFCYZCXJFQ-UHFFFAOYSA-L 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000031864 metaphase Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 244000038293 primary consumers Species 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
一种视觉系统包括:图像传感器,所述图像传感器配置为在曝光时间期间曝光场景;发光二极管(LED)驱动器,所述发光二极管驱动器可操作地连接到所述图像传感器;LED,所述LED与所述图像传感器相关联并且可操作地连接到所述LED驱动器;以及一个或多个处理电路,所述一个或多个处理电路将使能信号的脉冲与所述图像传感器的曝光时间同步,使得所述使能信号的每个脉冲与所述曝光时间之一重叠。所述使能信号的脉冲由所述LED驱动器用于使所述LED向场景输出光。
Description
相关申请的交叉引用
本申请要求于2022年3月25日提交的美国临时申请号63/323,933的权益,所述申请通过援引以其全文并入本文。
背景技术
驾驶员监控相机系统是一种新兴的车舱内相机技术,其通过面部识别来监控驾驶员的状态。驾驶员监控相机还需要在没有来自环境的任何外部光源的情况下(即,在夜间)操作。出于该原因,驾驶员或乘员监控系统通常采用一个或多个近红外(NIR)发光二极管(LED)来在成像系统(例如,相机、图像传感器等)成像时主动向主体和车舱内部输出光。当长时间以最大工作周期运行时,这些NIR LED可能产生大量热量,从而降低系统在较高环境操作温度点下操作的能力,增加电力消耗,限制成像系统所需的峰值光输出,并减少NIRLED的寿命。因此,需要特殊包装来容纳NIR LED,特别是在车辆内使用时。在没有特殊包装(例如,加入散热器、耐热材料和消热差设计等)的情况下,NIR LED可能产生足以发生非被动故障的热量,并且还可能导致某些外壳材料在高操作温度点下熔化。功耗的增加会降低车辆效率。而且,操作温度的增加和峰值光输出的减少会产生具有较低信噪比的图像,这可能导致感知算法错误识别驾驶员和乘员的状态和行为。
发明内容
针对上述问题和其他问题设想了本文提出的实施例。本披露内容的一方面是控制NIR LED打开并在图像传感器正捕获/曝光场景(例如,车辆的内部车舱等)时在某个持续时间内向该场景输出光。NIR LED在其余时间内可以保持关闭。
根据图像传感器积分时间(曝光时间),NIR LED可以在常规系统的一小部分时间内保持打开,同时在使用时为场景提供足够的照明。在一个示例中,相比于常规连续照明系统,LED可以在约5%的时间内打开。然而,本披露内容的实施例不限于此,LED的打开时间量或百分比可以更小或更大,取决于驱动LED的信号的占空比和/或取决于其他设计参数。
在各种实施例中,可以将电信号(如使能信号)从图像传感器发送到表示传感器的曝光状态的NIR LED驱动器。在一些实施例中,使能信号与控制图像传感器的曝光时间的信号同步,使得当图像传感器开始曝光场景时或在这稍前或稍后,使能信号可以激活LED驱动器以驱动NIR LED输出光用于场景照明。当图像传感器停止曝光场景时或在这稍前/稍后,使能信号对LED驱动器去激活,从而关闭NIR LED以保存电力(例如参见图2)。可以调整前导时间或拖尾时间来补偿LED或图像传感器的延迟。
本文描述的方法和系统的益处中的至少一些益处包括但决不限于以下各项中的至少一项:允许更大的峰值功率以使NIR LED在不增加功耗的情况下提供更大水平的照明;提高热性能(例如,因为LED可以例如在总时间的95%内关闭并且考虑LED是视觉系统(如驾驶员监控系统)中电力的主要消耗者);降低热耗散,这导致提高给定温度下来自图像传感器的视频的信噪比(SNR);提功率效率;增加视觉系统中使用的NIR LED的寿命,等等。
如可以理解的,LED的同步操作可能在多个应用和实施方式中具有广泛需求。例如,汽车行业可能大大受益于本文描述的LED的同步操作,在这些同步操作中,安全性和可靠性是首要考虑的,并且节能和热高效设计是十分有价值的。
先前是本披露内容的简单概要以提供对本披露内容的一些方面的理解。该概要既不是对本披露内容及其各方面、实施例和配置的广泛概述也不是详尽概述。其既不旨在标识本披露内容的关键或重要元素,也不旨在描绘本披露内容的范围,而是以简单的形式呈现本披露内容的选定概念,作为对下文呈现的更详细描述的引入。如将理解的,本披露内容的其他方面、实施例和配置可以单独地或组合地利用上述或下文将详细描述的特征中的一个或多个特征。
本文描述了许多附加特征和优点,并且这些特征和优点在本领域技术人员考虑以下详细描述和基于附图时是显而易见的。
附图说明
附图并入本说明书并形成本说明书的一部分以示出本披露内容的若干示例。附图连同描述一起解释本披露内容的原理。附图仅示出了如何形成和使用本披露内容的优选和替代性示例,并且不被解释为将本披露内容仅限制为所示出和描述的示例。根据对本披露内容的各方面、实施例和配置的以下更详细描述,其他特征和优点将变得显而易见,如以下参考的附图所示出的。
图1示出了根据本披露内容的示例的视觉系统的框图。
图2示出了根据本披露内容的示例的视觉系统的示意性波形时序图。
图3A至图3C是根据本披露内容的示例的用于操作视觉系统的方法的流程图。
图4示出了根据本披露内容的示例的图1中的系统的变型。
图5示出了根据本披露内容的示例的图1中的系统的变型。
图6示出了根据本披露内容的示例的图1中的系统的变型。
图7示出了根据本披露内容的示例的图1中的系统的变型。
图8示出了根据本披露内容的示例的图1中的系统的变型。
具体实施方式
在详细说明本披露内容的任何实施例之前,应理解的是,本披露内容并不将其应用限制于以下描述中阐述的或在附图中展示出的构造细节和部件布置。本披露内容能够具有其他实施例并且能够以多种不同的方式来实践或实施。而且,应理解的是,在本文中使用的措辞和术语是用于描述的目的,而不应被视为是限制性的。本文中“包括(including)”、“包括(comprising),”或“具有”及其变型的使用意在涵盖其后列出的项目及其等同物以及附加项目。进一步地,本披露内容可以使用示例来说明其一个或多个方面。除非另有明确说明,否则一个或多个示例(可以用“例如”、“举例来说”、“如”、“比如”或类似语言表示)的使用或列举并非旨在限制且并不限制本披露内容的范围。
随后的描述仅提供了实施例,并且不旨在限制权利要求的范围、适用性或配置。相反,随后的描述将向本领域技术人员提供用于实施所描述实施例的可实现描述。将理解,在不脱离所附权利要求的精神和范围的情况下可以在元素的功能和布置方面做出各种改变。
本文将参考附图描述本披露内容的各方面,这些附图可以是理想化配置的示意性展示。
包括监控系统(例如,通过面部识别来监控驾驶员状态的车舱内相机系统)的视觉系统是一种新兴技术。大多数监控系统可能需要不依赖于周围或环境光源而进行操作。例如,在用于车辆(例如,自主车辆等)的驾驶员监控系统中,可能需要车舱内相机能够在没有来自环境的任何外部光源的情况下(例如,在夜间或其他低光度条件下)操作。包括驾驶员或乘员监控系统的大多数视觉系统通常采用一个或多个发光二极管(LED)(例如,NIR LED等)来在成像系统(例如,相机或其他图像传感器等)成像时主动照明主体和车舱内部。然而,常规系统可能使用这些LED泛光照明主体,这可能需要LED连续运行或在长时间段内运行。当以最大工作周期运行长时间段时,NIR LED可能产生大量热量,从而降低系统在较高环境操作温度点下操作的能力,增加电力消耗,限制成像系统所需的峰值光输出,和/或减少NIR LED的寿命。因此,需要特殊包装来容纳NIR LED,特别是在车辆内使用时。在没有特殊包装(例如,加入散热器、耐热材料和消热差设计等)的情况下,NIR LED可能产生足以发生非被动故障的热量,并且还可能导致某些外壳材料在高操作温度点下熔化。功耗的增加会降低车辆效率。而且,操作温度的增加和峰值光输出的减少会产生具有较低信噪比的图像,这可能导致感知算法错误识别驾驶员和乘员的状态和行为。
针对上述问题和其他问题设想了本文提出的实施例。
本披露内容的一方面是控制NIR LED打开并在图像传感器正捕获/曝光场景(例如,车辆的内部车舱等)时在某个持续时间内输出光以照明该场景。NIR LED在其余时间内可以保持关闭。
本文描述的LED的同步操作相比于常规系统提供了多个益处和优点。例如,本文描述的视觉系统允许更大的峰值功率以使NIR LED在不增加功耗的情况下提供更大水平的照明,并且在一些情况下,反而降低功耗。另外,可以允许LED在短时间段(例如,短工作周期)内具有更集中的电流,不超过当今可用的典型LED的允许脉冲处理能力特性。视觉系统的操作区域可以允许更大量的电流在相对短的持续时间内穿过LED。
另外地或替代性地,相比于常规系统,视觉系统可以提高热性能和功率效率,因为LED可以在总时间的95%内关闭,这与需要LED在时间的100%内打开的常规系统形成对比。参考以下非限制性特定示例,视觉系统可以具有在2.93A下驱动的电压降为5.79V的LED和在30帧/秒的帧速率下曝光时间为1.67ms的图像传感器,系统功耗=5.79V*2.93A*1.67ms/33.33ms=0.85W。相比之下,常规系统需要用在更低的电流1.5A下驱动的电压降为5.5V的LED和曝光时间为1.67ms的图像传感器连续泛光照明,系统功耗=5.5V*1.5A*33.33ms/33.33ms=8.25W。如可以理解的,本文描述的脉冲宽度调制(PWM)同步操作方法可以使用在LED的最大驱动电势下约少90%的功率。这种降低的功耗转化为容纳图像传感器和/或LED的外壳内的成比例降低的热耗散。另一个益处是增加了LED(例如,NIR LED)的寿命。因为LED寿命可以是电流、操作温度和工作周期的函数,所以减少工作周期会增加LED的寿命。另外地或替代性地,较低的热耗散还提高给定温度下来自图像传感器的视频的信噪比(SNR),特别是在图像传感器与LED包装在同一外壳中时。随着图像传感器的操作温度的增加,SNR可能降低。通过将LED和图像传感器的温度保持在较低的操作温度,SNR被提高/增大。
现在参考图1,示出了根据本披露内容的示例的视觉系统100的框图。视觉系统100可以包括至少一个图像传感器104、LED驱动器108以及一个或多个LED或光源112。在一些示例中,可以包括控制器(例如,处理器、微控制器等)116。控制器116可以控制图像传感器104和/或LED驱动器108以同步方式操作。视觉系统100可以包括一个或多个电源120和124,这些电源能够向图像传感器104、LED驱动器108、(一个或多个)LED 112、和/或控制器116提供电力(例如,AC和/或DC电力)。视觉系统100的一个特定非限制性示例是监控车辆的驾驶员和/或其他乘员的驾驶员监控系统。然而,视觉系统100具有其他合适的应用,如使用光(无论在可见光谱内还是在不可见光谱内)来照明场景的任何应用。
在任何情况下,图像传感器104可以对应于能够检测和传送用于产生图像的数据的任何合适的传感器(例如,电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)和/或某个其他成像器)。图像传感器104可以捕获二维(2D)和/或三维(3D)图像。例如,图像传感器104可以被控制成捕获2D图像以便确定车辆乘员的眼睛之间的距离、乘员的鼻子的长度,和/或确定将该乘员与其他乘员进行区分的乘员其他特征。在至少一个其他示例中,图像传感器104捕获3D图像(例如,深度图像),这些图像捕获场景中的对象的轮廓。另外地或替代性地,图像传感器104可以用于跟踪乘员的眼睛以便例如检测乘员的注视或注意力水平。
在至少一个实施例中,图像传感器104可以根据直接飞行时间(ToF)或间接ToF原则进行操作。直接ToF系统可以基于从(一个或多个)LED 112发送的以及从对象反射回图像传感器104的光脉冲的往返时间来计算到对象的距离(即,距离=(c x t)/2,其中c为光速,并且t为光脉冲的往返时间)。同时,间接ToF系统可以在定义的时间段内发射连续光波,并且基于传出光波与传入光波之间的相位差来计算到对象的距离。图像传感器104可以包括一个或多个像素,这些像素各自具有将光转换为电荷的对应光电转换区域(例如,光电二极管)。在至少一个示例中,图像传感器104包括一个或多个单光子雪崩二极管(SPAD)或其他合适的光检测器。图像传感器104的一个特定但非限制性示例是具有有源像素阵列的CMOS数字图像传感器,如制造的全局快门型号为AR0144AT的1/4英寸1.0Mp CMOS数字图像传感器等。
(一个或多个)LED 112可以包括单个LED或以矩阵布置的LED阵列。(一个或多个)LED 112可以输出红外光谱或近红外光谱内的光。在一些示例中,LED 112可以对应于NIRLED,如欧司朗光电半导体公司(OSRAM Opto Semiconductors)制造的型号为SFH 4727AS的IR高效光源。然而,示例实施例不限于(一个或多个)红外LED 112,并且(一个或多个)LED112可以输出可见光谱内的光。在任何情况下,(一个或多个)LED 112可以输出提供图像传感器104捕获场景并生成图像数据所需的照明的光。(一个或多个)LED 112可以与图像传感器104并列放置(即,朝向基本上相同的平面)和/或位于远离图像传感器104的平面的某个已知距离处,使得到对象的距离测量是准确的。在一些示例中,使用其他类型的光源来代替(一个或多个)LED 112。
控制器116可以包括用于执行计算任务的一个或多个处理电路124a,例如,与控制图像传感器104和/或LED驱动器108相关联的任务。这种处理电路124a可以包括软件、硬件或其组合。例如,处理电路124a可以包括包含可执行指令的存储器和执行存储器上的指令的至少一个处理器(例如,微处理器)。存储器可以对应于被配置成存储指令的任何合适类型的存储器设备或存储器设备的集合。可以使用的合适的存储器设备的非限制性示例包括闪速存储器、随机存取存储器(RAM)、只读存储器(ROM)、其变体、其组合等。在一些实施例中,存储器和处理器可以集成到公共设备中(例如,微处理器可以包括集成存储器)。另外地或替代性地,处理电路124a可以包括硬件,如专用集成电路(ASIC)。处理电路124a的其他非限制性示例包括集成电路(IC)芯片、中央处理单元(CPU)、微处理器、现场可编程门阵列(FPGA)、逻辑门或晶体管、电阻器、电容器、电感器、二极管的集合等。处理电路124a中的一些或所有处理电路可以设置在印刷电路板(PCB)或PCB的集合上。应当理解的是,任何适当类型的电气部件或电气部件的集合可以适合于包括在控制器116中。
类似地,图像传感器104和LED驱动器108可以分别包括一个或多个处理电路124b和124c。(一个或多个)处理电路124b和124c可以与(一个或多个)处理电路124a具有(一个或多个)相同或相似的结构以实现图像传感器104和LED驱动器108的与以下相关的功能:根据本披露内容的实施例生成使能信号并对(一个或多个)LED 112进行激活和去激活。图像传感器104、控制器116、和/或LED驱动器108可以另外包括用于存储信息和/或由一个或多个处理电路124a、124b、124c执行的指令的存储器。
在一些示例中,当图像传感器104获取场景(例如,车舱的内部)的图像时,使能信号从图像传感器104发送到LED驱动器108。使能信号使LED驱动器108根据使能信号的脉冲驱动并打开(一个或多个)LED 112。图1示出了图像传感器104将使能信号发送到LED驱动器108的示例。然而,示例实施例不限于此,并且控制器116可以代替图像传感器104将使能信号发送到LED驱动器108。LED驱动器108可以包括用于驱动(一个或多个)LED 112的一个或多个合适的电路,这些电路可以是(一个或多个)处理电路124c的一部分。LED驱动器108可以包括功率调节电路,该功率调节电路根据(一个或多个)LED 112的已知电特性(例如,LED的正向电压)调节提供给(一个或多个)LED 112的功率。如本文所描述的,当图像传感器104被激活并使得曝光(捕获场景)时,对应的使能信号可以被同时发送到LED驱动器108,这使得(一个或多个)LED 112在图像传感器104正捕获的环境中输出光。例如,使能信号可以驱动LED驱动器108以使(一个或多个)LED 112与图像传感器104的曝光时间同步地输出光,在该曝光时间期间,图像传感器104的像素从场景收集光(例如,IR光)。可以在曝光并覆盖图像传感器104的像素的机械快门的参与下或不在其参与下控制曝光时间。图像传感器104可以根据全局快门原则或卷帘快门原则操作。
在至少一个实施例中,触发LED驱动器108打开(一个或多个)LED 112的使能信号可以被发送到多个LED驱动器108,例如,其中环境包括多个不同的图像传感器104、LED驱动器108、和/或(一个或多个)LED 112。在一些示例中,图像传感器104的曝光时间彼此同步,使得图像传感器104同时捕获相应场景。在此,单个使能信号可以从一个“主”图像传感器104(或从控制器116)发送到所有LED驱动器108或选定LED驱动器108。在这种情况下,每个LED驱动器108可以电连接到主图像传感器104和/或控制器116。在另一个示例中,每个图像传感器104(或控制器116)为每个LED驱动器108生成相应的使能信号。以下参考图4至图8更详细地描述了这些和其他可能性。
另外,图像传感器104和/或控制器116可能能够选择要启用哪些LED驱动器108。换句话说,LED驱动器108可以被图像传感器104和/或控制器116通过合适的方法寻址,如根据旨在启用哪些LED驱动器108而接通和关断的开关,由控制器116和/或图像传感器104编码并且可仅被旨在被启用的LED驱动器108解码的使能信号,等等。在乘员监控环境中,除了驾驶员之外,车辆环境还可以包括乘员,并且单个图像传感器104或多个图像传感器104可以监控驾驶员和一个或多个其他乘员。系统100可以根据乘员所坐的位置来监控乘员的不同状况(例如,驾驶员的注意力与乘客的破坏行为)。因此,在一些情况下,使系统在乘员之间进行区分可能是有用的。在单个图像传感器情形和多个图像传感器情形中,系统100可以包括多个LED驱动器108和多组(一个或多个)LED 112,其中每组(一个或多个)LED与相应的一个或多个乘员相关联并且在一些情况下发射不同波长或波长范围的光(参见图4至图8以及相关文本)。
在监控多个乘员的单个图像传感器104的情况下,图像传感器104可以包括检测每个波长或波长范围的像素,使得单个图像传感器104可以基于图像传感器104检测到的不同波长或波长范围来区分正在监控哪个乘员。为了实现这一点,单个图像传感器104可以包括具有使第一波长范围内的光通过的带通滤波器的一些像素,具有使不与第一波长范围重叠的第二波长范围内的光通过的带通滤波器的一些像素,等等,针对不同组的(一个或多个)LED 112发射的多个波长范围。在多个图像传感器104的情况下,每个图像传感器104相比于其他图像传感器104可以感测不同波长范围内的光,以便区分正在监控哪个乘员。
在单个图像传感器情况和多个图像传感器情况下,在具有多个LED驱动器108和(一个或多个)对应的LED 112的系统中,每个LED驱动器108可以被相继启用,使得仅一组(一个或多个)LED 112打开,而其他LED关闭,以降低各组(一个或多个)LED 112之间干扰的风险(例如,在每个图像传感器104感测相同波长范围的情况下)。然而,在至少一个实施例中,单个LED驱动器108可以用于驱动多个不同组的(一个或多个)LED 112。在这种情况下,(一个或多个)LED 112的多个分支可以通过相应的电子开关(例如,晶体管)耦合到单个驱动器108并与该单个驱动器解耦合,这些电子开关根据来自控制器116和/或图像传感器104的控制信号进行切换(参见图4、图5和图7)。
在至少一个其他示例中,可以使用使得选定LED驱动器打开(一个或多个)相关联的LED 112的动作来在车辆的乘员之间进行区分。参考具有单个图像传感器104和多组(一个或多个)LED 112的系统的示例,每个不同组的(一个或多个)LED 112可以与不同乘员或不同组乘员相关联。例如,第一组(一个或多个)LED 112可以位于用于监控车辆的驾驶员的位置,而第二组(一个或多个)LED 112可以位于用于监控后排乘客的位置。启用与第一组(一个或多个)LED 112相关联的LED驱动器108向系统指示正在监控驾驶员,而启用驱动第二组(一个或多个)LED 112的LED驱动器108指示正在监控后排乘客。因此,打开特定的一组(一个或多个)LED 112的动作使系统能够知道正在监控哪个乘员。
尽管已经参考用与图像传感器104的曝光时间同步的使能信号控制(一个或多个)LED 112的开/关状态描述了示例实施例,但是应当理解的是,使能信号还可以用于触发图像传感器104的曝光时间。例如,控制器116可以向图像传感器104和LED驱动器108发送同一使能信号以同时触发图像传感器104的曝光时间并打开(一个或多个)LED 112。在这种情况下,控制器116可以执行确定何时向图像传感器104和LED驱动器108发送使能信号的时序(例如,以规则间隔、以不规则间隔、仅当被认为有用时发送使能信号等)的一个或多个算法。在至少一个实施例中,使能信号触发图像传感器104的曝光时间,该曝光时间进而触发图像传感器104向LED驱动器108发送另一个使能信号以打开(一个或多个)LED 112。
在另一个实施例中,控制图像传感器104的曝光时间的信号也被发送到驱动器108作为使能信号。例如,生成用于控制图像传感器104的曝光时间的信号的信号发生器可以被硬接线到两条通信路径——通向图像传感器104的一条路径以及通向驱动器108的一条路径。在至少一个示例中,控制图像传感器104的曝光时间的信号在到达图像传感器104之前或到达驱动器108之前可以被馈送到一条路径中的延迟电路中,使得曝光时间和驱动驱动器108的信号的脉冲部分地重叠。在一些情况下,控制图像传感器104的曝光时间的信号被单独地复制并发送到LED驱动器108作为使能信号。
在一个示例中,在图像传感器104的曝光时间开始之前可以使得激活(例如,打开)(一个或多个)LED 112。另外地或替代性地,在图像传感器104的曝光时间结束之后可以使得对(一个或多个)LED 112去激活(例如,关闭)。除了其他方面,本方法还可以确保在曝光时间期间环境被(一个或多个)LED 112完全照明,使得与环境相关联的图像数据被图像传感器104收集。图2和相关文本更详细地描述了将使能信号与图像传感器104的曝光时间同步。
图2示出了根据本披露内容的示例的示意性波形时序图200。在一些实施例中,传感器曝光时间可以与三个不同的同步使能信号A、B和C相关。使能信号A、B和C可以通过一个或多个处理电路124a或124b与曝光时间同步。在图2的示例中,视觉系统100的图像传感器104每秒获取30个图片。换句话说,环境的图片大约每33毫秒(ms)可以被获取一次。如图2所示,图像传感器104的曝光时间对应于来自每33ms持续时间的大约1.67ms(为了清楚展示,波形未按比例)。因此,并非像常规泛光照明的系统那样使(一个或多个)LED 112保持“常开”状况,本文描述的视觉系统100可以在获取图片时选择性地激活或打开(一个或多个)LED 112。参考以上特定示例,可以使(一个或多个)LED 112在1.67ms内“打开”并且然后在33ms的剩余时间内“关闭”(例如,允许(一个或多个)LED 112在大约31.4ms内保持关闭或休息),这转化为(一个或多个)LED 112比常规系统使用更少的功率。31.4ms时间段在本文中可以被称为“休息时间”。可以连续地重复使(一个或多个)LED 112打开时间与图像传感器104曝光时间同步。示例实施例不限于以上提及的曝光时间长度和曝光频率,并且这些值可以根据设计而变化。
图2示出了三个使能信号选项A、B和C,这些使能信号与图像传感器104的曝光时间有区别地同步。使能信号A、B和C中的任一个可以用于驱动LED驱动器108以打开和关闭(一个或多个)LED 112。图2示出了具有用虚线覆盖的曝光时间的使能信号A和B。因此,如所示出的,LED打开时间与每个使能信号A、B和C的接通(ON)持续时间同步,而LED关闭时间与每个使能信号A、B和C的关断(OFF)持续时间同步。换言之,应理解的是,LED 112打开/关闭时间与针对图2中的使能信号A、B和C(例如,使能信号在期望的LED照明开始仅之前被驱动为高,并且在期望的LED照明结束仅之前被驱动为低,以解释信号传输延迟)示出的时序匹配或紧密匹配。使能信号A、B和C可以由图像传感器104或控制器116以预测的或反应性方式生成。例如,图像传感器104和/或控制器116可以根据存储在存储器中的信息预测地生成使能信号A、B和C,该信息提供图像传感器104的曝光时间长度和频率。替代性地,图像传感器104和/或控制器116可以在被通知或者在检测到曝光时间已经开始或将要开始时反应性地生成使能信号A、B和C。
如使能信号A和B所示出的,使得(一个或多个)LED 112在图像传感器104的曝光时间开始之前或之后打开。例如,使能信号的Δt1可以是距t=0(例如,图像传感器曝光的开始)的负时间位移或正时间位移。负时间位移可以对应于从曝光时间的开始时间减去的时间量,并且正时间位移可以对应于添加到曝光时间的开始的时间量。使能信号A示出了Δt1为负时间位移,其中使得(一个或多个)LED 112在图像传感器104开始曝光的开始之前打开。除了其他方面,本方法还可以允许(一个或多个)LED 112输出完整的或期望的阈值、图像传感器104开始检测的时间处的光亮度水平。同时,使能信号B示出了Δt1为距曝光时间的开始的正时间位移,这意味着图像传感器104可以在(一个或多个)LED 112打开之前开始曝光。
另外地或替代性地,在图像传感器104的曝光时间结束之前或之后可以使得(一个或多个)LED 112关闭。例如,使能信号A和B示出了Δt2为距图像传感器104曝光结束的负时间位移或正时间位移。负时间位移可以对应于从曝光时间的结束时间减去的时间量,并且正时间位移可以对应于添加到曝光时间的结束时间的时间量。使能信号B示出了Δt2为负时间位移,其中使得(一个或多个)LED 112在图像传感器104结束曝光之前关闭。同时,使能信号A示出了Δt2为距曝光时间结束的正时间位移,从而使得(一个或多个)LED 112甚至在图像传感器104已经停止曝光之后还继续照明。在Δt1对应于负时间位移并且Δt2对应于正时间位移(如使能信号A那样)的情况下,保证了由图像传感器104捕获的场景被(一个或多个)LED 112照明。针对使能信号A、B和C示出的时序可以以任何合适的方式组合。例如,使能信号可以使用使能信号A的Δt1和使能信号B的Δt2或图2中示出的时序的任何其他组合。
应理解的是,Δt1和Δt2可以是基于实验性证据和/或偏好设置的设计参数。通常,Δt1和Δt2的最大持续时间通过以下等式确定:T-Δtd=Δt1+Δt2,其中T=1/帧速率(例如,30帧/秒),并且其中Δtd=曝光时间的持续时间(例如,在1.6ms到6ms范围内)。换言之,Δt1和Δt2应当依附于以下:Δt1≤T–Δtd–Δt2并且Δt2≤T–Δtd–Δt1。Δt1和Δt2的持续时间可以各自为几微秒(例如,介于2微秒与5微秒之间)。在一些实施例中,Δt1和Δt2跨越相同的时间量(例如,3微秒)。在其他实施例中,Δt1和Δt2跨越不同的时间量。Δt1和Δt2可以具有随时间保持不变的静态值或随时间流逝变化的可变值(例如,Δt1和Δt2可以基于历史性能信息而调整)。在又其他实施例中,Δt1和Δt2等于零,如针对使能信号C示出的(即,不存在时间位移,并且(一个或多个)LED 112在与曝光时间的开始基本上相同的时间打开,并且在与曝光时间的结束基本上相同的时间关闭)。
图3A是根据本披露内容的示例的用于以与视觉系统100的图像传感器104同步操作的方式操作(一个或多个)LED 112的方法300的流程图。虽然在图3A中示出了方法300的步骤的一般顺序,但是方法300可以包括更多或更少的步骤,或者可以与图3A中所示的步骤不同地排列步骤的顺序。方法300可以被执行为在计算机可读介质上编码或存储并且被控制器116和/或图像传感器104执行的一组计算机可执行指令。替代性地,关于图3A讨论的操作可以由图1至图2的(一个或多个)系统的各个元件来实施。在下文中,方法300将会参考结合图1至图2描述的系统、部件、组件、设备、环境、软件等来解释。
在一个示例中,控制器116(图1中示出的)可以操作图像传感器104和LED驱动器108中的至少一个。方法300可以开始于在操作308中确定图像传感器104是否将要整合或曝光(即,捕获场景)。该确定可以对应于接收指示图像传感器104将要主动捕获/整合图像的通知的一个或多个处理电路(例如,124b)。在一个示例中,通知由控制器116发送到图像传感器104。通知也可以指示图像传感器104的曝光时间的长度和/或曝光时间应出现的频率。在至少一个示例中,通知用(一个或多个)曝光时间的(一个或多个)长度和(一个或多个)曝光时间应出现的(一个或多个)速率对图像传感器104进行编程。在这种情况下,操作308中的确定可以基于图像传感器104的内部定时器的操作进行,该内部定时器跟踪如被编程的曝光时间和曝光频率。替代性地,操作308包括一个或多个处理电路确定图像传感器104已经在曝光并且继续进行到操作316。如果图像传感器104未正在曝光或将要曝光,则方法300可以在方法返回检查操作308中的确定之前在操作312中使(一个或多个)LED 112保持不活跃(关闭)状态。
在操作308中图像传感器104被确定为正在整合或将要整合的情况下,方法300可以继续进行以在操作316中激活(打开)与图像传感器104相关联的至少一个LED 112。在一些示例中,该激活可以对应于将使能信号(例如,来自图2的使能信号A、B或C)发送到LED驱动器108,这使得(一个或多个)LED 112输出光(例如,红外光)。在一个示例中,可以允许(一个或多个)LED 112在被导致关闭之前在最大时间量内操作。因此,操作320确定该最大时间量是否已经过去。在一个示例中,该最大时间量可以对应于图像传感器104的曝光时间量(或曝光时间的持续时间或整合时间量)。替代性地,最大时间量可以对应于使(一个或多个)LED 112连续输出光的预定和预设时间量。如果最大时间量已经过去,则方法300可以通过例如将使能信号设置为低状态来在操作324中对(一个或多个)LED 112去激活。
在一些示例中,方法可以在328中确定图像传感器104的状态是否发生变化。例如,方法300可以确定图像传感器104是打开(激活状态)还是关闭(未激活状态)。如果图像传感器104从激活状态改变为未激活状态,则方法300可以继续进行以在操作324中对(一个或多个)LED 112去激活。否则,方法300可以继续以将(一个或多个)LED 112保持在激活(打开)状态。
在一些情况下,操作328可以在没有方法300的第一进展到其余进展的情况下单独执行。在此,图像传感器104的状态可以由某个外部元件和/或基于外部因素(如车辆的操作状态)控制。例如,操作328可以确定车辆处于降级的操作状态(例如,低电量或低燃料)并且关掉车辆的不重要部件(如图像传感器104)。如果由于外部因素(如车辆的故障)导致图像传感器104从激活状态改变为未激活状态,则方法300可以继续进行以在操作324中对(一个或多个)LED 112去激活直到图像传感器104被去激活(例如,由于故障被解决)。
如图1中示出的,LED驱动器108可以硬链接到图像传感器104。当图像传感器104操作(例如,进入和退出曝光时间)时,使能信号可以从图像传感器104直接发送到LED驱动器108。图像传感器104与LED驱动器108之间的这种硬链接确保(一个或多个)LED 112的操作与图像传感器104的曝光时间同步。另外地或替代性地,LED驱动器108可与控制器116硬链接,这意味着控制器116可以将使能信号发送到LED驱动器108。
在一些示例中,(一个或多个)LED 112可以在由增加的光强度和光输出引起的增加的电流下操作。由于LED 112在常规泛光照明时间的一部分内操作,因此在有限的操作时间(例如,图像传感器的曝光时间)期间提供给LED 112的电流可以增加以提供增加的照明。该方法可能在收集车辆内的更多信息时(例如,在自主驾驶或部分自主驾驶期间,模式、事故、突发情况等)特别有益。
如可以理解的,图3A示出了以主要反应性方式操作视觉系统100的示例(例如,在没有曝光时间长度和/或频率的先前知识的情况下,在每个曝光时间内触发使能信号)。然而,应理解的是,可以使用其他方法,如主要预测方法,其中使能信号的脉冲使用曝光时间长度和/或频率来与图像传感器104的曝光时间同步。
图3B和图3C是根据本披露内容的示例的用于操作视觉系统100的方法350-a和350-b的流程图。虽然在图3B和图3C中示出了方法350-a和350-b的步骤的一般顺序,但是方法350-a和350-b可以包括更多或更少的步骤,或者可以与图3B和图3C中所示的步骤不同地排列步骤的顺序。方法350-a和350-b可以被执行为在计算机可读介质上编码或存储并且被控制器116和/或图像传感器104执行的一组计算机可执行指令。替代性地,关于图3B和图3C讨论的操作可以由图1至图2的(一个或多个)系统的各个元件来实施。在下文中,方法350-a和350-b将会参考结合图1至图2描述的系统、部件、组件、设备、环境、软件等来解释。
操作358包括基于要由图像传感器104捕获的环境动态地调整图像传感器104的曝光时间。操作358可以由图像传感器104或控制器116执行。可以基于周围环境的当日时间(例如,夜间模式、白天模式等)动态地调整曝光时间长度和/或频率。例如,相比于在较亮环境(白天模式)中获取的图像,图像传感器104可以为在暗环境(夜间模式)中获取的图像使用更长的曝光时间。图像传感器104和/或控制器116可以从由图像传感器104获取的图像中检测环境中的环境光量,并且将环境光量与和检测到的环境光量相关联的预定曝光时间长度和/或频率相关(例如,在将环境光量与曝光时间长度和/或频率相关联的查找表的帮助下)。在另一个示例中,根据正被监控的环境类型动态地调整曝光时间长度和/或频率。例如,曝光时间可以被调整为用于监控车辆的驾驶员的曝光时间比用于监控除了驾驶员之外的车辆乘客的曝光时间频率更频繁以保持更紧密的关注(closer tab)。类似地,曝光时间可以被调整为用于监控车辆外部比用于监控车辆内部更频繁,以解释在车辆移动期间外部环境比内部环境更快速地改变的事实。
在操作358中动态地调整曝光时间可以响应于检测图像传感器104模式的变化而被触发。例如,在图像传感器104的高动态范围(HDR)模式下,曝光时间可以被自动调整为用于捕获HDR图像的长度和/或频率,该HDR图像可以通过组合以不同曝光时间长度获取的多个图像而形成。类似地,进入用于在暗环境中捕获图像的夜间模式可以触发图像传感器104将曝光时间长度自动调整为比针对白天模式的曝光时间长度更长。
操作362包括将使能信号的脉冲与来自操作358的图像传感器104的经动态调整的曝光时间同步,使得使能信号的每个脉冲与经动态调整的曝光时间之一重叠。例如,图像传感器104包括生成上文参考图2描述的使能信号之一的信号发生器(例如,包括在(一个或多个)处理电路124b之一中)。每次为图像传感器104调整曝光时间长度或频率时,可以通知信号发生器改变使能信号并且将使能信号与新调整的曝光时间重新同步。在另一个示例中,控制图像传感器104的曝光的信号(即,与图2中描绘的图像传感器曝光时间匹配的电子信号)被复制为使能信号或者在又另一个示例中除了发送到控制图像传感器104的曝光的机构(例如,机械或电子快门)之外还发送到驱动器108。
如上文在图2的讨论中指出的,使能信号的脉冲可以与曝光时间至少部分地重叠以经由驱动器108打开(一个或多个)LED 112。例如,使能信号的脉冲与经动态调整的曝光时间的同步具有负时间位移、正时间位移或两者。如图2中示出的,负时间位移是相对于使能信号的脉冲的开始或结束而言的。类似地,正时间位移相对于使能信号的脉冲的开始或结束而言的(参见使能信号A和B)。在另一个示例中,使能信号的脉冲与图像传感器的曝光时间基本上匹配(参见使能信号C)。
在此,应理解的是,操作358可以替代性地以静态方式(即,非动态地)确定(一个或多个)曝光时间长度和/或频率。换言之,图像传感器104的曝光时间不一定基于环境和/或图像传感器104的模式动态地确定。相反,曝光时间长度和/或频率可以具有不基于环境规则地变化的静态值。在这种情况下,操作362将使能信号与具有静态值的曝光时间同步,使得使能信号的每个脉冲与静态曝光时间之一重叠。
操作366包括将使能信号发送到驱动器108,该驱动器根据使能信号的脉冲驱动光源(如(一个或多个)LED 112)。使能信号可以通过合适的有线连接(例如,铜迹线)发送到驱动器108。
如可以理解的,方法350-a和350-b可以由单个实体执行,如图像传感器104或控制器116。然而,在一些示例中,方法350-a和350-b由图像传感器104和控制器116的组合执行。在存在具有不同曝光时间长度和/或频率的多个图像传感器104的情况下,方法350-a和350-b的多个实例可以同时执行以使每个不同的图像传感器104通过一个或多个驱动器108驱动(一个或多个)相关联的LED 112。
图4至图7示出了根据本披露内容的示例实施例的视觉系统100的变体,如视觉系统100A、100B、100C和100D。在图4至图7中,图1的电源未示出但应被理解为存在以用于图像传感器、控制器和/或LED驱动器。尽管图4至图7示出了特定数量的元件(例如,三个图像传感器,三组LED),但是可以根据需要包括更多或更少的某些元件。
如图4中示出的,视觉系统100A包括与控制器116和单个LED驱动器108通信的多个图像传感器104。如上文所描述的,LED驱动器108可以从图像传感器104和/或控制器116接收使能信号。视觉系统100A进一步示出了耦合在LED驱动器108与多组(一个或多个)LED112之间的开关400。开关400可以基于从图像传感器104和/或控制器116接收到的控制信号是断开的和闭合的以便控制由LED驱动器108驱动哪一组(一个或多个)LED 112。每组(一个或多个)LED 112可以照明不同的场景,或者在一些情况下照明相同场景或相同场景的各部分。在一些示例中,每组(一个或多个)LED 112发射不同波长的光或不同波长范围的光,同时每个图像传感器104被配置成检测由相应的一组(一个或多个)LED 112发射的光的波长或波长范围。LED驱动器108可以被控制为一次驱动一组(一个或多个)LED 112或者一次驱动多组(一个或多个)LED 112,取决于开关400的状态。尽管未明确示出,但是应当理解,与开关400相同或相似的开关可以耦合在图像传感器104与LED驱动器108之间以将每个图像传感器104与LED驱动器108耦合和解耦合。
图5示出了视觉系统100B,该视觉系统可以与视觉系统100A相同或相似,除了视觉系统100B包括与LED驱动器108通信的主图像传感器104,该驱动器根据从主图像传感器104和/或控制器116接收到的使能信号驱动不同组的(一个或多个)LED 112。如在图4中,开关400可以从控制器116和/或主图像传感器104接收控制信号。主图像传感器104可以代表从属图像传感器104将使能信号发送到LED驱动器108。尽管未明确示出,但是应当理解,附加LED驱动器108可以包括在视觉系统100B中。在这种情况下,主图像传感器104可以将使能信号发送到每个LED驱动器108。
图6示出了视觉系统100C,该视觉系统可以与视觉系统100A相同或相似,除了视觉系统100C包括具有多个LED驱动器108的驱动器框600并且不包括开关400。每个图像传感器104可以将相应的使能信号发送到LED驱动器108之一以驱动对应的一组(一个或多个)LED112。替代性地,控制器116将使能信号发送到驱动器框600中的LED驱动器108中的一个或多个驱动器。
图7示出了视觉系统100D,该视觉系统可以与视觉系统100A相同或相似,除了视觉系统100D包括与LED驱动器108通信的单个图像传感器104。如本文所描述的,图像传感器104和/或控制器116控制开关400的状态以将每组(一个或多个)LED 112选择性地连接到LED驱动器108。
图8示出了视觉系统100E,该视觉系统可以与视觉系统100A相同或相似,除了视觉系统100E包括与驱动器框800的多个LED驱动器108通信的单个图像传感器104。每个LED驱动器108可以从图像传感器104和/或控制器116接收使能信号以驱动相应的一组(一个或多个)LED 112。
可以连续且自动地执行本文讨论的任何步骤、功能和操作。
尽管已经关于特定的事件序列讨论和说明了流程图,但是应当理解,在不实质上影响所披露的实施例、配置和方面的操作的情况下,可以发生对这个序列的改变、添加和省略。
已经关于图像传感器和视觉系统描述了本披露内容的示例性系统和方法。然而,为了避免不必要地模糊本披露内容,前面的描述省略了许多已知的结构和设备。这种省略不应被解释为对要求保护的披露内容的范围的限制。阐述了许多具体细节以提供对本披露内容的理解。然而,应当理解,本披露内容可以以超出本文阐述的具体细节的各种方式来实践。
可以使用本披露内容的许多变化和修改。可以提供本披露内容的一些特征而不提供其他特征。
说明书中对“一个实施例”、“实施例”、“示例实施例”、“一些实施例”等的提及指示所描述的实施例可以包括特定特征、结构或特性,但是每个实施例可能不一定包括特定特征、结构或特性。此外,这种短语不一定是指相同实施例。进一步地,当结合一个实施例描述特定特征、结构或特性时,表明除非这样说明和/或除了是本领域技术人员根据说明书显而易见的,否则对这种特征、结构或特性的描述可以适用于任何其他实施例。本披露内容在各种实施例、配置和方面包括基本上如本文所描绘和描述的部件、方法、过程、系统和/或装置,包括其各种实施例、子组合以及子集。本领域技术人员在理解本披露内容之后将明白如何制造和使用本文披露的系统和方法。本披露内容在多个不同实施例、配置和方面包括在不存在本文未描绘和/或描述的事项的情况下,或在其不同的实施例、配置或方面包括在不存在在之前的设备或过程中可能已经使用的此类事项的情况下,提供设备和过程,以例如用于改善性能、实现方便和/或降低实施成本。
已经出于说明和描述的目的呈现了本披露内容的前述讨论。前述内容并不旨在将本披露内容限制于本文披露的一种或多种形式。在例如上述具体实施方式中,出于精简本披露内容的目的,将本披露内容的各种特征在一个或多个实施例、配置或方面中组合在一起。本披露内容的实施例、配置或方面的特征可以在除了以上讨论的那些之外的替代性实施例、配置或方面中进行组合。本披露内容的这种方法不应被解释为反映以下意图:所要求保护的本披露内容需要比在各权利要求中明确叙述的更多的特征。而是,如所附权利要求所反映的,创造性方面仰赖于少于单个前述所披露实施例、配置或方面的所有特征。因此,所附权利要求特此结合在本具体实施方式中,其中每条权利要求依赖其自身作为本披露内容的独立的优选实施例。
而且,虽然本披露内容的描述已经包括了对一个或多个实施例、配置或方面以及某些变化和修改的描述,但其他的变更、组合、以及修改也在本披露内容的范围之内,例如,正如可能在本领域的技术人员理解了本披露内容之后的技能和知识范围之内。旨在获得在允许的范围内包括替代性实施例、配置或方面的权利,包括对所要求保护的那些的替代性的、可互换的和/或等效的结构、功能、范围或步骤,而无论此类替代性的、可互换的和/或等效的结构、功能、范围或步骤是否在本文中披露,并且并非旨在公开地献出任何可获专利的主题。
示例性方面涉及一种视觉系统,该视觉系统包括:图像传感器,该图像传感器配置为在曝光时间期间曝光场景;发光二极管(LED)驱动器,该发光二极管驱动器可操作地连接到该图像传感器;LED,该LED与该图像传感器相关联并且可操作地连接到该LED驱动器;以及一个或多个处理电路,该一个或多个处理电路将使能信号的脉冲与该图像传感器的曝光时间同步,使得该使能信号的每个脉冲与这些曝光时间之一重叠。该使能信号的脉冲由该LED驱动器用于使该LED向场景输出光。
如上述方面中的任一个或多个方面,其中,该LED输出红外光谱内的光。
如上述方面中的任一个或多个方面,其中,该一个或多个处理电路被配置为动态地调整该曝光时间。
如上述方面中的任一个或多个方面,其中,该使能信号的脉冲与这些曝光时间的同步具有负时间位移。
如上述方面中的任一个或多个方面,其中,该使能信号的脉冲与曝光时间的同步具有正时间位移。
示例性方面涉及一种方法,该方法包括:基于要由图像传感器捕获的环境动态地调整该图像传感器的曝光时间;将使能信号的脉冲与该图像传感器的经动态调整的曝光时间同步,使得该使能信号的每个脉冲与经动态调整的曝光时间之一重叠。该使能信号的脉冲用于驱动向环境输出光的光源。
如上述方面中的任一个或多个方面,还包括将该使能信号发送到驱动器,该驱动器根据该使能信号的脉冲驱动该光源。
如上述方面中的任一个或多个方面,其中,该使能信号的脉冲与经动态调整的曝光时间的同步具有正时间位移。
如上述方面中的任一个或多个方面,其中,该使能信号的脉冲与经动态调整的曝光时间的同步具有负时间位移。
如上述方面中的任一个或多个方面,其中,该使能信号的脉冲与经动态调整的曝光时间的同步具有负时间位移和正时间位移。
如上述方面中的任一个或多个方面,其中,该负时间位移是相对于该使能信号的脉冲的开始而言的,并且该正时间位移是相对于该使能信号的脉冲的结束而言的。
示例性方面涉及一种视觉系统,该视觉系统包括:图像传感器,该图像传感器配置为在第一曝光时间期间曝光场景;第一LED,该第一LED根据第一使能信号向该场景输出光;第二LED,该第二LED根据不同于该第一使能信号的第二使能信号向该场景输出光;以及一个或多个处理电路,该一个或多个处理电路将该第一使能信号的脉冲与这些第一曝光时间同步,使得该第一使能信号的每个脉冲与这些第一曝光时间之一重叠,并且将该第二使能信号的脉冲与第二曝光时间同步,使得该第二使能信号的每个脉冲与这些第二曝光时间之一重叠。
如上述方面中的任一个或多个方面,其中,该一个或多个处理电路与该图像传感器集成在一起。
如上述方面中的任一个或多个方面,还包括控制器,该控制器与该图像传感器分离并且包括该一个或多个处理电路。
如上述方面中的任一个或多个方面,其中,该第一使能信号的脉冲与这些第一曝光时间的同步以及该第二使能信号的脉冲与这些第二曝光时间的同步具有负时间位移、正时间位移或两者。
如上述方面中的任一个或多个方面,其中,该一个或多个处理电路基于要由该图像传感器捕获的该场景动态地调整这些第一曝光时间和这些第二曝光时间。
如上述方面中的任一个或多个方面,其中,这些第二曝光时间是该图像传感器的曝光时间。
如上述方面中的任一个或多个方面,其中,这些第二曝光时间是另一个图像传感器的曝光时间。
如上述方面中的任一个或多个方面,其中,这些第一曝光时间不同于这些第二曝光时间。
如上述方面中的任一个或多个方面,其中,第一LED输出第一波长范围内的光,并且其中,该第二LED输出第二波长范围内的光,该第二波长范围不与该第一波长范围重叠。
如本文基本上披露的上述方面/实施例中的任一个或多个方面/实施例。
如本文基本上披露的任一个或多个方面/实施例可选地与如本文基本上披露的任一个或多个其他方面/实施例相组合。
一个或装置适于执行如本文基本上披露的上述方面/实施例中的任一个或多个方面/实施例。
如本文披露的特征中的任一个或多个特征。
如本文基本上披露的特征中的任一个或多个特征。
如本文基本上披露的特征中的任一个或多个特征与如本文基本上披露的任一个或多个其他特征相组合。
方面/特征/实施例中的任一个与任何一个或多个其他方面/特征/实施例相组合。
如本文披露的方面或特征中的任一个或多个方面或特征的用途。
将理解的是,本文描述的任何特征可以结合本文描述的任何(一个或多个)其他特征被要求保护,无论这些特征是否来自同一个描述的实施例。
除非上下文另外明确指出,否则如本文中所使用的单数形式“一个(a)”、“一种(an)”和“该(the)”旨在也包括复数形式。将进一步理解的是,当在本说明书中使用术语“包含(include)”、“包含(including)”、“包含(includes)”、“包括(comprise)”、“包括(comprises)”和/或“包括(comprising)”时,其指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。术语“和/或”包括相关联的所列项中的一个或多个的任何和所有组合。
术语“一”或“一个”实体指的是一个或多个该实体。这样,术语“一”(或“一个”),“一个或多个”和“至少一个”在本文中可互换使用。还应注意,术语“包括”、“包含”和“具有”可互换使用。
短语“至少一个”、“一个或多个”、“或”和“和/或”是开放式表达,这些短语在操作中既是合取性又是析取性的。例如,表达“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”以及“A、B和/或C”中的每个表达意指单独的A、单独的B、单独的C、A和B在一起、A和C在一起、B和C在一起、或A、B和C在一起。当以上表达中的A、B和C中的每一个是指元素(如X、Y和Z)或一类元素(如X1-Xn、Y1-Ym和Z1-Zo)时,该短语旨在意指选自X、Y和Z的单个元素、选自同一类的元素的组合(例如,X1和X2)以及选自两个或更多个类的元素的组合(例如,Y1和Zo)。
如本文所使用的,术语“自动”及其变型指的是在执行过程或操作时,在没有重要的人为输入的情况下完成的任何过程或操作,该过程或操作通常是连续的或半连续的。然而,如果在执行过程或操作之前接收到输入,即使过程或操作的执行使用了重要的或不重要的人为输入,过程或操作也可以是自动的。如果人为输入影响过程或操作的执行方式,则认为此类输入是重要的。不认为同意执行过程或操作的人为输入是“重要的”。
如本文所使用的,术语“确定”、“计算”、“推断”及其变型可互换使用,并且包括任何类型的方法、过程、数学运算或技术。
除非另有定义,否则本文中所使用的所有术语(包含技术术语和科技术语)均具有与本披露内容所属领域的技术人员通常所理解的含义相同的含义。应进一步理解的是,如常用词典中所定义的术语应被解释为具有与其在相关领域的上下文中以及在本披露内容中的含义一致的含义。
应理解的是,贯穿本披露内容给出的每个最大数字极限被认为包括每一个更小的数字极限作为替代,就像这种更小的数字极限在本文中明确写出一样。贯穿本披露内容给出的每个最小数字极限被认为包括每一个更大的数字极限作为替代,就像这种更大的数字极限在本文中明确写出一样。贯穿本披露内容给出的每个数字范围被认为包括落入这种更宽的数字范围内的每一个更窄的数字范围,就像这种更窄的数字范围在本文中明确写出一样。
Claims (20)
1.一种视觉系统,包括:
图像传感器,所述图像传感器配置为在曝光时间期间曝光场景;
发光二极管驱动器,所述发光二极管驱动器可操作地连接到所述图像传感器;
发光二极管,所述发光二极管与所述图像传感器相关联并且可操作地连接到所述发光二极管驱动器;以及
一个或多个处理电路,所述一个或多个处理电路将使能信号的脉冲与所述图像传感器的曝光时间同步,使得所述使能信号的每个脉冲与所述曝光时间之一重叠,所述使能信号的脉冲由所述发光二极管驱动器用于使所述发光二极管向所述场景输出光。
2.如权利要求1所述的视觉系统,其中,所述发光二极管输出红外光谱内的光。
3.如权利要求1所述的视觉系统,其中,所述一个或多个处理电路被配置为动态地调整所述曝光时间。
4.如权利要求1所述的视觉系统,其中,所述使能信号的脉冲与所述曝光时间的同步具有负时间位移。
5.如权利要求1所述的视觉系统,其中,所述使能信号的脉冲与所述曝光时间的同步具有正时间位移。
6.一种方法,包括:
基于要由图像传感器捕获的环境动态地调整所述图像传感器的曝光时间;以及
将使能信号的脉冲与所述图像传感器的经动态调整的曝光时间同步,使得所述使能信号的每个脉冲与所述经动态调整的曝光时间之一重叠,所述使能信号的脉冲用于驱动向所述环境输出光的光源。
7.如权利要求6所述的方法,还包括:
将所述使能信号发送到驱动器,所述驱动器根据所述使能信号的脉冲驱动所述光源。
8.如权利要求6所述的方法,其中,所述使能信号的脉冲与经动态调整的曝光时间的同步具有正时间位移。
9.如权利要求6所述的方法,其中,所述使能信号的脉冲与经动态调整的曝光时间的同步具有负时间位移。
10.如权利要求6所述的方法,其中,所述使能信号的脉冲与经动态调整的曝光时间的同步具有负时间位移和正时间位移。
11.如权利要求10所述的方法,其中,所述负时间位移是相对于所述使能信号的脉冲的开始而言的,并且所述正时间位移是相对于所述使能信号的脉冲的结束而言的。
12.一种视觉系统,包括:
图像传感器,所述图像传感器配置为在第一曝光时间期间曝光场景;
第一发光二极管,所述第一发光二极管根据第一使能信号向所述场景输出光;
第二发光二极管,所述第二发光二极管根据不同于所述第一使能信号的第二使能信号向所述场景输出光;以及
一个或多个处理电路,所述一个或多个处理电路:
将所述第一使能信号的脉冲与所述第一曝光时间同步,使得所述第一使能信号的每个脉冲与所述第一曝光时间之一重叠;并且
将所述第二使能信号的脉冲与第二曝光时间同步,使得所述第二使能信号的每个脉冲与所述第二曝光时间之一重叠。
13.如权利要求12所述的视觉系统,其中,所述一个或多个处理电路与所述图像传感器集成在一起。
14.如权利要求12所述的视觉系统,还包括控制器,所述控制器与所述图像传感器分离并且包括所述一个或多个处理电路。
15.如权利要求12所述的视觉系统,其中,所述第一使能信号的脉冲与所述第一曝光时间的同步以及所述第二使能信号的脉冲与所述第二曝光时间的同步具有负时间位移、正时间位移或两者。
16.如权利要求12所述的视觉系统,其中,所述一个或多个处理电路基于要由所述图像传感器捕获的所述场景动态地调整所述第一曝光时间和所述第二曝光时间。
17.如权利要求12所述的视觉系统,其中,所述第二曝光时间是所述图像传感器的曝光时间。
18.如权利要求12所述的视觉系统,其中,所述第二曝光时间是另一个图像传感器的曝光时间。
19.如权利要求12所述的视觉系统,其中,所述第一曝光时间不同于所述第二曝光时间。
20.如权利要求12所述的视觉系统,其中,所述第一发光二极管输出第一波长范围内的光,并且其中,所述第二发光二极管输出第二波长范围内的光,所述第二波长范围不与所述第一波长范围重叠。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263323933P | 2022-03-25 | 2022-03-25 | |
US63/323933 | 2022-03-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116389910A true CN116389910A (zh) | 2023-07-04 |
Family
ID=85726182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310297073.0A Pending CN116389910A (zh) | 2022-03-25 | 2023-03-24 | 视觉系统的发光二极管的同步操作 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230308771A1 (zh) |
EP (1) | EP4250757A3 (zh) |
CN (1) | CN116389910A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10958830B2 (en) * | 2018-05-24 | 2021-03-23 | Magna Electronics Inc. | Vehicle vision system with infrared LED synchronization |
CN110233973B (zh) * | 2019-05-28 | 2021-01-15 | 怀光智能科技(武汉)有限公司 | 一种玻片扫描仪光源 |
-
2023
- 2023-03-22 US US18/124,660 patent/US20230308771A1/en active Pending
- 2023-03-24 EP EP23164024.4A patent/EP4250757A3/en active Pending
- 2023-03-24 CN CN202310297073.0A patent/CN116389910A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4250757A2 (en) | 2023-09-27 |
EP4250757A3 (en) | 2023-12-06 |
US20230308771A1 (en) | 2023-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10958830B2 (en) | Vehicle vision system with infrared LED synchronization | |
CN102047166B (zh) | 用于产生机动车周围环境的图像的装置、摄像机和方法 | |
TWI738939B (zh) | 距離測量系統 | |
EP2685791B1 (en) | Lighting system | |
TWI587698B (zh) | 攝影裝置及曝光亮度調整方法 | |
KR20120030064A (ko) | 불충분하게 조명되는 교통 환경에서의 차량 지원식 조명을 위한 방법 및 장치 | |
CN107370966B (zh) | 一种智能红外控制电路及其控制方法 | |
WO2015072133A1 (ja) | ランプユニット | |
JP2012005054A (ja) | 低照度対応カメラ | |
EP3605497A1 (en) | Illumination image capture device | |
JPH0968742A (ja) | 撮影装置 | |
CN116389910A (zh) | 视觉系统的发光二极管的同步操作 | |
KR20150057041A (ko) | 카메라의 led 조명제어 방법 및 그 장치 | |
JP2016092784A (ja) | 撮像装置 | |
JP2009253316A (ja) | 車載カメラ及びドライブレコーダ | |
JP2005271836A (ja) | 車載カメラ用補助照明装置 | |
CN113301220B (zh) | 一种车载摄像头与车灯的同步方法及fpga芯片 | |
TWI378410B (zh) | ||
JP2010154433A (ja) | 車載カメラ及びそれを用いたドライブレコーダ | |
JPH05219447A (ja) | Tvカメラ用照明装置 | |
KR20110003194A (ko) | 차량 인식 시스템 및 그의 동작 방법 | |
JP2004220147A (ja) | 視野妨害監視機構を備えた監視カメラ | |
KR20120077946A (ko) | 조명 장치 효율이 개선된 네트워크 카메라와 그 제어 방법 | |
JP2020097323A (ja) | 車両用ライト制御装置、及び周辺監視カメラ | |
JP2019053096A (ja) | カメラモジュール |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |