CN113874259A - 有源光学回射器的检测及监控 - Google Patents

有源光学回射器的检测及监控 Download PDF

Info

Publication number
CN113874259A
CN113874259A CN202080026990.XA CN202080026990A CN113874259A CN 113874259 A CN113874259 A CN 113874259A CN 202080026990 A CN202080026990 A CN 202080026990A CN 113874259 A CN113874259 A CN 113874259A
Authority
CN
China
Prior art keywords
light
vehicle
reference structure
monitoring system
vehicle cabin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080026990.XA
Other languages
English (en)
Other versions
CN113874259B (zh
Inventor
约书亚·拉玛利亚
伦·切赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Joyson Security Systems Acquires LLC
Original Assignee
Joyson Security Systems Acquires LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Joyson Security Systems Acquires LLC filed Critical Joyson Security Systems Acquires LLC
Publication of CN113874259A publication Critical patent/CN113874259A/zh
Application granted granted Critical
Publication of CN113874259B publication Critical patent/CN113874259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/20Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors for lighting specific fittings of passenger or driving compartments; mounted on specific fittings of passenger or driving compartments
    • B60Q3/242Safety belts; Body harnesses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Abstract

一种检测车辆中操作的车辆部件的系统包括至少一个光源,该光源配置为将预定波长的光发射到车辆内的结构上,其中至少一个结构可以包括乘客安全带组件,该乘员安全带组件具有反射图案以及在优选亮度下调谐到预定波长的回射表面。至少一个3D飞行时间摄像头定位于车辆中以接收来自车辆中结构的反射光并提供结构的图像,该图像将优选亮度的图案与车辆中的其他结构区分开来。计算机处理器连接到计算机存储器和摄像头并包括计算机可读指令,该计算机可读指令使处理器重建关于结构的相应图像的3D信息并计算乘客安全带组件上反射图案距摄像头的距离的深度测量。

Description

有源光学回射器的检测及监控
相关申请的交叉引用
本申请要求享有申请日为2019年4月4日、名称为“有源光学回射器的检测及监控”的美国临时专利申请序列号为62/829,475的优先权,其全部内容通过引用归并本文。
技术领域
本公开涉及车辆乘客座舱内的成像系统,并涉及定位、识别和突出车辆座舱内乘员状态和结构的变化。
背景技术
在当今的运输系统中,安全带是几乎所有类型的运送乘员的车辆的标准装备。不仅原始设备制造商(OEM)需要满足安全带工程和安装的严格标准,而且在许多情况下,按照法律要求车辆乘员系好安全带。然而,即使制定了制造法规并使用了适当法律,整体车辆安全也完全取决于车辆乘员正确使用安全带。考虑到从车辆外部只能部分看到车辆内部,外部机构的目视检查并不完全可靠。个别人试图规避安全带使用法律,在车辆内以貌似使用安全带但允许车辆乘员在移动范围内有更大自由度的方式定位安全带(即,将安全带系在用户背后,或拉动安全带使其仅部分跨过用户身体并操纵安全带卷轴将安全带保持在伸展位置而不需要固定锁住)。
安全带误用和/或不可靠的安全带监控可能牵涉到其他问题,而不仅仅是在事故中约束乘员的简单身体保护。目前主要是使用ON/OFF开关作为传感器完成对乘员安全带使用的检测和跟踪,传感器将相应的扣上/解开数据信号传输到中央处理器,作为车辆控制系统数据收集操作的一部分。来自安全带开关的传感器状态可用于确定约束设置并例如用于确定气囊抑制或胀开决策。电动安全带还可以使用安全带拉出传感器和/或安全带张力传感器,其中这些传感器可用于检测和/或跟踪正确的安全带放置以及当乘员移动时安全带拉出的动态变化。此类传感器可用于静态地和/或动态地控制约束设置。
现有的安全带监控方法可能有效,但也可能易受欺骗。如上所述,个别人持续在乘员身后或身下错误地扣上安全带,未使用安全带却附装了带扣替代品,并用手将自己从安全带、尤其是肩带中解脱出来。此外,许多后排座椅位置目前并未使用安全带开关、安全带拉出传感器或安全带张力传感器。可能难以在可调节且可移动的座椅位置安装必要的电子设备来支持作为售后控制硬件的带扣开关、拉出或张力传感器。
车辆市场中始终存在对控制系统的需求,此类控制系统应监控车辆乘员正确地使用安全带并向控制系统提供安全带使用和位置数据以制定如本文所论述的附加安全预防措施。
发明内容
一种车辆座舱监控系统包括图像传感器,该图像传感器连接到计算机处理器和计算机存储器,该计算机存储器包括控制图像传感器的软件,其中图像传感器定位成捕捉车辆内部的至少一部分的图像。至少一个参考结构定位于车辆座舱中图像传感器的视场内。光学有源部件定位于参考结构上,使得参考结构包括的光照表面被包括在至少一个图像内。图像的序列显示出关于参考结构的光照表面的差异,该差异指示车辆内部中的至少一个物品的至少一个状态变化。
一种车辆座舱监控系统包括光源,该光源在车辆内部沿着光投射路径提供投射光。图像传感器连接到处理器和计算机存储器,其中图像传感器定位成接收来自光源的投射光或从车辆内部返回的反射光。至少一个参考结构定位于车辆座舱中光投射路径内和图像传感器的视场内。光学有源组件定位于参考结构上,以将反射光引导回图像传感器。光学有源组件包括回射表面和回射表面上的光衰减层。光衰减层将光学有源部件的反射率调节到一定程度,使得反射光从参考结构以某一强度到达图像传感器,针对该强度处理器将反射光转换为光学传感器的动态范围内的测量信号。
一种车辆座舱监控系统包括光源,该光源在车辆内部沿着光投射路径提供投射光。3D飞行时间光学传感器连接到处理器和计算机存储器,其中光学传感器定位成接收从车辆内部返回的反射光。多个物体定位于车辆内部中光投射路径内和光学传感器的视场内,其中至少一个物品是参考结构,该参考结构包括回射表面和回射表面上的光衰减层。光衰减层包括调节参考结构的反射率的阻挡结构,使得从参考结构传输到光学传感器的反射光具有调节强度,该调节强度解释参考结构相对于图像传感器的位置。3D飞行时间图像传感器和处理器生成点云图像,该点云图像包括传感器视场内物品相对于参考结构的三维表示。
一种监控车辆座舱的方法包括:将至少一个参考结构定位于车辆内部;以及将至少一个投射光源和至少一个光学传感器定位于车辆座舱中相应的位置,使得光学传感器的视场包括投射光的至少一部分或投射光反射的对应部分。将回射表面附接到至少一个参考结构上允许根据参考结构相对于投射光源和光学传感器的位置来选择反射光的衰减程度。据此,该非限制性实施例的方法包括选择光衰减层,该光衰减层向来自回射表面的反射光提供选定的衰减程度。将光衰减层施加到回射表面上调节反射光的强度。
附图说明
图1是座椅安装在车辆中摄像头的相应视场内的车辆内部的平面图。
图2是上面具有如本文所述的反射图案的安全带组件的透视图。
图3是处于扣合位置的安全带带扣硬件附有安全带舌片的透视图。
图4是由图1的摄像头捕获的代表性3D图像。
图5是针对特定感兴趣区域裁剪的图4的图像的一部分。
图6是如本公开所阐述的回射表面和相关的光反射的示意图。
图7A是如本文所公开的受到照射并在正面定向上成像的回射表面的透视图。
图7B是如本文所公开的受到照射并在倾斜定向上成像的回射表面的透视图。
图8是如本公开所阐述的回射表面结合如本文所公开的吸收红外照射光的阻挡结构以及相关的光反射的示意图。
图9A是如本文所公开的用于定位于回射表面上方的一种网状物阻挡结构的透视图。
图9B是如本文所公开的受到网状物阻挡结构阻挡照射并在正面定向上成像的回射表面的透视图。
图9C是如本文所公开的受到网状物阻挡结构阻挡照射并在倾斜定向上成像的回射表面的透视图。
图10是如本文所公开的不同单元密度的网状物阻挡结构的俯视平面图。
图11是如本公开所阐述的回射表面结合如本文所公开的接收照射光的薄膜修饰表面以及相关的光反射的示意图。
图12A是如本文所公开的对回射表面进行薄膜修饰的潜在构造的表示。
图12B是受到薄膜修饰的回射表面的透视图。
图12C是受到多层薄膜修饰的回射表面的透视图。
图12D是受到MylarTM层修饰的回射表面的透视图。
图12E是如本文所公开的具有图12A至图12D中各种修饰的每个回射表面受到正面照射的透视图。
图12F是如本文所公开的具有图12A至图12D中各种修饰的每个回射表面受到倾斜照射的透视图。
图13A是如本文所公开的回射表面受到薄膜修饰和正面定向上的照射的透视图。
图13B是如本文所公开的回射表面受到薄膜修饰和倾斜定向上的照射的透视图。
图14A是与图13A进行比较分析的透视图,其中示出如本文所公开的回射表面未受到薄膜修饰而受到正面定向上的照射。
图14B是与图13B进行比较分析的透视图,其中示出如本文所公开的回射表面未受到薄膜修饰而受到倾斜定向上的照射。
图15是如本文所阐述的通过具有视场的传感器成像的车辆内部的俯视透视图。
图16是图15的车辆内部的侧视平面图。
图17呈现出如图15中阐述的车辆内部在时间T0的各个域中的一系列图像。
图18呈现出如图15中阐述的车辆内部在时间Tl的各个域中的一系列图像。
图19呈现出如图15中阐述的车辆内部在时间T2的各个域中的一系列图像。
图20呈现出如图15中阐述的车辆内部在时间T3的各个域中的一系列图像。
图21呈现出如图15中阐述的车辆内部在时间T4的各个域中的一系列图像。
图22呈现出如图15中阐述的车辆内部在时间T5的各个域中的一系列图像。
图23呈现出如图15中阐述的车辆内部在时间T6的各个域中的一系列图像。
图24呈现出如图15中阐述的车辆内部在时间T7的各个域中的一系列图像。
图25呈现出如图15中阐述的车辆内部在时间T8的各个域中的一系列图像。
图26呈现出如图15中阐述的车辆内部在时间T9的各个域中的一系列图像。
图27呈现出如图15中阐述的车辆内部在时间T10的各个域中的一系列图像。
图28呈现出如图15中阐述的车辆内部在时间T11的各个域中的一系列图像。
具体实施方式
概述
本公开使用诸如图像传感器、图像摄像头等电磁传感器来检测和跟踪车辆内部的若干部件的位置。在一个实施例中,传感器是有源光学3D飞行时间成像系统,其发射已知波形(例如正弦波形、伪随机波形等)的电磁波长的光,这些波长与成像器检测器阵列协同和/或同步,其中检测到的信号的振幅与这些光波长下的反射光成正比。这种传感器可收集成像器视场中表面的反射光强度以及表面与成像器检测器的距离。
光发射并击中视线内所有物体的表面。根据物体的几何排列和组成材料,一部分光反射回成像器检测器阵列。对检测到信号的信号处理可用于重建3D信息(强度图像和深度图像),该3D信息可用于机器视觉算法来检测和/或分类和/或跟踪关于场景内物体的信息。
在一个非限制性示例实施例中,光源波长可以在大约850-950nm的范围内进行选择,并且所选光的光源可以是LED阵列或VCSEL激光器,其具有在已知空间区域内对光进行色散的色散/滤光光学器件。
本公开不限于一种设备设置,成像器阵列可以例如是与上述从对应光源发射的850-950nm光同步并对其敏感的多像素硅阵列。然而,传感器和相关的光源和检测器也可以是基于其他电磁方法,例如无源光学成像器(2D,使用环境照明)雷达、超声波、微波和多种检测技术。
在示例实施例中,图像传感器检测和跟踪车辆内部的部件,包括但不限于安全带材料、安全带的机械安装(例如安全带拉出孔)和/或安全带上的机械特征件(例如织带本身、D形环、带扣硬件、保持按钮等)。这些部件可以由多种材料组成和/或增加有适当的图案,使得特征件在图案内具有传感器波长范围内受控的确定性反射率。
其他车辆部件可以用下述成像设备来检测和跟踪,并包括车门内部的部分、车辆座椅和头枕的部分、前排或后排座椅中的储物箱、甚至车辆内的乘员和/或物体。
例如,在一个非限制性实施例中,安全带材料或织带可以是用于跟踪的目标结构。织带可以编织、涂覆、缝制或以其他方式装饰有选定传感器波长下的高反射率和低反射率材料的互换图案。可以选择图案以通过视觉检查或通过自动化计算机视觉系统中的图像检测来提供检测和跟踪关于安全带的信息的改进能力。可以优化检测、分类和跟踪这些图案的机器视觉方法。可以选择图案特征以获得最佳对比度来检测/跟踪安全带从安全带拉出孔拉出的长度、安全带相对于传感器或摄像头的深度以及其他比较数据集,例如哪个安全带位置处于到摄像头的最近位置(例如以识别乘员的胸部)。本文描述的实施例检测、监控和/或跟踪安全带拉出孔和安全带图案,无论位于从摄像头视场创建的图像中的任何位置。例如,这些图案可以定位,并且它们相比座椅、车顶或车辆内侧面结构所确定的相对位置用于检测安全带或其部分的位置。在安全带可能被遮挡的情况下,该系统中可以考虑乘员带入车辆的物体,例如衣服、毯子、行李、货物或乘员放置在安全带预期区域上的任何物品。
本文描述的系统和方法识别车辆中明显不太可能被遮挡的空间内的参考点,从而提供已知的结构来评估安全因素(例如安全带使用)以及车辆操作条件(例如座椅位置和乘员位置)。通过识别车辆内始终可见的参考结构,本文公开的系统和方法利用车辆内部的部分可见部分以及乘员分类方法来预测正确或错误的车辆操作。如上所述,安全带组件只是车辆座舱内一种结构的一个示例,其可用于通过如本文所述的图像传感器进行监控。下面的详细描述根据引用的附图阐释用于监控的方法和系统的更多实施例。
有源光学传感器系统使用一起同步操作的确定的光源和检测器来操作。规定光源发射确定的波长范围、强度和占空比的光,使得发射光的一部分从检测器视场内的物体反射。到达图像传感器或图像检测器的光的强度和相位可用于生成反射强度图像和距离图像。这两者的组合通常描述为可用于区分图像传感器视场内物体的“点云图像”。在一个实施例中,图像传感器具有固定的动态范围(通常使用诸如0.5-5伏特的电压范围来描述),其中超过最大值的电压代表“饱和”,低于最小范围值的电压代表“噪声”或传感器的电噪声水平。在多数实施例中,图像传感器设计成使可由传感器内配置的软件检测和使用的信息最大化。传感器的预期应用也决定了预期的传感器范围。在图像传感器上放置滤光器,使得滤光器允许所需的波长范围通过并阻止所有其他波长范围,能够进一步提高传感器信噪比。通过随时间递增而生成连续的“点云图像”,还可以估计和跟踪传感器视场(FOV)内物体的移动。
出于本公开的目的,有源光学图像传感器的一个非限制性示例是可以使用中心波长范围约为850nm和+/-50nm的LED或激光二极管发射正弦光的3D飞行时间摄像头。摄像头包括具有通带滤波器的图像传感器,该通带滤波器使用相同的850nm中心波长(或任何其他选定波长)和相对应的范围,使得在光源正弦波(DT1,DT2,…)期间在两个或更多个相等间隔的时间对图像传感器进行采样。通过使用极快正弦波,与物体可能最快的移动相比,检测到的“点云图像”代表图像传感器视场的三维快照。也可在图像传感器内控制摄像头在这些采样时间(例如积分时间)对收集到的光进行积分的持续时间。到达图像传感器的光强度是发射光波长范围、强度和相位、视场内物体的位置(距离)、物体的大小和定向以及诸如物体的表面特性(例如传感器检测器波长范围内的材料反射率、宏观/显微表面常态,例如粗糙或光滑)等其他因素的函数。
如果物体非常靠近图像传感器和/或高度反射,则检测到的光可能超过图像传感器的最大动态范围(即,传感器变得“饱和”)。通过缩短积分时间,可以减少检测到的光落入图像传感器动态范围内。如果物体离图像传感器很远和/或不反射,则图像传感器可能无法接收到足够的反射光以登入检测器动态范围内(即,受到“噪声”影响)。通过在这种嘈杂场景中延长积分时间,可以增加检测到的光落入检测器动态范围内。
为了针对预期应用优化来自传感器的信息,应使用3D TOF传感器的全动态范围,从而最小化“饱和”和“噪声”条件。
出于本公开的目的,示例应用定义为座舱监控系统(CMS)。在本非限制性示例中,3D TOF传感器固定在车辆内并收集连续点云图像,计算机算法使用这些点云图像来离散地或连续地监控整个座舱,直至摄像头的视场和范围能够实现全舱视野。CMS还包括座舱内的人类乘员和物体。
例如,为了针对低反射率材料(例如黑色织物)检测车辆座椅的深度和强度,并进一步检测车辆部件在座舱内的位置,图像传感器可能需要较长的积分时间,或也许根本无法检测到目标材料。另一方面,某些座椅材料可能具有极强的反射性,从而导致在极短的积分时间内饱和。考虑到这些情况,可能有益的是,在一个或多个参考对象中引入材料,参考对象具有受控的确定性朗伯(Lambertian)表面,该表面具有受控的双向反射分布函数(BRDF),使得收集的图像为有源光学传感器提供一致的参考。
BRDF是光学领域的技术术语,一般是指与反射光的特性(例如经历入射光的表面的散射属性)相关的四个参数的函数。在一方面,BRDF采用入射光方向(wi)、出射光方向(wr)并返回反射辐射与入射到表面上的辐照度之比。每个方向本身通过方位角Φ和天顶角θ参数化,因此BRDF是如下所述4个变量的函数:
Figure GDA0003371745000000081
参阅Nicodemus Fred(1965)所著的“不透明表面的定向反射率和发射率(Directional Reflectance and Emissivity of an Opaque Surface)”,应用光学,第4卷第7期第767-775页,摘自Wikipedia.org。在本公开实施例的CMS开发期间,几个确定性BRDF参考对象沿着车辆座舱内部放置和放置在车辆座椅上。
出于测试目的,参考对象是使用传统反射材料(例如上述材料)安装,这些材料必须与相关的摄像头/传感器的操作参数谨慎相符才能有效。如此,测试条件会证明难以在生产环境中管理和实施。基于如本文所示的构思证实,本公开还包括许多用于待成像车辆座舱内的部件的结构特征件以及允许对车辆座舱的至少一部分进行高质量成像的对应摄像头功能。
车辆座舱内的许多物体相对于安装在车辆座舱内的摄像头中的图像传感器具有确定性特征。
例如,在从原始设备制造商收到的车辆中,车顶、侧面、车门、座椅、车窗、硬件位置、动态结构的机械自由度(例如座椅位置和斜角)以及相关的制造材料是在座舱设计中指定且固定。据此,这些物体可以被预测、测量并用作点云图像内的参考结构(确定性的强度和距离)。目前,车辆和/或车辆部件的部件制造商将选定材料用于上述参考对象,而未考虑到有源光学图像传感器对部件的可检测性。
已经针对车辆应用开发了包括有源光学元件的电气系统,这些车辆应用包括:
·安全带集成麦克风和传感器
·安全带带扣开关、展示器和照射器
·方向盘集成可见光条
·用于驾驶员监控系统的红外照射器
车辆座舱内的成像操作也可以考虑包括在其中显示的上述电子设备的图像。对于车辆内部的任何电子连接部件,有可能包括集成和激活有源光学照射器(例如LED)的部件和/或操作模式,使得照射器对于本公开所述的2D或3D有源光学传感器可见。照明特性(波长(例如红外波长)、强度、持续时间、模式)可基于车辆和/或乘员状态来控制。
如此,2D或3D有源光学传感器可以通过基于强度、空间位置和/或时间模式(例如以已知速率闪烁)在传感器图像(2D)或点云(3D)中定位照射器而出于多种目的检测、分类和监控来自多个光源的照射。本公开不限于任何特定实施例,本文使用的照射器可以是反射入射光的无源照射器或作为通电光源的有源照射器。例如,摄像头可以收集图像,该图像显示当车辆状态变化时将照射器“打开”并通过有源光学传感器图像内的一个或多个像素中的照射器状态变化来检测这一点。本示例为准的其他类型的照射器包括在车门打开时“打开”而在车门关闭时“关闭”的顶灯,使得顶灯相对于摄像头中图像传感器的位置固定(或至少受限于预定的自由度数)。光的检测和跟踪可用作车门打开/关闭状态校准参考或冗余测量(独立于车门开关),以提供增强的功能安全性。
车辆内可由图像传感器捕获的照射器的其他示例包括:
i.车门上的灯可以确定的模式移动穿过传感器图像空间,以指示车门移动和位置状态
ii.当座椅处于未占用状态且这些灯在乘员或物体进入/外出过程中受遮挡时,座椅带扣或D形环照射器对于传感器可见,从而确认座椅状态变化。
iii.座椅带扣或D形环照射器在乘员安全带调节和锁合过程中不可见,但在正确锁定时可见。
v.当安全带被锁定时,安全带中的照射器被打开,并且安全带中的照射器可用于确定它们是否被佩戴(对传感器可见)和/或进一步确定乘员相对于安全带的身材(距传感器的位置/距离)。
vi.方向盘照射器用于确定方向盘位置/倾斜状态、手感应状态(受遮挡、未遮挡)以及可能的方向盘角度(照射器相对于摄像头的位置)。
可以此方式使用和控制传感器视场内的任何可见且可控的照射器,以帮助确定车辆和/或乘员状态。如上所述,照射器包括反射照射器件,在一些实施例中,照射器包括可以利用电源的有源光源。在任何情况下,照射器将具有符合本公开目的的光学性质和特性。
照射器相对于传感器的位置、照射强度和图案的先验知识可用作校准参考,以提高机器视觉检测、分类和跟踪算法的准确性和分辨率。
本公开的这些和其他实施例遵循如下阐述的详细描述和附图。
图1是根据本公开的车辆的概览示意图,该车辆包括车辆在车辆内部10或车辆座舱内的成排座椅13A、13B、13C。本文所用的术语“车辆”包括该术语在运输语境内的所有最广义的普通含义(即,任何提及汽车之处仅为示例目的而非将本公开局限于任一实施例)。图1的车辆包括与方向盘19相邻的驾驶员座椅13A和常见的驾驶员控制面板17(可能包括观看屏)。车辆控制系统未单独示出,但将在计算机库内实施,该计算机库包括处理器28、存储器27、电子电路以及车辆内部10中建立安全驾驶环境所需的至少一个传感器。车辆中的计算机11可以与乘员分类系统21通信,该乘员分类系统21用于确定车辆中每个乘员的进入/退出位置、解剖结构、年龄、成人/儿童/婴儿状态和其他定量/定性特征。图1的车辆通常包括来自原始设备制造商(OEM的标准设备,例如其他图中更详细示出的安全带组件。然而,图1的车辆示出安装有摄像头12A、12B、12C,这些摄像头12A、12B、12C具有相应的光源16A、16B、16C并定位于车辆内部10以建立乘员、座椅13、安全带组件20A、20B和车辆中其他结构的相应视场225。在本非限制性示例中,摄像头/图像传感器12(又称光学传感器12已经安装在车辆的内顶15和驾驶员控制面板17顶上。车辆包括相关的电路,以将与光源16和相关的阵列/传感器(下称“图像传感器”14)协同工作的摄像头12连接到通过计算机11的计算机库操作的车辆控制系统。
图2示出关于车辆内部10和具有在其中操作的安全带组件20A、20B的座椅13A、13B、13C的更多细节。本公开一非限制性方面包括以最大化监控能力的方式利用车辆内部10内的部件,例如但不限于安全带组件20A、20B。根据本公开实施例,可以检测和跟踪的车辆内部10内的部件可以包括但不限于安全带卷收器组件(即,退卷安全带并将安全带重新卷收进织带拉出部段44的卷轴)、安全带延伸穿过的拉出孔30、配置为肩带48的安全带组件的一部分、腰带36、腰带锚固件32A、32B、32C、织带长度调节硬件34、带扣40、带扣硬件35、安全带舌片42、安全带带扣40的至少一个面46以及用于安装或启用安全带组件功能的外围硬件(例如D形环、保持按钮)。术语“安全带硬件”并非旨在限制本公开,而是包括提供与图2所示的腰带和肩带相关的任何类型的连接、安装或操作功能的任何安全带组件结构。
至少这些部件和车辆内部10内可识别的其他物体和物品可以包括与相应部件集成、应用于相应部件或与相应部件一起制造的图案。图案用具有已知反射率的材料设计,使得图案在拍摄的车辆内部10的强度和/或距离图像中可区分。因其材料成分而具有预定反射率的图案展现出足以将该图案与图像中其他结构区分开的可区分亮度(或可见光强度)。该图案可以根据设计者的偏好而在图像中展现为低亮度区域或高亮度区域,并可持续用来区分安全带组件的部件。在图2中,安全带组件20的部件显示出相应的肩带图案38、腰带图案50、织带拉出部段图案52、带扣孔图案53、带扣图案56以及部件相对侧上的不同图案(即,腰带和肩带的相对侧具有不同图案,可在相关的图像中识别安全带的扭曲位置)。
图2示出即使当乘员或乘员的所有物在摄像头的视场中遮挡安全带组件的其他部分时也在车辆内部10中始终明显可见的某些部件。例如,可以在车辆内部的多个部位处安装诸如限定在车辆中b柱内区域的织带拉出部段44,以提供相关的安全带跨越乘员拉出。相关的拉出孔30通常对于正确定位的摄像头可见。其他类型不太可能被货物隐藏并且在传感器或摄像头的视场内通常可见的部件包括具有已知运动范围的安全带带扣40。
图3示出带扣部件的某些子部件上具有相应图案的安全带带扣的放大图。例如,肩带48在可识别为条纹的一侧具有第一肩带图案38并在反侧具有第二肩带图案57。在图3的示例中,肩带的反侧也作为相关的腰带36的腰带图案50可见。带扣40、舌片42、带扣面46和织带长度调节硬件34都是其上具有可识别图案的可行候选。
图4示出车辆内部10内使用的至少三个安全带组件20的一个示例实施例,并且每个安全带组件可与其中具有不同乘员的相应座椅13A、13B、13C一起操作。在大多数情况下,乘员在身高、身形和尺寸方面皆有所不同,这些会影响到每个乘员的正确安全带位置。图4的图像示出一种图像80的示例,车辆摄像头12(或适当的多摄像头系统)可以从以电磁辐射/光波的波长照亮车辆内部10的适当调谐的光源16产生图像80,该波长已被选择为对应于从摄像头视场内的材料和物体接收反射光的图像传感器14的捕捉灵敏度和分辨率。
由图像传感器14收集和处理的图像可以是二维或三维图像,这取决于摄像头、计算机化图像阵列和相关的计算机处理器,但安全带上的图案、锚固点和卷收器在其中可见。每个织带拉出部段44内的拉出孔30示出为具有显示出该孔轮廓的突显的拉出部分图案52,使得可在图像中区分安全带拉出的原点。显示出为分别安装的箱体的织带拉出部段44A、44B、44C可以具有不同的图案45A、45B、45C以进一步照射卷收器组件的结构。图4的其余结构显示出如上所述安全带组件上相应的图案的使用。这些部件可以包括但不限于安全带卷收器组件(即,退卷安全带并将安全带重新卷收进织带拉出部段44的卷轴)、安全带延伸穿过的拉出孔30、配置为肩带48的安全带组件的一部分、腰带36、腰带锚固件32、织带长度调节硬件34、带扣40、带扣硬件35、安全带舌片42、安全带带扣40的至少一个面46以及用于安装或启用安全带组件功能的外围硬件(例如D形环、保持按钮)。肩带48在可识别为条纹的一侧具有第一肩带图案38并在反侧具有第二肩带图案57。在图3的示例中,肩带的反侧也作为相关的腰带36的腰带图案50可见。带扣40、舌片42、带扣面46和织带长度调节硬件34都是其上具有可识别图案的可行候选。图像中的结构和相关的图案提供数据以完成多项功能——特别是根据相关的乘员分类系统(“OCS”)21对乘员进行分类、计算相对于车辆内已知参考的空间测量以及跟踪车内的移动。一个目标是识别安全带组件的腰带和肩带在躯干65上的正确位置跨过乘员,以实现得自带扣中传感器的正确的扣上/解开状态。
乘员分类系统(“OCS”)21可以包括若干种硬件、位置传感器、压力传感器、重量传感器等以识别车辆乘员,使得车辆满足法规要求。OCS目前识别乘员的许多特征,以辅助控制气囊胀开以及其他约束系统、警报和操作控制信号。在本公开非限制性实施例中,根据本文中的方法和系统收集的图像可以与OCS结合使用,以针对许多不同的人类成长水平(例如,成人、儿童、婴儿)以及解剖结构(高大男性、平均男性或女性、矮小女性)识别正确的安全带放置。这些不同乘员的最佳安全带放置将针对每人而明显不同。OCS可以从本文描述的计算机化成像系统接收数据,以进行边缘分析来检测乘员形态、躯干位置的3D深度分析以及相对于乘员身体的安全带确认的解剖尺寸标注。用于安全带监控和乘员分类的单摄像头和多摄像头系统皆属本公开的范围内。
图5示出车辆座椅13中车辆乘员的三维分析的示例,并且利用了上述安全带组件20的部件。如图所示的图像可以构造为具有足够的细节水平来区分安全带组件的若干部件上的图案,例如肩带图案38和/或腰带图案50。安全带组件的部件以及乘员的身体以足够的清晰度显示,以在三维坐标系中对该座椅处(即该感兴趣区域处)的车辆内部进行建模。这种到坐标系的映射允许计算机软件计算图像每帧的空间测量以及跟踪图像对之间的运动。在图5的非限制性示例中,由本文公开的系统实施的计算机化方法计算可用于识别正确安全带使用或错误安全带使用的若干角度。空间测量可以包括从摄像头12到乘员身体的一部分(即,接收肩带的躯干)的距离、安全带组件20的部件到乘员身体各部分之间的距离以及车辆内部的结构、乘员的身体与安全带组件之间的角度。
例如,在不限制本公开的情况下,图5示出计算乘员肩部与沿安全带的纵轴之间的第一角度θ1、安全带的纵轴与坐标系的参考横轴之间的第二角度θ2、乘员头部的一部分与安全带的纵轴之间的第三角度θ3的方法。这些类型的静态测量仅仅是系统收集数据点以用于确定相应车辆中安全带部件的开始位置、中间位置和最终位置的示例。然后,这些数据可用于准备并向乘员发出相关的警报或警告、控制安全气囊和其他约束系统并且更新数据以帮助OCS核实车辆乘员的分类。
上述公开已经描述了一些装置和技术,用于(i)建立与安全带组件和对应的车辆结构相关的可识别图案,以及(ii)提供结合若干条件下关于车辆内固定和动态结构的已知参考值的成像技术。
车辆中的结构在不同时间可以是固定的或动态的。在某种意义上,视为在车辆中固定的某些部件包括安全带组件20的固定部件,例如限定安全带拉出孔30的织带拉出部段44、安全带带扣40、第一锚固点32A和连接到固定部件的带扣硬件35中的至少一项。动态部件可包括从织带拉出部段44中的孔30延伸出的安全带、安全带的肩带48部分、安全带的腰带36部分和安全带舌片42中的至少一项,因为这些物品很可能在使用过程中移动并且就不同乘员处于不同的位置。其他部件可能具有如上所述的有限运动范围(例如,座椅13或安全带带扣40),使得如果选定的位置为已知,则同一部件在动态意义上可调节的同时,可用作固定部件参考点。
使用多摄像头、多参考点和正确放置的不同反射率的图案适应不仅提供距离和角度的静态空间测量而且提供乘员或车辆结构相对于已知或计算参考点移动信息的系统。
下面详述的图18至图28的迭代帧示出使用这些技术对与安全带组件20(出自诸如安全带拉出孔30的参考点)交互的乘员的时间序列运动分析,该安全带组件20具有织带拉出部(例如各自具有至少一个预定图案38、50的肩带48A、48B和腰带36A、36B)。利用这些参考点和相关的测量和图像,系统适于解释若干乘员位置(即躺下与正常坐姿、进出车辆以及在使用中相对于乘员身体的正确安全带位置)。相应地,该系统还配置为调整正确安全带使用的计算。在一个实施例中,参考点可以与成像分析一起用来识别安全带图案,该安全带图案显示出安全带松弛跨过乘员,这不适合正确和安全地使用安全带。
分析来自至少一个摄像头12的连续图像以跟踪感兴趣区域内的乘员运动,其中该运动是相对于车辆中的至少一个固定部件。处理器28利用从图像得出的乘员运动数据来跟踪乘员生理过程,包括但不限于呼吸、呼吸率、心率、嘴巴开合、眨眼和说话模式中的至少一项。这些测量中的一些可以由处理器28结合存储在相关存储器27中的计算机实现软件进一步计算相对于固定部件的参考测量在感兴趣区域内的座椅位置来进行验证。处理器28和存储器27可以在车辆本地或通过无线网络远程访问。
参照图15作为安装在车辆中的本公开的第一示例,附图所示的本公开一方面包括上文引用的控制给定图像传感器14的反射率和积分时间的装置、系统和方法,该图像传感器14从视场225内的照射表面85或照射器件185收集图像数据。在本示例中,照射表面可以是施加到车辆部件上的回射层或与车辆部件一体的回射表面。例如,如图15的安装所示,织带拉出部段244B可以包括回射表面85,并且照射器件185A、185B、185C可以是在诸如安全带带扣硬件235A、235B、235C的不同车辆部件上均位于视场内的相应光源。
回顾图6,本图示出本公开所包括的构思之一是回射材料(例如但不限于回射贴花、回射织物或甚至回射纤维和线)可以构成诸如如图15所示的照射表面85的车辆部件的部分。如图6所示,回射表面135A-135n受到具有投射光的入射光束138A-138D的照射光,平行于入射光束的回射表面提供反射光束148A-148D。如图7A和图7B所示,回射表面135包括即使在大角度下仍具有高反射性的材料。在图7B的示例中,回射表面135在接近平行于法线的斜角(法线上方约10度至约20度)处具有高反射性。
如上所述,某些车辆部件将利用反射区域来确保给定车辆部件的物理特征在由本文描述的系统产生的图像中可辨别。回射区域可以在车辆制造之后通过将单独的回射层140施加到车辆部件上创建而成,例如回射层140施加到图3的安全带带扣上。在其他实施例中,回射区域可以是与毗邻车辆部件的主体一体的回射表面135,例如形成图6的回射表面135的纤维。在某些实施例中,回射层或回射表面可能存在使图像传感器饱和或使噪声合并到图像数据中的问题,这取决于反射率和相对于图像传感器14的部件位置。图8示出饱和问题的一种非限制性解决方案,其中光吸收结构158A-158D可定位于回射表面135上方或之上以控制反射光148A-148D。吸收结构可以设计成吸收或至少部分吸收某些光波长,并按已知光量反射某些波长,反射光束148A-148D中具有预定特性。反射光束148A-148D配置为落入给定图像传感器14的期望强度和波长范围内,以提供来自其上的入射光的高质量图像。
为了利用可针对特定反射光束148A-148D配置的光特性,本公开将上述吸收结构158A-158D结合到可与回射表面135和回射层140一起使用的材料以控制引导向图像传感器14的反射光的若干特性(例如,强度和波长)。例如,如图9A所示,薄膜形式的回射材料190可用网状物层210形式的预制阻挡结构158进行修饰,以提供所需的返回图像传感器14的反射光束148。如图9B所示,在将网状物210放置到回射材料190上并使修饰的回射表面145受到垂直于回射表面到达的光之后,给定波长和强度的正面定向光束将从修饰的回射表面产生衰减的反射光束215。例如,网状物层210可以配置为如图8所示吸收光谱红外部分中的某些波长。通过用阻挡结构(例如但不限于网状物210)修饰回射表面135,由入射光束138A-138D产生的反射光束148A-148D以优选的强度、相位和/或波长到达图像传感器14。如图9B和图9C所示,衰减的反射光束215可以根据光在其上的入射角进行调整,以获得回射率和从回射表面处理的图像数据方面的已知结果。“正面”入射光(图9B)和以斜角到达的入射光(图9C)可以设计为提供适合避免图像传感器饱和及噪声水平的图像数据14。
图10示出一种设计和用阻挡结构控制回射的方式是通过控制该结构的吸收特征,例如不同密度的网状物210A、210B、210C,其中每一个均可定制为针对给定光波长提供已知的吸收率。在其他实施例中,阻挡结构可以视为光衰减织物。就此而言,阻挡结构是包括具有分别定义的光衰减因子的第一织物层和第二织物层的光衰减层。图11和图12示出修饰的回射表面145A-145D中的反射光148A-148D的某些物理特性,当镜面薄膜193放置到回射区域上时,修饰的回射表面145A-145D具有给定且先前设计的整体反射图案147。在存在入射光138的情况下,薄膜193还产生优选波长的分散反射光153A-153D。在一个非限制性示例中,优选的反射图案是通过用薄膜修饰回射表面135而形成。图12A示出纯回射材料190可修饰为包括回射材料190上方的薄膜193,并且该薄膜可以是具有已知吸收特性的顶层,例如透明胶带196。如图12D所示,顶层可以是聚酯薄膜层199。图12E示出对回射材料190的各种薄膜修饰193、196、199可各自对于如图12E所示“正面”或垂直于下面的部件表面200到达的入射光束138以及如图12F所示以斜角到达的入射光束138具有预设计的反射响应。关于图12F的斜角,具有顶层薄膜193的回射材料190几乎零反射,而当角度相对于光的入射角倾斜时,具有不同吸收度的透明胶带196和聚酯薄膜层199的薄膜193会发生修饰。对回射的影响范围可以从微修饰到完全消除材料的回射行为。图12A至图12F所示的材料是用于测试目的的非限制性示例。其他材料、吸收特性和回射特性将属本公开的范围内。总体而言,本公开中的一个构思表明给定表面的回射可用于将反射光特性与图像传感器操作参数同步,以最优化收集图像数据的质量并最小化饱和和噪声问题。
图13A、图13B、图14A和图14B以概括方式呈现出测试结果。在图14A和图14B中,未修饰的回射器显示出在“正面”光入射角和接近平行于迎面光的斜角处的真实回射。图13A和图13B示出本文公开的经修饰的回射器的正面入射角和倾斜入射角的结果。这些材料指示利用回射层140和具有回射材料190的回射表面135来为如本文所述的车辆座舱内的车辆部件定制回射和反射属性的机会范围。
图15至图28示出如何通过使用本公开实施例可使用回射来增强图像数据以跟踪车辆部件和车内乘员。图15示出车辆内部10的俯视图,描绘了可以从具有图像传感器14的摄像头12呈现的视场225。车辆座舱内部区域可划分为多个传感器点云区域体积252A、252B、252C以检测、分类和跟踪安全带使用或其他动态部件和静态部件。这些区域包括可通过成像跟踪的示例车辆部件,例如但不限于安全带带扣硬件235A、235B、235C和具有织带拉出孔230的织带拉出部段244A、244B、244C。部件可以包括利用回射表面、回射层、修饰的回射层和表面以及阻挡结构(例如上述网状物)的图案。部件还可以利用照射器件185,其提供从车辆部件发出并可由图像传感器14检测的光。除了图15至图28之外,本公开许多实施例包括上文关于图2至图5阐释的特征,这些特征仅作示例包含在本文中而不限制本公开的范围。车辆部件可以包括辅助图像传感器14检测、识别和跟踪座椅13、光源16、方向盘19、安全带组件20、织带拉出部段44、织带长度调节硬件34、带扣硬件35、腰带36、肩带48、安全带带扣40、安全带舌片42的位置的图案。车辆内部10内的这些部件等每一个可以是参考结构,例如座椅13、安全带组件20和上述其他部件。本文公开的系统可以包括显示在图像数据中以供图像处理软件进行处理的相应光学有源部件(例如反射和/或回射表面135和/或修饰的回射表面145的图案)和/或照射器件185。图像数据软件重建来自视场225的至少一个视图作为包括任何上述参考结构和图案的车辆内部10的图像。
图16示出车辆内部210的不同透视图,该车辆内部210包括定位于车辆内部的车顶217或内顶上的摄像头212与图像传感器214。在图16的这个侧视图中,视场225可以视为用于生成点云图像的三角形区域,该三角形区域包括车辆座椅213、座椅靠背218A、218B部分和上述安全带拉出孔230和本文所述的安全带带扣硬件235。在图16的非限制性示例中,示意性圆圈252D示出传感器点云区域体积,以利用来自图像传感器214的图像来检测、分类和跟踪安全带使用。
图17至图28示出跨越不同域拍摄的样本图像,包括反射光振幅图像、深度图像、跨越时域拍摄的移动图像以及针对反射光的特定图案、相位或波长的对象检测。关于图17的示例,在图像传感器14处接收到的反射光的振幅表示部件和参考结构(例如用于相应左侧和右侧安全带带扣的带扣硬件235B、235C)以及车辆内部10的相应织带拉出部段244B、244C的图像。在图17的深度图像中,车辆的地板275也可从作为参考的图像中确定。假定这是来自传感器的一系列图像中的时间T0,由于先前设置的反射波长或回射属性,已在检测图像中识别出左侧织带拉出孔230B。图18至图28使用相同的构思在图像的时间序列中识别人类乘员280进度。图18以基于乘员的手臂、肩膀、躯干和腿部在打开车门后进入车辆内部10的图像开始。图19示出图像传感器14可以识别车辆中乘员的全身。如图20所示和上文所述,本文中识别和跟踪的参考结构之一可以是乘员使用的安全带280,特别是当安全带具有已调谐为提供来自相关的图像传感器14的质量图像的反射和回射属性时。继续参照图21,除了通常穿着的乘员服装的反射属性之外,车辆内部的反射和回射层和表面还示出本公开的系统如何能够跟踪将安全带拉过乘员肩部和胸部的乘员280。如上所述,反射、回射和修饰回射层和表面的图案可以调谐为使得参考结构部分在给定图像中可见。在图22至图23中,通过安全带的一部分在安全带上包含供对应的图像传感器拾取的特定反射波长的回射表面135而跟踪安全带。安全带还具有抗反射表面348,该抗反射表面348可进一步用于调谐到达图像传感器的反射光的质量。例如,抗反射涂层可以消除可能导致图像中出现噪声或饱和区域的不理想波长的反射。取而代之,图像传感器的动态范围内的反射光在一系列图像内以特定强度振幅338出现。图22至图23中的对应深度图像利用对由车辆中部件和乘员反射的所有波长的全光谱分析,使得抗反射表面348在视场内的全光谱图像分析中作为非反射区域(即,黑点)更易辨别以进行深度计算。当一系列图像在时域中继续时,可以逐帧分析图像以检测、识别和跟踪众多乘员280以及参考结构,无论参考结构是固定/静态还是可调/动态的。例如,图24示出如何通过安全带上的抗反射表面348和回射表面135来监控安全带收回。图25公开了安全带完成收回并由本文描述的图像传感器完全跟踪的代表性图像。这种跟踪可以继续,如图26所示乘员通过打开车门外出以及如图27和图28所示完全外出。
虽已参照特定布置和配置详细描述了本公开,但在不背离本公开范围的前提下,可大幅更改这些示例配置和布置。例如,虽已参照涉及某些网络接入和协议的特定通信交换描述了本公开,但网络设备可适用于其他交换或路由协议。此外,虽已参照促进通信过程的特定元件和操作说明了网络设备,但这些元件和操作可由实现网络设备的预期功能的任何合适架构或过程来代替。
本领域技术人员可确定许多其他更改、替代、变型、变更和修改,本公开旨在涵盖落入所附权利要求范围内的所有这些更改、替换、变型、变更和修改。附图所示的结构便于3D建模,可以根据需要相对于参照相邻部件建立的竖轴、纵轴和横轴进行描述。
请注意,在本说明书中,引用“一个实施例”、“示例实施例”、“一实施例”、“另一实施例”、“一些实施例”、“各种实施例”、“其他实施例”、“替代实施例”等所包括的各种特征(例如,元件、结构、模块、部件、步骤、操作、特性等)旨在表示任何此类特征包括在本公开一个或多个实施例中,但在相同实施例中可以组合或不必组合。另请注意,本文中使用的“应用”可包含可执行文件,包括可在计算机上理解和处理的指令,还可包括执行期间加载的库模块、目标文件、系统文件、硬件逻辑、软件逻辑或任何其他可执行模块。
在示例实施方式中,活动的至少一些部分可在网络设备上提供的软件中实现。在一些实施例中,这些特征中的一个或多个可在这些元件外部提供的计算机硬件中实现,或者以任何适当的方式合并以实现预期的功能。各种网络元件可以包括可以跨诸如时间、振幅、深度以及各种分类度量的域协调图像发展的软件(或往复软件)以实现本文概述的操作,各种分类度量检测跨图像数据帧的移动并进一步检测视场中的特定对象。在其他实施例中,这些元件可包括促进其操作的任何合适的算法、硬件、软件、部件、模块、接口或对象。
另外,本文描述和显示的计算机系统(和/或其相关的结构)还可包括用于在网络环境中接收、发送和/或以其他方式传送数据或信息的合适接口。此外,可以删除或以其他方式合并与各种节点相关的一些处理器和存储器元件,使得单个处理器和单个存储器元件负责某些活动。一般而言,图中描绘的布置在其表示中可能更合乎逻辑,而物理架构可包括这些元件的各种排列、组合和/或混合。必须注意,无数可能的设计配置可用于实现本文概述的操作目标。据此,相关的基础设施具有无数的替代安排、设计选择、设备潜能、硬件配置、软件实现、设备选项等。
在一些示例实施例中,一个或多个存储器元件(例如,存储器)可存储用于本文描述的操作的数据。这包括能够将指令(例如,软件、逻辑、代码等)存储在非暂时性介质中的存储器,使得指令被执行以进行本说明书描述的活动。
处理器可执行任何类型与数据相关的计算机可读指令,以实现本说明书详述的操作。在一个示例中,多个处理器(例如,一个处理器)可将元件或物品(例如,数据)从一种状态或事物转换为另一种状态或事物。在另一示例中,本文概述的活动可以用固定逻辑或可编程逻辑(例如,软件/处理器执行的计算机指令)实现,本文标识的元件可以是某种类型的可编程处理器、可编程数字逻辑(例如,现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))、含数字逻辑的ASIC、软件、代码、电子指令、闪存、光盘、CD-ROM、DVD ROM、磁卡或光卡、其他类型适合存储电子指令的机器可读介质或其任何合适组合。
在适当情况下,基于特定需要,这些设备还可以将信息保存在任何合适类型的非暂时性存储介质(例如,随机存取存储器(RAM)、只读存储器(ROM)、现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程ROM(EEPROM)等)、软件、硬件或任何其他合适的部件、设备、元件或对象中。本文所述的任何存储器物品应解释为涵属于广义术语“存储器元件”内。类似地,本说明书描述的任何潜在处理元件、模块和机器应解释为涵属于广义术语“处理器”内。

Claims (28)

1.一种车辆座舱监控系统,包括:
图像传感器,连接到计算机处理器和计算机存储器,所述计算机存储器包括控制所述图像传感器的软件,其中,所述图像传感器定位成捕捉车辆内部的至少一部分的图像;
至少一个参考结构,定位于所述车辆座舱中所述图像传感器的视场内;
光学有源部件,定位于所述参考结构上,使得所述参考结构包括的光照表面被包括在至少一个所述图像内;
其中,所述图像的序列包括关于所述参考结构的光照表面的差异,所述差异指示所述车辆内部中的至少一个物品的至少一个状态变化。
2.根据权利要求1所述的车辆座舱监控系统,其中,所述光学有源部件是由计算机电控的光源,所述光源发射的光具有从所述参考结构出发的光路。
3.根据权利要求1所述的车辆座舱监控系统,其中,所述光学有源部件是受照表面,所述受照表面反射的光引导向所述参考结构。
4.根据权利要求3所述的车辆座舱监控系统,还包括所述受照表面上的图案,所述图案限定所述受照表面的多个光学特性。
5.根据权利要求3所述的车辆座舱监控系统,其中,所述受照表面包括回射表面。
6.根据权利要求3所述的车辆座舱监控系统,其中,所述参考结构还包括光衰减层,所述光衰减层将所述参考结构的反射率调节到一定程度,使得反射光从所述参考结构以某一强度到达所述图像传感器,针对所述强度所述处理器将所述反射光转换为所述图像传感器的动态范围内的测量信号。
7.根据权利要求6所述的车辆座舱监控系统,其中,所述强度由所述光衰减层结合入射光的到达角来调节。
8.根据权利要求1所述的车辆座舱监控系统,其中,所述车辆内的所述参考结构是所述车辆内部具有不变固定位置的静态部件或所述车辆内部具有可调位置的动态部件。
9.一种车辆座舱监控系统,包括:
光源,在车辆内部内沿着光投射路径提供投射光;
图像传感器,连接到处理器和计算机存储器,其中,所述图像传感器定位成接收来自所述光源的投射光或从所述车辆内部返回的反射光;
至少一个参考结构,定位于所述车辆内部中所述光投射路径内和所述图像传感器的视场内;
光学有源组件,定位于所述参考结构上,以将所述反射光引导回所述图像传感器;
其中,所述光学有源组件包括回射表面和所述回射表面上的光衰减层;且
其中,所述光衰减层将所述光学有源部件的反射率调节到一定程度,使得所述反射光从所述参考结构以某一强度到达所述图像传感器,针对所述强度所述处理器将所述反射光转换为所述图像传感器的动态范围内的测量信号。
10.根据权利要求9所述的车辆座舱监控系统,还包括所述车辆座舱内位置中的至少一个滤光器,所述滤光器允许在滤光器波长范围内的反射光通过到达所述图像传感器。
11.根据权利要求10所述的车辆座舱监控系统,其中,所述图像传感器、所述处理器和所述计算机存储器利用所述动态范围内的多个测量信号来生成包括反射强度数据和范围数据的点云图像。
12.根据权利要求11所述的车辆座舱监控系统,其随时间生成多个点云图像以识别视场内的物品移动,其中,所述光源的频率大于所检测到的所述物品移动导致的点云图像变化的频率。
13.根据权利要求9所述的车辆座舱监控系统,其中,所述光衰减层包括调整所述回射表面的反射率的至少一个表面特性。
14.根据权利要求13所述的车辆座舱监控系统,其中,所述表面特性限定降低来自所述回射表面的反射光的强度的至少一个阻挡结构。
15.根据权利要求9所述的车辆座舱监控系统,其中,所述回射表面包括第一织物并且所述光衰减层包括第二织物,所述第二织物包括降低所述第一织物的反射率的阻挡结构图案。
16.根据权利要求15所述的车辆座舱监控系统,其中,所述第二织物是网状物,所述网状物的阻挡结构粗度确定所述第一织物的反射率。
17.一种车辆座舱监控系统,包括:
光源,在车辆内部内沿着光投射路径提供投射光;
3D飞行时间光学传感器,连接到处理器和计算机存储器,其中,所述光学传感器定位成接收从所述车辆内部返回的反射光;
多个物品,定位于所述车辆内部中所述光投射路径内和所述光学传感器的视场内,其中,至少一个所述物品是参考结构,所述参考结构包括回射表面和所述回射表面上的光衰减层,
其中,所述光衰减层包括调节所述参考结构的反射率的阻挡结构,使得从所述参考结构传输到所述光学传感器的反射光具有调节强度,所述调节强度解释所述参考结构相对于所述光学传感器的位置;且
其中,所述3D飞行时间光学传感器和所述处理器生成点云图像,所述点云图像包括所述光学传感器视场内所述物品相对于所述参考结构的三维表示。
18.根据权利要求17所述的车辆座舱监控系统,其中,所述投射光是红外光,并且所述光衰减层中的阻挡结构吸收红外光。
19.根据权利要求17所述的车辆座舱监控系统,其中,调谐所述参考结构的反射率以解释所述参考结构的尺寸、所述光学传感器与所述参考结构之间的距离、所述投射光引导到所述参考结构上的角度以及所述光学传感器的动态范围中的至少一项。
20.根据权利要求17所述的车辆座舱监控系统,其中,所述投射光的角度和所述阻挡结构的密度确定所述阻挡结构降低所述传感器处接收到的反射光的调节强度的程度。
21.根据权利要求17所述的车辆座舱监控系统,其中,所述参考结构包括具有相对于所述光学传感器的反射率的至少一种织物,所述织物容纳所述处理器,所述处理器计算对应于所述图像传感器的动态范围内的反射光的测量信号。
22.根据权利要求17所述的车辆座舱监控系统,其中,所述光衰减层包括图案化表面,所述图案化表面具有多个阻挡结构和暴露所述回射表面的限定开口。
23.一种监控车辆座舱的方法,包括:
将至少一个参考结构定位于车辆内部;
将至少一个投射光源和至少一个光学传感器定位于所述车辆座舱中相应的位置,使得所述光学传感器的视场包括所述投射光的至少一部分或所述投射光反射的对应部分;
将回射表面附接到所述至少一个参考结构上;
根据所述参考结构相对于所述投射光源和所述光学传感器的位置来选择所述反射光的衰减程度;
选择光衰减层,所述光衰减层向来自所述回射表面的反射光提供所选定的衰减程度;以及
将所述光衰减层施加到所述回射表面上,其中,所述光衰减层调节所述反射光的强度。
24.根据权利要求23所述的监控车辆座舱的方法,其中,选择所述反射光的衰减程度包括:根据双向反射分布函数对所述回射表面和所述光衰减层建模,所述双向反射分布函数解释所述参考结构相对于所述光学传感器的位置。
25.根据权利要求24所述的监控车辆座舱的方法,其中,所述双向反射率分布函数解释所述参考结构的尺寸、所述光学传感器与所述参考结构之间的距离、所述投射光引导到所述参考结构上的角度中的至少一项。
26.根据权利要求24所述的监控车辆座舱的方法,还包括:
计算所述光学传感器的动态范围并选择源自所述参考结构的反射光的衰减程度,使得所述光学传感器配置对应于所述光学传感器的动态范围内的反射光的测量信号。
27.根据权利要求24所述的监控车辆座舱的方法,还包括:
控制由光信号产生的测量信号的计算机化积分时间以解释所述参考结构的反射率。
28.根据权利要求15所述的监控车辆座舱的方法,还包括:
生成点云图像,所述点云图像包括所述传感器视场内物体相对于所述参考结构的三维表示。
CN202080026990.XA 2019-04-04 2020-04-06 有源光学回射器的检测及监控 Active CN113874259B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962829475P 2019-04-04 2019-04-04
US62/829,475 2019-04-04
PCT/US2020/026938 WO2020206456A1 (en) 2019-04-04 2020-04-06 Detection and monitoring of active optical retroreflectors

Publications (2)

Publication Number Publication Date
CN113874259A true CN113874259A (zh) 2021-12-31
CN113874259B CN113874259B (zh) 2023-11-03

Family

ID=72661893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080026990.XA Active CN113874259B (zh) 2019-04-04 2020-04-06 有源光学回射器的检测及监控

Country Status (4)

Country Link
US (1) US11210539B2 (zh)
CN (1) CN113874259B (zh)
DE (1) DE112020001011B4 (zh)
WO (1) WO2020206456A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111194283B (zh) * 2017-05-15 2022-10-21 乔伊森安全系统收购有限责任公司 乘员安全带的检测和监控
DE102018129267A1 (de) * 2018-11-21 2020-05-28 Trw Automotive Gmbh Verfahren zur Herstellung eines Gurtbandes für ein Sicherheitsgurtsystem in einem Fahrzeug, Gurtband sowie Fahrzeug mit Gurtband
JP7401211B2 (ja) * 2019-06-25 2023-12-19 ファナック株式会社 外光照度測定機能を備えた測距装置及び外光照度測定方法
US11443517B1 (en) * 2019-08-19 2022-09-13 Alarm.Com Incorporated Video-based parking garage monitoring
US11565626B2 (en) 2020-12-31 2023-01-31 Joyson Safety Systems Acquisitions LLC Systems and methods for child presence detection with driver warning alerts and bypass option
US11833993B2 (en) 2020-12-31 2023-12-05 Joyson Safety Systems Acquisition Llc Postprocessing of seat belts for adding dye
US20220398404A1 (en) * 2021-06-09 2022-12-15 Veoneer Us, Inc. System and method to detect proper seatbelt usage and distance
US11951935B2 (en) * 2021-07-22 2024-04-09 GM Global Technology Operations LLC System and method for assessing seatbelt routing using seatbelt routing zones that are based on size and shape of occupant
US11447093B1 (en) * 2021-08-25 2022-09-20 Ford Global Technologies, Llc Safety belt D-ring positioning
US11904801B2 (en) * 2021-12-16 2024-02-20 Gm Cruise Holdings Llc Seatbelt buckle detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101130353A (zh) * 2006-08-24 2008-02-27 高田株式会社 摄像系统、车辆乘员检测系统、动作装置控制系统、车辆
US20150085116A1 (en) * 2011-12-29 2015-03-26 David L. Graumann Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
KR101509087B1 (ko) * 2014-04-21 2015-04-08 아엠아이테크 주식회사 차량 안전벨트 검출 장치
US20150212335A1 (en) * 2012-08-03 2015-07-30 Sharp Kabushiki Kaisha Reflective type imaging element and optical system, and method of manufacturing relective type imaging element
CN105667450A (zh) * 2014-12-04 2016-06-15 通用汽车环球科技运作有限责任公司 车辆中安全带位置的检测
US20180326944A1 (en) * 2017-05-15 2018-11-15 Joyson Safety Systems Acquisition Llc Detection and Monitoring of Occupant Seat Belt

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4063472B2 (ja) 2000-04-10 2008-03-19 日本カーバイド工業株式会社 印刷された再帰反射シート
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US6553296B2 (en) 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US4885566A (en) 1986-12-22 1989-12-05 Aisin Seiki Kabushiki Kaisha Apparatus for detecting the wearing of a seat belt assembly
US5187465A (en) 1990-09-27 1993-02-16 Trw Inc. Method and apparatus for testing a dual airbag passive restraint system
JP3426295B2 (ja) 1992-09-25 2003-07-14 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 電子装置を検査する方法および装置
US5330226A (en) 1992-12-04 1994-07-19 Trw Vehicle Safety Systems Inc. Method and apparatus for detecting an out of position occupant
US5472235A (en) * 1994-05-05 1995-12-05 Dubay; Eugene L. Night-visible occupant restraint for vehicles
DE4424020A1 (de) 1994-07-08 1996-01-11 Telefunken Microelectron Prüfverfahren für eine passive Sicherheitseinrichtung in Kraftfahrzeugen
US6139158A (en) 1995-07-26 2000-10-31 Reflexite Corporation Retroreflective articles with multiple size prisms in multiple locations
US5785347A (en) 1996-10-21 1998-07-28 Siemens Automotive Corporation Occupant sensing and crash behavior system
US5927752A (en) 1997-05-19 1999-07-27 Brandin; Boerje A. Apparatus and methods for determining seat occupant parameters prior to deployment of an automobile airbag
DE19815181C2 (de) 1998-04-04 2000-04-27 Daimler Chrysler Ag Verfahren zur Funktionsprüfung eines Insassenschutzsystems sowie Prüfschaltung zur Durchführung des Verfahrens
US6302438B1 (en) 1998-04-21 2001-10-16 Automotive Systems Laboratory, Inc. Occupant detection system
US6203059B1 (en) 1999-01-29 2001-03-20 Breed Automotive Technologies, Inc. Seat belt usage indicating system
US6598900B2 (en) 1999-04-19 2003-07-29 Automotive Systems Laboratory, Inc. Occupant detection system
US6151540A (en) 1999-05-11 2000-11-21 Delphi Technologies, Inc. Dynamic occupant position detection system and method for a motor vehicle
US6628390B1 (en) 2000-01-24 2003-09-30 Kenneth C. Johnson Wafer alignment sensor using a phase-shifted microlens array
US6325515B1 (en) 2000-03-21 2001-12-04 3M Innovative Properties Company Cube corner retroreflective article with enhanced pigmentation
US6260650B1 (en) 2000-03-24 2001-07-17 Volvo Lastvagnar Ab Apparatus and method for inducing seat belt usage by the driver of a vehicle
WO2001096147A2 (en) 2000-06-15 2001-12-20 Automotive Systems Laboratory, Inc. Occupant sensor
IT1321041B1 (it) 2000-11-03 2003-12-30 St Microelectronics Srl Sensore ottico intelligente per sistemi air-bag.
US6778337B2 (en) * 2000-12-12 2004-08-17 The Furukawa Electric Co., Ltd. Optical attenuator and optical attenuator module
US6781676B2 (en) 2002-03-22 2004-08-24 Trw Inc. Structured lighting detection of vehicle occupant type and position
US6771175B1 (en) 2002-12-06 2004-08-03 Daimlerchrysler Corporation Method for demonstrating reliability of occupant classification systems
DE10308881B3 (de) 2003-02-28 2004-09-02 Siemens Ag Steueranordnung und Verfahren zur Funktionsüberprüfung einer derartigen Steueranordnung für Insassenschutzmittel in einem Kraftfahrzeug
EP1498328A1 (de) 2003-07-15 2005-01-19 IEE International Electronics & Engineering S.A.R.L. Sicherheitsgurt-Warnvorrichtung
TW593971B (en) 2003-07-18 2004-06-21 Su-Ching Chien Optics method for detecting object
US7111869B2 (en) 2003-07-22 2006-09-26 Trw Automotive U.S. Llc Apparatus and method for controlling an occupant protection system in response to determined passenger compartment occupancy information
JP4029290B2 (ja) 2003-08-29 2008-01-09 三菱自動車工業株式会社 シートベルト非装着警告装置
JP2008518195A (ja) 2003-10-03 2008-05-29 オートモーティブ システムズ ラボラトリー インコーポレーテッド 乗員検出システム
US6985077B2 (en) 2003-12-30 2006-01-10 Lear Corporation Method of tuning a sensor array for occupancy sensing in a vehicle seat
US7095002B2 (en) 2004-02-23 2006-08-22 Delphi Technologies, Inc. Adaptive lighting control for vision-based occupant sensing
US7329447B2 (en) 2004-04-01 2008-02-12 3M Innovative Properties Company Retroreflective sheeting with controlled cap-Y
JP4403102B2 (ja) 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
DE102004028090A1 (de) 2004-06-09 2005-12-29 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Sensorik zur Fahrzeuginnenraumüberwachung
EP1786654B1 (en) 2004-09-06 2009-10-21 Bayerische Motorenwerke Aktiengesellschaft Device for the detection of an object on a vehicle seat
EP1794026B1 (en) 2004-09-08 2019-08-07 Aptiv Technologies Limited Child restraint system with in-motion belt status monitoring
US20060092401A1 (en) 2004-10-28 2006-05-04 Troxell John R Actively-illuminating optical sensing system for an automobile
FR2877279B1 (fr) 2004-11-03 2008-06-27 Faurecia Sieges Automobile Systeme de detection de presence d'un occupant sur un siege de vehicule automobile, siege adapte a ce systeme et vehicule comportant un tel systeme
US7472007B2 (en) 2005-09-02 2008-12-30 Delphi Technologies, Inc. Method of classifying vehicle occupants
US20070195990A1 (en) 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System
US7791476B2 (en) 2006-02-21 2010-09-07 Elesys North America, Inc. Occupant sensor and method for seat belt or other monitoring
US7511610B2 (en) 2006-03-24 2009-03-31 Nissan Technical Center North America, Inc. Multiple passenger vehicle seat belt notification system with force feedback
JP4658899B2 (ja) 2006-10-24 2011-03-23 本田技研工業株式会社 車両の乗員検知装置
JP4420081B2 (ja) 2007-08-03 2010-02-24 株式会社デンソー 行動推定装置
US20090058061A1 (en) * 2007-08-30 2009-03-05 Fuisz Richard C System for providing an indication indicative of whether or not a seat belt of a vehicle occupant is fastened
US20090096200A1 (en) * 2007-10-15 2009-04-16 Elaine Jamison Reflective seatbelts for increasing safety for patrol officers and motorists
DE102008034943A1 (de) 2008-07-26 2010-01-28 Manroland Ag Verfahren zum Betreiben einer Rollendruckmaschine
US8036795B2 (en) 2008-10-08 2011-10-11 Honda Motor Company, Ltd. Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same
US9148649B2 (en) 2011-10-07 2015-09-29 Massachusetts Institute Of Technology Methods and apparatus for imaging of occluded objects from scattered light
KR101709282B1 (ko) 2011-11-15 2017-02-24 삼성전자주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들
WO2013101047A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Systems, methods, and apparatus for invehicle fiducial mark tracking and interpretation
JP6338369B2 (ja) 2013-12-26 2018-06-06 キヤノン株式会社 情報処理装置および情報処理方法
US9637083B2 (en) 2014-04-03 2017-05-02 Audi Ag Method for operating a seat belt system in a motor vehicle and motor vehicle
GB201418731D0 (en) 2014-10-20 2014-12-03 Univ Heriot Watt Viewing and tracking of hidden objects in a scene
WO2017011476A1 (en) 2015-07-13 2017-01-19 Wavefront Technology, Inc. Optical products, masters for fabricating optical products, and methods for manufacturing masters and optical products
DE102015010282A1 (de) 2015-08-08 2016-03-24 Daimler Ag Vorrichtung zur Sitzbelegungserkennung
JP2017056877A (ja) * 2015-09-18 2017-03-23 株式会社デンソー シートベルト装置
EP3508385B1 (en) * 2016-08-31 2021-07-14 Toshiba Digital Solutions Corporation Wearing detection apparatus, imaging apparatus, restraint device, and wearing detection program
DE102016219517B4 (de) 2016-10-07 2019-06-19 Audi Ag Kraftfahrzeug und Verfahren zur Ermittlung einer Insasseninformation
CN110114246B (zh) 2016-12-07 2022-03-01 乔伊森安全系统收购有限责任公司 3d飞行时间有源反射感测系统和方法
US20180211123A1 (en) * 2017-01-25 2018-07-26 Toyota Research Institute, Inc. Occupant detection system in a vehicle
WO2019188060A1 (ja) * 2018-03-30 2019-10-03 株式会社フジクラ 検知装置および検知方法
JP7081315B2 (ja) * 2018-06-07 2022-06-07 トヨタ自動車株式会社 シートベルト装着状態判定装置
US11155226B2 (en) * 2018-08-17 2021-10-26 Veoneer Us, Inc. Vehicle cabin monitoring system
US10864826B2 (en) * 2019-01-30 2020-12-15 Ford Global Technologies, Llc Seat including infrared-indicator material in a pattern
US10850702B2 (en) * 2019-03-18 2020-12-01 Pony Ai Inc. Vehicle seat belt monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101130353A (zh) * 2006-08-24 2008-02-27 高田株式会社 摄像系统、车辆乘员检测系统、动作装置控制系统、车辆
US20150085116A1 (en) * 2011-12-29 2015-03-26 David L. Graumann Systems, methods, and apparatus for enhancing a camera field of view in a vehicle
US20150212335A1 (en) * 2012-08-03 2015-07-30 Sharp Kabushiki Kaisha Reflective type imaging element and optical system, and method of manufacturing relective type imaging element
KR101509087B1 (ko) * 2014-04-21 2015-04-08 아엠아이테크 주식회사 차량 안전벨트 검출 장치
CN105667450A (zh) * 2014-12-04 2016-06-15 通用汽车环球科技运作有限责任公司 车辆中安全带位置的检测
US20180326944A1 (en) * 2017-05-15 2018-11-15 Joyson Safety Systems Acquisition Llc Detection and Monitoring of Occupant Seat Belt

Also Published As

Publication number Publication date
WO2020206456A1 (en) 2020-10-08
DE112020001011B4 (de) 2023-07-13
US20200320318A1 (en) 2020-10-08
US11210539B2 (en) 2021-12-28
DE112020001011T5 (de) 2021-12-09
CN113874259B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN113874259B (zh) 有源光学回射器的检测及监控
CN111194283B (zh) 乘员安全带的检测和监控
US11447085B2 (en) 3D time of flight active reflecting sensing systems and methods
EP1816589B1 (en) Detection device of vehicle interior condition
US7511833B2 (en) System for obtaining information about vehicular components
US7768380B2 (en) Security system control for monitoring vehicular compartments
US7477758B2 (en) System and method for detecting objects in vehicular compartments
US7401807B2 (en) Airbag deployment control based on seat parameters
US20080157510A1 (en) System for Obtaining Information about Vehicular Components
US20120018989A1 (en) Method for deploying a vehicular occupant protection system
US20070025597A1 (en) Security system for monitoring vehicular compartments
US7624834B2 (en) System and method for identifying seat occupancy in a vehicle
US7209033B2 (en) Device and method for detecting an object or a person on a seat of vehicle
US7308349B2 (en) Method of operation for a vision-based occupant classification system
JP2013252863A (ja) 乗員拘束制御装置および乗員拘束制御方法
US20220203917A1 (en) Systems and methods for child presence detection with active child protection interlocks and safety warnings

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant