CN107428302B - 利用车辆内部相机的占用者尺寸和姿势的检测 - Google Patents

Abstract

一种用于确定车辆内部内的占用者（305、310、315）的尺寸和姿势的方法和系统。在一个实施例中，方法包括从相机（114）接收车辆内部的一个或多个图像（图3）。方法还包括分类所述一个或多个图像中的车辆内部（100）的内部区（130、132、134、136、138）。方法还包括基于车辆内部（100）的内部区（130、132、134、136、138）的分类而标识所述一个或多个图像中的占用者（305、310、315）。方法还包括基于车辆内部（100）的内部区的分类（404）而确定占用者（305、310、315）的尺寸范围。方法还包括基于车辆内部（100）的内部区的分类（404）而确定占用者（305、310、315）的姿势。方法还包括基于占用者（305、310、315）的尺寸和姿势而控制一个或多个车辆系统（122、124、126、128）。

Description

利用车辆内部相机的占用者尺寸和姿势的检测

对相关案件的交叉引用

本申请要求享有2015年4月10日提交的美国临时专利申请号62/145,931的权益，所述美国临时专利申请的完整内容通过引用并入本文。

背景技术

当前的占用者检测系统使用基于座椅的传感器以检测占用者或座椅中的其他对象的重量来检测车辆中的占用者的位置。其他占用者检测系统使用相机来检测占用者的位置。位置信息可以例如用于启用或禁用用于该座椅的气囊。

发明内容

当前的占用者检测系统能够提供一般的占用者位置信息。在一些情况下，更加具体的占用者位置信息和关于占用者的附加信息是合期望的。例如，可以利用关于车辆中的占用者相对于一个或多个气囊的尺寸和姿势的附加信息来更好地控制气囊。类似地，可以利用车辆中的占用者相对于其他车辆安全系统的尺寸和姿势的附加信息来更好地控制所述其他车辆安全系统。因此，存在对于确定车辆占用者的尺寸和姿势的系统和方法的需要。

以下阐述本文所公开的某些实施例的概述。应当理解到，仅仅为了为读者提供这些某些实施例的简要概述而呈现这些方面，并且这些方面不意图限制本公开的范围。实际上，本公开可以涵盖以下可能并未阐述的各种方面。

在一个实施例中，一种确定车辆内部内的占用者的尺寸和姿势的方法。方法包括利用电子控制单元从相机接收车辆内部的一个或多个图像。方法还包括利用电子控制单元分类所述一个或多个图像中的车辆内部的内部区。方法还包括利用电子控制单元基于车辆内部的内部区的分类而标识所述一个或多个图像中的占用者。方法还包括利用电子控制单元基于车辆内部的内部区的分类而确定占用者的尺寸范围。方法还包括利用电子控制单元基于车辆内部的内部区的分类而确定占用者的姿势。方法还包括基于占用者的尺寸和姿势而控制一个或多个车辆系统。

在另一实施例中，一种用于确定车辆内部内的占用者的尺寸和姿势的系统。系统包括相机和电子控制单元。相机配置成捕获车辆内部的一个或多个图像。电子控制单元具有存储器和电气耦合到存储器的电子处理器。电子控制单元配置成从相机接收所述一个或多个图像，分类所述一个或多个图像中的车辆内部的内部区，基于车辆内部的内部区的分类而标识所述一个或多个图像中的占用者，基于车辆内部的内部区的分类而确定占用者的尺寸范围，基于车辆内部的内部区的分类而确定占用者的姿势，以及基于占用者的尺寸和姿势而控制一个或多个车辆系统。

本发明的其他方面将通过详细描述和随附各图的考虑而变得明显。

附图说明

图1是配备有占用者尺寸和姿势检测系统的车辆内部的框图。

图2是图1的占用者尺寸和姿势检测系统的电子控制单元的框图。

图3是来自具有覆盖车辆内部100的显著部分的广角镜头的相机的图像。

图4是使用图1的占用者尺寸和姿势检测系统确定占用者的尺寸和姿势的方法的流程图。

具体实施方式

在详细解释本发明的任何实施例之前，要理解的是，本发明在其应用方面不受限于在以下描述中阐述或在随附各图中图示的组件的布置和构造的细节。本发明能够具有其他实施例，并且能够以各种方式实践或实施。

应当指出的是，多个基于硬件和软件的设备，以及多个不同结构的组件可以用于实现本发明。此外，应当理解的是，本发明的实施例可以包括硬件、软件和电子组件或模块，所述硬件、软件和电子组件或模块出于讨论的目的而可以被图示和描述为就像组件的大部分单独实现在硬件中。然而，本领域普通技术人员基于该详细描述的阅读将认识到，在至少一个实施例中，本发明的基于电子的方面可以实现在可利用一个或多个处理器执行的软件（例如存储在非暂时性计算机可读介质上）中。照此，应当指出的是，多个基于硬件和软件的设备，以及多个不同结构的组件可以用于实现本发明。例如，在说明书中描述的“控制单元”和“控制器”可以包括一个或多个处理器、一个或多个存储器模块（包括非暂时性计算机可读介质）、一个或多个输入/输出接口，以及连接组件的各种连接（例如系统总线）。

图1是图示了根据一个实施例的配备有占用者尺寸和姿势检测系统102的车辆内部100的框图。占用者尺寸和姿势检测系统102包括图像处理电子控制单元（ECU）110、相机112（例如鱼眼镜头相机）、可选的相机114、通信接口115A-115D（集体地，“通信接口115”）、气囊控制单元（ACU）120、电气链路121A-121D（集体地，“电气链路121”）（例如导线）、气囊122-128、驾驶员座椅130、乘客座椅132、左后座椅134、中后座椅136、右后座椅138和车辆传感器140。

相机112经由通信接口115A通信地耦合到图像处理ECU 110。此外，在一些实施例中，可选的相机114经由通信接口115B通信地耦合到图像处理ECU 110。图像处理ECU 110访问利用相机112捕获的多个图像（例如，全向图像）。图像处理ECU 110以预定时间间隔处理所述多个图像并且记录所述多个图像和相关联的数据。例如，图像处理ECU 110可以至少部分地基于由车辆内部100行进的距离而处理所述多个图像。通信接口115还通信地耦合图像处理ECU 110与ACU连同其他车辆系统（例如，如以下所描述的车辆传感器140和车辆控制设备145）。

尺寸和姿势检测系统102的一些实施例还包括指示车辆内部100的位置和移动的一个或多个车辆传感器140。例如，车辆传感器140可以包括转向角传感器、车轮位置或车轮速度传感器以及全球定位系统（GPS）。车辆传感器140使得ACU 120能够基于由车辆传感器140提供的移动信息而检测车辆内部100的位置、朝向和运动。此外，ACU 120配置成基于移动信息而计算位置和位置随时间的改变。此外，ACU 120可以通信地耦合到一个或多个车辆控制设备（例如，方向盘、油门或制动系统）。通过使用一个或多个车辆传感器140和/或车辆控制设备提供的信息，ACU 120可以基于车辆内部100的位置和由尺寸和姿势检测系统102分析的车辆内部100内的占用者的尺寸和姿势而执行气囊操作。

图2是图1的占用者尺寸和姿势检测系统102的图像处理ECU 110的框图。图像处理ECU 110包括多个电气和电子组件，所述多个电气和电子组件向图像处理110和/或相机112内的组件和模块提供功率、操作控制和保护。例如，图像处理ECU 110包括，除其他事物之外，控制器205（诸如可编程电子微处理器、微控制器，或其他合适的处理设备）、电源210和输入/输出模块215。

控制器205包括，除其他事物之外，电子处理器220和存储器225。电子处理器220通信地耦合到存储器225并且执行能够存储在存储器225中的指令。控制器205配置成从存储器225检索并且执行（除其他事物之外）涉及本文所描述的控制过程和方法的指令。在其他实施例中，图像处理ECU 110包括附加的、更少的或不同的组件。应当指出的是，图像处理ECU 110可以实现在若干独立的电子控制单元中，每一个电子控制单元配置成执行本文列出的特定功能。此外，图像处理ECU 110可以包含输入特定类型的传感器数据并且执行相关过程的子模块。例如，图像处理ECU 110的视频分析模块可以从相机112接收视频流或一个或多个图像，将视频或一个或多个图像变换成合适的格式，识别所述一个或多个图像中的对象和特征（例如车辆中的占用者、占用者的姿势和占用者的尺寸范围），追踪所述一个或多个图像内的对象和特征，并且控制其他ECU，或者从这些过程向其他ECU（例如ACU 120）发送数据输出。

图像处理ECU 110，除其他事物之外，配置成从相机112接收一个或多个图像并且处理所述一个或多个图像。例如，在图2的实施例中，输入/输出模块215从相机112接收所述一个或多个图像并且向控制器205发送所述一个或多个图像以用于图像处理。控制器205然后处理所述一个或多个图像。

图像处理ECU 110、子模块、附加的ECU（例如ACU 12）、车辆传感器140和车辆控制设备145可以通过通信接口115C上的一个或多个通信模块链接和/或经由输入/输出模块215直接连接。在一些实施例中，ACU 120借助于诸如J1939或CAN总线之类的协议通信以用于与输入/输出模块215通信。在其他实施例中，ACU 120取决于特定应用的需要而在其他合适的协议之下与输入/输出模块215通信。在一些实施例中，输入/输出模块215使用专用信号线直接从各种控件和传感器输入信息。

例如，图3是来自具有覆盖车辆内部100的显著部分的广角镜头的相机112的图像300。在该图示的实施例中，图像300包括两个占用者，第一占用者305和第二占用者。两个占用者是对于图像处理ECU 110而言感兴趣的对象。如图3中所图示的，第一占用者305和第二占用者310占据来自相机112的图像300中的位置（例如分别地，驾驶员座椅130和左后座椅134），并且被图像处理ECU 110检测为像素位置或检测为一组坐标（例如，竖直坐标和水平坐标）。

在一些实施例中，图像处理ECU 110使用分类器方案来从来自相机112的图像300提取信息（例如车辆占用者的位置、尺寸和姿势）。例如，分类器是基于包括边缘、形状、颜色和其他合适特征的图像特征。此外，一个或多个分类器可以用于检测图像中可见的占用者的完整范围（典型地，头部和躯干区）。可以针对车辆内部100中的不同座椅位置训练不同的分类器。以此方式，分类器可以用于标识包括第一占用者305和第二占用者310的车辆内部100中的占用者的位置。

在一些实施例中，附加的分类器还可以用于检测包括占用者的头部、肩部、躯干、手臂或其他合适特征的占用者的分离部分。这些附加的分类器可以组合以估计车辆内部100中的占用者中的每一个的姿势。类似地，多个分类器可以用于检测车辆内部100中的每一个占用者的不同姿势。例如，第一占用者305可能正笔直坐着，并且第二占用者310可能正在车辆内部100中向前倾。

在一些实施例中，图像处理ECU 110使用来自分类器的像素中的占用者的尺寸来估计占用者的尺寸。此外，图像处理ECU 110可以使用相机校准或占用者的姿势（例如，占用者的头部的位置和取向）。图像处理ECU 110能够向包括ACU 120和车辆控制设备145的其他车辆系统传送指示占用者的位置、尺寸和姿势的信息。ACU 120和/或车辆控制设备145可以基于指示占用者的位置、尺寸和姿势的信息而更改其功能。例如，ACU 120可以使用该信息来确定在碰撞事件中展开哪一个或多个气囊（例如，如图1中图示的气囊122-128中的一个或多个）。此外，ACU 120可以使用该信息来确定在碰撞事件中展开的所述一个或多个气囊的展开特性（例如展开的强度、展开的角度或其他合适的特性）。类似地，图像处理ECU 110可以向车辆控制设备145（诸如安全带系统）提供该信息。安全带系统可以使用该信息来控制在事故事件中车辆内部100中的安全带的功能。在一些实施例中，安全带系统可以控制安全带的功能以与通过ACU 120的所述一个或多个气囊的展开协调。

在其他实施例中，图像处理ECU 110可以为涉及安全、保安、舒适和便利的应用提供指示车辆的占用者的位置、尺寸和姿势的信息。例如，如果驾驶员或乘客没有使其安全带被接合，或者如果安全带没有正确接合（例如，安全带没有正确地约束驾驶员或乘客），该信息可以用于设置警告。在再其他的实施例中，图像处理ECU 110向车辆系统提供基于驾驶员座椅130中的占用者的尺寸和形状而自动设置驾驶员座椅130的位置、踏板、转向轮和/或车辆镜的信息。类似地，图像处理ECU 110向车辆系统提供基于乘客座椅132中的占用者的尺寸和形状而自动设置乘客座椅132的位置的信息。

图4是使用尺寸和姿势检测系统102确定车辆内部内的占用者的尺寸和姿势的方法400的流程图。将方法400描述为利用图像处理ECU 110来执行。然而，应当理解到，方法400中说明的功能可以在多个设备之中分布，诸如在图像处理ECU 110、ACU 120和/或其他车辆控制设备之间。

如图4中所图示的，图像处理ECU 110从捕获车辆内部的相机112接收一个或多个图像（在块402处）。例如，图像处理ECU 110从具有覆盖车辆内部100中的所有乘坐区域的广角镜头的相机112接收视频流。此外，在一些实施例中，图像处理ECU 110从可选的相机114接收一个或多个图像，所述可选的相机114从与相机112的位置不同的位置捕获车辆内部。例如，可选的相机114可以捕获乘坐位置的图像，诸如更长车辆内部100中的第三行座椅。

图像处理ECU 110分类一个或多个图像中的车辆内部的内部区（在块404处）。在一些实施例中，所述一个或多个图像可以被预处理以改进总体图像质量，捕获用于控制相机值（诸如曝光）的统计量，并且潜在地对图像重采样以获取用于进一步处理的期望分辨率。处理所述一个或多个图像以提取图像特征，诸如针对所述一个或多个图像中的所有像素或小像素组的线条、形状、梯度幅值和方向、纹理和颜色。将这些所提取的图像特征馈送到分类器（例如比较器）中，所述分类器使图像区（例如，车辆内部的内部区）中的所提取的特征相关以确定所提取的图像特征有多良好地匹配对象类（例如车辆占用者、座椅、安全带或其他车辆内部对象类）的特征。分类器是基于要检测的对象类的之前收集的数据。对象类的之前收集的数据可以包括车辆中的占用者的大图像组。大图像组中的这些占用者需要代表尺寸、年龄、乘坐姿势、衣物的多样集合，并且以一定范围的照明条件取得。在一些实施例中，存在对应于车辆中的不同座椅（例如，前座椅对比后座椅，或者每一个单独座椅）的不同分类器。此外，在一些实施例中，存在用于检测婴儿载体的分离分类器。

图像处理ECU 110可以使用车辆内部的内部区的分类来标识所述一个或多个图像中的占用者（在块406处）。例如，图像处理ECU 110可以将通过初始分类器的车辆内部的内部区的分类用作针对所述一个或多个图像中的每一个内部区的得分。将得分与存储在图像处理ECU 110的存储器中的阈值比较以标识所述一个或多个图像中的占用者。在一些实施例中，为了增加在所述一个或多个图像中标识到占用者的概率并且限制错误检测，图像处理ECU 110可以使用存储在图像处理ECU 110的存储器中的低阈值以及还使用标识发生在两个或更多图像中的车辆内部的相同内部区中的要求。

在图像处理ECU 110标识到所述一个或多个图像的内部区中的占用者之后，图像处理ECU 110基于如以上描述的内部区的分类而确定占用者的尺寸范围（在块408处）。在其他实施例中，对于具有占用者的所述一个或多个图像的内部区，可以执行附加的处理以确定占用者的尺寸范围。例如，图像处理ECU 110可以使用特定于检测头部、躯干、手臂和腿部的分类器来分类占用者并且然后组合分类以确定占用者的尺寸范围。在一些实施例中，相机校准值还可以用于取得所述一个或多个图像中的占用者的所检测的尺寸和所标识的位置并且将所检测的尺寸和所标识的位置转换成占用者的尺寸的估计。在一些实施例中，基于车辆内部的内部区的分类而标识所述一个或多个图像中的占用者包括，图像处理ECU110确定占用者是否位于车辆内部的驾驶员座椅中。此外，理解到，占用者的尺寸范围与占用者的形状相关。换言之，理解到，图像处理ECU 110可以在确定占用者的尺寸范围之后确定占用者的形状。

在图像处理ECU 110标识到所述一个或多个图像的内部区中的占用者之后，图像处理ECU 110还基于如以上描述的内部区的分类而确定占用者的姿势（在块410处）。在其他实施例中，对于具有占用者的所述一个或多个图像的内部区，可以执行附加的处理以确定占用者的姿势。例如，图像处理ECU 110可以使用特定于检测头部、躯干、手臂和腿部的分类器来分类占用者并且然后组合分类以确定占用者的姿势。

在图像处理ECU 110确定占用者的尺寸范围和姿势之后，在一些实施例中，图像处理ECU 110基于占用者尺寸和姿势控制其他车辆系统（在块412处）。通过使用关于占用者尺寸和姿势的信息来控制所述其他车辆系统，图像处理ECU 110增加车辆内的占用者的安全性。可替换地，在图像处理ECU 110确定占用者的尺寸范围和姿势之后，图像处理ECU 110可以向其他车辆系统（例如ACU 120）传输占用者尺寸和姿势以允许所述其他车辆系统增加控制车辆的气囊、安全带和其他安全机构中的精度。例如，图像处理ECU 110可以向如以上描述的ACU 120传输占用者的尺寸和姿势，并且ACU 120可以至少部分地基于占用者的尺寸和姿势而激活一个或多个气囊以用于展开，从而增加占用者的安全性。

在一些实施例中，图像处理ECU 110或ACU 120还可以基于占用者的尺寸和姿势而确定所述一个或多个气囊的一个或多个展开特性。所述一个或多个气囊的展开特性可以包括所述一个或多个气囊的展开强度或所述一个或多个气囊的展开角度中的至少一个。

在一些实施例中，图像处理ECU 110还可以向安全带系统传输占用者的尺寸和姿势。安全带系统可以至少部分地基于占用者的尺寸和姿势而确定占用者是否已经正确地接合安全带。

理解到，已经将图4描述为分类、标识和确定车辆内的占用者的尺寸和姿势。然而，还要理解到，如图4中图示的和描述的方法400可以用于分类、标识和确定车辆内的多个占用者的尺寸和姿势。例如，在一些实施例中，图像处理ECU 110可以基于车辆内部的内部区的分类而标识所述一个或多个图像中的第二占用者。图像处理ECU 110还可以基于车辆内部的内部区的分类而确定第二占用者的尺寸范围。图像处理ECU 110还可以基于车辆内部的内部区的分类而确定第二占用者的姿势。在确定第二占用者的尺寸和姿势之后，图像处理ECU 110可以基于第二占用者的尺寸和姿势而控制一个或多个车辆系统。可替换地，在确定第二占用者的尺寸和姿势之后，图像处理ECU 110可以向一个或多个车辆系统传输第二占用者的尺寸和姿势。

因此，除其他事物之外，本发明提供了用于确定车辆内的占用者的尺寸和姿势的方法和系统。在随附权利要求中阐述本发明的各种特征和优点。

Claims (10)

1.一种确定车辆内部内的占用者的尺寸和姿势的方法，所述方法包括：

利用电子控制单元从相机接收车辆内部的一个或多个图像；

利用电子控制单元分类所述一个或多个图像中的车辆内部的内部区；

利用电子控制单元基于车辆内部的内部区的分类而标识所述一个或多个图像中的占用者；

利用电子控制单元基于车辆内部的内部区的分类而确定占用者的尺寸范围，其中使用特定于检测头部、躯干、手臂和腿部的分类器来分类占用者并且然后组合分类以确定占用者的尺寸范围；

利用电子控制单元基于车辆内部的内部区的分类而确定占用者的姿势，其中使用特定于检测头部、躯干、手臂和腿部的分类器来分类占用者并且然后组合分类以确定占用者的姿势；以及

基于占用者的尺寸和姿势而控制一个或多个车辆系统，

其中基于占用者的尺寸和姿势而控制一个或多个车辆系统包括

利用电子控制单元向气囊控制单元传输占用者的尺寸和姿势；

利用气囊控制单元至少部分地基于占用者的尺寸和姿势而激活一个或多个气囊以用于展开；

利用气囊控制单元基于占用者的尺寸和姿势而确定所述一个或多个气囊的一个或多个展开特性，其中所述一个或多个气囊的所述一个或多个展开特性包括展开角度；以及

利用电子控制单元向安全带系统传输占用者的尺寸和姿势，其中安全带系统使用占用者的尺寸和姿势来控制安全带的功能以与所述一个或多个气囊的展开协调。

2.权利要求1所述的方法，其中基于车辆内部的内部区的分类而标识所述一个或多个图像中的占用者包括利用电子控制单元确定占用者是否位于车辆内部的驾驶员座椅中。

3.权利要求1所述的方法，其中所述一个或多个气囊的所述一个或多个展开特性包括展开强度。

4.权利要求1所述的方法，其中基于占用者的尺寸和姿势而控制一个或多个车辆系统包括

利用安全带系统至少部分地基于占用者的尺寸和姿势而确定占用者是否已经正确地接合安全带。

5.权利要求1所述的方法，还包括：

利用电子控制单元基于车辆内部的内部区的分类而标识所述一个或多个图像中的第二占用者；

利用电子控制单元基于车辆内部的内部区的分类而确定第二占用者的尺寸范围；

利用电子控制单元基于车辆内部的内部区的分类而确定第二占用者的姿势；以及

基于第二占用者的尺寸和姿势而控制一个或多个车辆系统。

6.一种用于确定车辆内部内的占用者的尺寸和姿势的系统，所述系统包括：

配置成捕获车辆内部的一个或多个图像的相机；以及

具有存储器和电气耦合到存储器的电子处理器的电子控制单元，其中电子控制单元配置成

从相机接收所述一个或多个图像，

分类所述一个或多个图像中的车辆内部的内部区，

基于车辆内部的内部区的分类而标识所述一个或多个图像中的占用者，其中使用特定于检测头部、躯干、手臂和腿部的分类器来分类占用者并且然后组合分类以确定占用者的尺寸范围，

基于车辆内部的内部区的分类而确定占用者的尺寸范围，其中使用特定于检测头部、躯干、手臂和腿部的分类器来分类占用者并且然后组合分类以确定占用者的姿势，

基于车辆内部的内部区的分类而确定占用者的姿势，以及

基于占用者的尺寸和姿势而控制一个或多个车辆系统；

气囊控制单元，其中，为了基于占用者的尺寸和姿势而控制一个或多个车辆系统，电子处理器还配置成向气囊控制单元传输占用者的尺寸和姿势，并且其中气囊控制单元配置成至少部分地基于占用者的尺寸和姿势而激活一个或多个气囊以用于展开，并且

其中气囊控制单元还配置成基于占用者的尺寸和姿势而确定所述一个或多个气囊的一个或多个展开特性，其中所述一个或多个气囊的所述一个或多个展开特性包括展开角度；以及

安全带系统，其中为了基于占用者的尺寸和姿势而控制一个或多个车辆系统，电子处理器还配置成向安全带系统传输占用者的尺寸和姿势，并且其中安全带系统使用占用者的尺寸和姿势来控制安全带的功能以与所述一个或多个气囊的展开协调。

7.权利要求6所述的系统，其中，为了标识所述一个或多个图像中的占用者，电子处理器还配置成确定占用者是否位于车辆内部的驾驶员座椅中。

8.权利要求6所述的系统，其中所述一个或多个气囊的所述一个或多个展开特性包括展开强度。

9.权利要求6所述的系统，其中安全带系统配置成至少部分地基于占用者的尺寸和姿势而确定占用者是否已经正确地接合安全带。

10.权利要求6所述的系统，其中电子处理器还配置成

基于车辆内部的内部区的分类而标识所述一个或多个图像中的第二占用者，

基于车辆内部的内部区的分类而确定第二占用者的尺寸范围，

基于车辆内部的内部区的分类而确定第二占用者的姿势，以及

基于第二占用者的尺寸和姿势而控制一个或多个车辆系统。

Images