CN115641568A - 基于相机的车厢内对象定位 - Google Patents

基于相机的车厢内对象定位 Download PDF

Info

Publication number
CN115641568A
CN115641568A CN202210782878.XA CN202210782878A CN115641568A CN 115641568 A CN115641568 A CN 115641568A CN 202210782878 A CN202210782878 A CN 202210782878A CN 115641568 A CN115641568 A CN 115641568A
Authority
CN
China
Prior art keywords
location
vehicle
seating
image
taken
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210782878.XA
Other languages
English (en)
Inventor
费赞·沙克
罗伯特·帕伦蒂
M·卡卡雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN115641568A publication Critical patent/CN115641568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供“基于相机的车厢内对象定位”。提供在车辆的车厢内执行对象定位。接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像。对相机图像执行对象检测以识别相机图像中的一个或多个对象。在第一位置处拍摄的图像上训练的机器学习模型被用来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。

Description

基于相机的车厢内对象定位
技术领域
本公开的各方面涉及车辆的车厢内的对象定位。
背景技术
车辆特征可以涉及车辆中的人、对象及其位置的检测。此类特征可以包括驾驶员监测系统(DMS)、儿童座椅警报和乘客监测。这些特征可以利用车载相机来检测人和对象。
发明内容
在一个或多个说明性示例中，提供了一种用于在车辆的车厢内执行对象定位的系统。所述系统包括一个或多个计算装置，所述一个或多个计算装置被编程为接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；对相机图像执行对象检测以识别相机图像中的一个或多个对象；并且利用在第一位置处拍摄的图像上训练的机器学习模型来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。
在一个或多个说明性示例中，提供了一种用于在车辆的车厢内执行对象定位的方法。接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像。对相机图像执行对象检测以识别相机图像中的一个或多个对象。在第一位置处拍摄的图像上训练的机器学习模型被用来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。
在一个或多个说明性示例中，非暂时性计算机可读介质包括用于在车辆的车厢内执行对象定位的指令，所述指令在由一个或多个计算装置执行时致使所述一个或多个计算装置执行如下操作，所述操作包括：接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；对相机图像执行对象检测以识别相机图像中的一个或多个对象；并且利用在第一位置处拍摄的图像上训练的机器学习模型来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。
附图说明
图1示出了包括车辆的示例性系统，其实现车辆的车厢内的对象定位的方法；
图2示出了由二维(2D)图像传感器从车辆内的第一有利点拍摄的示例性图像相机图像；
图3示出了由2D图像传感器从车辆内的第二有利点拍摄的示例性图像相机图像；
图4示出了用于训练机器学习模型以在车辆中放置对象的示例性过程；
图5示出了用于使用机器学习模型以在车辆中放置对象的示例性过程；
图6示出了用于调适机器学习模型以针对车厢中的不同有利点操作的示例性过程；以及
图7示出了用于使用实现传感器融合以构建用于有效处理深度学习模型的活动感兴趣区域的计算装置的示例。
具体实施方式
本文描述了本公开的实施例。然而，应理解，所公开的实施例仅仅是示例并且其他实施例可以呈现各种和替代形式。附图不一定按比例绘制；一些特征可能被放大或最小化以示出特定部件的细节。因此，本文中所公开的具体结构细节和功能细节不应被解释为限制性的，而仅应解释为用于教导本领域技术人员以不同方式采用实施例的代表性基础。如本领域普通技术人员将理解，参考附图中的任一者示出和描述的各种特征可以与一个或多个其他附图中示出的特征组合以产生未明确地示出或描述的实施例。所示特征的组合提供用于典型应用的代表性实施例。然而，与本公开的教示一致的特征的各种组合和修改可能是特定应用所期望的。
定位车厢中的人和对象的位置对于加载特定于乘客的配置文件是有用的。虽然无线电检测和测距(RADAR)可以用于定位对象，但是RADAR传感器可能不适合于其他任务，诸如面部识别或眼睛注视检测。使用也用于DMS的单目相机，可以使用车厢的三维(3D)模型来执行用于定位人或对象的面部识别。本文详细讨论了本方法的其他方面。
图1示出了包括车辆102的示例性系统100，其实现车辆102的车厢104内的对象定位的方法。车辆102可以包括被配置为向车辆102提供计算服务的计算系统108。车辆102还可以包括被配置为捕获车辆102的车厢104的内部的图像的一个或多个2D图像传感器110。如本文详细解释的，来自2D图像传感器110的数据可以用于将车厢104的3D区域分配给在图像数据内检测到的对象。
车辆102可以包括各种类型的汽车、跨界多功能车辆(CUV)、运动型多功能车辆(SUV)、卡车、休闲车辆(RV)、船、飞机或用于运输人或货物的其他移动机器。在许多情况下，车辆102可以由内燃发动机提供动力。作为另一种可能性，车辆102可以是由内燃发动机和一个或多个电动马达两者提供动力的混合动力电动车辆，诸如串联混合动力电动车辆、并联混合动力电动车辆或并联/串联混合动力电动车辆。由于车辆102的类型和配置可以变化，因此车辆102的能力可以对应地变化。作为一些其他可能性，车辆102在载客量、牵引能力和容量以及存储量方面可以具有不同能力。
车辆102内部可以被分成多个就座区106，其中每个就座区106与车辆102内部的就座位置相关联。例如，所示车辆102的前排可以包括与驾驶员就座位置相关联的第一就座区106A和与前排乘客位置相关联的第二就座区106B。所示车辆102的第二排可以是与驾驶员侧第二排就座位置相关联的第三就座区106C和与乘客侧第二排就座位置相关联的第四就座区106D。所示车辆102的第三排可以包括与驾驶员侧第三排就座位置相关联的第五就座区106E和与乘客侧第三排就座位置相关联的第六就座区106F。如示出的示例中所示，第一人位于第一就座区106A中，第二人位于第三就座区106C中，第三人位于第四就座区106D中，并且第四人位于第六就座区106F中。就座区106的数量和布置方式的变化是可能的。作为一些其他可能性，替代的第二排可以包括三个就座区106，或者车辆102可以包括更多或更少排。
计算系统108可以被配置为执行关于监测车厢104的各种任务。例如，计算系统108可以执行占用检测以确定车辆102的哪些就座区106被占用(这里是就座区106A、106C、106D和106F)。在另一个示例中，计算系统108可以执行驾驶员监测以确保驾驶员专心于驾驶任务。
2D图像传感器110可以包括被配置为生成车厢104的2D图像数据的相机或其他成像传感器。在许多示例中，2D图像数据可被存储为像素的矩形阵列，其中每个像素对应于图像的一部分。在一些示例中，图像数据可以是单个颜色或通道，从而形成单个像素矩阵。在其他示例中，图像数据可是具有多个颜色通道(诸如红色、绿色和蓝色)的单独像素值的彩色图像。
机器学习模型112，诸如训练后的神经网络，可以用于执行车厢内对象检测。该对象检测可以包括例如就座区106的占用检测。在另一个示例中，对象检测还可确定车辆102内的所识别的个体的姿态、注意力或其他方面。在又一示例中，对象检测可以包括检测车辆102内的其他对象，诸如动物、工具箱、电子装置、其他物理对象等。可以进一步训练机器学习模型112以根据车厢104的3D模型将检测到的人或对象定位到就座区106。
图2示出了由2D图像传感器110从车辆102内的第一有利点拍摄的相机图像202的示例200。如图所示，车辆102包括多个就座区106，其中对于每个就座区106，存在对应的边界框204。具体地，在所示示例200中，第一边界框204A对应于第一就座区106A，第二边界框204B对应于第二就座区106B，第三边界框204C对应于第三就座区106C，第四边界框204D对应于第四就座区106D，第五边界框204E对应于第五就座区106E，并且第六边界框204F对应于第六就座区106F。
图3示出了由2D图像传感器110从车辆102内的第二有利点拍摄的相机图像202的示例300。例如，在示例300中拍摄相机图像202的2D图像传感器110可以是在同一车辆102中的不同2D图像传感器110，如示例200中所示。或者，在示例300中拍摄相机图像202的2D图像传感器110可以是同一2D图像传感器110。或者，在示例300中拍摄相机图像202的2D图像传感器110可以完全位于不同的车辆102中。
可以训练机器学习模型112以识别特定于2D图像传感器110在车辆102的车厢104中的位置的边界框204。一旦被训练，假设2D图像传感器110保持在同一位置，则机器学习模型112可以用于识别是否在边界框204中检测到对象。此外，由于边界框204中的每一个可以被映射到对应的就座区106，因此已经识别出边界框204内的对象的机器学习模型112也可以关于车辆102内的对象的3D位置发出通知。
无论如何，看得出来，与示例200中的边界框204相比，示例300中的边界框204在相机图像202中处于不同的位置。因此，边界框204的静态映射可能不适合跨不同的车辆102或跨同一车辆102内用于图像捕获的不同有利点。
图4示出了用于训练机器学习模型112以在车辆102中放置对象的示例性过程400。在一个示例中，在系统100的背景下，过程400可以由车辆102的计算系统108执行。在另一个示例中，过程400可以由车辆102外部的计算装置执行以下载到车辆102。
在操作402处，计算系统108识别车辆102的布局。在一个示例中，计算系统108可以接收车辆102的内部规格作为输入。这可以包括，例如，车辆102中就座区106的排数和/或每排的座椅数。在另一个示例中，计算系统108可以使用被训练来识别图像中的就座区的神经网络对来自2D图像传感器110的相机图像202执行图像识别。布局还可以指示2D图像传感器110相对于车厢104的位置。
在操作404处，计算系统108检索对应于车厢104的布局的训练集。在一个示例中，计算系统108可以从操作者接收带注释的图像作为输入。在另一个示例中，计算系统108可以访问各种车厢104的带注释的图像的数据存储区，并且可以选择对应于车辆102的布局的图像。带注释的图像可以包括图像中的人和/或对象的标记以及他们的就座区106位置。图像可以包括在2D图像传感器110相对于车厢104的同一位置处拍摄的图像。在其他示例中，图像可以从车厢104中的不同位置拍摄，并且可以被投影以对应于2D图像传感器110相对于车厢104的位置。该投影可以例如通过检测原始图像中的源点(例如，使用霍夫线变换来识别图像中与车厢104中的座椅相对应的直线)、从标识确定水平线和垂直线的交叉点以及使用变换矩阵(例如，齐次变换)变换交叉点以从不同的角度映射到车厢104中的座椅的交叉点来完成。
在操作406处，计算系统108训练机器学习模型112。在一个示例中，计算系统108使用图像的数据作为机器学习模型112的输入，并且使用注释作为地面实况输出来训练机器学习模型112的权重和偏差。在一个示例中，机器学习模型112是利用随机梯度下降的线性回归模型。可以使用对训练图像的一次或多次传递，直到算法收敛到与注释一致的对象的3D位置的合适预测。在操作406之后，过程400结束。
图5示出了用于使用机器学习模型112以在车辆102中放置对象的示例性过程500。在一个示例中，在系统100的背景下，过程500可以由车辆102的计算系统108执行。在一个示例中，过程500可以从来自2D图像传感器110的单个图像执行。在另一个示例中，过程500可以随时间对从2D图像传感器110接收到的图像流执行。
在操作502处，计算系统108接收相机图像202。在一个示例中，计算系统108可以从车厢104的2D图像传感器110接收图像。
在操作504处，计算系统108检测相机图像202中的对象。例如，对象可以使用整个图像202的感兴趣区域检测。对于每个检测到的对象，计算系统108可以跟踪检测到的对象的边界框位置。对于随时间对图像流执行的实现方式，可以对相机图像202的每个检测到的对象的边界框使用卡尔曼滤波器，以跟踪对象并更快地跨帧预测边界框的位置。卡尔曼滤波器可以基于对先前相机图像202帧的对象的检测来对边界框位置进行初始预测，然后可以基于实际的新帧来更新所述预测。
在操作506处，计算系统108使用机器学习模型112来将检测到的对象定位到车辆102的就座区106中。机器学习模型112可以在边界框204上进行训练以预测就座位置，并且可以例如使用线性回归算法来预测就座位置。这可以允许计算系统108使用边界框204来确定对象所在的排和座椅(X,Z)。在一个特定示例中，这可以包括确定人所就座的就座区106。
在操作508处，计算系统108使用检测到的对象的位置来执行车辆102特征。在一个示例中，位置可以用于DMS、儿童座椅警报和乘客监测中的一者或多者。在操作508之后，过程500结束。
图6示出了用于调适机器学习模型112以针对车厢104中的不同有利点操作的示例性过程600。例如，过程600可以用于平移用针对第一2D图像传感器110的位置的边界框204训练的机器学习模型112，以用针对第二2D图像传感器110的位置的经平移的边界框204进行操作。在一个示例中，如所描述，在系统100的背景下，过程600可以由车辆102的计算系统108执行。在另一个示例中，应注意，过程600可以由车辆102外部的计算装置替代地执行以下载到车辆102的计算系统108。
在操作602处，计算系统108估计2D图像传感器110的校准。例如，计算系统108可以估计旧相机位置与新安装的相机之间的外在相机校准。例如，2D图像传感器110可以最初位于位置T1(X,Y,Z)，并且该位置可以改变为T2(X,Y,Z)。然后可以使用齐次变换将数据从新位置T2投影到T1。可以根据T1和T2来预先计算变换矩阵。
在操作604处，计算系统108识别第一2D图像传感器110和第二2D图像传感器110的位置。例如，可以相对于车厢104的参考点识别这些位置。例如，计算系统108可以识别第一2D图像传感器110相对于车厢104的中心的位置，并且可以进一步识别第二2D图像传感器110相对于车厢104的中心的位置。
在操作606处，计算系统108使用由第一2D图像传感器110和第二2D图像传感器110的位置限定的几何形状来投影机器学习模型112的边界框204。例如，计算系统108可以利用在操作602处确定的变换矩阵来将边界框204的位置投影到新位置。
在操作608处，计算系统108使用经重新投影的边界框204来将检测到的对象定位到车辆102的就座区106中。例如，计算系统108可以使用针对2D图像传感器110的新位置的经重新投影的边界框204来执行过程500。在操作608之后，过程600结束。
图7示出了用于实现机器学习模型112的上述训练、使用和调适的计算装置702的示例700。参考图7并且参考图1至图6，计算系统108可以是此类计算装置702的示例。如图所示，计算装置702可以包括处理器704，所述处理器704操作性地连接到存储装置706、网络装置708、输出装置710以及输入装置712。应注意，这仅为示例，并且可以使用具有更多、更少或不同部件的计算装置702。
处理器704可包括实现中央处理单元(CPU)和/或图形处理单元(GPU)的功能的一个或多个集成电路。在一些示例中，处理器704是集成CPU和GPU的功能的片上系统(SoC)。SoC可任选地将其他部件(例如，诸如存储装置706和网络装置708)包括到单个集成装置中。在其他示例中，CPU和GPU经由外围连接装置(诸如外围部件互连(PCI)快速)或另一合适的外围数据连接彼此连接。在一个示例中，CPU是可商购的中央处理装置，其实现指令集，诸如x86、ARM、Power或无互锁流水线级的微处理器(MIPS)指令集系列中的一者。
无论细节如何，在操作期间，处理器704执行从存储装置706检索到的所存储程序指令。所存储程序指令相应地包括控制处理器704的操作以执行本文描述的操作的软件。存储装置706可以包括非易失性存储器装置和易失性存储器装置两者。非易失性存储器包括固态存储器，诸如“与非”(NAND)快闪存储器、磁存储介质和光学存储介质或在系统100被停用或失去电力时保留数据的任何其他合适的数据存储装置。易失性存储器包括静态和动态随机存取存储器(RAM)，所述静态和动态随机存取存储器在系统100的操作期间存储程序指令和数据。
GPU可包括用于将至少2D和任选地3D图形显示到输出装置710的硬件和软件。输出装置710可以包括图形或视觉显示装置，诸如电子显示屏、投影仪、打印机或再现图形显示的任何其他合适的装置。作为另一示例，输出装置710可包括音频装置，诸如扬声器或耳机。作为又一示例，输出装置710可包括触觉装置，诸如可机械地升高的装置，所述触觉装置在示例中可被配置为显示盲文或可被触摸以向用户提供信息的另一物理输出。
输入装置712可包括使得计算装置702能够从用户接收控制输入的各种装置中的任一种。接收人机界面输入的合适的输入装置的示例可以包括键盘、鼠标、轨迹球、触摸屏、语音输入装置、图形输入板等。
网络装置708可各自包括使得计算装置702能够通过网络从外部装置发送和/或接收数据的各种装置中的任一种。合适的网络装置708的示例包括以太网接口、Wi-Fi收发器、蜂窝收发器、或蓝牙或蓝牙低功耗(BLE)收发器，或从另一计算机或外部数据存储装置接收数据的其他网络适配器或外围互连装置，所述其他网络适配器或外围互连装置对于以高效方式接收大量数据可能很有用。
本文所公开的过程、方法或算法可能够输送到处理装置、控制器或计算机/由处理装置、控制器或计算机实现，所述处理装置、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，所述过程、方法或算法可被存储为可由控制器或计算机以许多形式执行的数据和指令，所述形式包括但不限于持久地存储在诸如只读存储器(ROM)装置的不可写存储介质上的信息和可改动地存储在诸如软盘、磁带、光盘(CD)、RAM装置和其他磁性和光学介质的可写存储介质上的信息。所述过程、方法或算法也可以软件可执行对象来实现。替代地，可以使用合适的硬件部件或者硬件、软件和固件部件的组合全部或部分地实施所述过程、方法或算法，所述硬件部件诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件部件或装置。
尽管上文描述了示例性实施例，但这些实施例并不意图描述权利要求所涵盖的所有可能形式。在说明书中使用的词语是描述词语而非限制性词语，并且应当理解，在不脱离本公开的精神和范围的情况下可做出各种改变。如先前描述，各个实施例的特征可以组合以形成可能未明确描述或示出的本公开的其他实施例。尽管各种实施例可能已经被描述为就一个或多个期望的特性而言提供优点或优于其他实施例或现有技术实现方式，但是本领域普通技术人员认识到，可以折衷一个或多个特征或特性以实现期望的整体系统属性，这取决于具体应用和实现方式。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、市场适销性、外观、包装、大小、服务能力、重量、可制造性、便于组装等。因此，就一个或多个特性而言，在任何实施例被描述为不及其他实施例或现有技术实现方式理想的程度上，这些实施例不在本公开的范围之外并且对于特定应用可能是期望的。
根据本发明，提供了一种用于在车辆的车厢内执行对象定位的系统，所述系统具有：一个或多个计算装置，其被编程为接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；对相机图像执行对象检测以识别相机图像中的一个或多个对象；并且利用在第一位置处拍摄的图像上训练的机器学习模型来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。
根据一个实施例，一个或多个计算装置还被编程为：识别图像传感器相对于车辆的多个就座区的第二位置；基于由第一位置和第二位置限定的几何形状投影多个边界框以符合第二位置；接收在第二位置处拍摄的车辆的车厢的第二相机图像；以及利用机器学习模型根据所投影的多个边界框将一个或多个对象放置到车辆的就座区中。
根据一个实施例，一个或多个计算装置还被编程为利用基于第一位置和第二位置预先计算的齐次变换来投影针对第一位置的多个边界框以符合第二位置。
根据一个实施例，一个或多个计算装置还被编程为：识别车辆的就座区配置；并且使用与车辆的就座区配置相对应的训练数据图像来训练机器学习模型。
根据一个实施例，车辆的就座区配置包括车辆中就座区的排数和每一排的就座区数。
根据一个实施例，训练数据图像包括在第一位置处拍摄的图像。
根据一个实施例，训练数据图像包括在第二位置处拍摄的图像，并且其中一个或多个计算装置还被编程为使用基于第一位置和第二位置预先计算的齐次变换投影在第二位置处拍摄的图像以符合在第一位置处拍摄的图像。
根据本发明，一种用于在车辆的车厢内执行对象定位的方法包括：接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；对相机图像执行对象检测以识别相机图像中的一个或多个对象；并且利用在第一位置处拍摄的图像上训练的机器学习模型来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。
在本发明的一个方面中，所述方法包括：识别图像传感器相对于车辆的多个就座区的第二位置；基于由第一位置和第二位置限定的几何形状投影多个边界框以符合第二位置；接收在第二位置处拍摄的车辆的车厢的第二相机图像；以及利用机器学习模型根据所投影的多个边界框将一个或多个对象放置到车辆的就座区中。
在本发明的一个方面中，所述方法包括利用基于第一位置和第二位置预先计算的齐次变换来投影针对第一位置的多个边界框以符合第二位置。
在本发明的一个方面中，所述方法包括：识别车辆的就座区配置；并且使用与车辆的就座区配置相对应的训练数据图像来训练机器学习模型。
在本发明的一个方面中，车辆的就座区配置包括车辆中就座区的排数和每一排的就座区数。
在本发明的一个方面中，训练数据图像包括在第一位置处拍摄的图像。
在本发明的一个方面中，训练数据图像包括在第二位置处拍摄的图像，并且还包括使用基于第一位置和第二位置预先计算的齐次变换投影在第二位置处拍摄的图像以符合在第一位置处拍摄的图像。
根据本发明，提供一种非暂时性计算机可读介质，其具有用于在车辆的车厢内执行对象定位的指令，所述指令在由一个或多个计算装置执行时致使所述一个或多个计算装置执行如下操作，所述操作包括：接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；对相机图像执行对象检测以识别相机图像中的一个或多个对象；并且利用在第一位置处拍摄的图像上训练的机器学习模型来根据针对第一位置的对应于多个就座区的多个边界框将一个或多个对象放置到车辆的就座区中。
根据一个实施例，本发明的特征还在于在由一个或多个计算装置执行时致使所述一个或多个计算装置执行如下操作的指令，所述操作包括：识别图像传感器相对于车辆的多个就座区的第二位置；基于由第一位置和第二位置限定的几何形状投影多个边界框以符合第二位置；接收在第二位置处拍摄的车辆的车厢的第二相机图像；以及利用机器学习模型根据所投影的多个边界框将一个或多个对象放置到车辆的就座区中。
根据一个实施例，本发明的特征还在于在由一个或多个计算装置执行时致使所述一个或多个计算装置执行如下操作的指令，所述操作包括：利用基于第一位置和第二位置预先计算的齐次变换来投影针对第一位置的多个边界框以符合第二位置。
根据一个实施例，本发明的特征还在于在由一个或多个计算装置执行时致使所述一个或多个计算装置执行如下操作的指令，所述操作包括：识别车辆的就座区配置；并且使用与车辆的就座区配置相对应的训练数据图像来训练机器学习模型。
根据一个实施例，车辆的就座区配置包括车辆中就座区的排数和每一排的就座区数。
根据一个实施例，训练数据图像包括在第一位置处拍摄的图像和在第二位置处拍摄的图像，介质还包括在由一个或多个计算装置执行时致使所述一个或多个计算装置执行如下操作的指令，所述操作包括：使用基于第一位置和第二位置预先计算的齐次变换投影在第二位置处拍摄的图像以符合在第一位置处拍摄的图像。

Claims (15)

1.一种用于在车辆的车厢内执行对象定位的系统，其包括：
一个或多个计算装置，其被编程为
接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；
对所述相机图像执行对象检测以识别所述相机图像中的一个或多个对象；以及
利用在所述第一位置处拍摄的图像上训练的机器学习模型来根据针对所述第一位置的对应于所述多个就座区的多个边界框将所述一个或多个对象放置到所述车辆的所述就座区中。
2.如权利要求1所述的系统，其中所述一个或多个计算装置还被编程为：
识别所述图像传感器相对于所述车辆的所述多个就座区的第二位置；
基于由所述第一位置和所述第二位置限定的几何形状来投影所述多个边界框以符合所述第二位置；
接收在所述第二位置处拍摄的所述车辆的所述车厢的第二相机图像；以及
利用所述机器学习模型根据所投影的多个边界框将所述一个或多个对象放置到所述车辆的所述就座区中。
3.如权利要求2所述的系统，其中所述一个或多个计算装置还被编程为利用基于所述第一位置和所述第二位置预先计算的齐次变换来投影针对所述第一位置的所述多个边界框以符合所述第二位置。
4.如权利要求1所述的系统，其中所述一个或多个计算装置还被编程为：
识别所述车辆的就座区配置；以及
使用与所述车辆的所述就座区配置相对应的训练数据图像来训练所述机器学习模型。
5.如权利要求4所述的系统，其中所述车辆的所述就座区配置包括所述车辆中就座区的排数和所述排中的每一排的就座区数。
6.如权利要求4所述的系统，其中所述训练数据图像包括在所述第一位置处拍摄的图像。
7.如权利要求4所述的系统，其中所述训练数据图像包括在第二位置处拍摄的图像，并且其中所述一个或多个计算装置还被编程为使用基于所述第一位置和所述第二位置预先计算的齐次变换投影在所述第二位置处拍摄的所述图像以符合在所述第一位置处拍摄的图像。
8.一种用于在车辆的车厢内执行对象定位的方法，其包括：
接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；
对所述相机图像执行对象检测以识别所述相机图像中的一个或多个对象；以及
利用在所述第一位置处拍摄的图像上训练的机器学习模型来根据针对所述第一位置的对应于所述多个就座区的多个边界框将所述一个或多个对象放置到所述车辆的所述就座区中。
9.如权利要求8所述的方法，其还包括：
识别所述图像传感器相对于所述车辆的所述多个就座区的第二位置；
基于由所述第一位置和所述第二位置限定的几何形状来投影所述多个边界框以符合所述第二位置；
接收在所述第二位置处拍摄的所述车辆的所述车厢的第二相机图像；以及
利用所述机器学习模型根据所投影的多个边界框将所述一个或多个对象放置到所述车辆的所述就座区中。
10.如权利要求9所述的方法，其还包括利用基于所述第一位置和所述第二位置预先计算的齐次变换来投影针对所述第一位置的所述多个边界框以符合所述第二位置。
11.如权利要求8所述的方法，其还包括：
识别所述车辆的就座区配置；以及
使用与所述车辆的所述就座区配置相对应的训练数据图像来训练所述机器学习模型。
12.如权利要求11所述的方法，其中所述车辆的所述就座区配置包括所述车辆中就座区的排数和所述排中的每一排的就座区数。
13.如权利要求11所述的方法，其中所述训练数据图像包括在所述第一位置处拍摄的图像。
14.如权利要求11所述的方法，其中所述训练数据图像包括在第二位置处拍摄的图像，并且所述方法还包括使用基于所述第一位置和所述第二位置预先计算的齐次变换投影在所述第二位置处拍摄的所述图像以符合在所述第一位置处拍摄的图像。
15.一种非暂时性计算机可读介质，其包括用于执行车辆的车厢内的对象定位的指令，所述指令在由一个或多个计算装置执行时使所述一个或多个计算装置执行如下操作，所述操作包括：
接收由图像传感器在相对于车辆的多个就座区的第一位置处拍摄的车辆的车厢的相机图像；
对所述相机图像执行对象检测以识别所述相机图像中的一个或多个对象；以及
利用在所述第一位置处拍摄的图像上训练的机器学习模型来根据针对所述第一位置的对应于所述多个就座区的多个边界框将所述一个或多个对象放置到所述车辆的所述就座区中。
CN202210782878.XA 2021-07-19 2022-07-05 基于相机的车厢内对象定位 Pending CN115641568A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/379,247 2021-07-19
US17/379,247 US11887385B2 (en) 2021-07-19 2021-07-19 Camera-based in-cabin object localization

Publications (1)

Publication Number Publication Date
CN115641568A true CN115641568A (zh) 2023-01-24

Family

ID=84547146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210782878.XA Pending CN115641568A (zh) 2021-07-19 2022-07-05 基于相机的车厢内对象定位

Country Status (3)

Country Link
US (1) US11887385B2 (zh)
CN (1) CN115641568A (zh)
DE (1) DE102022117939A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230343110A1 (en) * 2022-04-20 2023-10-26 Blackberry Limited Method and system for data object identification in vehicles

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US7623950B2 (en) 2005-06-09 2009-11-24 Delphi Technologies, Inc. Confidence boost for automotive occupant classifications
US20060291697A1 (en) 2005-06-21 2006-12-28 Trw Automotive U.S. Llc Method and apparatus for detecting the presence of an occupant within a vehicle
US9378421B2 (en) * 2014-09-29 2016-06-28 Xerox Corporation System and method for seat occupancy detection from ceiling mounted camera using robust adaptive threshold criteria
US20170068863A1 (en) * 2015-09-04 2017-03-09 Qualcomm Incorporated Occupancy detection using computer vision
US20170286761A1 (en) * 2016-03-31 2017-10-05 Pointgrab Ltd. Method and system for determining location of an occupant
WO2018224860A1 (en) * 2017-06-06 2018-12-13 Telefonaktiebolaget Lm Ericsson (Publ) Non-intrusive intra-vehicular user location detection
EP3923809A4 (en) * 2019-02-17 2022-05-04 Gentex Technologies (Israel) Ltd. SYSTEM, DEVICE AND METHODS FOR DETECTING AND OBTAINING INFORMATION ABOUT OBJECTS IN A VEHICLE
US20210188205A1 (en) * 2019-12-19 2021-06-24 Zf Friedrichshafen Ag Vehicle vision system
US11542039B2 (en) * 2020-01-02 2023-01-03 The Boeing Company Aviation component inspection using image recognition
US11625859B2 (en) * 2020-07-22 2023-04-11 Motorola Solutions, Inc. Method and system for calibrating a camera and localizing objects within the camera field of view
US11954180B2 (en) * 2021-06-11 2024-04-09 Ford Global Technologies, Llc Sensor fusion area of interest identification for deep learning

Also Published As

Publication number Publication date
DE102022117939A1 (de) 2023-01-19
US11887385B2 (en) 2024-01-30
US20230013133A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
US10650681B2 (en) Parking position identification method, parking position learning method, parking position identification system, parking position learning device, and non-transitory recording medium for recording program
US10466715B2 (en) Apparatus and method for controlling narrow road driving of vehicle
CN106462996B (zh) 无失真显示车辆周边环境的方法和装置
US11087438B2 (en) Merging of partial images to form an image of surroundings of a mode of transport
JP2019509552A (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
JP2018531530A (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
JP2018531530A6 (ja) 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置
US10632924B1 (en) Blind-spot monitoring using machine vision and precise FOV information
CN115641568A (zh) 基于相机的车厢内对象定位
CN114475511B (zh) 基于视觉的气囊启动
US11954180B2 (en) Sensor fusion area of interest identification for deep learning
US11564073B2 (en) System and method for emotion detection and inter-vehicle communication
US11440407B2 (en) Non-contact operating apparatus for vehicle and vehicle
CN111295876B (zh) 全景环视图像控制装置及其全景环视图像处理方法
US20220061651A1 (en) Methods and Apparatus for Evaluating Visual Acuity of Teleoperation Vision Systems and Simulation Systems
US20200391560A1 (en) System and method for tire repair
US20230150525A1 (en) Dynamic sensor model to adapt vehicle modifications and transformation
SE1351086A1 (sv) Förfarande och system för fastställande av framförandekaraktäristika avseende ett fordon
US11320669B2 (en) Non-contact operating apparatus for vehicle and vehicle
US11710296B2 (en) End-to-end vehicle perception system training
US20240354980A1 (en) Depth Estimation for Interior Sensing
US11480961B1 (en) Immersive sound for teleoperators
US20240343262A1 (en) Positioning application for adas calibration target
US20240308402A1 (en) Vehicle seat headrest adjustment system
WO2023039737A1 (zh) 自动泊车的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination