CN112339769A - 基于车身测量的个性化设置 - Google Patents

基于车身测量的个性化设置 Download PDF

Info

Publication number
CN112339769A
CN112339769A CN202010787391.1A CN202010787391A CN112339769A CN 112339769 A CN112339769 A CN 112339769A CN 202010787391 A CN202010787391 A CN 202010787391A CN 112339769 A CN112339769 A CN 112339769A
Authority
CN
China
Prior art keywords
vehicle
processor
person
keypoints
adjustable feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010787391.1A
Other languages
English (en)
Other versions
CN112339769B (zh
Inventor
Y.胡
K.辛古鲁
S.段
N.W.平托
B.R.弗里伯格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112339769A publication Critical patent/CN112339769A/zh
Application granted granted Critical
Publication of CN112339769B publication Critical patent/CN112339769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0268—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors or detectors for adapting the seat or seat part, e.g. to the position of an occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于个性化车辆的可调节特征的系统和方法。该系统包括处理器和致动器。处理器从二维图像中检测人的关键点并预测该人的姿势。处理器部分地基于该姿势和关键点之间的距离的测量值将关键点的相应位置从二维坐标系转换为三维坐标系。处理器部分地基于三维坐标系中的关键点之间的测量值来确定车辆的可调节特征的基准配置。处理器使致动器调节可调特征以符合基准配置。

Description

基于车身测量的个性化设置
技术领域
本公开涉及车辆，并且更具体地涉及车辆特征的个性化。
背景技术
越来越多的驾驶员和乘客依靠第三方车辆往返于他们选择的目的地。第三方车辆不一定与驾驶员或乘客自己的车辆具有相同的品牌、型号或年份。为了重新创建个性化设置，以确保其自身车辆的安全性和舒适性，驾驶员和乘客可以根据自己的喜好手动调节座椅和后视镜设置。因此，希望使车辆能够识别驾驶员或乘客的测量值并自动调节车辆设置。
发明内容
在一个示例性实施例中，示出了一种用于个性化车辆的可调节特征的方法。处理人的二维图像以检测人的关键点并预测人的姿势。部分地基于姿势将关键点的相应位置从二维坐标系转换为三维坐标系。车辆的可调节特征的基准(baseline)配置部分地基于三维坐标系中的关键点之间的测量值来确定。致动器调节车辆的可调节特征以符合基准配置。
除了本文所述的一个或多个特征之外，从附接到车辆的至少一个摄像机接收二维图像。
除了本文所述的一个或多个特征之外，车辆的可调节特征是座椅、侧视镜或后视镜之一。
除了本文所述的一个或多个特征之外，姿势是站立、坐着和行走之一。
除了本文所述的一个或多个特征之外，该方法还包括部分基于姿势来计算测量值。
除了本文描述的一个或多个特征之外，该方法还包括将可调节特征的基准配置与人的身份相关联。关联的身份和基准配置存储在远程数据库中。
除了本文所述的一个或多个特征之外，该方法还包括由人记录可调节特征从基准配置的每个变化。基于对可调节特征的相似改变的数量超过阈值量，在数据库中更新关联的基准配置。
在另一个示例性实施例中，示出了一种用于个性化车辆的可调节特征的系统。处理器从人的二维图像中检测关键点并预测人的姿势。部分地基于该姿势将关键点的相应位置从二维坐标系转换为三维坐标系。车辆的可调节特征的基准配置部分地基于三维坐标系中的关键点之间的测量值来确定。致动器调节车辆的可调节特征以符合基准配置。
除了本文所述的一个或多个特征之外，从附接到车辆的至少一个摄像机接收二维图像。
除了本文所述的一个或多个特征之外，车辆的可调节特征是座椅、侧视镜或后视镜之一。
除了本文所述的一个或多个特征之外，姿势是站立、坐着和行走之一。
除了本文所述的一个或多个特征之外，处理器还被配置为部分地基于该姿势来计算测量值。
除了本文所述的一个或多个特征之外，处理器还将可调节特征的基准配置与人的身份相关联。处理器将关联的身份和基准配置存储在远程数据库中。
除了本文所述的一个或多个特征之外，处理器由人记录可调特征从基准配置的每个变化。处理器基于对可调节特征的相似改变的数量超过阈值量来更新数据库中的关联基准配置。
在另一个示例性实施例中，示出了一种计算机可读存储介质，其中包含有程序指令。该程序指令可由处理器执行以使处理器执行包括从人的二维图像中检测关键点并预测人的姿势的操作。部分地基于该姿势将关键点的相应位置从二维坐标系转换为三维坐标系。车辆的可调节特征的基准配置部分地基于三维坐标系中的关键点之间的测量值来确定。致动器调节车辆的可调节特征以符合基准配置。
除了本文所述的一个或多个特征之外，从附接到车辆的至少一个摄像机接收二维图像。
除了本文所述的一个或多个特征之外，车辆的可调节特征是座椅、侧视镜或后视镜之一。
除了本文描述的一个或多个特征之外，姿势是站立、坐着和行走之一。
除了本文所述的一个或多个特征之外，处理器还被配置为部分地基于该姿势来计算测量值。
除了本文所述的一个或多个特征之外，处理器还将可调节特征的基准配置与人的身份相关联。处理器将关联的身份和基准配置存储在远程数据库中。
除了本文所述的一个或多个特征之外，处理器还由人记录可调特征从基准配置的每个变化。处理器基于对可调节特征的相似改变的数量超过阈值量来更新数据库中的关联基准配置。
当结合附图考虑时，从以下详细描述，本公开的上述特征和优点以及其他特征和优点将显而易见。
附图说明
在下面的详细描述中，仅以示例的方式出现其他特征、优点和细节，该详细描述参考附图，在附图中：
图1是根据本公开的实施例的车辆的图示；
图2是根据本公开的实施例的姿势分类器的框图；
图3是根据本公开的实施例的二维图像和伴随的三维对象的图示；
图4是根据本公开的实施例的用于个性化车辆设置的方法的框图；和
图5是用于实现本公开的一个或多个实施例的计算机系统的框图。
具体实施方式
以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。如本文所使用的，术语模块是指可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)以及执行一个或多个软件或固件程序的存储器的处理电路、组合逻辑电路和/或提供所述功能的其他合适的部件。
本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现这样的块部件。例如，示例性的实施例可采用各种集成电路组件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等)，其可在一个或多个的微处理器或其他控制设备的控制下执行多种功能。另外，本领域技术人员将理解，示例性实施例可以结合任何数量的控制系统来实践，并且本文描述的车辆系统仅仅是示例性实施例。
为了简洁起见，与信号处理、数据传输、信令、控制和系统的其他功能方面(以及系统的各个操作部件)有关的常规技术在这里可能没有详细描述。此外，在此包含的各个附图中所示的连接线旨在表示各个元件之间的示例性功能关系和/或物理联接。应当注意，在各种实施例中可以存在许多替代或附加的功能关系或物理连接。
在现代社会中，驾驶员和乘客不再局限于个人车辆使用。乘车共享应用程序和短期租赁车辆的兴起导致了一种情况，其中根据特定任务或目的地而不是所有权来选择车辆。但是，利用第三方车辆的驾驶员和乘客仍然希望其针对诸如座椅、后视镜和侧视镜配置之类的可调节车辆元件的个性化设置的安全性和舒适性。通过软件应用程序的出现，自有车辆可以在进入车辆之前识别驾驶员或乘客。然而，直到该人已经在车辆中，第三方车辆才具有识别乘客和知道偏好的机制。本公开的实施例提供了系统和方法，该系统和方法在进入车辆之前识别和使用未知人的身体的关键点并调节车辆元件以符合基准配置。
图1描绘了根据本文描述的一个或多个实施例的包括传感器和用于多传感器多对象感测和识别的处理系统110的车辆100。在图1的示例中，车辆100包括处理系统110和传感器。这些传感器包括摄像机120、121、122、123，摄像机130、131、132、133，雷达传感器140和激光雷达传感器141。车辆100可以是小汽车、卡车、货车、公共汽车、摩托车、船、飞机或其他合适的车辆100。
摄像机120-123是环视摄像机，其捕获车辆100外部和附近的图像。由摄像机120-123捕获的图像一起形成环视视图(有时称为车辆100的“俯视图”或“鸟瞰图”。这些图像可用于操作车辆(例如，停车、倒车等)和识别访问车辆的个人。摄像机130-133是远程摄像机，其捕获车辆外部的图像，并且比摄像机120-123距离车辆100更远。应当理解，尽管示出了八个摄像机120-123和130-133，但是在各种实施例中可以实现更多或更少的摄像机。
捕获的图像可以显示在显示器(未示出)上，以向车辆的驾驶员/操作者提供车辆100的外部视图。所捕获的图像可以显示为实时图像、静止图像或它们的某种组合。在一些示例中，图像可以被组合以形成合成视图，诸如环视图。
雷达传感器140通过发送电磁波并利用传感器测量反射波来测量到目标对象的距离。该信息对于确定目标对象相对于车辆100的距离/位置是有用的。
激光雷达(光检测和测距)传感器141通过用脉冲激光照亮目标并利用传感器测量反射脉冲来测量到目标对象的距离。该信息对于确定目标对象相对于车辆100的距离/位置是有用的。
从摄像机120–123、130–133，雷达传感器140和/或激光雷达传感器141生成的数据可用于跟踪相对于车辆100的目标对象/个体。因此，本技术提供了用于将图像的二维坐标转换为关键点的三维坐标。
为了实现这一点，处理系统110包括并利用检测引擎112、关联引擎114和控制引擎116。尽管未示出，但是处理系统110可以包括其他部件、引擎、模块等，例如处理器(例如中央处理单元、图形处理单元、微处理器等)、存储器(例如随机存取存储器、只读存储器等)、数据存储装置(例如固态驱动器、硬盘驱动器)等。在此进一步描述处理系统110的部件的特征和功能。车辆100的处理系统110执行车辆的个人设置的调节。
摄像机120-123和130-133中的任何一个都可以捕获接近车辆的人的二维图像。图像被发送到处理系统110。处理系统110通过两阶段神经网络处理图像以提取人的关键点的坐标。关键点包括身体关键部位，包括但不限于头部、膝盖、脚和躯干。神经网络接收图像，并通过一系列卷积和池化操作，生成特征图以识别图像中的关键点。第一阶段预测亲和力场(affinity field)，该亲和力场对所识别的特征进行编码以将特征与特定人的身体相关联。第二阶段生成关于识别的特征是关键点的概率的置信度图。
参考图2，第二阶段的输出被发送到姿势分类器200。所识别的关键点202通过第一完全连接层204和第二完全连接层206进行处理。基于完全连接的层204、206中的处理，姿势分类器会在捕获图像时预测人的姿势。在一些实施例中，使用SoftMax函数执行该过程以将网络的第二阶段的输出映射到预测的输出类别上的概率分布。输出类别包括捕获图像时人所处的相应姿势。例如，该人可以被分类为站立208、坐着210、行走212、另一种姿势或姿势214的组合。应当理解，尽管图2描绘了两个完全连接的层，但是姿势分类器可以包括更少或更多完全连接的层。
基于该姿势，处理系统110选择方程式以计算关键点之间的测量值。例如，对于分类为笔直站立的人，测量值是指脚和膝盖之间距地面的竖直距离。但是，如果此人处于步行或跑步姿势，则脚到膝盖的距离与地面成一定角度。
参考图3，提供了将来自车辆摄像机302的图像300的关键点的二维坐标转换为人304上的关键点的三维坐标的图示。在图3中，y轴表示距地面的水平距离(其中p是摄像机距地面的距离)，x轴表示人相对于摄像机焦点的侧向距离，并且z轴表示人距摄像机的深度。
参照等式1，处理系统110使用二维关键点的位置、摄像机参数和约束将二维坐标转换为三维坐标。处理系统110接收二维坐标u，v，其中u是图像像素的水平位置，v是图像像素的竖直位置，并且“1”被用作用于齐次坐标的占位符(placeholder)。然后，处理系统110通过去除摄像机f和c的固有参数来提取三维坐标x，y和z，其中，f是焦距，c是主点偏移点；以及外部参数R和T，其中R是旋转矩阵，T是平移矩阵，分别如下面的等式(1)所示的。三维坐标x，y和z可以基于相应的二维图像像素、外部参数R和T以及固有参数f和c反投影(backproject)。固有参数和外部参数对于捕获图像之前使用和已知的每个摄像机都是特定的。
Figure BDA0002622495460000061
为了使用等式1，处理系统110基于预测姿势来施加约束。如果预测人304站着，则使用平坦的地面假设。该人被认为其脚平放在地面上，使得从地面到脚的尺寸为零。脚上的关键点被认为与身体其他部位的关键点在同一冠状面或额状面。两脚之间的点被认为与沿着人体中部的其他关键点在同一正中矢状面或矢状面内。例如，假设一个人的鼻子、下巴和臀部中心都在该正中矢状面内。最初，计算深度或z坐标，并认为每个关键点的z坐标相同。处理系统110使用外部参数、固有参数和二维坐标来计算每个关键点的三维x和y坐标。在三维坐标系中，y表示人的三维高度，x表示人相对于摄像机焦点的三维横向距离，z表示人距摄像机的深度。
系统将二维坐标u，v转换为三维坐标。为实现此，二维坐标中必须包含第三维的值。该系统应用约束条件来计算第三维的值。一个约束条件是假设两只脚在平坦表面上，使得y＝0。因此，一只脚上的二维关键点(u，v)具有对应的三维点(x，0，z)。应用此约束条件并计算二维值u，v，该系统将计算人相对于摄像机焦点的深度z和侧向距离x的值。另一约束条件是该身体位于同一冠状面或额状面内，因此每个点在恒定的深度z处。换句话说，z的计算值对于沿身体的所有关键点都是等同的。使用该方法，处理系统110计算所有关键点的三维坐标值。
如果将人的姿势分类为步行，则处理系统110从多个图像中提取关键点。从这个意义上讲，计算了多次测量以评估关键点之间的距离。这使得处理系统110能够协调由于运动中的关节的倾斜而导致的从一个关键点到另一关键点的测量差异。在一个人就座的情况下，假定第一组关键点(例如，头部和背部)位于第一冠状面或额状面中。第二组关键点(例如，一条腿的膝盖和脚)在第二冠状面或额状面内。假定第二平面的深度小于第一平面的深度。处理系统110不认为两脚之间的点与人的身体中部的其他关键点在同一正中矢状面或矢状面内。
参考图4，示出了用于对车辆中的个性化设置进行自动调节的方法400。在框402处，车辆检测到有人接近车辆并执行驾驶员识别。在一些实施例中，车辆被配置为通过从人携带的电子设备(未示出)接收信号来感测正在接近的人。例如，驾驶员可以具有向车辆发射信号的便携式信息终端(key fob)或移动设备。在一些实施例中，车辆通过例如通过雷达或激光雷达发送信号来检测到迎面而来的人，并通过信号响应来检测人正在接近。
在一些实施例中，人的电子设备将识别信息发送到车辆。例如，识别信息包括但不限于关于座椅位置偏好、镜子调节偏好、温度偏好、窗位置偏好和音乐偏好的身份和偏好。在其他情况下，电子设备例如通过与该人相关联的唯一识别符来发送该人的身份。根据识别信息，车辆确定人的偏好是否存储在数据库中。在一些实施例中，数据库对于车辆是本地的(未示出)，并且在其他实施例中，数据库是远程的(未示出)。车辆配置为通过任何适当的技术与远程数据库进行通信。车辆配置为通过以太网、光纤、微波、无线、蜂窝或任何其他适当的技术进行通信。
在框404处，该系统确定接近小汽车的人被识别。在框406处，如果人的偏好先前已被存储，则设置被加载到处理系统110。处理系统110将设置发送到车辆的各个致动器。但是，如果该人的偏好未存储在数据库中，则车辆会向该人的电子设备发送信号，表明该人的个人资料不在数据库中。当接收到信号时，电子设备将信号发送到车辆以触发图像捕获设备以在人接近或打开门时捕获其图像。另外，在框408，处理系统110使用预训练的深度神经网络(DNN)或卷积神经网络(CNN)来识别人的身体上的关键点并预测人的姿势。然后将来自图像的二维坐标转换为三维坐标。
在框410处，处理系统110计算关键点之间的测量值。在框412处，将测量值与基准车辆特征配置的索引进行比较。例如，基于人的身高的侧视镜的最佳角度、基于人的腿长的座椅的最佳距离。在一些实施例中，基准配置被预加载并本地存储在车辆处的数据库中。在其他实施例中，配置被远程存储并传输到车辆。在框414处，处理系统110将基准配置加载到每个致动器。每个特征处的致动器(未示出)将特征移动到基准配置。基准配置与人相关联，每个关联都存储在用户配置文件中的远程位置。用户配置文件可转移到其他车辆，因此该人可以接近另一辆车，并且在识别出该人的身份后，该车辆会加载用于每个特征的基准配置。
人会定期更改特征的设置。在此情况下，设置的改变被处理系统110记录并被发送到远程数据库。与该人相关联的基准配置在数据库中更新。在一些实施例中，基准配置将保持静态，直到该人以相似的方式改变特征的基准配置超过阈值次数。
应当理解，本公开能够与现在已知或以后开发的任何其他类型的计算环境结合实现。例如，图5描绘了用于实现本文描述的技术的处理系统500的框图。在示例中，处理系统500具有一个或多个中央处理单元(处理器)521a，521b，521c等(统称为或总称为处理器521和/或称为处理设备)。在本公开的各方面中，每个处理器521可以包括精简指令集计算机(RISC)微处理器。处理器521经由系统总线533耦合到系统存储器(例如，随机存取存储器(RAM)524)和各种其他部件。只读存储器(ROM)522耦合到系统总线533，并且可以包括基本输入/输出系统(BIOS)，它控制处理系统500的某些基本功能。
进一步描绘了输入/输出(I/O)适配器527和耦合到系统总线533的网络适配器526。I/O适配器527可以是与硬盘523和/或存储设备525或任何其他类似的部件通信的小型计算机系统接口(SCSI)适配器。I/O适配器527、硬盘523和存储设备525在本文中统称为大容量存储器534。用于在处理系统500上执行的操作系统540可以存储在大容量存储器534中。网络适配器526将系统总线533与外部网络536互连，使处理系统500能够与其他这样的系统通信。
显示器(例如，显示监视器)535通过显示器适配器532连接到系统总线533，显示器适配器532可以包括图形适配器以改善图形密集型应用程序和视频控制器的性能。在本公开的一方面，适配器526、527和/或532可以连接至一个或多个I/O总线，该I/O总线经由中间总线桥(未示出)连接至系统总线533。用于连接外围设备(例如硬盘控制器、网络适配器和图形适配器)的合适的I/O总线通常包括通用协议，例如外围部件互连(PCI)。附加的输入/输出设备被示为经由用户接口适配器528和显示器适配器532连接到系统总线533。输入设备529(例如，键盘、麦克风、触摸屏等)，输入指示器530(例如，鼠标、触控板、触摸屏等)和/或扬声器531可以经由用户接口适配器528互连到系统总线533，该用户接口适配器可以包括例如将多个设备适配器集成到单个集成电路的Super I/O芯片。摄像机120–123、130–133中的一个或多个也连接到系统总线533。
在本公开的一些方面，处理系统500包括图形处理单元537。图形处理单元537是专用电子电路，其被设计为操纵和改变存储器以加速用于输出到显示器的帧缓冲器中的图像的创建。通常，图形处理单元537在操纵计算机图形和图像处理方面非常有效，并且具有高度并行的结构，这使其对于并行处理大数据块的算法而言比通用CPU更有效。
因此，如本文中所配置的，处理系统500包括处理器521形式的处理能力、包括系统存储器(例如RAM 524)和大容量存储器534以及诸如键盘529和鼠标530等的输入装置的存储能力，以及包括扬声器531和显示器535的输出能力。在本公开的一些方面，系统存储器(例如，RAM 524)和大容量存储器534的一部分共同存储操作系统540，以协调在处理系统500所示的各个部件的功能。
为了简洁起见，在本文中可以或可以不详细描述与形成和使用本发明的各方面有关的常规技术。特别地，实现本文所述的各种技术特征的计算系统和特定计算机程序的各个方面是众所周知的。因此，为了简洁起见，许多常规的实现细节在本文中仅被简要提及或完全省略，而没有提供众所周知的系统和/或处理细节。
术语“大约”旨在包括与基于提交申请时可用的设备的特定数量的测量相关的误差程度。
在此使用的术语仅出于描述特定实施例的目的，并且不旨在限制本公开。如本文所使用的，单数形式“一(a)”，“一个(an)”和“该(the)”也旨在包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用术语“包括(comprises)”和/或“包括(comprising)”时，其规定了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件部件和/或其组。
尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离本发明范围的情况下，可以进行各种改变并且可以用等同物代替其要素。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于个性化车辆的可调节特征的方法，该方法包括：
由处理器处理二维图像以检测人的关键点并预测该人的姿势；
由处理器部分地基于该姿势将关键点的相应位置从二维坐标系转换为三维坐标系；
由处理器部分地基于所述三维坐标系中的关键点之间的测量值来确定所述车辆的可调节特征的基准配置；和
由处理器引起致动器调节车辆的可调节特征以符合基准配置。
2.根据权利要求1所述的方法，其中，所述姿势是站立、坐着和行走之一。
3.根据权利要求1所述的方法，其中，所述测量值部分地基于所述姿势。
4.根据权利要求1所述的方法，还包括：
由该人记录车辆可调节特征从基准配置的变化；和
基于对车辆的可调节特征的变化超过阈值量，更新数据库中的基准配置。
5.一种用于个性化车辆的可调节特征的系统，该系统包括：
存储器，具有计算机可读指令；和
处理器，用于执行计算机可读指令，所述计算机可读指令控制一个或多个处理器执行包括以下的操作：
由处理器处理二维图像以检测人的关键点并预测该人的姿势；
由处理器部分地基于该姿势和关键点之间的距离的测量值将该人的关键点的相应位置从二维坐标系转换为三维坐标；
由处理器部分地基于所述三维坐标系中的关键点之间的测量值来确定所述车辆的可调节特征的基准配置；和
由处理器引起致动器调节车辆的可调节特征以符合基准配置。
6.根据权利要求5所述的系统，其中，所述姿势是站立、坐着和行走之一。
7.根据权利要求5所述的系统，其中，所述测量值部分地基于所述姿势。
8.根据权利要求5所述的系统，所述操作还包括：
由该人记录车辆的可调节特征从基准配置的变化；和
基于对车辆的可调节特征的变化超过阈值量，更新数据库中的基准配置。
9.一种计算机程序产品，包括其中包含有程序指令的计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器执行包括以下的操作：
由处理器处理二维图像以检测人的关键点并预测该人的姿势；
由处理器部分地基于该姿势和关键点之间的距离的测量值将关键点的相应位置从二维坐标系转换为三维坐标系；
由处理器部分地基于所述三维坐标系中的关键点之间的测量值来确定所述车辆的可调节特征的基准配置；和
由处理器引起致动器调节车辆的可调节特征以符合基准配置。
10.根据权利要求9所述的计算机程序产品，其中，所述测量值部分地基于所述姿势。
CN202010787391.1A 2019-08-08 2020-08-07 基于车身测量的个性化设置 Active CN112339769B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/535,642 2019-08-08
US16/535,642 US11479148B2 (en) 2019-08-08 2019-08-08 Personalization settings based on body measurements

Publications (2)

Publication Number Publication Date
CN112339769A true CN112339769A (zh) 2021-02-09
CN112339769B CN112339769B (zh) 2024-03-22

Family

ID=74358286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787391.1A Active CN112339769B (zh) 2019-08-08 2020-08-07 基于车身测量的个性化设置

Country Status (2)

Country Link
US (1) US11479148B2 (zh)
CN (1) CN112339769B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035777A1 (en) * 2012-08-06 2014-02-06 Hyundai Motor Company Method and system for producing classifier for recognizing obstacle
US20140309806A1 (en) * 2012-03-14 2014-10-16 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN107031650A (zh) * 2015-11-04 2017-08-11 福特全球技术公司 基于驾驶员肢体语言来预测车辆运动
CN107215295A (zh) * 2016-03-22 2017-09-29 福特全球技术公司 用于内部偏好设置的人体扫描
US9798935B2 (en) * 2012-06-11 2017-10-24 Volvo Car Corporation Method for determining a body parameter of a person
US9996757B1 (en) * 2016-06-14 2018-06-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for detecting various actions of a vehicle operator
US20190176820A1 (en) * 2017-12-13 2019-06-13 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638989B2 (en) * 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20140309806A1 (en) * 2012-03-14 2014-10-16 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US9798935B2 (en) * 2012-06-11 2017-10-24 Volvo Car Corporation Method for determining a body parameter of a person
US20140035777A1 (en) * 2012-08-06 2014-02-06 Hyundai Motor Company Method and system for producing classifier for recognizing obstacle
CN106462027A (zh) * 2014-06-23 2017-02-22 本田技研工业株式会社 对驾驶员状态进行响应的系统和方法
CN107031650A (zh) * 2015-11-04 2017-08-11 福特全球技术公司 基于驾驶员肢体语言来预测车辆运动
CN107215295A (zh) * 2016-03-22 2017-09-29 福特全球技术公司 用于内部偏好设置的人体扫描
US9996757B1 (en) * 2016-06-14 2018-06-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for detecting various actions of a vehicle operator
US20190176820A1 (en) * 2017-12-13 2019-06-13 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent

Also Published As

Publication number Publication date
US20210039521A1 (en) 2021-02-11
CN112339769B (zh) 2024-03-22
US11479148B2 (en) 2022-10-25

Similar Documents

Publication Publication Date Title
CN111033512B (zh) 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置
JP4899424B2 (ja) 物体検出装置
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
US20170300763A1 (en) Road feature detection using a vehicle camera system
US7983475B2 (en) Vehicular actuation system
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP2019040465A (ja) 行動認識装置，学習装置，並びに方法およびプログラム
JP2007508624A (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP5678147B2 (ja) 移動物体を検出するための検知システム及び検知方法
US11455810B2 (en) Driver attention state estimation
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
CN112339769B (zh) 基于车身测量的个性化设置
CN112348845B (zh) 用于停车位检测和跟踪的系统和方法
KR101264282B1 (ko) 관심영역 설정을 이용한 도로상 차량의 검출방법
CN115631484A (zh) 用于驾驶员姿势监控的方法和系统
US20060062472A1 (en) Method for detecting a person in a space
Wang et al. Automobile driver posture monitoring systems: A review
US20210049385A1 (en) Security features using vehicle personalization
GB2609052A (en) Automatically adjusting a vehicle seating area based on the characteristics of a passenger
JP7330911B2 (ja) 車両用制御装置
KR102612821B1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
JP2017167970A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101872477B1 (ko) 차량
JP2020194294A (ja) 関節点検出装置
CN113753057A (zh) 状态判定装置及状态判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant