CN117373002A - 乘坐乘客身高估计 - Google Patents

乘坐乘客身高估计 Download PDF

Info

Publication number
CN117373002A
CN117373002A CN202310802474.7A CN202310802474A CN117373002A CN 117373002 A CN117373002 A CN 117373002A CN 202310802474 A CN202310802474 A CN 202310802474A CN 117373002 A CN117373002 A CN 117373002A
Authority
CN
China
Prior art keywords
seat
keypoints
vehicle
height
keypoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310802474.7A
Other languages
English (en)
Inventor
K·弗里德里克斯
M·海夫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN117373002A publication Critical patent/CN117373002A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了乘坐乘客身高估计。用于估计乘坐在载具的载具座位处的乘客的身高的方法、装置和计算机程序产品。接收载具内部的一部分的一个或更多个图像。一个或更多个图像示出乘坐在载具座位上的乘客的至少一部分和/或载具座位的至少一部分，但是所述一个或更多个图像中的至少一个图像示出了坐在所述载具座位上的乘客的至少该一部分。基于所述一个或更多个图像，确定指示乘客的已定义身体部位的位置的多个身体关键点，并且确定指示载具座位的已定义点的位置的多个座位关键点。至少基于所确定的身体关键点与所确定的座位关键点的相关性，估计乘坐在载具座位上的乘客的身高。将估计的身高输出到载具的座位占据分类系统。

Description

乘坐乘客身高估计
技术领域
本方法涉及有助于载具中的安全和自动控制的基于摄像头的机制。更具体地，涉及乘坐在载具中的乘客的身高估计。
背景技术
基于摄像头的身体检测机制例如从US10,643,085B1中已知，其涉及基于人的状态识别来检测载具乘客的身体信息。使用面部识别和乘客的身体部位长度来检测载具乘客的身高和体重。根据摄像头获取的内部图像来检测乘客的身体部位长度。使用该内部图像，从乘客的面部信息检测乘客的特征信息。通过参考对应于各个乘客的特征信息和身体部位长度来检测乘客的身高和体重。使用已知的相关性，将身体识别网络估计的身体部位的长度信息映射到人的身高。
本公开寻求提供对这种现有识别机制的改进。
发明内容
本方法总体旨在改进已知的数据库记录一致性机制。主要方面由独立权利要求阐述。
在这方面，根据第一方面，提供了一种用于估计乘坐在载具的载具座位处的乘客的身高的由计算机实现的方法。接收所述载具的内部的一部分的一个或更多个图像。所述一个或更多个图像示出乘坐在所述载具座位上的乘客的至少一部分和/或所述载具座位的至少一部分，但是所述一个或更多个图像中的至少一个图像示出乘坐在所述载具座位上的乘客的至少所述一部分。基于所述一个或更多个图像，确定表示所述乘客的已定义身体部位的位置的多个身体关键点；以及确定表示所述载具座位的已定义点的位置的多个座位关键点。至少基于所确定的身体关键点与所确定的座位关键点的相关性来估计乘坐在所述载具座位上的所述乘客的身高。将所估计的身高输出到所述载具的座位占据分类系统。
在一些实施方式中，确定所述多个座位关键点包括：基于所述一个或更多个图像中的示出在所述乘客占据所述载具座位之前未被占据的载具座位的至少一个图像来确定所述多个座位关键点。
在一些实施方式中，确定所述多个座位关键点和所述多个身体关键点包括确定由乘坐在所述载具座位上的乘客覆盖的一个或更多个座位关键点。
在一些实施方式中，确定所述多个座位关键点包括：确定座位关键点置信度值，所述座位关键点置信度值指示基于一个或更多个当前图像确定的所述座位关键点的置信度；以及如果已经检测到载具座位的移动，则重置座位关键点置信度阈值，否则维持所述座位关键点置信度阈值。
在一些实施方式中，确定所述多个座位关键点还包括：将所述座位关键点置信度值与所述座位关键点置信度阈值进行比较；以及响应于确定所述座位关键点置信度值等于或高于所述座位关键点置信度阈值，增加所述座位关键点置信度阈值并用基于所述一个或更多个当前图像确定的座位关键点替换基于一个或更多个先前图像确定的座位关键点；或者响应于确定所述座位关键点置信度值低于所述座位关键点置信度阈值，丢弃基于所述一个或更多个当前图像确定的座位关键点并维持基于一个或更多个先前图像确定的座位关键点。
在一些实施方式中，估计乘坐在所述载具座位上的乘客的身高还基于：对乘坐在所述载具座位上的乘客的位置分类；和/或与由所述乘客的至少一个面部参考图像指定的面部相关联的面部识别符。
在一些实施方式中，该方法还包括：确定身高估计置信度值，所述身高估计置信度值指示与所述乘客的先前估计身高相比，所述乘客的估计身高的置信度；将所述身高估计置信度值与给定的阈值进行比较；响应于确定所述身高估计置信度值等于或高于所述阈值而将所述估计身高输出到所述座位占据分类系统。
在一些实施方式中，通过使用线性回归模型来执行对乘坐在载具座位上的乘客的身高的估计。
在一些实施方式中，所述载具座位的所述已定义点包括以下各项中的至少一项：所述载具座位的靠背的左底部，所述载具座位的所述靠背的右底部，所述载具座位的所述靠背的左顶部，所述载具座位的所述靠背的右顶部，所述载具座位的头枕的左顶部，以及所述载具座位的所述头枕的右顶部。
在一些实施方式中，确定所述多个身体关键点和所述多个座位关键点包括将所述身体关键点和所述座位关键点的位置指示从由一个或更多个当前图像给出的坐标系变换到标准化坐标系。
在一些实施方式中，所述标准化坐标系由在所述一个或更多个图像上示出的载具内部中的参考点定义。
在一些实施方式中，所述参考点包括：至少一个竖直标准化参考点，所述至少一个竖直标准化参考点用于标准化所述身体关键点和所述座位关键点的竖直位置，以及至少两个水平标准化参考点，所述至少两个水平标准化参考点用于标准化所述身体关键点和所述座位关键点的水平位置，并且用于缩放所述身体关键点和所述座位关键点的坐标。
在一些实施方式中，所述至少一个竖直标准化参考点由所述载具座位的靠背的顶部给出。
在一些实施方式中，所述至少两个水平标准化参考点由所述载具的两个座位安全带导带环的位置给出。
根据另一个方面，一种处理装置包括处理器，所述处理器被配置成执行前述方法实施方式中的任一个所述的方法。
根据又一个方面，提供了一种用于载具的驾驶辅助系统，该驾驶辅助系统包括被配置成执行前述方法实施方式中的任一个所述的方法的前述处理装置。
根据再一个方面，提供了一种载具，该载具设置有用于捕捉一个或更多个当前图像的摄像头和前述驾驶辅助系统。
根据再另一个方面，提供了一种计算机程序产品，其包括例如存储在计算机可读存储介质上的指令，当计算机程序产品由计算机执行时，所述指令使计算机执行前述方法实施方式中的任一个方法。
通过下面给出的示例性实施方式的详细描述来阐述进一步的变型例。
附图说明
参考以下附图描述本公开的方面和示例，其中：
图1示意性地示出了载具安全和/或控制装置。
图2提供了座位关键点的示例。
图3示出了用于确定座位关键点的实现示例。
图4描绘了乘客身高确定实现示例。
图5示出了身高确定结果的示例。
图6是标准化座位关键点和身体关键点的位置的示例。
图7示出了关于用于实现本方法的计算机化平台的示意图。
具体实施方式
本公开涉及对载具中的基于摄像头的座位占据分类系统的改进。用于对载具中的座位占据进行分类的机制不仅包括确定座位是否被乘客占据，而且还包括确定乘坐乘客的较为详细的参数。具体地，估计乘坐的乘客的身高对于自动载具控制是受到关注的，例如作为气囊控制系统的输入，因为对于儿童不应当展开气囊，而与高乘客相比，对于低乘客气囊应当展开的较软。其它控制和安全使用情况涉及例如载具中的安全带控制和自动空气状况控制。
该问题的一种解决方案可以是端到端神经网络，其针对输入图像估计乘客身高。然而，这种方法的缺点在于潜在的过度拟合，因此需要大量的训练数据。
US10,643,085B1提出了使用一些已知的相关性将由身体识别网络估计的身体部位的长度信息映射到人的身高。然而，图像中身体部位的长度可能是有误导性的，如图1所示。在该示例中，右图像上的人比左图像上的人高很多。然而，乘客座位是可移动的，并且长度信息还依赖于到摄像头的距离，导致在给定示例中类似的肩部长度。US10,643,085B1没有讨论的另一个问题是如何针对不同的汽车和摄像头位置进行标准化。
本文所提供的机制涵盖了可以以另选方式或以组合方式采用的多个方面。
不是使用US10,643,085B1所描述的已知身体比例，估计了关键点，例如通过身体识别神经网络来估计。更具体地，确定两种类型的关键点。载具座位的关键点(座位关键点)促进识别座位位置以及座位与摄像头之间的距离。座位关键点是待检测乘客坐在其上的座位的给定或预定特征点。身体关键点是给定或预定的人体特征点，例如前额、眼睛、肩部、肘部、髋部等。本文描述的机制可以通过统计学习方案来实现，所述统计学习方案已经可以可用适度数量的训练示例来工作。
本文所教导的乘客身高估计包括确定身体关键点和座位关键点以及确定身体关键点和座位关键点之间的空间关系。由于已定义的座位关键点之间的距离是已知的，因此可以以提高的确定性(置信度)来确定身体关键点之间的距离，并且身高估计比现有技术中准确，即使在座位上的不寻常乘客位置的情况下或者当座位已经被移动并且例如比座位默认位置远离摄像头时。
该身高估计方案可以被利用于向载具中可操作的座位占据分类系统提供附加输入。载具可以是具有乘客座位的任何类型的载具，例如汽车、公共车、飞机、直升机、有轨电车、火车、小船或轮船等。座位分类系统可以用于载具中的控制和/或安全目的，诸如气囊控制(例如允许/禁止用于相关座位的一个或更多个气囊，根据座位占据情况来调节气囊压力)，或者座位安全带控制(例如如果座位安全带未被佩戴则提供自动警告)、座位安全带张力控制等。
图1给出了实现本文所述功能的身高确定模块1的示例性示意配置。身高确定模块1是计算机化平台，其可以形成载具的一部分，例如以嵌入式系统的形式，或者另选地，可以远程设置，例如以基于云的系统的形式。身高确定模块1执行用于估计乘坐在载具的载具座位处的乘客的身高的方法。
为此，身高确定模块1接收图像5或多个图像5。图像通常由安装在载具中的诸如摄像头的传感器以合适的距离和角度来捕捉，以示出载具内部的至少一部分，特别是乘坐在载具座位上的乘客的至少一部分和/或载具座位的至少一部分。在多个图像5形成身高估计的基础的情况下，例如在乘客的搭载/乘坐过程中已经捕捉了多个图像，可能存在一个或更多个图像仍示出处于未占据状态的座位，以及多个图像示出乘客乘坐在载具座位上。为了估计乘坐在该载具座位上的乘客的身高，一个或更多个图像中的至少一个图像示出坐在该载具座位上的乘客的至少该一部分。
身高确定模块1基于一个或更多个图像确定多个座位关键点2和多个身体关键点3。座位关键点2表示载具座位的已定义点的位置。身体关键点3表示乘客的已定义身体部位的位置。该确定可以利用已被训练来检测座位关键点2和身体关键点3的一个或更多个神经网络。
基于所确定的座位关键点2和身体关键点3，身高确定模块1执行身高估计4。更具体地，身高估计4基于所确定的身体关键点3与所确定的座位关键点2之间的空间关系。身高估计模块4可以利用诸如线性回归模型的统计模型。身高确定模块1还将乘客的估计身高输出到载具的座位占据分类系统5。类似于身高确定模块1，座位占据分类系统5可以位于载具上或远程，例如作为基于云的载具控制和安全系统的一部分。
特别地考虑座位的特征点可以改进乘客身高的估计，因为座位关键点2提供了关于乘客的乘坐位置和乘客和座位到捕捉图像的摄像头之间的距离的附加可靠性，乘客身高确定是基于该图像。图2中示出了各个座位六个座位关键点的非限制性示例。图2的示例涉及汽车，但是也可以设想其它类型的载具，如上所述。此外，图2的示例涉及前座位，但是相同或类似的方法也可以用于其他座位。在图2的示例中，所定义的座位关键点是：
座位关键点2A：所述座位头枕的左顶部；
座位关键点2B：所述座位头枕的右顶部；
座位关键点2C：座位靠背的左顶部；
座位关键点2D：座位靠背的右顶部；
座位关键点2E：座位靠背的左底部；
座位关键点2F：座位靠背的右底部。
另外的座位关键点示例可以是左扶手和右扶手。注意，座位关键点不一定限定为座位的整体部分，而是也可以限定为与座位成固定关系，例如，进一步设想的座位关键点涉及一个或更多个座位安全带悬架的位置。依赖于载具座位的类型、形状和元件，可以限定其他、更多或更少的座位关键点2。
座位关键点2和身体关键点3两者都可以通过神经网络学习，该神经网络以下也称为关键点确定神经网络。关键点确定神经网络可以是独立的神经网络，或者在一些实施方式中，可以是由座位占据分类系统5使用的身体识别网络的一部分。
就确定座位关键点2的时间而言，总体上存在两个选项。座位关键点确定可以在乘客进入载具并就座之前(即，载具座位处于未占据状态)或在乘客进入载具并就座之后执行。在未占据状态下的座位关键点确定可以产生较高的置信度，因为座位例如位于默认位置(例如水平靠背)并且座位关键点可能不被就座的乘客覆盖。另一方面，在就座状态下的座位关键点确定可提供附加信息，例如乘客是否已调节座位位置或座位元件(例如靠背)的位置。因此，在就座状态下的座位关键点确定可以比在未占据状态下的座位关键点确定更鲁棒。在一些实施方式中，身高确定模块1被设置成执行两种选项，即在就座状态和未占据状态下的座位关键点确定。
与身体关键点3相比，座位关键点2通常较稳定(即乘客在乘坐或驾驶期间通常不多次调节座位位置)，从而可以采用时域滤波，例如指数平滑，以在多次座位关键点确定迭代上获得较可靠的估计。此外，如果座位关键点被覆盖一段时间(这可以通过将所确定的身体关键点3与所确定的座位关键点2相关联来识别，或者可以由座位关键点的低置信度值来指示)，这也可以是有价值的信息，因为一些座位关键点(诸如图2中的座位关键点2A和2B)的覆盖可能是被身高高的人覆盖(参见图5)。
图3较详细地示意性示出了由身高确定模块1执行的座位关键点确定的迭代。图3所示的迭代基于在先前迭代中获得的先前座位关键点估计12的结果。在第一次迭代的情况下，起始座位关键点估计值可以是默认值，即对应于座位的默认位置。可以周期性地触发和执行图3的处理28，例如每10ms，20ms，50ms，100ms，每秒等。图3的处理28的另外的或另选的触发可以是如下文进一步较详细描述的座位移动的检测。
座位关键点确定28包括在20处对于每个所确定的座位关键点确定座位关键点置信度值。座位关键点置信度值指示基于一个或更多个当前图像确定的座位关键点的置信度。座位关键点置信度值可以由诸如上述关键点确定神经网络的神经网络来确定。还可以考虑来自14示出的座位占据和位置分类器的关于载具座位当前是否被占据的输入以及占据座位的乘客的位置指示符来确定座位关键点置信度值。可以将座位关键点置信度值与座位关键点置信度阈值进行比较，以确定是否已经以足够的置信度确定了座位关键点。
处理28还考虑座位是否已经在先前座位关键点确定迭代之后的时间段内移动。根据座位的类型，座位移动可以包括座位的向前和/或侧向移动、靠背移动、头枕移动、扶手移动等。安装在载具中的监测座位位置或移动的相应传感器可以检测座位移动并且可以将指示座位移动的信号发送到身高确定模块1。如果在16指示从最后身高确定迭代起座位被移动(“是”)，则将座位关键点置信度阈值重置为起始值。另一方面，如果在16处没有检测到载具座位移动(“否”)，则对于当前迭代，对座位关键点置信度阈值维持其当前值。
在22处，将座位关键点置信度值与座位关键点置信度阈值进行比较。如果在22处确定的座位关键点的座位关键点置信度等于或高于座位关键点置信度阈值(“是”)，则增加座位关键点置信度阈值。例如，在24处对座位关键点置信度阈值执行诸如指数平滑的时域滤波以实现增加。通常，如果在身高确定的多次迭代中满足座位关键点置信度阈值，则座位关键点置信度阈值随着时间的推移而增加，因为所确定的座位关键点的置信度变得越来越可靠，并且对座位关键点的更新要求越来越低。然而，在使先前获得的置信度水平无效的座位移动或调节的情况下，重置座位关键点置信度阈值。
此外，在26处，基于一个或更多个先前图像确定的座位关键点被基于一个或更多个当前图像确定的座位关键点替换/更新。时域滤波机制可以应用于包括当前座位关键点迭代在内的给定数量的过去迭代。另一方面，如果座位关键点置信度值低于座位关键点置信度阈值，则丢弃基于一个或更多个当前图像确定的座位关键点，并保持基于一个或更多个先前图像确定的座位关键点(图3中未示出)。在一些实施方式中，时域滤波和更新也可在座位关键点置信度值与座位关键点置信度阈值不匹配时执行。可以例如通过指数因子来考虑不充分的置信度(如果不满足座位关键点置信度阈值，则权重越低，则满足座位关键点置信度阈值则权重越高)。
图3的处理对给定座位定义的所有座位关键点依次或并行地执行。确定载具座位的所有座位关键点的位置和置信度值，并形成对以下参照图4示例性描述的其他模块的输出。图3的处理还针对作为如本文所述的乘客身高确定的主题的载具的所有载具座位执行。
图4给出了基于先前参照图3描述的座位关键点迭代的身高确定迭代的示意性示例。图4的处理基于图3的座位关键点估计28的输入，即，图4的处理可以在图3的座位关键点确定迭代之后执行。
如上所述，身高估计还包括占据座位的乘客的身体关键点确定30。基于所述一个或更多个图像，计算26并提供乘客的指定身体部位之间的距离和身体部位的位置。通常的身体部位包括肩部、鼻部和肘部。典型的身体距离包括肩部距离和躯干长度。在多个先前和当前主体关键点确定迭代(例如指数平滑)上应用时域滤波34，以减少噪声。时域滤波34可以覆盖所确定的身体关键点以及所计算的身体距离。时域滤波后的身体关键点估计和身体距离的结果被用于估计38占据载具座位的乘客的身高。
除了座位关键点估计28，身高估计38可以可选地考虑来自现有座位占据和位置分类器的当前位置分类36。位置分类36可以基于与座位关键点估计28和身体关键点估计30相同的一个或更多个图像。位置估计36可以为身高确定38提供附加信息，因为位置分类36能够区分占据载具座位的人的不同当前姿势。例如，位置分类36可以确定人当前正在前倾，这可以使得一个或更多个座位关键点变得暂时可见(即，未被人的身体覆盖)。因此，识别这种特定的前倾姿势可以重新触发图3的座位关键点确定28。此外，位置分类36可以指示人的正常位置，例如直立位置。这样的位置可以提供相对可靠的身高确定38，使得这样的直立位置的识别可以重新触发身体关键点确定30和随后的身高确定38。位置确定36的不清楚的结果可以例如减小置信度身高估计置信度值。位置确定36可以基于一个或更多个图像使用神经网络来执行。
身高估计38的附加可选输入是面部识别符42。基于该一个或更多个图像，现有的图像处理系统可能已经执行了图像识别处理并且可能已经识别了占据载具座位的人。这种识别可以基于描绘已知使用载具的人的一个或更多个参考图像来执行。例如，诸如家庭成员或公司成员的有限数量的人可以定期使用载具。在乘客的图像可用的公共交通中，例如在空中旅行中，利用面部识别符也是可行的。
这些人的图像可以存储在参考图像存储器中，并且可以与相应人的相应面部识别符相关联。识别占据载具座位的人的面部识别符的图像处理还可以包括对载具的多个座位的当前图像进行时域滤波，以便增加面部识别的置信度。诸如这些人的身体距离的身体特征也可以与面部识别符相关联地存储，使得面部识别符的附加输入可以增加估计身高的置信度。可以借助于神经网络来确定面部识别符。
类似于上面参照图3解释的座位关键点的确定，身高确定38可以包括确定身高估计置信度值，该身高估计置信度值指示与乘客的先前身高估计相比，该乘客的估计身高的置信度。
如上所述，在一些实施方式中，通过使用统计模型来执行确定估计身高和身高置信度的身高估计38。在一些实施方式中，统计模型是输入所确定的座位关键点和身体关键点的线性回归模型。可选地，统计模型还输入由(给定的)身体分类器提供的身体部位的长度指示以及座位关键点的先前确定的座位关键点置信度值和身体关键点的身体关键点置信度值。在作为身高确定模块1的一部分来在载具中工作或用于载具而工作之前的训练阶段中训练统计模型。训练统计模型的训练数据可以包括具有不同乘客的特定载具的多个舱室图像和相应的真实身高值。为了实现对统计模型的深入训练，训练数据应该尽可能地多样化，包括具有各种尺寸和各种座位位置的乘客，例如前倾、侧倾、调节靠背等。通过应用水平镜像，相同的统计模型可以被学习并应用于载具的多个不同座位，例如汽车中的驾驶员座位和乘客前部座位。
在确定了估计身高和身高置信度值之后，将身高置信度值与给定阈值进行比较40。如果在40处，乘客的身高置信度等于或高于座位关键点置信度阈值(“是”)，则在44处用所确定的身高替换/更新先前确定的身高(如果可用)。例如，在改进的实施方式中，身高的更新通过时域滤波来实现，例如以加权的方式，其中权重由身高置信度值给出。也可以更新(增加)身高置信度阈值，因为身高估计通常随着每次进一步的身高估计迭代而收敛。另一方面，如果身高置信度值低于身高置信度阈值，则丢弃基于一个或更多个当前图像确定的身高，并保持基于一个或更多个先前图像确定的身高(图4中未示出)。在实施方式中，身高置信度阈值响应于确定新人已占据座位和/或在旅行开始时(例如，在载具启动之后)被重置。
响应于确定身高置信度值等于或高于身高置信度阈值并且更新了估计的身高，然后将估计的(更新后的)身高输出到载具的控制和/或安全系统，或者输出到向载具的控制和/或安全系统提供输入的另一中间模块，例如前述座位占据分类系统。
图5示出了根据本文所述的机制确定的特定身体部位的估计身高、身体距离和位置的可视化的非限制性示例。
在实施方式中，座位关键点和身体关键点都由定义的坐标系中的x和y值来指定。此外，对于各个座位关键点和/或身体关键点，定义诸如标志的附加变量，其指示关键点是否已被检测到(例如＝1)。在确定的不可见性的情况下，关键点坐标值对(x和y)被设置为给定的常数值，例如-1。
在一些实施方式中，坐标系由示出载具座位和/或乘坐在载具座位上的乘客的图像或图像裁剪给出。示出具有座位和乘客的载具内部的图像可以具有1600×1300像素的尺寸。例如，坐标系原点(x＝0，y＝0)被定义为左下角，即在给定图像尺寸示例中xmax＝1600和ymax＝1300。
然而，在改变摄像头视角、角度、变焦、图像裁剪、不同类型/型号的载具等的情况下，基于图像的坐标系的这种方案可能导致在多个图像之间改变座位和身体关键点的坐标值，从而妨碍多个身高确定的图像之间的可比性。
为了解决这个问题，提出了标准化(normalization)方法，其使得能够转移到不同的汽车和不同的摄像头视角。因此，在一些实施方式中，确定多个身体关键点和多个座位关键点包括将身体关键点和座位关键点的位置指示从由一个或更多个当前图像给出的前述坐标系变换到标准化坐标系。
为了促进标准化，将摄像头安装在固定的给定位置，优选地在待分析的座位和乘客的前方的中心。在载具为汽车的示例中，摄像头可以位于靠近挡风玻璃的中心，使得乘客和驾驶员座位看起来几乎对称。类似的摄像头位置可用于任何其他载具和座位类型。
标准化为不同汽车和(稍微)不同的摄像头视角提供身体关键点的类似的绝对值。因此，在一些实施方式中，标准化坐标系由在一个或更多个图像上示出的载具内部中的参考点来限定。参考点通过人工定义或例如通过神经网络自动识别。可以定义多个参考点用于标准化座位关键点位置的竖直和水平值，例如一个(或更多个)参考点用于标准化关键点的竖直位置，以及两个(或更多个)参考点用于标准化水平位置和用于向上或向下缩放关键点坐标，以得到独立于摄像头距离和角度的缩放。
标准化功能的附加作用是还可以使用原始身体关键点信息而不是利用身体部位的预先已知的长度信息。标准化还与利用上面讨论的座位关键点来估计身体与摄像头的接近程度相关联，并且另外允许身体部位位置与座位身高的直接比较。然而，应注意，本文所讨论的标准化功能也可以独立于座位关键点构思而采用，具体而言用于确定身体关键点并在多个身高确定迭代上比较身体关键点的位置。
图6给出了与示例性汽车相关的标准化坐标系示例，根据该坐标系，将后座靠背的顶部以及安全带的导带环作为参考点。竖直线由导带环的x坐标(xvl和xvr)来限定，并且水平线由靠背的顶部(yh)限定。所定义这三条线用于将上述原始坐标系中的关键点位置(坐标原点位于诸如左下图像角的图像角之一中)变换成标准化关键点表示。在该标准化关键点表示中，水平线表示yh new＝0，左竖直线表示xvl new＝0，右竖直线表示xvl new＝1000。在水平和竖直两个方向上，坐标系可以按因子(xvr-xvl)/1000缩放。
因此，非标准化坐标中的关键点(x，y)的位置可以通过下式转换为标准化表示(xnew，ynew)
总结图6的示例，在一些实施方式中，参考点包括用于标准化身体关键点和座位关键点的竖直位置的至少一个竖直标准化参考点、以及用于标准化身体关键点和座位关键点的水平位置并用于缩放身体关键点和座位关键点的坐标的至少两个水平标准化参考点。说是至少一个竖直标准化参考点由该载具座位的靠背的顶部给出。所述至少两个水平标准化参考点由载具的两个座位安全带导带环的位置给出。可以为任何其他载具类型和座位类型指定类似的标准化坐标系定义。利用这种定义，坐标系独立于摄像头距离，并且仅稍微依赖于摄像头位置的身高。
如上所述，本公开的各方面包括用于乘客身高确定的方法，包括被配置成执行身高确定方法的处理器的相应处理装置、包括处理装置的用于载具的驾驶辅助系统、具有用于捕捉一个或更多个当前图像的摄像头和前述驾驶辅助系统的载具、用于执行前述身高确定方法的计算机程序、包括指令的计算机程序产品(当计算机程序产品由计算机执行时，所述指令使该计算机执行上述身高确定方法)、一种存储有上述计算机程序产品的计算机可读数据载体。
图7是实现身高确定模块1的功能的计算机器100的内部组件的图示。类似的计算机器也可以实现身高确定模块1的一个或更多个输入系统，例如上述的位置分类器或面部识别符确定。计算机器100包括一组指令，当由计算机器100执行时，使计算机器100执行这里讨论的任何方法。计算机器100包括经由总线104彼此通信的至少一个处理器101、主存储器106和网络接口设备103。可选地，计算机器100还可以包括静态存储器105和盘驱动单元。可以提供视频显示器、字母数字输入装置和光标控制设备作为用户接口102的示例。网络接口设备103将实现身高估计模块1的计算机器100连接到系统的其它部件，例如座位占据分类系统5和/或提供一个或更多个图像的摄像头或子系统，或任何其它部件。
计算机器100包括存储器106，例如主存储器、随机存取存储器(RAM)和/或任何其它易失性存储器。存储器106可以存储临时数据和程序数据以促进身高确定模块1的功能。例如，实现身高确定模块1的计算机器100可以维护高速缓存107，其存储各种数据，诸如先前和更新后的身高确定值、默认和更新后的座位关键点值、先前和更新的置信度值、身体关键点值。存储器106还可以存储计算机程序数据108以实现这里描述的功能，诸如关键点确定、身高确定、输入和输出功能等。
体现本文所描述的功能中的任何一个或全部的一组计算机可执行指令(计算机程序代码108)完全地或至少部分地驻留在机器可读存储介质(例如存储器106)之中或之上。例如，指令108可以包括实现身高确定模块1的乘客身高确定功能的软件处理。
指令108还可以作为传播信号经由因特网通过网络接口设备103或经由用户接口102被发送或接收。计算机内的通信经由总线104执行。计算机器100的基本操作由也位于存储器106、至少一个处理器101和/或静态存储器105中的操作系统控制。
一般而言，被执行以实现实施方式的例程，无论是被实现为操作系统的一部分还是被实现为特定应用、组件、程序、对象、模块或指令序列，或者甚至是其子集，在本文中可以被称为“计算机程序代码”或简称为“程序代码”。程序代码通常包括计算机可读指令，所述计算机可读指令在各种时间驻留在计算机中的各种存储器和存储设备中，并且当由计算机中的一个或更多个处理器读取和执行时，使计算机执行实现本发明实施方式的各个方面的操作和/或元素所必需的操作。用于执行本发明实施方式的操作的计算机可读程序指令可以是例如汇编语言或以一种或多种编程语言的任意组合编写的源代码或目标代码。
在某些另选实施方式中，流程图、序列图和/或框图中指定的功能和/或动作可以被重新排序、串行处理和/或并发处理，而不脱离本发明的范围。此外，任何流程图、序列图和/或框图可以包括比根据本发明的实施方式所示的更多或更少的块。
这里使用的术语仅用于描述特定实施方式的目的，而不旨在限制本发明的实施方式。还应当理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或更多个其它特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。此外，就在详细描述或权利要求书中使用术语“包括”、“具有”，“具有”，“具有”，“由…组成”或其变体而言，此类术语旨在以类似于术语“包含”的方式为包含性的。
虽然各种实施方式的描述已经说明了所有的本发明，并且虽然已经相当详细地描述了这些实施方式，但是申请人的意图不是将所附权利要求的范围限制或以任何方式限制到这样的细节。其它优点和修改对于本领域技术人员来说是显而易见的。因此，本发明在其更广泛的方面不限于所示出和描述的具体细节，代表性装置和方法以及说明性示例。因此，在不脱离本申请人的总体发明构思的精神或范围的情况下，可以对这些细节进行变更。

Claims (15)

1.一种用于估计乘坐在载具的载具座位处的乘客的身高的由计算机实现的方法，该方法包括以下步骤：
接收所述载具的内部的一部分的一个或更多个图像，所述一个或更多个图像示出乘坐在所述载具座位上的乘客的至少一部分和/或所述载具座位的至少一部分，所述一个或更多个图像中的至少一个图像示出乘坐在所述载具座位上的乘客的至少所述一部分；
基于所述一个或更多个图像，确定：
表示所述乘客的已定义身体部位的位置的多个身体关键点；以及
表示所述载具座位的已定义点的位置的多个座位关键点；
至少基于所确定的身体关键点与所确定的座位关键点的相关性来估计乘坐在所述载具座位上的所述乘客的身高；
将所估计的身高输出到所述载具的座位占据分类系统。
2.根据权利要求1所述的方法，其中，确定所述多个座位关键点包括：基于所述一个或更多个图像中的示出在所述乘客占据所述载具座位之前未被占据的载具座位的至少一个图像来确定所述多个座位关键点。
3.根据权利要求1或权利要求2所述的方法，其中，确定所述多个座位关键点和所述多个身体关键点包括确定由乘坐在所述载具座位上的乘客覆盖的一个或更多个座位关键点。
4.根据权利要求1至3中的任一项所述的方法，其中，确定所述多个座位关键点包括：
确定座位关键点置信度值，所述座位关键点置信度值指示基于一个或更多个当前图像确定的所述座位关键点的置信度；以及
如果已经检测到载具座位的移动，则重置座位关键点置信度阈值，否则维持所述座位关键点置信度阈值。
5.根据权利要求4所述的方法，其中，确定所述多个座位关键点还包括：
将所述座位关键点置信度值与所述座位关键点置信度阈值进行比较；以及
响应于确定所述座位关键点置信度值等于或高于所述座位关键点置信度阈值，增加所述座位关键点置信度阈值并用基于所述一个或更多个当前图像确定的座位关键点替换基于一个或更多个先前图像确定的座位关键点；或者
响应于确定所述座位关键点置信度值低于所述座位关键点置信度阈值，丢弃基于所述一个或更多个当前图像确定的座位关键点并维持基于一个或更多个先前图像确定的座位关键点。
6.根据权利要求1至5中的任一项所述的方法，其中，估计乘坐在所述载具座位上的乘客的身高还基于：
对乘坐在所述载具座位上的乘客的位置分类；和/或
与由所述乘客的至少一个面部参考图像指定的面部相关联的面部识别符。
7.根据权利要求1至6中的任一项所述的方法，所述方法还包括：
确定身高估计置信度值，所述身高估计置信度值指示与所述乘客的先前估计身高相比，所述乘客的估计身高的置信度；
将所述身高估计置信度值与给定的阈值进行比较；
响应于确定所述身高估计置信度值等于或高于所述阈值而将所述估计身高输出到所述座位占据分类系统。
8.根据权利要求1至7中的任一项所述的方法，其中，所述载具座位的所述已定义点包括以下各项中的至少一项：
所述载具座位的靠背的左底部，
所述载具座位的所述靠背的右底部，
所述载具座位的所述靠背的左顶部，
所述载具座位的所述靠背的右顶部，
所述载具座位的头枕的左顶部，以及
所述载具座位的所述头枕的右顶部。
9.根据权利要求1至8中的任一项所述的方法，其中，确定所述多个身体关键点和所述多个座位关键点包括将所述身体关键点和所述座位关键点的位置指示从由一个或更多个当前图像给出的坐标系变换到标准化坐标系。
10.根据权利要求9所述的方法，其中，所述标准化坐标系由在所述一个或更多个图像上示出的载具内部中的参考点定义。
11.根据权利要求10所述的方法，其中，所述参考点包括：
至少一个竖直标准化参考点，所述至少一个竖直标准化参考点用于标准化所述身体关键点和所述座位关键点的竖直位置，以及
至少两个水平标准化参考点，所述至少两个水平标准化参考点用于标准化所述身体关键点和所述座位关键点的水平位置，并且用于缩放所述身体关键点和所述座位关键点的坐标。
12.根据权利要求11所述的方法，其中，所述至少一个竖直标准化参考点由所述载具座位的靠背的顶部给出，和/或所述至少两个水平标准化参考点由所述载具的两个座位安全带导带环的位置给出。
13.一种用于载具的驾驶辅助系统，所述驾驶辅助系统包括被配置成执行根据权利要求1至12中的任一项所述的方法的处理装置。
14.一种载具，所述载具包括：
用于捕捉一个或更多个当前图像的摄像头；以及
根据权利要求13所述的驾驶辅助系统。
15.一种包括指令的计算机程序产品，当所述计算机程序产品由计算机执行时，所述指令使所述计算机执行根据权利要求1至12中的任一项所述的方法。
CN202310802474.7A 2022-07-07 2023-07-03 乘坐乘客身高估计 Pending CN117373002A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22183640.6A EP4303821A1 (en) 2022-07-07 2022-07-07 Seated passenger height estimation
EP22183640.6 2022-07-07

Publications (1)

Publication Number Publication Date
CN117373002A true CN117373002A (zh) 2024-01-09

Family

ID=82839044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310802474.7A Pending CN117373002A (zh) 2022-07-07 2023-07-03 乘坐乘客身高估计

Country Status (3)

Country Link
US (1) US20240013419A1 (zh)
EP (1) EP4303821A1 (zh)
CN (1) CN117373002A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220071121A (ko) * 2020-11-23 2022-05-31 주식회사 에이치엘클레무브 차량에서 도어 록을 활성화시키는 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10838425B2 (en) * 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
US10643085B1 (en) 2019-01-30 2020-05-05 StradVision, Inc. Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
EP3923809A4 (en) * 2019-02-17 2022-05-04 Gentex Technologies (Israel) Ltd. SYSTEM, DEVICE AND METHODS FOR DETECTING AND OBTAINING INFORMATION ABOUT OBJECTS IN A VEHICLE

Also Published As

Publication number Publication date
US20240013419A1 (en) 2024-01-11
EP4303821A1 (en) 2024-01-10

Similar Documents

Publication Publication Date Title
CN113556975B (zh) 检测车辆中的对象并获得对象信息的系统、装置和方法
CN113335146B (zh) 自动调节驾驶员相关车载设备的调节方法、装置和系统
US6493620B2 (en) Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
WO2020078461A1 (zh) 车辆座椅智能调节方法和装置、车辆、电子设备、介质
JP7259078B2 (ja) 子供状態検出方法及び装置、電子機器、記憶媒体
CN109703565A (zh) 用于匹配车辆行驶行为的方法和设备以及存储介质
KR102125756B1 (ko) 지능형 차량 편의 제어 장치 및 방법
WO2018057422A1 (en) Occupant profiling system
CN113147664A (zh) 检测车辆中是否使用了安全带的方法和系统
CN117373002A (zh) 乘坐乘客身高估计
CN114030436A (zh) 一种汽车座舱调节方法
CN115439832A (zh) 监测车辆乘员的方法和系统
CN116194342A (zh) 用于分析车辆内部的计算机实现的方法
US20080059027A1 (en) Methods and apparatus for classification of occupancy using wavelet transforms
CN114475511B (zh) 基于视觉的气囊启动
CN115923607A (zh) 座椅参数调节方法、设备、存储介质及装置
US20200139854A1 (en) Control device for vehicle, system, method and storage medium
CN115284976B (zh) 车辆座椅自动调节方法、装置、设备及存储介质
EP4276768A2 (en) Vehicle occupant monitoring system and method
CN116758519A (zh) 基于视觉人工智能ai的汽车座椅微调方法及相关设备
CN114347999A (zh) 一种基于多特征融合的乘员类型识别方法、系统、装置
CN114312580A (zh) 确定车辆内乘员的座位及车辆控制方法及装置
CN117944533B (zh) 一种座舱座椅的调整系统、方法、介质和电子设备
US20240013556A1 (en) Child Seat Detection for a Seat Occupancy Classification System
CN117416301A (zh) 安全带佩戴确定设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: Luxembourg

Address after: Luxembourg

Applicant after: Aptiv Technology (2) Co.

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240301

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Luxembourg

Applicant before: Aptiv Technology (2) Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240326

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg