CN114581893A - 一种基于车内oms相机计算乘客坐高及座舱成员分类方法 - Google Patents

一种基于车内oms相机计算乘客坐高及座舱成员分类方法 Download PDF

Info

Publication number
CN114581893A
CN114581893A CN202210174042.1A CN202210174042A CN114581893A CN 114581893 A CN114581893 A CN 114581893A CN 202210174042 A CN202210174042 A CN 202210174042A CN 114581893 A CN114581893 A CN 114581893A
Authority
CN
China
Prior art keywords
passenger
sitting height
cabin
camera
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210174042.1A
Other languages
English (en)
Inventor
王臣豪
符树敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Chunjian Electronic Technology Co ltd
Original Assignee
Ningbo Chunjian Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Chunjian Electronic Technology Co ltd filed Critical Ningbo Chunjian Electronic Technology Co ltd
Priority to CN202210174042.1A priority Critical patent/CN114581893A/zh
Publication of CN114581893A publication Critical patent/CN114581893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，主要包括以下几个步骤：提取主副驾人体坐高关键点信息、乘客骨架坐高计算、座舱成员类别逻辑判断。本发明的分类方法所受相机畸变影响较小，可快速计算、分辨出副驾乘客类别，通过与车内预警系统联用可有效提高乘客乘坐安全性；该方法科学有效、误差较现有技术有较大幅度的降低，可进一步提高乘用车使用安全预警的精准度。

Description

一种基于车内OMS相机计算乘客坐高及座舱成员分类方法
技术领域
本发明涉及智能汽车技术领域，尤其是涉及一种基于车内OMS相机计算乘客坐高及座舱成员分类方法。
背景技术
随着汽车行业的发展，驾驶员和乘客的安全成为重中之重。为了提升驾驶员和乘客安全，座舱监控(In-cabin monitoring)应运而生，通过实时监控整个车内环境来提高驾驶员及乘客的安全。和座舱监控相关的DMS和OMS也发展起来。OMS(Occupancy MonitoringSystem)通过乘客坐高区分乘客是否是儿童是保护乘客安全的主要方式之一，其原理是通过图像处理的方式得到副驾驶的真实坐高，判断副驾乘客是否是小孩，如果是将触发车内预警系统。因为实际遇到车祸时，如果副驾乘坐的是小孩，副驾的安全气囊弹出的位置不是小孩的身体而是头部，将会对小孩造成车祸后的二次伤害。因此对于副驾儿童的预警是一项很重要的安全措施。
目前有关求解人体坐高的方法主要是通过图像内参照物和人的比例去求解坐高，这种方法虽然原理简单易操作，但计算出的人体的误差比较大，尤其是当相机存在较大的畸变时，求出的结果很难达到预期的效果。
发明内容
针对现有技术不足，本发明了一种基于车内OMS相机对于计算乘客坐高及座舱成员分类的方法。
本发明解决上述技术问题采用的技术方案为：
一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，具体包括以下步骤：
(1)提取主副驾人体坐高关键点信息：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息并进行筛选和删除误检测骨架信息，最后对车内的骨架进行分类、编号并保存每个骨架的关键点信息；
(2)乘客骨架坐高计算：先计算出车内OMS相机内参以及相机到座椅的距离作为已知参数；然后将求得的已知参数带入图像像素坐标系转世界坐标的公式中计算出对应位置乘客的坐高；最后将每一帧图像内的乘客坐高高度信息存储到坐高特征容器中；
(3)座舱成员类别逻辑判断：设定区分儿童/成人的坐高阈值为M cm，然后从坐高特征容器中的时间序列上所存储的乘客坐高高度值与M比较以判断座舱成员的类别。
进一步地，步骤(1)所述的提取主副驾人体坐高关键点信息具体为：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息，并对提取到的人体骨架关键点进行编号，编号规则为：未检测到脸部关键点的骨架不进行编号并使用图像处理进行剔除，对检测到脸部关键点的骨架进行编号，编号顺序为人体姿态识别检测到骨架的先后顺序排列；按照人体姿态识别里面识别的关键点占据图像的位置来确定骨架所属类别，区分出主驾驶、副驾驶以及后排的乘客骨架；提取主副驾驶的颈部和股部关键点作为求解坐高的关键点，并将座舱内乘客数量、颈部和股部关键点保存到骨架特征结构体中，为后续求解单帧图像内乘客坐高做准备。
进一步地，步骤(2)中所述的相机内参计算方法：用棋盘格标定板录制20-25张图像，然后用matlab的Camera Calibrator小程序标定车内相机，求出相机的内参fx，fy，u0，v0。
进一步地，步骤(2)中所述的相机到座椅的距离计算方法：在座椅处贴上25cm的3x3的棋盘格，记实际相邻角点距离dw(cm)，利用角点检测检测出棋盘格的角点与坐标转换的变换公式结合，计算出相机镜头到人坐在座椅上的水平距离Zc，公式如下：
Figure BDA0003518382170000021
其中，dw为棋盘格实际相邻两个角点之间的距离，dx为对应两个角点之间x坐标的像素差值，dy为对应两个角点之间y坐标的像素差值；fx、fy为相机的内参。
进一步地，步骤(2)中所述的乘客的坐高计算方法：调整座椅的距离，会得到不同位置的Zc，将之前得到主副驾坐高关键点的像素坐标一起代入像素坐标转世界坐标的公式中，求出主副驾乘客的车内真实的坐高height(cm)，公式如下：
Figure BDA0003518382170000022
其中，(x1，y1)为乘客颈部的关键点像素坐标(pix)，(x2，y2)为乘客股部的关键点像素坐标(pix)，Zc相机镜头到人坐在座椅上的水平距离，fx、fy为相机内参。
进一步地，步骤(2)中所述的乘客坐高高度信息存储方法：将求得每一帧图像的乘客坐高信息保存到长度为N的序列中，定义存储坐高信息的时间序列vec_passenger_heights，序列大小为N，序列排号依次为N1-NN，存储方式具体为：存入第一帧的坐高信息到N1存入第二帧的坐高信息到N2...存入第n帧的坐高信息到NN；
vec_passenger_heights清空规则：
①当vec_passenger_heights存满时，删除第一次存入的坐高信息，将当前帧坐高信息存在序列尾端；
②当判断出座舱乘员类别时，立即清空序列中的所有坐高信息；
③当超过一段时间，没有新的坐高信息存入时，清空序列中的所有坐高信息。
进一步地，步骤(3)所述的座舱成员类别逻辑判断方法：
1)设定存储座舱乘客坐高信息的时间序列vec_passenger_heights长度N，定义一个累加器numl，num2；
2)当vec_passenger_heights序列长度大于等于N时，序列从最后往前遍历，判断每一帧的值跟坐高阈值之间关系，小于M cm累加器num1加一，大于M cm累加器num2加一；
3)统计序列中小于M cm和大于M cm的帧数，计算小于M cm的概率是否大于0.8，如果大于乘客识别为儿童；计算大于M cm的概率是否大于0.8，如果大于乘客识别为成人。
与现有技术相比，本发明具备的有益效果：
本发明提供的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标估计及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，受相机畸变影响较小，可快速计算、分辨出副驾乘客类别，通过与车内预警系统联用可有效提高乘客乘坐安全性；该方法科学有效、误差较现有技术有较大幅度的降低，可进一步提高乘用车使用安全预警的精准度。
附图说明
图1为步骤(2)中所述的乘客坐高高度信息存储方法存入第一帧的坐高信息示意图；
图2为步骤(2)中所述的乘客坐高高度信息存储方法存入第二帧的坐高信息示意图；
图3为步骤(3)中所述座舱成员类别逻辑判断方法示意图。
具体实施方式
以下由特定的具体实施例来进一步说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容清楚地了解本发明的其他优点及功效。
一种基于车内OMS相机对于计算乘客坐高及座舱成员分类方法，使用基于人体姿态识别检测到的骨架关键点坐标及世界坐标系转换的方式实现对副驾驶乘客的坐高计算和座舱成员类别的判断，主要包括以下几个步骤：提取主副驾人体坐高关键点信息、乘客骨架坐高计算、座舱成员类别逻辑判断。
1、对于提取主副驾人体坐高关键点信息：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息，然后利用传统的图像处理技术剔除误检测的骨架信息，最后对车内的骨架进行分类，编号并保存每个骨架的关键点信息，骨架的类别主要包括：主驾驶、副驾驶、乘客骨架。具体步骤包括：
1)提取骨架信息并进行筛选和删除误检测骨架信息
通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息(原理是采用bottom-up即自下而上的检测方法，先检测图像中人体部件，然后将图像中多人人体的部件分别组合成人体)，接着对提取到的人体骨架关键点进行编号，编号规则为：未检测到脸部关键点的骨架不进行编号并使用图像处理进行剔除，对检测到脸部关键点的骨架进行编号，编号顺序为人体姿态识别检测到骨架的先后顺序排列。
2)区分骨架类别：
由于人体姿态识别检测到骨架序列是无序的，因此按照人体姿态识别里面识别的关键点占据图像的位置来确定的骨架所属类别，区分出主驾驶、副驾驶以及后排的乘客骨架。利用主驾驶左肩的关键点的横坐标处于图像的四分之三之外，副驾驶右肩的关键点横坐标处于图像的零到四分之一之间，其余的处于后排，将各个乘客的位置区分出来。当座舱内场景方向改变时，会对得出的座舱内场景图片进翻转处理等，得出我们最终判断类别的图像，根据关键点占据图像的位置进行分类。
3)提取主副驾驶的颈部和股部关键点作为求解坐高的关键点，并将座舱内乘客数量、颈部和股部关键点保存到骨架特征结构体中，为后续求解单帧图像内乘客坐高做准备。
2、对于乘客骨架坐高计算：在计算坐高之前，先计算出车内OMS相机内参，相机到座椅的距离作为已知参数；然后将求得的已知参数带入图像像素坐标系转世界坐标的公式中计算出对应位置乘客的坐高；最后将每一帧图像内的乘客坐高高度信息存储到坐高特征容器中。
1)用棋盘格标定板录制20-25张图像，然后用matlab的Camera Calibrator小程序标定车内相机，求出相机的内参fx，fy，u0，v0；
2)在座椅处贴上25cm的3x3的棋盘格，记实际相邻角点距离dw(cm)，利用角点检测检测出棋盘格的角点与坐标转换的变换公式结合，计算出相机镜头到人坐在座椅上的水平距离Zc，公式如下：
Figure BDA0003518382170000051
其中，dw为棋盘格实际相邻两个角点之间的距离，dx为对应两个角点之间x坐标的像素差值，dy为对应两个角点之间y坐标的像素差值；fx，fy为相机的内参；
3)调整座椅的距离，会得到不同位置的Zc，将之前得到主副驾坐高关键点的像素坐标一起代入像素坐标转世界坐标的公式中，求出主副驾乘客的车内真实的坐高height(cm)，公式如下：
Figure BDA0003518382170000052
其中，(x1，y1)为乘客颈部的关键点像素坐标(pix)，(x2，y2)为乘客股部的关键点像素坐标(pix)，Zc相机镜头到人坐在座椅上的水平距离，fx，fy为相机内参，根据上述公式，测得不同人坐高结果值与实际值误差在2-3cm之间；
4)将求得每一帧图像的乘客坐高信息保存到长度为N的序列中，为后续的时间序列上判断乘客类别做准备。定义存储坐高信息的时间序列vec_passenger_heights，序列大小为N，存储方式为：如图1所示，存入第一帧的坐高信息；如图2所示，存入第二帧的坐高信息...；
vec_passenger_heights清空规则：
①当vec_passenger_heights存满时，删除第一次存入的坐高信息，将当前帧坐高信息存在序列尾端；
②当判断出座舱乘员类别时，立即清空序列中的所有坐高信息；
③当超过一段时间，没有新的坐高信息存入时，清空序列中的所有坐高信。
3、对于座舱成员类别逻辑判断：现实生活中，14岁儿童坐高(30cm)差不多是安全气囊的弹出高度，因此设定区分儿童成人的坐高阈值为30cm，然后从时间序列上去判断座舱成员的类别，具体逻辑如下(如图3所示)：
1)设定存储座舱乘客坐高信息的时间序列vec_passenger_heights长度N＝20，定义一个累加器num1，num2；
2)当vec_passenger_heights序列长度大于等于20时，序列从最后往前遍历，判断每一帧的值跟坐高阈值之间关系，小于30cm累加器numl加一，大于30cm累加器num2加一；
3)统计序列中小于30cm和大于30cm的帧数，并设定一个比较阈值，该比较阈值优选为0.8，计算小于30cm的概率是否大于比较阈值0.8，如果大于乘客识别为儿童；计算大于30cm的概率是否大于0.8，如果大于乘客识别为成人。
上述实施例的目的仅为对本发明的原理及其功效进行例示性地说明，而非用于限制本发明。本领域技术人员在不违背本发明的精神及范畴下，对上述实施例所进行的任何修饰或改变，均应由本发明的权利要求所涵盖。

Claims (8)

1.一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：包括以下步骤：
(1)提取主副驾人体坐高关键点信息：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别提取座舱内图像的人体骨架关键点信息并进行筛选和删除误检测骨架信息，最后对车内的骨架进行分类、编号并保存每个骨架的关键点信息；
(2)乘客骨架坐高计算：先计算出车内OMS相机内参以及相机到座椅的距离作为已知参数；然后将求得的已知参数带入图像像素坐标系转世界坐标的公式中计算出对应位置乘客的坐高；最后将每一帧图像内的乘客坐高高度信息存储到坐高特征容器中；
(3)座舱成员类别逻辑判断：设定区分儿童/成人的坐高阈值为M cm，然后从坐高特征容器中的时间序列上所存储的乘客坐高高度值与M比较以判断座舱成员的类别。
2.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(1)所述的提取主副驾人体坐高关键点信息具体为：通过车内OMS相机拍摄座舱内场景，使用人体姿态识别算法提取座舱内图像的人体骨架关键点信息，并对提取到的人体骨架关键点进行编号，编号顺序为人体姿态识别检测到骨架的先后顺序排列；按照人体姿态识别里面识别的关键点占据图像的位置来确定骨架所属类别，区分出主驾驶、副驾驶以及后排的乘客骨架；提取主副驾驶的颈部和股部关键点作为求解坐高的关键点，并将座舱内乘客数量、颈部和股部关键点保存到骨架特征结构体中，为后续求解单帧图像内乘客坐高做准备。
3.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的相机内参计算方法：用棋盘格标定板录制20-25张图像，然后用matlab的Camera Calibrator小程序标定车内相机，求出相机的内参fx，fy，u0，v0。
4.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的相机到座椅的距离计算方法：在座椅处贴上25cm的3×3的棋盘格，记实际相邻角点距离dw(cm)，利用角点检测检测出棋盘格的角点与坐标转换的变换公式结合，计算出相机镜头到人坐在座椅上的水平距离Zc，公式如下：
Figure FDA0003518382160000011
其中，dw为棋盘格实际相邻两个角点之间的距离，dx为对应两个角点之间x坐标的像素差值，dy为对应两个角点之间y坐标的像素差值；fx、fy为相机的内参。
5.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的乘客的坐高计算方法：调整座椅的距离，会得到不同位置的Zc，将之前得到主副驾坐高关键点的像素坐标一起代入像素坐标转世界坐标的公式中，求出主副驾乘客的车内真实的坐高height(cm)，公式如下：
Figure FDA0003518382160000021
其中，(x1，y1)为乘客颈部的关键点像素坐标(pix)，(x2，y2)为乘客股部的关键点像素坐标(pix)，Zc相机镜头到人坐在座椅上的水平距离，fx、fy为相机内参。
6.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(2)中所述的乘客坐高高度信息存储方法：将求得每一帧图像的乘客坐高信息保存到长度为N的序列中，定义存储坐高信息的时间序列vec_passenger_heights，序列大小为N，序列排号依次为N1-NN，存储方式具体为：存入第一帧的坐高信息到N1，存入第二帧的坐高信息到N2...存入第n帧的坐高信息到NN。
7.根据权利要求6所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：所述vec_passenger_heights清空规则：
①当vec_passenger_heights存满时，删除第一次存入的坐高信息，将当前帧坐高信息存在序列尾端；
②当判断出座舱乘员类别时，立即清空序列中的所有坐高信息；
③当超过一段时间，没有新的坐高信息存入时，清空序列中的所有坐高信息。
8.根据权利要求1所述的一种基于车内OMS相机计算乘客坐高及座舱成员分类方法，其特征在于：步骤(3)所述的座舱成员类别逻辑判断方法：
1)设定存储座舱乘客坐高信息的时间序列vec_passenger_heights长度N，定义一个累加器num1，num2；
2)当vec_passenger_heights序列长度大于等于N时，序列从最后往前遍历，判断每一帧的值跟坐高阈值之间关系，小于M cm累加器num1加一，大于M cm累加器num2加一；
3)统计序列中小于M cm和大于M cm的帧数，计算小于M cm的概率是否大于0.8，如果大于乘客识别为儿童；计算大于M cm的概率是否大于0.8，如果大于乘客识别为成人。
CN202210174042.1A 2022-02-24 2022-02-24 一种基于车内oms相机计算乘客坐高及座舱成员分类方法 Pending CN114581893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210174042.1A CN114581893A (zh) 2022-02-24 2022-02-24 一种基于车内oms相机计算乘客坐高及座舱成员分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210174042.1A CN114581893A (zh) 2022-02-24 2022-02-24 一种基于车内oms相机计算乘客坐高及座舱成员分类方法

Publications (1)

Publication Number Publication Date
CN114581893A true CN114581893A (zh) 2022-06-03

Family

ID=81773826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174042.1A Pending CN114581893A (zh) 2022-02-24 2022-02-24 一种基于车内oms相机计算乘客坐高及座舱成员分类方法

Country Status (1)

Country Link
CN (1) CN114581893A (zh)

Similar Documents

Publication Publication Date Title
CN111507174B (zh) 预测乘客的身高及体重的方法及装置
CN113147664B (zh) 检测车辆中是否使用了安全带的方法和系统
US6493620B2 (en) Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
CN100396084C (zh) 使用立体图像拼接识别车辆中乘客姿态的系统和方法
KR101973933B1 (ko) 승차인원 검지방법 및 그 장치
US10474930B1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
WO2022027893A1 (zh) 安全带佩戴检测方法、装置、电子设备、存储介质及程序
CN110309764B (zh) 一种基于深度学习的多阶段驾驶员打电话行为检测方法
US11417108B2 (en) Two-wheel vehicle riding person number determination method, two-wheel vehicle riding person number determination system, two-wheel vehicle riding person number determination apparatus, and program
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
JP2020121713A (ja) 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置
US10984262B2 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN105718864A (zh) 一种机动车驾乘人员在途未系安全带的检测方法
CN114581893A (zh) 一种基于车内oms相机计算乘客坐高及座舱成员分类方法
CN117125020A (zh) 一种基于行人分类识别的汽车主动吸能装置及其控制方法
Feng et al. Deep learning based vehicle seat belt detection algorithm for driver and passenger seat occupants
Baltaxe et al. Marker-less vision-based detection of improper seat belt routing
US11915496B2 (en) Body information acquisition device
Ponsa et al. Cascade of classifiers for vehicle detection
US20060088219A1 (en) Object classification method utilizing wavelet signatures of a monocular video image
Lee et al. Stereovision-based real-time occupant classification system for advanced airbag systems
KR102338777B1 (ko) 카메라를 이용한 차량 내부 인원 모니터링 방법
CN114347999A (zh) 一种基于多特征融合的乘员类型识别方法、系统、装置
TWI447655B (zh) An image recognition method
US20240029452A1 (en) Seat belt wearing determination apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination