CN117315726B - 一种驾驶员坐姿高低识别方法、装置以及处理设备 - Google Patents

一种驾驶员坐姿高低识别方法、装置以及处理设备 Download PDF

Info

Publication number
CN117315726B
CN117315726B CN202311618139.8A CN202311618139A CN117315726B CN 117315726 B CN117315726 B CN 117315726B CN 202311618139 A CN202311618139 A CN 202311618139A CN 117315726 B CN117315726 B CN 117315726B
Authority
CN
China
Prior art keywords
driver
height
key point
sitting posture
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311618139.8A
Other languages
English (en)
Other versions
CN117315726A (zh
Inventor
朱星
姜英豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Future Phantom Technology Co Ltd
Original Assignee
Wuhan Future Phantom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Future Phantom Technology Co Ltd filed Critical Wuhan Future Phantom Technology Co Ltd
Priority to CN202311618139.8A priority Critical patent/CN117315726B/zh
Publication of CN117315726A publication Critical patent/CN117315726A/zh
Application granted granted Critical
Publication of CN117315726B publication Critical patent/CN117315726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种驾驶员坐姿高低识别方法、装置以及处理设备,用于在高度保障用户隐私的前提下,以简洁的数据处理解决驾驶员坐姿高低的识别问题,从而可以更好地帮助驾校学员清晰地获知当前驾驶员坐姿高低问题还有适合自身的驾驶员坐姿高低。本申请提供的驾驶员坐姿高低识别方法,包括:获取初始图像,其中,初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,驾驶员身体关键点具体为双眼中间位置;若识别出目标驾驶员身体关键点位置信息,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,坐姿高低状态包括偏低、正常和偏高三种状态。

Description

一种驾驶员坐姿高低识别方法、装置以及处理设备
技术领域
本申请涉及驾驶状态识别领域,具体涉及一种驾驶员坐姿高低识别方法、装置以及处理设备。
背景技术
在驾校场景下,每个学员都需要进行实车练习,以逐渐掌握车辆驾驶技术,典型的如进行科目二的练习。
在车辆驾驶技术中,调整适合自己的座椅高低,即驾驶员坐姿高低,是安全驾驶的一大基础,驾驶员坐姿高低主要是受到不同身高的影响。而一方面,对于学员而言,其对于车辆驾驶技术的掌握程度是处于较低水平的,部分学员甚至近乎于零,也因此,他们对座椅的高低是否适合并没有清晰地认知,即使已经开始进行实车练习,也可能不确定座椅的高低是否合适自身,另一方面,对于驾校教练而言,针对不同学员,也需要进行针对性地提醒,这也是较为繁琐的问题,往往在经过前期的几次提醒后就默认学员已经可以正常完成驾驶员坐姿高低的调节。
而目前市面上已出现根据录入或者识别人体形状参数来自适应计算自动调节驾驶员坐姿高低的方案,但是这类方案并不适用于驾校场景,因为这类方案数据是在车辆本地进行的,属于用户个人应用,而在驾校场景下则意味着数据需要保存在驾校的设备上,涉及到用户隐私问题,且也存在着数据安全风险,若是涉及到云服务器的应用,该问题更加明显,这有悖于愈加得到重视的用户隐私保障需求还有用户隐私管理要求。
发明内容
本申请提供了一种驾驶员坐姿高低识别方法、装置以及处理设备,用于在高度保障用户隐私的前提下,以简洁的数据处理解决驾驶员坐姿高低的识别问题,从而可以更好地帮助驾校学员清晰地获知当前驾驶员坐姿高低问题还有适合自身的驾驶员坐姿高低。
第一方面,本申请提供了一种驾驶员坐姿高低识别方法,方法包括:
获取初始图像,其中,初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,驾驶员身体关键点具体为双眼中间位置;
若识别得到目标驾驶员身体关键点位置信息,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,坐姿高低状态包括偏低、正常和偏高三种状态。
结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,包括:
将初始图像输入预先配置的关键点识别模型,以使得关键点识别模型识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,其中,关键点识别模型采用标注有对应样本驾驶员身体关键点位置信息的图像样本训练初始模型得到。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第二种可能的实现方式中,初始模型配置为:
对采用的MobileNetV2的输出部分,替代为接入一个FCN层,以及接入一个通道为32、卷积核大小为1x1的卷积层,最后通过flat softmax和DSNT层,得到驾驶员身体关键点的位置坐标(x,y);
损失函数采用了几何损失和回归损失相结合的平均损失函数。
结合本申请第一方面,在本申请第一方面第三种可能的实现方式中,目标驾驶员身体关键点位置信息具体为双眼中间位置的高度,以目标驾驶员身体关键点的位置信息,判断当前驾驶员的坐姿高低状态,包括:
若目标驾驶员身体关键点高度低于第一高度阈值,则确认当前驾驶员的坐姿高低状态为偏低状态;
若目标驾驶员身体关键点高度高于第一高度阈值且低于第二高度阈值,则确认当前驾驶员的坐姿高低状态为正常状态;
若目标驾驶员身体关键点高度高于第二高度阈值,则认为当前驾驶员的坐姿高低状态为偏高状态。
结合本申请第一方面第三种可能的实现方式,在本申请第一方面第四种可能的实现方式中,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态之前,方法还包括:
在车辆和摄像头相对不变的情况下,通过摄像头采集不同驾驶员位于驾驶员位置的多个样本图像,并标注有对应驾驶员身体关键点高度;
将多个样本图像按照驾驶员身高范围拆分得到的三个范围进行划分,得到对应的三组样本图像,其中,驾驶员身高范围拆分得到的三个范围按照从小到大的顺序依次包括第一范围、第二范围和第三范围,驾驶员身高范围拆分得到的三个范围连接得到驾驶员身高范围;
对第一范围对应的第一组样本图像所标注的驾驶员身体关键点高度,确定第一高度阈值;
以第三范围对应的第三组样本图像所标注的驾驶员身体关键点高度,确定第二高度阈值。
结合本申请第一方面,在本申请第一方面第五种可能的实现方式中,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态之后,方法还包括:
若坐姿高低状态为偏低状态或者偏高状态,则发出对应的位姿调整提醒消息;
或者,若坐姿高低状态为偏低状态或者偏高状态,则自动调整驾驶员位置的高度,以促使新的坐姿高低状态为正常状态。
第二方面,本申请提供了一种驾驶员坐姿高低识别装置,装置包括:
获取单元,用于获取初始图像,其中,初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
识别单元,用于识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,驾驶员身体关键点具体为双眼中间位置;
判断单元,用于若识别得到目标驾驶员身体关键点位置信息,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,坐姿高低状态包括偏低、正常和偏高三种状态。
结合本申请第二方面,在本申请第二方面第一种可能的实现方式中,识别单元,具体用于:
将初始图像输入预先配置的关键点识别模型,以使得关键点识别模型识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,其中,关键点识别模型采用标注有对应样本驾驶员身体关键点位置信息的图像样本训练初始模型得到。
结合本申请第二方面第一种可能的实现方式,在本申请第二方面第二种可能的实现方式中,初始模型配置为:
对采用的MobileNetV2的输出部分,替代为接入一个FCN层,以及接入一个通道为32、卷积核大小为1x1的卷积层,最后通过flat softmax和DSNT层,得到驾驶员身体关键点的位置坐标(x,y);
损失函数采用了几何损失和回归损失相结合的平均损失函数。
在本申请第二方面第三种可能的实现方式中,目标驾驶员身体关键点位置信息具体为双眼中间位置的高度,判断单元,具体用于:
若目标驾驶员身体关键点高度低于第一高度阈值,则确认当前驾驶员的坐姿高低状态为偏低状态;
若目标驾驶员身体关键点高度高于第一高度阈值且低于第二高度阈值,则确认当前驾驶员的坐姿高低状态为正常状态;
若目标驾驶员身体关键点高度高于第二高度阈值,则认为当前驾驶员的坐姿高低状态为偏高状态。
结合本申请第二方面第三种可能的实现方式,在本申请第二方面第四种可能的实现方式中,装置还包括确定单元,用于:
在车辆和摄像头相对不变的情况下,通过摄像头采集不同驾驶员位于驾驶员位置的多个样本图像,并标注有对应驾驶员身体关键点高度;
将多个样本图像按照驾驶员身高范围拆分得到的三个范围进行划分,得到对应的三组样本图像,其中,驾驶员身高范围拆分得到的三个范围按照从小到大的顺序依次包括第一范围、第二范围和第三范围,驾驶员身高范围拆分得到的三个范围连接得到驾驶员身高范围;
对第一范围对应的第一组样本图像所标注的驾驶员身体关键点高度,确定第一高度阈值;
以第三范围对应的第三组样本图像所标注的驾驶员身体关键点高度,确定第二高度阈值。
结合本申请第二方面,在本申请第二方面第五种可能的实现方式中,装置还包括响应单元,用于:
若坐姿高低状态为偏低状态或者偏高状态,则发出对应的位姿调整提醒消息;
或者,若坐姿高低状态为偏低状态或者偏高状态,则自动调整驾驶员位置的高度,以促使新的坐姿高低状态为正常状态。
第三方面,本申请提供了一种处理设备,包括处理器和存储器,存储器中存储有计算机程序,处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出,本申请具有以下的有益效果:
针对于驾驶员坐姿高低的识别目标,本申请先是获取初始图像,该初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像,接着识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点位置信息,再以该目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,在这过程中,本申请从图像识别层面出发,且不进行面部识别,直接以预设的、唯一一个的驾驶员身体关键点(双眼中间位置)为目标展开图像识别,并以此确定坐姿高低状态,如此可以在高度保障用户隐私的前提下,以简洁的数据处理解决驾驶员坐姿高低的识别问题,从而可以更好地帮助驾校学员清晰地获知当前驾驶员坐姿高低问题还有适合自身的驾驶员坐姿高低。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请驾驶员坐姿高低识别方法的一种流程示意图;
图2为本申请驾驶员坐姿高低识别装置的一种结构示意图;
图3为本申请处理设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的驾驶员坐姿高低识别方法之前,首先介绍本申请所涉及的背景内容。
本申请提供的驾驶员坐姿高低识别方法、装置以及计算机可读存储介质,可应用于处理设备,用于在高度保障用户隐私的前提下,以简洁的数据处理解决驾驶员坐姿高低的识别问题,从而可以更好地帮助驾校学员清晰地获知当前驾驶员坐姿高低问题还有适合自身的驾驶员坐姿高低。
本申请提及的驾驶员坐姿高低识别方法,其执行主体可以为驾驶员坐姿高低识别装置,或者集成了该驾驶员坐姿高低识别装置的车载终端或者用户设备(User Equipment,UE)等不同类型的处理设备。其中,驾驶员坐姿高低识别装置可以采用硬件或者软件的方式实现,UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备。
其中,可以理解的是,本申请主要是针对驾校场景下驾校学员的驾驶员坐姿高低识别问题,为学员提供当前驾驶员坐姿高低的数据支持工作,对此,搭载本申请所提供的驾驶员坐姿高低识别方法的应用程序的处理设备,通常可以直接为驾校车辆本身的车载终端,或者在更灵活点的应用需求下,处理设备也可以是车上的其他设备,例如学员、教练自身的UE,或者驾校随车配置的UE。
下面,开始介绍本申请提供的驾驶员坐姿高低识别方法。
首先,参阅图1,图1示出了本申请驾驶员坐姿高低识别方法的一种流程示意图,本申请提供的驾驶员坐姿高低识别方法,具体可包括如下步骤S101至步骤S103:
步骤S101,获取初始图像,其中,初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
容易理解,本申请主要涉及的是图像处理,因此,需要在车辆内部署一枚或者多枚的摄像头(相机),来采集驾驶员位置的图像,以得到本申请所需处理的初始图像。
可以理解的是,在执行步骤S101时,通常是默认有学员坐在驾驶员位置(座椅)的,因此,摄像头在拍摄驾驶员位置时,学员处于摄像头的视野内,学员会摄入初始图像中,以此为后续的驾驶员坐姿高低的识别处理提供数据处理基础。
此处对于初始图像的获取处理,既可以是主动调用摄像头进行图像的采集处理,或者,也可以是被动接收摄像头传输过来的图像的接收处理,随实际情况进行调整即可。
对于摄像头在车内的部署位置,作为一个实例,可以固定在车辆中控台上,若其不是固定在驾驶员位置正前方位置,则意味着视野面向驾驶员位置时,会存在相应的倾斜角度,该情况并不会影响后续的图像识别处理,若是涉及到角度的处理,只需要标定好摄像头相应的倾斜角度这一参数即可,这属于图像识别较为基础的内容,因此本申请并不展开具体说明。
步骤S102,识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,驾驶员身体关键点具体为双眼中间位置;
可以理解的是,从图像识别层面出发所做的驾驶员位置高低识别,具体来说,是以一个预设且在图像中驾驶员身体只会出现唯一一个的关键点为基础展开的,通过该驾驶员身体关键点为锚点,来结合预设的判断规则,确定当前图像中驾驶员的坐姿高低。
对此,在获得了初始图像之后,则可以在该图像中,识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,通常来说,若驾驶员位置坐着驾驶员(学员),则可以识别得到该驾驶员身体关键点,也因此,以此来确定所识别出的目标驾驶员身体关键点在图像中或者实际情况下的位置,得到后续步骤S103所需的目标驾驶员身体关键点位置信息。
其中,对于识别得到的目标驾驶员身体关键点位置信息,既可以是实际情况下的位置,这需要结合目标驾驶员身体关键点的位置映射到实际情况来获得,或者,也可以是目标驾驶员身体关键点在图像中的位置,考虑是在摄像头位置、视角相对不变的情况下,目标驾驶员身体关键点本身就与实际情况下的位置之间具有对应关系,因此也可以直接用目标驾驶员身体关键点在图像中的位置来判定驾驶员的坐姿高低。
具体的,作为一个实例,目标驾驶员身体关键点在图像中的位置,可以以像素坐标高度来指示,对应构建的坐标系可以理解,其原点处于图像底边上,横纵处于图像底边所在直线上,原点在图像底边或者图像底边所在直线上的具体位置并不是重点,因为纵轴才是与像素坐标高度对应(纵轴正方向向上),在该情况下,目标驾驶员身体关键点在纵轴上的坐标即为目标驾驶员身体关键点的像素坐标高度,可以将其记为LandHeight。
此外,本申请所聚焦的驾驶员身体关键点,具体可以为双眼中间位置(两个眼睛的中间位置),一方面该关键点的特征明显,对于模型而言,数据标注还有学习相对容易,另一方面在头部侧偏有一定的角度时,也能得到平均的高度信息,而如果选取左眼或右眼,则对于偏头带来较大的位置偏移,其他的身体关键点也是容易存在该问题,如此,双眼中间位置该关键点对于以整张的输入图像为整体所展开的全局的关键点识别而言,具有处理精度较高的特点,并且对于坐姿高低的反映也能取得非常不错的效果。
在获得了目标驾驶员身体关键点位置信息(以双眼中间位置为例,即为双眼中间位置信息)之后,则可以开展具体的驾驶员坐姿高低判断处理。
步骤S103,若识别得到目标驾驶员身体关键点位置信息,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,坐姿高低状态包括偏低、正常和偏高三种状态。
而在获得了目标驾驶员身体关键点位置信息之后,则可以根据预先配置的、基于关键点位置的坐姿高低判断规则,确定本次驾驶员的坐姿高低,并从包括偏低、正常(适中)和偏高的三种坐姿高低状态中确定具体的驾驶员坐姿高低状态,以供后续的响应处理使用。
从图1所示实施例可看出, 针对于驾驶员坐姿高低的识别目标,本申请先是获取初始图像,该初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像,接着识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点位置信息,再以该目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,在这过程中,本申请从图像识别层面出发,且不进行面部识别,直接以预设的、唯一一个的驾驶员身体关键点(双眼中间位置)为目标展开图像识别,并以此确定坐姿高低状态,如此可以在高度保障用户隐私的前提下,以简洁的数据处理解决驾驶员坐姿高低的识别问题,从而可以更好地帮助驾校学员清晰地获知当前驾驶员坐姿高低问题还有适合自身的驾驶员坐姿高低。
继续对上述图1所示实施例的各个步骤及其在实际应用中可能的实现方式进行详细阐述。
在上面已经提及了,在进行驾驶员身体关键点识别的过程中,可以涉及到相应的识别规则,对此,可以通过相应的图像识别模型来实现,以凭借人工智能(ArtificialIntelligence,AI)技术来实现更为智能化的、更为精确的识别效果。
其中,作为一种示例性的实现方式,步骤S102识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,可以包括以下内容:
将初始图像输入预先配置的关键点识别模型,以使得关键点识别模型识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,其中,关键点识别模型采用标注有对应样本驾驶员身体关键点位置信息的图像样本训练初始模型得到。
应当注意到的是,在现有技术中,关键点检测主要分为两个类型:(1),先检测出包含用户的目标检测框,再基于用户的目标检测框内的人体进行关键点检测,可以用2-stage架构来理解,先定位出一个大致的候选范围,再在该候选范围内做精准回归,这种做法通常较为复杂,开销也更大;(2),先用热度图(heatmap)预测出关键点位置,然后再对它们进行组合,可以用1-stage架构来理解,尽管效率高,但是处理复杂且比较繁琐。
而从此处模型的训练样本可以看到,标注内容只有样本驾驶员身体关键点位置信息,并不需要标注其他辅助关键点识别的内容(例如用户的目标检测框等),也就可以更为清楚地看出,本申请所做的关键点识别,既不需要先进行如用户脸部、头部等用户的识别,也没有去预测关键点位置,而是在初始图像中直接进行全局的针对驾驶员身体关键点的图像识别,由于基于驾驶员身体关键点的驾驶员坐姿高低识别只涉及到一个关键点,因此在保持高精度的识别效果的情况下还可以具备计算速度非常快的特点。
而对于模型的训练过程,通常包括以下内容:
将标注有样本驾驶员身体关键点位置信息(预期识别结果)的样本图像输入模型,使得模型识别输入图像中驾驶员身体关键点的位置,完成正向传播,再根据模型输出的驾驶员身体关键点位置信息,结合标注内容进行损失函数的计算,并根据损失函数计算结果优化模型参数,完成反向传播,如此当达到预设的训练次数、训练时长、识别精度等训练要求时,即可满足训练要求,获得可以投入实际使用的关键点识别模型。
其中,初始模型所采用的模型架构既可以是通用的模型架构,也可以是在通用的模型架构的基础上优化得到的,类似的,具体采用的损失函数也是如此。
进一步的,作为关键点识别模型的训练基础的初始模型,本申请还给出了一套具体的模型架构配置方案。
具体来说,作为又一种具体的实现方式,本申请初始模型可以配置为:
对采用的MobileNetV2的输出部分,替代为接入一个FCN层,以及接入一个通道为32、卷积核大小为1x1的卷积层(可以记为(32,1,1,1)的卷积层),最后通过flat softmax和可微分空间到数据空间的转换层,得到驾驶员身体关键点的位置坐标(x,y);
损失函数采用了几何损失和回归损失相结合的平均损失函数。
其中,FCN,即Fully Convolutional Networks,全卷积神经网络;DSNT,即Differentiable Spatial To Numerical,可微分空间转数字(模块)。
可以理解的是,在上述设置中,本申请对于现有模型架构MobileNetV2,在输出部分做了优化设置,在采用轻量级MobileNetV2的情况下结合FCN网络来构建回归模型,如此在保证精度较高的同时,推理性能极高,处理速度可以得到显著的提高。
具体来说,主要的优化地方在于去掉了MobileNetV2原有的输出层,并通过FCN、FlatSoftmat以及DSNT层构建一个新的输出层,增加的FCN全卷积层以及1x1的卷积可以用来得到多个通道的深度特征,再通过FlatSoftmax和DSNT得到位置信息,通过多通道的1x1卷积控制特征图的深度,这样特征点受周围像素的影响小,结合位置损失和回归损失来得到精度更高的关键点位置。
作为又一种具体的实现方式,目标驾驶员身体关键点位置信息具体可以为双眼中间位置的高度,对应的,步骤S103以目标驾驶员身体关键点的位置信息,判断当前驾驶员的坐姿高低状态,具体可以包括:
1.若目标驾驶员身体关键点高度低于第一高度阈值,则确认当前驾驶员的坐姿高低状态为偏低状态;
2.若目标驾驶员身体关键点高度高于第一高度阈值且低于第二高度阈值,则确认当前驾驶员的坐姿高低状态为正常状态;
3.若目标驾驶员身体关键点高度高于第二高度阈值,则认为当前驾驶员的坐姿高低状态为偏高状态。
可以理解,本申请将用来输出的驾驶员坐姿高低具体分为了三种,要么偏低,要么正常(适中),要么偏高,偏低容易理解,客观情况下就意味着当前驾驶员要将坐姿调整得更高一点,才能符合正常的坐姿,反之,偏高则意味着当前驾驶员要将坐姿调整得更低一点,才能符合正常的坐姿,若是坐姿偏低或者偏高,驾驶员的视野还有手脚的活动是容易受到限制的,从而也就存在了安全风险。
对此,本申请则以高度为核心考虑因素,配置了可以反映三种状态的临界值,并以上述的第一高度阈值和第二高度阈值来体现,如此可以非常高效、精确地确定当前驾驶员的坐姿是否偏低、正常或者偏高。
而对于此处所涉及的第一高度阈值和第二高度阈值,除了可以直接人工配置,也可以采用相关的自动配置方案来完成。
对此,本申请还给出了一套具体的自动配置方案,以此可以针对在当前车辆、摄像头相对不变的情况下,进行当前车辆、摄像头所适用的第一高度阈值和第二高度阈值的计算处理,在涉及到不同车辆和/或不同摄像头的不同应用场景之间,则可以取得更为适配的效果,由此则可以获得更为精确的驾驶员坐姿高低判断效果。
对应的,作为又一种具体的实现方式,步骤S103以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态之前,本申请驾驶员坐姿高低识别方法还可以包括:
在车辆和摄像头相对不变的情况下,通过摄像头采集不同驾驶员位于驾驶员位置的多个样本图像,并标注有对应驾驶员身体关键点高度;
将多个样本图像按照驾驶员身高范围拆分得到的三个范围进行划分,得到对应的三组样本图像,其中,驾驶员身高范围拆分得到的三个范围按照从小到大的顺序依次包括第一范围、第二范围和第三范围,驾驶员身高范围拆分得到的三个范围连接得到驾驶员身高范围;
对第一范围对应的第一组样本图像所标注的驾驶员身体关键点高度,确定第一高度阈值;
以第三范围对应的第三组样本图像所标注的驾驶员身体关键点高度,确定第二高度阈值。
举例而言,以实际情况下较为正常的驾驶员身高范围可以从1.55m-1.85m,对此,则可以拆分为P1(1.55m-1.65m)、P2(1.65m-1.75m)、P3(1.75-1.85m)共三组,三者连续并可以连接得到1.55m-1.85m这一较为正常的驾驶员身高范围。
当然,该数值仅为举例,在实际情况下,驾驶员身高范围是以允许考取驾驶证的身高范围为基础配置的,其范围如何划分既可以是以相同的范围跨度来划分得到三个范围,或者,也可以是按照不同的范围跨度来划分,随实际情况来配置即可。
与此同时,在获得了第一范围(如1.55m-1.65m)对应的第一组样本图像后,则可以基于这些图像背后的驾驶员的身体关键点高度(已标注),来计算坐姿偏低的临界值,即第一高度阈值。
举例而言,可以取第一组样本图像背后的驾驶员的身体关键点高度的最大值,并记为P1_Max,或者,也可以取第一组样本图像背后的驾驶员的身体关键点高度的均值,或者,也可以取第一组样本图像背后的驾驶员的身体关键点高度的中值,显然,如何从中选择或者计算出第一高度阈值的具体高度数值,是随具体采用的策略来设置的,而不同策略则可以对后续坐姿偏低状态的判断范围进行不同程度的影响。
类似的,第二高度阈值可以取第三组样本图像背后的驾驶员的身体关键点高度的最小值,并记为P3_Min,…。
在上述设置中,本申请在大量客观人群中对身高分为了三个身高等级,在标定数据统计的基础上进行数据标注,得到客观的驾驶员群体其双眼中部关键点在图像中的高度值范围,从而可以获得比较精确客观的高度阈值,来精确辅助具体位置状态的判定。
此外,应当理解,对于此处确定高度阈值所配置的样本图像,还可以是关键点识别模型的训练过程中所采用的样本图像(即可以采用同一份的样本图像),如此可以更为有效地利用已有的样本,节省训练模型所需样本的配置成本。
与此同时,除了可以基于单帧的初始图像来判定当前驾驶员的坐姿高低状态,还可以结合多帧的初始图像来综合判定当前驾驶员的坐姿高低状态,对此,在以初始图像识别得到的目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态的过程中,则需要根据多帧初始图像得到的不同目标驾驶员身体关键点位置信息,来判断当前驾驶员的坐姿高低状态。
其中,多帧的初始图像,通常来说,应当是连续图像,其可以以视频的形式进行采集,并从中解析(提取)出不同帧的初始图像,或者摄像头本身的工作模式就是在预设的时间间隔的条件下采用抓拍的形式配置,如此可以直接采集得到多帧的连续图像,通过连续图像则可以反映出驾驶员在这段时间内不同时间点下的坐姿高低状态的动态情况,以此在动态的坐姿高低状态判定规则下可以确定最终输出的驾驶员坐姿高低状态。
举例而言,步骤S101获得了N帧连续的初始图像后,可以通过步骤S102分别展开相应的图像识别处理,得到N个目标驾驶员身体关键点位置信息,此时在步骤S103中,先分别处理得到每个目标驾驶员身体关键点位置信息对应的驾驶员坐姿高低状态,再按照以下规则确定最终的当前驾驶员的坐姿高低状态:
若存在一次偏低状态(LandHeight小于P1_Max),则判定偏低帧数N_low加1(最初N_low为0);
若存在一次偏高状态(LandHeight大于P3_Min),则判定偏低帧数N_high加1(最初N_high也为0);
基于N个(N≥100)的驾驶员坐姿高低状态进行计算,得到最终的N_low和N_high;
若N_low/N大于0.7,则判定为偏低状态,若N_high/N大于0.7,则判定为偏高状态,若两者都未存在,则判定为正常状态。
对于以上的数据处理,可以理解的是,在具体操作中,还可以通过将所涉及的应用服务搭载于AI计算单元上,通过AI计算单元服务程序的相关子线程来执行不同步骤所涉及的具体数据处理,以此通过AI计算单元这类具有更佳表现的AI计算能力的硬件模块,进一步提升相应数据处理的效率和精度。
而在确定了最终采用的当前驾驶员的坐姿高低状态后,如前面提及的,实际操作中可以投入到后续的响应处理使用,其中所涉及的具体响应内容,既可以是以提醒的方式来督促学驾驶员自主进行调整位姿,也可以是以自动的方式来主动调整驾驶员位姿,最终促使得到正常的坐姿。
对此,作为又一种具体的实现方式,步骤S103以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态之后,本申请驾驶员坐姿高低识别方法还可以包括:
若坐姿高低状态为偏低状态或者偏高状态,则发出对应的位姿调整提醒消息;
或者,若坐姿高低状态为偏低状态或者偏高状态,则自动调整驾驶员位置的高度,以促使新的坐姿高低状态为正常状态。
可以理解,对于此处的提醒设置,通常是以语音的方式进行提醒的,具体可以通过车辆自身的扬声器来完成,或者通过如随车配置的UE、驾驶员的UE等其他设备来完成,此外,在一些应用中,也可能涉及到显示屏的应用,如此也可以在显示窗口中弹出提醒信息,此外,考虑到提醒并未涉及到复杂的提醒内容,因此在提醒过程中,还可以借助灯光、震动等不同的信息输出方式(提醒方式)来间接达到提醒的目的,这些在实际情况下都是可以满足位姿偏低或者位姿偏高的提醒需求的。
对于此处的自动调整设置,则需要调用车辆原有的自动调整服务(自动调整所需的软硬件条件是应用本申请方案之前就配置的),或者需要额外在车辆上配置自动调整所需的软硬件条件。
以上是本申请提供的驾驶员坐姿高低识别方法的介绍,为便于更好的实施本申请提供的驾驶员坐姿高低识别方法,本申请还从功能模块角度提供了一种驾驶员坐姿高低识别装置。
参阅图2,图2为本申请驾驶员坐姿高低识别装置的一种结构示意图,在本申请中,驾驶员坐姿高低识别装置200具体可包括如下结构:
获取单元201,用于获取初始图像,其中,初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
识别单元202,用于识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,驾驶员身体关键点具体为双眼中间位置;
判断单元203,用于若识别得到目标驾驶员身体关键点位置信息,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,坐姿高低状态包括偏低、正常和偏高三种状态。
在一种示例性的实现方式中,识别单元202,具体用于:
将初始图像输入预先配置的关键点识别模型,以使得关键点识别模型识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,其中,关键点识别模型采用标注有对应样本驾驶员身体关键点位置信息的图像样本训练初始模型得到。
在又一种示例性的实现方式中,初始模型配置为:
对采用的MobileNetV2的输出部分,替代为接入一个FCN层,以及接入一个通道为32、卷积核大小为1x1的卷积层,最后通过flat softmax和DSNT层,得到驾驶员身体关键点的位置坐标(x,y);
损失函数采用了几何损失和回归损失相结合的平均损失函数。
在又一种示例性的实现方式中,目标驾驶员身体关键点位置信息具体为双眼中间位置的高度,判断单元203,具体用于:
若目标驾驶员身体关键点高度低于第一高度阈值,则确认当前驾驶员的坐姿高低状态为偏低状态;
若目标驾驶员身体关键点高度高于第一高度阈值且低于第二高度阈值,则确认当前驾驶员的坐姿高低状态为正常状态;
若目标驾驶员身体关键点高度高于第二高度阈值,则认为当前驾驶员的坐姿高低状态为偏高状态。
在又一种示例性的实现方式中,装置还包括确定单元204,用于:
在车辆和摄像头相对不变的情况下,通过摄像头采集不同驾驶员位于驾驶员位置的多个样本图像,并标注有对应驾驶员身体关键点高度;
将多个样本图像按照驾驶员身高范围拆分得到的三个范围进行划分,得到对应的三组样本图像,其中,驾驶员身高范围拆分得到的三个范围按照从小到大的顺序依次包括第一范围、第二范围和第三范围,驾驶员身高范围拆分得到的三个范围连接得到驾驶员身高范围;
对第一范围对应的第一组样本图像所标注的驾驶员身体关键点高度,确定第一高度阈值;
以第三范围对应的第三组样本图像所标注的驾驶员身体关键点高度,确定第二高度阈值。
在又一种示例性的实现方式中,装置还包括响应单元205,用于:
若坐姿高低状态为偏低状态或者偏高状态,则发出对应的位姿调整提醒消息;
或者,若坐姿高低状态为偏低状态或者偏高状态,则自动调整驾驶员位置的高度,以促使新的坐姿高低状态为正常状态。
本申请还从硬件结构角度提供了一种处理设备,参阅图3,图3示出了本申请处理设备的一种结构示意图,具体的,本申请处理设备可包括处理器301、存储器302以及输入输出设备303,处理器301用于执行存储器302中存储的计算机程序时实现如图1对应实施例中驾驶员坐姿高低识别方法的各步骤;或者,处理器301用于执行存储器302中存储的计算机程序时实现如图2对应实施例中各单元的功能,存储器302用于存储处理器301执行上述图1对应实施例中驾驶员坐姿高低识别方法所需的计算机程序。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器302中,并由处理器301执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
处理设备可包括,但不仅限于处理器301、存储器302、输入输出设备303。本领域技术人员可以理解,示意仅仅是处理设备的示例,并不构成对处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如处理设备还可以包括网络接入设备、总线等,处理器301、存储器302、输入输出设备303等通过总线相连。
处理器301可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是处理设备的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器302可用于存储计算机程序和/或模块,处理器301通过运行或执行存储在存储器302内的计算机程序和/或模块,以及调用存储在存储器302内的数据,实现计算机装置的各种功能。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据处理设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器301用于执行存储器302中存储的计算机程序时,具体可实现以下功能:
获取初始图像,其中,初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
识别初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,驾驶员身体关键点具体为双眼中间位置;
若识别得到目标驾驶员身体关键点位置信息,以目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,坐姿高低状态包括偏低、正常和偏高三种状态。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的驾驶员坐姿高低识别装置、处理设备及其相应单元的具体工作过程,可以参考如图1对应实施例中驾驶员坐姿高低识别方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1对应实施例中驾驶员坐姿高低识别方法的步骤,具体操作可参考如图1对应实施例中驾驶员坐姿高低识别方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1对应实施例中驾驶员坐姿高低识别方法的步骤,因此,可以实现本申请如图1对应实施例中驾驶员坐姿高低识别方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的驾驶员坐姿高低识别方法、装置、处理设备以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种驾驶员坐姿高低识别方法,其特征在于,所述方法包括:
获取初始图像,其中,所述初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
识别所述初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,所述驾驶员身体关键点具体为双眼中间位置;
若识别得到目标驾驶员身体关键点位置信息,以所述目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,所述坐姿高低状态包括偏低、正常和偏高三种状态;
所述识别所述初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,并得到目标驾驶员身体关键点的位置信息,包括:
将所述初始图像输入预先配置的关键点识别模型,以使得所述关键点识别模型识别所述初始图像中是否包含预设的、唯一一个的所述驾驶员身体关键点,并得到所述目标驾驶员身体关键点的位置信息,其中,所述关键点识别模型采用标注有对应样本驾驶员身体关键点位置信息的图像样本训练初始模型得到;
所述初始模型配置为:
对采用的MobileNetV2的输出部分,替代为接入一个FCN层,以及接入一个通道为32、卷积核大小为1x1的卷积层,最后通过flat softmax和DSNT层,得到所述驾驶员身体关键点的位置坐标(x,y);
损失函数采用了几何损失和回归损失相结合的平均损失函数。
2.根据权利要求1所述的方法,其特征在于,所述目标驾驶员身体关键点位置信息具体为所述双眼中间位置的高度,所述以所述目标驾驶员身体关键点的位置信息,判断当前驾驶员的坐姿高低状态,包括:
若所述目标驾驶员身体关键点高度低于第一高度阈值,则确认所述当前驾驶员的所述坐姿高低状态为偏低状态;
若所述目标驾驶员身体关键点高度高于所述第一高度阈值且低于第二高度阈值,则确认所述当前驾驶员的所述坐姿高低状态为正常状态;
若所述目标驾驶员身体关键点高度高于所述第二高度阈值,则认为所述当前驾驶员的所述坐姿高低状态为偏高状态。
3.根据权利要求2所述的方法,其特征在于,所述以所述目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态之前,所述方法还包括:
在所述车辆和所述摄像头相对不变的情况下,通过所述摄像头采集不同驾驶员位于所述驾驶员位置的多个样本图像,并标注有对应驾驶员身体关键点高度;
将所述多个样本图像按照驾驶员身高范围拆分得到的三个范围进行划分,得到对应的三组样本图像,其中,所述驾驶员身高范围拆分得到的三个范围按照从小到大的顺序依次包括第一范围、第二范围和第三范围,所述驾驶员身高范围拆分得到的三个范围连接得到所述驾驶员身高范围;
对所述第一范围对应的第一组样本图像所标注的驾驶员身体关键点高度,确定所述第一高度阈值;
以所述第三范围对应的第三组样本图像所标注的驾驶员身体关键点高度,确定所述第二高度阈值。
4.根据权利要求1所述的方法,其特征在于,所述以所述目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态之后,所述方法还包括:
若所述坐姿高低状态为偏低状态或者偏高状态,则发出对应的位姿调整提醒消息;
或者,若所述坐姿高低状态为所述偏低状态或者所述偏高状态,则自动调整所述驾驶员位置的高度,以促使新的所述坐姿高低状态为正常状态。
5.一种驾驶员坐姿高低识别装置,其特征在于,所述装置包括:
获取单元,用于获取初始图像,其中,所述初始图像是指通过车辆内部署的摄像头采集驾驶员位置的图像所得到的图像;
识别单元,用于识别所述初始图像中是否包含预设的、唯一一个的驾驶员身体关键点,其中,所述驾驶员身体关键点具体为双眼中间位置;
判断单元,用于若识别得到目标驾驶员身体关键点位置信息,以所述目标驾驶员身体关键点位置信息,判断当前驾驶员的坐姿高低状态,其中,所述坐姿高低状态包括偏低、正常和偏高三种状态;
所述识别单元,具体用于:
将所述初始图像输入预先配置的关键点识别模型,以使得所述关键点识别模型识别所述初始图像中是否包含预设的、唯一一个的所述驾驶员身体关键点,并得到所述目标驾驶员身体关键点的位置信息,其中,所述关键点识别模型采用标注有对应样本驾驶员身体关键点位置信息的图像样本训练初始模型得到;
所述初始模型配置为:
对采用的MobileNetV2的输出部分,替代为接入一个FCN层,以及接入一个通道为32、卷积核大小为1x1的卷积层,最后通过flat softmax和DSNT层,得到所述驾驶员身体关键点的位置坐标(x,y);
损失函数采用了几何损失和回归损失相结合的平均损失函数。
6.一种处理设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时执行如权利要求1至4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至4任一项所述的方法。
CN202311618139.8A 2023-11-30 2023-11-30 一种驾驶员坐姿高低识别方法、装置以及处理设备 Active CN117315726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311618139.8A CN117315726B (zh) 2023-11-30 2023-11-30 一种驾驶员坐姿高低识别方法、装置以及处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311618139.8A CN117315726B (zh) 2023-11-30 2023-11-30 一种驾驶员坐姿高低识别方法、装置以及处理设备

Publications (2)

Publication Number Publication Date
CN117315726A CN117315726A (zh) 2023-12-29
CN117315726B true CN117315726B (zh) 2024-03-22

Family

ID=89281573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311618139.8A Active CN117315726B (zh) 2023-11-30 2023-11-30 一种驾驶员坐姿高低识别方法、装置以及处理设备

Country Status (1)

Country Link
CN (1) CN117315726B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140084506A (ko) * 2012-12-27 2014-07-07 전자부품연구원 차량용 좌석 및 미러 조정 장치 및 방법
CN114889542A (zh) * 2022-06-01 2022-08-12 重庆邮电大学 一种基于驾驶员监测与识别的座舱协同控制系统和方法
CN116630599A (zh) * 2023-04-23 2023-08-22 北京好牙科技有限公司 一种生成牙齿正畸后预测照片的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111071113A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 车辆座椅智能调节方法和装置、车辆、电子设备、介质
CN111071187A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶环境智能调整及驾驶员注册方法和装置、车辆、设备
US10821897B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140084506A (ko) * 2012-12-27 2014-07-07 전자부품연구원 차량용 좌석 및 미러 조정 장치 및 방법
CN114889542A (zh) * 2022-06-01 2022-08-12 重庆邮电大学 一种基于驾驶员监测与识别的座舱协同控制系统和方法
CN116630599A (zh) * 2023-04-23 2023-08-22 北京好牙科技有限公司 一种生成牙齿正畸后预测照片的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DPENet:轻量化文档姿态估计网络;韩晶,等;计算机工程与应用;第58卷(第22期);第210-218页 *
Numerical Coordinate Regression with Convolutional Neural Networks;Aiden Nibali,et al;arXiv:1801.07372v2;第1-10页 *

Also Published As

Publication number Publication date
CN117315726A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US10902056B2 (en) Method and apparatus for processing image
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
US20210343041A1 (en) Method and apparatus for obtaining position of target, computer device, and storage medium
WO2021016873A1 (zh) 基于级联神经网络的注意力检测方法、计算机装置及计算机可读存储介质
CN110688874B (zh) 人脸表情识别方法及其装置、可读存储介质和电子设备
CN103577788A (zh) 增强现实的实现方法和装置
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN112487964B (zh) 姿态检测识别方法、设备及计算机可读存储介质
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CN115471662B (zh) 语义分割模型的训练方法、识别方法、装置和存储介质
WO2023138537A1 (zh) 一种图像处理方法、装置、终端设备及存储介质
CN112037142A (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN116187398A (zh) 一种无人机海洋图像检测用轻量神经网络搭建方法及设备
US20210156697A1 (en) Method and device for image processing and mobile apparatus
CN112257645B (zh) 人脸的关键点定位方法和装置、存储介质及电子装置
CN117315726B (zh) 一种驾驶员坐姿高低识别方法、装置以及处理设备
CN114051116A (zh) 一种驾考车辆的视频监控方法、装置以及系统
CN113822263A (zh) 图像标注方法、装置、计算机设备及存储介质
CN109002776A (zh) 人脸识别方法、系统、计算机设备和计算机可读存储介质
JP2023517365A (ja) 駐車スペース検出方法、装置、デバイス及び記憶媒体
CN112655021A (zh) 图像处理方法、装置、电子设备和存储介质
WO2021047249A1 (zh) 数据预测方法、装置、设备及计算机可读存储介质
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN110807375A (zh) 基于深度图像的人头检测方法、装置、设备及存储介质
US11461576B2 (en) Information processing method and related electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant