CN111507171A - 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置 - Google Patents

根据驾驶员状态自动调整驾驶员辅助装置的方法和装置 Download PDF

Info

Publication number
CN111507171A
CN111507171A CN202010075360.3A CN202010075360A CN111507171A CN 111507171 A CN111507171 A CN 111507171A CN 202010075360 A CN202010075360 A CN 202010075360A CN 111507171 A CN111507171 A CN 111507171A
Authority
CN
China
Prior art keywords
driver
body image
upper body
feature
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010075360.3A
Other languages
English (en)
Other versions
CN111507171B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111507171A publication Critical patent/CN111507171A/zh
Application granted granted Critical
Publication of CN111507171B publication Critical patent/CN111507171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Mounting And Adjusting Of Optical Elements (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

本发明涉及一种根据驾驶员状态调整驾驶员辅助装置的位置的方法，调整位置装置执行如下步骤，其中，步骤(a)，将驾驶员坐在车辆的驾驶座上并启动所述车辆之后获取的所述驾驶员的上半身图像与下半身图像输入到姿势预测网络中，获取身体关键点，计算身体部位的长度并调整驾驶座位置，步骤(b)，所述车辆行驶时，将所述上半身图像输入到人脸检测器中来检测面部，将所述面部输入到眼睛检测器中来检测眼部，将已调整的驾驶座位置与眼睛的2D坐标输入到3D坐标转换器中，参考所述2D坐标与所述驾驶座的位置来生成所述眼睛的3D坐标，并参考所述3D坐标调整所述车辆的镜子的位置。

Description

根据驾驶员状态自动调整驾驶员辅助装置的方法和装置
技术领域
本发明涉及一种车辆的驾驶员辅助装置，更具体地涉及一种根据驾驶员状态自动调整所述驾驶员辅助装置的方法和装置。
背景技术
通常，在驾驶车辆时，要时刻注视前方，同时也要注视后方，因此车辆安装有后视镜，以便驾驶员在看前方时也可以看后方。
另一方面，在车辆上通常配置有共3个镜子，一个在车辆内前方、其他两个分别在车辆外侧左右前门处。
在车辆的左右前门两侧安装有侧视镜(side-view mirror)，以帮助驾驶员确保车辆周边的后方视野，并且在车辆内的前方挡风玻璃上安装有后视镜(rear-view mirror)，以帮助驾驶员确保车辆的后方视野。
此时，如果驾驶员难以通过镜子确保后方视野，则需要手动调整后视镜与侧视镜的角度才能确保视线。
并且，驾驶员应根据自身身体条件调整驾驶座椅的位置。
但是，如果驾驶员想要驾驶已经由另一驾驶员调整过驾驶座椅的位置与镜子的位置的车辆，存在必须根据自己的身体条件重新调整驾驶座椅的位置与镜子的位置的问题。
因此，本发明提出一种根据驾驶员的身体条件，自动调整驾驶座的镜子的位置的方法。
发明内容
本发明的目的在于解决所有上述问题。
本发明的另一目的在于能够根据驾驶员状态自动调整驾驶员辅助装置。
本发明的另一目的在于能够根据驾驶员状态自动调整驾驶座椅位置与一个以上的镜子的位置。
本发明的又一目的在于能够通过跟踪驾驶员的视线(gaze)来实时地自动调整镜子的位置。
为了达到如上所述的本发明的目的，并且实现后述的本发明的特征效果的，本发明的特定结构如下。
根据本发明的一个方面，根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，包括：步骤(a)，当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及步骤(b)，所述车辆在所述驾驶座的位置已调整的状态下行驶时，所述位置调整装置执行，过程(i)，将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部；过程(ii)，将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部；过程(iii)，在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与已调整的驾驶座的位置输入到3D坐标转换器中，从而使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。
一实施例中，在所述步骤(a)中，所述位置调整装置，使所述姿势预测网络，(i)通过特征提取器从所述上半身图像和所述下半身图像中提取一个以上的特征，分别生成一个以上的特征张量，(ii)通过关键点热图(key point heat map)和部分亲和力字段(partaffinity field)提取器，分别生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和力字段，(iii)通过关键点分组(grouping)层从每个所述关键点热图中提取一个以上的关键点，参考每个所述部分亲和力字段，分别对已提取的关键点进行分组生成与所述驾驶员相对应的所述身体关键点。
一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述特征提取器的至少一个卷积层，将至少一个卷积运算分别适用于所述上半身图像和所述下半身图像中，生成每个所述特征张量。
一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述关键点热图和部分亲和力字段提取器的全卷积网络或至少一个1x1卷积层，对每个所述特征张量适用至少一个全卷积运算或至少一个1x1卷积运算，从而分别生成与每个所述特征张量相对应的所述关键点热图和所述部分亲和力字段。
一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，提取每个所述关键点热图中的每个最高点，作为与每个所述关键点热图相对应的每个所述关键点。
一实施例中，所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，参考每个所述部分亲和力字段，分别连接已提取的关键点对中具有最高相互连接概率的对，从而对已提取的关键点进行分组。
一实施例中，在所述步骤(b)中，所述位置调整装置，使所述人脸检测器，(i)通过卷积层对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，(ii)通过区域生成网络(Region Proposal Network，RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(iii)通过池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(iv)通过全连接(FullyConnected，FC)层，对所述特征矢量适用至少一个FC运算生成至少一个FC输出值，(v)对所述FC层的所述FC输出值，适用分类运算和回归运算，分别输出关于所述对象的类别信息和回归信息之后，通过分类层和回归层，检测所述上半身图像上的所述驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框。
一实施例中，在所述步骤(b)中，所述位置调整装置，使所述眼睛检测器，将所述面部转换为至少一个修正统计变换(Modified Census Transform，MCT)图像，适用自适应提升(Adaboost)算法从所述MCT图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异被编码为所述MCT图像。
一实施例中，所述驾驶座的所述位置为获取所述上半身图像的至少一个相机与所述驾驶座之间的距离。
一实施例中，在所述步骤(a)中，所述位置调整装置执行，如下过程，其中，所述过程，通过参考所述驾驶员的所述身体部位的长度，进一步调整所述车辆的方向盘的位置。
根据本发明的另一个方面，一种位置调整装置，其根据驾驶员状态调整驾驶员辅助装置的位置，其特征在于，包括：至少一个存储器，存储指令；以及至少一个处理器，被配置执行所述指令，所述指令用于执行如下过程(I)和(II)，其中，过程(I)当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及过程(II)所述车辆在所述驾驶座的位置已调整的状态下行驶时，(i)将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部，(ii)将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部，(iii)在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与所述已调整的驾驶座的位置输入到3D坐标转换器中，使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。
一实施例中，在所述过程(I)中，所述处理器，使所述姿势预测网络，(i)通过特征提取器从所述上半身图像和所述下半身图像中提取一个以上的特征，分别生成一个以上的特征张量，(ii)通过关键点热图(key point heat map)和部分亲和力字段(part affinityfield)提取器，分别生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和力字段，(iii)通过关键点分组(grouping)层从每个所述关键点热图中提取一个以上的关键点，参考每个所述部分亲和力字段，分别对已提取的关键点进行分组生成与所述驾驶员相对应的所述身体关键点。
一实施例中，所述处理器，使所述姿势预测网络，通过所述特征提取器的至少一个卷积层，将至少一个卷积运算分别适用于所述上半身图像和所述下半身图像中，生成每个所述特征张量。
一实施例中，所述处理器，使所述姿势预测网络，通过所述关键点热图和部分亲和力字段提取器的全卷积网络或至少一个1x1卷积层，对每个所述特征张量适用至少一个全卷积运算或至少一个1x1卷积运算，从而分别生成与每个所述特征张量相对应的所述关键点热图和所述部分亲和力字段。
一实施例中，所述处理器，使所述姿势预测网络，通过所述关键点分组层，提取每个所述关键点热图中的每个最高点，作为与每个所述关键点热图相对应的每个所述关键点。
一实施例中，所述处理器，使所述姿势预测网络，通过所述关键点分组层，参考每个所述部分亲和力字段，分别连接已提取的关键点对中具有最高相互连接概率的对，从而对已提取的关键点进行分组。
一实施例中，在所述过程(II)中，所述处理器，使所述人脸检测器，(i)通过卷积层对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，(ii)通过区域生成网络(Region Proposal Network，RPN)生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(iii)通过池化层对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(iv)通过全连接(Fully Connected，FC)层对所述特征矢量适用至少一个FC运算生成至少一个FC输出值，(v)对所述FC层的所述FC输出值适用分类运算和回归运算，分别输出关于所述对象的类别信息和回归信息之后，通过分类层和回归层，检测所述上半身图像上的所述驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框。
一实施例中，在所述过程(II)中，所述处理器，使所述眼睛检测器，将所述面部转换为至少一个MCT(Modified Census Transform)图像，适用自适应提升(Adaboost)算法从所述MCT图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异被编码为所述MCT图像。
一实施例中，所述驾驶座的所述位置为获取所述上半身图像的至少一个相机与所述驾驶座之间的距离。
一实施例中，在所述过程(I)中，所述处理器，执行如下过程，其中，所述过程，通过参考所述驾驶员的所述身体部位的长度，进一步调整所述车辆的方向盘的位置。
另外，还提供了一种用于存储计算机程序的计算机可读介质，所述计算机程序用于执行本发明的方法。
本发明具有根据驾驶员状态自动调整驾驶员辅助装置，以提高驾驶员的便利性的效果。
本发明具有根据驾驶员状态自动调整驾驶座的位置，以提高驾驶员的便利性的效果。
本发明具有如下效果，其通过跟踪驾驶员的视线(gaze)，实时自动调整镜子的位置，以提高驾驶员的便利性，并使驾驶员，能够利用镜子准确识别周边环境，以防止交通事故的发生。
附图说明
用于描述本发明实施例的附图仅是本发明实施例的一部分，并且本发明所属领域的普通技术人员，无需进行创造性劳动即可基于这些附图获得其他附图。
图1示意性示出了根据本发明一实施例的位置调整装置，其根据驾驶员状态调整驾驶员辅助装置的位置。
图2示意性示出了根据本发明一实施例的根据驾驶员状态调整驾驶员辅助装置的位置的方法。
图3示意性示出了根据本发明一实施例的在根据驾驶员状态调整驾驶员辅助装置的位置的方法中，检测驾驶员的身体关键点的过程。
图4示意性示出了根据本发明一实施例的在根据驾驶员状态调整驾驶员辅助装置的位置的方法中，检测驾驶员的人脸的过程。
具体实施方式
对于后述的本发明的详细描述，为使本发明的目的、技术方案、以及优点清楚，可以将实施本发明的特定实施例作为示例而参考示出的附图。将会详细描述这些实施例，以使本领域技术人员能够足以实施本发明。
另外，在本发明的详细描述以及权利要求中，术语“包括”及其变形并不意旨在排除其他技术特征、添加物、组件或步骤。对于本领域普通技术人员来说，本发明的其他目的、优点以及特征中一部分从本说明书中、一部分从本发明的实施中揭示。以下示例和附图将作为示例提供，但并不意旨限制本发明。
尤其，本发明涵盖了本说明书中指示的实施例的所有可能的组合。应理解，本发明的各种实施例尽管不同，但不一定是相互排斥的。例如，在不脱离与一实施例有关的本发明的精神和范围的情况下，可在其他实施例中实现本文中所记载的特定形状、结构或特性。并且，应理解，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例内的各个元件的位置和配置。因此，以下详细描述不应被理解为限制性的，并且本发明的范围在适当地解释的情况下，仅由所附权利要求以及权利要求所赋予的等同物的全部范围来限定。附图中相似的附图标记是指经过多方面考虑后具有相同或相似的功能
本发明所涉及的各种图像可包括铺设或未铺设的道路有关的图像，在这种情况下，可以假设可能会出现在道路环境中的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物)，但不限于此，本发明中涉及的各种图像可以是与道路无关的图像(例如，土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内)，在这种情况下，可以推断土路、小巷、空地、海、湖泊、河流、山脉、森林、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物体、建筑物、诸如飞机或无人机的飞行器、其他障碍物等)，但不限于此。
以下，为便于本发明所属的技术领域的普通技术人员实施本发明，将参考附图详细描述本发明的优选实施例。
图1示意性示出了根据本发明一实施例的位置调整装置，其根据驾驶员状态调整驾驶员辅助装置的位置。参考图1，所述位置调整装置1000可以包括，存储器1100，存储根据所述检测到的驾驶员状态调整所述驾驶员辅助装置的位置的指令，和处理器1200，执行与存储在所述存储器1100的、根据所述驾驶员状态调整所述驾驶员辅助装置的位置的指令相对应的过程。
具体地，所述位置调整装置1000通常可以是利用至少一个计算装置(例如，可以包括计算机处理器、存储器、储存器、输入/输出装置、其他现有计算装置的组件的装置；诸如路由器或交换机的电子通信装置；诸如网络附加存储(NAS)以及存储区域网络(SAN)的电子信息存储系统)和至少一个计算机软件(具体为使所述计算装置以特定方式运行的指令)的组合来实现所期望的系统性能。
所述计算装置的处理器可包括微处理单元(Micro Processing Unit，MPU)或中央处理单元(Central Processing Unit，CPU)，高速缓冲存储器存储器(Cache Memory)，数据总线(Data Bus)等硬件结构。并且，计算装置还可以包括操作系统以及进行特定目的应用程序的软件结构。
但是，这些对所述计算装置的描述并不排除集成为了实施本发明的过程、存储器、介质或其他计算组件的形式的集成处理器的情况。
参考图2，以下描述利用如上所述构成的根据本发明的一实施例的所述位置调整装置1000，根据所述驾驶员状态调整所述驾驶员辅助装置的位置的方法。
首先，当驾驶员坐在车辆的驾驶座上并启动所述车辆之后，获取作为第一图像的所述驾驶员的至少一个上半身图像和作为第二图像的所述驾驶员的至少一个下半身图像时，所述位置调整装置1000执行将所述上半身图像和所述下半身图像输入到姿势预测网络中的过程，使所述姿势预测网络100，获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，并参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度。
此时，所述上半身图像与所述下半身图像由设置于所述车辆的室内中的一个以上的相机获取。并且，所述相机可以包括，该相机在所述车辆的内部拍摄所述驾驶员的上半身的至少一个相机，与在所述车辆的内部，拍摄所述驾驶员的下半身的至少一个相机。并且，可以基于所述驾驶员的肚脐来判断所述驾驶员的所述上半身和所述下半身，但是本发明的范围不限于此，并且能够以所述驾驶员的至少一个面部包括在所述驾驶员的上半身图像中的方式，基于任意点来判断所述驾驶员的所述上半身与所述下半身。
然后，所述姿势预测网络100将所述驾驶员的所述上半身图像和所述下半身图像输入到身体关键点检测器110中，使所述身体关键点检测器110，分别从所述上半身图像和所述下半身图像中，获取与所述驾驶员对应的所述身体关键点。
此时，用设置于所述车辆内的所述相机获取的影像或图像可能是身体大部分被遮挡的状态，在此情况下，传统的对象检测器可能在检测大部分被遮挡的特定驾驶员时失败，但是所述身体关键点检测器110仅利用可见部分来判断所述驾驶员是否存在。然后，由于所述驾驶员姿势多样性范围较大，因此所述身体关键点检测器210比所述传统的对象检测器更有用。
作为一例，参考图3，下面描述身体关键点检测器110检测所述身体关键点的过程。
当获取所述作为第一图像的所述驾驶员的上半身图像和所述作为第二图像的所述驾驶员的下半身图像时，所述身体关键点检测器110使所述特征提取器网络111，对所述上半身图像与所述下半身图像分别适用至少一个卷积运算，分别输出分别与所述上半身图像和所述下半身图像对应的一个以上的特征张量。此时，所述特征提取器网络111可以是包括可执行至少一个卷积运算的一个以上的卷积层的一个以上的卷积块。
然后，所述身体关键点检测器110将每个所述特征张量输入到所述关键点热图和部分亲和力字段提取器112，可以使所述关键点热图和部分亲和力字段提取器112生成，(i)与每个所述特征张量相对应的每个关键点热图以及(ii)作为表示所述关键点之间的关系的矢量图的每个部分亲和力字段。此时，每个所述部分亲和力字段可以是表示特定关键点与其他关键点的连接性的图，可以是表示针对每个关键点热图对的相互连接概率的图。另外“热图”作为热(heat)与图(map)的组合，可以是在一定的图像上将可用颜色表示的各种信息以热分布形式的图形生成的图。
此时，所述关键点热图和部分亲和字段提取器212可以包括全卷积网络。
并且，所述关键点热图和部分亲和字段提取器112可以包括将至少一个1x1卷积运算适用于对所述特征张量的一个以上的的1x1卷积层。
并且，所述关键点热图和部分亲和字段提取器112可以利用二分匹配(bipartitematching)，检测每个关键点之间的关系，从而生成所述部分亲和字段。即所述关键点之间的关系可以通过所述二分匹配确认。
此后，所述身体关键点检测器110，可以使所述关键点分组层113，从每个所述关键点热图提取所述关键点，参考所述提取的相互连接概率，对具有最高概率的关键点进行配对并连接。此时，所述身体关键点检测器，可以提取与各通道相对应的每个所述关键点热图中每个最高点，即具有最高热值的每个点，作为与每个所述关键点热图相对应的每个所述关键点，并可以参考所述部分亲和字段，对已提取的关键点中具有最高连接概率的关键点进行配对并连接，从而可以对已提取的关键点进行分组。作为一例，对已提取的所有关键点执行，将已提取的关键点中任一关键点与具有最高连接概率的另一个关键点连接成对的过程，从而可以对关键点分组。
然后，再次参考图2，所述位置调整装置1000，可以使所述姿势预测网络100，参考分别从所述驾驶员的所述上半身图像和所述下半身图像中检测到的所述驾驶员的所述身体关键点，生成所述驾驶员的一个以上的身体部位，并参考所述身体部位生成关于作为所述身体部位的长度信息的所述身体部位的长度的信息。作为一例，关于所述身体部位的长度的信息可以包括所述驾驶员的肩宽、臂长、腿长、个子等。
然后，所述位置调整装置1000调整所述驾驶员辅助装置，例如，根据关于通过所述姿势预测网络100确认的所述驾驶员的所述身体部位的长度的信息，调整驾驶座位置或方向盘的位置。
然后，根据如上所述的方法，所述驾驶座的位置在根据所述驾驶员状态已调整的状态下，所述位置调整装置1000可以将所述获取的作为第一图像的所述驾驶员的所述上半身图像输入到人脸检测器200中，使所述人脸检测器200，从所述上半身图像检测所述驾驶员的所述面部。此时，所述人脸检测器200可以是基于CNN(Convolutional NeuralNetwork)的检测器，但本发明的范围不限于此。并且，描述了所述人脸检测器200从所述全部身体图像中检测所述驾驶员的所述面部，但作为另一例，可以仅利用裁剪(cropping)所述上半身图像中的预测为人脸所在的所述上半身的特定区域，进行人脸检测。
作为一例，参考图4，基于所述CNN的所述人脸检测器200可以执行如下过程，即，通过至少一个卷积层201对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，并通过区域生成网络(Region Proposal Network，RPN)202生成与所述特征图上的一个以上的对象相对应的一个以上的建议框。然后，所述人脸检测器200可以执行如下过程，即，通过池化层203对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量的过程，以及通过FC层204对所述特征矢量适用至少一个FC运算生成至少一个FC输出值的过程。此后，所述人脸检测器200，将分类运算与回归运算适用于所述FC层204的所述FC输出值并输出关于每个所述对象的类别信息与回归信息，可以通过每个所述对象对应于每个建议框的分类层205和回归层206，检测所述室内图像上的所述驾驶员的所述面部。再次参考图2，所述位置调整装置1000使眼睛检测器300，从所述人脸检测器200检测到的所述驾驶员的所述面部中检测至少一个眼部，从而生成至少一个眼睛的2D坐标。
作为一例，所述眼睛检测器300将所述面部转换为至少一个MCT(Modified CensusTransform)图像，并使用自适应提升(Adaboost)算法从所述MCT图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异可以被编码为所述MCT图像。
然后，所述位置调整装置1000在所述检测到的眼部中，将与所述驾驶员的所述眼睛相对应的2D坐标与所述已调整的驾驶座的位置输入到3D坐标转换器400中，使所述3D坐标转换器400，参考所述已调整的驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。
即，获取所述驾驶员的所述上半身图像的所述相机和所述驾驶座之间的距离，可根据所述身体部位的长度，参考已调整的所述驾驶座的位置来获取，并且可以通过利用所述相机与所述已调整的驾驶座之间的距离和所述眼睛的所述2D坐标来获取所述眼睛的3D坐标。
然后，所述位置调整装置1000，(i)通过参考所述眼睛的所述3D坐标来预测所述驾驶员的视线方向，(ii)根据所述驾驶员的所述已预测的视线方向，调整所述镜子的位置，即所述镜子的角度，根据所述驾驶员的所述已预测的视线方向，自动调整所述镜子的反射角，从而可以使所述驾驶员，识别所述车辆的周边情况。
另一方面，作为另一例，与使用所述驾驶员的所述上半身图像和下半身图像不同，可以仅使用所述驾驶员的一个图像。即可以从所述驾驶员的一个图像中，检测所述驾驶员的所述身体关键点和所述面部。
如上所述，本发明利用由所述相机拍摄的所述驾驶员的照片来监视驾驶员状态，根据利用所述驾驶员的所述身体关键点的所述身体部位的长度来调整所述驾驶座的位置，根据通过所述驾驶员的视线监视判断的所述驾驶员的视线来调整所述镜子的角度，从而可以实现所述驾驶员辅助装置的个性化的在线校准。
以上描述的根据本发明的实施例可以通过各种计算机部件可执行的程序指令的形式来实现并存储在计算机可读存储介质。所述计算机可读存储介质可以单独或组合包括程序指令、数据文件、数据结构等。存储在所述计算机可读存储介质的程序指令，可以是为本发明专门设计并组成的，或者可以是计算机软件领域的技术人员已知并可使用的。计算机可读存储介质的示例包括，如硬盘、软盘和磁带的磁性介质、如CD-ROM、DVD的光学记录介质、如软盘的磁光介质以及专门配置用于存储并执行如ROM、RAM、闪存等程序指令的硬件装置。程序指令的示例不仅包括如由编译器产生的机器代码，还包括可以由计算机使用解释器等执行的高级语言代码。所述硬件装置，可配置为一个或多个软件模块来操作，以执行根据本发明的过程，反之亦然。
以上，虽然本发明根据具体的部件等特定实施方案和有限的实施例及附图进行了说明，这只是为了帮助更全面地理解本发明而提供的，本发明并不限于上述实施例，在本发明所属的技术领域中，普通技术人员可以从这些记载中进行各种修改和变化。
因此，本发明的思想不能限于上述说明的实施例而定，不仅是后述的权利范围，以及与该权利范围均等或等价变形的一切，都属于本发明的思想范畴。

Claims (20)

1.一种根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，包括：
步骤(a)，当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及
步骤(b)，所述车辆在所述驾驶座的位置已调整的状态下行驶时，所述位置调整装置执行，过程(i)，将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部；过程(ii)，将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部；过程(iii)，在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与已调整的驾驶座的位置输入到3D坐标转换器中，从而使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。
2.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(a)中，
所述位置调整装置，使所述姿势预测网络，(i)通过特征提取器从所述上半身图像和所述下半身图像中提取一个以上的特征，分别生成一个以上的特征张量，(ii)通过关键点热图和部分亲和力字段提取器，分别生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和力字段，(iii)通过关键点分组层从每个所述关键点热图中提取一个以上的关键点，参考每个所述部分亲和力字段，分别对已提取的关键点进行分组生成与所述驾驶员相对应的所述身体关键点。
3.根据权利要求2所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述特征提取器的至少一个卷积层，将至少一个卷积运算分别适用于所述上半身图像和所述下半身图像中，生成每个所述特征张量。
4.根据权利要求2所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述关键点热图和部分亲和力字段提取器的全卷积网络或至少一个1×1卷积层，对每个所述特征张量适用至少一个全卷积运算或至少一个1×1卷积运算，从而分别生成与每个所述特征张量相对应的所述关键点热图和所述部分亲和力字段。
5.根据权利要求2所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，提取每个所述关键点热图中的每个最高点，作为与每个所述关键点热图相对应的每个所述关键点。
6.根据权利要求5所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述位置调整装置，使所述姿势预测网络，通过所述关键点分组层，参考每个所述部分亲和力字段，分别连接已提取的关键点对中具有最高相互连接概率的对，从而对已提取的关键点进行分组。
7.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(b)中，
所述位置调整装置，使所述人脸检测器，(i)通过卷积层对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，(ii)通过区域生成网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(iii)通过池化层，对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(iv)通过全连接层，对所述特征矢量适用至少一个全连接运算生成至少一个全连接输出值，(v)对所述全连接层的所述全连接输出值，适用分类运算和回归运算，分别输出关于所述对象的类别信息和回归信息之后，通过分类层和回归层，检测所述上半身图像上的所述驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框。
8.根据权利要求7所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(b)中，
所述位置调整装置，使所述眼睛检测器，将所述面部转换为至少一个修正统计变换图像，适用自适应提升算法从所述修正统计变换图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异被编码为所述修正统计变换图像。
9.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
所述驾驶座的所述位置为获取所述上半身图像的至少一个相机与所述驾驶座之间的距离。
10.根据权利要求1所述的根据驾驶员状态调整驾驶员辅助装置的位置的方法，其特征在于，
在所述步骤(a)中，
所述位置调整装置执行，通过参考所述驾驶员的所述身体部位的长度，进一步调整所述车辆的方向盘的位置的过程。
11.一种位置调整装置，其根据驾驶员状态调整驾驶员辅助装置的位置，其特征在于，包括：
至少一个存储器，存储指令；以及
至少一个处理器，被配置执行所述指令，所述指令用于执行过程(I)和过程(II)，其中，过程(I)当获取驾驶员坐在车辆的驾驶座上并启动所述车辆之后的、所述驾驶员的至少一个上半身图像和至少一个下半身图像时，执行将所述上半身图像与所述下半身图像输入到姿势预测网络中的过程，从而使所述姿势预测网络，(i)获取位于所述上半身图像和所述下半身图像中的、与所述驾驶员相对应的一个以上的身体关键点，(ii)参考所述身体关键点计算所述驾驶员的至少一个身体部位的长度，(iii)参考所述驾驶员的已计算的所述身体部位的长度调整所述驾驶座的位置；以及过程(II)所述车辆在所述驾驶座的位置已调整的状态下行驶时，(i)将所述上半身图像输入到人脸检测器中，使所述人脸检测器，在所述上半身图像上检测所述驾驶员的至少一个面部，(ii)将所述面部输入到眼睛检测器中，使所述眼睛检测器，在所述面部中检测所述驾驶员的至少一个眼部，(iii)在所述检测到的眼部中将与所述驾驶员的至少一个眼睛相对应的2D坐标与已调整的驾驶座的位置输入到3D坐标转换器中，使所述3D坐标转换器，参考所述驾驶座的位置和所述眼睛的2D坐标生成所述驾驶员的所述眼睛的3D坐标，并参考所述眼睛的所述3D坐标调整所述车辆的至少一个镜子的至少一个位置。
12.根据权利要求11所述的位置调整装置，其特征在于，
在所述过程(I)中，
所述处理器，使所述姿势预测网络，(i)通过特征提取器从所述上半身图像和所述下半身图像中提取一个以上的特征，分别生成一个以上的特征张量，(ii)通过关键点热图和部分亲和力字段提取器，分别生成与每个所述特征张量相对应的一个以上的关键点热图和一个以上的部分亲和力字段，(iii)通过关键点分组层从每个所述关键点热图中提取一个以上的关键点，参考每个所述部分亲和力字段，分别对已提取的关键点进行分组生成与所述驾驶员相对应的所述身体关键点。
13.根据权利要求12所述的位置调整装置，其特征在于，
所述处理器，使所述姿势预测网络，通过所述特征提取器的至少一个卷积层，将至少一个卷积运算分别适用于所述上半身图像和所述下半身图像中，生成每个所述特征张量。
14.根据权利要求12所述的位置调整装置，其特征在于，
所述处理器，使所述姿势预测网络，通过所述关键点热图和部分亲和力字段提取器的全卷积网络或至少一个1x1卷积层，对每个所述特征张量适用至少一个全卷积运算或至少一个1x1卷积运算，从而分别生成与每个所述特征张量相对应的所述关键点热图和所述部分亲和力字段。
15.根据权利要求12所述的位置调整装置，其特征在于，
所述处理器，使所述姿势预测网络，通过所述关键点分组层，提取每个所述关键点热图中的每个最高点，作为与每个所述关键点热图相对应的每个所述关键点。
16.根据权利要求15所述的位置调整装置，其特征在于，
所述处理器，使所述姿势预测网络，通过所述关键点分组层，参考每个所述部分亲和力字段，分别连接已提取的关键点对中具有最高相互连接概率的对，从而对已提取的关键点进行分组。
17.根据权利要求11所述的位置调整装置，其特征在于，
在所述过程(II)中，
所述处理器，使所述人脸检测器，(i)通过卷积层对所述上半身图像适用至少一个卷积运算，生成至少一个特征图，(ii)通过区域生成网络生成与所述特征图上的一个以上的对象相对应的一个以上的建议框，(iii)通过池化层对与所述特征图上的所述建议框相对应的一个以上的区域适用至少一个池化运算，生成至少一个特征矢量，(iv)通过全连接层对所述特征矢量适用至少一个全连接运算生成至少一个全连接输出值，(v)对所述全连接层的所述全连接输出值适用分类运算和回归运算，分别输出关于所述对象的类别信息和回归信息之后，通过分类层和回归层，检测所述上半身图像上的所述驾驶员的所述面部，其中，每个所述对象对应于每个所述建议框。
18.根据权利要求17所述的位置调整装置，其特征在于，
在所述过程(II)中，
所述处理器，使所述眼睛检测器，将所述面部转换为至少一个修正统计变换图像，适用自适应提升算法从所述修正统计变换图像中获取的眼睛检测用特征数据中检测所述驾驶员的所述眼部，其中，局部的平均亮度与所述面部的亮度之间差异被编码为所述修正统计变换图像。
19.根据权利要求11所述的位置调整装置，其特征在于，
所述驾驶座的所述位置为获取所述上半身图像的至少一个相机与所述驾驶座之间的距离。
20.根据权利要求11所述的位置调整装置，其特征在于，
在所述过程(I)中，
所述处理器执行，通过参考所述驾驶员的所述身体部位的长度，进一步调整所述车辆的方向盘的位置的过程。
CN202010075360.3A 2019-01-31 2020-01-22 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置 Active CN111507171B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799296P 2019-01-31 2019-01-31
US62/799,296 2019-01-31
US16/738,579 US10821897B2 (en) 2019-01-31 2020-01-09 Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status
US16/738,579 2020-01-09

Publications (2)

Publication Number Publication Date
CN111507171A true CN111507171A (zh) 2020-08-07
CN111507171B CN111507171B (zh) 2023-08-01

Family

ID=69326348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075360.3A Active CN111507171B (zh) 2019-01-31 2020-01-22 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置

Country Status (5)

Country Link
US (1) US10821897B2 (zh)
EP (1) EP3699814A1 (zh)
JP (1) JP6938055B2 (zh)
KR (1) KR102349995B1 (zh)
CN (1) CN111507171B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113043922A (zh) * 2021-04-25 2021-06-29 武汉驰必得科技有限公司 基于用户特征识别和数据分析的电动汽车驾驶座椅智能调控方法、系统、设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11458915B2 (en) * 2019-07-15 2022-10-04 International Business Machines Corporation Vehicle setting adjustment
US11475589B2 (en) * 2020-04-03 2022-10-18 Fanuc Corporation 3D pose estimation by a 2D camera
US20220084238A1 (en) * 2020-09-11 2022-03-17 Fanuc Corporation Multiple transparent objects 3d detection
CN113044045B (zh) * 2021-03-09 2023-07-04 吉林大学 一种智能座舱内座椅自适应调整方法
DE102022106797B3 (de) 2022-03-23 2023-04-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur automatischen Einstellung zumindest eines Rückspiegels eines Kraftfahrzeugs
CN115891871B (zh) * 2022-11-16 2024-05-17 阿维塔科技(重庆)有限公司 车辆座舱的控制方法、装置及计算机可读存储介质
CN117315726B (zh) * 2023-11-30 2024-03-22 武汉未来幻影科技有限公司 一种驾驶员坐姿高低识别方法、装置以及处理设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030027659A (ko) * 2001-09-27 2003-04-07 가부시키가이샤 도카이리카덴키세이사쿠쇼 차량 실내 감시장치
US20100080416A1 (en) * 2008-10-01 2010-04-01 Gm Global Technology Operations, Inc. Eye detection system using a single camera
US20110128407A1 (en) * 2009-12-01 2011-06-02 Aptina Imaging Corporation Systems and methods for image restoration
US20160368509A1 (en) * 2015-06-17 2016-12-22 Ford Global Technologies, Llc Method for adjusting a position of a component of a vehicle
JP2017206227A (ja) * 2016-03-23 2017-11-24 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 最適車両部品設定を決定するためのシステムおよび方法
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
KR20110060295A (ko) * 2009-11-30 2011-06-08 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US20120053794A1 (en) * 2010-08-25 2012-03-01 Gm Global Technology Operations, Inc. Individualizable convenience system for drivers
US9296338B2 (en) * 2014-02-24 2016-03-29 Intel Corporation Vehicle mirror adjustment
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
US10796452B2 (en) * 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN108657029B (zh) * 2018-05-17 2020-04-28 华南理工大学 一种基于肢体长度预测的汽车驾驶席座椅智能调节系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030027659A (ko) * 2001-09-27 2003-04-07 가부시키가이샤 도카이리카덴키세이사쿠쇼 차량 실내 감시장치
US20100080416A1 (en) * 2008-10-01 2010-04-01 Gm Global Technology Operations, Inc. Eye detection system using a single camera
US20110128407A1 (en) * 2009-12-01 2011-06-02 Aptina Imaging Corporation Systems and methods for image restoration
US20160368509A1 (en) * 2015-06-17 2016-12-22 Ford Global Technologies, Llc Method for adjusting a position of a component of a vehicle
JP2017206227A (ja) * 2016-03-23 2017-11-24 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 最適車両部品設定を決定するためのシステムおよび方法
US20180096457A1 (en) * 2016-09-08 2018-04-05 Carnegie Mellon University Methods and Software For Detecting Objects in Images Using a Multiscale Fast Region-Based Convolutional Neural Network

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113043922A (zh) * 2021-04-25 2021-06-29 武汉驰必得科技有限公司 基于用户特征识别和数据分析的电动汽车驾驶座椅智能调控方法、系统、设备和存储介质

Also Published As

Publication number Publication date
US20200247321A1 (en) 2020-08-06
KR102349995B1 (ko) 2022-01-12
EP3699814A1 (en) 2020-08-26
JP6938055B2 (ja) 2021-09-22
JP2020126638A (ja) 2020-08-20
US10821897B2 (en) 2020-11-03
CN111507171B (zh) 2023-08-01
KR20200095384A (ko) 2020-08-10

Similar Documents

Publication Publication Date Title
CN111507171A (zh) 根据驾驶员状态自动调整驾驶员辅助装置的方法和装置
US20200302629A1 (en) Depth information determining method and related apparatus
CN109215067B (zh) 基于cnn和crf模型生成高分辨率3-d点云
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
CN110163930A (zh) 车道线生成方法、装置、设备、系统及可读存储介质
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
US20220180483A1 (en) Image processing device, image processing method, and program
CN112889071B (zh) 用于确定二维图像中深度信息的系统和方法
CN110956069B (zh) 一种行人3d位置的检测方法及装置、车载终端
JP2019211900A (ja) 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
WO2022151664A1 (zh) 一种基于单目摄像头的3d物体检测方法
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
CN111507162A (zh) 基于车辆间通信的协作的盲点警告方法及装置
DE112017005385T5 (de) Bildverarbeitungseinrichtung und Bildverarbeitungsverfahren
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
Palvanov et al. DHCNN for visibility estimation in foggy weather conditions
Chumerin et al. Ground plane estimation based on dense stereo disparity
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
Xiong et al. A 3d estimation of structural road surface based on lane-line information
US20210110172A1 (en) Identifying a curb based on 3-d sensor data
Hautière et al. Free Space Detection for Autonomous Navigation in Daytime Foggy Weather.
CN115861316B (zh) 行人检测模型的训练方法及其装置、行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant