CN111222444A - 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 - Google Patents
一种考虑驾驶员情绪的增强现实抬头显示方法和系统 Download PDFInfo
- Publication number
- CN111222444A CN111222444A CN201911417532.4A CN201911417532A CN111222444A CN 111222444 A CN111222444 A CN 111222444A CN 201911417532 A CN201911417532 A CN 201911417532A CN 111222444 A CN111222444 A CN 111222444A
- Authority
- CN
- China
- Prior art keywords
- image
- driver
- module
- emotion
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008451 emotion Effects 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 33
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000008921 facial expression Effects 0.000 claims abstract description 24
- 230000008447 perception Effects 0.000 claims abstract description 10
- 210000000887 face Anatomy 0.000 claims abstract description 7
- 210000001747 pupil Anatomy 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 210000001508 eye Anatomy 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000036651 mood Effects 0.000 claims description 3
- 230000008719 thickening Effects 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 239000002994 raw material Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 9
- 230000008909 emotion recognition Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 210000003786 sclera Anatomy 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 241001127637 Plantago Species 0.000 description 1
- 241000220259 Raphanus Species 0.000 description 1
- 235000006140 Raphanus sativus var sativus Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000011668 ascorbic acid Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种考虑驾驶员情绪的增强现实抬头显示方法和系统，包括TOF模块获取当前场景RGB格式的目标图像；图像识别模块识别所述目标图像中的眼球及人脸并生成识别结果；所述识别结果输入图像处理模块处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述眼球位置信息传输至AR‑HUD系统中进行增强显示实时跟踪；根据传输至AR‑HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。本发明的有益效果：通过使用TOF方案，集成ARHUD的眼球追踪模块加入情绪识别的算法，共用一套系统并能配合使用，降低成本，提高交互性能，情绪识别完成之后，更好的作用于ARHUD，并且做出相应的预警改善，从而减少事故的发生。
Description
技术领域
本发明涉及智能座舱显示的技术领域，尤其涉及一种考虑驾驶员情绪并作用于增强现实抬头显示的方法和考虑驾驶员情绪并作用于增强现实抬头显示的系统。
背景技术
近年来，随着社会的发展和时代的进步以及汽车智能化的蓬勃发展，汽车的控制系统也日益复杂，驾驶人与汽车控制系统之间的矛盾也日益凸显。与此同时，“路怒症”、驾驶人的驾驶倾向性对驾驶安全有至关重要的影响。根据有关资料，大部分交通事故都可以归因于不正常的驾驶情绪以及过激的驾驶倾向性。如何及时的识别这种不正常的驾驶情绪以及过激的驾驶倾向性，是避免出现交通事故，保障车辆安全行驶的重要途径。
现有的汽车安全预警方法很少会将驾驶情绪考虑在内，但是驾驶情绪在驾驶安全中发挥着重要的作用，是不可以被忽视的。情绪识别是分析驾驶情绪的一个重要手段，目前而言最有效的情绪识别是基于卷积神经网络的图像识别算法，通过对驾驶员的面部表情进行拍摄，进而对拍摄到的照片进行识别，进而判断此时驾驶员是一个什么样的情绪。所以，对汽车进行安全预警时，要考虑驾驶员的驾驶情绪
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是：提出考虑驾驶员情绪的增强现实抬头显示方法，结合驾驶情绪提高安全性能。
为解决上述技术问题，本发明提供如下技术方案：一种考虑驾驶员情绪的增强现实抬头显示方法，包括TOF模块获取当前场景RGB格式的目标图像；图像识别模块识别所述目标图像中的眼球及人脸并生成识别结果；所述识别结果输入图像处理模块处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述内容结果显示调整包括，根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述TOF模块包括3D摄像模块和TOF传感器，包括，利用3D摄像模块获取目标图像的RGB图信息；通过TOF传感器并结合近红外光器阵列获得相应的深度信息；将获取的RGB图信息和深度信息传输发送至所述图像识别模块。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像处理模块包括，图像识别相应的眼球在图像中的位置；根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；根据面部表情的图像，分析处理得到驾驶员的情绪状况。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述眼球位置信息获取包括，通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置；建立人眼图像的差分高斯金字塔模型计算区域极值点；在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像识别模块包括，根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；根据人脸特征构造M个弱分类器；选出最优的N个弱分类器；设定误差率与阈值，生成M个级联的强分类器；输入所述目标图像，使用已经生成的所述M个强分类器，获得识别结果，并将相邻的子区域合并得到人脸区域。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述目标图像直方图均衡化处理，增加所述目标图像的局部对比度，包括直方图均衡化的步骤，统计直方图中每个灰度出现的次数，保存为一个数组；计算直方图中每个灰度的累计分布函数值，并保存为另一个数组；根据下式计算原图像直方图均衡化之后的灰度值；
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述图像处理模块300采用卷积神经网络用来提取人脸表情的抽象特征，其包括，一个输入层、三个交替出现的卷积层和池化层、一个全连接层和一个输出层，网络的输入是100*100的人脸表情图片，卷积核的大小为3*3，卷积步长为1，激活函数采用线性整流函数，分类函数采用归一化指数函数的Softmax函数。
作为本发明所述的考虑驾驶员情绪的增强现实抬头显示方法的一种优选方案，其中：所述卷积神经网络包括如下训练步骤，初始化i＝0，随机初始化卷积神经网络中的各个权值，参数值；根据设计的卷积神经网络结构计算各层的特征图；计算softmax层的损失项；计算网络参数矩阵W；选择相关的参数J；计算出整体的损失项L；更新损失参数，反向传播调整各个权值，偏置值的参数；直至L<s，或者达到最大迭代次数，跳出循环；采用Softmax激活函数，对整个人脸表情图像所属的类别进行判定。
本发明解决的另一个技术问题是：提出考虑驾驶员情绪的增强现实抬头显示系统，结合驾驶情绪提高安全性能。
为解决上述技术问题，本发明提供如下技术方案：一种考虑驾驶员情绪的增强现实抬头显示系统，包括TOF模块、图像识别模块、图像处理模块和AR-HUD模块；所述TOF模块用于获取当前场景RGB格式的目标图像；所述图像识别模块与所述TOF模块连接，用于识别所述目标图像中的眼球及人脸并生成识别结果；所述获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；所述图像处理模块与所述图像识别模块连接，用于分析获取眼球位置信息传输至AR-HUD模块中进行增强显示实时跟踪；所述AR-HUD模块用于根据驾驶员情绪感知数据进行相应的内容结果显示调整。
本发明的有益效果：通过使用TOF方案，集成ARHUD的眼球追踪模块加入情绪识别的算法，共用一套系统并能配合使用，降低成本，提高交互性能，情绪识别完成之后，更好的作用于ARHUD，并且做出相应的预警改善，从而减少事故的发生。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一种实施例所述考虑驾驶员情绪的增强现实抬头显示方法的流程结构示意图；
图2为本发明第一种实施例所述TOF系统结构原理示意图；
图3为本发明第一种实施例所述瞳孔中心定位流程示意图；
图4为本发明第一种实施例所述候选瞳孔中心定位示意图；
图5为本发明第一种实施例所述有效候选瞳孔中心定位示意图；
图6为本发明第一种实施例所述使用AdaBoost弱分类级联算法进行人脸检测的示意图；
图7为本发明第一种实施例所述卷积神经网络结构示意图；
图8为本发明第一种实施例所述考虑驾驶员情绪的增强现实抬头显示系统的整体原理结构示意图；
图9为本发明所述现有技术的效果示意图；
图10为采用本发明的效果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
HUD(HeadupDisplay)是用在飞机上的设备，为了帮助飞行员更容易感知周边环境而设计的。随着技术领域的推广，现在在汽车也有了一定的应用。HUD在汽车行业的发展经历了C-HUD，W-HUD，目前在向AR-HUD发展。C-HUD(CombinerHUD，组合型HUD)，起初多用于后装市场，价格相对便宜，Navdy和车萝卜等公司的产品都属于这类。现在也进入到前装市场，非高级轿车中多安装C-HUD的，比如江铃易至E300、W-HUD(WindshieldHUD，挡风玻璃HUD)，高档轿车多配置前装W-HUD，比如宝马3系。AR-HUD(AugmentedRealityHUD称为增强现实HUD，主要是通过AR技术将显示内容投影到车前，使让驾驶员可以更直观的观察实际路面情况。
为了达到更好的AR-HUD效果，需要配备眼球追踪模块。而单独的使用眼球追踪模块会造成较高的成本浪费。驾驶员情绪识别模块也需要配备专门的摄像头模块。
参照图1的示意，示意为本实施例提出一种考虑驾驶员情绪的增强现实抬头显示方法的整体流程，具体包括以下步骤，
S1：TOF模块100获取当前场景RGB格式的目标图像；TOF模块100包括3D摄像模块101和TOF传感器102，包括，
利用3D摄像模块101获取目标图像的RGB图信息；
通过TOF传感器102并结合近红外光器阵列获得相应的深度信息；
将获取的RGB图信息和深度信息传输发送至图像识别模块200。
S2：图像识别模块200识别目标图像中的眼球及人脸并生成识别结果；
S3：识别结果输入图像处理模块300处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；图像处理模块300包括，
图像识别相应的眼球在图像中的位置；
根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；需要说明的是，上述第一个深度信息是图片中的深度信息，第二个深度信息指的是眼球相对应于摄像头的位置信息，故也可以称为位置信息。
根据面部表情的图像，分析处理得到驾驶员的情绪状况。
S4：眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；
S5：根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。内容结果显示调整包括，
根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。例如心情愉悦时，整体的颜色可以变浅，在不影响安全的情况下，字体也可以变得多样化，另外也可以根据不同的心情调整整体界面的布局等，或者当驾驶员心情比较平静时，减少内容的显示等。
参照图2的示意，TOF是Timeofflight的简写，直译为飞行时间的意思。所谓飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。TOF相机可以得到彩色RGB图像深度图信息。
参照图3～5的示意，眼球位置信息获取包括如下步骤，
第一步为瞳孔区域定位，通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置，同时建立人眼图像的差分高斯金字塔模型计算区域极值点。第二步为瞳孔中心拟合，在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。
Haar特征是用于图像中简单边缘特征信息提取的矩形特征模板，该特征模板由两个或者多个不同大小黑白相间的矩形区域组合而成，模板的特征值为白色矩形区域内像素灰度值之和与黑色矩形区域内像素灰度值之和的差值，模板的特征值定义如下：
在Haar特征模板中，由于Haar特征模板数量庞大，计算黑白区域内像素灰度值之和会产生庞大的计算量，为了加快计算速度利用积分图概念可以快速计算特征模板任意区域内像素灰度值和，积分图可以快速计算在图像中的任意像素点(x，y)。在该像素点x坐标左侧、y坐标上侧区域内像素灰度值和定义为：
其中i(x`,y`)为图像在点p(x`,y`)处的像素值，则积分图中一点(x,y)的值ii(x`,y`)定义为原图像中以原点(0，0)和P点为对角线的矩形区域的像素值的总和。
由此，图像中每一列像素灰度值和为：
在使用积分图进行Haar模板计算时，对于图像任何区域的Haar模板特征值计算所需时间相同并且计算简单。
进一步的，瞳孔中心粗略定位具体包括如下步骤：
使用HAAR模板定位瞳孔区域，同时将人眼图像区域降采样为原图像四分之一大小并与四个不同尺度的高斯核卷积Gn(n＝1,2,3,4)然后将相邻高斯卷积图像Gn和Gn+1相减建立差分高斯金字塔模型Dn(n＝1,2,3)，Gn定义为：
如果该像素灰度值为邻域内像素灰度值的最小值，那么将该像素点作为瞳孔中心候选特征点，在人眼区域图像中，通过上述步骤我们已经获得瞳孔区域和候选瞳孔中心我们瞳孔区域与带有候选瞳孔中心的人眼区域图像叠加，将瞳孔区域内的像素灰度极值点作为有效的候选瞳孔中心。
为了更加准确的定位瞳孔中心，分析人眼瞳孔区域和巩膜区域为同心圆，因此根据瞳孔区域和巩膜区域的几何结构进一步建立人眼匹配模板拟合瞳孔中心。瞳孔中心拟合模板中黑色区域代表瞳孔区域，白色区域代表巩膜区域。
定义人眼响应函数：
其中等式左边为响应函数，右边最后项为瞳孔半径在一定范围内变化，以有效候选瞳孔中心为匹配模板中心，将瞳孔中心拟合模板与已经提取的瞳孔区域卷积，卷积过程与Haar模板类似。最后选择使得响应函数R值最小的像素点以及拟合半径，并认为该像素点的坐标为瞳孔中心。具体迭代过程如下所示：
在二值化的瞳孔区域图像中，得到较为清晰的瞳孔轮廓，接下来，使用Canny边缘检测算子进行瞳孔边缘检测，在获取的瞳孔边缘上随机选择五个不同的特征点。最后建立椭圆拟合方程：
Q(xi,yi)＝Ax2+Bxy+Cy2+Dx+Ey+F
将选择的特征点坐标分别代入椭圆方程，并认为椭圆中心为瞳孔中心，将得到的瞳孔中心的数据的确认后转到深度图，可以得到相应的深度坐标Z值(深度坐标值即相对于摄像机坐标系，眼球的Z值数值)。
参照图5～6的示意，本实施例中使用AdaBoost弱分类级联算法进行人脸检测，具体包括如下步骤：
(1)根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；
(2)根据人脸特征特征构造M个弱分类器；
(3)重复步骤(2)，利用下式选出最优的N个弱分类器；
重复步骤(2)与(3)，并设定误差率与阈值，生成M个级联的强分类器，
输入人脸图片，使用已经生成的M个强分类器，获得检测结果，并将相邻的子区域合并得到人脸区域。
本实施例中对于图像处理模块300，其是人脸表情识别中的一个重要环节，图像预处理得好，会直接提升提取出的特征的表征能力，进而提高表情分类的精度。输入图像由于采集时的光照、设备的差异，以及传输、变换的过程中受到不同程度的破坏和各种噪声的污染，往往会存在图像退化、边缘模糊、噪声增大等影响。
采用AdaBoost算法进行人脸的检测与定位。AdaBoost算法是在1995年，由Schapire和Freund提出的一种经典的迭代算法。它的基本原理是通过对同一个训练集进行反复训练，学习许多不同的弱分类器，对于被前一轮弱分类器错误分类的样本，提高它的权重，使得它们在后一轮的训练中能够被正确的分类，另外增加分类误差率小的弱分类器的权重，降低分类误差率大的弱分类器的权重，使得不同权重的弱分类器，在最后加权多数表决的时候起到不同的作用，最后将弱分类器组合构成一个强分类器。
图像灰度化是指将彩色图像转化为灰度图像，大部分彩色图像是采用RGB格式的，其每个像素点RGB分量值一般都是不同的，而灰度图像则是RGB三个分量值都相同的一种特殊的彩色图像。为了便于后面图像的计算，以及图像灰度化过程中并没有破坏图像的整体和局部色度分布与亮度特征，首先会将彩色图像转化为灰度图像。
加权平均法是对RGB三个分量按不同的权重进行加权平均，由于人眼对不同颜色的敏感度存在差异，常按下式对RGB三个分量进行加权平均。
Gray(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)
将彩色图像中的RGB三个分量的像素值的灰度值分别为R(i,j),G(i,j),B(i,j),Gray(i,j)表示图像转换后的灰度值，在表情图像采集过程中，由于设备以及光照背景的影响，往往会导致表情图像中的光照明暗不一，造成图像中人脸部分区域的灰度值比较低，对人脸检测与定位造成一定的干扰，需要对图像进行直方图均衡化处理，增加图像的局部对比度，此处直方图均衡化的步骤为：
(1)统计直方图中每个灰度出现的次数，保存为一个数组；
(2)计算直方图中每个灰度的累计分布函数值，并保存为另一个数组；
(3)根据下式计算原图像直方图均衡化之后的灰度值。
中值滤波是一种常用的空间域滤波方法，对噪声和脉冲干扰可以有效地过滤掉。中值滤波是对于以点(x，y)为中心的邻域内全部像素按照灰度值进行排序，然后用这个邻域内的统计中值代替这个点的输出。当点(x，y)邻域内的像素个数为偶数时，则取区域内两个中间灰度值的平均值作为(x，y)的灰度值，当点(x，y)邻域内的像素个数为奇数时，则取区域中间值作为(x，y)处的新的灰度值，其公式表达式可以写为：
g(m,n)＝med{f(m-i,n-j),(i,j)∈W}
其中f(m，n)，g(m，n)分别为原始图像和处理后的图像、W为二维模板，采用的是局部均值法和双线性插值法对人脸表情图像进行缩放。
局部均值法是等间隔采样法的基础上的一个改进，将原图像分成了一个个的子块，而缩小图像中的某个像素值取对应子块像素的均值。
设原图为F(i，j)，大小为W*H，缩小后的图像为G(x，y)。
(1)求出局部子块，如下：
(2)求出缩小的图像G(x，y)＝F(x，y)的均值。
利用双线性插值法，是目前应用最广泛的图像放大的方法，其核心原理是：根据目标图像中某个像素点的地址和放大比例，找到原图像中对应的地址，由该地址的4个邻域的像素灰度值进行双线性插值。算法的具体步骤如下：
(1)根据原始图像和放大比例创建新图像。
(2)将新图像中某个像素点的地址(x，y)映射到原始图像中的对应的地址(x’，y′)。
(3)计算出来的(x’，y′)不是整数，对(x’，y′)取整，得到(x”，y”)，并得到另外3个值(x”+1，y”)、(x”，y”+l)、(x”+l，y”+l)。
(4)利用双线性插值得到地址(x”，y”)的像素值。
(5)重复步骤(2)至步骤(4)直到得到所有新图像的所有像素值。
近一步的，本实施例中图像处理模块300采用卷积神经网络用来提取人脸表情的抽象特征，参照图7的结构示意，包括一个输入层、三个交替出现的卷积层和池化层、一个全连接层和一个输出层。网络的输入是100*100的人脸表情图片，卷积核的大小为3*3，卷积步长为1，激活函数采用线性整流函数，分类函数采用归一化指数函数的Softmax函数。
具体包括如下步骤：
(1)卷积层中将上一层的输出特征图(或输入图像)的局部区域与卷积核进行卷积操作，然后通过激活函数，即可得到该层的一个特征图：
(2)采用的是最大值池化操作，尺寸大小为2*2。池化操作之后，输入特征图的尺寸缩小为原来的一半，但特征图的个数没有变化：
在卷积神经网络中，经过多个卷积层和池化层之后通常会连接一个或几个全连接层，这一层与传统的神经网络的神经元之间的连接方式一样，即两层之间全部神经元都互相连接，主要用于整理前面几层提取出来的用于分类的特征信息，表达如下：
(3)传统的LeNet-5网络中输出层采用的是RBF分类器，由于人脸表情特征比数字特征更复杂，而且人脸表情的分类又没有统一的模板，所以网络的分类层采用在机器学习领域广泛使用且分类能力更强的Softmax函数作为分类器。
Softmax函数模型是Logistics模型在多分类上的推广，它的本质是将一个含任意实数的K维向量z映射成另一个K维实数向量中，其中向量中的每个元素的取值都在(0，1)之间，并且所有的元素取值之和为1，定义为：
CNN结构的倒数第二层的Softmax层中加入了有监督局部保持投影损失项，充分利用类内和类间的信息，提高卷积神经网络的特征学习能力，在保持样本特征在高维空间的局部流形结构的同时，增大所提取特征的判别能力，即增大同类样本特征的相似性，减小异类样本的相似性。
定义目标函数：
采用K近邻法定义：
故目标函数变为
考虑类间信息：
其中：
最后将softmax的损失和SLPP的损失结合起来，既考虑全局信息又利用类内和类间的差异信息，提高卷积神经网络的特征学习能力。则整体的损失函数是：L＝Ls+λLslpp
本实施例神经网络训练包括如下：
输入：训练样本
min-batch的尺寸大小n，最大迭代次数Maxlter。
输出：最后一层池化层的特征图。
程序：
1：初始化：i＝0，随机初始化卷积神经网络中的各个权值，参数值；
2：根据设计的卷积神经网络结构计算各层的特征图；
3：计算softmax层的损失项；
4：计算网络参数矩阵W；
5：选择相关的参数J；
6：计算出整体的损失项L；
7：更新损失参数，反向传播调整各个权值，偏置值的参数；
8：重复步骤2～步骤7，直至L<s，或者达到最大迭代次数，跳出循环；
9：采用Softmax激活函数，对整个人脸表情图像所属的类别进行判定。
参照图9～图10的示意，由于附图灰度的关系，本实施例需特别说明的是，无法看出实际效果，故特别说明。图9表示的是在愉悦的情况下，识别出来前车的显示颜色及亮度更低，而在生气的情况下，识别出来的颜色及亮度就调的更高，起到警示作用。图10表示的是在愉悦的情况下，识别出来前车的线条更细，而在生气的情况下，识识别出来前车的线条更宽，起到警示作用。
实施例2
参照图8的示意，示意为一种考虑驾驶员情绪的增强现实抬头显示系统的整体原理结构，包括TOF模块100、图像识别模块200、图像处理模块300和AR-HUD模块400；具体的，TOF模块100用于获取当前场景RGB格式的目标图像；图像识别模块200与TOF模块100连接，用于识别目标图像中的眼球及人脸并生成识别结果；获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；图像处理模块300与图像识别模块200连接，用于分析获取眼球位置信息传输至AR-HUD模块400中进行增强显示实时跟踪；AR-HUD模块400用于根据驾驶员情绪感知数据进行相应的内容结果显示调整。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：包括，
TOF模块(100)获取当前场景RGB格式的目标图像；
图像识别模块(200)识别所述目标图像中的眼球及人脸并生成识别结果；
所述识别结果输入图像处理模块(300)处理，包括获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；
所述眼球位置信息传输至AR-HUD系统中进行增强显示实时跟踪；
根据传输至AR-HUD系统中的驾驶员情绪感知数据，进行相应的内容结果显示调整。
2.如权利要求1所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述内容结果显示调整包括，
根据驾驶员的情绪感知结果，进行AR-HUD内容显示的变化，包括愤怒情况下加粗预警的线条和颜色加深。
3.如权利要求1或2所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述TOF模块(100)包括3D摄像模块(101)和TOF传感器(102)，包括，
利用3D摄像模块(101)获取目标图像的RGB图信息；
通过TOF传感器(102)并结合近红外光器阵列获得相应的深度信息；
将获取的RGB图信息和深度信息传输发送至所述图像识别模块(200)。
4.如权利要求3所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像处理模块(300)包括，
图像识别相应的眼球在图像中的位置；
根据图像识别出来的位置及得到的深度信息，得到相应的深度信息；
根据面部表情的图像，分析处理得到驾驶员的情绪状况。
5.如权利要求1～2或4任一所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述眼球位置信息获取包括，
通过Haar特征在包含人眼的局部区域图像中确定瞳孔区域和位置；
建立人眼图像的差分高斯金字塔模型计算区域极值点；
在瞳孔区域图像中建立自适应瞳孔拟合模板，以区域极值点为模板中心拟合瞳孔边缘和中心。
6.如权利要求5所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像识别模块(200)包括，
根据人脸样本选择不同的Haar矩形特征，并针对每一个Haar特征模板训练一个弱分类器；
根据人脸特征构造M个弱分类器；
选出最优的N个弱分类器；
设定误差率与阈值，生成M个级联的强分类器；
输入所述目标图像，使用已经生成的所述M个强分类器，获得识别结果，并将相邻的子区域合并得到人脸区域。
7.如权利要求6所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述目标图像直方图均衡化处理，增加所述目标图像的局部对比度，包括直方图均衡化的步骤，
统计直方图中每个灰度出现的次数，保存为一个数组；
计算直方图中每个灰度的累计分布函数值，并保存为另一个数组；
根据下式计算原图像直方图均衡化之后的灰度值；
8.如权利要求6或7所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述图像处理模块300采用卷积神经网络用来提取人脸表情的抽象特征，其包括，
一个输入层、三个交替出现的卷积层和池化层、一个全连接层和一个输出层，网络的输入是100*100的人脸表情图片，卷积核的大小为3*3，卷积步长为1，激活函数采用线性整流函数，分类函数采用归一化指数函数的Softmax函数。
9.如权利要求8所述的考虑驾驶员情绪的增强现实抬头显示方法，其特征在于：所述卷积神经网络包括如下训练步骤，
初始化i＝0，随机初始化卷积神经网络中的各个权值，参数值；
根据设计的卷积神经网络结构计算各层的特征图；
计算softmax层的损失项；
计算网络参数矩阵W；
选择相关的参数J；
计算出整体的损失项L；
更新损失参数，反向传播调整各个权值，偏置值的参数；
直至L<s，或者达到最大迭代次数，跳出循环；
采用Softmax激活函数，对整个人脸表情图像所属的类别进行判定。
10.一种考虑驾驶员情绪的增强现实抬头显示系统，其特征在于：包括TOF模块(100)、图像识别模块(200)、图像处理模块(300)和AR-HUD模块(400)；
所述TOF模块(100)用于获取当前场景RGB格式的目标图像；
所述图像识别模块(200)与所述TOF模块(100)连接，用于识别所述目标图像中的眼球及人脸并生成识别结果；
所述获取图像的深度信息、输出眼球位置信息和获取人脸表情图像分析出驾驶员的当前情绪；
所述图像处理模块(300)与所述图像识别模块(200)连接，用于分析获取眼球位置信息传输至AR-HUD模块(400)中进行增强显示实时跟踪；
所述AR-HUD模块(400)用于根据驾驶员情绪感知数据进行相应的内容结果显示调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417532.4A CN111222444A (zh) | 2019-12-31 | 2019-12-31 | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911417532.4A CN111222444A (zh) | 2019-12-31 | 2019-12-31 | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111222444A true CN111222444A (zh) | 2020-06-02 |
Family
ID=70829290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911417532.4A Pending CN111222444A (zh) | 2019-12-31 | 2019-12-31 | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222444A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112572296A (zh) * | 2020-12-17 | 2021-03-30 | 的卢技术有限公司 | 一种ar-hud智能后视系统的辅助系统及其使用方法 |
| CN112863453A (zh) * | 2021-01-07 | 2021-05-28 | Tcl华星光电技术有限公司 | 全息显示方法及全息显示系统 |
| CN113918265A (zh) * | 2021-11-12 | 2022-01-11 | 合众新能源汽车有限公司 | 动态调节车内显示信息的字体大小的方法和系统 |
| CN114842173A (zh) * | 2022-04-15 | 2022-08-02 | 北华航天工业学院 | 一种增强现实系统及其控制方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107776579A (zh) * | 2017-09-14 | 2018-03-09 | 中国第汽车股份有限公司 | 一种直感式驾驶员状态提醒装置 |
| CN109542217A (zh) * | 2018-10-12 | 2019-03-29 | 深圳市元征科技股份有限公司 | 一种眼球追踪显示方法以及装置 |
-
2019
- 2019-12-31 CN CN201911417532.4A patent/CN111222444A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107776579A (zh) * | 2017-09-14 | 2018-03-09 | 中国第汽车股份有限公司 | 一种直感式驾驶员状态提醒装置 |
| CN109542217A (zh) * | 2018-10-12 | 2019-03-29 | 深圳市元征科技股份有限公司 | 一种眼球追踪显示方法以及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 张璐平: "基于CNN-ELM的人类表情识别方法研究" * |
| 李斌: "随机场景人眼检测实时追踪及其应用技术研究" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112572296A (zh) * | 2020-12-17 | 2021-03-30 | 的卢技术有限公司 | 一种ar-hud智能后视系统的辅助系统及其使用方法 |
| CN112863453A (zh) * | 2021-01-07 | 2021-05-28 | Tcl华星光电技术有限公司 | 全息显示方法及全息显示系统 |
| CN113918265A (zh) * | 2021-11-12 | 2022-01-11 | 合众新能源汽车有限公司 | 动态调节车内显示信息的字体大小的方法和系统 |
| CN114842173A (zh) * | 2022-04-15 | 2022-08-02 | 北华航天工业学院 | 一种增强现实系统及其控制方法 |
| CN114842173B (zh) * | 2022-04-15 | 2023-08-29 | 北华航天工业学院 | 一种增强现实系统及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210073953A1 (en) | Method for applying bokeh effect to image and recording medium | |
| CN111222444A (zh) | 一种考虑驾驶员情绪的增强现实抬头显示方法和系统 | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US6961466B2 (en) | Method and apparatus for object recognition | |
| EP4105877A1 (en) | Image enhancement method and image enhancement apparatus | |
| US8411932B2 (en) | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system | |
| US10366300B1 (en) | Systems and methods regarding 2D image and 3D image ensemble prediction models | |
| WO2019157288A1 (en) | Systems and methods for physical object analysis | |
| US11068754B1 (en) | Systems and methods regarding image distification and prediction models | |
| US11670097B2 (en) | Systems and methods for 3D image distification | |
| CN108416291B (zh) | 人脸检测识别方法、装置和系统 | |
| CN111274980B (zh) | 基于yolov3和非对称卷积的小尺寸交通标志识别方法 | |
| CN113592911B (zh) | 表观增强深度目标跟踪方法 | |
| CN111158491A (zh) | 一种应用于车载hud的手势识别人机交互方法 | |
| JP2022542949A (ja) | 歩行者検出方法及び装置、コンピュータ読み取り可能な記憶媒体並びにチップ | |
| CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
| CN106557750A (zh) | 一种基于肤色和深度二叉特征树的人脸检测方法 | |
| US20220270215A1 (en) | Method for applying bokeh effect to video image and recording medium | |
| CN111158457A (zh) | 一种基于手势识别的车载hud人机交互系统 | |
| CN111598065A (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
| CN113076884A (zh) | 一种从近红外光到可见光的跨模态眼睛状态识别方法 | |
| CN114020155A (zh) | 一种基于眼动仪的高精度视线定位方法 | |
| WO2018051836A1 (ja) | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 | |
| KR20130126386A (ko) | 적응적 피부색 검출 방법, 그리고 이를 이용한 얼굴 검출 방법 및 그 장치 | |
| CN111738237A (zh) | 一种基于异构卷积的多核迭代rpn的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 11th Floor, Building A1, Huizhi Science and Technology Park, No. 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 211000 Applicant after: DILU TECHNOLOGY Co.,Ltd. Address before: Building C4, No.55 Liyuan South Road, moling street, Nanjing, Jiangsu Province Applicant before: DILU TECHNOLOGY Co.,Ltd. |