CN114821552A - 桌面背景动态展示方法、装置、设备及存储介质 - Google Patents
桌面背景动态展示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114821552A CN114821552A CN202210471224.5A CN202210471224A CN114821552A CN 114821552 A CN114821552 A CN 114821552A CN 202210471224 A CN202210471224 A CN 202210471224A CN 114821552 A CN114821552 A CN 114821552A
- Authority
- CN
- China
- Prior art keywords
- data
- weather
- emotion
- driver
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000008451 emotion Effects 0.000 claims abstract description 204
- 230000006399 behavior Effects 0.000 claims abstract description 127
- 230000008909 emotion recognition Effects 0.000 claims abstract description 106
- 238000000605 extraction Methods 0.000 claims abstract description 101
- 230000001815 facial effect Effects 0.000 claims description 44
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 21
- 239000002131 composite material Substances 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000007635 classification algorithm Methods 0.000 claims description 8
- 230000003203 everyday effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims 1
- 230000036651 mood Effects 0.000 abstract description 14
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000007500 overflow downdraw method Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 102100032202 Cornulin Human genes 0.000 description 2
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能技术领域,公开了一种桌面背景动态展示方法、装置、设备及存储介质。本方法包括:通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种桌面背景动态展示方法、装置、设备及存储介质。
背景技术
随着移动通讯设备的全面屏化,大屏化的趋势日益增加,让汽车车载系统的桌面具有更高科技性,更有趣味性;增加皮肤商城页面,提高皮肤商城的可运营性,同时提升用户体验。为了增强座舱内显示屏幕的趣味性与灵动性,增强情绪引导能力,提升驾乘人员的心情愉悦度,目前,智能终端会提取驾驶员在设定时长内作出的一系列驾驶行为数据,并基于驾驶行为数据进行情绪表情识别。然而情绪识别会在一定程度上增加智能终端的运算量,延长运算时长,而情绪识别又是一项时效性要求很高的功能。
目前的车载电脑系统桌面多为静态预置壁纸或预置动态壁纸,少数支持更换主题壁纸;无法根据所处环境进行实时变化,缺少融合感与氛围感。因此,如何将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,成了本领域技术人员需要解决的技术问题。
发明内容
本发明的主要目的是通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
本发明第一方面提供了一种桌面背景动态展示方法,包括:基于预设图像采集设备采集当前驾驶场景中的天气环境图像;对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征;将所述天气环境图像中的天气特征与预设气象数据库进行匹配,确定所述天气环境图像对应的天气类别;采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果;基于所述天气类别和所述情绪识别结果得到所述驾驶员在当前状态下的情绪类型,基于所述驾驶员在当前状态下的情绪类型得到对应的背景,并基于所述背景更换所述车载桌面中的背景。
可选地,在本发明第一方面的第一种实现方式中,所述对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征包括:对所述天气环境图像进行特征提取,得到所述天气环境图像的天气特征图;对所述天气特征图进行复合特征提取,得到所述天气特征图的第一特征数据;基于所述第一特征数据中携带的显性特征对所述天气特征图进行过滤,得到所述天气特征图的第二特征数据;基于所述第一特征数据和所述第二特征数据,得到所述天气环境图像中的天气特征。
可选地,在本发明第一方面的第二种实现方式中,所述采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果包括:采集驾驶员的驾驶行为数据;对所述驾驶行为数据进行预处理,得到驾驶行为识别数据,并对所述驾驶行为识别数据进行特征提取,得到所述驾驶行为识别数据的目标情绪特征数据;基于所述目标情绪特征数据,对所述驾驶员的情绪进行识别,得到所述驾驶员的情绪识别结果。
可选地,在本发明第一方面的第三种实现方式中,所述驾驶行为数据包括语音数据、面部图像数据以及所述驾驶员的驾驶操作数据中的至少一个;所述对所述驾驶行为数据进行预处理,得到驾驶行为识别数据,并对所述驾驶行为识别数据进行特征提取,得到所述驾驶行为识别数据的目标情绪特征数据包括:对所述语音数据进行分割,生成音频识别数据,并对所述音频识别数据进行特征提取,得到所述音频识别数据的第一情绪特征数据;基于预设人脸识别图像对所述面部图像数据进行人脸识别,生成包含所述驾驶员面部的图像识别数据,并对所述图像识别数据进行特征提取,得到所述图像识别数据的第二情绪特征数据;对所述驾驶员的驾驶操作数据进行解析,得到所述驾驶员驾驶车辆时的行为检测数据,并将所述行为检测数据与预设数据库中的正常驾驶数据进行匹配,得到所述行为检测数据的第三情绪特征数据;基于预设权重对所述第一情绪特征数据、所述第二情绪特征数据以及所述第三情绪特征数据进行特征融合,得到所述驾驶行为识别数据的目标情绪特征数据。
可选地,在本发明第一方面的第四种实现方式中,所述对所述语音数据进行分割,生成音频识别数据包括:对所述语音数据进行分割,得到所述语音数据的多个子语音数据;对所述子语音数据进行特征提取,得到所述子语音数据的特征数据;将所述特征数据与预设的多个特征统计量数据进行匹配,得到与所述子语音数据的特征数据集;基于所述子语音数据的特征数据集和所述子语音数据对应的所有特征数据,计算所述子语音数据的特征量匹配度;基于所述特征量匹配度,确定音频识别数据。
可选地,在本发明第一方面的第五种实现方式中,所述情绪识别模型包括第一神经网络和第二神经网络,所述基于所述目标情绪特征数据,对所述驾驶员的情绪进行识别,得到所述驾驶员的情绪识别结果包括:将所述目标情绪特征数据输入到所述情绪识别模型的神经网络,得到情绪分析数据;基于预设分类算法对所述情绪分析数据进行分类识别,得到所述驾驶员的情绪识别结果。
可选地,在本发明第一方面的第六种实现方式中,在所述将所述图像区域中的天气特征与预设气象数据库进行匹配,确定所述天气图像数据对应的天气类别之前,还包括:在移动终端有网络连接的状态下,更新每天的天气预报信息;对所述天气预报信息进行特征提取,得到所述天气预报信息的天气特征,并将所述天气特征存储至预设气象数据库,生成天气特征数据库。
本发明第二方面提供了一种桌面背景动态展示装置,包括:采集模块,用于基于预设图像采集设备采集当前驾驶场景中的天气环境图像;特征提取模块,用于对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征;确定模块,用于将所述天气环境图像中的天气特征与预设气象数据库进行匹配,确定所述天气环境图像对应的天气类别;情绪识别模块,用于采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果;更换模块,用于基于所述天气类别和所述情绪识别结果得到所述驾驶员在当前状态下的情绪类型,基于所述驾驶员在当前状态下的情绪类型得到对应的背景,并基于所述背景更换所述车载桌面中的背景。
可选地,在本发明第二方面的第一种实现方式中,所述特征提取模块具体用于:对所述天气环境图像进行特征提取,得到所述天气环境图像的天气特征图;对所述天气特征图进行复合特征提取,得到所述天气特征图的第一特征数据;基于所述第一特征数据中携带的显性特征对所述天气特征图进行过滤,得到所述天气特征图的第二特征数据;基于所述第一特征数据和所述第二特征数据,得到所述天气环境图像中的天气特征。
可选地,在本发明第二方面的第二种实现方式中,所述情绪识别模块包括:采集单元,用于采集驾驶员的驾驶行为数据;特征提取单元,用于对所述驾驶行为数据进行预处理,得到驾驶行为识别数据,并对所述驾驶行为识别数据进行特征提取,得到所述驾驶行为识别数据的目标情绪特征数据;情绪识别单元,用于基于所述目标情绪特征数据,对所述驾驶员的情绪进行识别,得到所述驾驶员的情绪识别结果。
可选地,在本发明第二方面的第三种实现方式中,所述特征提取单元具体用于:对所述语音数据进行分割,生成音频识别数据,并对所述音频识别数据进行特征提取,得到所述音频识别数据的第一情绪特征数据;基于预设人脸识别图像对所述面部图像数据进行人脸识别,生成包含所述驾驶员面部的图像识别数据,并对所述图像识别数据进行特征提取,得到所述图像识别数据的第二情绪特征数据;对所述驾驶员的驾驶操作数据进行解析,得到所述驾驶员驾驶车辆时的行为检测数据,并将所述行为检测数据与预设数据库中的正常驾驶数据进行匹配,得到所述行为检测数据的第三情绪特征数据;基于预设权重对所述第一情绪特征数据、所述第二情绪特征数据以及所述第三情绪特征数据进行特征融合,得到所述驾驶行为识别数据的目标情绪特征数据。
可选地,在本发明第二方面的第四种实现方式中,所述特征提取单元具体还用于:对所述语音数据进行分割,得到所述语音数据的多个子语音数据;对所述子语音数据进行特征提取,得到所述子语音数据的特征数据;将所述特征数据与预设的多个特征统计量数据进行匹配,得到与所述子语音数据的特征数据集;基于所述子语音数据的特征数据集和所述子语音数据对应的所有特征数据,计算所述子语音数据的特征量匹配度;基于所述特征量匹配度,确定音频识别数据。
可选地,在本发明第二方面的第五种实现方式中,所述情绪识别单元具体用于:将所述目标情绪特征数据输入到所述情绪识别模型的神经网络,得到情绪分析数据;基于预设分类算法对所述情绪分析数据进行分类识别,得到所述驾驶员的情绪识别结果。
可选地,在本发明第二方面的第六种实现方式中,所述桌面背景动态展示装置还包括:更新模块,用于在移动终端有网络连接的状态下,更新每天的天气预报信息;生成模块,用于对所述天气预报信息进行特征提取,得到所述天气预报信息的天气特征,并将所述天气特征存储至预设气象数据库,生成天气特征数据库。
本发明第三方面提供了一种桌面背景动态展示设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述桌面背景动态展示设备执行上述的桌面背景动态展示方法的各个步骤。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的桌面背景动态展示方法的各个步骤。
本发明提供的技术方案中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
附图说明
图1为本发明提供的桌面背景动态展示方法的第一个实施例示意图;
图2为本发明提供的桌面背景动态展示方法的第二个实施例示意图;
图3为本发明提供的桌面背景动态展示方法的第三个实施例示意图;
图4为本发明提供的桌面背景动态展示方法的第四个实施例示意图;
图5为本发明提供的桌面背景动态展示方法的第五个实施例示意图;
图6为本发明提供的桌面背景动态展示装置的第一个实施例示意图;
图7为本发明提供的桌面背景动态展示装置的第二个实施例示意图;
图8为本发明提供的桌面背景动态展示设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种桌面背景动态展示方法、装置、设备及存储介质,本发明的技术方案中,首先通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中桌面背景动态展示方法的第一个实施例包括:
101、基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
本实施例中,基于预设图像采集设备采集当前驾驶场景中的天气环境图像,并对图像进行协同分割。协同分割是图像内关联图像区域之间的集合结构约束分割方法,其能够将天气环境图像中的主题相关的图像区域分割出来。
本实施例中,若想确定出天气环境图像对应的天气类别,首先需要对天气环境图像进行预处理。具体的,可以采用协同分割的方法对天气环境图像进行分割。作为预处理,利用协同分割可以得到天气环境图像中的一些具有相似结构的图像区域,从而可容易获得每个图像区域对应的天气特征。
值得说明的是,根据图像中包含的特征类别,可以将天气环境图像分割得到的多个图像区域分成多类不同的图像特征,比如,建筑物、草地等等。每个图像区域对应一类图像特征,即每类图像特征中包括多个图像区域。
102、对天气环境图像进行特征提取,得到天气环境图像中的天气特征;
本实施例中,对天气环境图像进行特征提取,得到天气环境图像中的天气特征。当得到天气环境图像的多类图像特征以及每类图像特征包含的至少一个图像区域之后,首先确定每类图像特征中每个图像区域对应的天气特征。作为一种示例,针对每类图像特征,利用字典学习算法构造每类图像特征中每个图像区域对应的天气特征。
通常情况下,主要利用计算机视觉技术来识别天气环境图像对应的天气类别,因此,本申请实施例在对天气环境图像进行处理时,采用RGB颜色空间实现颜色显示和图像处理,即使用RGB颜色空间的红色、绿色和蓝色分别作为X、Y和Z坐标轴,即利用R、G、B来表示天气环境图像中每个像素的颜色显示。
LAB颜色空间是由CIE(国际照明委员会)制定的一种色彩模式,其是以数字化方式来描述人的视觉感应,与设备无关。LAB颜色空间取坐标LAB,其中,L值表示像素的亮度,取值范围是[0,100],即表示从纯黑(0)到纯白(100);A表示从红色到绿色的范围,取值范围是[127,-128],B表示从黄色到蓝色的范围,取值范围是[127,-128],且A=B=0时,表示无色。此外,C是色度,用于表示颜色的深和浅,H是色调,用于表示颜色的冷和暖。
103、将天气环境图像中的天气特征与预设气象数据库进行匹配,确定天气环境图像对应的天气类别;
本实施例中,将天气环境图像中的天气特征与预设气象数据库进行匹配,确定天气环境图像对应的天气类别。
在自然场景下,实际环境中的天气情况复杂多样且瞬息万变,为了收集天气特征,便于对用于天气图像进行分类,可以从实际环境中获取的原始天气图像中可以包括参照物等,比如,所述参照物可以包括但不限于建筑物、交通工具及植被等环境信息,以便基于参照物的存在,当原始天气图像中涵盖有比如降雨、降雪等天气状况时,使得天气状况可以和参照物形成鲜明对比,从而可以更显著、灵敏地从获取的原始天气图像中检测到实际环境中的天气状况,避免出现因获取的原始天气图像是一望无垠的空旷景色而导致无法灵敏地识别或检测到真实天气状况的情况。
例如,首先获取所述实际环境中的原始天气图像1、原始天气图像2、原始天气图像3、……、原始天气图像(N-1)及原始天气图像N,其中,N为大于等于1的正整数,所述原始天气图像是从自然场景下的实际环境中获取的真实天气图像,并非图片合成或拼凑的。然后,为了避免画质不清、模糊及无法辨认天气情况等的天气图像影响天气分类模型的训练准确度,需要对获取的所有的原始天气图像:原始天气图像1、原始天气图像2、原始天气图像3、……、原始天气图像(N-1)及原始天气图像N进行清洗,去除所有所述原始天气图像中的不利于分类的图像,比如模糊的原始天气图像、无法辨认天气情况的原始天气图像及画质不清的原始天气图像等,提取所述原始天气图像中的天气特征构建气象数据库。将天气环境图像中的天气特征与气象数据库中的天气特征进行匹配,以确定天气环境图像对应的天气类别。
104、采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;
本实施例中,采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果。比如,可以采集驾驶员的人脸图像。驾驶员的人脸图像包括第一识别区域和第二识别区域。作为示例,第一识别区域可覆盖驾驶员的眉毛和眼睛所在区域,第二识别区域可覆盖驾驶员鼻子和嘴巴所在区域。
本实施例中,是针对驾驶员的人脸图像的第一识别区域和第二识别区域分别进行面部识别,基于上述面部识别方式,对于第一识别区域和第二识别区域之一被遮挡的情况,仍可以保证针对人脸图像的面部识别具有较高的识别精度。
105、基于天气类别和情绪识别结果得到驾驶员在当前状态下的情绪类型,基于驾驶员在当前状态下的情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。
本实施例中,基于天气类别和情绪识别结果得到驾驶员在当前状态下的情绪类型,基于驾驶员在当前状态下的情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。具体地,基于天气类型和情绪识别结果,识别用户的喜怒哀乐,把驾驶员情绪当成一种驾驶员属性标签,来做页面展示。确定当前驾驶员心情之后,进入App后,调用换肤方法进行换肤;驾驶员进入后,看到的App就是换肤后的效果,因为用户可用的线上皮肤都有标签,心情和皮肤标签有一个映射关系,然后匹配一个关联度最大的皮肤,App主题氛围都和使用了该皮肤。
本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
请参阅图2,本发明实施例中桌面背景动态展示方法的第二个实施例包括:
201、基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
202、对天气环境图像进行特征提取,得到天气环境图像的天气特征图;
本实施例中,可以通过电子设备获取上述天气环境图像。或者,电子设备可以从其他设备处获取上述天气环境图像,例如,电子设备可以从摄像设备、监控设备等设备处获取上述天气环境图像。在一些实现方式中,上述天气环境图像可以是视频中的一个图像帧。
本实施例并不限定图像特征提取的具体方法,示例性的,可以对上述天气环境图像进行至少一级的卷积处理,得到上述天气特征图。在进行卷积处理的过程中,可以得到多个不同尺度的图像特征提取结果,可以融合至少两个不同尺度的上述图像特征提取结果得到上述天气特征图。
203、对天气特征图进行复合特征提取,得到天气特征图的第一特征数据;
本实施例中,对上述天气特征图进行复合特征提取,得到第一特征信息可以包括:对上述天气特征图进行图像特征提取,得到第一提取结果。对上述天气特征图进行通道信息提取,得到第二提取结果。融合上述第一提取结果和上述第二提取结果,得到上述第一特征信息。本实施例并不限定对上述天气特征图进行图像特征提取的方法,示例性的,其可以对上述天气特征图进行至少一级卷积处理,得到上述第一提取结果。
本实施例中的通道信息提取可以关注天气特征图中的各个通道之间的关系的挖掘。示例性的,其可以基于对多通道的特征进行融合实现。本公开实施例也不限定融合目标,比如,可以按照通道标识进行通道归类,对属于同一类的通道的特征进行融合。
本实施例中的复合特征提取可以通过融合上述第一提取结果和上述第二提取结果,既保留天气特征图本身的低阶信息,又可以充分提取到高阶的通道间信息,提升挖掘出的第一特征信息的信息丰富程度和表达力。在实施复合特征提取的过程中,可能用到至少一种融合方法,本公开实施例不对该融合方法进行限定,降维、加法、乘法、内积、卷积、求平均的至少一种及其组合都可以被用于进行融合。
204、基于第一特征数据中携带的显性特征对天气特征图进行过滤,得到天气特征图的第二特征数据;
本实施例中,可以根据上述第一特征信息判断上述第一特征图中较为显著的区域和不甚显著的区域,并将较为显著的区域中的信息过滤掉,得到过滤结果。
具体地,通过计算每个区域对应的显著性得分可以准确确定出显著位置。通过得到的显著位置可以过滤上述第一特征图中的相关特征,得到准确的过滤结果,以便于在后续处理过程中对于该过滤结果进一步进行信息挖掘,从而将容易湮没的信息挖掘出来,最终提升图像的特征提取结果准确表达该图像的能力。提取过滤结果中的第二特征数据。
本实施例并不限定提取过滤结果的具体方法,示例性的,其可以基于至少一级复合特征提取实现。在一个实施例中,其示出根据本公开实施例的提取过滤结果中的第二特征数据的流程示意图。上述提取过滤结果中的第二特征数据,包括:抑制上述过滤结果中的显著特征,得到第二特征图;上述抑制上述过滤结果中的显著特征,得到第二特征图,包括:对上述过滤结果进行特征提取得到目标特征,对上述目标特征进行复合特征提取得到第一特征数据,以及基于上述第一特征数据中的显著特征,对上述目标特征进行过滤,得到上述第二特征图。
本实施例中,可以参考图像特征提取方法对上述过滤结果进行特征提取得到目标特征,参考复合特征提取方法对上述目标特征进行复合特征提取得到第一特征数据。参考过滤方法基于上述第一特征数据中的显著特征,对上述目标特征进行过滤,得到上述第二特征图。在没有达到预设的停止条件的情况下,根据上述第二特征图更新上述过滤结果,重复上述抑制上述过滤结果中的显著特征,得到第二特征图的步骤。在达到上述停止条件的情况下,将获取到的每一上述第一特征数据均作为上述第二特征数据。
205、基于第一特征数据和第二特征数据,得到天气环境图像中的天气特征;
本实施例中,通过有效的融合,可以进一步提升上述图像的特征提取结果的准确度。根据本实施例的图像特征提取方法,上述融合上述第一特征信息和上述第二特征信息,得到上述图像的特征提取结果,包括:获取至少一种融合方法。对于每种上述融合方法,使用上述融合方法对上述第一特征信息和上述第二特征信息进行融合,得到对应的融合目标。
在另一个实施例中,对于任一融合方法,上述融合目标即为基于该融合方法融合上述第一特征信息和上述第二特征信息后得到的上述图像的特征提取结果。基于上述融合目标,确定对应的融合方法的准确度,上述准确度表征上述融合方法对上述图像中的特征进行表达的能力。
本实施例中,可以在实际的应用场景中基于上述融合目标,确定对应的融合方法的准确度。以车辆重识别为例,对于某种融合方法,可以基于该融合方法得到底库中每个图片对应的第一融合目标,以及基于该融合方法得到待识别的图像对应的第二融合目标,根据上述第一融合目标和上述第二融合目标得到上述待识别的图像对应的车辆重识别图像,将上述车辆重识别图像的准确度作为上述融合方法的准确度。将准确度最高的融合方法确定为目标融合方法。示例性的,基于融合方法1得到的车辆重识别图像的准确度为90%,基于融合方法2得到的车辆重识别图像的准确度为86%,则将上述融合方法1确定为目标融合方法。
使用上述目标融合方法对上述第一特征信息和上述第二特征信息进行融合,得到上述图像的特征提取结果。本实施例中可以通过在实际应用场景中测试各种可能的融合方法在应用中的效果确定目标融合方法,进而基于目标融合方法得到图像的特征提取结果,客观准确地确定在实际场景中表现突出的目标融合方法,进而提升图像的特征提取结果质量。不同的应用场景也可以适应性地选用适配的目标融合方法,提升本公开实施例中技术方案对应用场景的适应能力。
206、将天气环境图像中的天气特征与预设气象数据库进行匹配,确定天气环境图像对应的天气类别;
207、采集驾驶员的驾驶行为数据;
本实施例中,驾驶员的驾驶行为数据可以包括驾驶员的视频数据、语音数据以及驾驶员操作方向盘(刹车、油门)的至少一种。具体地,为了提高对驾驶人员情绪识别的准确性,同时能充分利用现有设备,可以通过摄像头获取更多的数据,在本发明的一个优选实施例中,所述视频情绪识别结果,还包括宏表情识别结果。通过宏表情识别结果与微表情识别结果融合,可以得到更准确的识别结果。
具体地,终端需要对驾驶员驾驶行为数据进行数据关联,来验证需要上传的数据是否符合预设条件,因此在验证数据信息之前需要获取驾驶员目前的驾驶行为数据,一般服务器获取驾驶员行为数据的依据是通过摄像头拍摄的驾驶过程人脸以及身体部位的图像以及视频流数据信息,通过传感器以及导航定位系统获取到的驾驶行为轨迹。
208、对驾驶行为数据进行预处理,得到驾驶行为识别数据,并对驾驶行为识别数据进行特征提取,得到驾驶行为识别数据的目标情绪特征数据;
本实施例中,对驾驶行为数据进行预处理,得到驾驶行为识别数据,并对驾驶行为识别数据进行特征提取,得到驾驶行为识别数据的目标情绪特征数据。驾驶行为数据信息包括驾驶员在驾驶过程中图像数据信息、驾驶行为轨迹数据信息以及驾驶视频流数据信息;
本实施例中,终端需要对驾驶员驾驶行为数据进行数据关联,来验证需要上传的数据是否符合预设条件,因此在验证数据信息之前需要获取驾驶员目前的驾驶行为数据,一般服务器获取驾驶员行为数据的依据是通过摄像头拍摄的驾驶过程人脸以及身体部位的图像以及视频流数据信息,通过传感器以及导航定位系统获取到的驾驶行为轨迹。
在实际场景中,比如驾驶员A在驾校学习练车,当识别到驾驶员A的人脸信息时,启动摄像头实时拍摄A在驾驶过程中的图像以及视频,并将拍摄到的信息自动保存,驾驶员A可以根据导航设备进行驾驶或者是驾校要求行驶路线进行驾驶,终端实时记录A的驾驶行为数据并且将数据保存。
209、基于目标情绪特征数据,对驾驶员的情绪进行识别,得到驾驶员的情绪识别结果;
本实施例中,基于目标情绪特征数据,对驾驶员的情绪进行识别,得到驾驶员的情绪识别结果。具体地,通过数据采集终端(如车载前置摄像头)获得包含驾驶员的人脸图像信息,并经过图像处理获得具有能够进一步有效处理的人脸信息的人脸图像模型,将处理后得到的人脸图像模型发送至情绪识别系统;情绪识别系统根据得到的人脸图像模型,通过特征提取模型进行跟情绪相关的有效的情绪特征点提取,通过特征分析模型和情绪分类模型得到人脸图像模型中的人脸情绪的识别结果,而情绪识别系统获得人脸情绪的识别结果后,将该识别结果发送至情绪显示系统,情绪显示系统根据得到的识别结果的不同类型,可以通过车载的显示屏幕显示驾驶员的情绪信息。
驾驶员情绪识别与显示装置处于运行的状态时,如当驾驶员开启该装置使该装置处于运行的状态,或者当驾驶员启动汽车时,自动开启该装置使该装置处于运行的状态;图像获取模块实时获取驾驶员的面部表情信息,并将其转换成人脸图像信息,即图像获取模块实时获得当前驾驶员的人脸图像,由于一辆车的驾驶员相对固定,图像获取模块可以精准地获取驾驶员的图像信息,图像获取模块为图像获取终端,如车载前置摄像头;其中,图像获取模块可以每个5分钟获得当前一次驾驶员的图像信息;当图像获取模块获取的当前驾驶员的图像信息后,发送至人脸定位模块。
人脸定位模块接收到当前驾驶员的图像信息后,根据获得图像信息,检测出人脸图像信息中需要处理的人脸区域,确定待识别的人脸区域,剔除背景信息和复杂的环境干扰,并发送至图像预处理模块进行进一步处理。
图像预处理模块进一步对人脸定位模块处理后的人脸图像信息进行处理,按照统一的方式对人脸图像信息进行几何归一化和灰度归一化处理,获得人脸尺寸和人脸光照信息统一的人脸图像模型,将获得的人脸图像模型发送至人脸情绪特征提取模块。
人脸情绪特征提取模块将接收到的人脸图像模型利用Gabor方法进行情绪特征点提取,获得人脸图像模型的特征向量,并将获得特征向量发送至人脸情绪特征选择模块。人脸情绪特征选择模块对接收到的特征向量通过PCA算法进行降维处理,删除冗余信息得到处理后的数据,将处理后的数据送入人脸情绪特征分类模块中。
当人脸情绪特征分类模块根据人脸图像数据库中已经训练好的特征分析模型对处理后的数据进行分析,并将分析结果通过训练好的情绪分类模型进行获得当前驾驶员的情绪识别结果,如当前的情绪所述类别名称,然后发送给情绪显示系统进行对识别的结果进行显示。
210、基于天气类别和情绪识别结果得到驾驶员在当前状态下的情绪类型,基于驾驶员在当前状态下的情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。
本实施例中步骤201、206、210与第一实施例中的步骤101、103、105类似,此处不再赘述。
本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
请参阅图3,本发明实施例中桌面背景动态展示方法的第三个实施例包括:
301、基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
302、对天气环境图像进行特征提取,得到天气环境图像中的天气特征;
303、将天气环境图像中的天气特征与预设气象数据库进行匹配,确定天气环境图像对应的天气类别;
304、采集驾驶员的驾驶行为数据;
305、对语音数据进行分割,生成音频识别数据,并对音频识别数据进行特征提取,得到音频识别数据的第一情绪特征数据;
本实施例中,对语音数据进行分割,生成音频识别数据,并对音频识别数据进行特征提取,得到音频识别数据的第一情绪特征数据。具体地,在采集到语音信号之后,将所述语音信号分为多个子语音信息,分割子语音信息可以是通过时间或者数量进行分配,也可以是通过其他规则进行。例如,将采集的15秒的语音信号分割为每段3秒的子语音信息,一共可分割为5段,采用时间顺序进行分割,即前3秒分割为一段,第3-6秒分割为一段,以此类推。
进一步的,在分割为多个子语音信息之后,则提取子语音信息的特征信息,并与预设的语音库中的多个特征统计量信息进行匹配。值得一提的是,在后台的数据库中预存储有语音特征统计量信息,所述的语音特征统计量信息为经过筛选确认后的更能反映出情绪的词汇或者语句信息,可以是通过经验和研究确认的资源。
306、基于预设人脸识别图像对面部图像数据进行人脸识别,生成包含驾驶员面部的图像识别数据,并对图像识别数据进行特征提取,得到图像识别数据的第二情绪特征数据;
本实施例中,服务器可以实时或以间隔预设时间获取待识别的人脸图像,该待识别的人脸图像包括用户的面部信息,服务器也可以实时对终端设备上传的人脸图像进行面部识别。
其中,服务器或服务器集群存储有面部特征提取模型,该面部特征提取模型包括面部特征提取层、面部特征关系处理层、特征融合层和面部识别层,该面部特征提取层用于从目标视频中提取面部特征,该面部特征关系处理层用于确定每帧图像的面部特征之间的面部特征关系,该特征融合层用于基于每帧图像的面部特征之间的面部特征关系,对面部特征进行融合,该面部识别层用于从视频中识别用户的面部动作,并得到面部识别结果。
本实施例中,对该待识别的人脸图像中的每帧图像进行特征提取,得到每帧图像各自对应的面部特征,即通过面部特征提取模型中的面部特征提取层从该待识别的人脸图像中的每帧图像提取出每帧图像各自对应的面部特征。
具体地,将该待识别的人脸图像拆分为每一帧图像,并从每帧图像中分别提取预设数量的面部关键点;根据从每帧图像中分别提取预设数量的面部关键点,确定每帧图像各自对应的面部特征。以一帧图像为例,从一帧图像中提取到n个面部关键点,则将提取到的n个面部关键点作为这一帧图像对应的面部特征。需要说明的是,上述预设数量可基于实际情况进行设置,本申请对此不作具体限定。可选地,面部关键点的数量为n个或m个,则面部特征为由n个或m个面部关键点组成的特征矩阵。其中,面部特征提取算法包括但不限于基于Gabor滤波的面部特征提取算法、基于局部二值化的面部特征提取算法和基于深度神经网络的面部特征提取算法和基于几何特征的面部特征提取算法,本申请对此不作具体限定。
307、对驾驶员的驾驶操作数据进行解析,得到驾驶员驾驶车辆时的行为检测数据,并将行为检测数据与预设数据库中的正常驾驶数据进行匹配,得到行为检测数据的第三情绪特征数据;
本实施例中,对驾驶员的驾驶操作数据进行解析,得到驾驶员驾驶车辆时的行为检测数据,并将行为检测数据与预设数据库中的正常驾驶数据进行匹配,得到行为检测数据的第三情绪特征数据。
具体地,从获取的多模态图像数据进行危险动作检测,该步骤需要对驾驶员的驾驶行为数据进行实时监控和识别,一旦出现所定义的危险驾驶行为,及时发起预警。危险动作检测模型,使用基于深度神经网络的计算机视觉技术,同时为了降低模型的参数量和计算量,并且不损害模型的检测精度,本发明中使用了深度可分离卷积代替原有的通用二维卷积,并且在检测模型后端使用空洞卷积来增加模型感受野。
其中所述驾驶员的驾驶状态包括正常驾驶状态、车内后视镜检测转台、左后视镜检查状态、右后视镜检查状态、观看手机状态、接打电话状态、使用车内电子娱乐设备状态、未系安全带状态、吸烟状态、喝水状态、长时间聊天状态、打瞌睡状态、昏厥状态;其中观看手机状态、接打电话状态、使用车内电子娱乐设备、未系安全带状态、吸烟状态、喝水状态、长时间聊天状态、打瞌睡状态、昏厥状态等被定义为危险驾驶行为。
308、基于预设权重对第一情绪特征数据、第二情绪特征数据以及第三情绪特征数据进行特征融合,得到驾驶行为识别数据的目标情绪特征数据;
本实施例中,基于预设权重对第一情绪特征数据、第二情绪特征数据以及第三情绪特征数据进行特征融合,得到驾驶行为识别数据的目标情绪特征数据。
在确定第一情绪特征数据、第二情绪特征数据以及第三情绪特征数据各自对应的权重关系之后,基于特征融合层,根据每种类型数据各自对应的特征关系,对采集到的驾驶员驾驶操作数据对应的特征进行融合,得到目标情绪特征数据。通过每帧图像各自对应的面部特征关系,对每帧图像各自对应的面部特征进行融合,可以得到准确的面部特征,可以提高面部识别的准确性。
309、基于目标情绪特征数据,对驾驶员的情绪进行识别,得到驾驶员的情绪识别结果;
310、基于天气类别和情绪识别结果得到驾驶员在当前状态下的情绪类型,基于驾驶员在当前状态下的情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。
本实施例中步骤301-303、310与第一实施例中的步骤101-103、105类似,此处不再赘述。
本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
请参阅图4,本发明实施例中桌面背景动态展示方法的第四个实施例包括:
401、基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
402、对天气环境图像进行特征提取,得到天气环境图像中的天气特征;
403、将天气环境图像中的天气特征与预设气象数据库进行匹配,确定天气环境图像对应的天气类别;
404、采集驾驶员的驾驶行为数据;
405、对语音数据进行分割,得到语音数据的多个子语音数据;
本实施例中,对语音数据进行分割,得到语音数据的多个子语音数据。此处的处理方式可以是分割,也可以是对语音信息的降噪增强,预加重,短时分析,分帧,加窗等,通过上述任意一种或者多种预处理操作,以便于在后续情绪识别时可以获得更好的效果。
406、对子语音数据进行特征提取,得到子语音数据的特征数据;
本实施例中,可以分别对多个子语音数据进行不同的特征提取处理,分别获得不同的情绪特征数据样本,情绪特征数据样本包括第一情绪特征数据样本和第二情绪特征数据样本。具体地,根据声谱图特征提取处理,得到声谱图,该声谱图可以用作第一情绪特征数据样本;根据人工特征提取处理,得到特征数据集,特征数据集可以用作第二情绪特征数据样本,特征数据集包括GeMAPS特征,以及待识别的子语音数据和关键词语音词典进行相似度对比生成特征数据。
407、将特征数据与预设的多个特征统计量数据进行匹配,得到与子语音数据的特征数据集;
本实施例中,将特征数据与预设的多个特征统计量数据进行匹配,得到与子语音数据的特征数据集。所述特征数据集。包括根据所述音频信息已生成的其他人工特征数据。可以理解的是,根据获取到的音频信息,进行人工提取特征数据,生成特征数据集,该特征数据集包括:通过语音相似度对比得到的特征与通过其他现有技术特征提取工具得到的人工特征,如GeMAPS特征,具体地,可以通过现有的维度拼接技术,将上述的人工特征进行维度上的拼接,最终确定该特征数据集。
具体地,预先设置的情绪关键词语音构建的语音库,也可以称为关键词语音词典。由于汉语中有很多对于情绪表达极具代表性的词,但是传统的情绪识别无法针对语音的内容进行识别,因此构建了一个由这些具有情绪代表性的词的关键词语音词典。例如对生气,开心,难过,害怕等关键词进行录音并构成关键词语音词典,通过语音相似度分析将其转化为特征加入手工特征当中,以便于更好地进行情绪分析。具体地,将关键词语音词典的词进行编码,再将词典中的词语音波形与待识别的语音波形进行波形匹配,判断待识别语音信息中是否含有这些具有很强代表性的词,如果含有,则将这些词的编码加入到已有的特征数据集,如GeMAPS特征集中,共同组成特征数据更加完整的特征数据集。
408、基于子语音数据的特征数据集和子语音数据对应的所有特征数据,计算子语音数据的特征量匹配度;
本实施例中,基于子语音数据的特征数据集和子语音数据对应的所有特征数据,计算子语音数据的特征量匹配度。具体地,在分割为多个子语音信息之后,则提取子语音信息的特征信息,并与预设的语音库中的多个特征统计量信息进行匹配。值得一提的是,在后台的数据库中预存储有语音特征统计量信息,所述的语音特征统计量信息为经过筛选确认后的更能反映出情绪的词汇或者语句信息,可以是通过经验和研究确认的资源。例如,在特征统计量信息中不包括一些无用词,例如,数字、数学字符、标点符号及使用频率特高的汉字等;特征统计量中可以包括使用频率较高且能反应出情绪特征的词汇或者短语,例如,你好、再见、没有等词汇,或者又如,还有事吗、先这样吧等类似短语。
409、基于特征量匹配度,确定音频识别数据;
本实施例中,在与预设的多个特征统计量信息进行匹配之后,则计算每个子语音信息的特征量匹配度。需要说明的是,自语音信息中与预设的多个特征统计量重合多的,则匹配度高。将匹配度大于预设特征量阈值的子语音信息确定为识别语音信息。本领域技术人员可根据实际需要选择预设特征量阈值,例如,可以为0.5、0.7等,也就是说,在匹配度大于0.5时,则将此自语音信息选为识别语音信息。采用此步骤,可以将匹配度低的语音数据信息进行过滤,提高情绪识别的速度和效率。
410、基于目标情绪特征数据,对驾驶员的情绪进行识别,得到驾驶员的情绪识别结果;
411、基于天气类别和情绪识别结果得到驾驶员在当前状态下的情绪类型,基于驾驶员在当前状态下的情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。
本实施例中步骤401-403、411与第一实施例中的步骤101-103、105类似,此处不再赘述。
本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
请参阅图5,本发明实施例中桌面背景动态展示方法的第五个实施例包括:
501、基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
502、对天气环境图像进行特征提取,得到天气环境图像中的天气特征;
503、将天气环境图像中的天气特征与预设气象数据库进行匹配,确定天气环境图像对应的天气类别;
504、采集驾驶员的驾驶行为数据;
505、对驾驶行为数据进行预处理,得到驾驶行为识别数据,并对驾驶行为识别数据进行特征提取,得到驾驶行为识别数据的目标情绪特征数据;
506、将目标情绪特征数据输入到情绪识别模型的神经网络,得到情绪分析数据;
本实施例中,将目标情绪特征数据输入到情绪识别模型的神经网络,得到情绪分析数据。其中,该情绪识别模型的网络框架是按预设系数对基准网络框架扩张调整确定,所述基准网络框架的参数数量小于所述情绪识别模型的网络框架的参数数量。
本实施例中,该情绪识别模型是利用上述实施例的情绪识别模型的训练方法训练得到的。该情绪识别模型可以包括第一神经网络和第二神经网络,具体地,第一神经网络为深度神经网络DNN和第二神经网络为卷积循环神经网络CRNN。
具体地,可以将第一情绪特征数据输入到第一神经网络,输出第一情绪分析数据;将第二情绪特征数据输入到第二神经网络,输出第二情绪分析数据。拼接第一情绪分析数据和第二情绪分析数据,得到拼接数据结果;最后,通过分类算法对该拼接数据结果进行分类识别,得到所述用户的情绪结果,具体可以通过soft-max进行情绪分类识别。
507、基于预设分类算法对情绪分析数据进行分类识别,得到驾驶员的情绪识别结果;
本实施例中,基于预设分类算法对情绪分析数据进行分类识别,得到驾驶员的情绪识别结果。该情绪识别模型是利用上述实施例的情绪识别模型的训练方法训练得到的。该情绪识别模型可以包括第一神经网络和第二神经网络,具体地,第一神经网络为深度神经网络DNN和第二神经网络为卷积循环神经网络CRNN。
具体地,可以将第一情绪特征数据输入到第一神经网络,输出第一情绪分析数据;将第二情绪特征数据输入到第二神经网络,输出第二情绪分析数据。拼接第一情绪分析数据和第二情绪分析数据,得到拼接数据结果;最后,通过分类算法对该拼接数据结果进行分类识别,得到所述用户的情绪结果,具体可以通过soft-max进行情绪分类识别。
508、基于天气类别和情绪识别结果得到驾驶员在当前状态下的情绪类型,基于驾驶员在当前状态下的情绪类型得到对应的背景,并基于背景更换车载桌面中的背景;
509、在移动终端有网络连接的状态下,更新每天的天气预报信息;
本实施例中,在移动终端有网络连接的状态下,更新每天的天气预报信息。具体地,预设数据库支持联网自动更新特征值,从而提高匹配的准确度与丰富度。
510、对天气预报信息进行特征提取,得到天气预报信息的天气特征,并将天气特征存储至预设气象数据库,生成天气特征数据库。
本实施例中,对天气预报信息进行特征提取,得到天气预报信息的天气特征,并将天气特征存储至预设气象数据库,生成天气特征数据库。
具体地,为了使最终用于天气分类的特征具有较好的分类性能和较强的鲁棒性,综合考虑所提天气特征和已有天气特征的特征重要性进行特征选择。目前基于单幅户外彩色图像的天气特征主要包括天空颜色对特征fsc、LAB颜色空间特征flab、K近邻阴影特征fknn、对比度特征fco、色调特征fhue、反射光特征fre和饱和度特征fsa。
本实施例中步骤501-503、508与第一实施例中的101-103、105类似,此处不再赘述。
在本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
上面对本发明实施例中桌面背景动态展示方法进行了描述,下面对本发明实施例中桌面背景动态展示装置进行描述,请参阅图6,本发明实施例中桌面背景动态展示装置的第一个实施例包括:
采集模块601,用于基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
特征提取模块602,用于对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征;
确定模块603,用于将所述天气环境图像中的天气特征与预设气象数据库进行匹配,确定所述天气环境图像对应的天气类别;
情绪识别模块604,用于采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果;
更换模块605,用于基于所述天气类别和所述情绪识别结果得到所述驾驶员在当前状态下的情绪类型,基于所述驾驶员在当前状态下的情绪类型得到对应的背景,并基于所述背景更换所述车载桌面中的背景。
本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
请参阅图7,本发明实施例中桌面背景动态展示装置的第二个实施例,该桌面背景动态展示装置具体包括:
采集模块601,用于基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
特征提取模块602,用于对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征;
确定模块603,用于将所述天气环境图像中的天气特征与预设气象数据库进行匹配,确定所述天气环境图像对应的天气类别;
情绪识别模块604,用于采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果;
更换模块605,用于基于所述天气类别和所述情绪识别结果得到所述驾驶员在当前状态下的情绪类型,基于所述驾驶员在当前状态下的情绪类型得到对应的背景,并基于所述背景更换所述车载桌面中的背景。
本实施例中,所述特征提取模块602具体用于:
对所述天气环境图像进行特征提取,得到所述天气环境图像的天气特征图;
对所述天气特征图进行复合特征提取,得到所述天气特征图的第一特征数据;
基于所述第一特征数据中携带的显性特征对所述天气特征图进行过滤,得到所述天气特征图的第二特征数据;
基于所述第一特征数据和所述第二特征数据,得到所述天气环境图像中的天气特征。
本实施例中,所述情绪识别模块604包括:
采集单元6041,用于采集驾驶员的驾驶行为数据;
特征提取单元6042,用于对所述驾驶行为数据进行预处理,得到驾驶行为识别数据,并对所述驾驶行为识别数据进行特征提取,得到所述驾驶行为识别数据的目标情绪特征数据;
情绪识别单元6043,用于基于所述目标情绪特征数据,对所述驾驶员的情绪进行识别,得到所述驾驶员的情绪识别结果。
本实施例中,所述特征提取单元6042具体用于:
对所述语音数据进行分割,生成音频识别数据,并对所述音频识别数据进行特征提取,得到所述音频识别数据的第一情绪特征数据;
基于预设人脸识别图像对所述面部图像数据进行人脸识别,生成包含所述驾驶员面部的图像识别数据,并对所述图像识别数据进行特征提取,得到所述图像识别数据的第二情绪特征数据;
对所述驾驶员的驾驶操作数据进行解析,得到所述驾驶员驾驶车辆时的行为检测数据,并将所述行为检测数据与预设数据库中的正常驾驶数据进行匹配,得到所述行为检测数据的第三情绪特征数据;
基于预设权重对所述第一情绪特征数据、所述第二情绪特征数据以及所述第三情绪特征数据进行特征融合,得到所述驾驶行为识别数据的目标情绪特征数据。
本实施例中,所述特征提取单元6042具体还用于:
对所述语音数据进行分割,得到所述语音数据的多个子语音数据;
对所述子语音数据进行特征提取,得到所述子语音数据的特征数据;
将所述特征数据与预设的多个特征统计量数据进行匹配,得到与所述子语音数据的特征数据集;
基于所述子语音数据的特征数据集和所述子语音数据对应的所有特征数据,计算所述子语音数据的特征量匹配度;
基于所述特征量匹配度,确定音频识别数据。
本实施例中,所述情绪识别单元6043具体用于:
将所述目标情绪特征数据输入到所述情绪识别模型的神经网络,得到情绪分析数据;
基于预设分类算法对所述情绪分析数据进行分类识别,得到所述驾驶员的情绪识别结果。
本实施例中,所述桌面背景动态展示装置还包括:
更新模块606,用于在移动终端有网络连接的状态下,更新每天的天气预报信息;
生成模块607,用于对所述天气预报信息进行特征提取,得到所述天气预报信息的天气特征,并将所述天气特征存储至预设气象数据库,生成天气特征数据库。
本发明实施例中,通过对当前驾驶场景中采集的天气环境图像进行特征提取,得到天气环境图像的天气特征;将该天气特征与预设气象数据库进行匹配,确定当前驾驶场景对应的天气;采集驾驶员的驾驶行为数据,并基于驾驶行为数据对驾驶员进行情绪识别,得到驾驶员的情绪识别结果;基于天气类别和情绪识别结果得到驾驶员当前状态下的情绪类型,基于所述情绪类型得到对应的背景,并基于背景更换车载桌面中的背景。本发明通过将当前天气类别和驾驶员的情绪类型相结合,对车载桌面的背景进行实时展示,提升驾乘人员的心情愉悦度,提高驾驶的安全性。
上面图6和图7从模块化功能实体的角度对本发明实施例中的桌面背景动态展示装置进行详细描述,下面从硬件处理的角度对本发明实施例中桌面背景动态展示设备进行详细描述。
图8是本发明实施例提供的一种桌面背景动态展示设备的结构示意图,该桌面背景动态展示设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)810(例如,一个或一个以上处理器)和存储器820,一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对桌面背景动态展示设备800中的一系列指令操作。更进一步地,处理器810可以设置为与存储介质830通信,在桌面背景动态展示设备800上执行存储介质830中的一系列指令操作,以实现上述各方法实施例提供的桌面背景动态展示方法的步骤。
桌面背景动态展示设备800还可以包括一个或一个以上电源840,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口860,和/或,一个或一个以上操作系统831,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图8示出的桌面背景动态展示设备结构并不构成对本申请提供的桌面背景动态展示设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行上述桌面背景动态展示方法的步骤。
所述领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种桌面背景动态展示方法,其特征在于,所述桌面背景动态展示方法包括:
基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征;
将所述天气环境图像中的天气特征与预设气象数据库进行匹配,确定所述天气环境图像对应的天气类别;
采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果;
基于所述天气类别和所述情绪识别结果得到所述驾驶员在当前状态下的情绪类型,基于所述驾驶员在当前状态下的情绪类型得到对应的背景,并基于所述背景更换所述车载桌面中的背景。
2.根据权利要求1所述的桌面背景动态展示方法,其特征在于,所述对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征包括:
对所述天气环境图像进行特征提取,得到所述天气环境图像的天气特征图;
对所述天气特征图进行复合特征提取,得到所述天气特征图的第一特征数据;
基于所述第一特征数据中携带的显性特征对所述天气特征图进行过滤,得到所述天气特征图的第二特征数据;
基于所述第一特征数据和所述第二特征数据,得到所述天气环境图像中的天气特征。
3.根据权利要求1所述的桌面背景动态展示方法,其特征在于,所述采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果包括:
采集驾驶员的驾驶行为数据;
对所述驾驶行为数据进行预处理,得到驾驶行为识别数据,并对所述驾驶行为识别数据进行特征提取,得到所述驾驶行为识别数据的目标情绪特征数据;
基于所述目标情绪特征数据,对所述驾驶员的情绪进行识别,得到所述驾驶员的情绪识别结果。
4.根据权利要求3所述的桌面背景动态展示方法,其特征在于,所述驾驶行为数据包括语音数据、面部图像数据以及所述驾驶员的驾驶操作数据中的至少一个;所述对所述驾驶行为数据进行预处理,得到驾驶行为识别数据,并对所述驾驶行为识别数据进行特征提取,得到所述驾驶行为识别数据的目标情绪特征数据包括:
对所述语音数据进行分割,生成音频识别数据,并对所述音频识别数据进行特征提取,得到所述音频识别数据的第一情绪特征数据;
基于预设人脸识别图像对所述面部图像数据进行人脸识别,生成包含所述驾驶员面部的图像识别数据,并对所述图像识别数据进行特征提取,得到所述图像识别数据的第二情绪特征数据;
对所述驾驶员的驾驶操作数据进行解析,得到所述驾驶员驾驶车辆时的行为检测数据,并将所述行为检测数据与预设数据库中的正常驾驶数据进行匹配,得到所述行为检测数据的第三情绪特征数据;
基于预设权重对所述第一情绪特征数据、所述第二情绪特征数据以及所述第三情绪特征数据进行特征融合,得到所述驾驶行为识别数据的目标情绪特征数据。
5.根据权利要求4所述的桌面背景动态展示方法,其特征在于,所述对所述语音数据进行分割,生成音频识别数据包括:
对所述语音数据进行分割,得到所述语音数据的多个子语音数据;
对所述子语音数据进行特征提取,得到所述子语音数据的特征数据;
将所述特征数据与预设的多个特征统计量数据进行匹配,得到与所述子语音数据的特征数据集;
基于所述子语音数据的特征数据集和所述子语音数据对应的所有特征数据,计算所述子语音数据的特征量匹配度;
基于所述特征量匹配度,确定音频识别数据。
6.根据权利要求1-5中任一项所述的桌面背景动态展示方法,其特征在于,所述情绪识别模型包括第一神经网络和第二神经网络,所述基于所述目标情绪特征数据,对所述驾驶员的情绪进行识别,得到所述驾驶员的情绪识别结果包括:
将所述目标情绪特征数据输入到所述情绪识别模型的神经网络,得到情绪分析数据;
基于预设分类算法对所述情绪分析数据进行分类识别,得到所述驾驶员的情绪识别结果。
7.根据权利要求1所述的桌面背景动态展示方法,其特征在于,在所述将所述图像区域中的天气特征与预设气象数据库进行匹配,确定所述天气图像数据对应的天气类别之前,还包括:
在移动终端有网络连接的状态下,更新每天的天气预报信息;
对所述天气预报信息进行特征提取,得到所述天气预报信息的天气特征,并将所述天气特征存储至预设气象数据库,生成天气特征数据库。
8.一种桌面背景动态展示装置,其特征在于,所述桌面背景动态展示装置包括:
采集模块,用于基于预设图像采集设备采集当前驾驶场景中的天气环境图像;
特征提取模块,用于对所述天气环境图像进行特征提取,得到所述天气环境图像中的天气特征;
确定模块,用于将所述天气环境图像中的天气特征与预设气象数据库进行匹配,确定所述天气环境图像对应的天气类别;
情绪识别模块,用于采集驾驶员的驾驶行为数据,并基于所述驾驶行为数据对所述驾驶员进行情绪识别,得到所述驾驶员的情绪识别结果;
更换模块,用于基于所述天气类别和所述情绪识别结果得到所述驾驶员在当前状态下的情绪类型,基于所述驾驶员在当前状态下的情绪类型得到对应的背景,并基于所述背景更换所述车载桌面中的背景。
9.一种桌面背景动态展示设备,其特征在于,所述桌面背景动态展示设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述桌面背景动态展示设备执行如权利要求1-7中任一项所述的桌面背景动态展示方法的各个步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的桌面背景动态展示方法的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210471224.5A CN114821552A (zh) | 2022-04-28 | 2022-04-28 | 桌面背景动态展示方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210471224.5A CN114821552A (zh) | 2022-04-28 | 2022-04-28 | 桌面背景动态展示方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114821552A true CN114821552A (zh) | 2022-07-29 |
Family
ID=82508703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210471224.5A Pending CN114821552A (zh) | 2022-04-28 | 2022-04-28 | 桌面背景动态展示方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821552A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116483497A (zh) * | 2023-04-21 | 2023-07-25 | 成都赛力斯科技有限公司 | 车辆壁纸生成方法、装置及汽车 |
-
2022
- 2022-04-28 CN CN202210471224.5A patent/CN114821552A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116483497A (zh) * | 2023-04-21 | 2023-07-25 | 成都赛力斯科技有限公司 | 车辆壁纸生成方法、装置及汽车 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
US8687887B2 (en) | Image processing method, image processing apparatus, and image processing program | |
US8238605B2 (en) | Digital video target moving object segmentation method and system | |
CN108280426B (zh) | 基于迁移学习的暗光源表情识别方法及装置 | |
CN112183334B (zh) | 一种基于多模态特征融合的视频深度关系分析方法 | |
WO2022166625A1 (zh) | 一种车辆行驶场景中信息推送的方法以及相关装置 | |
CN114724222B (zh) | 一种基于多模态的ai数字人情感分析方法 | |
Karaman et al. | Human daily activities indexing in videos from wearable cameras for monitoring of patients with dementia diseases | |
CN116129291A (zh) | 一种面向无人机畜牧的图像目标识别方法及其装置 | |
CN114821552A (zh) | 桌面背景动态展示方法、装置、设备及存储介质 | |
Jain et al. | A hybrid approach for detection and recognition of traffic text sign using MSER and OCR | |
CN113128284A (zh) | 一种多模态情感识别方法和装置 | |
CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
CN113920561A (zh) | 一种基于零样本学习的人脸表情识别方法及装置 | |
CN112818826A (zh) | 目标识别方法及装置、电子设备及存储介质 | |
CN115620268A (zh) | 一种多模态情绪识别方法、装置、电子设备及存储介质 | |
US8223835B2 (en) | Categorizing moving objects into familiar colors in video | |
CN115063800B (zh) | 文本识别方法和电子设备 | |
CN111768729A (zh) | 一种vr场景自动解说方法、系统和存储介质 | |
CN108197593B (zh) | 基于三点定位方法的多尺寸人脸表情识别方法及装置 | |
CN111582278A (zh) | 人像分割方法、装置及电子设备 | |
CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
CN114332798A (zh) | 网约车环境信息的处理方法及相关装置 | |
CN112784631A (zh) | 一种基于深度神经网络进行人脸情绪识别的方法 | |
CN112633287A (zh) | 一种面向矿井多源异构图文信息的文本识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |