CN111680592A - 车内生物检测方法、装置、设备及存储介质 - Google Patents
车内生物检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111680592A CN111680592A CN202010471228.4A CN202010471228A CN111680592A CN 111680592 A CN111680592 A CN 111680592A CN 202010471228 A CN202010471228 A CN 202010471228A CN 111680592 A CN111680592 A CN 111680592A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- preset
- biological
- image
- biological detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 272
- 230000004927 fusion Effects 0.000 claims abstract description 85
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims description 103
- 238000012549 training Methods 0.000 claims description 47
- 230000031018 biological processes and functions Effects 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 7
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 229910002092 carbon dioxide Inorganic materials 0.000 description 3
- 239000001569 carbon dioxide Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 231100000817 safety factor Toxicity 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于车内检测技术领域，公开了一种车内生物检测方法、装置、设备及存储介质。该方法通过获取预置摄像头的车内红外图像和车内可见光图像；对车内红外图像和车内可见光图像进行预设图像变换，获得车内融合图像；获取当前车辆状态，判断当前车辆状态是否为预设车辆状态；在当前车辆状态为预设车辆状态时，根据车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。本发明中将车内图像进行预设图像变换获得融合图像，通过预设生物检测模型采用深度学习技术车内生物检测识别准确度高且适用于不同工况提高了车内检测利用率，解决了现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
Description
技术领域
本发明涉及车内检测技术领域，尤其涉及一种车内生物检测方法、装置、设备及存储介质。
背景技术
在进行车内生命遗留检测时，通过安装在车内的检测传感器、报警系统以及摄像装置进行检测，当车辆熄火并落锁时，开启生物检测，若检测到车内有生命，则执行一系列操作，若未检测到生命，则关闭系统。但是当车辆停在处于嘈杂的环境中，容易产生误识别；如红外探测器，当车辆停在处于气温较高的环境中，容易对探测器产生干扰；如二氧化碳探测器，当温度较低时，车辆可能长时间处于关窗及关闭空调的状态，此时车内二氧化碳浓度偏高，严重影响二氧化碳探测器的识别精度。同时，该检测传感器无法表达深层次语义信息，即当检测到有生命特征时，只能反馈是否存在生命特征，不能反馈是什么生命特征。
此外，通过物联网检测传感子系统和云数据分析预警软件子系统进行车内生命遗留检测时，通过高精度红外设备获取热量信息，并与云平台大数据进行比对判断车内的生命，再进行报警及相关操作。但是高精度热释电红外设备容易受到温度的干扰，在夏季车辆长期处于暴晒使得车内温度上升，容易干扰红外设备的工作；由于儿童、成人、宠物的体型不同或身体状态和环境不同会呈现不一样的热量状态，通过对比热量图源来获取车内生物属性存在较大局限性；上述检测传感器均只在停车落锁后开启，并不能最大化利用传感器，严重制约了整车成本。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种车内生物检测方法、装置、设备及存储介质，旨在解决现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
为实现上述目的，本发明提供了一种车内生物检测方法，所述车内生物检测方法包括以下步骤：
获取预置摄像头的车内红外图像和车内可见光图像；
对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；
获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；
在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
优选地，所述预设图像变换包括剪切波变换和逆剪切波变换；
所述对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像的步骤，具体包括：
对所述车内红外图像进行剪切波变换，获得第一低频子带系数和第一高频子带系数；
对所述车内可见光图像进行剪切波变换，获得第二低频子带系数和第二高频子带系数；
根据所述第一低频子带系数和所述第二低频子带系数进行低频融合，获得目标低频子带系数；
根据所述第一高频子带系数和所述第二高频子带系数进行高频融合，获得目标高频子带系数；
对所述目标低频子带系数和所述目标高频子带系数进行逆剪切波变换，获得车内融合图像。
优选地，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之前，还包括：
获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型；
将所述训练后的深度神经网络模型作为预设生物检测模型。
优选地，所述获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型的步骤，具体包括：
获取初始深度神经网络模型；
通过所述初始深度神经网络模型的卷积层对所述预设训练集进行特征提取，生成特征图；
通过所述初始深度神经网络模型的区域估计网络获取所述特征图对应的目标区域；
根据所述目标区域对所述区域估计网络的目标窗口进行调整；
根据调整后的目标窗口确定所述区域估计网络的窗口回归损失函数；
在所述窗口回归损失函数满足预设阈值时，获得训练后的深度神经网络模型。
优选地，所述预设生物检测模型包括预设生物对象检测深度神经网络模型；
所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤，具体包括：
在所述当前车辆状态为熄火状态时，根据所述车内融合图像通过所述预设生物对象检测深度神经网络模型进行生物对象检测，获得车内生物检测结果。
优选地，所述预设生物检测模型还包括预设生物疲劳检测深度神经网络模型以及预设生物动作检测深度神经网络模型；
所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤，具体包括：
在所述当前车辆状态为启动状态时，根据所述车内融合图像通过所述预设生物疲劳检测深度神经网络模型进行生物疲劳检测，获得疲劳检测结果；
根据所述车内融合图像通过所述预设生物动作检测深度神经网络模型进行生物动作检测，获得动作检测结果；
将所述疲劳检测结果和动作检测结果作为车内生物检测结果。
优选地，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之后，还包括：
判断所述车内生物检测结果是否为识别到车内生命信息；
在所述车内生物检测结果为识别到所述车内生命信息时，根据所述车内生物检测结果执行预设操作，并将所述车内生物检测结果发送至预设接收平台。
此外，为实现上述目的，本发明还提出一种车内生物检测装置，所述车内生物检测装置包括：
获取模块，用于获取预置摄像头的车内红外图像和车内可见光图像；
融合模块，用于对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；
判断模块，用于获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；
检测模块，用于在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
此外，为实现上述目的，本发明还提出一种车内生物检测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车内生物检测程序，所述车内生物检测程序配置为实现如上文所述的车内生物检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有车内生物检测程序，所述车内生物检测程序被处理器执行时实现如上文所述的车内生物检测方法的步骤。
本发明通过获取预置摄像头的车内红外图像和车内可见光图像；对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。通过上述方式，将车内图像进行预设图像变换获得融合图像，通过预设生物检测模型采用深度学习技术用于车内生物检测及识别，准确度高，且适用于不同工况提高了车内检测利用率，提高了整车及车内人员安全系数，解决了现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的车内生物检测设备的结构示意图；
图2为本发明车内生物检测方法第一实施例的流程示意图；
图3为本发明车内生物检测方法第二实施例的流程示意图；
图4为本发明车内生物检测方法第三实施例的流程示意图；
图5为本发明车内生物检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的车内生物检测设备结构示意图。
如图1所示，该车内生物检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对车内生物检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车内生物检测程序。
在图1所示的车内生物检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明车内生物检测设备中的处理器1001、存储器1005可以设置在车内生物检测设备中，所述车内生物检测设备通过处理器1001调用存储器1005中存储的车内生物检测程序，并执行本发明实施例提供的车内生物检测方法。
本发明实施例提供了一种车内生物检测方法，参照图2，图2为本发明一种车内生物检测方法第一实施例的流程示意图。
本实施例中，所述车内生物检测方法包括以下步骤：
步骤S10：获取预置摄像头的车内红外图像和车内可见光图像。
需要说明的是，所述预置摄像头可以为安装在车内的红外摄像头传感器与可见光摄像头传感器，红外摄像头传感器与可见光摄像头传感器用于检测及识别车内生物目标，车内生物目标可以包括车内生命体如驾驶员以及乘客等，本实施例中红外摄像头传感器与可见光摄像头传感器可以安装在车辆遮阳板旁5～10cm范围内的位置处，该车辆还包括域控制器和执行器，域控制器用于处理红外摄像头传感器与可见光摄像头传感器的感知信息，并在感知信息处理后输出执行信号给执行器。红外摄像头传感器与可见光摄像头传感器也可以根据实际情况进行设置，本实施例对此不加以限制。其中，红外摄像头传感器与可见光摄像头传感器采用独立于车辆供电系统的电源供电，能保证在车辆熄火关闭的状态下仍能够开启工作。
应当理解的是，所述获取预置摄像头的车内红外图像和车内可见光图像的步骤之前，还可以包括：对预置摄像头即红外摄像头传感器与可见光摄像头传感器进行标定以及滤波，获得高度空间配准的车内红外图像和车内可见光图像。
步骤S20：对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像。
易于理解的是，所述预设图像变换包括剪切波变换和逆剪切波变换；所述对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像的步骤，具体包括：对所述车内红外图像进行剪切波变换，获得第一低频子带系数和第一高频子带系数；对所述车内可见光图像进行剪切波变换，获得第二低频子带系数和第二高频子带系数；根据所述第一低频子带系数和所述第二低频子带系数进行低频融合，获得目标低频子带系数；根据所述第一高频子带系数和所述第二高频子带系数进行高频融合，获得目标高频子带系数；对所述目标低频子带系数和所述目标高频子带系数进行逆剪切波变换，获得车内融合图像。
步骤S30：获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态。
需要说明的是，所述预设车辆状态可以包括熄火状态和启动状态；其中，所述熄火状态可以为车辆熄火并且车门上锁的状态，所述启动状态可以为车辆启动且车辆速度大于20km/h的状态。
具体地，在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
步骤S40：在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
易于理解的是，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之前，还包括：获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型；将所述训练后的深度神经网络模型作为预设生物检测模型。
需要说明的是，所述获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型的步骤，具体包括：获取初始深度神经网络模型；通过所述初始深度神经网络模型的卷积层对所述预设训练集进行特征提取，生成特征图；通过所述初始深度神经网络模型的区域估计网络获取所述特征图对应的目标区域；根据所述目标区域对所述区域估计网络的目标窗口进行调整；根据调整后的目标窗口确定所述区域估计网络的窗口回归损失函数；在所述窗口回归损失函数满足预设阈值时，获得训练后的深度神经网络模型。
具体地，所述预设训练集可以包括生物对象训练集、生物疲劳训练集和生物动作训练集；所述预设车辆状态可以包括熄火状态和启动状态；所述预设生物检测模型包括预设生物对象检测深度神经网络模型；在所述当前车辆状态为熄火状态时，根据所述车内融合图像通过所述预设生物对象检测深度神经网络模型进行生物对象检测，获得车内生物检测结果。
在所述当前车辆状态为启动状态时，根据所述车内融合图像通过所述预设生物疲劳检测深度神经网络模型进行生物疲劳检测，获得疲劳检测结果；根据所述车内融合图像通过所述预设生物动作检测深度神经网络模型进行生物动作检测，获得动作检测结果；将所述疲劳检测结果和动作检测结果作为车内生物检测结果。
应当理解的是，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之后，还可以包括：判断所述车内生物检测结果是否为识别到车内生命信息；在所述车内生物检测结果为识别到所述车内生命信息时，根据所述车内生物检测结果执行预设操作，并将所述车内生物检测结果发送至预设接收平台。
具体地，在所述当前车辆状态为车辆熄火并且车门上锁的状态时，根据所述车内融合图像通过所述预设生物对象检测深度神经网络模型进行生物对象检测，获得车内生物检测结果。在所述车内生物检测结果为识别到所述车内生命信息时，输出信号给执行器，执行器可以通过通信模块例如5G模块把识别到的车内生命信息传输给驾驶员的移动终端，同时执行下降车窗、闪烁车灯、开启车辆空调等操作。
在所述当前车辆状态为车辆启动且车辆速度大于20km/h时，根据所述车内融合图像通过所述预设生物疲劳检测深度神经网络模型进行生物疲劳检测，获得疲劳检测结果。在所述疲劳检测结果为识别到驾驶员疲劳时，输出信号给执行器，执行器可以通过人机接口提示驾驶员、车内音响提醒驾驶员，当驾驶员在预设时间内仍然不作出响应时(如：取消人机接口提示或关闭车内音响提醒)，车辆自动减速至停止，同时下降车窗、闪烁车灯、开启车辆空调等。
在所述当前车辆状态为车辆启动且车辆速度大于20km/h时，根据所述车内融合图像通过所述预设生物动作检测深度神经网络模型进行生物动作检测，获得动作检测结果。在所述动作检测结果为识别到存在危险动作时，输出信号给执行器，执行器可以通过人机接口提示、车内音响提醒，以提醒驾驶员规范乘客乘车。
本实施例通过获取预置摄像头的车内红外图像和车内可见光图像；对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。通过上述方式，将车内图像进行预设图像变换获得融合图像，通过预设生物检测模型采用深度学习技术用于车内生物检测及识别，准确度高，且适用于不同工况提高了车内检测利用率，提高了整车及车内人员安全系数，解决了现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
参考图3，图3为本发明一种车内生物检测方法第二实施例的流程示意图。基于上述第一实施例，本实施例车内生物检测方法在所述步骤S20，具体包括：
步骤S201：对所述车内红外图像进行剪切波变换，获得第一低频子带系数和第一高频子带系数。
需要说明的是，对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像，所述预设图像变换包括剪切波变换和逆剪切波变换。
具体地，所述车内红外图像可以通过有限离散剪切波变换得到所述车内红外图像的低频子带系数和所述车内红外图像的高频子带系数，所述车内红外图像的低频子带系数为第一低频子带系数，所述车内红外图像的高频子带系数为第一高频子带系数。
步骤S202：对所述车内可见光图像进行剪切波变换，获得第二低频子带系数和第二高频子带系数。
易于理解的是，所述车内可见光图像可以通过有限离散剪切波变换得到所述车内可见光图像的低频子带系数和所述车内可见光图像的高频子带系数，所述车内可见光图像的低频子带系数为第二低频子带系数，所述车内可见光图像的高频子带系数为第二高频子带系数。
步骤S203：根据所述第一低频子带系数和所述第二低频子带系数进行低频融合，获得目标低频子带系数。
需要说明的是，所述第一低频子带系数和所述第二低频子带系数可以进行低频融合，得到车内融合图像的低频子带系数即目标低频子带系数，所述目标低频子带系数的计算式为：
其中，LF为目标低频子带系数，LA为第一低频子带系数，LB为第二低频子带系数，σA(x,y)为第一低频子带系数的区域方差，σB(x,y)为第二低频子带系数的区域方差，σA(x,y)与σB(x,y)均满足σ(x,y)，其中σ(x,y)满足下式：
其中，n×m表示低频子带系数的大小，m(i,j)为局部均值，x(k,l)为低频子带系数内的某点，σ(x,y)代表区域方差，对比所述第一低频子带系数和所述第二低频子带系数的区域方差大小，即保留最大区域方差的低频子带系数为目标低频子带系数。
步骤S204：根据所述第一高频子带系数和所述第二高频子带系数进行高频融合，获得目标高频子带系数。
易于理解的是，所述第一高频子带系数和所述第二高频子带系数可以进行高频融合，得到车内融合图像的高频子带系数即目标高频子带系数，所述目标高频子带系数的计算式为：
其中，
为车内融合图像的第k层、第j方向上对应像素点(x，y)的高频分量，
为车内红外图像的第k层、第j方向上对应像素点(x，y)的高频分量，
为车内可见光图像的第k层、第j方向上对应像素点(x，y)的高频分量，
为车内红外图像的第k层、第j方向上对应像素点(x，y)的S(x，y)，
为车内可见光图像的第k层、第j方向上对应像素点(x，y)的S(x，y)，其中S(x，y)满足下式：
其中，(x，y)为像素点，Gx代表使用Prewitt梯度算子求得的x方向的图像梯度，Gy代表使用Prewitt梯度算子求得的y方向的图像梯度，Gx的Prewitt梯度算子为：
Gy的Prewitt梯度算子为：
步骤S205：对所述目标低频子带系数和所述目标高频子带系数进行逆剪切波变换，获得车内融合图像。
需要说明的是，所述目标低频子带系数和所述目标高频子带系数可以通过有限离散剪切波逆变换，得到车内融合图像。
本实施例通过对所述车内红外图像进行剪切波变换，获得第一低频子带系数和第一高频子带系数；对所述车内可见光图像进行剪切波变换，获得第二低频子带系数和第二高频子带系数；根据所述第一低频子带系数和所述第二低频子带系数进行低频融合，获得目标低频子带系数；根据所述第一高频子带系数和所述第二高频子带系数进行高频融合，获得目标高频子带系数；对所述目标低频子带系数和所述目标高频子带系数进行逆剪切波变换，获得车内融合图像。通过上述方式，提高了融合图像的辨识度，融合图像能够可观真实地展现设备的周围环境信息，且计算过程较为简单，通过预设生物检测模型采用深度学习技术用于车内生物检测及识别，准确度高，且适用于不同工况提高了车内检测利用率，提高了整车及车内人员安全系数，解决了现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
参考图4，图4为本发明一种车内生物检测方法第三实施例的流程示意图。基于上述第一实施例，本实施例车内生物检测方法在所述步骤S40之前，还包括：
步骤S401：获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型。
需要说明的是，获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型的步骤，具体包括：获取初始深度神经网络模型；通过所述初始深度神经网络模型的卷积层对所述预设训练集进行特征提取，生成特征图；通过所述初始深度神经网络模型的区域估计网络获取所述特征图对应的目标区域；根据所述目标区域对所述区域估计网络的目标窗口进行调整；根据调整后的目标窗口确定所述区域估计网络的窗口回归损失函数；在所述窗口回归损失函数满足预设阈值时，获得训练后的深度神经网络模型。
具体地，所述预设训练集包括生物对象训练集、生物疲劳训练集和生物动作训练集；生物对象训练集包括婴儿、小孩、成人、宠物等；生物疲劳训练集包括驾驶员瞌睡、注意力不集中、抽烟、打电话等；生物动作训练集包括头手伸出窗外、坐姿不正确等。
应当理解的是，通过所述初始深度神经网络模型的卷积层对所述预设训练集进行特征提取，生成特征图，特征提取可以包括13个卷积层、13个激活层、4个池化层，其中，
卷积层的计算式为：
其中，
为上一迭代层的输入，
为卷积核矩阵，
为偏置矩阵，
为当前卷积层的输出，i为输入的第i个，j为输入的第j个，Mj为输入的个数，l为层数。
激活层的计算式为：
其中，x为激活层的输入。
池化层的计算式为：
其中，
为当前池化层的输入，down()为一个下采样函数；经过特征提取后，生成特征图。
易于理解的是，区域估计网络可以包括候选窗口及窗口回归，候选窗口由9个不同大小的窗口组成，9个候选窗口的大小分别是{128×256}、{256×128}、{128×128}、{256×512}、{512×256}、{256×256}、{512×1024}、{1024×512}、{512×512}，一共9种成比例的不同面积大小的窗口。对特征图上进行的卷积，候选窗口位于卷积核的中心位置，候选窗口与预设训练集中目标窗口的重合度IOV满足：
其中，p为二分类标签，若p＝1时，候选窗口包含目标，此时对应正标签，若p＝0时，候选窗口不包含目标，候选窗口是背景，此时对应负标签，若p＝not used时，候选窗口不包含目标和背景，此时候选窗口没有贡献不参与训练标签。
需要说明的是，窗口回归有预设训练集中对应真实目标窗口的起点(x*,y*)，真实目标窗口的宽与高(w*,h*)，对应候选目标窗口的起点(xa,ya)，真实目标窗口的宽与高(wa,ha)，对应预测目标窗口的起点(x,y)，真实目标窗口的宽与高(w,h)。窗口回归损失函数Rreg的计算式为：
其中，
有tx＝(x-xa)/wa，ty＝(y-ya)/ha，
其中，在所述窗口回归损失函数Rreg满足预设阈值时，获得训练后的深度神经网络模型，即在所述窗口回归损失函数Rreg趋于0时，深度神经网络模型训练完成，获得训练后的深度神经网络模型。
步骤S402：将所述训练后的深度神经网络模型作为预设生物检测模型。
易于理解的是，根据预设训练集对所述深度神经网络模型进行训练，获得训练后的生物对象检测深度神经网络模型、训练后的生物疲劳检测深度神经网络模型以及训练后的生物动作检测深度神经网络模型，可以将训练后的生物对象检测深度神经网络模型作为预设生物对象检测深度神经网络模型；可以将训练后的生物疲劳检测深度神经网络模型作为预设生物疲劳检测深度神经网络模型；可以将训练后的生物动作检测深度神经网络模型作为预设生物动作检测深度神经网络模型，可以由预设生物对象检测深度神经网络模型、预设生物疲劳检测深度神经网络模型以及预设生物动作检测深度神经网络模型构成预设生物检测模型。
本实施例通过获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型；将所述训练后的深度神经网络模型作为预设生物检测模型。通过上述方式，通过预设生物检测模型采用深度学习技术用于车内生物检测及识别，准确度高，且适用于不同工况提高了车内检测利用率，提高了整车及车内人员安全系数，解决了现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
参照图5，图5为本发明车内生物检测装置第一实施例的结构框图。
如图5所示，本发明实施例中所述车内生物检测装置包括：获取模块10、融合模块20、判断模块30以及检测模块40；其中，
获取模块10，用于获取预置摄像头的车内红外图像和车内可见光图像。
需要说明的是，所述预置摄像头可以为安装在车内的红外摄像头传感器与可见光摄像头传感器，红外摄像头传感器与可见光摄像头传感器用于检测及识别车内生物目标，车内生物目标可以包括车内生命体如驾驶员以及乘客等，本实施例中红外摄像头传感器与可见光摄像头传感器可以安装在车辆遮阳板旁5～10cm范围内的位置处，该车辆还包括域控制器和执行器，域控制器用于处理红外摄像头传感器与可见光摄像头传感器的感知信息，并在感知信息处理后输出执行信号给执行器。红外摄像头传感器与可见光摄像头传感器也可以根据实际情况进行设置，本实施例对此不加以限制。其中，红外摄像头传感器与可见光摄像头传感器采用独立于车辆供电系统的电源供电，能保证在车辆熄火关闭的状态下仍能够开启工作。
应当理解的是，所述获取预置摄像头的车内红外图像和车内可见光图像的步骤之前，还可以包括：对预置摄像头即红外摄像头传感器与可见光摄像头传感器进行标定以及滤波，获得高度空间配准的车内红外图像和车内可见光图像。
融合模块20，用于对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像。
易于理解的是，所述预设图像变换包括剪切波变换和逆剪切波变换；所述对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像的步骤，具体包括：对所述车内红外图像进行剪切波变换，获得第一低频子带系数和第一高频子带系数；对所述车内可见光图像进行剪切波变换，获得第二低频子带系数和第二高频子带系数；根据所述第一低频子带系数和所述第二低频子带系数进行低频融合，获得目标低频子带系数；根据所述第一高频子带系数和所述第二高频子带系数进行高频融合，获得目标高频子带系数；对所述目标低频子带系数和所述目标高频子带系数进行逆剪切波变换，获得车内融合图像。
判断模块30，用于获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态。
需要说明的是，所述预设车辆状态可以包括熄火状态和启动状态；其中，所述熄火状态可以为车辆熄火并且车门上锁的状态，所述启动状态可以为车辆启动且车辆速度大于20km/h的状态。
具体地，在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
检测模块40，用于在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
易于理解的是，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之前，还包括：获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型；将所述训练后的深度神经网络模型作为预设生物检测模型。
需要说明的是，所述获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型的步骤，具体包括：获取初始深度神经网络模型；通过所述初始深度神经网络模型的卷积层对所述预设训练集进行特征提取，生成特征图；通过所述初始深度神经网络模型的区域估计网络获取所述特征图对应的目标区域；根据所述目标区域对所述区域估计网络的目标窗口进行调整；根据调整后的目标窗口确定所述区域估计网络的窗口回归损失函数；在所述窗口回归损失函数满足预设阈值时，获得训练后的深度神经网络模型。
具体地，所述预设训练集可以包括生物对象训练集、生物疲劳训练集和生物动作训练集；所述预设车辆状态可以包括熄火状态和启动状态；所述预设生物检测模型包括预设生物对象检测深度神经网络模型；在所述当前车辆状态为熄火状态时，根据所述车内融合图像通过所述预设生物对象检测深度神经网络模型进行生物对象检测，获得车内生物检测结果。
在所述当前车辆状态为启动状态时，根据所述车内融合图像通过所述预设生物疲劳检测深度神经网络模型进行生物疲劳检测，获得疲劳检测结果；根据所述车内融合图像通过所述预设生物动作检测深度神经网络模型进行生物动作检测，获得动作检测结果；将所述疲劳检测结果和动作检测结果作为车内生物检测结果。
应当理解的是，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之后，还可以包括：判断所述车内生物检测结果是否为识别到车内生命信息；在所述车内生物检测结果为识别到所述车内生命信息时，根据所述车内生物检测结果执行预设操作，并将所述车内生物检测结果发送至预设接收平台。
具体地，在所述当前车辆状态为车辆熄火并且车门上锁的状态时，根据所述车内融合图像通过所述预设生物对象检测深度神经网络模型进行生物对象检测，获得车内生物检测结果。在所述车内生物检测结果为识别到所述车内生命信息时，输出信号给执行器，执行器可以通过通信模块例如5G模块把识别到的车内生命信息传输给驾驶员的移动终端，同时执行下降车窗、闪烁车灯、开启车辆空调等操作。
在所述当前车辆状态为车辆启动且车辆速度大于20km/h时，根据所述车内融合图像通过所述预设生物疲劳检测深度神经网络模型进行生物疲劳检测，获得疲劳检测结果。在所述疲劳检测结果为识别到驾驶员疲劳时，输出信号给执行器，执行器可以通过人机接口提示驾驶员、车内音响提醒驾驶员，当驾驶员在预设时间内仍然不作出响应时(如：取消人机接口提示或关闭车内音响提醒)，车辆自动减速至停止，同时下降车窗、闪烁车灯、开启车辆空调等。
在所述当前车辆状态为车辆启动且车辆速度大于20km/h时，根据所述车内融合图像通过所述预设生物动作检测深度神经网络模型进行生物动作检测，获得动作检测结果。在所述动作检测结果为识别到存在危险动作时，输出信号给执行器，执行器可以通过人机接口提示、车内音响提醒，以提醒驾驶员规范乘客乘车。
本实施例通过获取模块10，用于获取预置摄像头的车内红外图像和车内可见光图像；融合模块20，用于对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；判断模块30，用于获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；检测模块40，用于在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。通过上述方式，将车内图像进行预设图像变换获得融合图像，通过预设生物检测模型采用深度学习技术用于车内生物检测及识别，准确度高，且适用于不同工况提高了车内检测利用率，提高了整车及车内人员安全系数，解决了现有车内检测传感器深层语义信息识别能力差，利用率低，导致成本提高的技术问题。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有车内生物检测程序，所述车内生物检测程序被处理器执行如上文所述的车内生物检测方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的车内生物检测方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种车内生物检测方法，其特征在于，所述车内生物检测方法包括：
获取预置摄像头的车内红外图像和车内可见光图像；
对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；
获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；
在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
2.如权利要求1所述的车内生物检测方法，其特征在于，所述预设图像变换包括剪切波变换和逆剪切波变换；
所述对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像的步骤，具体包括：
对所述车内红外图像进行剪切波变换，获得第一低频子带系数和第一高频子带系数；
对所述车内可见光图像进行剪切波变换，获得第二低频子带系数和第二高频子带系数；
根据所述第一低频子带系数和所述第二低频子带系数进行低频融合，获得目标低频子带系数；
根据所述第一高频子带系数和所述第二高频子带系数进行高频融合，获得目标高频子带系数；
对所述目标低频子带系数和所述目标高频子带系数进行逆剪切波变换，获得车内融合图像。
3.如权利要求1所述的车内生物检测方法，其特征在于，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之前，还包括：
获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型；
将所述训练后的深度神经网络模型作为预设生物检测模型。
4.如权利要求3所述的车内生物检测方法，其特征在于，所述获取初始深度神经网络模型，并根据预设训练集对所述初始深度神经网络模型进行训练，获得训练后的深度神经网络模型的步骤，具体包括：
获取初始深度神经网络模型；
通过所述初始深度神经网络模型的卷积层对所述预设训练集进行特征提取，生成特征图；
通过所述初始深度神经网络模型的区域估计网络获取所述特征图对应的目标区域；
根据所述目标区域对所述区域估计网络的目标窗口进行调整；
根据调整后的目标窗口确定所述区域估计网络的窗口回归损失函数；
在所述窗口回归损失函数满足预设阈值时，获得训练后的深度神经网络模型。
5.如权利要求1所述的车内生物检测方法，其特征在于，所述预设生物检测模型包括预设生物对象检测深度神经网络模型；
所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤，具体包括：
在所述当前车辆状态为熄火状态时，根据所述车内融合图像通过所述预设生物对象检测深度神经网络模型进行生物对象检测，获得车内生物检测结果。
6.如权利要求5所述的车内生物检测方法，其特征在于，所述预设生物检测模型还包括预设生物疲劳检测深度神经网络模型以及预设生物动作检测深度神经网络模型；
所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤，具体包括：
在所述当前车辆状态为启动状态时，根据所述车内融合图像通过所述预设生物疲劳检测深度神经网络模型进行生物疲劳检测，获得疲劳检测结果；
根据所述车内融合图像通过所述预设生物动作检测深度神经网络模型进行生物动作检测，获得动作检测结果；
将所述疲劳检测结果和动作检测结果作为车内生物检测结果。
7.如权利要求1～6中任一项所述的车内生物检测方法，其特征在于，所述在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果的步骤之后，还包括：
判断所述车内生物检测结果是否为识别到车内生命信息；
在所述车内生物检测结果为识别到所述车内生命信息时，根据所述车内生物检测结果执行预设操作，并将所述车内生物检测结果发送至预设接收平台。
8.一种车内生物检测装置，其特征在于，所述车内生物检测装置包括：
获取模块，用于获取预置摄像头的车内红外图像和车内可见光图像；
融合模块，用于对所述车内红外图像和所述车内可见光图像进行预设图像变换，获得车内融合图像；
判断模块，用于获取当前车辆状态，判断所述当前车辆状态是否为预设车辆状态；
检测模块，用于在所述当前车辆状态为所述预设车辆状态时，根据所述车内融合图像通过预设生物检测模型进行车内生物检测，获得车内生物检测结果。
9.一种车内生物检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车内生物检测程序，所述车内生物检测程序配置为实现如权利要求1至7中任一项所述的车内生物检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有车内生物检测程序，所述车内生物检测程序被处理器执行时实现如权利要求1至7任一项所述的车内生物检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010471228.4A CN111680592A (zh) | 2020-05-28 | 2020-05-28 | 车内生物检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010471228.4A CN111680592A (zh) | 2020-05-28 | 2020-05-28 | 车内生物检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111680592A true CN111680592A (zh) | 2020-09-18 |
Family
ID=72452930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010471228.4A Pending CN111680592A (zh) | 2020-05-28 | 2020-05-28 | 车内生物检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111680592A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507172A (zh) * | 2017-08-08 | 2017-12-22 | 国网上海市电力公司 | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
| CN108549874A (zh) * | 2018-04-19 | 2018-09-18 | 广州广电运通金融电子股份有限公司 | 一种目标检测方法、设备及计算机可读存储介质 |
| CN109242812A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与奇异值分解的图像融合方法及装置 |
| CN110111581A (zh) * | 2019-05-21 | 2019-08-09 | 哈工大机器人（山东）智能装备研究院 | 目标识别方法、装置、计算机设备及存储介质 |
| CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
| CN111008566A (zh) * | 2019-11-06 | 2020-04-14 | 湖北工业大学 | 一种基于深度学习的针对校车学生下车遗漏检测装置及方法 |
| CN111079475A (zh) * | 2018-10-19 | 2020-04-28 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控系统、车辆 |
-
2020
- 2020-05-28 CN CN202010471228.4A patent/CN111680592A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507172A (zh) * | 2017-08-08 | 2017-12-22 | 国网上海市电力公司 | 融合红外可见光的特高压线路绝缘子串深度学习识别方法 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
| CN108549874A (zh) * | 2018-04-19 | 2018-09-18 | 广州广电运通金融电子股份有限公司 | 一种目标检测方法、设备及计算机可读存储介质 |
| CN109242812A (zh) * | 2018-09-11 | 2019-01-18 | 中国科学院长春光学精密机械与物理研究所 | 基于显著性检测与奇异值分解的图像融合方法及装置 |
| CN111079475A (zh) * | 2018-10-19 | 2020-04-28 | 上海商汤智能科技有限公司 | 驾驶状态检测方法和装置、驾驶员监控系统、车辆 |
| CN110322423A (zh) * | 2019-04-29 | 2019-10-11 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
| CN110111581A (zh) * | 2019-05-21 | 2019-08-09 | 哈工大机器人（山东）智能装备研究院 | 目标识别方法、装置、计算机设备及存储介质 |
| CN111008566A (zh) * | 2019-11-06 | 2020-04-14 | 湖北工业大学 | 一种基于深度学习的针对校车学生下车遗漏检测装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 赵鑫: "基于NSST的红外与可见光图像融合", vol. 41, no. 5, pages 63 - 66 * |
| 郑红;郑晨;闫秀生;陈海霞;: "基于剪切波变换的可见光与红外图像融合算法", vol. 33, no. 07, pages 1613 - 1619 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111741884B (zh) | 交通遇险和路怒症检测方法 | |
| US20210188051A1 (en) | Identifying and mitigating vehicle odors | |
| Yi et al. | Personalized driver workload inference by learning from vehicle related measurements | |
| EP2797794A1 (en) | Systems, methods, and apparatus for identifying an occupant of a vehicle | |
| CN110575163A (zh) | 一种检测驾驶员分心的方法及装置 | |
| CN109927731B (zh) | 驾驶员放手检测方法、装置、控制器及存储介质 | |
| CN111305695B (zh) | 用于控制车辆的方法和装置 | |
| US11572039B2 (en) | Confirmed automated access to portions of vehicles | |
| CN109606065A (zh) | 环境控制方法、装置及汽车 | |
| WO2022027893A1 (zh) | 安全带佩戴检测方法、装置、电子设备、存储介质及程序 | |
| CN109664894A (zh) | 基于多源异构数据感知的疲劳驾驶安全预警系统 | |
| CN115268334A (zh) | 车窗控制方法、装置、设备及存储介质 | |
| CN112298088A (zh) | 车内生命体异常监测方法、设备及存储介质 | |
| Lu et al. | A review of sensory interactions between autonomous vehicles and drivers | |
| CN113269069B (zh) | 一种基于卡车司机面部特征的困倦辨识方法及装置 | |
| CN111680592A (zh) | 车内生物检测方法、装置、设备及存储介质 | |
| US20230153424A1 (en) | Systems and methods for an automous security system | |
| CN113997898B (zh) | 生命体探测方法、装置、设备及存储介质 | |
| CN113573938A (zh) | 用于在车辆的语言对话系统中提供以手语的语言对话的方法 | |
| US20230047872A1 (en) | Multimodal occupant-seat mapping for safety and personalization applications | |
| CN112690794B (zh) | 驾驶员状态检测方法、系统和装置 | |
| CN116204806A (zh) | 一种脑状态确定方法及装置 | |
| CN113705543A (zh) | 一种车内物品防遗忘监控方法、装置、设备及介质 | |
| US20240157896A1 (en) | Vehicle system and method for adjusting interior control settings based on driver emotion and environmental context | |
| CN115217376B (zh) | 隐藏式门拉手的控制方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |