CN115320498A - 车内危险行为的检测方法、装置、设备及存储介质 - Google Patents
车内危险行为的检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115320498A CN115320498A CN202211048834.0A CN202211048834A CN115320498A CN 115320498 A CN115320498 A CN 115320498A CN 202211048834 A CN202211048834 A CN 202211048834A CN 115320498 A CN115320498 A CN 115320498A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- passenger
- image
- audio data
- dangerous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 26
- 238000003709 image segmentation Methods 0.000 claims description 16
- 231100001261 hazardous Toxicity 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 210000000746 body region Anatomy 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000009413 insulation Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
- B60R2021/0032—Position of passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4866—Displaying or indicating arrangements thereof
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Emergency Alarm Devices (AREA)
Abstract
本发明涉及车辆安全技术领域，公开了一种车内危险行为的检测方法、装置、设备及存储介质，用于提高车辆行驶的安全性。车内危险行为的检测方法包括：获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；基于车内图像和车内音频数据进行危险行为识别；若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。
Description
技术领域
本发明涉及车辆安全技术领域，尤其涉及一种车内危险行为的检测方法、装置、设备及存储介质。
背景技术
随着科技的进步和发展，经济水平日益提高，车辆成为了家庭中的常见行驶工具，车辆的安全问题也日益受到人们的关注。
在车辆行驶过程中，车辆内的乘客可能会出现一些危险行为，例如，未系安全带、将部分身体探出车窗或者天窗以及与驾驶员闲聊等等行为，这些危险行为将导致车辆行驶的安全性降低。
发明内容
本发明提供了一种车内危险行为的检测方法、装置、设备及存储介质，用于提高车辆行驶的安全性。
本发明第一方面提供了一种车内危险行为的检测方法，包括：获取目标车辆的车内图像和车内音频数据，所述车内图像包括至少一个乘客；基于所述车内图像和所述车内音频数据进行危险行为识别；若所述至少一个乘客存在危险行为，则生成对应的提醒信息，所述危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；将所述提醒信息发送至提醒终端，所述提醒信息用于指示所述至少一个乘客存在危险行为。
在一种可行的实施方式中，所述基于所述车内图像和所述车内音频数据进行危险行为识别，包括：基于所述车内图像进行未系安全带识别，得到第一识别结果；基于所述车内图像进行身体区域位置识别，得到第二识别结果；基于所述车内音频数据进行对话识别，得到第三识别结果。
在一种可行的实施方式中，所述基于所述车内图像进行未系安全带识别，得到第一识别结果，包括：将所述车内图像进行区域分割，得到所述至少一个乘客中每个乘客对应的子区域图像；将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果；基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积；若所述至少一个乘客中第一目标乘客的安全带连通域面积小于或等于预设连通域面积，则确定第一识别结果为所述第一目标乘客未系安全带。
在一种可行的实施方式中，所述基于所述车内图像进行身体区域位置识别，得到第二识别结果，包括：将所述车内图像进行灰度化处理，得到灰度化图像，所述灰度化图像包括至少一个车窗；基于所述灰度化图像计算所述至少一个车窗的灰度值与预设车窗灰度值的差值；若所述差值大于或等于阈值，则确定所述至少一个车窗存在障碍物；基于所述车内图像进行人体关键点检测，得到所述至少一个乘客中每个乘客对应的人体关键点集；若存在第二目标乘客的人体关键点集中任一个人体关键点处于所述至少一个车窗，则确定第二识别结果为所述第二目标乘客的身体部位伸出车窗。
在一种可行的实施方式中，所述基于所述车内音频数据进行对话识别，得到第三识别结果，包括：对所述车内音频数据进行声纹识别；若所述车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与所述预设驾驶员声纹不匹配的第二音频数据，则对所述第一音频数据和所述第二音频数据进行关键词对比；若所述第一音频数据和所述第二音频数据存在相同的关键词，则确定第三识别结果为所述至少一个乘客与所述目标车辆的驾驶员存在对话。
在一种可行的实施方式中，所述将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果，包括：将每个乘客的子区域图像输入预设的第一卷积核进行卷积分割，得到每个乘客对应的第一特征图像，所述第一特征图像包括子区域图像对应的背景信息；将每个乘客的子区域图像输入预设的第二卷积核进行卷积分割，得到每个乘客对应的第二特征图像，所述第二特征图像包括子区域图像对应的安全带信息。
在一种可行的实施方式中，所述基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积，包括：基于预设对比规则将每个乘客的第一特征图像和第二特征图像进行对比，得到每个乘客的对比结果；基于每个乘客的对比结果和预设安全带标记规则，在每个乘客的子区域图像中标记出安全带的像素点；若在每个乘客的子区域图像中标记出的安全带的像素点形成多个连通域，则将所述多个连通域的面积进行相加，得到每个乘客的安全带连通域面积。
本发明第二方面提供了一种车内危险行为的检测装置，包括：获取模块，用于获取目标车辆的车内图像和车内音频数据，所述车内图像包括至少一个乘客；识别模块，用于基于所述车内图像和所述车内音频数据进行危险行为识别；生成模块，用于若所述至少一个乘客存在危险行为，则生成对应的提醒信息，所述危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；发送模块，用于将所述提醒信息发送至提醒终端，所述提醒信息用于指示所述至少一个乘客存在危险行为。
在一种可行的实施方式中，所述识别模块包括：第一识别单元，用于基于所述车内图像进行未系安全带识别，得到第一识别结果；第二识别单元，用于基于所述车内图像进行身体区域位置识别，得到第二识别结果；第三识别单元，用于基于所述车内音频数据进行对话识别，得到第三识别结果。
在一种可行的实施方式中，所述第一识别单元包括：区域分割子单元，用于将所述车内图像进行区域分割，得到所述至少一个乘客中每个乘客对应的子区域图像；语义分割子单元，用于将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果；计算子单元，用于基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积；确定子单元，用于若所述至少一个乘客中第一目标乘客的安全带连通域面积小于或等于预设连通域面积，则确定第一识别结果为所述第一目标乘客未系安全带。
在一种可行的实施方式中，所述第二识别单元具体用于：将所述车内图像进行灰度化处理，得到灰度化图像，所述灰度化图像包括至少一个车窗；基于所述灰度化图像计算所述至少一个车窗的灰度值与预设车窗灰度值的差值；若所述差值大于或等于阈值，则确定所述至少一个车窗存在障碍物；基于所述车内图像进行人体关键点检测，得到所述至少一个乘客中每个乘客对应的人体关键点集；若存在第二目标乘客的人体关键点集中任一个人体关键点处于所述至少一个车窗，则确定第二识别结果为所述第二目标乘客的身体部位伸出车窗。
在一种可行的实施方式中，所述第三识别单元具体用于：对所述车内音频数据进行声纹识别；若所述车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与所述预设驾驶员声纹不匹配的第二音频数据，则对所述第一音频数据和所述第二音频数据进行关键词对比；若所述第一音频数据和所述第二音频数据存在相同的关键词，则确定第三识别结果为所述至少一个乘客与所述目标车辆的驾驶员存在对话。
在一种可行的实施方式中，所述语义分割子单元具体用于：将每个乘客的子区域图像输入预设的第一卷积核进行卷积分割，得到每个乘客对应的第一特征图像，所述第一特征图像包括子区域图像对应的背景信息；将每个乘客的子区域图像输入预设的第二卷积核进行卷积分割，得到每个乘客对应的第二特征图像，所述第二特征图像包括子区域图像对应的安全带信息。
在一种可行的实施方式中，所述计算子单元具体用于：基于预设对比规则将每个乘客的第一特征图像和第二特征图像进行对比，得到每个乘客的对比结果；基于每个乘客的对比结果和预设安全带标记规则，在每个乘客的子区域图像中标记出安全带的像素点；若在每个乘客的子区域图像中标记出的安全带的像素点形成多个连通域，则将所述多个连通域的面积进行相加，得到每个乘客的安全带连通域面积。
本发明第三方面提供了一种车内危险行为的检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述车内危险行为的检测设备执行上述的车内危险行为的检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的车内危险行为的检测方法。
本发明提供的技术方案中，获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；基于车内图像和车内音频数据进行危险行为识别；若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。本发明实施例中，通过目标车辆的车内图像和车内音频数据对车内乘客的行为进行识别，若车内乘客存在危险行为，则生成提醒信息，从而提醒驾驶员车内乘客存在危险行为，提高了车辆行驶的安全性，降低了交通事故的发生率。
附图说明
图1为本发明实施例中车内危险行为的检测方法的一个实施例示意图；
图2为本发明实施例中车内危险行为的检测方法的另一个实施例示意图；
图3为本发明实施例中车内危险行为的检测方法的另一个实施例示意图；
图4为本发明实施例中车内危险行为的检测装置的一个实施例示意图；
图5为本发明实施例中车内危险行为的检测装置的另一个实施例示意图；
图6为本发明实施例中车内危险行为的检测设备的一个实施例示意图。
具体实施方式
本发明提供了一种车内危险行为的检测方法、装置、设备及存储介质，用于提高车辆行驶的安全性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中车内危险行为的检测方法的一个实施例包括：
101、获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；
可以理解的是，本发明的执行主体可以为车内危险行为的检测装置，还可以是终端，具体此处不做限定。本发明实施例以终端为执行主体为例进行说明。
车内图像还包括驾驶员和车窗，车窗包括前后风窗、通风窗、隔热侧窗和遮阳顶窗。
102、基于车内图像和车内音频数据进行危险行为识别；
危险行为包括：乘客未系安全带、乘客将身体部位伸出车窗、乘客与驾驶员对话，终端通过车内图像判断乘客是否未系安全带，或者判断乘客是否将身体部位伸出车窗，终端通过车内音频数据判断乘客是否与驾驶员进行对话。
103、若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；
提醒信息可以是声音提醒信息，也可以是灯光提醒信息，还可以是声光提醒信息。
104、将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。
例如，当提醒信息为声音提醒信息时，终端将声音提醒信息发送至语音播放设备，语音播放设备播放“请注意！乘客存在危险行为！”的语音，从而提醒驾驶员乘客存在危险行为，便于驾驶员及时对乘客的危险行为进行制止。
本发明实施例中，通过目标车辆的车内图像和车内音频数据对车内乘客的行为进行识别，若车内乘客存在危险行为，则生成提醒信息，从而提醒驾驶员车内乘客存在危险行为，提高了车辆行驶的安全性，降低了交通事故的发生率。
请参阅图2，本发明实施例中车内危险行为的检测方法的另一个实施例包括：
201、获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；
车内音频数据可以是驾驶员和/或乘客的音频数据，也可以是驾驶员、乘客和其他声音的音频数据。例如，车内音频数据包括驾驶员、乘客和车机播放音乐的音频数据。
202、基于车内图像进行未系安全带识别，得到第一识别结果；
具体的，1)终端将车内图像进行区域分割，得到至少一个乘客中每个乘客对应的子区域图像；2)终端将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果；3)终端基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积；4)若至少一个乘客中第一目标乘客的安全带连通域面积小于或等于预设连通域面积，则终端确定第一识别结果为第一目标乘客未系安全带。
具体的，步骤2)终端将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果，包括：(1)终端将每个乘客的子区域图像输入预设的第一卷积核进行卷积分割，得到每个乘客对应的第一特征图像，第一特征图像包括子区域图像对应的背景信息；(2)终端将每个乘客的子区域图像输入预设的第二卷积核进行卷积分割，得到每个乘客对应的第二特征图像，第二特征图像包括子区域图像对应的安全带信息。
具体的，步骤3)终端基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积，包括：(1)终端基于预设对比规则将每个乘客的第一特征图像和第二特征图像进行对比，得到每个乘客的对比结果；(2)终端基于每个乘客的对比结果和预设安全带标记规则，在每个乘客的子区域图像中标记出安全带的像素点；(3)若在每个乘客的子区域图像中标记出的安全带的像素点形成多个连通域，则终端将多个连通域的面积进行相加，得到每个乘客的安全带连通域面积。
预设对比规则是指将第一特征图像中每个像素点的像素值和第二特征图像的平均像素值进行对比，并将第一特征图像中像素值大于或等于第二特征图像的平均像素值的像素点变换为安全带的像素点。
预设安全带标记规则用于指示将安全带的像素点标记上安全带的标识，安全带的标识包括数字、字母、图形和颜色等等。
例如，终端将车内图像进行区域分割，得到至少一个乘客中每个乘客对应的子区域图像，若至少一个乘客的数量为1，则得到目标乘客的目标子区域图像，终端将目标子区域图像输入预设的第一卷积核进行卷积分割，得到第一特征图像，第一特征图像包括目标子区域图像对应的背景信息，终端将目标子区域图像输入预设的第二卷积核进行卷积分割，得到第二特征图像，第二特征图像包括目标子区域图像对应的安全带信息，终端基于预设对比规则将第一特征图像和第二特征图像进行对比，得到对比结果，终端基于对比结果和预设安全带标记规则，在目标子区域图像中标记出安全带的像素点，若在目标子区域图像中标记出的安全带的像素点形成多个连通域，则终端将多个连通域的面积进行相加，得到目标乘客的安全带连通域面积，若目标乘客的安全带连通域面积小于或等于预设连通域面积，则终端确定第一识别结果为目标乘客未系安全带。
203、基于车内图像进行身体区域位置识别，得到第二识别结果；
具体的，(1)终端将车内图像进行灰度化处理，得到灰度化图像，灰度化图像包括至少一个车窗；(2)终端基于灰度化图像计算至少一个车窗的灰度值与预设车窗灰度值的差值；(3)若差值大于或等于阈值，则终端确定至少一个车窗存在障碍物；(4)终端基于车内图像进行人体关键点检测，得到至少一个乘客中每个乘客对应的人体关键点集；(5)若存在第二目标乘客的人体关键点集中任一个人体关键点处于至少一个车窗，则终端确定第二识别结果为第二目标乘客的身体部位伸出车窗。
可以理解的是，在车窗上无障碍物的情况下，灰度化图像中车窗的灰度值与预设车窗灰度值是相同的，当灰度化图像中车窗出现了障碍物时，灰度化图像中车窗的灰度值会出现明显的跳变。
例如，终端将车内图像进行灰度化处理，得到灰度化图像，灰度化图像包括至少一个车窗，若至少一个车窗的数量为2，分别为：左侧车窗和右侧车窗，终端基于灰度化图像计算左侧车窗的灰度值与预设车窗灰度值的第一差值，若第一差值大于或等于阈值，则终端确定左侧车窗存在障碍物，终端基于车内图像进行人体关键点检测，得到至少一个乘客中每个乘客对应的人体关键点集，若存在目标乘客A的人体关键点集中任一个人体关键点处于左侧车窗，则终端确定第二识别结果为目标乘客A的身体部位伸出左侧车窗，终端基于灰度化图像计算右侧车窗的灰度值与预设车窗灰度值的第二差值，若第二差值大于或等于阈值，则终端确定右侧车窗存在障碍物，终端基于车内图像进行人体关键点检测，得到至少一个乘客中每个乘客对应的人体关键点集，若存在目标乘客B的人体关键点集中任一个人体关键点处于右侧车窗，则终端确定第二识别结果为目标乘客B的身体部位伸出车窗。
204、基于车内音频数据进行对话识别，得到第三识别结果；
具体的，(1)终端对车内音频数据进行声纹识别；(2)若车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与预设驾驶员声纹不匹配的第二音频数据，则终端对第一音频数据和第二音频数据进行关键词对比；(3)若第一音频数据和第二音频数据存在相同的关键词，则终端确定第三识别结果为至少一个乘客与目标车辆的驾驶员存在对话。
例如，终端对车内音频数据进行声纹识别，若车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与预设驾驶员声纹不匹配的第二音频数据，则终端对第一音频数据和第二音频数据进行关键词对比，若第一音频数据为：“深圳是个美丽的城市”，第二音频数据为：“师傅，您觉得深圳怎么样？”，即第一音频数据和第二音频数据存在相同的关键词“深圳”，则终端确定第三识别结果为至少一个乘客与目标车辆的驾驶员存在对话。
205、若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；
例如，若至少一个乘客未系安全带，则终端生成对应的提醒信息，提醒信息可以是声音提醒信息，也可以是灯光提醒信息，还可以是声光提醒信息。
206、将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。
例如，当提醒信息为灯光提醒信息时，终端将灯光提醒信息发送至车辆中控屏幕，车辆中控屏幕进行灯光闪烁，从而提醒驾驶员乘客存在危险行为，便于驾驶员及时对乘客的危险行为进行制止。
本发明实施例中，通过目标车辆的车内图像和车内音频数据对车内乘客的行为进行识别，若车内乘客存在危险行为，则生成提醒信息，从而提醒驾驶员车内乘客存在危险行为，提高了车辆行驶的安全性，降低了交通事故的发生率。
请参阅图3，本发明实施例中车内危险行为的检测方法的另一个实施例包括：
301、获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；
车内图像还包括驾驶员和车窗，车窗包括前后风窗、通风窗、隔热侧窗和遮阳顶窗。
车内音频数据可以是驾驶员和/或乘客的音频数据，也可以是驾驶员、乘客和其他声音的音频数据。例如，车内音频数据包括驾驶员、乘客和车机播放音乐的音频数据。
302、基于车内图像进行未系安全带识别，得到第一识别结果；
具体的，与步骤202相同，此处不再赘述。
303、基于车内图像进行身体区域位置识别，得到第二识别结果；
具体的，与步骤203相同，此处不再赘述。
304、基于车内音频数据进行对话识别，得到第三识别结果；
具体的，与步骤204相同，此处不再赘述。
305、基于车内图像进行手持危险工具的行为识别，得到第四识别结果；
危险工具包括管制刀具、剪刀、锤子、扳手和其它的可以对人身造成伤害的工具。终端通过对车内工具和乘客手部进行识别，从而确定乘客是否存在手持危险工具的行为，若存在手持危险工具的行为，则会对驾驶员的人身安全构成威胁。
具体的，(1)终端基于车内图像进行工具检测；(2)若车内图像中存在与预设危险工具匹配的工具，则终端生成对应的工具位置框；(3)终端基于车内图像对至少一个乘客进行手部识别，得到每个乘客对应的手部位置框；(4)若至少一个乘客中第三目标乘客的手部位置框与工具位置框存在重叠的区域，则终端确认第四识别结果为第三目标乘客存在手持危险工具的行为。
例如，终端基于车内图像进行工具检测，若车内图像中存在与预设管制刀具匹配的工具，则终端生成对应的工具位置框，终端基于车内图像对至少一个乘客进行手部识别，得到每个乘客对应的手部位置框，若至少一个乘客中目标乘客C的手部位置框与工具位置框存在重叠的区域，则终端确认第四识别结果为目标乘客C存在手持危险工具的行为。
306、若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗、与驾驶员对话或手持危险工具；
例如，若至少一个乘客将身体部位伸出车窗，则终端生成对应的提醒信息，提醒信息可以是声音提醒信息，也可以是灯光提醒信息，还可以是声光提醒信息。
307、将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。
例如，当提醒信息为声光提醒信息时，终端将声光提醒信息发送至语音播放设备和车辆中控屏幕，语音播放设备播放“请注意！乘客存在危险行为！”的语音，同时，车辆中控屏幕进行灯光闪烁，从而提醒驾驶员乘客存在危险行为，便于驾驶员及时对乘客的危险行为进行制止。
本发明实施例中，通过目标车辆的车内图像和车内音频数据对车内乘客的行为进行识别，若车内乘客存在危险行为，则生成提醒信息，从而提醒驾驶员车内乘客存在危险行为，提高了车辆行驶的安全性，降低了交通事故的发生率。
上面对本发明实施例中车内危险行为的检测方法进行了描述，下面对本发明实施例中车内危险行为的检测装置进行描述，请参阅图4，本发明实施例中车内危险行为的检测装置一个实施例包括：
获取模块401，用于获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；
识别模块402，用于基于车内图像和车内音频数据进行危险行为识别；
生成模块403，用于若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；
发送模块404，用于将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。
本发明实施例中，通过目标车辆的车内图像和车内音频数据对车内乘客的行为进行识别，若车内乘客存在危险行为，则生成提醒信息，从而提醒驾驶员车内乘客存在危险行为，提高了车辆行驶的安全性，降低了交通事故的发生率。
请参阅图5，本发明实施例中车内危险行为的检测装置的另一个实施例包括：
获取模块401，用于获取目标车辆的车内图像和车内音频数据，车内图像包括至少一个乘客；
识别模块402，用于基于车内图像和车内音频数据进行危险行为识别；
生成模块403，用于若至少一个乘客存在危险行为，则生成对应的提醒信息，危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；
发送模块404，用于将提醒信息发送至提醒终端，提醒信息用于指示至少一个乘客存在危险行为。
可选的，识别模块402包括：
第一识别单元4021，用于基于车内图像进行未系安全带识别，得到第一识别结果；
第二识别单元4022，用于基于车内图像进行身体区域位置识别，得到第二识别结果；
第三识别单元4023，用于基于车内音频数据进行对话识别，得到第三识别结果。
可选的，第一识别单元4021包括：
区域分割子单元40211，用于将车内图像进行区域分割，得到至少一个乘客中每个乘客对应的子区域图像；
语义分割子单元40212，用于将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果；
计算子单元40213，用于基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积；
确定子单元40214，用于若至少一个乘客中第一目标乘客的安全带连通域面积小于或等于预设连通域面积，则确定第一识别结果为第一目标乘客未系安全带。
可选的，第二识别单元4022具体用于：
将车内图像进行灰度化处理，得到灰度化图像，灰度化图像包括至少一个车窗；
基于灰度化图像计算至少一个车窗的灰度值与预设车窗灰度值的差值；
若差值大于或等于阈值，则确定至少一个车窗存在障碍物；
基于车内图像进行人体关键点检测，得到至少一个乘客中每个乘客对应的人体关键点集；
若存在第二目标乘客的人体关键点集中任一个人体关键点处于至少一个车窗，则确定第二识别结果为第二目标乘客的身体部位伸出车窗。
可选的，第三识别单元4023具体用于：
对车内音频数据进行声纹识别；
若车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与预设驾驶员声纹不匹配的第二音频数据，则对第一音频数据和第二音频数据进行关键词对比；
若第一音频数据和第二音频数据存在相同的关键词，则确定第三识别结果为至少一个乘客与目标车辆的驾驶员存在对话。
可选的，语义分割子单元40212具体用于：
将每个乘客的子区域图像输入预设的第一卷积核进行卷积分割，得到每个乘客对应的第一特征图像，第一特征图像包括子区域图像对应的背景信息；
将每个乘客的子区域图像输入预设的第二卷积核进行卷积分割，得到每个乘客对应的第二特征图像，第二特征图像包括子区域图像对应的安全带信息。
可选的，计算子单元40213具体用于：
基于预设对比规则将每个乘客的第一特征图像和第二特征图像进行对比，得到每个乘客的对比结果；
基于每个乘客的对比结果和预设安全带标记规则，在每个乘客的子区域图像中标记出安全带的像素点；
若在每个乘客的子区域图像中标记出的安全带的像素点形成多个连通域，则将多个连通域的面积进行相加，得到每个乘客的安全带连通域面积。
本发明实施例中，通过目标车辆的车内图像和车内音频数据对车内乘客的行为进行识别，若车内乘客存在危险行为，则生成提醒信息，从而提醒驾驶员车内乘客存在危险行为，提高了车辆行驶的安全性，降低了交通事故的发生率。
上面图4和图5从模块化功能实体的角度对本发明实施例中的车内危险行为的检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中车内危险行为的检测设备进行详细描述。
图6是本发明实施例提供的一种车内危险行为的检测设备的结构示意图，该车内危险行为的检测设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对车内危险行为的检测设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在车内危险行为的检测设备600上执行存储介质630中的一系列指令操作。
车内危险行为的检测设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的车内危险行为的检测设备结构并不构成对车内危险行为的检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种车内危险行为的检测设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述车内危险行为的检测方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述车内危险行为的检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车内危险行为的检测方法，其特征在于，所述车内危险行为的检测方法包括：
获取目标车辆的车内图像和车内音频数据，所述车内图像包括至少一个乘客；
基于所述车内图像和所述车内音频数据进行危险行为识别；
若所述至少一个乘客存在危险行为，则生成对应的提醒信息，所述危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；
将所述提醒信息发送至提醒终端，所述提醒信息用于指示所述至少一个乘客存在危险行为。
2.根据权利要求1所述的车内危险行为的检测方法，其特征在于，所述基于所述车内图像和所述车内音频数据进行危险行为识别，包括：
基于所述车内图像进行未系安全带识别，得到第一识别结果；
基于所述车内图像进行身体区域位置识别，得到第二识别结果；
基于所述车内音频数据进行对话识别，得到第三识别结果。
3.根据权利要求2所述的车内危险行为的检测方法，其特征在于，所述基于所述车内图像进行未系安全带识别，得到第一识别结果，包括：
将所述车内图像进行区域分割，得到所述至少一个乘客中每个乘客对应的子区域图像；
将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果；
基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积；
若所述至少一个乘客中第一目标乘客的安全带连通域面积小于或等于预设连通域面积，则确定第一识别结果为所述第一目标乘客未系安全带。
4.根据权利要求2所述的车内危险行为的检测方法，其特征在于，所述基于所述车内图像进行身体区域位置识别，得到第二识别结果，包括：
将所述车内图像进行灰度化处理，得到灰度化图像，所述灰度化图像包括至少一个车窗；
基于所述灰度化图像计算所述至少一个车窗的灰度值与预设车窗灰度值的差值；
若所述差值大于或等于阈值，则确定所述至少一个车窗存在障碍物；
基于所述车内图像进行人体关键点检测，得到所述至少一个乘客中每个乘客对应的人体关键点集；
若存在第二目标乘客的人体关键点集中任一个人体关键点处于所述至少一个车窗，则确定第二识别结果为所述第二目标乘客的身体部位伸出车窗。
5.根据权利要求2所述的车内危险行为的检测方法，其特征在于，所述基于所述车内音频数据进行对话识别，得到第三识别结果，包括：
对所述车内音频数据进行声纹识别；
若所述车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与所述预设驾驶员声纹不匹配的第二音频数据，则对所述第一音频数据和所述第二音频数据进行关键词对比；
若所述第一音频数据和所述第二音频数据存在相同的关键词，则确定第三识别结果为所述至少一个乘客与所述目标车辆的驾驶员存在对话。
6.根据权利要求3所述的车内危险行为的检测方法，其特征在于，所述将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果，包括：
将每个乘客的子区域图像输入预设的第一卷积核进行卷积分割，得到每个乘客对应的第一特征图像，所述第一特征图像包括子区域图像对应的背景信息；
将每个乘客的子区域图像输入预设的第二卷积核进行卷积分割，得到每个乘客对应的第二特征图像，所述第二特征图像包括子区域图像对应的安全带信息。
7.根据权利要求1-6中任一项所述的车内危险行为的检测方法，其特征在于，所述基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积，包括：
基于预设对比规则将每个乘客的第一特征图像和第二特征图像进行对比，得到每个乘客的对比结果；
基于每个乘客的对比结果和预设安全带标记规则，在每个乘客的子区域图像中标记出安全带的像素点；
若在每个乘客的子区域图像中标记出的安全带的像素点形成多个连通域，则将所述多个连通域的面积进行相加，得到每个乘客的安全带连通域面积。
8.一种车内危险行为的检测装置，其特征在于，所述车内危险行为的检测装置包括：
获取模块，用于获取目标车辆的车内图像和车内音频数据，所述车内图像包括至少一个乘客；
识别模块，用于基于所述车内图像和所述车内音频数据进行危险行为识别；
生成模块，用于若所述至少一个乘客存在危险行为，则生成对应的提醒信息，所述危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；
发送模块，用于将所述提醒信息发送至提醒终端，所述提醒信息用于指示所述至少一个乘客存在危险行为。
9.一种车内危险行为的检测设备，其特征在于，所述车内危险行为的检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述车内危险行为的检测设备执行如权利要求1-7中任一项所述的车内危险行为的检测方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述车内危险行为的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211048834.0A CN115320498A (zh) | 2022-08-30 | 2022-08-30 | 车内危险行为的检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211048834.0A CN115320498A (zh) | 2022-08-30 | 2022-08-30 | 车内危险行为的检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115320498A true CN115320498A (zh) | 2022-11-11 |
Family
ID=83929004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211048834.0A Pending CN115320498A (zh) | 2022-08-30 | 2022-08-30 | 车内危险行为的检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115320498A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985530A (zh) * | 2017-05-31 | 2018-12-11 | 北京嘀嘀无限科技发展有限公司 | 车辆危险行为管理方法及装置 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
| CN112906515A (zh) * | 2021-02-03 | 2021-06-04 | 珠海研果科技有限公司 | 车内异常行为识别方法、系统、电子设备及存储介质 |
| CN113553938A (zh) * | 2021-07-19 | 2021-10-26 | 黑芝麻智能科技(上海)有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
| CN114821796A (zh) * | 2022-05-05 | 2022-07-29 | 上海东普信息科技有限公司 | 危险驾驶行为的识别方法、装置、设备及存储介质 |
-
2022
- 2022-08-30 CN CN202211048834.0A patent/CN115320498A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985530A (zh) * | 2017-05-31 | 2018-12-11 | 北京嘀嘀无限科技发展有限公司 | 车辆危险行为管理方法及装置 |
| CN111368696A (zh) * | 2020-02-28 | 2020-07-03 | 淮阴工学院 | 基于视觉协同的危化品运输车违规驾驶行为检测方法及系统 |
| CN112906515A (zh) * | 2021-02-03 | 2021-06-04 | 珠海研果科技有限公司 | 车内异常行为识别方法、系统、电子设备及存储介质 |
| CN113553938A (zh) * | 2021-07-19 | 2021-10-26 | 黑芝麻智能科技(上海)有限公司 | 安全带检测方法、装置、计算机设备和存储介质 |
| CN114821796A (zh) * | 2022-05-05 | 2022-07-29 | 上海东普信息科技有限公司 | 危险驾驶行为的识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 张秀彬，（巴基）曼苏乐，叶尔江·哈力木: "轨道交通智能技术导论", vol. 1, 30 September 2021, 上海交通大学出版社, pages: 59 - 62 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11417121B1 (en) | Apparatus, systems and methods for classifying digital images | |
| CN112590794B (zh) | 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置 | |
| US8040247B2 (en) | System for rapid detection of drowsiness in a machine operator | |
| CN110321916B (zh) | 学习数据制作方法、学习方法、危险预测方法及装置、程序存储介质 | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| JP2019040465A (ja) | 行動認識装置，学習装置，並びに方法およびプログラム | |
| EP1475764A3 (de) | Verfahren und Vorrichtung zur Ermittlung der Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand | |
| US20160046296A1 (en) | Method and device for assigning a driver of a vehicle to a driver class stored in the vehicle and representing a specific driving behaviour of the driver, and computer program product for that purpose | |
| WO2022027893A1 (zh) | 安全带佩戴检测方法、装置、电子设备、存储介质及程序 | |
| WO2022027894A1 (zh) | 驾驶员行为检测方法、装置、电子设备、存储介质和程序 | |
| JP2019098779A (ja) | 運転アドバイス装置及び運転アドバイス方法 | |
| Muehlfeld et al. | Statistical behavior modeling for driver-adaptive precrash systems | |
| Untaroiu et al. | Performance-based classification of occupant posture to reduce the risk of injury in a collision | |
| JP2022033805A (ja) | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 | |
| JP7116540B2 (ja) | 運転アドバイス装置及び運転アドバイス方法 | |
| CN114821796A (zh) | 危险驾驶行为的识别方法、装置、设备及存储介质 | |
| CN114074630A (zh) | 控制装置、座椅安全带装置、车辆、系统的工作方法以及介质 | |
| Cieslik et al. | Improving the effectiveness of active safety systems to significantly reduce accidents with vulnerable road users-the Project PROSPECT (Proactive Safety for Pedestrians and Cyclists) | |
| CN115320498A (zh) | 车内危险行为的检测方法、装置、设备及存储介质 | |
| JP2019109706A (ja) | サーバ装置、情報処理方法、データ構造および危険情報提供方法 | |
| JP6596771B2 (ja) | 情報提供装置および情報提供方法 | |
| CN114022899B (zh) | 检测车辆乘员的身体部位伸出车窗外的方法、装置及车辆 | |
| CN114333269A (zh) | 一种车辆事故处理方法、装置、计算机设备及存储介质 | |
| CN113520397A (zh) | 一种基于可穿戴式惯性测量单元的驾驶分心行为识别方法 | |
| JP6992285B2 (ja) | 運転支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |