CN117935228A - 一种车内外异常识别方法、装置、介质及设备 - Google Patents
一种车内外异常识别方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN117935228A CN117935228A CN202311660207.7A CN202311660207A CN117935228A CN 117935228 A CN117935228 A CN 117935228A CN 202311660207 A CN202311660207 A CN 202311660207A CN 117935228 A CN117935228 A CN 117935228A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- large model
- camera data
- mounted camera
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000005856 abnormality Effects 0.000 title claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 25
- 230000006399 behavior Effects 0.000 claims description 16
- 238000013459 approach Methods 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000000586 desensitisation Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 239000002699 waste material Substances 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
- B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车内外异常识别方法、装置、介质及设备，所述方法包括：响应于检测到开启异常识别指令，获取车载摄像头数据；对所述车载摄像头数据进行识别处理，得到第一识别结果；在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。采用本发明实施例，通过二次检测能够在准确识别到车内外是否存在异常情况的同时，避免频繁调用大模型而造成的算力浪费，且利用大模型还可以大幅提高异常识别的场景覆盖率。
Description
技术领域
本发明涉及汽车技术领域，尤其涉及一种车内外异常识别方法、装置、介质及设备。
背景技术
随着汽车技术的发展，许多车辆已经搭载了针对车内外异常情况的识别系统，例如车辆的哨兵模式。在现有技术中，通常在获取到各类传感器采集的数据之后，利用该数据结合异常识别算法(例如预先在小参数量的条件下训练好的神经网络模型)进行一次异常识别，并根据识别结果判断车内外是否存在异常情况。这使得现有技术中对于用来进行异常识别的数据要求较高，往往需要多传感器数据，并且在使用神经网络模型时，还要求该数据所代表的情况已包含在模型训练时的场景当中，从而存在识别率较低、容易出现误识别的问题。
发明内容
为了解决上述技术问题，本发明实施例提出了一种车内外异常识别方法、装置、介质及设备，能够提高车内外异常情况的识别准确度，减少误识别。
为了实现上述目的，本发明实施例提供了一种车内外异常识别方法，包括：
响应于检测到开启异常识别指令，获取车载摄像头数据；
对所述车载摄像头数据进行识别处理，得到第一识别结果；
在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。
进一步的，所述车载摄像头数据包括车载摄像头拍摄到的车外全景视频；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
响应于在所述车外全景视频中检测到行人，对所述车外全景视频进行识别处理，得到所述行人相对于自车的第一距离。
进一步的，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若所述第一距离小于等于预设距离阈值的持续时间大于等于预设时间阈值，则判定为所述行人靠近车辆，并将所述车外全景视频输入至所述大模型，得到所述大模型输出的第三识别结果；其中，所述第三识别结果用于指示是否存在危险行为。
进一步的，所述方法还包括：
若不存在危险行为，则对待保存视频进行保存；其中，所述待保存视频为所述行人靠近车辆之前的预设第一时间段内以及之后的预设第二时间段内的车外全景视频；
若存在危险行为，则进行报警和/或保存所述待保存视频。
进一步的，所述车载摄像头数据包括若干车内图像；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
对所述若干车内图像进行识别处理；
若在任一车内图像中识别到预设有效目标，则基于所有识别到预设有效目标的目标车内图像确定第一识别结果。
进一步的，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若存在所述目标车内图像，则将所述目标车内图像输入至所述大模型，得到所述大模型输出的第四识别结果；其中，所述第四识别结果用于指示是否存在车内异常情况。
进一步的，所述方法还包括：
若不存在车内异常情况，则保存所述目标车内图像；
若存在车内异常情况，则进行报警。
进一步的，所述大模型包括：部署在云端的第一多模态大模型，或，部署在自车车端的第二多模态大模型。
进一步的，若所述大模型为部署在云端的第一多模态大模型，则所述方法还包括：
在所述将所述车载摄像头数据输入至预先配置的大模型之前，对所述车载摄像头数据进行脱敏处理，以形成新的车载摄像头数据。
进一步的，所述识别处理通过部署在自车车端的小模型进行；所述小模型基于小参数量的神经网络模型确定。
本发明实施例还提供了一种车内外异常识别装置，包括：
数据获取模块，用于响应于检测到开启异常识别指令，获取车载摄像头数据；
第一识别模块，用于对所述车载摄像头数据进行识别处理，得到第一识别结果；
第二识别模块，用于在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的车内外异常识别方法的步骤。
本发明实施例还提供了一种计算机设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的车内外异常识别方法的步骤。
综上，本发明具有以下有益效果：
本发明实施例通过响应于检测到开启异常识别指令，获取车载摄像头数据；对所述车载摄像头数据进行识别处理，得到第一识别结果；在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。采用本发明实施例，通过二次检测能够在准确识别到车内外是否存在异常情况的同时，避免频繁调用大模型而造成的算力浪费，且利用大模型还可以大幅提高异常识别的场景覆盖率。
附图说明
图1是本发明提供的一种车内外异常识别方法的一个实施例的流程示意图；
图2是本发明提供的一种车内外异常识别装置的一个实施例的结构示意图；
图3是本发明提供的一种计算机设备的一个实施例的结构示意图；
图4是本发明提供的车内外异常识别的一个实施例的示意图；
图5是本发明提供的车内外异常识别的一个实施例的示意图；
图6是本发明提供的车内外异常识别的一个实施例的示意图；
图7是本发明提供的车内外异常识别的一个实施例的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
参见图1，是本发明提供的车内外异常识别方法的一个实施例的流程示意图，该方法包括步骤S1-S3，具体如下：
S1,响应于检测到开启异常识别指令，获取车载摄像头数据；其中，所述开启异常识别指令可以包括锁车指令和/或开启哨兵模式指令。
S2,对所述车载摄像头数据进行识别处理，得到第一识别结果；
S3,在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。
在一个具体实施例中，上述步骤S1-S3均可以由自车车端执行。
本实施例中，依次对车载摄像头数据进行了两次识别，其中当第一次识别到异常时，通过大模型对车载摄像头数据进行第二次识别，从而在保证能够充分利用到大模型精准的目标检测、语义理解等能力从而大幅提高异常识别准确率的前提下，还避免了频繁唤醒大模型而导致的算力和能耗浪费。
在一种可选的实施方式中，所述车载摄像头数据包括车载摄像头拍摄到的车外全景视频；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
响应于在所述车外全景视频中检测到行人，对所述车外全景视频进行识别处理，得到所述行人相对于自车的第一距离。
本实施例中，能够在检测到行人时，自动对车外全景视频进行识别，从而在确保异常识别准确性的前提下，避免算力和能耗的浪费。
需要说明的是，在车外全景视频中检测行人时，可以利用人脸检测的方法，例如使用基于灰度图像的Haar-like特征(用于物体识别的数字图像特征)，通过计算图像中相邻区域的像素值来提取特征，并使用Adaboost算法进行分类和检测。或者，使用基于深度学习的方法，使用卷积神经网络(CNN)对图像进行多层次特征提取，并使用全连接层进行分类。还可以利用人体检测的方法，例如使用R-CNN系列算法对人体进行局部检测，然后根据几何约束总成人体模型。这些方法各有优劣，需要根据具体场景和需求进行选择和优化。同时，在进行人体检测时，还需要考虑一些因素，如光照条件、遮挡情况、姿势变化等，以提高检测的准确性和鲁棒性。
在一种可选的实施方式中，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若所述第一距离小于等于预设距离阈值的持续时间大于等于预设时间阈值，则判定为所述行人靠近车辆，并将所述车外全景视频输入至所述大模型，得到所述大模型输出的第三识别结果；其中，所述第三识别结果用于指示是否存在危险行为。
需要说明的是，当所述第一距离小于等于预设距离阈值的持续时间大于等于预设时间阈值时，判定为行人靠近车辆；危险行为可以包括行人拿着砖头砸车、行人拿钥匙刮车等，应理解，此处充分利用了大模型精准的目标检测、语义理解等能力，从而利用车外全景视频有效区分行人靠近车辆后的行为意图，判断出是否存在危险行为。
示例性的，所述预设距离阈值可以为30cm，所述预设时间阈值可以为2s。
在一种可选的实施方式中，所述方法还包括：
若不存在危险行为，则对待保存视频进行保存；其中，所述待保存视频为所述行人靠近车辆之前的预设第一时间段内以及之后的预设第二时间段内的车外全景视频；
若存在危险行为，则进行报警和/或保存所述待保存视频。
本实施例中，在判定行人靠近车辆时，可以保存行人靠近车辆前后一段时间内的视频以作为证据。而在判定行人存在危险行为时，可以进行相关的报警操作，示例性的参见图4，驱动自车鸣笛和/或闪灯，还可以通过云端发送报警信息给车主。
示例性的，所述第一时间段和所述第二时间段可以为30s。
在一种可选的实施方式中，所述车载摄像头数据包括若干车内图像；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
对所述若干车内图像进行识别处理；
若在任一车内图像中识别到预设有效目标，则基于所有识别到预设有效目标的目标车内图像确定第一识别结果。
示例性的，所述预设有效目标可以包括儿童、宠物、特定物品中的至少一种。
在一种可选的实施方式中，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若存在所述目标车内图像，则将所述目标车内图像输入至所述大模型，得到所述大模型输出的第四识别结果；其中，所述第四识别结果用于指示是否存在车内异常情况。
作为其中一个实施例，当预设有效目标被设定为儿童和/或宠物等活体目标时，可以将所述目标车内图像输入至所述大模型中进行儿童检测和/或活体检测，并且还可以进一步通过所述大模型对所述目标车内图像中的活体目标进行危险识别，以确定活体目标当前是否处于危险状况(例如儿童昏睡、哭闹)，具体而言，在具体实施时可以利用prompt来创建队列，从而通过所述大模型根据所述目标车内图像依次判断车内是否存在活体目标、判断活体目标是否存在危险、确定置信度是否大于置信度阈值。
本实施例能够充分利用大模型的图像语义理解能力，从而使本实施例的识别能够具备更强的泛化能力。
在一种可选的实施方式中，所述方法还包括：
若不存在车内异常情况，则保存所述目标车内图像；
若存在车内异常情况，则进行报警。
示例性的，参见图5，所述报警可以包括通过云端向车主发信息以进行提醒，和/或，利用大模型根据车内异常情况生成语音内容并通过电话提醒车主。
本实施例中，当所述识别处理是通过部署在自车车端的小模型进行时，能够将没有发生车内异常情况的目标车内图像保存并反馈给所述小模型以供所述小模型进行训练，从而可以利用大模型相对于小模型而言更精准的识别能力，反馈提高小模型后续进行所述识别处理时的准确率。
在一种可选的实施方式中，所述大模型包括：部署在云端的第一多模态大模型，或，部署在自车车端的第二多模态大模型。
作为其中一个实施例，参见图6，示出了所述大模型为部署在云端的第一多模态大模型的一个实施例，其中，虚线箭头表示上行数据(车端发送到云端)、实线箭头表示下行数据(云端发送到车端)，此时，所述识别处理是在自车车端完成。自车车端进行所述识别处理并确定第一识别结果符合第一异常条件的情况下，通过Tbox将自车车端的数据(例如，车载摄像头数据)发送到云端，以供第一多模态大模型进行第二次识别并将第二识别结果输出到自车车端，以告知自车车端最终的识别结果并使自车车端执行对应的方案。
本实施例中，通过将大模型部署在云端，以实现端云融合(自车车端与云端间的融合交互)，能够充分利用云端的强大算力以使大模型的识别结果更加准确。
作为其中一个实施例，参见图7，示出了所述大模型为部署在自车车端的第二多模态大模型的一个实施例，其中，虚线箭头表示上行数据(车端发送到云端)、实线箭头表示下行数据(云端发送到车端)，此时，所述识别处理和由所述大模型所执行的第二次识别，均由自车车端执行。
本实施例中，所述第二多模态大模型是经简化处理后的大语言模型，该简化处理可以是将与车内外异常情况识别相关性不高的部分简化，保留与车内外异常情况识别相关性较高的部分，从而即使是将大模型部署在算力相对有限的车端，仍然可以具备很强的异常情况识别能力，并且其相对于将大模型部署在云端而言，无需与云端通信，可以在网络信号不佳的地方也实现本实施例的所有技术效果。
在一种可选的实施方式中，若所述大模型为部署在云端的第一多模态大模型，则所述方法还包括：
在所述将所述车载摄像头数据输入至预先配置的大模型之前，对所述车载摄像头数据进行脱敏处理，以形成新的车载摄像头数据。
示例性的，所述对所述车载摄像头数据进行脱敏处理，可以包括将所述车载摄像头数据中的人脸信息去除。
本实施例中，由于车载摄像头数据中包含很多人的个人信息，因此当数据不仅保存在本地，且还需上传到云端时，需要对数据进行必要的脱敏处理，以避免隐私泄露。
在一种可选的实施方式中，所述识别处理通过部署在自车车端的小模型进行；所述小模型基于小参数量的神经网络模型确定。
本实施例中，通过部署在自车车端的小模型进行所述识别处理，以得到第一次识别的结果，用于判断是否需要进行第二次识别，从而避免频繁调用大模型而造成的算力浪费。
相应地，本发明实施例还提供一种车内外异常识别装置，能够实现上述实施例提供的车内外异常识别方法的所有流程。
参见图2，是本发明提供的车内外异常识别装置的一个实施例的结构示意图，包括：
数据获取模块，用于响应于检测到开启异常识别指令，获取车载摄像头数据；
第一识别模块，用于对所述车载摄像头数据进行识别处理，得到第一识别结果；
第二识别模块，用于在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。
在一种可选的实施方式中，所述车载摄像头数据包括车载摄像头拍摄到的车外全景视频；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
响应于在所述车外全景视频中检测到行人，对所述车外全景视频进行识别处理，得到所述行人相对于自车的第一距离。
在一种可选的实施方式中，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若所述第一距离小于等于预设距离阈值的持续时间大于等于预设时间阈值，则判定为所述行人靠近车辆，并将所述车外全景视频输入至所述大模型，得到所述大模型输出的第三识别结果；其中，所述第三识别结果用于指示是否存在危险行为。
在一种可选的实施方式中，所述方法还包括：
若不存在危险行为，则对待保存视频进行保存；其中，所述待保存视频为所述行人靠近车辆之前的预设第一时间段内以及之后的预设第二时间段内的车外全景视频；
若存在危险行为，则进行报警和/或保存所述待保存视频。
在一种可选的实施方式中，所述车载摄像头数据包括若干车内图像；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
对所述若干车内图像进行识别处理；
若在任一车内图像中识别到预设有效目标，则基于所有识别到预设有效目标的目标车内图像确定第一识别结果。
在一种可选的实施方式中，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若存在所述目标车内图像，则将所述目标车内图像输入至所述大模型，得到所述大模型输出的第四识别结果；其中，所述第四识别结果用于指示是否存在车内异常情况。
在一种可选的实施方式中，所述方法还包括：
若不存在车内异常情况，则保存所述目标车内图像；
若存在车内异常情况，则进行报警。
在一种可选的实施方式中，所述大模型包括：部署在云端的第一多模态大模型，或，部署在自车车端的第二多模态大模型。
在一种可选的实施方式中，若所述大模型为部署在云端的第一多模态大模型，则所述方法还包括：
在所述将所述车载摄像头数据输入至预先配置的大模型之前，对所述车载摄像头数据进行脱敏处理，以形成新的车载摄像头数据。
在一种可选的实施方式中，所述识别处理通过部署在自车车端的小模型进行；所述小模型基于小参数量的神经网络模型确定。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的车内外异常识别方法的步骤。
本发明实施例还提供了一种计算机设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的车内外异常识别方法的步骤。
该实施例的计算机设备包括：处理器301、存储器302以及存储在所述存储器302中并可在所述处理器301上运行的计算机程序，例如车内外异常识别程序。所述处理器301执行所述计算机程序时实现上述各个车内外异常识别方法实施例中的步骤，例如图1所示的步骤S1-S3。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器302中，并由所述处理器301执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，所述示意图仅仅是计算机设备的示例，并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器301可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器301、数字信号处理器301(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器301可以是微处理器301或者该处理器301也可以是任何常规的处理器301等，所述处理器301是所述计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。
所述存储器302可用于存储所述计算机程序和/或模块，所述处理器301通过运行或执行存储在所述存储器302内的计算机程序和/或模块，以及调用存储在存储器302内的数据，实现所述计算机设备的各种功能。所述存储器302可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器302可以包括高速随机存取存储器302，还可以包括非易失性存储器302，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器302件、闪存器件、或其他易失性固态存储器302件。
其中，所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器301执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器302、只读存储器302(ROM，Read-OnlyMemory)、随机存取存储器302(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
综上，本发明具有以下有益效果：
本发明实施例通过响应于检测到开启异常识别指令，获取车载摄像头数据；对所述车载摄像头数据进行识别处理，得到第一识别结果；在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。采用本发明实施例，通过二次检测能够在准确识别到车内外是否存在异常情况的同时，避免频繁调用大模型而造成的算力浪费，且利用大模型还可以大幅提高异常识别的场景覆盖率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (13)
1.一种车内外异常识别方法，其特征在于，包括：
响应于检测到开启异常识别指令，获取车载摄像头数据；
对所述车载摄像头数据进行识别处理，得到第一识别结果；
在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。
2.如权利要求1所述的车内外异常识别方法，其特征在于，所述车载摄像头数据包括车载摄像头拍摄到的车外全景视频；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
响应于在所述车外全景视频中检测到行人，对所述车外全景视频进行识别处理，得到所述行人相对于自车的第一距离。
3.如权利要求2所述的车内外异常识别方法，其特征在于，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若所述第一距离小于等于预设距离阈值的持续时间大于等于预设时间阈值，则判定为所述行人靠近车辆，并将所述车外全景视频输入至所述大模型，得到所述大模型输出的第三识别结果；其中，所述第三识别结果用于指示所述行人是否存在危险行为。
4.如权利要求3所述的车内外异常识别方法，其特征在于，所述方法还包括：
若不存在危险行为，则对待保存视频进行保存；其中，所述待保存视频为所述行人靠近车辆之前的预设第一时间段内以及之后的预设第二时间段内的车外全景视频；
若存在危险行为，则进行报警和/或保存所述待保存视频。
5.如权利要求1所述的车内外异常识别方法，其特征在于，所述车载摄像头数据包括若干车内图像；
所述对所述车载摄像头数据进行识别处理，得到第一识别结果，包括：
对所述若干车内图像进行识别处理；
若在任一车内图像中识别到预设有效目标，则基于所有识别到预设有效目标的目标车内图像确定第一识别结果。
6.如权利要求5所述的车内外异常识别方法，其特征在于，所述在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果，包括：
若存在所述目标车内图像，则将所述目标车内图像输入至所述大模型，得到所述大模型输出的第四识别结果；其中，所述第四识别结果用于指示是否存在车内异常情况。
7.如权利要求6所述的车内外异常识别方法，其特征在于，所述方法还包括：
若不存在车内异常情况，则保存所述目标车内图像；
若存在车内异常情况，则进行报警。
8.如权利要求1-7任一项所述的车内外异常识别方法，其特征在于，所述大模型包括：部署在云端的第一多模态大模型，或，部署在自车车端的第二多模态大模型。
9.如权利要求8所述的车内外异常识别方法，其特征在于，若所述大模型为部署在云端的第一多模态大模型，则所述方法还包括：
在所述将所述车载摄像头数据输入至预先配置的大模型之前，对所述车载摄像头数据进行脱敏处理，以形成新的车载摄像头数据。
10.如权利要求1-7任一项所述的车内外异常识别方法，其特征在于，所述识别处理通过部署在自车车端的小模型进行；所述小模型基于小参数量的神经网络模型确定。
11.一种车内外异常识别装置，其特征在于，包括：
数据获取模块，用于响应于检测到开启异常识别指令，获取车载摄像头数据；
第一识别模块，用于对所述车载摄像头数据进行识别处理，得到第一识别结果；
第二识别模块，用于在所述第一识别结果满足预设的第一异常条件的情况下，将所述车载摄像头数据输入至预先配置的大模型，得到所述大模型输出的第二识别结果；其中，所述第二识别结果用于指示是否存在车内外异常情况。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的车内外异常识别方法。
13.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-10任一项所述的车内外异常识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311660207.7A CN117935228A (zh) | 2023-12-05 | 2023-12-05 | 一种车内外异常识别方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311660207.7A CN117935228A (zh) | 2023-12-05 | 2023-12-05 | 一种车内外异常识别方法、装置、介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117935228A true CN117935228A (zh) | 2024-04-26 |
Family
ID=90769111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311660207.7A Pending CN117935228A (zh) | 2023-12-05 | 2023-12-05 | 一种车内外异常识别方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117935228A (zh) |
-
2023
- 2023-12-05 CN CN202311660207.7A patent/CN117935228A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2689902C2 (ru) | Способ обнаружения физических угроз, приближающихся к транспортному средству (варианты), и транспортное средство | |
| CN110575163B (zh) | 一种检测驾驶员分心的方法及装置 | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| WO2020042984A1 (zh) | 一种车辆行为检测方法及装置 | |
| CN111274881A (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
| US20220180109A1 (en) | Devices and methods for monitoring drivers of vehicles | |
| CN109697473A (zh) | 一种施工隧道车辆违章的检测方法、计算机装置以及计算机可读存储介质 | |
| US20240096116A1 (en) | Devices and methods for detecting drowsiness of drivers of vehicles | |
| US11616932B1 (en) | Car security camera triggering mechanism | |
| CN114407832A (zh) | 一种用于车身防刮防盗的监控方法、车身控制器及车辆 | |
| US10272838B1 (en) | Reducing lane departure warning false alarms | |
| CN116872840A (zh) | 车辆防撞预警方法、装置、车辆和存储介质 | |
| CN117935228A (zh) | 一种车内外异常识别方法、装置、介质及设备 | |
| Satzoda et al. | Vision-based front and rear surround understanding using embedded processors | |
| CN109410582B (zh) | 交通状况分析方法及终端设备 | |
| CN112839064A (zh) | 车辆的智能控制方法及装置 | |
| CN111959517A (zh) | 一种距离的提示方法、装置、计算机设备和存储介质 | |
| Singh et al. | Driver's Seat Belt Detection Using CNN-SVM: A Hybrid Approach | |
| WO2022255170A1 (ja) | 車両用防犯装置、車両用防犯システム、車両用防犯方法、及びプログラム | |
| TWI776572B (zh) | 示警方法、系統以及交通工具 | |
| CN118201834A (zh) | 设备端的驾驶风险行为干预方法、装置、设备及存储介质 | |
| CN113734173A (zh) | 车辆智能监控方法、设备及存储介质 | |
| CN117116000A (zh) | 一种行车预警方法、装置及电子设备 | |
| CN118366132A (zh) | 驾驶员的行为检测方法、装置、电子设备及存储介质 | |
| CN114390254A (zh) | 一种后排驾驶舱监控方法、装置及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |