CN116721390B - 基于数据处理的地铁列车乘客状态确定方法和系统 - Google Patents
基于数据处理的地铁列车乘客状态确定方法和系统 Download PDFInfo
- Publication number
- CN116721390B CN116721390B CN202310997238.5A CN202310997238A CN116721390B CN 116721390 B CN116721390 B CN 116721390B CN 202310997238 A CN202310997238 A CN 202310997238A CN 116721390 B CN116721390 B CN 116721390B
- Authority
- CN
- China
- Prior art keywords
- passengers
- passenger
- video
- model
- carriage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 112
- 238000012544 monitoring process Methods 0.000 claims abstract description 62
- 230000008921 facial expression Effects 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 28
- 230000006996 mental state Effects 0.000 claims description 15
- 230000005856 abnormality Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 210000003128 head Anatomy 0.000 description 44
- 230000014509 gene expression Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000001747 exhibiting effect Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 3
- 238000010009 beating Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000031872 Body Remains Diseases 0.000 description 1
- 206010017472 Fumbling Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000004283 incisor Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 208000018883 loss of balance Diseases 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T30/00—Transportation of goods or passengers via railways, e.g. energy recovery or reducing air resistance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明提供的一种基于数据处理的地铁列车乘客状态确定方法和系统，本发明涉及数据处理技术领域，该方法包括获取列车运行时的车厢监控视频；基于列车运行时的车厢监控视频确定多个乘客图像以及多个乘客所对应的声音数据；基于列车运行时的车厢监控视频、多个乘客图像确定多个乘客的脸部表情序列、多个乘客的手臂挥动速度序列、多个乘客的腿部挥动速度序列、多个乘客的垂直运动速度序列、多个乘客的水平运动速度序列、多个乘客的头部摇晃速度序列；构建多个乘客节点和多个乘客节点之间的多条边；基于图神经网络模型确定多个乘客的乘车状态，该方法能够及时准确的确定地铁列车乘客状态。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于数据处理的地铁列车乘客状态确定方法和系统。
背景技术
目前，随着城市化进程的加快，大城市的地铁系统承载了大量乘客的运输需求。然而，由于各种原因，例如拥挤、紧迫的行程等，地铁列车上乘客发生的各种安全问题也日益引起人们的关注。因此，需要提前识别地铁列车中乘客的状态以达到提前预警和监控的目的。传统方法主要依赖于人工巡逻和视频监控来人为确定地铁列车中乘客的状态，无法实时准确地处理大量庞杂的数据，传统方法确定出的乘客的状态往往不太准确，不能达到提前预警和监控的目的。
因此如何及时准确的确定地铁列车乘客状态当前亟待解决的问题。
发明内容
本发明主要解决的技术问题是如何及时准确的确定地铁列车乘客状态。
根据第一方面，本发明提供一种基于数据处理的地铁列车乘客状态确定方法，包括：获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音；基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。
更进一步地，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态。
更进一步地，所述方法还包括：基于所述多个乘客的乘车状态确定是否进行安全预警。
更进一步地，所述基于所述多个乘客的乘车状态确定是否进行安全预警包括：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。
更进一步地，所述第一视频处理模型为长短期神经网络模型，所述第一视频处理模型的输入为所述列车运行时的车厢监控视频，所述第一视频处理模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据；所述第二视频处理模型为长短期神经网络模型，所述第二视频处理模型的输入所述列车运行时的车厢监控视频、所述多个乘客图像，所述第二视频处理模型的输出为所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列。
更进一步地，所述方法还包括：基于所述多个乘客所对应的声音数据确定多个乘客中的每个乘客的最大音量；判断所述多个乘客中的每个乘客的最大音量是否超过音量阈值；将超过音量阈值所对应的乘客的位置信息发送到管理平台，以提醒管理平台对乘客进行管理。
根据第二方面，本发明提供一种基于数据处理的地铁列车乘客状态确定系统，包括：获取模块，用于获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音；第一处理模块，用于基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；第二处理模块，用于基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；构建模块，用于构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；乘车状态确定模块，用于基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。
更进一步地，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态。
更进一步地，所述系统还用于：基于所述多个乘客的乘车状态确定是否进行安全预警。
更进一步地，所述系统还用于：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。
本发明提供的一种基于数据处理的地铁列车乘客状态确定方法和系统，该方法包括获取列车运行时的车厢监控视频，列车运行时的车厢监控视频包括车厢图像和车厢声音；基于列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及多个乘客所对应的声音数据；基于列车运行时的车厢监控视频、多个乘客图像使用第二视频处理模型确定多个乘客的脸部表情序列、多个乘客的手臂挥动速度序列、多个乘客的腿部挥动速度序列、多个乘客的垂直运动速度序列、多个乘客的水平运动速度序列、多个乘客的头部摇晃速度序列；构建多个乘客节点和多个乘客节点之间的多条边，多个乘客节点中的每个乘客节点包括多个节点特征，多个节点特征包括多个乘客的脸部表情序列、多个乘客的手臂挥动速度序列、多个乘客的腿部挥动速度序列、多个乘客的垂直运动速度序列、多个乘客的水平运动速度序列、多个乘客的头部摇晃速度序列、多个乘客所对应的声音数据，多条边为多个乘客之间的位置关系；基于图神经网络模型对多个乘客节点和多个乘客节点之间的多条边进行处理确定多个乘客的乘车状态，该方法能够及时准确的确定地铁列车乘客状态。
附图说明
图1为本发明实施例提供的一种基于数据处理的地铁列车乘客状态确定方法的流程示意图；
图2为本发明实施例提供的一种对乘客进行音量管理的方法的流程示意图；
图3为本发明实施例提供的一种基于数据处理的地铁列车乘客状态确定系统的示意图。
具体实施方式
本发明实施例中，提供了如图1所示的一种基于数据处理的地铁列车乘客状态确定方法，所述基于数据处理的地铁列车乘客状态确定方法包括步骤S1~S5：
步骤S1，获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音。
列车运行时的车厢监控视频指安装在列车车厢内的摄像头设备所拍摄到的图像和声音数据流。它可以提供列车车厢内的实时情况和乘客活动的记录。列车运行时的车厢监控视频可以通过车厢的监控摄像头拍摄得到。作为示例，可以每隔5秒、10秒、30秒、1分钟获取所述列车运行时的车厢监控视频并进行后续的分析。列车运行时的车厢监控视频的时长可以为5秒、10秒、30秒、1分钟。
所述列车运行时的车厢监控视频包括车厢图像和车厢声音。
车厢图像指车厢监控视频中所捕捉到的列车车厢内的图像信息。它可以显示乘客的位置、行为以及其他与安全相关的信息。
车厢图像可以包括乘客的脸部特征、身体姿势、行走方向等，通过分析车厢图像可以判断每个乘客的状态和行为。
车厢声音指车厢监控视频中所记录到的列车车厢内的声音信息。它可以提供乘客的讲话声音、突发事件的声音等。
车厢声音包括乘客之间的交流声、手机铃声、紧急广播等。可以分析车厢声音来确定车厢内的状态。
步骤S2，基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据。
可以通过第一视频处理模型确定多个乘客图像和所述多个乘客所对应的声音数据。
第一视频处理模型为长短期神经网络模型。长短期神经网络模型包括长短期神经网络（LSTM，Long Short-Term Memory）。长短期神经网络模型能够处理任意长度的序列数据，捕捉序列的信息，输出基于序列中前后数据关联关系的结果。第一视频处理模型综合考虑了各个时间点的列车运行时的车厢监控视频，最终确定出多个乘客图像以及所述多个乘客所对应的声音数据。第一视频处理模型可以通过梯度下降法对训练样本进行训练得到。
所述第一视频处理模型的输入为所述列车运行时的车厢监控视频，所述第一视频处理模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据。
多个乘客图像指通过第一视频处理模型从车厢监控视频中提取出的多个乘客的图像数据。多个乘客图像可以显示每个乘客的人脸图像、身体姿势、所处位置等。
乘客声音数据指通过第一视频处理模型从车厢监控视频中提取出的每个乘客对应的声音数据。乘客声音数据可以包括乘客的说话声音、声音特征等信息。乘客声音数据记录了乘客在列车车厢中的声音。可以通过分析乘客声音数据来确定乘客在列车中的状态。作为示例，若乘客在列车车厢中的声音为骂人的脏话或攻击性的语言，则说明乘客的状态不属于正常乘车状态。
在一些实施例中，所述第一视频处理模型包括音频分割子模型、视频分割子模型、音频视频匹配子模型。音频分割子模型、视频分割子模型、音频视频匹配子模型都为长短期神经网络模型。所述音频分割子模型的输入为所述列车运行时的车厢监控视频，所述音频分割子模型的输出为不同乘客的声音数据；所述视频分割子模型的输入为所述列车运行时的车厢监控视频，所述视频分割子模型的输出为多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频；所述音频视频匹配子模型的输入为所述列车运行时的车厢监控视频、不同乘客的声音数据、多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频，所述音频视频匹配子模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据。
音频分割子模型能够将列车运行时的车厢监控视频中的车厢声音进行分割得到不同乘客的声音数据，但分割得到的不同乘客的声音数据不能与每一位乘客匹配上，既不知道哪一个乘客的声音数据是对应的哪一个乘客。视频分割子模型可以将列车运行时的车厢监控视频进行分割得到多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频。所述音频视频匹配子模型能够将每个乘客所对应的车厢监控视频与不同乘客的声音数据进行匹配得到多个乘客图像以及所述多个乘客所对应的声音数据。每个乘客所对应的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频包含了每个乘客的说话的嘴型动作信息、手部动作信息、头部朝向、腿部动作等信息，由于乘客在说话时往往伴随着嘴型的动作和肢体的动作，所以可以通过音频视频匹配子模型来对每个乘客所对应的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频与不同乘客的声音数据进行匹配得到多个乘客图像以及所述多个乘客所对应的声音数据。
在一些实施例中，可以计算乘客声音数据的SimHash值和数据库中多个历史乘客的参考声音数据的SimHash值，通过汉明距离计算出乘客声音数据的SimHash值与数据库中多个历史乘客的参考声音数据的SimHash值的多个相似度，并将数据库相似度最高的历史乘客的参考声音数据所对应的风险度作为乘客声音风险度。若所述乘客声音风险度大于声音风险度阈值，则发送预警信息发送到管理平台。数据库是预先构建的，数据库包括多个历史乘客的参考声音数据和多个历史乘客的所对应的风险度，多个历史乘客的所对应的风险度是历史人为对多个历史乘客的参考声音数据进行标注得到。历史乘客的参考声音数据所对应的风险度为0-1之间的数值，数值越大，则说明乘客越危险，对身边人的伤害的可能性越高。
在一些实施例中，计算声音数据的SimHash值包括：将声音数据进行特征提取并转化为声音数据的数值形式，再计算声音数据的数值形式的SimHash值。
步骤S3，基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列。
第二视频处理模型为长短期神经网络模型。所述第二视频处理模型的输入所述列车运行时的车厢监控视频、所述多个乘客图像，所述第二视频处理模型的输出为所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列。
第二视频处理模型可以对所述列车运行时的车厢监控视频、所述多个乘客图像进行处理确定出所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列。
所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列可以反映出乘客的乘车状态。
乘客的脸部表情序列表示在所述列车运行时的车厢监控视频运行过程中乘客的脸部表情随时间变化的序列。人的面部表情可以表达内心情绪和状态。通过识别乘客的脸部表情序列，可以判断乘客是否处于正常乘车状态，或者是否存在愤怒、紧张、精神状态异常等情绪。乘客的脸部表情序列可以包括笑容、皱眉、惊讶。
乘客的手臂挥动速度序列表示在所述列车运行时的车厢监控视频运行过程中乘客的手臂挥动速度随时间变化的序列，作为示例，乘客的手臂挥动速度在一段时间内较快、猛烈，可能表示他们正在争吵、打架或试图攻击他人。
乘客的腿部挥动速度序列表示在所述列车运行时的车厢监控视频运行过程中乘客的腿部挥动速度随时间变化的序列，若乘客的垂直运动速度序列显示乘客的腿部挥动速度突然加快，可能意味着他们摔倒或失去平衡或正在进行打架。
乘客的垂直运动速度序列表示在所述列车运行时的车厢监控视频运行过程中乘客在垂直方向上的运动速度随时间变化的序列。作为示例，若乘客的垂直运动速度序列显示乘客出现剧烈上下跳动，则表示乘客可能出现精神状态异常。
乘客的水平运动速度序列表示在所述列车运行时的车厢监控视频运行过程中乘客在水平方向上的运动速度随时间变化的序列。作为示例，若乘客的水平运动速度序列显示乘客在车厢内来回移动，则表示乘客可能遗失贵重物品在来回寻找。
乘客的头部摇晃速度序列表示在所述列车运行时的车厢监控视频运行过程中乘客的头部摇晃速度随时间变化的序列，作为示例，若乘客的头部摇晃速度序列显示乘客的头部摇晃速度与车辆转弯和颠簸相符，则说明乘客属于正常乘车状态。作为示例，若乘客的头部摇晃速度序列显示乘客的头部摇晃速度异常加快，可能表示他们在寻找或摸索遗失的贵重物品。
步骤S4，构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系。
可以通过构建多个乘客节点和所述多个乘客节点之间的多条边作为后续图神经网络模型的输入以确定乘客的乘车状态。
多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据。
所述多条边为所述多个乘客之间的位置关系。在一些实施例中，边的特征包括节点之间的方向和距离。边的特征也可以反映出乘客之间的状态，例如两个乘客之间的距离过近，则表示可能发生打架事件或摔倒事件。在一些实施例中，可以根据乘客之间的位置关系，可以构建多条边连接节点。
作为示例，假设有一列地铁车厢中乘坐了五个乘客，他们分别是A、B、C、D、E，他们分别包含多个节点特征，可以构建多条边连接节点：
边(A, B)：表示乘客A与乘客B之间的位置关系。
边(A, C)：表示乘客A与乘客C之间的位置关系。
边(B, C)：表示乘客B与乘客C之间的位置关系。
边(B, D)：表示乘客B与乘客D之间的位置关系。
边(B, E)：表示乘客B与乘客E之间的位置关系。
在一些实施例中，可以将每个乘客节点与剩余其他乘客节点进行连接形成多条边。
多个节点特征可以反映出用户的乘车状态，可以通过对多个节点特征和边的特征的处理确定出所述多个乘客的乘车状态。
作为示例，脸部表情序列显示乘客的乘车状态可以包括：正常乘车：乘客的脸部表情平静、放松，没有明显的愤怒或紧张情绪。争吵/打架：乘客的脸部表情紧张、愤怒，可能有咆哮、怒视等表现。精神状态异常：乘客的脸部表情呆滞、失神，可能出现眼神迷离、面无表情等。
作为示例，手臂挥动速度序列显示乘客的乘车状态可以包括：正常乘车：乘客的手臂挥动速度较缓慢、平稳，与车辆运动节奏相符。争吵/打架：乘客的手臂挥动速度较快、猛烈，有推搡、拳打脚踢等动作。
作为示例，腿部挥动速度序列显示乘客的乘车状态可以包括：正常乘车：乘客的腿部挥动速度与车辆运动相协调，例如在车辆行驶过程中腿部轻微摆动。摔倒：乘客的腿部挥动速度突然变快，出现失去平衡、跌倒等情况。
作为示例，垂直运动速度序列显示乘客的乘车状态可以包括：正常乘车：乘客的垂直运动速度相对平稳，例如随着车辆行驶的颠簸轻微上下移动。精神状态异常：乘客的垂直运动速度剧烈变化，可能出现抽搐、不自主地上下跳动等情况。
作为示例，水平运动速度序列显示乘客的乘车状态可以包括：正常乘车：乘客的水平运动速度与车辆运动保持一致，没有明显异常。危害公共安全：乘客的水平运动速度异常快速，可能有猛烈摇晃或试图攻击周围人员的举动。
作为示例，头部摇晃速度序列显示乘客的乘车状态可以包括：正常乘车：乘客的头部摇晃速度平稳、轻微，与车辆的转弯或颠簸相符。争吵状态：乘客的头部迅速左右晃动，目光不断转向争吵的对象。
步骤S5，基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。
图神经网络模型包括图神经网络（Graph Neural Network，GNN）和全连接层，图神经网络是一种直接作用于图结构数据上的神经网络，所述图结构数据是由节点和边两部分组成的一种数据结构。
所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态。
不同乘车状态下所对应的节点特征不同，作为示例，正常乘车状态：脸部表情序列显示乘客面部放松，可能带有微笑或安静的表情。手臂挥动速度序列显示手臂在舒适范围内活动，没有剧烈的挥动。腿部挥动速度序列显示腿部相对稳定，随着车辆的运动轻微晃动。垂直运动速度序列显示乘客身体保持平稳，没有明显的上下颠簸动作。水平运动速度序列显示乘客身体相对稳定，没有明显的左右晃动。头部摇晃速度序列显示头部相对静止，只有轻微的摇晃。
不同乘车状态下所对应的节点特征不同，作为示例，争吵状态：脸部表情序列显示乘客可能表现出愤怒、攻击性的表情，例如咬牙切齿、紧皱眉头。手臂挥动速度序列显示手臂可能带有激烈的挥动，用于争吵或指向他人。腿部挥动速度序列显示腿部可能会踢或跺脚，以示愤怒或不满。垂直运动速度序列显示乘客可能因情绪激动而上下晃动或跳跃。水平运动速度序列显示乘客可能会向其他人推搡或拉扯。头部摇晃速度序列显示头部可能快速摇晃，表达不满或恼怒。
不同乘车状态下所对应的节点特征不同，作为示例，打架状态：脸部表情序列显示乘客可能表现出愤怒、暴力的表情，例如扭曲的面容、怒目而视。手臂挥动速度序列显示手臂可能会快速挥动，用于打击对方或进行防御。腿部挥动速度序列显示乘客可能会用腿踢对方，或者试图保持平衡。垂直运动速度序列显示乘客可能会出现剧烈的上下运动，如跳跃或倒地。水平运动速度序列显示乘客可能会迅速移动，尝试抓住对方或躲避攻击。头部摇晃速度序列显示头部可能会迅速旋转，用于避开攻击或发出打击。
不同乘车状态下所对应的节点特征不同，作为示例，摔倒状态：脸部表情序列显示乘客可能表现出痛苦、惊讶的表情，例如张大嘴巴、皱眉。手臂挥动速度序列显示手臂可能会突然失去平衡，向身体的一侧伸展。腿部挥动速度序列显示乘客的一只腿可能会突然失去支撑，造成跌倒。垂直运动速度序列显示乘客可能会突然下降或倒地，表现出剧烈的垂直运动。水平运动速度序列显示乘客可能会呈现匀速或不稳定的水平滑动，因为失去了平衡。头部摇晃速度序列显示头部可能会迅速倾斜或抬起，反应摔倒的力量和角度。
不同乘车状态下所对应的节点特征不同，作为示例，精神状态异常状态：脸部表情序列显示乘客的表情可能呈现茫然、失神的状态，面无表情。手臂挥动速度序列显示手臂可能会较少活动，呈现迟缓或僵硬的状态。腿部挥动速度序列显示腿部可能会较少活动，呈现迟缓或僵硬的状态。垂直运动速度序列显示乘客可能保持稳定的垂直姿势，没有明显的上下颠簸。水平运动速度序列显示乘客可能保持稳定的水平姿势，没有明显的左右晃动。头部摇晃速度序列显示头部可能会较少摇晃，反应迟钝或固定。
不同乘车状态下所对应的节点特征不同，作为示例，遗失贵重物品状态：脸部表情序列显示乘客可能表现出惊恐、焦虑的表情，例如眉头紧锁、手忙脚乱。手臂挥动速度序列显示手臂可能快速搜索周围区域，带有短暂的急促挥动。腿部挥动速度序列显示腿部可能会迅速移动，以寻找遗失的物品。垂直运动速度序列显示乘客可能会频繁低头或弯腰，检查可能的遗失位置。水平运动速度序列显示乘客可能在车厢内来回移动，寻找物品的位置。头部摇晃速度序列显示头部可能快速扫视周围，查找潜在的遗失物品。
不同乘车状态下所对应的节点特征不同，作为示例，危害公共安全状态：脸部表情序列显示乘客可能表现出威胁、挑衅的表情，例如狰狞的面容、冷漠的表情。手臂挥动速度序列显示手臂可能会带有攻击性的快速挥动或持有危险物品。腿部挥动速度序列显示腿部可能会显示出不稳定或踢击的动作。垂直运动速度序列显示乘客可能会表现出异常的上下颠簸动作，如踏踏实实或跳跃。水平运动速度序列显示乘客可能会迅速移动，表现出紧张或威胁行为。头部摇晃速度序列显示头部可能会快速摇晃或突然变换方向，以示攻击或威胁。
同时乘客的声音数据也能用于确定乘客状态，可以参见步骤S2，此处不再赘述。
图神经网络模型可以对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理最终确定所述多个乘客的乘车状态。
在一些实施例中，还可以基于所述多个乘客的乘车状态确定是否进行安全预警。
在一些实施例中，若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。管理平台可以将乘客图像发送给管理人员，并通知管理人员到乘客所对应的位置信息出进行安全管理。
在一些实施例中，可以将乘客所对应的摄像头的所在位置作为乘客的位置信息。
在一些实施例中，还可以通过如图2所示的方法来对乘客进行音量管理，图2为本发明实施例提供的一种对乘客进行音量管理的方法的流程示意图；所述对乘客进行音量管理的方法包括步骤S21~S23：
步骤S21，基于所述多个乘客所对应的声音数据确定多个乘客中的每个乘客的最大音量。
在一些实施例中，将多个乘客所对应的声音数据进行分帧处理，将多个乘客所对应的声音数据分成小的时间片段。对每个时间片段计算能量值，计算该时间片段内声音振幅的平方和来表示能量。在多个乘客所对应的声音数据中找到能量最高的时间片段，即该乘客的最大音量所在的时间片段。记录该时间片段对应的能量值作为该乘客的最大音量。
在一些实施例中，可以通过音频编辑软件Adobe Audition、Audacity来确定乘客的最大音量。
步骤S22，判断所述多个乘客中的每个乘客的最大音量是否超过音量阈值。
音量阈值为提前设定好的阈值。若乘客声音超过音量阈值，则说明乘客音量过大，会影响其他乘客的乘车体验，需要对该乘客的音量进行管理。
步骤S23，将超过音量阈值所对应的乘客的位置信息发送到管理平台，以提醒管理平台对乘客进行管理。
管理平台可以派遣工作人员到该乘客的位置信息处以提醒该乘客减少音量。
基于同一发明构思，图3为本发明的实施例提供的一种基于数据处理的地铁列车乘客状态确定系统示意图，所述基于数据处理的地铁列车乘客状态确定系统包括：
获取模块31，用于获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音；
第一处理模块32，用于基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；
第二处理模块33，用于基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；
构建模块34，用于构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；
乘车状态确定模块35，用于基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态。
Claims (7)
1.一种基于数据处理的地铁列车乘客状态确定方法，其特征在于，包括：
获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音，车厢图像指车厢监控视频中所捕捉到的列车车厢内的图像信息，车厢图像显示了乘客的位置、行为以及与安全相关的信息，车厢声音指车厢监控视频中所记录到的列车车厢内的声音信息，车厢声音提供了乘客的讲话声音、突发事件的声音；
基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据，所述第一视频处理模型包括音频分割子模型、视频分割子模型、音频视频匹配子模型，音频分割子模型、视频分割子模型、音频视频匹配子模型都为长短期神经网络模型，所述音频分割子模型的输入为所述列车运行时的车厢监控视频，所述音频分割子模型的输出为不同乘客的声音数据，所述视频分割子模型的输入为所述列车运行时的车厢监控视频，所述视频分割子模型的输出为多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频，所述音频视频匹配子模型的输入为所述列车运行时的车厢监控视频、不同乘客的声音数据、多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频，所述音频视频匹配子模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据；
基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列；
构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；
基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态；
所述方法还包括：计算乘客声音数据的SimHash值和数据库中多个历史乘客的参考声音数据的SimHash值，通过汉明距离计算出乘客声音数据的SimHash值与数据库中多个历史乘客的参考声音数据的SimHash值的多个相似度，并将数据库相似度最高的历史乘客的参考声音数据所对应的风险度作为乘客声音风险度，若所述乘客声音风险度大于声音风险度阈值，则发送预警信息发送到管理平台；
所述方法还包括：
基于所述多个乘客所对应的声音数据确定多个乘客中的每个乘客的最大音量；
判断所述多个乘客中的每个乘客的最大音量是否超过音量阈值；
将超过音量阈值所对应的乘客的位置信息发送到管理平台，以提醒管理平台对乘客进行管理。
2.如权利要求1所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述方法还包括：基于所述多个乘客的乘车状态确定是否进行安全预警。
3.如权利要求2所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述基于所述多个乘客的乘车状态确定是否进行安全预警包括：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。
4.如权利要求1所述的基于数据处理的地铁列车乘客状态确定方法，其特征在于，所述第一视频处理模型为长短期神经网络模型，所述第一视频处理模型的输入为所述列车运行时的车厢监控视频，所述第一视频处理模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据；
所述第二视频处理模型为长短期神经网络模型，所述第二视频处理模型的输入所述列车运行时的车厢监控视频、所述多个乘客图像，所述第二视频处理模型的输出为所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列。
5.一种基于数据处理的地铁列车乘客状态确定系统，其特征在于，包括：
获取模块，用于获取列车运行时的车厢监控视频，所述列车运行时的车厢监控视频包括车厢图像和车厢声音，车厢图像指车厢监控视频中所捕捉到的列车车厢内的图像信息，车厢图像显示了乘客的位置、行为以及与安全相关的信息，车厢声音指车厢监控视频中所记录到的列车车厢内的声音信息，车厢声音提供了乘客的讲话声音、突发事件的声音；
第一处理模块，用于基于所述列车运行时的车厢监控视频使用第一视频处理模型确定多个乘客图像以及所述多个乘客所对应的声音数据；
第二处理模块，用于基于所述列车运行时的车厢监控视频、所述多个乘客图像使用第二视频处理模型确定所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列，所述第一视频处理模型包括音频分割子模型、视频分割子模型、音频视频匹配子模型，音频分割子模型、视频分割子模型、音频视频匹配子模型都为长短期神经网络模型，所述音频分割子模型的输入为所述列车运行时的车厢监控视频，所述音频分割子模型的输出为不同乘客的声音数据，所述视频分割子模型的输入为所述列车运行时的车厢监控视频，所述视频分割子模型的输出为多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频，所述音频视频匹配子模型的输入为所述列车运行时的车厢监控视频、不同乘客的声音数据、多个乘客中的每个乘客的手部动作视频、嘴部动作视频、头部动作视频、腿部动作视频，所述音频视频匹配子模型的输出为多个乘客图像以及所述多个乘客所对应的声音数据；
构建模块，用于构建多个乘客节点和所述多个乘客节点之间的多条边，所述多个乘客节点中的每个乘客节点包括多个节点特征，所述多个节点特征包括所述多个乘客的脸部表情序列、所述多个乘客的手臂挥动速度序列、所述多个乘客的腿部挥动速度序列、所述多个乘客的垂直运动速度序列、所述多个乘客的水平运动速度序列、所述多个乘客的头部摇晃速度序列、所述多个乘客所对应的声音数据，所述多条边为所述多个乘客之间的位置关系；
乘车状态确定模块，用于基于图神经网络模型对所述多个乘客节点和所述多个乘客节点之间的多条边进行处理确定所述多个乘客的乘车状态，所述多个乘客的乘车状态中的每个乘客的乘车状态包括正常乘车、争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全，所述图神经网络模型的输入为所述多个乘客节点和所述多个乘客节点之间的多条边，所述图神经网络模型的输出为所述多个乘客的乘车状态；
所述系统还用于：计算乘客声音数据的SimHash值和数据库中多个历史乘客的参考声音数据的SimHash值，通过汉明距离计算出乘客声音数据的SimHash值与数据库中多个历史乘客的参考声音数据的SimHash值的多个相似度，并将数据库相似度最高的历史乘客的参考声音数据所对应的风险度作为乘客声音风险度，若所述乘客声音风险度大于声音风险度阈值，则发送预警信息发送到管理平台；
所述系统还用于：
基于所述多个乘客所对应的声音数据确定多个乘客中的每个乘客的最大音量；
判断所述多个乘客中的每个乘客的最大音量是否超过音量阈值；
将超过音量阈值所对应的乘客的位置信息发送到管理平台，以提醒管理平台对乘客进行管理。
6.如权利要求5所述的基于数据处理的地铁列车乘客状态确定系统，其特征在于，所述系统还用于：基于所述多个乘客的乘车状态确定是否进行安全预警。
7.如权利要求5所述的基于数据处理的地铁列车乘客状态确定系统，其特征在于，所述系统还用于：若存在乘客的乘车状态为争吵、打架、摔倒、精神状态异常、遗失贵重物品、危害公共安全中的其中一个状态，则确认需要进行安全预警，并将乘客所对应的位置信息发送到管理平台，以提醒管理平台进行安全管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310997238.5A CN116721390B (zh) | 2023-08-09 | 2023-08-09 | 基于数据处理的地铁列车乘客状态确定方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310997238.5A CN116721390B (zh) | 2023-08-09 | 2023-08-09 | 基于数据处理的地铁列车乘客状态确定方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116721390A CN116721390A (zh) | 2023-09-08 |
| CN116721390B true CN116721390B (zh) | 2023-10-27 |
Family
ID=87873805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310997238.5A Active CN116721390B (zh) | 2023-08-09 | 2023-08-09 | 基于数据处理的地铁列车乘客状态确定方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721390B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201576338U (zh) * | 2009-12-18 | 2010-09-08 | 长安大学 | 一种用于公交客车的安全提醒装置 |
| CN105321293A (zh) * | 2014-09-18 | 2016-02-10 | 广东小天才科技有限公司 | 一种危险检测提醒方法及智能设备 |
| CN107086035A (zh) * | 2016-12-20 | 2017-08-22 | 武汉理工大学 | 一种基于车内噪声监测的语音提醒装置 |
| CN109558795A (zh) * | 2018-10-17 | 2019-04-02 | 秦羽新 | 一种校车乘客安全智能监控系统 |
| CN111027478A (zh) * | 2019-12-10 | 2020-04-17 | 青岛农业大学 | 一种基于深度学习的司机、乘客行为分析与预警系统 |
| CN111401144A (zh) * | 2020-02-26 | 2020-07-10 | 华南理工大学 | 一种基于视频监控的手扶电梯乘客行为识别方法 |
| CN111680638A (zh) * | 2020-06-11 | 2020-09-18 | 深圳北斗应用技术研究院有限公司 | 一种乘客路径识别方法和基于该方法的客流清分方法 |
| CN113331841A (zh) * | 2021-08-05 | 2021-09-03 | 深圳市爱深盈通信息技术有限公司 | 一种公交车危险系数评定方法、算法盒子及系统 |
| CN215154571U (zh) * | 2021-07-02 | 2021-12-14 | 王光荣 | 一种车载危险报警系统 |
| CN115188169A (zh) * | 2022-07-11 | 2022-10-14 | 山西华兴科软有限公司 | 一种基于物联网的宿管安全预警系统及应用方法 |
| CN115691551A (zh) * | 2022-08-16 | 2023-02-03 | 深圳市声扬科技有限公司 | 危险事件检测方法、装置及存储介质 |
| CN115716459A (zh) * | 2022-11-02 | 2023-02-28 | 中国第一汽车股份有限公司 | 一种车辆行驶中保障车内人员安全的方法、装置 |
| CN116307743A (zh) * | 2023-05-23 | 2023-06-23 | 浙江安邦护卫科技服务有限公司 | 基于数据处理的押运安全预警方法、系统、设备和介质 |
| CN116523475A (zh) * | 2023-06-30 | 2023-08-01 | 中国市政工程西南设计研究总院有限公司 | 基于bim的水务工程设备管理方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107664705A (zh) * | 2016-07-29 | 2018-02-06 | 奥的斯电梯公司 | 乘客运输机的速度检测系统及其速度检测方法 |
-
2023
- 2023-08-09 CN CN202310997238.5A patent/CN116721390B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201576338U (zh) * | 2009-12-18 | 2010-09-08 | 长安大学 | 一种用于公交客车的安全提醒装置 |
| CN105321293A (zh) * | 2014-09-18 | 2016-02-10 | 广东小天才科技有限公司 | 一种危险检测提醒方法及智能设备 |
| CN107086035A (zh) * | 2016-12-20 | 2017-08-22 | 武汉理工大学 | 一种基于车内噪声监测的语音提醒装置 |
| CN109558795A (zh) * | 2018-10-17 | 2019-04-02 | 秦羽新 | 一种校车乘客安全智能监控系统 |
| CN111027478A (zh) * | 2019-12-10 | 2020-04-17 | 青岛农业大学 | 一种基于深度学习的司机、乘客行为分析与预警系统 |
| CN111401144A (zh) * | 2020-02-26 | 2020-07-10 | 华南理工大学 | 一种基于视频监控的手扶电梯乘客行为识别方法 |
| CN111680638A (zh) * | 2020-06-11 | 2020-09-18 | 深圳北斗应用技术研究院有限公司 | 一种乘客路径识别方法和基于该方法的客流清分方法 |
| CN215154571U (zh) * | 2021-07-02 | 2021-12-14 | 王光荣 | 一种车载危险报警系统 |
| CN113331841A (zh) * | 2021-08-05 | 2021-09-03 | 深圳市爱深盈通信息技术有限公司 | 一种公交车危险系数评定方法、算法盒子及系统 |
| CN115188169A (zh) * | 2022-07-11 | 2022-10-14 | 山西华兴科软有限公司 | 一种基于物联网的宿管安全预警系统及应用方法 |
| CN115691551A (zh) * | 2022-08-16 | 2023-02-03 | 深圳市声扬科技有限公司 | 危险事件检测方法、装置及存储介质 |
| CN115716459A (zh) * | 2022-11-02 | 2023-02-28 | 中国第一汽车股份有限公司 | 一种车辆行驶中保障车内人员安全的方法、装置 |
| CN116307743A (zh) * | 2023-05-23 | 2023-06-23 | 浙江安邦护卫科技服务有限公司 | 基于数据处理的押运安全预警方法、系统、设备和介质 |
| CN116523475A (zh) * | 2023-06-30 | 2023-08-01 | 中国市政工程西南设计研究总院有限公司 | 基于bim的水务工程设备管理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116721390A (zh) | 2023-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11908245B2 (en) | Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots | |
| CN107030691B (zh) | 一种看护机器人的数据处理方法及装置 | |
| Zajdel et al. | CASSANDRA: audio-video sensor fusion for aggression detection | |
| DE60204292T2 (de) | Automatisches überwachungsystem für einen patient und seinen krankenpfleger | |
| US20130243252A1 (en) | Loitering detection in a video surveillance system | |
| DE112016002832T5 (de) | Sicherheitssysteme und -verfahren für autonome Fahrzeuge | |
| CN111242004A (zh) | 一种基于电梯监控数据处理的自动告警方法及系统 | |
| CN109191829A (zh) | 道路安全监控方法及系统、计算机可读存储介质 | |
| CN109887238A (zh) | 一种基于视觉和人工智能的跌倒检测系统及检测报警方法 | |
| CN109620184A (zh) | 手机-可穿戴设备一体式人体突发伤害实时监测报警方法 | |
| CN113850229A (zh) | 基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备 | |
| WO2011025460A1 (en) | Method and system for event detection | |
| CN115690653A (zh) | 基于ai行为识别实现护理员异常护理行为的监测及预警 | |
| CN116721390B (zh) | 基于数据处理的地铁列车乘客状态确定方法和系统 | |
| CN113312958B (zh) | 一种基于司机状态的派单优先度调整方法及装置 | |
| CN117876956A (zh) | 异常行为检测方法和装置、电子设备及存储介质 | |
| CN109308467A (zh) | 基于机器学习的交通事故预警装置及预警方法 | |
| CN206039557U (zh) | 一种行车状态监测系统 | |
| US20230290184A1 (en) | Device, method and system for providing a notification of a distinguishing activity | |
| CN115056785A (zh) | 一种ai识别辅助下的心理评测量表改良算法 | |
| JP2004280673A (ja) | 情報提供装置 | |
| TWI657379B (zh) | 智慧深度學習溺水救生系統 | |
| Arsic et al. | Video based online behavior detection using probabilistic multi stream fusion | |
| Shanmugam et al. | Comparative study of state-of-the-art face landmark detectors for eye state classification in subjects with face occlusion | |
| CN113971864A (zh) | 一种儿童居家安全监测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |