CN111597974B - 一种基于tof相机车厢内人员活动的监控方法及系统 - Google Patents
一种基于tof相机车厢内人员活动的监控方法及系统 Download PDFInfo
- Publication number
- CN111597974B CN111597974B CN202010408051.3A CN202010408051A CN111597974B CN 111597974 B CN111597974 B CN 111597974B CN 202010408051 A CN202010408051 A CN 202010408051A CN 111597974 B CN111597974 B CN 111597974B
- Authority
- CN
- China
- Prior art keywords
- human body
- key points
- point cloud
- image
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 230000000694 effects Effects 0.000 title claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 45
- 210000003127 knee Anatomy 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 24
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 19
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 11
- 230000036544 posture Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000009434 installation Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 7
- 230000005856 abnormality Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 239000010410 layer Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- WSFSSNUMVMOOMR-NJFSPNSNSA-N methanone Chemical compound O=[14CH2] WSFSSNUMVMOOMR-NJFSPNSNSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种基于TOF相机的车厢内人员活动的监控方法及装置，所述方法包括：1)、获取车辆内部载人区域的TOF图像；2)、利用预先训练的VGGNet网络识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合；3)、根据所述关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架的姿态序列；利用预先训练的ST‑GCN网络识别出姿态序列对应的人员动作；4)、根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为。应用本发明实施例，实现了识别人体姿态对应的动作是否为危险行为。
Description
技术领域
本发明涉及乘车安全技术领域，具体涉及一种基于TOF相机车厢内人员活动的监控方法及系统。
背景技术
随着经济水平的提高，汽车走进了千家万户，然而也随之带来的一些人身和财产安全的隐患。如家长在下车后将孩子独自留在车中；车窗忘记关闭导致财产丢失；尤其是网约车中乘客的人身安全风险在一定程度上更高，例如2018年5月6号河南郑州发生的空姐乘坐滴滴顺风车的意外
现有技术中申请号为201910996188.2的发明专利申请公开了一种乘员保护方法，包括：获取车内乘员信息以及车内环境信息；所述车内乘员信息包括车内乘员行为信息、车内乘员声音信息中的一种或多种；所述车内环境信息包括车内环境图像信息、车内环境声音信息、车内空气质量信息、车内温度信息中的一种或多种；根据所述车内乘员信息以及所述车内环境信息，确定异常状态类型以及异常程度；所述异常状态类型包括车内乘员异常和车内环境异常，所述车内乘员异常包括车内乘员行为异常以及车内乘员声音异常中的一种或多种，所述车内环境异常包括车内环境图像异常、车内环境声音异常、车内空气质量异常以及车内温度异常中的一种或多种；根据所述异常状态类型以及所述异常程度，确定应急措施，所述应急措施为减小所述异常程度的操作。
现有技术仅公开了根据图像的异常进行车辆内异常状态类型的判断，并未公开是如何进行车辆内异常状态判断的具体过程。
发明内容
本发明所要解决的技术问题在于如何提供一种基于TOF相机车厢内人员活动的监控方法及装置以实现车辆内异常状态判断。
本发明通过以下手段解决上述技术问题的：
本发明实施例提供了一种基于TOF相机车厢内人员活动的监控方法，所述方法包括：
1)、获取车辆内部载人区域的TOF图像；
2)、利用预先训练的VGGNet模型识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合；
3)、根据所述关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架的姿态序列；利用预先训练的ST-GCN模型识别出姿态序列对应的人员动作；
4)、根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为，其中，所述危险行为包括：副驾驶触碰档位或影响方向盘、司机越界中的一种或组合。
应用本发明实施例，基于TOF图像识别出人体的关键点、构建人体骨骼框架，从图像序列中得到人体骨骼框架的姿态序列，最后判定姿态序列对应的动作是否为危险行为。
可选的，在步骤2)之前，所述方法包括：
对所述TOF图像进行预处理，其中，所述预处理包括：对图像进行滤波处理、进行点云的转换或者拟合处理中的一种或组合。
可选的，所述对图像进行滤波处理，包括：
针对每一个像素点，利用公式，
P(x,y)为图像中点(x,y)的像素值；V(x,y)为点(x,y)周围2n+1去心邻域像素点的平均值；n为滤波的模版大小；t为滤波的阈值；f(x,y)为滤波后点(x,y)新的像素值。
可选的，所述进行点云的转换，包括：
利用公式，
将滤波后的深度图转换成点云图，其中，
P(v,u)是图像中点(v,u)位置的像素值；cx,cy,fx,fy为相机内参；x,y,z为点云图三维世界坐标系下的坐标；
根据点云图建立实时的场景模型，并利用公式，Deep物＝Deep场-Deep背，从实时的场景模型中减去空车时汽车内背景模型，得到物体的点云，其中，
Deep物为物体的点云；Deep场为实时的场景模型；Deep背为预先建立的空车场景模型。
可选的，所述拟合处理，包括：
根据生成的物体点云模型，使用RANSAC算法拟合出点云中的所有近似平面；根据相机安装的位置和角度估算和查找司机靠背的点云平面；
以司机靠背的点云平面划分两个相机的工作区域，将工作区范围之外的像素点丢弃掉，得到目标区域的点云图；
从所述目标区域的点云图中对异常状态进行检测，其中，所述异常状态包括：手刹状态、档位状态以及行李状态的一种或组合。
可选的，所述VGGNet网络的训练过程包括：
获取各种人体姿态下的TOF图像，对所述TOF图像进行预处理，提取出TOF图像中关键部位的点云缩放后并给定标签作为训练数据，采用梯度下降法对VGGNet网络进行训练，得到训练后的VGGNet模型。
可选的，所述识别出人体关键点，包括：
获取VGGNet模型输出的预测人体关键点位置的置信度图；每一个关键点输出一张置信度图。
将每个置信度图中的极大值作为候选点，结合人体骨骼框架的连接算法确定关键点并连接骨骼框架。
可选的，将候选点连接成人体骨骼框架，包括：
采用广度优先的方式连接所有骨骼位置邻接的候选点得到骨骼线条的候选方案；
判断所有候选方案中骨骼线条长度的比例，删除不符合人体学结构的方案。
循环遍历所有候选点得到人体骨骼框架，孤立的候选点则为无效的关键点。
本发明实施例还提供了一种基于TOF相机车厢内人员活动的监控装置，所述装置包括：
获取模块，用于获取车辆内部载人区域的TOF图像；
第一识别模块，用于利用预先训练好的VGGNet模型识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合；
第二识别模块，用于根据所述关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架序列；利用预先训练好的ST-GCN模型识别出人体骨骼框架序列对应的人员动作；
判断模块，用于根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为，其中，所述危险行为包括：副驾驶触碰档位或影响方向盘、司机越界中的一种或组合。
可选的，所述装置还包括：
预处理模块，用于对所述TOF图像进行预处理，其中，所述预处理包括：对图像进行滤波处理、进行点云的转换或者拟合处理中的一种或组合。
可选的，预处理模块，用于对点云图进行滤波：
利用公式，
可选的，预处理模块，用于点云图的转换：
利用公式，
将滤波后的深度图转换成点云图，其中，
P(v,u)是图像中点(v,u)位置的像素值；cx,cy,fx,fy为相机内参；x,y,z为点云图三维世界坐标系下的坐标；
根据点云图建立实时的场景模型，并利用公式，Deep物＝Deep场-Deep背，从实时的场景模型中减去空车时汽车内背景模型，得到物体的点云，其中，
Deep物为物体的点云；Deep场为实时的场景模型；Deep背为预先建立的空车场景模型。
可选的，预处理模块，用于异常状态检测：
根据生成的物体点云模型，使用RANSAC算法拟合出点云中的所有近似平面；
以司机靠背的点云平面划分两个相机的工作区域，将工作区范围之外的像素点丢弃掉，得到目标区域的点云图；
从所述目标区域的点云图中对异常状态进行检测，其中，所述异常状态包括：手刹状态、档位状态以及行李状态的一种或组合。
可选的，所述VGGNet网络的训练过程包括：
获取各种人体姿态下的TOF图像，对所述TOF图像进行预处理，提取出TOF图像中关键部位的点云缩放后并给定标签作为训练数据，采用梯度下降法对VGGNet网络进行训练，得到训练后的VGGNet模型。
可选的，所述第一识别模块，用于：
获取VGGNet模型输出的预测人体关键点位置的置信度图；每一个关键点输出一张置信度图。
将每个置信度图中的极大值作为候选点，结合人体骨骼框架的连接算法确定关键点并连接骨骼框架。
可选的，所述第二识别模块，用于：
采用广度优先的方式连接所有骨骼位置邻接的候选点得到骨骼线条的候选方案；
判断所有候选方案中骨骼线条长度的比例，删除不符合人体学结构的方案。
循环遍历所有候选点得到人体骨骼框架，孤立的候选点则为无效的关键点。
本发明的优点在于：
应用本发明实施例，基于TOF图像识别出人体的关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架的姿态序列，实现了识别人体姿态对应的动作是否为危险行为。
附图说明
图1为本发明实施例提供的人员活动监控流程示意图；
图2为本发明实施例提供的相机分布示意图；
图3为本发明实施例提供的光线传播示意图；
图4为本发明实施例提供的关键点分布示意图；
图5为本发明实施例提供的监控系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
图1为本发明实施例提供的人员活动监控流程示意图，如图1所示，所述方法包括：
S101(图中未示出)：获取车辆内部载人区域的TOF图像。
图2为本发明实施例提供的TOF相机的分布示意图。如图2所示，两个TOF相机连接到车辆的中央控制器。相机负责图像的采集，其中相机1位于车辆的驾驶舱内，负责司机和副驾驶区域的监控；相机2位于车顶靠近后排的位置，负责后排座位的监控。软件和算法运行在控制器中，结合汽车运行状态给出通知或警告。此外，可以借用汽车原有的控制器，从而更准确地获取汽车状态、降低实施的成本。
本发明实施例采用软件时间，其以相机的启动和汽车的运行状态作为输入，首先对图像进行预处理以提升图像的质量；然后进行点云的转换和基础的处理、划分出工作区域，其中，对获取的TOF图像进行预处理，所述预处理包括：对图像进行滤波处理、进行点云的转换或者拟合处理中的一种或组合。
第一步，可以针对每一个像素点，利用公式，
P(x,y)为图像中点(x,y)的像素值；V(x,y)为点(x,y)周围2n+1去心邻域像素点的平均值；n为滤波的模版大小；t为滤波的阈值；f(x,y)为滤波后点(x,y)新的像素值；t为预设的阈值。如果V(x,y)和该像素点P(x,y)差值大于给定的阈值t，则说明该像素点的距离异常，丢弃原始值，采用V(x,y)作为新的值。
图3为本发明实施例提供的光线传播示意图，如图3所示，光线在车内的传播存在三种影响TOF相机图像质量的因素，分别是：1)光线的干涉2)光线的多次反射3)光线穿透玻璃。这些情况会影响相机成像质量，降低检测效果。本发明实施例中，采用滤波模板进行滤波，滤波后可以提升图像质量，进而提高监控效果。
第二步，可以利用公式，
将滤波后的深度图转换成点云图，其中，
P(v,u)是图像中点(v,u)位置的像素值；cx,cy,fx,fy为相机内参；x,y,z为点云图三维世界坐标系下的坐标；用W(x,y,z)表示点云图中对应于点P(v,u)的点；图像中所有的点P(v,u)转换后得到的点W(x,y,z)构成的点的集合就是车内的以相机为视角的3D点云模型，其中z值是点到相机的距离。
根据点云图建立实时的场景模型，并利用公式，Deep物＝Deep场-Deep背，从实时的场景模型中减去空车时汽车内背景模型，得到物体的点云，其中，
Deep物为物体的点云；Deep场为实时的场景模型；Deep背为预先建立的空车场景模型。
第三步，使用RANSAC(Random Sample Consensus，随机抽样一致)算法拟合出点云中的所有近似平面。其中车内四周的平面通过位置关系筛选得到。司机靠背所在的平面的位于点云中间部分，根据其法向量与到前后两个相机的方向向量角度和距离选出司机靠背的平面。所提及的角度和距离在安装时决定。
以司机靠背所对应的点云平面为界限，划分出前后两个相机的工作区域，将工作区范围之外的像素点丢弃掉，得到目标区域的点云图，即车辆内的工作区域中的点云图。目标区域的点云图即为S101步骤中得到的图像。这样不仅可以除成像时图像中的异常区域也可以简化点云，提高计算效率。
应用本发明实施例，TOF相机几乎不受光照的影响，在较远范围内精度几乎不变，软件复杂度低，帧率高，响应速度快。
在实际应用中，可以采用以下两个方式消除两个相机之间的相互影响：采用时分复用的方式，即两个相机交替工作独立成像。或者采用频分复用的方式，即采用两个不用波段的相机，通过增加滤光片避免互相的干扰。本专利同时使用时分复用和频分复用两种方法，解决了深度相机之间的干扰，并通过图像处理解决了一些影响TOF相机成像的因素，提高了图像的质量。解决了深度相机在视频监控中的痛点，有利于深度相机在隐私敏感的场景中的应用和推广。
S102(图中未示出)：利用预先训练的VGGNet网络识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合。
首先要预先训练一个VGGNet网络模型，训练过程包括：
获取各种人体各种姿态下的TOF图像，对所述TOF图像进行预处理，预处理的过程与S101步骤中的处理过程相同，进而提取出TOF图像中关键部位的点云，将点云缩放到256*256并给定标签作为训练数据，采用梯度下降法对VGGNet网络进行训练，得到训练后的VGGNet模型。将S101步骤中得到的TOF图像输入到训练后的VGGNet(Visual GeometryGroup Net，视觉几何组网络)模型中，模型为每一个关键点输出一张置信度分布图。
图4为本发明实施例提供的关键点分布示意图，如图4所示，相对于身体上其他部位，关节对姿态影响最大。因此，忽略对姿态影响较小的部位，主要采用关节节点作为关键点，简化神经网络的设计和实现。VGGNet模型对每个关键点输出一张灰度值的置信度图，其每个极大值的位置坐标为一个候选的关键点。获取VGGNet模型输出的候选的关键点(简称候选点)的位置，确定关键点并连接成骨骼框架。
进一步的，由于车内空间有限，因此在检测时候，在VGGNet模型中根据点云形态预先估计关键点可能出现的区域，例如，在统计概率上出现人体关键点概率低于设定值的地方降低窗口缩放的次数，增加窗口移动间隔；在统计概率上可能出现人体关键点的区域，即高于设定值的区域增加窗口的缩放比例和降低移动间隔，缩小检测的点云图的区域并提高准确性。需要强调的是，VGGNet模型识别人体关键点属于现有技术，本发明实施例中，通过调节VGGNet模型的上述参数，进而改善VGGNet模型的识别效果。
S103(图中未示出)：根据所述候选点以及对应的人体学结构，将所述关键点连接成人体骨骼线条的姿态序列；利用预先训练的ST-GCN模型识别出姿态序列对应的人员动作。
将一张TOF图像(即点云图)中包含的候选点连接成人体骨骼框架，其具体过程如下：
第一方面，不同姿态下，人体各个关键点之间的方向向量不同，但各个关键点之间的空间距离的比例不变。连接人体各个关键点时，当区域中仅存在一个人的时候无需判断不同关键点是否属于同一个人，直接连接各个作为候选点的关键点即可。
第二方面，当区域中存在多人时，需要确认候选点，并匹配作为候选点的关键点是否属于同一个人。多人关键点匹配和连接的方式如下：从第二张置信度图开始，将所有候选点与前一张置信度图中候选点连接起来，作为骨骼线条的候选方案，计算骨骼线条距离并删除距离长度异常的候选方案。然后在接下来的置信度图中重复候选点的连接、骨骼线条距离的计算和候选方案的删除，并删除候选方案中骨骼线条距离长度比例与标准人体关键点距离比例差别较大的方案。
循环执行直到所有候选点连接和骨骼线条筛选完成，则人体骨骼框架连接完成，骨骼框架所连接的候选点为人体关键点。在连接的过程中不断检测已连接的骨骼框架，保证了人体骨骼框架的正确性，并以骨骼线条向量方向辅助判断和删除候选方案，加速骨骼连接过程。
在连续的图像中检测出的人体骨骼框架序列构成人体姿态序列，通过ST-GCN(Spatial Temporal Graph Convolutional Networks，时空图卷积网络)可以识别人员的动作。本发明实施例中以点云作为训练和检测的数据，采用离线训练、在线检测的方式，简化了数据的处理、降低计算量的需求，可以方便的汽车中央控制器中运行。
ST-GCN模型可以通过NTU-RGB+D样本集进行训练。NTU-RGB+D是三维骨架动作识别的标准测试数据集，其通过将深度数据提取出来，采用前述的方法获取人体关键点序列，结合数据的标签作为训练数据。将关键点结构归一化，并以2号关键点为中心，移动并对齐姿态序列。计算其他关键点的运动向量，并分成五组(1,2,7)、(2,3,4)、(2,5,6)、(7,8,9)、(7,10,11)，分别代表躯干和四肢。通过网络提取运动特征，并组合躯干和四肢的运动识别人体的动作。
S104(图中未示出)：根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为，其中，所述危险行为包括：副驾驶触碰档位、副驾驶影响方向盘、司机越界中的一种或组合。
示例性的，可以根据车内的场景，预设需要监控的危险行为。通过对点云区域的设定，判断区域内关键点的归属，可以判定是否存在非驾驶人员对于敏感区域的越界和操作，如副驾驶影响方向盘、触碰挡位、肢体伸出窗外、人员的冲突等。
本发明实施例可以对关键区域进行看护，避免出现危险行为，同时给出通知和预警，并保存实时的数据作为证据。
应用本发明图1所示实施例，基于TOF图像识别出人体的关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架的姿态序列；最后实现了识别人体姿态对应的动作是否为危险行为。
本发明图1所示实施例能够监控人员和检测环境，结合车辆转台给出通知或者报警、保留关键时刻的数据作为证据，保护车主和乘客的人身和财产安全。将本发明实施例应用于公共交通设备中则可以避免一些驾驶员的操作失误和其他人员对驾驶的影响，降低风险提高旅客的安全。另外，本发明设计合理，对硬件设备的性能要求不高，能够方便地与现有系统集成，降低实施成本。
在实际应用中，为了从软件层面实现本发明实施例，图5为本发明实施例提供的监控系统的结构示意图。如图5所示，软件结构主要分为四层：以数学计算为核心的基础层，负责各种数学计算的实现；以基于基础层实现的图像库、点云库、深度学习库是核心层，负责图像、点云、神经网络的实现和操作，是软件的核心内容；其他的处理、分析是软件的应用层，与具体的应用和功能需求密切相连。
进一步的，还可以通过以上述算法为核心的模块实现环境的报警。如车窗、档位和手刹等，环境的检测与报警可以分为以下几种情况：
车窗：当车窗打开时，由于进行了工作区间的过滤，点云图像中的车窗部分为空。当车窗关闭时，点云图像中的车窗部分与周围区域一起构成曲面。据此可以检测车窗的状态。
手刹和档位：手刹和档位在点云中分别表现为一段固定的线段，可以通过它们另一端的位置和线段的方向判断它们的状态，并结合汽车状态给出提醒。
行李：从TOF相机输出的点云图像中，除去人的点云信息，再去除空车状态的点云，剩下的点云反映了乘客携带到车上物体。在乘客离开车厢后，如果这些物体点云仍在，软件系统可以给乘客发出提醒。
在环境检测方面：国内的车厢环境监控只是检测车内的PM2.5、温湿度、甲醛、二氧化碳等各种气体指标，对于车内环境和物体以及人员的监控尚属空白。应用本发明实施例，实现了车内环境的监控，如车窗和车内行李物件的监控。TOF相机输出深度图像。只需要简单的过滤，就可以从深度图像中快速地提取乘客和物体轮廓，为判断乘客活动带来了极大便利。值得强调的是，TOF相机的输出数据中不包含色彩信息，因而可以有效地避免泄露乘客的个人隐私。
现有技术中基于RGB双目视觉的环境监控，双目依靠双相机的视差获取深度信息。该技术非常依赖图像的特征匹配，受光照影响大，无法在夜间工作，存在泄露隐私的严重隐患；基于结构光原理3D相机是通过发射激光来扫描被测物，以获取被测物体表面的三维坐标。由于基线的限制，理论上的测量范围不超过1.5米，距离越远测距的精度越低，而且算法复杂度较高、响应慢、帧率低；基于超声波或微波雷达的监控系统，无法获取物体轮廓信息，判断人员的活动，而且成本高难以推广和普及。本发明实施例基于TOF相机，基于光线的传播时间，对光线强度不敏感，可以适用于夜间工作；输出图像没有彩色信息无隐私泄密的风险；工作距离长，准确描述物体的轮廓，方便判断人员的活动。
另外，即使现有技术实现上述功能还需要对汽车中添加多种传感器，导致现有技术的实施成本高、软件的实现复杂，可扩展性差，并且需要对各种传感器的数据进行判断；此外基于彩色图像的视频监控虽然成本较低，但可能造成严重的隐私泄露。应用本发明实施例，可以在保护车内财产的安全，在尊重隐私的前提下监控车内人员的行为，避免行车中的意外和失误，并针对高危事件保留必要的信息作为事后处理的依据。
最后，资料显示为了建立动态检测系统以便在紧急情况下控制安全气囊，美国联邦机动车辆安全标准(the US Federal Motor Vehicle safety requirements,FMVSS208)中提出将TOF相机安装在车辆内部。而国内关于汽车内安全检测方面尚未形成共识，更是缺乏相关的行业标准。虽然存在一些TOF相机在汽车上的应用，但主要是利用距离检测手段进行碰撞的检测和预警。
实施例2
本发明实施例还提供了一种基于TOF相机的车厢内人员活动的监控装置，所述装置包括：
获取模块，用于获取车辆内载人区域的TOF图像；
第一识别模块，用于利用预先训练的VGGNet模型识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合；
第二识别模块，用于根据所述关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架序列；利用预先训练好的ST-GCN模型识别出人体骨骼框架序列对应的人员动作；
判断模块，用于根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为，其中，所述危险行为包括：副驾驶触碰档位或影响方向盘、司机越界中的一种或组合。
应用本发明实施例，基于TOF图像识别出人体的关键点、构建人体骨骼框架，根据图像序列中的骨骼框架识别出人体的姿态，最后判定人体姿态对应的动作是否为危险行为。
在本发明实施例的一种具体实施方式中，所述装置还包括：
预处理模块，用于对所述TOF图像进行预处理，其中，所述预处理包括：对图像进行滤波处理、进行点云的转换或者拟合处理中的一种或组合。
在本发明实施例的一种具体实施方式中，预处理模块，用于：利用公式，
P(x,y)为图像中点(x,y)的像素值；V(x,y)为点(x,y)周围2n+1去心邻域像素点的平均值；n为滤波的模版大小；t为滤波的阈值；f(x,y)为滤波后点(x,y)新的像素值；t为预设的阈值。
在本发明实施例的一种具体实施方式中，预处理模块，用于
利用公式，
将滤波后的深度图转换成点云图，其中，
P(v,u)是图像中点(v,u)位置的像素值；cx,cy,fx,fy为相机内参；x,y,z为点云图三维世界坐标系下的坐标；用W(x,y,z)表示点云图中对应于点P(v,u)的点；
根据点云图建立实时的场景模型，并利用公式，Deep物＝Deep场-Deep背，从实时的场景模型中减去空车时汽车内背景模型，得到物体的点云，其中，
Deep物为物体的点云；Deep场为实时的场景模型；Deep背为预先建立的空车场景模型。
在本发明实施例的一种具体实施方式中，预处理模块，用于：
根据生成的物体点云模型，使用RANSAC算法拟合出点云中的所有近似平面。其中车内四周的平面通过位置关系筛选得到。司机靠背所在的平面位于点云中间部分，其法向量与前后两个相机的方向向量之间的夹角应在适当的范围内，距离在安装时决定。
以司机靠背所对应的点云平面为界限，划分出两个相机的工作区域，将工作区范围之外的像素点丢弃掉，得到目标区域的点云图，即车辆内相机工作区域中的点云图。
从所述目标点云检测异常状态，其中，所述异常状态包括：手刹状态、档位状态以及行李状态的一种或组合。
在本发明实施例的一种具体实施方式中，所述VGGNet网络的训练过程包括：
获取各种人体姿态下的TOF图像，对所述TOF图像进行预处理，提取出TOF图像中关键部位的点云，缩放后给定标签作为训练数据，采用梯度下降法对VGGNet网络进行训练，得到训练后的VGGNet模型。
在本发明实施例的一种具体实施方式中，所述第一识别模块，用于：
获取VGGNet模型输出的预测人体关键点位置的置信度图；每一个关键点输出一张置信度图。
根据置信度图选取关键点并根据点云图检查关键点部位的空间位置和方向，获取人体对应的所有关键点。
将每个置信度图中的极大值作为候选点，结合人体骨骼框架的连接算法确定关键点并连接骨骼框架。
可选的，所述第二识别模块，用于：
采用广度优先的方式连接所有骨骼位置邻接的候选点，得到骨骼线条的候选方案；
判断所有候选方案中骨骼线条长度的比例，删除不符合人体学结构的方案。
循环遍历所有候选点得到人体骨骼框架，孤立的候选点则为无效的关键点。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于TOF相机的车厢内人员活动的监控方法，其特征在于，所述方法包括：
1)、获取车辆内部载人区域的TOF图像；
2)、利用预先训练的VGGNet网络识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合；
所述利用预先训练的VGGNet网络识别出人体关键点，包括：
获取VGGNet网络输出的预测人体关键点位置的置信度图；
根据置信度图选取关键点，并根据点云检查关键点部位的空间位置和方向，获取人体对应的所有关键点；
所述获取人体对应的所有关键点，包括：
获取VGGNet网络输出的预测人体关键点位置的置信度图；每一个关键点输出一张置信度图；
将每个置信度图中的极大值作为候选点，结合人体骨骼框架的连接算法确定关键点并连接骨骼框架；
采用广度优先的方式，连接所有相邻的候选点，得到骨骼线条的候选方案；
判断所有候选方案中骨骼线条长度的比例，删除不符合人体学结构的方案；
循环遍历所有候选点得到人体骨骼框架，孤立的候选点则为无效的关键点；
3)、根据所述关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架序列；利用预先训练的ST-GCN网络模型识别出人体骨骼框架序列对应的人员动作；
4)、根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为，其中，所述危险行为包括：副驾驶触碰档位或影响方向盘、司机越界中的一种或组合。
2.根据权利要求1所述的一种基于TOF相机的车厢内人员活动的监控方法，其特征在于，在步骤2)之前，所述方法包括：
对所述TOF图像进行预处理，其中，所述预处理包括：对图像进行滤波处理、进行点云的转换或者拟合处理中的一种或组合。
3.根据权利要求2所述的一种基于TOF相机的车厢内人员活动的监控方法，其特征在于，所述对图像进行滤波处理，包括：
针对每一个像素点，利用公式，
P(x,y)为图像中点(x,y)的像素值；V(x,y)为点(x,y)周围2n+1去心邻域像素点的平均值；n为滤波的模版大小；t为滤波的阈值；f(x,y)为滤波后点(x,y)新的像素值。
4.根据权利要求2所述的一种基于TOF相机车厢内人员活动的监控方法，其特征在于，所述进行点云的转换，包括：
利用公式，
将滤波后的深度图转换成点云图，其中，
P(v,u)是图像中点(v,u)位置的像素值；cx,cy,fx,fy为相机内参；x,y,z为点云图三维世界坐标系下的坐标；
根据点云图建立实时的场景模型，并利用公式，Deep物＝Deep场-Deep背，从实时的场景模型中减去空车时汽车内背景模型，得到物体的点云，其中，Deep物为物体的点云；Deep场为实时的场景模型；Deep背为预先建立的空车场景模型。
5.根据权利要求4所述的一种基于TOF相机车厢内人员活动的监控方法，其特征在于，所述拟合处理，包括：
根据生成的物体点云模型，使用RANSAC算法拟合出点云中的所有近似平面；
然后根据相机安装的位置和角度估算和查找司机靠背的点云平面；
结合以上拟合出来的平面划分两个相机的工作区域，将工作区范围之外的像素点丢弃掉，得到目标区域的点云图；
从所述目标区域的点云图检测异常状态，其中，所述异常状态包括：手刹状态、档位状态以及行李状态的一种或组合。
6.根据权利要求1所述的一种基于TOF相机的车厢内人员活动的监控方法，其特征在于，所述VGGNet网络的训练过程包括：
获取各种人体姿态下的TOF图像，对所述TOF图像进行预处理，提取出TOF图像中关键部位的点云，缩放后给定标签作为训练数据，采用梯度下降法对VGGNet网络进行训练，得到训练后的VGGNet网络模型。
7.一种基于TOF相机的车厢内人员活动的监控装置，其特征在于，所述装置包括：
获取模块，用于获取车辆内部载人区域的TOF图像；
第一识别模块，用于利用预先训练的VGGNet网络识别出人体关键点，其中，所述人体关键点包括：头、颈、双肘、双手、腰、双膝、双脚中的一种或组合；
第二识别模块，用于根据所述关键点以及对应的人体学结构，将所述关键点连接成骨骼框架，并根据图像序列得到人体骨骼框架序列；利用预先训练的ST-GCN网络模型识别出人体骨骼框架序列对应的人员动作；
判断模块，用于根据人员动作与预设的危险行为之间的匹配关系，判断所述人员动作是否属于危险行为，其中，所述危险行为包括：副驾驶触碰档位或影响方向盘、司机越界中的一种或组合；
所述第一识别模块，具体用于：获取VGGNet模型输出的预测人体关键点位置的置信度图；每一个关键点输出一张置信度图；根据置信度图选取关键点并根据点云图检查关键点部位的空间位置和方向，获取人体对应的所有关键点；
所述第二识别模块，具体用于：采用广度优先的方式连接所有骨骼位置邻接的候选点，得到骨骼线条的候选方案；判断所有候选方案中骨骼线条长度的比例，删除不符合人体学结构的方案；循环遍历所有候选点得到人体骨骼框架，孤立的候选点则为无效的关键点。
8.根据权利要求7所述的一种基于TOF相机的车厢内人员活动的监控装置，其特征在于，所述装置还包括：
预处理模块，用于对所述TOF图像进行预处理，其中，所述预处理包括：对图像进行滤波处理、进行点云的转换或者拟合处理中的一种或组合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408051.3A CN111597974B (zh) | 2020-05-14 | 2020-05-14 | 一种基于tof相机车厢内人员活动的监控方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408051.3A CN111597974B (zh) | 2020-05-14 | 2020-05-14 | 一种基于tof相机车厢内人员活动的监控方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111597974A CN111597974A (zh) | 2020-08-28 |
| CN111597974B true CN111597974B (zh) | 2023-05-12 |
Family
ID=72188966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010408051.3A Active CN111597974B (zh) | 2020-05-14 | 2020-05-14 | 一种基于tof相机车厢内人员活动的监控方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111597974B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766192A (zh) * | 2021-01-25 | 2021-05-07 | 北京市地铁运营有限公司地铁运营技术研发中心 | 一种智能列车监控系统 |
| CN112966593B (zh) * | 2021-03-03 | 2024-03-15 | 河南鑫安利安全科技股份有限公司 | 基于人工智能和大数据的企业安全标准化运行方法及系统 |
| CN113743279B (zh) * | 2021-08-30 | 2023-10-13 | 山东大学 | 船舶驾驶人员状态监测方法、系统、存储介质及设备 |
| CN113822250A (zh) * | 2021-11-23 | 2021-12-21 | 中船（浙江）海洋科技有限公司 | 一种船舶驾驶异常行为检测方法 |
| CN114612524B (zh) * | 2022-05-11 | 2022-07-29 | 西南交通大学 | 一种基于rgb-d相机的运动识别方法 |
| CN115240142B (zh) * | 2022-07-28 | 2023-07-28 | 杭州海宴科技有限公司 | 基于跨媒体的室外重点场所人群异常行为预警系统和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555412A (zh) * | 2019-09-05 | 2019-12-10 | 深圳龙岗智能视听研究院 | 基于rgb和点云相结合的端到端人体姿态识别方法 |
| WO2019232894A1 (zh) * | 2018-06-05 | 2019-12-12 | 中国石油大学(华东) | 一种基于复杂场景下的人体关键点检测系统及方法 |
| CN110766746A (zh) * | 2019-09-05 | 2020-02-07 | 南京理工大学 | 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法 |
| CN111144263A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
-
2020
- 2020-05-14 CN CN202010408051.3A patent/CN111597974B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232894A1 (zh) * | 2018-06-05 | 2019-12-12 | 中国石油大学(华东) | 一种基于复杂场景下的人体关键点检测系统及方法 |
| CN110555412A (zh) * | 2019-09-05 | 2019-12-10 | 深圳龙岗智能视听研究院 | 基于rgb和点云相结合的端到端人体姿态识别方法 |
| CN110766746A (zh) * | 2019-09-05 | 2020-02-07 | 南京理工大学 | 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法 |
| CN111144263A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于深度摄像机的3D人体步态建模和识别方法;罗坚等;《光学技术》;20191115(第06期);全文 * |
| 特殊行业中人员高危行为视觉监控系统仿真;赖华;《科技通报》;20141231(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111597974A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111597974B (zh) | 一种基于tof相机车厢内人员活动的监控方法及系统 | |
| CN107609522B (zh) | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 | |
| CN107972662B (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
| JP4899424B2 (ja) | 物体検出装置 | |
| US9196054B2 (en) | Method and system for recovery of 3D scene structure and camera motion from a video sequence | |
| CN104260723B (zh) | 一种后方车辆运动状态追踪预测装置及预测方法 | |
| EP1361543A2 (en) | Determining object motion from optical flow analysis | |
| CN108243623A (zh) | 基于双目立体视觉的汽车防碰撞预警方法和系统 | |
| CN104573646A (zh) | 基于激光雷达和双目相机的车前行人检测方法及系统 | |
| CN103455144A (zh) | 车载人机交互系统及方法 | |
| JP2007514211A (ja) | 深度データを用いたビジュアルトラッキング | |
| US20110157184A1 (en) | Image data visualization | |
| CN110371018A (zh) | 使用其他车辆车灯的信息改善车辆行为 | |
| CN113378741B (zh) | 一种基于多源传感器的飞机牵引车辅助感知方法及其系统 | |
| CN107229906A (zh) | 一种基于可变部件模型算法的汽车超车预警方法 | |
| US10114468B2 (en) | Method for evaluating gestures | |
| CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
| CN106570487A (zh) | 物体间的碰撞预测方法和装置 | |
| CN110097055A (zh) | 一种基于栅格卷积神经网络的车辆姿态检测方法及系统 | |
| Martin et al. | Real time driver body pose estimation for novel assistance systems | |
| KR102238629B1 (ko) | 딥러닝 기반 저시정 상황 극복 시스템 및 방법 | |
| Yi et al. | Safety belt wearing detection algorithm based on human joint points | |
| CN112319486A (zh) | 一种基于驾驶数据采集的驾驶检测方法及相关装置 | |
| CN105667397B (zh) | 汽车后视系统及方法 | |
| CN111192290B (zh) | 行人图像检测的分块处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |