CN112200828A - 一种逃票行为的检测方法、装置及可读存储介质 - Google Patents
一种逃票行为的检测方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN112200828A CN112200828A CN202010914702.6A CN202010914702A CN112200828A CN 112200828 A CN112200828 A CN 112200828A CN 202010914702 A CN202010914702 A CN 202010914702A CN 112200828 A CN112200828 A CN 112200828A
- Authority
- CN
- China
- Prior art keywords
- detected
- target object
- determining
- trend
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 78
- 230000008859 change Effects 0.000 claims description 86
- 230000006399 behavior Effects 0.000 claims description 80
- 210000000746 body region Anatomy 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000001174 ascending effect Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 31
- 210000003128 head Anatomy 0.000 description 25
- 238000010586 diagram Methods 0.000 description 20
- 230000009471 action Effects 0.000 description 7
- 238000005553 drilling Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
本发明公开了一种逃票行为的检测方法、装置及可读存储介质，其中，所述检测方法包括：获取待测闸机口在第一预设时长内的多帧原始图像；确定所述多帧原始图像中的每帧原始图像对应的深度图像；根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
Description
技术领域
本发明涉及视频监控技术领域，特别涉及一种逃票行为的检测方法、装置及可读存储介质。
背景技术
地铁是人们日常生活中主要的出行方式之一，其主要收费方式为通过安装在地铁闸机口的刷卡器或者二维码扫描装置等进行收费，当扣费成功时，闸机口打开允许乘客通过。但在闸机口偶尔会有逃票行为的发生，比如，乘客不刷卡直接从闸机口上方跳跃过去，再比如，乘客不刷卡直接从闸机口的下方空隙钻过去，再比如，当前乘客刷卡通过闸机口的同时，其后面一个乘客紧贴其同时通过闸机口，即一次刷卡两个通过。诸多逃票行为给地铁公司的正常营收造成了影响。
目前主要通过识别手臂轨迹与闸机口刷卡区是否存在交集来判定乘客是否刷卡，由于手臂极易受遮挡，对下钻、尾随等逃票行为难以精确检测。可见，现有对逃票行为的检测精确度较低。
发明内容
本发明实施例提供了一种逃票行为的检测方法、装置及可读存储介质，用于提高对逃票行为的精确检测。
第一方面，本发明实施例提供了一种逃票行为的检测方法，包括：
获取待测闸机口在第一预设时长内的多帧原始图像；
确定所述多帧原始图像中的每帧原始图像对应的深度图像；
根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；
根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；
根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；
若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
在一种可能的实现方式中，在所述获取待测闸机口在第一预设时长内的多帧原始图像之后，所述方法还包括：
对所述多帧原始图像中的每帧原始图像进行目标检测，提取至少一个目标对象，以及所述至少一个目标对象中每个目标对象的至少一个目标区域；
从所述至少一个目标区域中提取出满足第二预设条件的人脸信息，以及确定所述人脸信息所对应的至少一个第一待测目标对象；
将所述至少一个第一待测目标对象作为所述至少一个待测目标对象。
在一种可能的实现方式中，在所述确定所述多帧原始图像中的每帧原始图像对应的深度图像之后，所述方法还包括：
根据所述深度图像，确定所述至少一个第一待测目标对象对应的人体区域的高度信息；
从所述至少一个第一待测目标对象对应的人体区域的高度信息中确定出大于预设高度阈值的至少一个第二待测目标对象；
将所述至少一个第二待测目标对象作为所述至少一个待测目标对象。
在一种可能的实现方式中，所述根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息，包括：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置相对于地面的第一中心高度信息，以及所述至少一个目标区域中人体区域的中心坐标位置相对于地面的第二中心高度信息；
将所述第一中心高度信息和所述第二中心高度信息作为所述至少一个待测目标对象的人体高度信息。
在一种可能的实现方式中，所述根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，包括：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置距离所述图像采集器的深度信息；
根据所述深度信息，确定所述至少一个目标区域中头肩区域的中心坐标位置在相机坐标系中的第一位置信息；
根据所述相机坐标系与世界坐标系间的转换，确定所述第一位置信息在所述世界坐标系中的第二位置信息；
根据所述第二位置信息，确定所述至少一个目标区域中头肩区域的中心坐标位置相对于所述图像采集器沿着平行于所述待测闸机口方向的距离信息。
在一种可能的实现方式中，所述根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势，包括：
根据所述人体高度信息，确定所述第一中心高度信息的第一变化趋势，以及所述第二中心高度信息的第二变化趋势；
根据所述距离信息，确定所述至少一个待测目标对象相对于所述图像采集器沿着平行于所述待测闸机口方向的第三变化趋势；
根据所述第一变化趋势、所述第二变化趋势和所述第三变化趋势，确定所述至少一个待测目标对象的运动趋势。
在一种可能的实现方式中，若所述至少一个待测目标对象为多个，所述若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，包括：
在第二预设时长内，若检测到所述至少一个待测目标对象中任两个待测目标对象的所述第一变化趋势和所述第二变化趋势均保持不变，所述第三变化趋势为所述任两个待测目标对象均沿靠近所述待测闸机口的方向运动，且所述任两个待测目标对象相对于所述图像采集器沿着所述待测闸机口方向间的距离小于第一预设距离阈值，则表明所述任两个待测目标对象中每个待测目标对象的运动趋势均满足所述第一预设条件，所述任两个待测目标对象间存在尾随通过所述待测闸机口的逃票行为。
在一种可能的实现方式中，若所述至少一个待测目标对象为一个，所述若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，包括：
在第三预设时长内，若检测到所述待测目标对象的所述第一变化趋势和所述第二变化趋势均呈现先下降再上升的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第二预设距离阈值，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，所述待测目标对象存在从所述待测闸机口下钻通过的逃票行为。
在一种可能的实现方式中，所述若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，包括：
在所述第四预设时长内，若检测到所述第一变化趋势和所述第二变化趋势均呈现先上升再下降的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第三预设距离阈值时，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，则确定所述待测目标对象存在从所述待测闸机口翻越通过的逃票行为。
第二方面，本发明实施例还提供了一种逃票行为的检测装置，包括：
获取单元，用于获取待测闸机口在第一预设时长内的多帧原始图像；
第一确定单元，用于确定所述多帧原始图像中的每帧原始图像对应的深度图像；
第二确定单元，用于根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；
第三确定单元，用于根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；
第四确定单元，用于根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；
检测单元，用于若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
在一种可能的实现方式中，在所述获取单元获取待测闸机口在第一预设时长内的多帧原始图像之后，所述装置还包括第一提取单元，所述第一提取单元用于：
对所述多帧原始图像中的每帧原始图像进行目标检测，提取至少一个目标对象，以及所述至少一个目标对象中每个目标对象的至少一个目标区域；
从所述至少一个目标区域中提取出满足第二预设条件的人脸信息，以及确定所述人脸信息所对应的至少一个第一待测目标对象；
将所述至少一个第一待测目标对象作为所述至少一个待测目标对象。
在一种可能的实现方式中，在所述第一确定单元确定所述多帧原始图像中的每帧原始图像对应的深度图像之后，所述装置还包括第二提取单元，所述第二提取单元用于：
根据所述深度图像，确定所述至少一个第一待测目标对象对应的人体区域的高度信息；
从所述至少一个第一待测目标对象对应的人体区域的高度信息中确定出大于预设高度阈值的至少一个第二待测目标对象；
将所述至少一个第二待测目标对象作为所述至少一个待测目标对象。
在一种可能的实现方式中，所述第二确定单元用于：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置相对于地面的第一中心高度信息，以及所述至少一个目标区域中人体区域的中心坐标位置相对于地面的第二中心高度信息；
将所述第一中心高度信息和所述第二中心高度信息作为所述至少一个待测目标对象相对于地面的人体高度信息。
在一种可能的实现方式中，所述第三确定单元用于：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置距离所述图像采集器的深度信息；
根据所述深度信息，确定所述至少一个目标区域中头肩区域的中心坐标位置在相机坐标系中的第一位置信息；
根据所述相机坐标系与世界坐标系间的转换，确定所述第一位置信息在所述世界坐标系中的第二位置信息；
根据所述第二位置信息，确定所述至少一个目标区域中头肩区域的中心坐标位置相对于所述图像采集器沿着平行于所述待测闸机口方向的距离信息。
在一种可能的实现方式中，所述第四确定单元用于：
根据所述人体高度信息，确定所述第一中心高度信息的第一变化趋势，以及所述第二中心高度信息的第二变化趋势；
根据所述距离信息，确定所述至少一个待测目标对象相对于所述图像采集器沿着平行于所述待测闸机口方向的第三变化趋势；
根据所述第一变化趋势、所述第二变化趋势和所述第三变化趋势，确定所述至少一个待测目标对象的运动趋势。
在一种可能的实现方式中，所述检测单元用于：
在第二预设时长内，若检测到所述至少一个待测目标对象中任两个待测目标对象的所述第一变化趋势和所述第二变化趋势均保持不变，所述第三变化趋势为所述任两个待测目标对象均沿靠近所述待测闸机口的方向运动，且所述任两个待测目标对象相对于所述图像采集器沿着所述待测闸机口方向间的距离小于第一预设距离阈值，则表明所述任两个待测目标对象中每个待测目标对象的运动趋势均满足所述第一预设条件，所述任两个待测目标对象间存在尾随通过所述待测闸机口的逃票行为。
在一种可能的实现方式中，所述检测单元用于：
在第三预设时长内，若检测到所述待测目标对象的所述第一变化趋势和所述第二变化趋势均呈现先下降再上升的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第二预设距离阈值，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，所述待测目标对象存在从所述待测闸机口下钻通过的逃票行为。
在一种可能的实现方式中，所述检测单元用于：
在所述第四预设时长内，若检测到所述第一变化趋势和所述第二变化趋势均呈现先上升再下降的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第三预设距离阈值时，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，则确定所述待测目标对象存在从所述待测闸机口翻越通过的逃票行为。
第三方面，本发明实施例还提供了一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上面所述的逃票行为的检测方法的步骤。
第四方面，本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面所述的逃票行为的检测方法。
本发明的有益效果如下：
本发明实施例提供了一种逃票行为的检测方法、装置、计算机装置及可读存储介质，首先，获取待测闸机口在第一预设时长内的多帧原始图像，然后，确定该多帧原始图像中的每帧原始图像对应的深度图像，然后，根据多帧原始图像中的每帧原始图像对应的深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息，以及根据该深度图像，确定至少一个待测目标对象相对于用于获取多帧原始图像的图像采集器沿着平行于待测闸机口方向的距离信息，然后，根据人体高度信息和距离信息，确定该至少一个待测目标对象的运动趋势，若检测到该运动趋势满足第一预设条件，则表明该至少一个待测目标对象存在从待测闸机口非法通过的逃票行为。也就是说，在确定多帧原始图像中每帧原始图像对应的深度图像之后，根据该深度图像确定对应帧原始图像中的至少一个待测目标对象相对于地面的人体高度信息和相对于图像采集器沿着平行于待测闸机口方向的距离信息，然后，根据该人体高度信息和距离信息，确定至少一个待测目标对象的运动趋势，一旦检测到该运动趋势满足第一预设条件，则表明该至少一个待测目标对象存在从待测闸机口非法通过的逃票行为。
由于是基于待测目标对象相对于地面的人体高度信息，以及相对于图像采集器沿着平行于待测闸机口方向的距离信息来确定其对应的运动趋势，进而根据运动趋势来检测待测目标对象是否存在从待测闸机口非法通过的逃票行为，其中，人体高度信息能够表征待测目标对象的真实身高，距离信息能够表征待测目标对象与图像采集器间的真实距离，根据待测目标对象的真实身高以及与图像采集器间的真实距离所进行的逃票行为的检测，精确度更高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例提供的一种逃票行为的检测方法的方法流程图；
图2为本发明实施例提供的一种逃票行为的检测方法中在步骤S101之后的方法流程图；
图3为本发明实施例提供的一种逃票行为的检测方法中在步骤S102之后的方法流程图；
图4为本发明实施例提供的一种逃票行为的检测方法中步骤S103的方法流程图；
图5为本发明实施例提供的一种逃票行为的检测方法中步骤S104的方法流程图；
图6为本发明实施例提供的一种逃票行为的检测方法中图像采集器为相机时，待测目标对象的头肩区域与相机和待测闸机口间的其中一种示意图；
图7为本发明实施例提供的一种逃票行为的检测方法中步骤S105的方法流程图；
图8为本发明实施例提供的一种逃票行为的检测方法中步骤S106的第一种实现方式中待测目标对象A和待测目标对象B在检测区域T内尾随通过待测闸机口的示意图；
图9为图8对应的待测目标对象的运动趋势的示意图；
图10为本发明实施例提供的一种逃票行为的检测方法中步骤S106的第二种实现方式中待测目标对象C在检测区域T内下钻通过待测闸机口的示意图；
图11为图10对应的待测目标对象的运动趋势的示意图；
图12为本发明实施例提供的一种逃票行为的检测方法中步骤S106的第三种实现方式中待测目标对象D在检测区域T内翻越通过待测闸机口的示意图；
图13为图12对应的待测目标对象的运动趋势的示意图；
图14为本发明实施例提供的一种逃票行为的检测装置的结构示意图。
具体实施方式
本发明的说明书和权利要求书及上述附图中的“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
现有存在各种逃票行为，不仅影响了财政收入，还影响了社会安全。目前通过识别手臂轨迹与闸机口刷卡区是否存在交集来判定乘客是否刷卡，进而判定出是否逃票，由于手臂极易遮挡，对逃票行为的检测精确度较低。此外，通过红外图像来进行逃票行为的判定，其主要是通过二维图像确定人体在图像中的变化，比如，相机距离闸机口近，则人体在图像中所占区域较大，相机距离闸机口远，同一人体在图像中所占区域较小，也就是说，一旦相机与闸机口间的距离发生变化，相应地逃票行为判定中的比如距离阈值的选择也会发生变化，可见，现有红外图像所进行的逃票行为的判定，普适性不好。
鉴于此，本发明实施例提供了一种逃票行为的检测方法、装置及可读存储介质，用于提高对逃票行为的精确检测。
如图1所示，本发明实施例提供了一种逃票行为的检测方法，包括：
S101：获取待测闸机口在第一预设时长内的多帧原始图像；
在具体实施过程中，可以是通过图像采集器来获取待测闸机口在第一预设时长内的多帧原始图像，该图像采集器可以是双目摄像机，在具体应用中可以是将双目摄像机安装在待测闸机口的斜上方，以此来保证最大限度地拍摄到人脸、头肩和人体全身，减少目标遮挡等影响，提高对逃票行为的检测精确度。其中，双目摄像机是一种能够提供立体视觉的成像设备，双目摄像机的传感器部分是两个摄像头，两个摄像头间隔一定距离平行放置，也可以是彼此间呈一定的角度，两个摄像头同时工作，在某一时刻可以同时获取左目图像和右目图像。此外，待测闸机口可以是位于地铁进站处的闸机口，还可以是位于地铁出站处的闸机口，还可以是位于景区的出入闸机口，还可以是位于小区的出入闸机口，在此不做限定。其中，第一预设时长为一连续时间段，比如，11点01分20秒至11点01分22秒这一时间段，当然，第一预设时长还可以为根据实际应用场景所设定的时长，在此不做限定。在第一预设时长内所获取的多帧原始图像，可以是该第一预设时长对应的视频中的每帧图像。在通过双目摄像机获取多帧原始图像时，所获取的多帧原始图像可以是包括多帧左目原始图像和多帧右目原始图像。此外，通常为每个待测闸机口设定一检测区域，对经过该检测区域内的行人进行多帧原始图像的获取，然后，对所获取的多帧原始图像进行相应的处理。
S102：确定所述多帧原始图像中的每帧原始图像对应的深度图像；
在具体实施过程中，在通过双目摄像机获取该多帧原始图像之后，可以是仿照人眼的双目视差原理，生成对应的左视差图和右视差图，然后，再根据左视差图和右视差图结合图像采集器对应的相机内参计算出深度图像。
S103：根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；
在具体实施过程中，在确定多帧原始图像中的每帧原始图像对应的深度图像之后，利用深度图像、图像采集器对应的相机内参和相机外参计算得到三维空间中的待测目标对象的具体坐标位置信息，根据该坐标位置信息能够确定待测目标对象的人体高度信息，人体高度信息用于表征待测目标对象的真实身高。根据深度图像来计算至少一个待测目标对象的人体的高度信息的过程可以是，根据深度图像中的深度信息分割出前景和背景，结合二维图像中的目标检测的位置，以及深度图像中的图像分割结果，确定二维图像检测出的人体目标在深度图像中的位置，将人体目标的深度信息转换到世界坐标系中，从而计算出目标在世界坐标系下的具体位置坐标，进而获取人体高度信息。
S104：根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；
在具体实施过程中，在确定多帧原始图像中的每帧原始图像对应的深度图像之后，利用深度图像、图像采集器对应的相机内参和相机外参计算得到三维空间中的待测目标对象的具体坐标位置信息在采用上述方法确定三维空间中的待测目标对象的具体坐标位置信息，然后，根据该坐标位置信息，确定出每帧原始图像中每个待测目标对象沿着待测闸机口方向相对于图像采集器的距离信息。
S105：根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；
在具体实施过程中，该运动趋势可以是待测目标对象相对于地面沿人体高度方向的变化趋势，可以是待测目标对象相对于图像采集器沿着平行于待测闸机口方向的变化趋势，在此不做限定。
S106：若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
在具体实施过程中，可以根据实际应用中逃票行为的具体情况来设定第一预设条件，在此不做限定。由于是基于待测目标对象相对于地面的人体高度信息，以及相对于图像采集器沿着平行于待测闸机口方向的距离信息来确定其对应的运动趋势，进而根据运动趋势来检测待测目标对象是否存在从待测闸机口非法通过的逃票行为，由于整个检测过程为根据待测目标对象的真实身高以及与图像采集器间的真实距离所进行的逃票行为的检测，检测精确度更高。
在具体实施过程中，步骤S103和步骤S104无执行的先后顺序，可以是先执行步骤S103然后执行步骤S104，还可以是先执行步骤S104然后执行步骤S103，还可以是同时执行步骤S103和步骤S104，在此不做限定，如图1为先执行步骤S103然后执行步骤S104的方法流程图。
此外，在具体实施过程中，根据深度图像、图像采集器对应的相机内参和相机外参计算得到三维空间中的待测目标对象的具体坐标位置信息，从而根据该坐标位置信息确定出待测目标对象相对于地面的表征人体真实身高的人体高度信息，以及待测目标对象相对于图像采集器沿着平行于待测闸机口方向的距离信息，进而根据人体高度信息的变化趋势和距离信息的变化趋势来确定待测目标对象的运动趋势，进而进行逃票行为的检测，整个检测过程中，无论采集多帧原始图像的图像采集器与待测闸机口间的距离如何设定，仍可采用根据表征人体的真实身高的人体高度变化趋势，和表征人体与图像采集器沿着平行于待测闸机口方向的距离的变化趋势来确定待测目标对象的运动趋势，进而根据运动趋势进行逃票行为检测这一规则，整个检测过程中，普适性更好。
在本发明实施例中，如图2所示，在步骤S101：获取待测闸机口在第一预设时长内的多帧原始图像之后，所述方法还包括：
S201：对所述多帧原始图像中的每帧原始图像进行目标检测，提取至少一个目标对象，以及所述至少一个目标对象中每个目标对象的至少一个目标区域；
S202：从所述至少一个目标区域中提取出满足第二预设条件的人脸信息，以及确定所述人脸信息所对应的至少一个第一待测目标对象；
S203：将所述至少一个第一待测目标对象作为所述至少一个待测目标对象。
在具体实施过程中，步骤S201至步骤S203的具体实现过程如下：
首先，对多帧原始图像中的每帧原始图像进行目标检测，提取至少一个目标对象，以及提取该至少一个目标对象中每个目标对象的至少一个目标区域，其中，至少一个目标区域包括目标区域的人脸区域、头肩区域和人体区域中的至少一个。在具体实施过程中，在通过双目摄像机获取该多帧原始图像时，可以是对左目原始图像进行目标检测，还可以是对右目原始图像进行目标检测，具体可以是使用深度学习网络来进行目标检测，比如，可以是使用yolo、RCNN等算法来进行目标检测，实现对人脸区域、头肩区域和人体区域的检测和提取，将人脸区域、头肩区域对应的人体区域进行关联，确定同一目标对象对应的目标区域。
然后，从至少一个目标区域中提取出满足第二预设条件的人脸信息，以及确定该人脸信息所对应的至少一个第一待测目标对象。其中，第二预设条件可以是根据实际应用需要所设定的条件，比如，第二预设条件为符合成年人人脸特征的条件，比如，人脸轮廓大于预设阈值，相应地，判定对应的目标对象为成人，反之，在人脸轮廓小于预设阈值时，判定对应的目标对象为儿童，当然，还可以根据实际应用需要设定其它条件作为第二预设条件，在此不做限定。然后，将至少一个第一待测目标对象作为至少一个待测目标对象，也就是说，通过对第二预设条件的人脸信息的设定，从至少一个目标对象中筛选出符合第二预设条件的人脸信息的目标对象所对应的至少一个待测目标对象，然后，再对所筛选出的至少一个待测目标对象进行逃票行为的检测。比如，通过设定第二预设条件，实现对成人与儿童的筛选，将符合第二预设条件的成人所对应的目标对象作为待测目标对象，进而实现对成人对应的待测目标对象的逃票行为的判定，从而避免了在成人携带儿童时，对儿童进行逃票行为的判定，进一步提高了逃票行为检测的效率。
在本发明实施例中，如图3所示，在步骤S102：确定所述多帧原始图像中的每帧原始图像对应的深度图像之后，所述方法还包括：
S301：根据所述深度图像，确定所述至少一个第一待测目标对象对应的人体区域的高度信息；
S302：从所述至少一个第一待测目标对象对应的人体区域的高度信息中确定出大于预设高度阈值的至少一个第二待测目标对象；
S303：将所述至少一个第二待测目标对象作为所述至少一个待测目标对象。
首先，根据多帧原始图像中的每帧原始图像对应的深度图像，确定至少一个第一待测目标对象对应的人体区域的高度信息，其中，人体区域的高度信息能够表征对应第一待测目标对象的真实身高，然后，从至少一个第一待测目标对象对应的人体区域的高度信息中确定出大于预设高度阈值的至少一个第二待测目标对象，然后，将至少一个第二待测目标对象作为至少一个待测目标对象，也就是说，从符合第一预设条件的至少一个第一待测目标对象中进一步筛选出人体区域的高度信息中大于预设高度阈值的至少一个第二待测目标对象，将所筛选出的至少一个第二待测目标对象作为进行逃票行为检测的至少一个待测目标对象，从而进一步地提高了对逃票行为检测的效率。此外，预设高度阈值可以是根据实际应用需要所设定的数值，比如，预设高度阈值为1.3m，当目标对象的人体身高高于1.3m时，则需要目标对象刷卡方能通过待测闸机口。在通过人脸信息筛选目标对象的同时，结合人体区域的高度信息进一步从中筛选出符合第二预设条件的至少一个待测目标对象，从而实现对筛选出的至少一个待测目标对象进行逃票行为的检测，提高了逃票行为的检测精确度。
在本发明实施例中，如图4所示，步骤S103：根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息，包括：
S401：对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置相对于地面的第一中心高度信息，以及所述至少一个目标区域中人体区域的中心坐标位置相对于地面的第二中心高度信息；
S402：将所述第一中心高度信息和所述第二中心高度信息作为所述至少一个待测目标对象相对于地面的人体高度信息。
在具体实施过程中，步骤S401至步骤S402的具体实现过程如下：
首先，对至少一个待测目标对象对应的至少一个目标区域进行跟踪，具体的跟踪过程为在一个视频的后续帧中找到当前帧中定义的目标区域的过程，比如，连续帧视频的先前帧图像中出现了一名向待测闸机口走去的乘客，后续就需要在当前帧图像中继续找到该乘客的位置，通常来讲，同一乘客在前后两帧图像中的尺寸和空间位置不会发生较大的变化，先前帧图像中在该乘客的周围生成一定数量的候选框，提取该候选框中乘客的特征信息，通过观测模型预测出当前帧图像中目标所在的位置，通过对目标的跟踪，能够确定出目标的变化趋势。
然后，从深度图像中，识别出至少一个目标区域中头肩区域的中心坐标位置相对于地面的第一中心高度信息，以及至少一个目标区域中人体区域的中心坐标位置相对于地面的第二中心高度信息，然后，将第一中心高度信息和第二中心高度信息作为至少一个待测目标对象相对于地面的人体高度信息，从而实现了对每个待测目标对象的人体高度的确定。在后续处理中，通过对头肩区域和对应的人体区域进行跟踪，能够确定头肩区域的中心坐标位置相对于地面的第一中心高度信息的变化趋势，以及人体区域的中心坐标位置相对于地面的第二中心高度信息的变化趋势，进而实现了对待测目标对象的真实身高的变化趋势的评估。
在本发明实施例中，如图5所示，步骤S104：根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，包括：
S501：对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置距离所述图像采集器的深度信息；
S502：根据所述深度信息，确定所述至少一个目标区域中头肩区域的中心坐标位置在相机坐标系中的第一位置信息；
S503：根据所述相机坐标系与世界坐标系间的转换，确定所述第一位置信息在所述世界坐标系中的第二位置信息；
S504：根据所述第二位置信息，确定所述至少一个目标区域中头肩区域的中心坐标位置相对于所述图像采集器沿着平行于所述待测闸机口方向的距离信息。
在具体实施过程，步骤S501至步骤S504的具体实现过程如下：
首先，对至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从深度图像中，识别出至少一个目标区域中头肩区域的中心坐标位置距离图像采集器的深度信息。举个具体的例子来说，如图6所示为图像采集器为相机1时，待测目标对象的头肩区域S与相机1和待测闸机口2间的其中一种示意图，具体来讲，将相机的光心作为相机坐标系C1的原点，在相机坐标系C1中，x轴朝向相机的镜头方向，z轴垂直于相机顶部平面向上，y轴垂直于相机的侧面。将相机的光心在地面所在平面的投影点作为世界坐标系C2的原点，在世界坐标系C2中，该世界坐标系C2的Z轴方向垂直于地面G所在平面竖直向上，X轴方向平行于行人进站的方向，Y轴垂直于X轴与Z轴所在平面的方向。在图6中，比如，待测目标对象的头肩区域的中心坐标位置位于世界坐标系C2的XZ平面内，且在相机坐标系C1的xz平面内，头肩区域的中心坐标位置距离相机的光心的深度信息为dL，该深度信息往往保存在深度图像中。
然后，根据所述深度信息，确定所述至少一个目标区域中头肩区域S的中心坐标位置在相机坐标系C1中的第一位置信息；仍然以图6所示的例子为例，根据头肩区域的S中心坐标位置距离相机1的光心的深度信息dL，计算出头肩区域S的中心坐标位置在相机坐标系C1中的位置坐标为(Cadx，0，Cadz)，其中，Ca为相机(camera)的英文缩写，(Cadx，0，Cadz)为头肩区域S的中心坐标位置在相机坐标系C1中的第一位置信息。
然后，根据所述相机坐标系与世界坐标系间的转换，确定所述第一位置信息在所述世界坐标系中的第二位置信息；仍然以图6所示的例子为例，在确定头肩区域S的中心坐标位置在相机坐标系C1中的第一位置信息为(Cadx，0，Cadz)之后，通过相机坐标系C1到世界坐标系C2的转换，得到世界坐标系C2下头肩区域S的中心坐标位置坐标为(dX，0，dZ)，(dX，0，dZ)为(Cadx，0，Cadz)在世界坐标系C2中的第二位置信息。
然后，根据所述第二位置信息，确定所述至少一个目标区域中头肩区域的中心坐标位置相对于所述图像采集器沿着平行于所述待测闸机口方向的距离信息。仍然以图6所示的例子，在确定出头肩区域S的中心坐标位置在世界坐标系C2中的第二位置信息为(dX，0，dZ)之后，dZ为人体的头肩区域S的中心位置的高度信息，dX为人体的头肩区域S的中心位置在沿进站方向与相机1的距离。
在本发明实施例中，如图7所示，步骤S105：根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势，包括：
S601:根据所述人体高度信息，确定所述第一中心高度信息的第一变化趋势，以及所述第二中心高度信息的第二变化趋势；
S602:根据所述距离信息，确定所述至少一个待测目标对象相对于所述图像采集器沿着平行于所述待测闸机口方向的第三变化趋势；
S603:根据所述第一变化趋势、所述第二变化趋势和所述第三变化趋势，确定所述至少一个待测目标对象的运动趋势。
在具体实施过程中，步骤S601至步骤S603的具体实现过程如下：
首先，根据人体高度信息，确定第一中心高度信息的第一变化趋势，以及第二中心高度信息的第二变化趋势，也就是说，根据每帧原始图像中每个待测目标对象的高度信息，能够确定出连续帧视频中待测目标对象的头肩区域的中心坐标位置的高度信息的变化趋势，以及人体区域的中心坐标位置的高度信息的变化趋势。此外，还可以根据每个待测目标对象的头肩区域的中心坐标位置相对于图像采集器沿着平行于待测闸机口的距离信息，从而确定至少一个待测目标对象相对于图像采集器沿着平行于待测闸机口方向的第三变化趋势。由于头肩区域往往不易遮挡，从而提高了对头肩区域的中心坐标位置的高度信息的测量精确度，以及提高了对头肩区域的中心坐标位置相对于图像采集器沿着平行于待测闸机口方向的距离信息的测量精确度，从而提高了根据第一变化趋势、第二变化趋势和第三变化趋势，对至少一个待测目标对象的运动趋势的测量精确度。
在具体实施过程中，由于深度图像中往往存储有图像采集器与目标区域间的距离信息，通过相机坐标系与世界坐标系间的转换，能够确定出目标区域与待测闸机口间的真实距离，该真实距离在连续帧视频中的变化趋势，能够预估多个待测目标对象间的运动情况，进一步提高对逃票行为的检测精确度。在本发明实施例中，步骤S106的具体检测可以有以下三种实现方式，也就是说，可以采用如下三种实现方式来进行逃票行为的检测，但又不仅限于以下三种实现方式，在此不做限定。
第一种实现方式
若所述至少一个待测目标对象为多个，步骤S106：若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，对应的第一种实现方式包括：
在第二预设时长内，若检测到所述至少一个待测目标对象中任两个待测目标对象的所述第一变化趋势和所述第二变化趋势均保持不变，所述第三变化趋势为所述任两个待测目标对象均沿靠近所述待测闸机口的方向运动，且所述任两个待测目标对象相对于所述图像采集器沿着所述待测闸机口方向间的距离小于第一预设距离阈值，则表明所述任两个待测目标对象中每个待测目标对象的运动趋势均满足所述第一预设条件，所述任两个待测目标对象间存在尾随通过所述待测闸机口的逃票行为。
在具体实施过程中，在第二预设时长内，若检测到至少一个待测目标对象中任两个待测目标对象的第一变化趋势和第二变化趋势均保持不变，比如，在待测闸机口对应的检测区域内，待测目标对象A和待测目标对象B的头肩区域的中心坐标位置的第一变化趋势为中心坐标位置基本不变，待测目标对象A和待测目标对象B的人体区域的中心坐标位置的第二变化趋势为中心坐标位置基本不变。此外，第三变化趋势为任两个待测目标对象均沿靠近待测闸机口的方向运动，比如，待测目标对象A和待测目标对象B均沿靠近待测闸机口的方向运动。在该任两个待测目标对象相对于图像采集器沿着待测闸机口方向间的距离小于第一预设距离阈值，则表明该任两个待测目标对象中每个待测目标对象的运动趋势均满足第一预设条件，则该任两个待测目标对象间存在尾随通过该待测闸机口的逃票行为。也就是说，在检测区域中跟踪到任两个待测目标对象在第二预设时长内，两者之间的距离小于第一预设距离阈值，且两者均一起朝向靠近待测闸机口的方向运动，则表明这两个待测目标对象间存在尾随通过待测闸机口的逃票行为。
在具体实施过程中，可以根据实际应用需要来设置第二预设时长，在此不做限定。还可以根据实际应用需要来设置第一预设距离阈值，在此不做限定。如图8所示为待测目标对象A和待测目标对象B在检测区域T内尾随通过待测闸机口的示意图，图9为图8对应的待测目标对象的运动趋势的示意图，其中，图8中虚线框所标识的区域可以为头肩区域，箭头X所示的方向为靠近待测闸机口的方向，比如，进站的方向。箭头Y标识的为高度信息。在第一预设距离阈值为D1，待测目标对象A的头肩区域的中心坐标位置与待测目标对象B的头肩区域的中心坐标位置间的距离d1小于第一预设距离阈值D1时，待测目标对象A和待测目标对象B间存在尾随通过的逃票行为。值得注意的是，图9仅是对待测目标对象A和待测目标对象的运动趋势的一种理想估计，在实际应用中，待测目标对象的运动趋势往往为近似直线的曲线。
第二种实现方式
若所述至少一个待测目标对象为一个，步骤S106：若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，对应的第二种实现方式包括：
在第三预设时长内，若检测到所述待测目标对象的所述第一变化趋势和所述第二变化趋势均呈现先下降再上升的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第二预设距离阈值，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，所述待测目标对象存在从所述待测闸机口下钻通过的逃票行为。
在具体实施过程中，在第三预设时长内，若检测到待测目标对象的第一变化趋势和第二变化趋势均呈现先下降再上升的趋势，比如，在检测区域内，检测到待测目标对象C的头肩区域的中心坐标位置呈现先下降再上升的趋势，以及检测到的待测目标对象C的人体区域的中心坐标位置呈现先下降再上升的趋势。此外，第一中心高度信息和对应的第二中心高度信息相对于地面间的距离的最小值小于第二预设距离阈值，比如，待测目标对象C的头肩区域的中心坐标位置和其人体区域的中心坐标位置相对于地面间的距离的最小值小于第二预设距离阈值。此外，第三变化趋势为该待测目标对象沿靠近待测闸机口的方向运动时，表明该待测目标对象的运动趋势满足第一预设条件，该待测目标对象存在从待测闸机口下钻通过的逃票行为。
在具体实施过程中，可以根据实际应用需要来设置第三预设时长，在此不做限定。还可以根据实际应用需要来设置第二预设距离阈值，在此不做限定。如图10所示为待测目标对象C在检测区域T内下钻通过待测闸机口的示意图，图11为图10对应的待测目标对象的运动趋势的示意图，其中，图10中实线框所标识的区域可以为待测目标对象的人体区域，虚线框所标识的区域可以为待测目标对象的头肩区域，箭头X所示的方向为靠近待测闸机口的方向，比如，进站的方向。箭头Y标识的为高度信息。在第二预设距离阈值为D2，待测目标对象C的头肩区域的中心坐标位置与对应人体区域的中心坐标位置相对于地面间的距离d2的最小值小于第二预设距离阈值D2时，待测目标对象C存在下钻通过的逃票行为。
第三种实现方式
步骤S106：若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，对应的第三种实现方式包括：
在所述第四预设时长内，若检测到所述第一变化趋势和所述第二变化趋势均呈现先上升再下降的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第三预设距离阈值时，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，则确定所述待测目标对象存在从所述待测闸机口翻越通过的逃票行为。
在具体实施过程中，在第四预设时长内，若检测到待测目标对象的第一变化趋势和第二变化趋势均呈现先上升再下降的趋势，比如，在检测区域内，检测到待测目标对象D的头肩区域的中心坐标位置呈现先上升再下降的趋势，以及检测到的待测目标对象D的人体区域的中心坐标位置呈现先上升再下降的趋势。此外，第一中心高度信息和对应的第二中心高度信息相对于地面间的距离的最小值小于第三预设距离阈值，比如，待测目标对象D的头肩区域的中心坐标位置和其人体区域的中心坐标位置相对于地面间的距离的最小值小于第三预设距离阈值。此外，第三变化趋势为该待测目标对象沿靠近待测闸机口的方向运动时，表明该待测目标对象的运动趋势满足第一预设条件，该待测目标对象存在从待测闸机口翻越通过的逃票行为。
在具体实施过程中，可以根据实际应用需要来设置第四预设时长，在此不做限定。还可以根据实际应用需要来设置第三预设距离阈值，在此不做限定。如图12所示为待测目标对象D在检测区域T内翻越通过待测闸机口的示意图，图13为图12对应的待测目标对象的运动趋势的示意图，其中，图12中实线框所标识的区域可以为待测目标对象的人体区域，虚线框所标识的区域可以为待测目标对象的头肩区域，箭头X所示的方向为靠近待测闸机口的方向，比如，进站的方向。箭头Y标识的为高度信息。在第三预设距离阈值为D3，待测目标对象D的头肩区域的中心坐标位置与对应人体区域的中心坐标位置相对于地面间的距离d3的最小值小于第三预设距离阈值D3时，待测目标对象D存在翻越通过的逃票行为。
基于同一发明构思，如图14所示，本发明实施例还提供了一种逃票行为的检测装置，包括：
获取单元10，用于获取待测闸机口在第一预设时长内的多帧原始图像；
第一确定单元20，用于确定所述多帧原始图像中的每帧原始图像对应的深度图像；
第二确定单元30，用于根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；
第三确定单元40，用于根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；
第四确定单元50，用于根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；
检测单元60，用于若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
在本发明实施例中，在获取单元10获取待测闸机口在第一预设时长内的多帧原始图像之后，所述装置还包括第一提取单元，所述第一提取单元用于：
对所述多帧原始图像中的每帧原始图像进行目标检测，提取至少一个目标对象，以及所述至少一个目标对象中每个目标对象的至少一个目标区域；
从所述至少一个目标区域中提取出满足第二预设条件的人脸信息，以及确定所述人脸信息所对应的至少一个第一待测目标对象；
将所述至少一个第一待测目标对象作为所述至少一个待测目标对象。
在本发明实施例中，在第一确定单元20确定所述多帧原始图像中的每帧原始图像对应的深度图像之后，所述装置还包括第二提取单元，所述第二提取单元用于：
根据所述深度图像，确定所述至少一个第一待测目标对象对应的人体区域的高度信息；
从所述至少一个第一待测目标对象对应的人体区域的高度信息中确定出大于预设高度阈值的至少一个第二待测目标对象；
将所述至少一个第二待测目标对象作为所述至少一个待测目标对象。
在本发明实施例中，第二确定单元30用于：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置相对于地面的第一中心高度信息，以及所述至少一个目标区域中人体区域的中心坐标位置相对于地面的第二中心高度信息；
将所述第一中心高度信息和所述第二中心高度信息作为所述至少一个待测目标对象相对于地面的人体高度信息。
在本发明实施例中，第三确定单元40用于：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置距离所述图像采集器的深度信息；
根据所述深度信息，确定所述至少一个目标区域中头肩区域的中心坐标位置在相机坐标系中的第一位置信息；
根据所述相机坐标系与世界坐标系间的转换，确定所述第一位置信息在所述世界坐标系中的第二位置信息；
根据所述第二位置信息，确定所述至少一个目标区域中头肩区域的中心坐标位置相对于所述图像采集器沿着平行于所述待测闸机口方向的距离信息。
在本发明实施例中，第四确定单元50用于：
根据所述人体高度信息，确定所述第一中心高度信息的第一变化趋势，以及所述第二中心高度信息的第二变化趋势；根据所述距离信息，确定所述至少一个待测目标对象相对于所述图像采集器沿着平行于所述待测闸机口方向的第三变化趋势；
根据所述第一变化趋势、所述第二变化趋势和所述第三变化趋势，确定所述至少一个待测目标对象的运动趋势。
在本发明实施例中，检测单元60用于：
在第二预设时长内，若检测到所述至少一个待测目标对象中任两个待测目标对象的所述第一变化趋势和所述第二变化趋势均保持不变，所述第三变化趋势为所述任两个待测目标对象均沿靠近所述待测闸机口的方向运动，且所述任两个待测目标对象相对于所述图像采集器沿着靠近所述待测闸机口方向间的距离小于第一预设距离阈值，则表明所述任两个待测目标对象中每个待测目标对象的运动趋势均满足所述第一预设条件，所述任两个待测目标对象间存在尾随通过所述待测闸机口的逃票行为。
在本发明实施例中，检测单元60用于：
在第三预设时长内，若检测到所述待测目标对象的所述第一变化趋势和所述第二变化趋势均呈现先下降再上升的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第二预设距离阈值，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，所述待测目标对象存在从所述待测闸机口下钻通过的逃票行为。
在本发明实施例中，检测单元60用于：
在所述第四预设时长内，若检测到所述第一变化趋势和所述第二变化趋势均呈现先上升再下降的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第三预设距离阈值时，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，则确定所述待测目标对象存在从所述待测闸机口翻越通过的逃票行为。
基于同一发明构思，本发明实施例还提供了一种计算机装置，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上面所述的逃票行为的检测方法的步骤。
基于同一发明构思本发明实施例提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面所述的逃票行为的检测方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (12)
1.一种逃票行为的检测方法，其特征在于，包括：
获取待测闸机口在第一预设时长内的多帧原始图像；
确定所述多帧原始图像中的每帧原始图像对应的深度图像；
根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；
根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；
根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；
若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
2.如权利要求1所述的方法，其特征在于，在所述获取待测闸机口在第一预设时长内的多帧原始图像之后，所述方法还包括：
对所述多帧原始图像中的每帧原始图像进行目标检测，提取至少一个目标对象，以及所述至少一个目标对象中每个目标对象的至少一个目标区域；
从所述至少一个目标区域中提取出满足第二预设条件的人脸信息，以及确定所述人脸信息所对应的至少一个第一待测目标对象；
将所述至少一个第一待测目标对象作为所述至少一个待测目标对象。
3.如权利要求2所述的方法，其特征在于，在所述确定所述多帧原始图像中的每帧原始图像对应的深度图像之后，所述方法还包括：
根据所述深度图像，确定所述至少一个第一待测目标对象对应的人体区域的高度信息；
从所述至少一个第一待测目标对象对应的人体区域的高度信息中确定出大于预设高度阈值的至少一个第二待测目标对象；
将所述至少一个第二待测目标对象作为所述至少一个待测目标对象。
4.如权利要求3所述的方法，其特征在于，所述根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息，包括：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置相对于地面的第一中心高度信息，以及所述至少一个目标区域中人体区域的中心坐标位置相对于地面的第二中心高度信息；
将所述第一中心高度信息和所述第二中心高度信息作为所述至少一个待测目标对象相对于地面的人体高度信息。
5.如权利要求4所述的方法，其特征在于，所述根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，包括：
对所述至少一个待测目标对象对应的至少一个目标区域进行跟踪，并从所述深度图像中，识别出所述至少一个目标区域中头肩区域的中心坐标位置距离所述图像采集器的深度信息；
根据所述深度信息，确定所述至少一个目标区域中头肩区域的中心坐标位置在相机坐标系中的第一位置信息；
根据所述相机坐标系与世界坐标系间的转换，确定所述第一位置信息在所述世界坐标系中的第二位置信息；
根据所述第二位置信息，确定所述至少一个目标区域中头肩区域的中心坐标位置相对于所述图像采集器沿着平行于所述待测闸机口方向的距离信息。
6.如权利要求5所述的方法，其特征在于，所述根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势，包括：
根据所述人体高度信息，确定所述第一中心高度信息的第一变化趋势，以及所述第二中心高度信息的第二变化趋势；
根据所述距离信息，确定所述至少一个待测目标对象相对于所述图像采集器沿着平行于所述待测闸机口方向的第三变化趋势；
根据所述第一变化趋势、所述第二变化趋势和所述第三变化趋势，确定所述至少一个待测目标对象的运动趋势。
7.如权利要求6所述的方法，其特征在于，若所述至少一个待测目标对象为多个，所述若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，包括：
在第二预设时长内，若检测到所述至少一个待测目标对象中任两个待测目标对象的所述第一变化趋势和所述第二变化趋势均保持不变，所述第三变化趋势为所述任两个待测目标对象均沿靠近所述待测闸机口的方向运动，且所述任两个待测目标对象相对于所述图像采集器沿着所述待测闸机口方向间的距离小于第一预设距离阈值，则表明所述任两个待测目标对象中每个待测目标对象的运动趋势均满足所述第一预设条件，所述任两个待测目标对象间存在尾随通过所述待测闸机口的逃票行为。
8.如权利要求6所述的方法，其特征在于，若所述至少一个待测目标对象为一个，所述若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，包括：
在第三预设时长内，若检测到所述待测目标对象的所述第一变化趋势和所述第二变化趋势均呈现先下降再上升的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第二预设距离阈值，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，所述待测目标对象存在从所述待测闸机口下钻通过的逃票行为。
9.如权利要求6所述的方法，其特征在于，所述若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为，包括：
在所述第四预设时长内，若检测到所述第一变化趋势和所述第二变化趋势均呈现先上升再下降的趋势，所述第一中心高度信息和对应的所述第二中心高度信息相对于地面间的距离的最小值小于第三预设距离阈值时，且所述第三变化趋势为所述待测目标对象沿靠近所述待测闸机口的方向运动时，则表明所述运动趋势满足所述第一预设条件，则确定所述待测目标对象存在从所述待测闸机口翻越通过的逃票行为。
10.一种逃票行为的检测装置，其特征在于，包括：
获取单元，用于获取待测闸机口在第一预设时长内的多帧原始图像；
第一确定单元，用于确定所述多帧原始图像中的每帧原始图像对应的深度图像；
第二确定单元，用于根据所述深度图像，确定每帧原始图像中至少一个待测目标对象相对于地面的人体高度信息；
第三确定单元，用于根据所述深度图像，确定所述至少一个待测目标对象相对于图像采集器沿着平行于所述待测闸机口方向的距离信息，其中，所述图像采集器用于获取所述多帧原始图像；
第四确定单元，用于根据所述人体高度信息和所述距离信息，确定所述至少一个待测目标对象的运动趋势；
检测单元，用于若检测到所述运动趋势满足第一预设条件，则表明所述至少一个待测目标对象存在从所述待测闸机口非法通过的逃票行为。
11.一种计算机装置，其特征在于，所述计算机装置包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-9中任一项所述的逃票行为的检测方法的步骤。
12.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的逃票行为的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010914702.6A CN112200828A (zh) | 2020-09-03 | 2020-09-03 | 一种逃票行为的检测方法、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010914702.6A CN112200828A (zh) | 2020-09-03 | 2020-09-03 | 一种逃票行为的检测方法、装置及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112200828A true CN112200828A (zh) | 2021-01-08 |
Family
ID=74005661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010914702.6A Pending CN112200828A (zh) | 2020-09-03 | 2020-09-03 | 一种逃票行为的检测方法、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200828A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240829A (zh) * | 2021-02-24 | 2021-08-10 | 南京工程学院 | 一种基于机器视觉的闸机智能通行检测方法 |
| CN113627343A (zh) * | 2021-08-11 | 2021-11-09 | 深圳市捷顺科技实业股份有限公司 | 一种行人身高检测方法、装置、设备及可读存储介质 |
| CN114387715A (zh) * | 2022-01-12 | 2022-04-22 | 深圳市锐宝智联信息有限公司 | 一种人脸识别闸机、闸机控制方法、终端设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605967A (zh) * | 2013-11-26 | 2014-02-26 | 东华大学 | 一种基于图像识别的地铁防逃票系统及其工作方法 |
| CN103778704A (zh) * | 2014-02-11 | 2014-05-07 | 上海理工大学 | 一种城市轨道交通闸机事件智能识别方法 |
| CN104156691A (zh) * | 2014-07-02 | 2014-11-19 | 华南理工大学 | 一种基于图像处理的检测行人翻越闸机的监控方法 |
| CN104805784A (zh) * | 2015-03-30 | 2015-07-29 | 苏州华兴致远电子科技有限公司 | 一种闸机逃票检测系统及方法 |
| US20170248971A1 (en) * | 2014-11-12 | 2017-08-31 | SZ DJI Technology Co., Ltd. | Method for detecting target object, detection apparatus and robot |
| CN109858329A (zh) * | 2018-12-15 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于人脸识别的防尾随方法、装置、设备及存储介质 |
| CN110378179A (zh) * | 2018-05-02 | 2019-10-25 | 上海大学 | 基于红外热成像的地铁逃票行为检测方法及系统 |
| CN111008568A (zh) * | 2019-11-07 | 2020-04-14 | 浙江大华技术股份有限公司 | 逃票检测方法及其相关装置 |
| CN111027510A (zh) * | 2019-12-23 | 2020-04-17 | 上海商汤智能科技有限公司 | 行为检测方法及装置、存储介质 |
| CN111064925A (zh) * | 2019-12-04 | 2020-04-24 | 常州工业职业技术学院 | 地铁乘客逃票行为检测方法和系统 |
| CN111126257A (zh) * | 2019-12-23 | 2020-05-08 | 上海商汤智能科技有限公司 | 行为检测方法及装置 |
| CN111144260A (zh) * | 2019-12-19 | 2020-05-12 | 北京文安智能技术股份有限公司 | 一种翻越闸机的检测方法、装置及系统 |
| CN111460924A (zh) * | 2020-03-16 | 2020-07-28 | 上海师范大学 | 一种基于目标检测的闸机通过逃票行为检测方法 |
-
2020
- 2020-09-03 CN CN202010914702.6A patent/CN112200828A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605967A (zh) * | 2013-11-26 | 2014-02-26 | 东华大学 | 一种基于图像识别的地铁防逃票系统及其工作方法 |
| CN103778704A (zh) * | 2014-02-11 | 2014-05-07 | 上海理工大学 | 一种城市轨道交通闸机事件智能识别方法 |
| CN104156691A (zh) * | 2014-07-02 | 2014-11-19 | 华南理工大学 | 一种基于图像处理的检测行人翻越闸机的监控方法 |
| US20170248971A1 (en) * | 2014-11-12 | 2017-08-31 | SZ DJI Technology Co., Ltd. | Method for detecting target object, detection apparatus and robot |
| CN104805784A (zh) * | 2015-03-30 | 2015-07-29 | 苏州华兴致远电子科技有限公司 | 一种闸机逃票检测系统及方法 |
| CN110378179A (zh) * | 2018-05-02 | 2019-10-25 | 上海大学 | 基于红外热成像的地铁逃票行为检测方法及系统 |
| CN109858329A (zh) * | 2018-12-15 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 基于人脸识别的防尾随方法、装置、设备及存储介质 |
| CN111008568A (zh) * | 2019-11-07 | 2020-04-14 | 浙江大华技术股份有限公司 | 逃票检测方法及其相关装置 |
| CN111064925A (zh) * | 2019-12-04 | 2020-04-24 | 常州工业职业技术学院 | 地铁乘客逃票行为检测方法和系统 |
| CN111144260A (zh) * | 2019-12-19 | 2020-05-12 | 北京文安智能技术股份有限公司 | 一种翻越闸机的检测方法、装置及系统 |
| CN111027510A (zh) * | 2019-12-23 | 2020-04-17 | 上海商汤智能科技有限公司 | 行为检测方法及装置、存储介质 |
| CN111126257A (zh) * | 2019-12-23 | 2020-05-08 | 上海商汤智能科技有限公司 | 行为检测方法及装置 |
| CN111460924A (zh) * | 2020-03-16 | 2020-07-28 | 上海师范大学 | 一种基于目标检测的闸机通过逃票行为检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240829A (zh) * | 2021-02-24 | 2021-08-10 | 南京工程学院 | 一种基于机器视觉的闸机智能通行检测方法 |
| CN113627343A (zh) * | 2021-08-11 | 2021-11-09 | 深圳市捷顺科技实业股份有限公司 | 一种行人身高检测方法、装置、设备及可读存储介质 |
| CN114387715A (zh) * | 2022-01-12 | 2022-04-22 | 深圳市锐宝智联信息有限公司 | 一种人脸识别闸机、闸机控制方法、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200828A (zh) | 一种逃票行为的检测方法、装置及可读存储介质 | |
| CN110879991B (zh) | 一种障碍物识别方法及系统 | |
| CA3094424C (en) | Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator | |
| US9754160B2 (en) | Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium | |
| US9904861B2 (en) | Method for detecting target objects in a surveillance region | |
| WO2016129403A1 (ja) | 物体検知装置 | |
| JP5136504B2 (ja) | 物体識別装置 | |
| CN109997148B (zh) | 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 | |
| WO2015126031A1 (ko) | 사람 계수 방법 및 그를 위한 장치 | |
| US20060215903A1 (en) | Image processing apparatus and method | |
| US20200349757A1 (en) | Object capture coverage evaluation | |
| CN104318263A (zh) | 一种实时高精度人流计数方法 | |
| US10789495B2 (en) | System and method for 1D root association providing sparsity guarantee in image data | |
| KR20160035121A (ko) | 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치 | |
| JP7091686B2 (ja) | 立体物認識装置、撮像装置および車両 | |
| CN105426894B (zh) | 铁道塞钉图像检测方法及装置 | |
| CN109063625A (zh) | 一种基于级联深度网络的人脸关键点检测方法 | |
| CN110991215B (zh) | 车道线检测方法、装置、存储介质及电子设备 | |
| CN109508576A (zh) | 一种异常驾驶行为检测方法、装置及电子设备 | |
| CN102013007B (zh) | 用于检测面部的装置和方法 | |
| JP2004178229A (ja) | 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置 | |
| KR101575100B1 (ko) | 사용자 그룹의 공간행동 센싱 및 의미분석 시스템 | |
| Islam et al. | MVS‐SLAM: Enhanced multiview geometry for improved semantic RGBD SLAM in dynamic environment | |
| Shin et al. | Vehicle classification by road lane detection and model fitting using a surveillance camera | |
| KR101958270B1 (ko) | 영상분리 영상추적을 이용한 지능형 영상분석 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |