CN111046834B - 一种基于自动学习分析的监控视频人物比例矫正方法 - Google Patents

一种基于自动学习分析的监控视频人物比例矫正方法 Download PDF

Info

Publication number
CN111046834B
CN111046834B CN201911347289.3A CN201911347289A CN111046834B CN 111046834 B CN111046834 B CN 111046834B CN 201911347289 A CN201911347289 A CN 201911347289A CN 111046834 B CN111046834 B CN 111046834B
Authority
CN
China
Prior art keywords
monitoring video
fitting curve
video stream
end part
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911347289.3A
Other languages
English (en)
Other versions
CN111046834A (zh
Inventor
王康
汪洋
崔弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd.
Original Assignee
Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Fiberhome Telecommunication Technologies Co ltd filed Critical Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority to CN201911347289.3A priority Critical patent/CN111046834B/zh
Publication of CN111046834A publication Critical patent/CN111046834A/zh
Application granted granted Critical
Publication of CN111046834B publication Critical patent/CN111046834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于自动学习分析的监控视频人物比例矫正方法，采用全新策略设计，在无需预先设置相关参数的情况下，对行人的动作识别做出修正判断，提高了行人动作识别的准确性，通过人体相对高度的参照，很容易针对图像前景中的人物和后景中的人物进行判别，对行人跑步和行走动作的识别有明显的改善；整个设计方法，不需要使用者对复杂的模型有深刻的了解，无论从修正效率、还是所耗费的存储空间上去考虑，该方法都优于对识别模型的修改，并且在兼容性方面表现更为突出，不需要识别模型重新部署，也不需要有外界数据的支撑，适用范围更广。

Description

一种基于自动学习分析的监控视频人物比例矫正方法
技术领域
本发明涉及一种基于自动学习分析的监控视频人物比例矫正方法，属于监控视频像素比例矫正技术领域。
背景技术
目前，在很多行人动作识别的应用场景中，需要对行人动作的识别结果进行矫正。前景中的行人在完成一个动作时，由于其在视频中成像较大，所以该动作会造成大量的像素点位移，相应在用数字信号表示视频的情况下，数字信号也会有明显的变化，目前前景行人动作的评估已经相当准确，然而后景中的人物成像太小，在完成相同的动作时，其数据特征的变化更为模糊，从而无法对后景人物的行为做出准确的判断。
市场上对于行人动作的矫正主要有两个方向：其一为通过改进行为识别模型的构架和模型的参数，不断提升动作识别的效果，使得输出的结果相较修正之前更为准确。其二为通过对既定的识别结果，参考人物或者环境的固有属性对结果进行修正。
此外现有矫正应用中，系统复杂臃肿，为了矫正某一动作需要对行人提取更多的数据，建立更多的动作分类器，不仅需要耗费更多的时间和存储空间，而且在应用的时候也需要进行重新部署，对旧数据的兼容性较差；还有目前需要参考行人可穿戴设备的数据、人体生物信号、拍摄相机的高度、焦距和角度等数据，或者使用通用的动作模板进行动作矫正，这其中也存在着数据兼容性的问题，缺点是，需要有事先的准备和辅助设备的应用，而且不能单纯的根据视频得出结果，难以在生活中大量的应用。
发明内容
本发明所要解决的技术问题是提供一种基于自动学习分析的监控视频人物比例矫正方法，采用数据拟合思想，获得监控视频中坐标位置与身高像素的拟合曲线，进而据此获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于自动学习分析的监控视频人物比例矫正方法，用于矫正固定角度监控视频中前后景区域内人体动作的识别，包括固定角度监控视频人物比例矫正方法，其中，针对固定角度监控视频图像构建纵向、横向、景深的三维坐标系，作为图像三维坐标系，并执行如下步骤：
步骤A.获取预设数据量的监控视频流，并进入步骤B；
步骤B.针对监控视频流中的人物进行识别，提取监控视频流中各个包含人物的图像帧，作为各个待处理图像帧，并进入步骤C；
步骤C.分别针对各待处理图像帧，获得待处理图像帧中各人物分别在图像三维坐标系中的位置坐标、以及像素身高，进而获得监控视频流中各人物的位置坐标和像素身高，然后进入步骤D；
步骤D.基于默认所有人物实际身高彼此均相同，针对监控视频流中各人物的位置坐标和像素身高进行拟合，获得固定角度拟合曲线，然后进入步骤E；
步骤E.获得实际监控视频流，针对监控视频流中人物进行识别，获得其中各人物分别在图像三维坐标系中的实时位置坐标、以及实时像素身高，根据固定角度拟合曲线，针对各人物的轨迹像素进行实时矫正，获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
作为本发明的一种优选技术方案：还包括变化角度监控视频人物比例矫正方法，其中，分别针对各角度监控视频图像构建纵向、横向、景深的三维坐标系，作为图像三维坐标系，并针对各角度监控视频图像，分别执行步骤A至步骤C，然后进入步骤I；
步骤I.基于默认所有人物实际身高彼此均相同，针对各角度监控视频图像、以及监控视频流中各人物的位置坐标、像素身高进行拟合，获得多角度拟合曲线，然后进入步骤II；
步骤II.获得实际监控视频流，针对监控视频流中人物进行识别，获得其中各人物分别在图像三维坐标系中的实时位置坐标、以及实时像素身高，根据多角度拟合曲线，针对各人物的轨迹像素进行实时矫正，获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
作为本发明的一种优选技术方案：所述步骤C中，获得监控视频流中各人物的位置坐标和像素身高后，在监控视频流中，将人物的运动轨迹连接起来，获得人物的运动轨迹，然后进入步骤D。
作为本发明的一种优选技术方案：所述步骤D获得固定角度拟合曲线后，以及所述步骤I获得多角度拟合曲线后，均采用误差分析策略，针对拟合曲线进行矫正更新，然后分别进入步骤E和步骤II。
作为本发明的一种优选技术方案，所述针对拟合曲线进行矫正更新包括如下步骤a至步骤c：
步骤a.分别针对拟合曲线上预设比例的前端部分、以及预设比例与后端部分，获得其中各人物的像素身高与像素肩宽，采用比例矫正法，删除其中肩宽身高比例超出预设肩宽身高比例阈值范围的各个人物，实现对拟合曲线上前端部分与后端部分的分别更新，然后进入步骤b；
步骤b.针对拟合曲线上的后端部分，采用均值矫正法，通过拟合曲线上位于后端部分之前、预设比例段的数据的均值，针对后端部分的数据进行矫正处理，实现对拟合曲线上后端部分的更新，然后进入步骤c；
步骤c.所获拟合曲线即为经过矫正更新后的拟合曲线。
作为本发明的一种优选技术方案：所述步骤B中，采用深度学习网络或滤波算法对监控视频流中的人物进行识别。
作为本发明的一种优选技术方案：所述步骤B中，采用5FPS方法，针对监控视频流分割成帧，并基于对监控视频流中人物的识别，提取监控视频流中各个包含人物的图像帧。
作为本发明的一种优选技术方案：所述步骤B中，在获得各个待处理图像帧后，针对各个待处理图像帧进行滤波处理更新，然后进入步骤C。
作为本发明的一种优选技术方案：所述步骤B中，在获得各个待处理图像帧后，针对各个待处理图像帧进行高斯滤波处理更新，然后进入步骤C。
本发明所述一种基于自动学习分析的监控视频人物比例矫正方法，采用以上技术方案与现有技术相比，具有以下技术效果：
本发明所设计基于自动学习分析的监控视频人物比例矫正方法，采用全新策略设计，在无需预先设置相关参数的情况下，对行人的动作识别做出修正判断，提高了行人动作识别的准确性，通过人体相对高度的参照，很容易针对图像前景中的人物和后景中的人物进行判别，对行人跑步和行走动作的识别有明显的改善；整个设计方法，不需要使用者对复杂的模型有深刻的了解，无论从修正效率、还是所耗费的存储空间上去考虑，该方法都优于对识别模型的修改，并且在兼容性方面表现更为突出，不需要识别模型重新部署，也不需要有外界数据的支撑，适用范围更广。
附图说明
图1是本发明应用图像场景图；
图2是本发明图像捕获角度变化示意图；
图3是本发明设计基于自动学习分析的监控视频人物比例矫正方法中的流程示意图；
图4是本发明设计中拟合曲线矫正流程图；
图5是本发明设计中人物检测所应用的深度学习网络的架构图；
图6是本发明设计中实施例拟合曲线示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
如图1可见，前景中的行人成像较大，后景中的行人成像较小。在现实世界中，同一时间内人物跑动移动的距离一般情况下是大于步行的。然而在视频图像中，由于成像近大远小的关系，当后景中的行人跑动起来其在图像中运动的距离可能和前景中人物步行的距离相近。在我们判决行人动作时不易对前后景行人做出准确的判断，但是如果能在人物之间找到相应的关系映射，便可以辅助的对动作进行判决。从另一方面考虑，后景中的人物本身成像较小，所以其人物也相对不清晰，当我们使用深度学习的模型去识别人物时，极易误判或者漏判。
在应用行为识别的模型时，前景的人物跑动造成的像素点位移会是后景人物像素点位移的好几倍，这便无法判断后景人物与前景人物谁在奔跑谁在行走，甚至对出拳这样的行为都不能精确判断。考虑上述问题的存在，基于身高的矫正是获取人物特征最为便捷的手段，并且在修正动作识别时有着极大的帮助。在本系统中，不需要知道人物精确的物理身高，而且想要得到物理身高，其一要对摄像头就行标定处理，其二要设置相应的参考量。如果采取了上述操作，则难以达成本发明自动化测量采集分析的目的。
本发明基于上述问题的考虑，提出了一种基于自动学习分析的监控视频人物比例矫正方法，用于矫正固定角度监控视频中前后景区域内人体动作的识别，实际应用当中，对于监控视频的采集来说，采集模块主要选用城市中通常使用的监控摄像头，要求摄像头的高度高于人体的身高，参考我国架设红绿灯的标准JB-14886-2006，悬臂式高度为5.5～7m，立柱式不低于3m，诸如在实际应用中，将摄像头的高度定于3～5.5米。由于监控摄像头一般架设在室外，为满足与监控摄像头高度之间的匹配关系，所以将其拍摄角度定为40～60度之间。图像质量的要求为，图像中人物清晰可见，人物之间和行人之间的遮挡不十分严重。并且在实际运用过程中，可以多使用夜晚、或者中午人流不密集的时刻作为设计方案中拟合曲线的拟合依据，从而避免拥挤的人流对本系统造成较大的误差。
具体应用中，包括固定角度监控视频人物比例矫正方法，其中，针对固定角度监控视频图像构建纵向、横向、景深的三维坐标系，作为图像三维坐标系，并如图3所示，执行如下步骤A至步骤E。
步骤A.获取预设数据量的监控视频流，并进入步骤B。
由于步骤A中对于监控视频流有着数据量的要求，因此当一开始所获监控视频流数据较少，即表示从中提取分析行人的数据更少，则将所获监控视频流送入存储模块进行存储，待监控视频流的数据量达到预设数据量时，即进入后续流程。
对于得到的监控视频流，首先将它分成系统可以处理的批次数目，对每一批数据去提取其特征帧，批次的设置结合具体存储模块的大小和系统的处理能力去设置，具体的数目可以结合场景的部署动态的调整，也可以根据图像的质量动态的调整。
步骤B.针对监控视频流中的人物进行识别，采用5FPS方法，针对监控视频流分割成帧，并基于对监控视频流中人物的识别，提取监控视频流中各个包含人物的图像帧，作为各个待处理图像帧，并针对各个待处理图像帧进行预处理更新，然后进入步骤C。实际应用中，对于待处理图像帧的预处理操作，诸如包括图像的畸变矫正、图像的剪裁、图像的去均值化等操作。
上述步骤B中关于对监控视频流中人物的识别操作，不仅可以用深度学习网络去检测，也可以用经典的滤波算法例如SigmaDelta、VIBE等前景提取的方法；实际应用中，还可在通过上述方法提取几个人物之后，针对该图像中应用类似于K-Means的聚类算法提取其他的行人。
如图5所示，当采用深度学习网络针对监控视频流中的人物进行识别操作，其中，依靠该模型的检测能力对行人的头脚位置进行检测，输出行人的坐标信息，该网络的输入为RGB坐标下图像的数值，输出为输出图像的尺寸和18维度向量，该18维度向量包含行人的有无、以及行人图中的位置信息和回归框的置信度；选取框图的水平中心位置处竖直方向上的两点对人物的人高进行估计，其中设定最近人物的高度以H去表示，其他行人以H的倍数表达。
此外，还可以采用YOLO3人物检测方法，结合语义分割的方法可以将人物的边界描绘的更清楚，实现图像中人物的识别。目前阶段只需要检测出人物框图已经可以满足需求，在日后硬件的处理能力有了较大的提升之后，语义分割效率较慢的问题便可被解决，从而应用到本系统内。
步骤C.分别针对各待处理图像帧，获得待处理图像帧中各人物分别在图像三维坐标系中的位置坐标、以及像素身高，进而获得监控视频流中各人物的位置坐标和像素身高，然后在监控视频流中，将人物的运动轨迹连接起来，获得人物的运动轨迹，并进入步骤D。
步骤D.基于默认所有人物实际身高彼此均相同，针对监控视频流中各人物的位置坐标和像素身高进行拟合，获得固定角度拟合曲线，然后进入步骤E。
步骤E.获得实际监控视频流，针对监控视频流中人物进行识别，获得其中各人物分别在图像三维坐标系中的实时位置坐标、以及实时像素身高，根据固定角度拟合曲线，针对各人物的轨迹像素进行实时矫正，获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
实际应用中，人物在视频中有不同的移动方式，由于视频是在时间序列上提取的，那么描绘出行人的运动轨迹也有助于辅助的判断行人运动的方式。在大量行人数据的条件下，同一地点的摄像头对视野中所有行人高度的均值会处于某一范围。如图2所示，图像捕获方向的俯仰角变化与相对身高变化，当摄像头的角度发生变化时，由于成像关系，视野中所有行人高度的均值会发生变化，当俯视角度越大，行人整体的高度会变小，俯视角越小时，行人整体的高度变大。
因此，本发明相对上述固定角度监控视频人物比例矫正方法，进一步构建设计了变化角度监控视频人物比例矫正方法，其中，分别针对各角度监控视频图像构建纵向、横向、景深的三维坐标系，作为图像三维坐标系，并针对各角度监控视频图像，如图3所示，分别执行步骤A至步骤C，然后进入步骤I。
步骤I.基于默认所有人物实际身高彼此均相同，针对各角度监控视频图像、以及监控视频流中各人物的位置坐标、像素身高进行拟合，获得多角度拟合曲线，然后进入步骤II。
实际应用中，所获拟合曲线诸如图6所示，其中，person_coordinate为行人在视频图像中所处的位置，height为行人在视频图像中的相对高度，可以得到该视频下的行人位置-身高曲线的拟合曲线。虽然这样的做法对行人身高的不同做出了忽视，但是由于实际上某一国家地区的行人身高不会在特别大的范围内波动，重点突出了行人在视频图像中所处位置与身高的关系，这样的曲线足以去修正人物的行为。
步骤II.获得实际监控视频流，针对监控视频流中人物进行识别，获得其中各人物分别在图像三维坐标系中的实时位置坐标、以及实时像素身高，根据多角度拟合曲线，针对各人物的轨迹像素进行实时矫正，获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
上述所设计固定角度监控视频人物比例矫正方法、以及变化角度监控视频人物比例矫正方法，在实际应用当中，对于分别所获得的固定角度拟合曲线、以及多角度拟合曲线，本发明进一步设计均采用误差分析策略，针对拟合曲线进行矫正更新，然后分别进入步骤E和步骤II。
在拟合曲线的获得的初期，主要的误差存在于拟合曲线的起始端和末端，分别对应图像中的后景和前景，其中，拟合曲线的中间部分数据，无需进行处理保留数据的真实性。人物位置以及高低的不同，也许会出现较大的偏差，但是在大量数据统计的前提下，这些误差会被均匀抵消。拟合曲线起始段可能存在两个问题：其一为曲线上翘问题，其二为由于错检，起始段和中间段可能严重分离。
如6所示，person_coordinate轴后端的数据也就是图像中前景的人物数据，实际的行人动作检测中，因其动作改变明显，一般可以较容易的判断其动作。但是为与后景中行人在同一层次作出判断，仍需对其进行身高的估计。person_coordinate轴后端出现的误差情况主要为，人物图像半身的情况无法避免。一方面可以提高行人检测模型判定行人的阈值，降低半身人物被判定为person的概率。另一方面，必须形成后段数据处理的策略，具体实现方法基本同前端曲线数据的矫正。
视频帧中人物的肩宽和身高存在一定的比例关系，并且这种比例关系并不会随着图像景深的加深而出现严重的变形，曲线前端导致上翘的数据量一般较少，曲线后端误差
Figure BDA0002333734490000071
Figure BDA0002333734490000072
主要是由于行人半身图像的误检导致，具体呈现为在曲线person_coordinate轴的后端出现高度远远小于中部身高均值的数据。
实际应用中，如图4所示，具体按如下步骤a至步骤c的设计执行，实现针对拟合曲线的矫正。
步骤a.分别针对拟合曲线上预设比例的前端部分、以及预设比例与后端部分，获得其中各人物的像素身高与像素肩宽，采用比例矫正法，删除其中肩宽身高比例超出预设肩宽身高比例阈值范围的各个人物，实现对拟合曲线上前端部分与后端部分的分别更新，然后进入步骤b。
步骤b.针对拟合曲线上的后端部分，采用均值矫正法，通过拟合曲线上位于后端部分之前、预设比例段的数据的均值，针对后端部分的数据进行矫正处理，实现对拟合曲线上后端部分的更新，然后进入步骤c。
对于均值矫正法，实际应用举例如下：当选择后10％的数据进行矫正处理，采用后15％到后10％的均值对后面的数据进行估计矫正，考虑到成像近大远小的事实，直接删除高度低于该均值的数据。对x在n时刻的估计矫正为其之前预设m时刻值远远大于x在n时刻的值，取一段时间求取误差的均值，对部分数据进行矫正。
Figure BDA0002333734490000073
在少部分数据进行矫正之后，对误差点出现较多的地方，使用前一区段的均值对后一区段进行矫正，删除后一区段中低于前一区段均值的数据。
针对上述矫正进行迭代处理，该方法可能在小段区域上造成下限不平滑的问题，但是由于大量的数据满足要求，拟合的时候权重很大，最终拟合得到曲线仍然是平滑曲线，并且经过误差处理之后，结果更加准确。
步骤c.所获拟合曲线即为经过矫正更新后的拟合曲线。
将本发明应用于实际当中，如果在场景中可以参考某些特殊刚体的固定长度，那么便可进行误差修正策略的改进。例如，轿车的长度、宽度和高度基本在小范围中波动，如果轿车在本视频中跨越前景和后景，可以利用实际世界中轿车的度量属性恒定，成像后汽车的长度、宽度和高度发生变化的性质对人物高度-位置曲线进行参考矫正工作。
上述技术方案所设计基于自动学习分析的监控视频人物比例矫正方法，采用全新策略设计，在无需预先设置相关参数的情况下，对行人的动作识别做出修正判断，提高了行人动作识别的准确性，通过人体相对高度的参照，很容易针对图像前景中的人物和后景中的人物进行判别，对行人跑步和行走动作的识别有明显的改善；整个设计方法，不需要使用者对复杂的模型有深刻的了解，无论从修正效率、还是所耗费的存储空间上去考虑，该方法都优于对识别模型的修改，并且在兼容性方面表现更为突出，不需要识别模型重新部署，也不需要有外界数据的支撑，适用范围更广。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：用于矫正固定角度监控视频中前后景区域内人体动作的识别，包括固定角度监控视频人物比例矫正方法，其中，针对固定角度监控视频图像构建纵向、横向、景深的三维坐标系，作为图像三维坐标系，并执行如下步骤：
步骤A.获取预设数据量的监控视频流，并进入步骤B；
步骤B.针对监控视频流中的人物进行识别，提取监控视频流中各个包含人物的图像帧，作为各个待处理图像帧，并进入步骤C；
步骤C.分别针对各待处理图像帧，获得待处理图像帧中各人物分别在图像三维坐标系中的位置坐标、以及像素身高，进而获得监控视频流中各人物的位置坐标和像素身高，然后进入步骤D；
步骤D.基于默认所有人物实际身高彼此均相同，针对监控视频流中各人物的位置坐标和像素身高进行拟合，获得固定角度拟合曲线，然后采用误差分析策略，针对拟合曲线按如下步骤a至步骤c进行矫正更新，再进入步骤E；
步骤a.分别针对拟合曲线上预设比例的前端部分、以及预设比例与后端部分，获得其中各人物的像素身高与像素肩宽，采用比例矫正法，删除其中肩宽身高比例超出预设肩宽身高比例阈值范围的各个人物，实现对拟合曲线上前端部分与后端部分的分别更新，然后进入步骤b；
步骤b.针对拟合曲线上的后端部分，采用均值矫正法，通过拟合曲线上位于后端部分之前、预设比例段的数据的均值，针对后端部分的数据进行矫正处理，实现对拟合曲线上后端部分的更新，然后进入步骤c；
步骤c.所获拟合曲线即为经过矫正更新后的拟合曲线；
步骤E.获得实际监控视频流，针对监控视频流中人物进行识别，获得其中各人物分别在图像三维坐标系中的实时位置坐标、以及实时像素身高，根据固定角度拟合曲线，针对各人物的轨迹像素进行实时矫正，获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
2.根据权利要求1所述一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：还包括变化角度监控视频人物比例矫正方法，其中，分别针对各角度监控视频图像构建纵向、横向、景深的三维坐标系，作为图像三维坐标系，并针对各角度监控视频图像，分别执行步骤A至步骤C，然后进入步骤I；
步骤I.基于默认所有人物实际身高彼此均相同，针对各角度监控视频图像、以及监控视频流中各人物的位置坐标、像素身高进行拟合，获得多角度拟合曲线，然后采用误差分析策略，针对拟合曲线按如下步骤a至步骤c进行矫正更新，再进入步骤II；
步骤a.分别针对拟合曲线上预设比例的前端部分、以及预设比例与后端部分，获得其中各人物的像素身高与像素肩宽，采用比例矫正法，删除其中肩宽身高比例超出预设肩宽身高比例阈值范围的各个人物，实现对拟合曲线上前端部分与后端部分的分别更新，然后进入步骤b；
步骤b.针对拟合曲线上的后端部分，采用均值矫正法，通过拟合曲线上位于后端部分之前、预设比例段的数据的均值，针对后端部分的数据进行矫正处理，实现对拟合曲线上后端部分的更新，然后进入步骤c；
步骤c.所获拟合曲线即为经过矫正更新后的拟合曲线；
步骤II.获得实际监控视频流，针对监控视频流中人物进行识别，获得其中各人物分别在图像三维坐标系中的实时位置坐标、以及实时像素身高，根据多角度拟合曲线，针对各人物的轨迹像素进行实时矫正，获得各人物基于统一像素尺寸标准下的轨迹像素，实现人体动作的识别。
3.根据权利要求1或2所述一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：所述步骤C中，获得监控视频流中各人物的位置坐标和像素身高后，在监控视频流中，将人物的运动轨迹连接起来，获得人物的运动轨迹，然后进入步骤D。
4.根据权利要求1所述一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：所述步骤B中，采用深度学习网络或滤波算法对监控视频流中的人物进行识别。
5.根据权利要求1所述一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：所述步骤B中，采用5FPS方法，针对监控视频流分割成帧，并基于对监控视频流中人物的识别，提取监控视频流中各个包含人物的图像帧。
6.根据权利要求1所述一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：所述步骤B中，在获得各个待处理图像帧后，针对各个待处理图像帧进行滤波处理更新，然后进入步骤C。
7.根据权利要求6所述一种基于自动学习分析的监控视频人物比例矫正方法，其特征在于：所述步骤B中，在获得各个待处理图像帧后，针对各个待处理图像帧进行高斯滤波处理更新，然后进入步骤C。
CN201911347289.3A 2019-12-24 2019-12-24 一种基于自动学习分析的监控视频人物比例矫正方法 Active CN111046834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911347289.3A CN111046834B (zh) 2019-12-24 2019-12-24 一种基于自动学习分析的监控视频人物比例矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911347289.3A CN111046834B (zh) 2019-12-24 2019-12-24 一种基于自动学习分析的监控视频人物比例矫正方法

Publications (2)

Publication Number Publication Date
CN111046834A CN111046834A (zh) 2020-04-21
CN111046834B true CN111046834B (zh) 2021-07-06

Family

ID=70238829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911347289.3A Active CN111046834B (zh) 2019-12-24 2019-12-24 一种基于自动学习分析的监控视频人物比例矫正方法

Country Status (1)

Country Link
CN (1) CN111046834B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7286586B2 (ja) * 2020-05-14 2023-06-05 株式会社日立エルジーデータストレージ 測距システム及び測距センサのキャリブレーション方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8064636B2 (en) * 2007-05-31 2011-11-22 Canon Kabushiki Kaisha Image processing apparatus and method of controlling the same
JP4930433B2 (ja) * 2008-04-01 2012-05-16 セイコーエプソン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN103400120B (zh) * 2013-08-02 2015-04-15 上海泓申科技发展有限公司 基于视频分析的银行自助服务区域推入行为检测方法
CN107633215B (zh) * 2017-09-06 2021-03-02 南京小网科技有限责任公司 一种高空视频监控中小微模糊目标的甄别方法
CN107578021A (zh) * 2017-09-13 2018-01-12 北京文安智能技术股份有限公司 基于深度学习网络的行人检测方法、装置及系统

Also Published As

Publication number Publication date
CN111046834A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
CN103745449B (zh) 一种搜跟系统中航拍视频的快速自动拼接技术
CN104978567B (zh) 基于场景分类的车辆检测方法
CN106886778B (zh) 一种监控场景下车牌字符分割与识别方法
CN106682665B (zh) 一种基于计算机视觉的七段式数显仪表数字识别方法
CN102034240A (zh) 一种静态前景检测和跟踪方法
CN110633671A (zh) 基于深度图像的公交车客流实时统计方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
US20220366570A1 (en) Object tracking device and object tracking method
CN107066963B (zh) 一种自适应人群计数方法
CN111179302B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN112489055B (zh) 融合亮度-时序特征的卫星视频动态车辆目标提取方法
CN112613568B (zh) 基于可见光及红外多光谱图像序列的目标识别方法和装置
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN107045630B (zh) 一种基于rgbd的行人检测和身份识别方法及系统
CN111046834B (zh) 一种基于自动学习分析的监控视频人物比例矫正方法
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
CN103578121B (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
CN115690190B (zh) 基于光流图像和小孔成像的运动目标检测与定位方法
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法
Jin et al. Fusing Canny operator with vibe algorithm for target detection
CN113034398A (zh) 基于人工智能的城市测绘果冻效应消除方法与系统
CN109102520A (zh) 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法
CN112488165A (zh) 一种基于深度学习模型的红外行人识别方法及系统
CN114782809A (zh) 一种接触网关键部位动态偏移量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210609

Address after: 210019 26F, building a, Fenghuo science and technology building, 88 yunlongshan Road, Jianye District, Nanjing City, Jiangsu Province

Applicant after: NANJING FIBERHOME TELECOMMUNICATION TECHNOLOGIES Co.,Ltd.

Address before: 210019 No. 88 Yunlongshan Road, Jianye District, Nanjing City, Jiangsu Province

Applicant before: NANJING FENGHUO TIANDI COMMUNICATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant