CN113326793A - 一种远距离行人位置识别方法、系统及存储介质 - Google Patents

一种远距离行人位置识别方法、系统及存储介质 Download PDF

Info

Publication number
CN113326793A
CN113326793A CN202110661712.8A CN202110661712A CN113326793A CN 113326793 A CN113326793 A CN 113326793A CN 202110661712 A CN202110661712 A CN 202110661712A CN 113326793 A CN113326793 A CN 113326793A
Authority
CN
China
Prior art keywords
pedestrian
picture
detected
long
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110661712.8A
Other languages
English (en)
Other versions
CN113326793B (zh
Inventor
秦豪
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yogo Robot Co Ltd
Original Assignee
Shanghai Yogo Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yogo Robot Co Ltd filed Critical Shanghai Yogo Robot Co Ltd
Priority to CN202110661712.8A priority Critical patent/CN113326793B/zh
Publication of CN113326793A publication Critical patent/CN113326793A/zh
Application granted granted Critical
Publication of CN113326793B publication Critical patent/CN113326793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种远距离行人位置识别方法、系统及存储介质，方法包括：根据相机特性确定远距离行人在待检测原始图片中的理论位置区域；抠取理论位置区域；将待检测原始图片和抠取的理论位置区域处理为预设大小图片，并分别输入预设检测模型中，获取行人的第一位置识别结果和第二位置识别结果；根据行人的第一位置识别结果和第二位置识别结果，确定远距离行人的最终位置识别结果。本发明从相机特性出发，分析了远距离行人在安防机器人视角下出现的理论区域，解决了在缩放图片损失信息而导致远距离行人识别率低的问题。

Description

一种远距离行人位置识别方法、系统及存储介质
技术领域
本发明涉及目标识别领域，更具体地，涉及一种远距离行人位置识别方法、系统及存储介质。
背景技术
智能安防机器人在楼宇巡检过程中，借助自身传感器如相机来感知楼宇内的异常情况，在机房等重要无人区域，安防机器人检查环境，监控环境中有无人员流动来上报警报。在安防场景下，与配送业务不同的是，机器人需要对环境能够精确感知，对于那些距离较远的可疑人员也要能精准定位并上报。
安防机器人的行人检测系统主要是基于卷积神经网络搭建而成，卷积运算是行人检测中占比最高的运算方式，网络计算量与图片的大小正相关。
机器人等边缘端设备算力有限，行人检测算法在实际应用过程中，会先将图片按比例缩小后再进行计算，以减少计算耗时，保持系统的实时性。但这样简单的做法会导致在实际应用中，远距离行人本身信息量少，图片缩小后，信息进一步减少，会出现远距离行人难识别的问题。
发明内容
本发明针对现有技术中存在的技术问题，提供一种远距离行人位置识别方法、系统及存储介质。
根据本发明的第一方面，提供了一种远距离行人位置识别方法，包括：对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域；从所述待检测原始图片中抠取所述理论位置区域；将待检测原始图片和抠取的所述理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；将所述第一图片和所述第二图片分别输入预设检测模型中，获取所述预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域，包括：采用棋盘格标定方式标定相机内外参数(K,RT)，相机矩阵KRT为：
KRT＝K*RT； (1)
Figure BDA0003115322150000021
Figure BDA0003115322150000022
其中，K为相机的内参，RT为相机的外参，fx，fy分别为相机水平方向和垂直方向的焦距，cx，cy为待检测原始图片水平方向和垂直方向的主点坐标，Hc为相机安装位置相对于地面的高度；
根据相机矩阵KRT计算远距离行人在待检测原始图片中的理论位置区域：
Figure BDA0003115322150000031
根据设定的远距离阈值以及行人身高阈值，确定出远距离行人在待检测图片中的理论位置区域；其中，(us，vs)为远距离行人在待检测图片中的像素坐标，s为缩放比例系数，x轴为地平线方向，y轴为行人身高方向，z轴为行人与相机距离方向。
可选的，所述根据设定的远距离阈值以及行人身高阈值，确定出远距离行人在待检测图片中的理论位置区域，包括：取X＝0，Y＝0，Z＝8，代入公式(4)中，得到远距离行人在待检测图片中的位置下界u_down；
取X＝0，Y＝2，Z＝8，得到远距离行人在待检测图片中的位置上界u_up；根据远距离行人在待检测图片中的位置下界和上界，确定远距离行人在待检测图片中的理论位置区域。
可选的，所述抠取的所述理论位置区域处理为预设大小图片，包括：沿x轴方向将抠取的所述理论位置区域等分为两个子区域，将两个子区域沿z轴方向叠加重组，使得重组后的图片为预设大小图片。
可选的，所述预设检测模型为SpaceToDepth模型，通过如下方式对所述SpaceToDepth模型进行训练：采集包括行人的多张图片形成训练集，对训练集中的每一张图片标记其中行人的位置，所述行人的位置以目标方框表征；利用训练集中多张图片以及每一张图片标记的行人的位置对所述预设检测模型进行训练；其中，所述预设检测模型将输入的每一张图片进行分块，得到多个子块，且根据多个子块的对应位置重新组成新图片，输出新图片中行人的位置。
可选的，所述根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果，包括：根据所述第一位置识别结果和缩放比例系数s，获取远距离行人在待检测原始图片中的第一目标方框；根据所述第二位置识别结果和预设大小图片的尺寸，计算远距离行人在待检测原始图片中的第二目标方框；基于第一目标方框和第二目标方框，确定远距离行人在待检测原始图片中的最终位置识别结果。
可选的，所述根据所述第一位置识别结果和缩放比例系数s，获取远距离行人在待检测原始图片中的第一目标方框，包括：
bbox1ori＝(s*x11,s*y11,s*x12,s*y12)；
其中，第一位置识别结果为bbox1(score1,x11,y11,x12,y12)，score1为置信度，x11,y11,x12,y12分别为第一位置识别结果对应的目标方框中四个顶点坐标；
相应的，根据所述第二位置识别结果和预设大小图片的尺寸，计算远距离行人在待检测原始图片中的第二目标方框：
Figure BDA0003115322150000041
其中，第一位置识别结果为bbox2(score2,x21,y21,x22,y22)，score1为置信度，x11,y11,x12,y12分别为第一位置识别结果对应的目标方框中四个顶点坐标，(w,H)为预设大小图片的尺寸，A、B为两个子区域。
可选的，所述基于第一目标方框和第二目标方框，确定远距离行人在待检测原始图片中的最终位置识别结果，包括：基于第一目标方框和第二目标方框，采用NMS非极大值抑制方法确定远距离行人在待检测原始图片中的最终位置识别结果。
根据本发明的第二方面，提供一种远距离行人位置识别系统，包括：第一确定模块，用于对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域；抠取模块，用于从所述待检测原始图片中抠取所述理论位置区域；将待检测原始图片和抠取的所述理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；获取模块，用于将所述第一图片和所述第二图片分别输入预设检测模型中，获取所述预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；第二确定模块，用于根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果。
根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现远距离行人位置识别方法的步骤。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现远距离行人位置识别方法的步骤。
本发明提供的一种远距离行人位置是被方法、系统及存储介质，从相机特性出发，分析了远距离行人在安防机器人视角下出现的理论区域，解决了在缩放图片损失信息而导致远距离行人识别率低的问题。
附图说明
图1为本发明提供的一种远距离行人位置识别方法流程图；
图2为对抠取的远距离行人在原始图片中的理论位置区域进行重组的示意图；
图3为SpaceToDepth模型的对输入图片分块示意图；
图4为本发明提供的一种远距离行人位置识别系统结构示意图；
图5为本发明提供的一种可能的电子设备的硬件结构示意图；
图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明提供的一种远距离行人位置识别方法流程图，如图1所示，方法包括：对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域；从待检测原始图片中抠取所述理论位置区域；将待检测原始图片和抠取的所述理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；将第一图片和第二图片分别输入预设检测模型中，获取预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；根据行人的第一位置识别结果和第二位置识别结果，确定远距离行人的最终位置识别结果。
可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种在保持近处行人识别率的情况下，提高识别远距离行人的召回率的方法。
具体的，对于待检测原始图片，根据相机特性检测出远距离行人在该待检测原始图片中出现的理论位置区域，并从图片中抠取出该理论位置区域。对于待检测原始图片和抠取出的理论位置区域，均处理成预设大小图片，得到处理后的同样大小的第一图片和第二图片。将第一图片和第二图片分别输入预设检测模型中，获取预设检测模型输出的第一位置识别结果和第二位置识别结果，其中，第一位置识别结果对应第一图片，第二位置识别结果对应第二图片。根据第一位置识别结果和第二位置识别结果，共同确定远距离行人在待检测原始图片中的最终位置识别结果。
本发明从相机特性出发，分析了远距离行人在安防机器人视角下出现的理论区域，解决了在缩放图片损失信息而导致远距离行人识别率低的问题。
在一种可能的实施例方式中，对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域时，由相机的透视原理可知，随着行人离相机距离的增加，行人在图像中出现的位置会越来越接近地平线，从这一点出发，通过对相机标定可以确定距相机一定距离的行人会被限制在图片较中间的区域。
具体的，采用棋盘格标定方式标定相机内外参数(K,RT)，进而求出相机矩阵KRT为：
KRT＝K*RT； (1)
Figure BDA0003115322150000071
Figure BDA0003115322150000072
其中，K为相机的内参，RT为相机的外参，fx，fy分别为相机水平方向和垂直方向的焦距，cx，cy为待检测原始图片水平方向和垂直方向的主点坐标，Hc为相机安装位置相对于地面的高度。
根据相机矩阵KRT计算远距离行人在待检测原始图片中的理论位置区域：
Figure BDA0003115322150000081
根据设定的远距离阈值以及行人身高阈值，确定出远距离行人在待检测图片中的理论位置区域；其中，(us，vs)为远距离行人在待检测图片中的像素坐标，s为缩放比例系数，x轴为地平线方向，y轴为行人身高方向，z轴为行人与相机距离方向。
具体在利用公式(4)确定远距离行人在待检测原始图片中的理论位置区域时，本发明实施例中定义距离超过8米的行人为远距离行人，取X＝0，Y＝0，Z＝8，即行人与地面的接地点，可以得到远距离行人在画面中的下界u_down。取X＝0，Y＝2，Z＝8，即行人的头顶点，考虑行人身高不超过2米，可以得到远距离行人在画面中的上界u_up。由上下界限即可划定感兴趣区域，远距离行人理论上会出现的区域，即远距离行人在待检测原始图片中的理论位置区域。
在一种可能的实施例方式中，抠取的所述理论位置区域处理为预设大小图片，包括：沿x轴方向将抠取的所述理论位置区域等分为两个子区域，将两个子区域沿z轴方向叠加重组，使得重组后的图片为预设大小图片。
可以理解的是，在本发明实施例中，使用的安防机器人设备配备了分辨率为720*1080的摄像头，在实际行人检测时，会将图片缩小到360*540，以达到减少计算量的目的。在深度学习领域，检测器通常支持多张图片同时输入，检测器会分别给出每张图片的检测结果。利用这一特性，当机器人在检测周围行人时，为保持近距离行人的识别率，在原来检测一张图的基础上，将图片的感兴趣区域抠取出来二次检测。
本发明实施例将图片中间区域抠取出来并重新排布，图片区域[270:450,0:1080]等分成[270:450,0:540]和[270:450,540:1080]两个子区域，如图2所示，分别为A区域或者B区域。将两张图重新组合成一张大小为360*540的图片，与原图片缩放到360*540大小的原待检测图片组合在一起，同时放入机器人检测器检测。将抠取出来的远距离行人在待检测原始图片中的理论位置区域分块再重组的示意图如图2所示。具体为，沿x轴方向将抠取的理论位置区域等分为A和B两个子区域，将A和B两个子区域沿z轴方向叠加重组，使得重组后的图片为预设大小图片。
在一种可能的实施例方式中，预设检测模型为SpaceToDepth模型，通过如下方式对所述SpaceToDepth模型进行训练：采集包括行人的多张图片形成训练集，对训练集中的每一张图片标记其中行人的位置，所述行人的位置以目标方框表征；利用训练集中多张图片以及每一张图片标记的行人的位置对所述预设检测模型进行训练；其中，所述预设检测模型将输入的每一张图片进行分块，得到多个子块，且根据多个子块的对应位置重新组成新图片，输出新图片中行人的位置。
可以理解的是，经过上述实施例，将机器人的行人检测模块的输入图片从[1,3,360,540]变成[2,3,360,540]，输入量增大一倍，在实际运算时，会带来大约1.7倍的速度消耗。这样虽然增加了远距离行人的召回率，但同时也带来了很大的计算量。
因此，本发明实施例结合一种将图片空间信息压缩到图片深度通道中的方法，SpaceToDepth模型，其原理为将图片按照2*2像素小方块进行分割，分别取每个小方块的对应位置组成新的图片，可参见图3所示，这种做法在图片尺寸缩小的情况下，保持图片信息无损。在运用SpaceToDepth模型后，安防机器人的行人检测模块输入图片尺寸从[2,3,360,540]->[2,3*4,180,270]。这样的处理后，相比于原来单张图片的检测速度，时间消耗增加了15％，在业务允许接受的范围内。
在一种可能的实施例方式中，根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果，包括：根据所述第一位置识别结果和缩放比例系数s，获取远距离行人在待检测原始图片中的第一目标方框；根据所述第二位置识别结果和预设大小图片的尺寸，计算远距离行人在待检测原始图片中的第二目标方框；基于第一目标方框和第二目标方框，确定远距离行人在待检测原始图片中的最终位置识别结果。
可以理解的是，预设大小尺寸的第一图片和第二图片分别输入预设检测模型，获取预设检测模型输出的远距离行人在待检测原始图片中的第一位置识别结果和第二位置识别结果，分别为bbox1(score1,x11,y11,x12,y12)和bbox2(score2,x21,y21,x22,y22),score1为置信度，x11,y11,x12,y12分别为第一位置识别结果对应的目标方框中四个顶点坐标；同样的，score2为置信度，x21,y21,x22,y22分别为第二位置识别结果对应的目标方框中四个顶点坐标。
其中bbox1由原图片缩放得来，只需乘以缩放系数即可得到原图上的目标方框。需要注意的是bbox2，由图片两感兴趣区域A/B抠取出来，因此除了要考虑到缩放系数，还需要兼顾偏移量。
在一种可能的实施例方式中，根据第一位置识别结果和缩放比例系数s，获取远距离行人在待检测原始图片中的第一目标方框，包括：
bbox1ori＝(s*x11,s*y11,s*x12,s*y12)。 (5)
相应的，根据第二位置识别结果和预设大小图片的尺寸，计算远距离行人在待检测原始图片中的第二目标方框：
Figure BDA0003115322150000111
其中，(w,H)为预设大小图片的尺寸，A、B为两个子区域，如果第二位置识别结果在A子区域中或者在B子区域中，分别利用不同的公式确定远距离行人在待检测原始图片中的第二目标方框，或者根本就没有检测到远距离行人。
在一种可能的实施例方式中，所述基于第一目标方框和第二目标方框，确定远距离行人在待检测原始图片中的最终位置识别结果，包括：基于第一目标方框和第二目标方框，采用NMS非极大值抑制方法确定远距离行人在待检测原始图片中的最终位置识别结果。
可以理解的是，预设检测模型从待检测原始图片中识别出其中的远距离行人的第一位置识别结果以及从抠出的远距离行人的理论位置区域检测出的第二位置识别结果，进而计算出对应的第一目标方框和第二目标方框。在实际应用中，对于第一目标方框和第二目标方框，存在重复框的可能性，以bbox_ori2的结果结果为主导，将交并比大于0.5的冗余框删除，具体是采用NMS(non maximum suppression)非极大值抑制方法确定远距离行人在待检测原始图片中的最终位置识别结果。其中，NMS非极大值抑制方法为现有比较常见的技术，在此不做过多介绍。
图4为本发明实施例提供的一种远距离行人位置识别系统结构图，如图4所示，一种远距离行人位置识别系统，包括第一确定模块401、抠取模块402、处理模块403、获取模块404和第二确定模块405，其中：
第一确定模块401，用于对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域；抠取模块402，用于从所述待检测原始图片中抠取所述理论位置区域；处理模块403，用于将待检测原始图片和抠取的所述理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；获取模块404，用于将所述第一图片和所述第二图片分别输入预设检测模型中，获取所述预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；第二确定模块405，用于根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果。
可以理解的是，本发明提供的一种远距离行人位置识别系统与前述各实施例提供的远距离行人位置识别方法相对应，远距离行人位置识别系统的相关技术特征可参考远距离行人位置识别方法的相关技术特征，在此不再赘述。
请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提了一种电子设备，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序520时实现以下步骤：对于待检测原始图片，根据相机特性确定远距离行人在待检测原始图片中的理论位置区域；从待检测原始图片中抠取理论位置区域；将待检测原始图片和抠取的理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；将第一图片和第二图片分别输入预设检测模型中，获取预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；根据行人的第一位置识别结果和第二位置识别结果，确定远距离行人的最终位置识别结果。
请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：对于待检测原始图片，根据相机特性确定远距离行人在待检测原始图片中的理论位置区域；从待检测原始图片中抠取理论位置区域；将待检测原始图片和抠取的理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；将第一图片和第二图片分别输入预设检测模型中，获取预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；根据行人的第一位置识别结果和第二位置识别结果，确定远距离行人的最终位置识别结果。
本发明实施例提供的一种远距离行人位置识别方法、系统及存储介质，从相机特性出发，分析了远距离行人在安防机器人视角下出现的理论区域，解决了在缩放图片损失信息而导致远距离行人识别率低的问题；结合了SpaceToDepth模块将信息压缩到深度中，达到速度和精度的均衡。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种远距离行人位置识别方法，其特征在于，包括：
对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域；
从所述待检测原始图片中抠取所述理论位置区域；
将待检测原始图片和抠取的所述理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；
将所述第一图片和所述第二图片分别输入预设检测模型中，获取所述预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；
根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果。
2.根据权利要求1所述的远距离行人位置识别方法，其特征在于，所述对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域，包括：
采用棋盘格标定方式标定相机内外参数(K,RT)，相机矩阵KRT为：
KRT＝K*RT；(1)
Figure FDA0003115322140000011
Figure FDA0003115322140000012
其中，K为相机的内参，RT为相机的外参，fx，fy分别为相机水平方向和垂直方向的焦距，cx，cy为待检测原始图片水平方向和垂直方向的主点坐标，Hc为相机安装位置相对于地面的高度；
根据相机矩阵KRT计算远距离行人在待检测原始图片中的理论位置区域：
Figure FDA0003115322140000021
根据设定的远距离阈值以及行人身高阈值，确定出远距离行人在待检测图片中的理论位置区域；
其中，(us，vs)为远距离行人在待检测图片中的像素坐标，s为缩放比例系数，x轴为地平线方向，y轴为行人身高方向，z轴为行人与相机距离方向。
3.根据权利要求2所述的远距离行人位置识别方法，其特征在于，所述根据设定的远距离阈值以及行人身高阈值，确定出远距离行人在待检测图片中的理论位置区域，包括：
取X＝0，Y＝0，Z＝8，代入公式(4)中，得到远距离行人在待检测图片中的位置下界u_down；
取X＝0，Y＝2，Z＝8，得到远距离行人在待检测图片中的位置上界u_up；
根据远距离行人在待检测图片中的位置下界和上界，确定远距离行人在待检测图片中的理论位置区域。
4.根据权利要求2或3所述的远距离行人位置识别方法，其特征在于，所述抠取的所述理论位置区域处理为预设大小图片，包括：
沿x轴方向将抠取的所述理论位置区域等分为两个子区域，将两个子区域沿z轴方向叠加重组，使得重组后的图片为预设大小图片。
5.根据权利要求1所述的远距离行人位置识别方法，其特征在于，所述预设检测模型为SpaceToDepth模型，通过如下方式对所述SpaceToDepth模型进行训练：
采集包括行人的多张图片形成训练集，对训练集中的每一张图片标记其中行人的位置，所述行人的位置以目标方框表征；
利用训练集中多张图片以及每一张图片标记的行人的位置对所述预设检测模型进行训练；
其中，所述预设检测模型将输入的每一张图片进行分块，得到多个子块，且根据多个子块的对应位置重新组成新图片，输出新图片中行人的位置。
6.根据权利要求4所述的远距离行人位置识别方法，其特征在于，所述根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果，包括：
根据所述第一位置识别结果和缩放比例系数s，获取远距离行人在待检测原始图片中的第一目标方框；
根据所述第二位置识别结果和预设大小图片的尺寸，计算远距离行人在待检测原始图片中的第二目标方框；
基于第一目标方框和第二目标方框，确定远距离行人在待检测原始图片中的最终位置识别结果。
7.根据权利要求6所述的远距离行人位置识别方法，其特征在于，所述根据所述第一位置识别结果和缩放比例系数s，获取远距离行人在待检测原始图片中的第一目标方框，包括：
bbox1ori＝(s*x11,s*y11,s*x12,s*y12)；
其中，第一位置识别结果为bbox1(score1,x11,y11,x12,y12)，score1为置信度，x11,y11,x12,y12分别为第一位置识别结果对应的目标方框中四个顶点坐标；
相应的，根据所述第二位置识别结果和预设大小图片的尺寸，计算远距离行人在待检测原始图片中的第二目标方框：
Figure FDA0003115322140000041
其中，第一位置识别结果为bbox2(score2,x21,y21,x22,y22)，score1为置信度，x11,y11,x12,y12分别为第一位置识别结果对应的目标方框中四个顶点坐标，(w,H)为预设大小图片的尺寸，A、B为两个子区域。
8.根据权利要求7所述的远距离行人位置识别方法，其特征在于，所述基于第一目标方框和第二目标方框，确定远距离行人在待检测原始图片中的最终位置识别结果，包括：
基于第一目标方框和第二目标方框，采用NMS非极大值抑制方法确定远距离行人在待检测原始图片中的最终位置识别结果。
9.一种远距离行人位置识别系统，其特征在于，包括：
第一确定模块，用于对于待检测原始图片，根据相机特性确定远距离行人在所述待检测原始图片中的理论位置区域；
抠取模块，用于从所述待检测原始图片中抠取所述理论位置区域；
处理模块，用于将待检测原始图片和抠取的所述理论位置区域处理为预设大小图片，分别得到第一图片和第二图片；
获取模块，用于将所述第一图片和所述第二图片分别输入预设检测模型中，获取所述预设检测模型分别输出的行人的第一位置识别结果和第二位置识别结果；
第二确定模块，用于根据行人的所述第一位置识别结果和所述第二位置识别结果，确定远距离行人的最终位置识别结果。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-8任一项所述的远距离行人位置识别方法的步骤。
CN202110661712.8A 2021-06-15 2021-06-15 一种远距离行人位置识别方法、系统及存储介质 Active CN113326793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110661712.8A CN113326793B (zh) 2021-06-15 2021-06-15 一种远距离行人位置识别方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110661712.8A CN113326793B (zh) 2021-06-15 2021-06-15 一种远距离行人位置识别方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113326793A true CN113326793A (zh) 2021-08-31
CN113326793B CN113326793B (zh) 2024-04-05

Family

ID=77420921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110661712.8A Active CN113326793B (zh) 2021-06-15 2021-06-15 一种远距离行人位置识别方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113326793B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495195A (zh) * 2021-12-17 2022-05-13 珠海视熙科技有限公司 一种应用于视频会议系统的人脸检测方法及视频会议系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689010A (zh) * 2019-09-27 2020-01-14 支付宝(杭州)信息技术有限公司 一种证件识别方法及装置
CN111274991A (zh) * 2020-02-12 2020-06-12 清华大学 行人检测识别系统、方法、设备及计算机可读存储介质
CN111723801A (zh) * 2020-06-26 2020-09-29 南京甄视智能科技有限公司 鱼眼相机图片中目标检测矫正的方法与系统
CN111813997A (zh) * 2020-09-08 2020-10-23 平安国际智慧城市科技股份有限公司 入侵分析方法、装置、设备及存储介质
CN112163446A (zh) * 2020-08-12 2021-01-01 浙江吉利汽车研究院有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN112200081A (zh) * 2020-10-10 2021-01-08 平安国际智慧城市科技股份有限公司 异常行为识别方法、装置、电子设备及存储介质
CN112668549A (zh) * 2021-01-15 2021-04-16 北京格灵深瞳信息技术股份有限公司 行人姿态分析方法、系统、及终端、存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689010A (zh) * 2019-09-27 2020-01-14 支付宝(杭州)信息技术有限公司 一种证件识别方法及装置
CN111274991A (zh) * 2020-02-12 2020-06-12 清华大学 行人检测识别系统、方法、设备及计算机可读存储介质
CN111723801A (zh) * 2020-06-26 2020-09-29 南京甄视智能科技有限公司 鱼眼相机图片中目标检测矫正的方法与系统
CN112163446A (zh) * 2020-08-12 2021-01-01 浙江吉利汽车研究院有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN111813997A (zh) * 2020-09-08 2020-10-23 平安国际智慧城市科技股份有限公司 入侵分析方法、装置、设备及存储介质
CN112200081A (zh) * 2020-10-10 2021-01-08 平安国际智慧城市科技股份有限公司 异常行为识别方法、装置、电子设备及存储介质
CN112668549A (zh) * 2021-01-15 2021-04-16 北京格灵深瞳信息技术股份有限公司 行人姿态分析方法、系统、及终端、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495195A (zh) * 2021-12-17 2022-05-13 珠海视熙科技有限公司 一种应用于视频会议系统的人脸检测方法及视频会议系统
CN114495195B (zh) * 2021-12-17 2023-02-28 珠海视熙科技有限公司 一种应用于视频会议系统的人脸检测方法及视频会议系统

Also Published As

Publication number Publication date
CN113326793B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN110570454B (zh) 一种检测异物入侵的方法及装置
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
EP3530935B1 (en) Method and equipment for monitoring vortex-induced vibration for wind turbine generator set
KR101787542B1 (ko) 3차원 지형 모델과 토질 분류를 이용한 비탈면 안정성 평가 시스템 및 방법
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN112734739B (zh) 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法
CN109146880A (zh) 一种基于深度学习的电力设备检测方法
CN113505643B (zh) 违章目标物检测方法及相关装置
CN111798422B (zh) 棋盘格角点识别方法、装置、设备及存储介质
CN111539938A (zh) 一种轧带钢带头曲度检测方法、系统、介质及电子终端
CN112580542A (zh) 一种基于目标检测的钢筋计数方法
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
CN113326793B (zh) 一种远距离行人位置识别方法、系统及存储介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN112991159A (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN111241891B (zh) 一种人脸图像切图方法、装置及计算机可读存储介质
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN115683109A (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
CN112529943B (zh) 一种物体检测方法、物体检测装置及智能设备
CN112598738B (zh) 一种基于深度学习的人物定位方法
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
Miljanovic et al. Detection of windows in facades using image processing algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant