CN115984970B - 行人身高确定方法、装置、电子设备和存储介质 - Google Patents
行人身高确定方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115984970B CN115984970B CN202310234210.6A CN202310234210A CN115984970B CN 115984970 B CN115984970 B CN 115984970B CN 202310234210 A CN202310234210 A CN 202310234210A CN 115984970 B CN115984970 B CN 115984970B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- height
- position information
- target
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种行人身高确定方法、装置、电子设备和存储介质,涉及安防监控技术领域,该行人身高确定方法包括:获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高;从比例尺数据库中确定目标图像位置信息对应的目标比例尺;基于目标像素身高和目标比例尺确定目标行人的目标身高;其中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例。本发明提供的技术方案能够在无需对监控设备做各项参数标定、且无需依赖参照物的前提下,实现较为准确的行人身高测量。
Description
技术领域
本发明涉及安防监控技术领域,尤其涉及一种行人身高确定方法、装置、电子设备和存储介质。
背景技术
监控设备,如网络摄像机、云台摄像机等,在交通、家庭、公共场所、企业等安防监控场景下发挥着重要的作用。行人是安防监控领域中重要的监控目标,可以利用监控设备采集行人的视频图像,进而对视频图像进行分析,实现行人的识别、特征提取等。其中,行人身高的测量对行人识别、行人等具有重要的意义。
相关技术中,在以单目摄像机为主的监控系统中,对行人的身高进行测量时,可以先从采集的视频图像中识别出如轿车、房门、井盖等大小固定的物体作为参照物,根据参照物的大小估算视频图像中行人的身高。这种方式在视频图像中没有参照物时无法计算行人身高,且行人身高的计算依赖于参照物识别的准确性,容易受到参照物自身角度的影响,行人身高的测量结果偏差较大,可靠性不高。
发明内容
本发明提供一种行人身高确定方法、装置、电子设备和存储介质,用以解决现有技术中需要依赖参照物进行行人身高测量而导致测量结果偏差较大的问题,实现行人身高的测量。
本发明提供一种行人身高确定方法,包括:
获取待分析视频图像中目标行人的目标图像位置信息和所述目标行人的目标像素身高;
从比例尺数据库中确定所述目标图像位置信息对应的目标比例尺;所述比例尺数据库用于保存图像位置信息与比例尺的对应关系,所述比例尺用于表征行人的像素身高与真实身高的比例;
基于所述目标像素身高和所述目标比例尺确定所述目标行人的目标身高。
根据本发明提供的一种行人身高确定方法,所述获取待分析视频图像中目标行人的目标图像位置信息包括:
对所述待分析视频图像进行网格化,得到网格化图像;
确定所述目标行人的立足点在所述网格化图像中所处网格的网格位置信息;
获取所述待分析视频图像对应的监控设备标识,将所述监控设备标识和所述网格位置信息确定为所述目标图像位置信息。
根据本发明提供的一种行人身高确定方法,还包括:
获取第一监控设备采集的样本行人的样本视频图像,并基于所述样本视频图像确定所述样本行人的至少一条第一特征数据,所述第一特征数据包括所述样本行人的第一图像位置信息和第一像素身高;
针对每条所述第一特征数据,根据所述样本行人的真实身高和所述第一特征数据中的所述第一像素身高,确定所述第一特征数据中的所述第一图像位置信息对应的第一比例尺,并将所述第一图像位置信息与所述第一比例尺的对应关系保存至所述比例尺数据库。
根据本发明提供的一种行人身高确定方法,还包括:
从未知身高行人的特征数据中获取包含第二图像位置信息的至少一个第二特征数据;所述未知身高行人的特征数据基于第二监控设备采集的所述未知身高行人的视频图像确定,所述第二监控设备包括所述第一监控设备;所述第二图像位置信息为所述比例尺数据库中的图像位置信息;
针对所述至少一个第二特征数据中的同一个行人标识,基于所述至少一个第二特征数据中所述行人标识对应的第二像素身高和所述第二图像位置信息对应的比例尺,确定所述行人标识对应的目标未知身高行人的身高;
基于所述目标未知身高行人的运动轨迹确定第三图像位置信息,获取所述第三图像位置信息对应的所述目标未知身高行人的第三像素身高,并基于所述第三像素身高和所述目标未知身高行人的身高确定所述第三图像位置信息对应的第二比例尺;
将所述第三图像位置信息和所述第三图像位置信息对应的第二比例尺保存至所述比例尺数据库。
根据本发明提供的一种行人身高确定方法,所述将所述第三图像位置信息和所述第三图像位置信息对应的第二比例尺保存至所述比例尺数据库,包括:
在所述第三图像位置信息与所述第二图像位置信息不同的情况下,将所述第三图像位置信息作为新的第二图像位置信息,直至所述第三图像位置信息与所述第二图像位置信息相同;
在最终得到的所述第三图像位置信息对应的第二比例尺与所述第二图像位置信息对应的比例尺之间的第一差值小于第一设定阈值的情况下,将所有所述第三图像位置信息和对应的第二比例尺之间的对应关系保存至所述比例尺数据库。
根据本发明提供的一种行人身高确定方法,还包括:
获取至少两个监控设备在预设时间段内采集的历史视频图像中的历史行人的运动轨迹数据;
基于所述运动轨迹数据生成所述至少两个监控设备之间的连通图;
根据所述连通图确定所述至少两个监控设备中每个监控设备的关联监控设备的数量;
将所述每个监控设备按照所述数量从大到小进行排序,将排序结果中的前预设数量个监控设备确定为所述第一监控设备。
根据本发明提供的一种行人身高确定方法,还包括:
在检测到采集所述待分析视频图像的监控设备的监控角度发生变化的情况下,从所述比例尺数据库中删除所述监控设备对应的图像位置信息及比例尺。
根据本发明提供的一种行人身高确定方法,还包括:
在已知身高行人库中存在所述目标行人的行人标识的情况下,确定所述目标行人的目标身高与所述已知身高行人库中所述目标行人对应的身高的第二差值;
在所述第二差值大于第二设定阈值的情况下,确定所述监控设备的监控角度发生变化。
本发明还提供一种行人身高确定装置,包括:
信息获取模块,用于获取待分析视频图像中目标行人的目标图像位置信息和所述目标行人的目标像素身高;
第一确定模块,用于从比例尺数据库中确定所述目标图像位置信息对应的目标比例尺;所述比例尺数据库用于保存图像位置信息与比例尺的对应关系,所述比例尺用于表征行人的像素身高与真实身高的比例;
第二确定模块,用于基于所述目标像素身高和所述目标比例尺确定所述目标行人的目标身高。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述行人身高确定方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述行人身高确定方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述行人身高确定方法。
本发明提供的行人身高确定方法、装置、电子设备和存储介质,通过获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高,从比例尺数据库中确定目标图像位置信息对应的目标比例尺,然后基于目标像素身高和目标比例尺确定目标行人的目标身高,实现了行人身高的测量。其中的比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例,这样,只需确定目标行人在待分析视频图像中的位置及像素身高,即可根据该位置对应的比例尺和该像素身高确定出目标行人的真实身高,在视频图像中没有参照物的情况下也可实现行人身高的测量,避免了依赖参照物所带来的测量结果的偏差;而且,视频图像中不同的图像位置都有其对应的比例尺,这样,根据目标行人所在图像位置的比例尺及像素身高确定的目标身高能够考虑待分析视频图像的透视效应,提高了行人身高测量的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的行人身高确定方法的流程示意图之一;
图2是本发明实施例中待分析视频图像中目标行人的目标像素身高的示意图;
图3是本发明实施例中视频图像透视效应的原理示意图;
图4是本发明实施例中确定目标行人的立足点在网格化图像中所处网格的网格位置信息的原理示意图;
图5是本发明实施例提供的行人身高确定方法的流程示意图之二;
图6是本发明实施例中监控设备之间的连通图的示意图;
图7是本发明实施例提供的行人身高确定方法的流程示意图之三;
图8是本发明实施例提供的行人身高确定方法的流程示意图之四;
图9是本发明实施例中利用行人运动轨迹的传递进行比例尺扩散的原理示意图;
图10是本发明实施例提供的行人身高确定装置的结构示意图;
图11是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明中为描述的对象所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。
在以单目摄像机为主的安防监控系统中,基于深度学习的行人识别技术能够很好地基于单目视觉技术实现行人的目标识别、特征提取等。但受单目摄像机的工作原理限制,无法获取被采集物体的深度信息,且不同的摄像机的参数差异也较大,如何在以单目摄像机为主的安防监控系统中实现行人身高的测量,对行人识别等具有重要的意义。
相关技术中,可以对摄像机的焦距、距地面的高度、拍摄角度等参数进行测量和标定后,根据拍摄的行人的像素身高计算出行人的身高。这种方法需要对摄像机进行测量和标定,在具有大量摄像机的安防监控系统中,逐一进行摄像机的标定工作量较大,且适应性较差,一旦摄像机的角度或位置发生变化,则需要对各摄像机重新进行参数测量和标定,运维难度较大。
相关技术中,也可以从监控画面中识别出特定物体作为高度的参照物,比如先识别出同一监控画面中的轿车、房门、井盖等大小固定的物体作为参照物,根据该参照物的大小估算行人的身高。这种方法对监控画面中元素的丰富度要求较高,若监控画面中没有参照物,则无法估算行人的身高;而且,行人身高的测量依赖于参照物识别的准确性,且受参照物在监控画面中所呈现的角度的影响,其估算结果偏差较大,可靠性不高。
基于此,本发明实施例提供了一种行人身高确定方法,可以先获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高,从比例尺数据库中确定目标图像位置信息对应的目标比例尺,该比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例;然后基于目标像素身高和目标比例尺确定目标行人的目标身高。可以在无需对监控设备做各项参数标定、以及无需依赖参照物的前提下,实现较为准确的行人身高测量。
下面结合图1-图9对本发明的行人身高确定方法进行描述。该行人身高确定方法可以应用于电子设备,该电子设备可以包括监控设备,或者可以包括与监控系统中各监控设备通信连接的服务器或终端设备等。其中,终端设备可以包括手机、电脑、平板电脑、可穿戴设备、智能家居设备等;服务器可以包括独立服务器、集群服务器或云服务器等;监控设备可以包括网络摄像机、云台摄像机等。该行人身高确定方法也可以应用于设置在电子设备中的行人身高确定装置中,该行人身高确定装置可以通过软件、硬件或两者的结合来实现。
图1示例性示出了本发明实施例提供的行人身高确定方法的流程示意图之一,参照图1所示,该行人身高确定方法可以包括如下的步骤110~步骤130。
步骤110:获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高。
目标行人为待分析视频图像中具有正常站立姿态的行人。目标图像位置信息可以表征目标行人在待分析视频图像中的位置。
示例性的,监控设备可以对其监控区域进行视频图像采集,以监控设备采集的一帧视频图像为例,将该帧视频图像作为待分析视频图像,电子设备可以通过目标检测算法检测出该待分析视频图像中的行人,对这些行人进行人体关键点检测以确定行人的姿态,可以根据确定出的姿态筛选出正常站立姿态的行人,滤除掉非正常站立姿态的行人。其中,非正常站立姿态包括半蹲、坐着、弯腰等影响身高确定的姿态。示例性的,可以将任意一个正常站立姿态的行人作为目标行人。
在本发明实施例中,像素身高为行人在视频图像中所占像素的高度。例如,图2示例性示出了待分析视频图像中目标行人的目标像素身高的示意图,参照图2所示,待分析视频图像20中识别到的目标行人21的最小外框22在待分析视频图像20中占据了一定的像素区域,可以将该外框22的高度h确定为目标行人21的目标像素身高。示例性的,外框22可以是目标检测的边界框。
示例性的,目标行人在待分析视频图像中的位置可以是目标行人在待分析视频图像中立足点的位置。比如,可以通过人体关键点检测确定目标行人的脚部,将脚部所在的像素位置确定为目标行人在待分析视频图像中的位置。或者,可以为待分析视频图像建立位置坐标系,基于位置坐标系对待分析视频图像进行区域划分,每个区域对应位置坐标系中的一个位置坐标,将目标行人的脚部所在区域的位置坐标确定为目标行人在待分析视频图像中的位置。
示例性的,区域划分可以是进行网格化,每个网格区域表示一个位置,可以将网格区域的位置坐标定义为网格位置信息。
示例性的,对于同一个目标行人,可能被多个不同的监控设备抓拍到,为了区分来自不同监控设备的各视频图像上的同一个位置,可以通过目标图像位置信息进行区分标识,比如,目标图像位置信息中可以包括监控设备标识,通过监控设备标识区分不同视频图像上的同一个位置。相应的,在本发明实施例中,图像位置信息可以包括监控设备标识和网格位置信息。
步骤120:从比例尺数据库中确定目标图像位置信息对应的目标比例尺。
其中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,该比例尺用于表征行人的像素身高与真实身高的比例。示例性的,比例尺可以定义为F=h/H,其中,F表示比例尺,H表示行人的真实身高,h表示像素身高。
示例性的,比例尺数据库可以是基于已知身高行人的运动轨迹上各目标位置处的比例尺、以及经过该目标位置处的目标未知身高行人的身高和运动轨迹的传递确定的,该目标未知身高行人的身高可以是基于目标位置处的比例尺和目标未知身高行人在目标位置处的像素身高确定的。其中的已知身高行人可以包括已知身高的样本行人,还可以包括基于经过样本行人的运动轨迹上各位置处的其他行人的像素身高和该位置处的比例尺确定出身高的该其他行人。
示例性的,比例尺数据库可以基于样本行人的运动轨迹、像素身高和真实身高确定。例如,以监控系统中包括3个监控设备为例,样本行人可以在这3个监控设备的监控区域内的各个位置多次走动,3个监控设备可以对样本行人进行抓拍,得到样本视频图像。电子设备可以对各样本视频图像进行人体关键点检测和人脸识别,通过人体关键点检测确定样本行人的姿态,通过人脸识别并结合人脸聚档技术将不同时空出现的同一个样本行人的样本视频图像进行归类。对于每个样本行人,可以基于该样本行人的样本视频图像,确定该样本行人运动轨迹上各位置的图像位置信息和在该位置的像素身高,然后基于该样本行人的真实身高和在该位置的像素身高计算该位置点的比例尺,得到该位置的图像位置信息与比例尺的对应关系。如此,通过对各样本行人的样本视频图像进行同样的处理,可以确定出每个监控设备各位置处的图像位置信息与比例尺的对应关系,形成比例尺数据库。
示例性的,比例尺数据库可以基于样本行人的运动轨迹、像素身高和真实身高以及未知身高行人的运动轨迹和像素身高,结合行人运动轨迹的传递确定。例如,以监控系统中包括3个监控设备为例,样本行人可以在其中一个监控设备,如监控设备1的监控区域内各个位置多次走动,该监控设备1可以对该样本行人进行抓拍,获得该样本行人的样本视频图像。对于每个样本行人,可以基于该样本行人的样本视频图像,确定该样本行人运动轨迹上各位置处的图像位置信息和在该位置处的像素身高,然后基于该样本行人的真实身高和在该位置处的像素身高计算该位置处的比例尺,得到该位置处的图像位置信息和比例尺的对应关系。以其中样本行人A经过的一处位置P0为例,当有另一个未知身高行人经过位置P0时,监控设备1可以抓拍到该未知身高行人的视频图像,基于该视频图像可以确定该未知身高行人的像素身高h1,由于位置P0的比例尺已确定,比如为F0,则可以计算得到该未知身高行人的身高H1=h1/F0。基于人脸聚档技术,若一个行人的身高已知,则其正常站立姿态下被抓拍的所有视频图像都对应相同的真实身高,基于此,通过该未知身高行人在其他监控设备的运动轨迹或在当前监控设备1的其他位置的轨迹,可以基于身高H1继续确定出这些运动轨迹上各位置对应的比例尺,通过运动轨迹传递确定出其他监控设备的某个位置或当前监控设备1的其他位置的图像位置信息与比例尺的对应关系。如此,可以基于样本行人和未知身高行人的运动轨迹传递创建比例尺数据库。这样,仅需标注少量已知身高的样本行人,即可基于监控系统中行人的运动轨迹传递完成整个监控系统中每个监控设备的各图像位置信息对应比例尺的确定,样本行人可以不必经过所有监控设备。
步骤130:基于目标像素身高和目标比例尺确定目标行人的目标身高。
目标比例尺可以表征待分析视频图像中目标行人所在位置的像素身高与真实身高的比例,电子设备得到目标行人的目标像素身高和目标行人所在位置的目标比例尺之后,可以根据比例尺的计算公式F=h/H计算得到目标行人的目标身高。
本发明实施例提供的行人身高确定方法,通过获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高,从比例尺数据库中确定目标图像位置信息对应的目标比例尺,然后基于目标像素身高和目标比例尺确定目标行人的目标身高,实现了行人身高的测量。其中的比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例,这样,只需确定目标行人在待分析视频图像中的位置及像素身高,即可根据该位置对应的比例尺和该像素身高确定出目标行人的真实身高,在视频图像中没有参照物的情况下也可实现行人身高的测量,避免了依赖参照物所带来的测量结果的偏差;而且,视频图像中不同图像位置有其对应的比例尺,这样,根据目标行人所在图像位置的比例尺及像素身高确定的目标身高能够考虑待分析视频图像的透视效应,提高了行人身高测量的准确性。
另外,比例尺数据库可以是基于已知身高行人的运动轨迹上各目标位置处的比例尺,和经过该目标位置处的目标未知身高行人的运动轨迹传递确定的,这样,在仅知道一个行人的实际身高的情况下,即可根据该行人的运动轨迹确定出其所经过的各监控设备下不同位置处的比例尺,并可根据经过这些位置处的其他行人的运动轨迹扩散出更多位置处的比例尺,避免了对监控设备的逐个测量及标注。
对于监控设备,其摄像头采集的视频图像的画面具有透视效应,例如,图3示例性示出了视频图像透视效应的原理示意图,参照图3所示,对于同一个行人,其在视频图像中不同位置所占像素的高度不同,离摄像头较远的P3位置的像素身高小于离摄像头较近的P1位置的像素身高。也就是说,同一个行人在视频图像画面中不同位置的像素身高不同,则对应的比例尺也不同。同时考虑到地面可能存在倾斜或凹凸等情况,因此无法通过简单的线性关系,利用一个位置的比例尺推导另一个位置的行人身高,即一个位置的比例尺只能作用较小的范围。基于此,可以将摄像头采集的视频图像的画面进行网格化处理,将画面分割成多个网格区域,立足点在同一个网格区域内的行人可以共享同一个比例尺。
鉴于此,基于图1对应实施例的行人身高确定方法,在一种示例实施例中,获取待分析视频图像中目标行人的目标图像位置信息可以包括:对待分析视频图像进行网格化,得到网格化图像;确定目标行人的立足点在网格化图像中所处网格的网格位置信息;获取待分析视频图像对应的监控设备标识,将监控设备标识和网格位置信息确定为目标图像位置信息。
示例性的,结合图3,行人在横向(X轴方向)发生位置变化时,像素身高变化较小,而在纵向(Y轴方向)发生位置变化时像素身高变化较大。比如对于同一个行人,分别在具有相同Y坐标的P1位置和P2位置时,像素身高差异较小,而分别在具有不同Y坐标的P1位置和P3位置时,P3位置的像素身高明显小于P1位置的像素身高。考虑到该透视现象,在对待分析视频图像进行网格化时,可以取每个网格的X轴像素数量大于Y轴像素数量,形成矩形网格,则可以获得待分析视频图像中目标行人的网格坐标,即得到目标行人的网格位置信息。
例如,图4示例性示出了确定目标行人的立足点在网格化图像中所处网格的网格位置信息的原理示意图,参照图4所示,以将待分析视频图像划分出5×7个网格的网格化图像为例,可以从网格化图像中确定目标行人的立足点所在的网格P,根据图4的坐标系,该网格P的坐标可以表示为(3,2),即为该目标行人的网格位置信息。
可以理解的是,对于同一监控设备,网格越小,划分出的网格数量越多,比例尺也越丰富,基于该比例尺确定的行人的身高越准确。本发明对网格的大小不做限制。
基于图1对应实施例的行人身高确定方法,在一种示例实施例中,该行人身高确定方法还可以包括生成比例尺数据库的步骤。具体的,图5示例性示出了本发明实施例提供的行人身高确定方法的流程示意图之二,参照图5所示,该行人身高确定方法还可以包括如下的步骤510~步骤540。
步骤510:获取第一监控设备采集的样本行人的样本视频图像。
监控系统中可以包括至少一个监控设备,第一监控设备可以是监控系统中的全部监控设备,也可以是监控系统中选定的预设数量个监控设备。
示例性的,以监控系统中包括至少两个监控设备为例,可以基于该至少两个监控设备在过去一段时间内采集的历史视频图像中历史行人的运动轨迹数据确定监控系统的第一监控设备。具体的,确定第一监控设备的步骤可以包括:获取至少两个监控设备在预设时间段内采集的历史视频图像中的历史行人的运动轨迹数据;基于运动轨迹数据生成至少两个监控设备之间的连通图;根据连通图确定至少两个监控设备中每个监控设备的关联监控设备的数量;将每个监控设备按照关联监控设备的数量从大到小进行排序,将排序结果中的前预设数量个监控设备确定为第一监控设备。
示例性的,历史视频图像可以基于人脸聚类进行归档。人脸聚类可以将监控系统中各监控设备采集到的所有历史视频图像经N:N比对,通过聚类算法或图切分算法处理后,将同一个历史行人的历史视频图像归入同一个档案,不同历史行人的档案可以通过行人标识进行区分。其中的N表示监控系统中各监控设备采集到的所有历史视频图像的数量。行人标识可以表征行人的唯一身份。
基于此,对于同一个历史行人,可以根据该历史行人的行人标识获取该历史行人在预设时间段内的历史视频图像,利用这些历史视频图像确定该历史行人的运动轨迹数据。比如可以根据采集各历史视频图像的监控设备的监控设备标识确定该历史行人在各监控设备之间运动的运动轨迹数据。例如,历史行人B最近一个月的运动轨迹为“监控设备1→监控设备2→监控设备3→监控设备4”,则可根据该运动轨迹数据构成这4个监控设备的连通图。将所有历史行人的运动轨迹数据添加到该连通图中后,可生成一张监控系统中所有监控设备之间的连通图。可以为连通图中任意2个监控设备之间的连通路径设置权重,该权重可以是经过这2个监控设备的轨迹所出现次数的总和。比如,可以将轨迹“监控设备1→监控设备2”和轨迹“监控设备2→监控设备1”的出现次数的总和确定为监控设备1和监控设备2之间的连通路径的权重。
例如,图6示例性示出了监控设备之间的连通图的示意图,参照图6所示,以监控系统中包括8个监控设备为例,针对每个监控设备,可以基于该连通图确定出每个监控设备的关联监控设备的数量,数量越多表示该监控设备相连通的其他监控设备越多,运动轨迹传递越广泛,越容易实现比例尺的大规模扩散。比如,与监控设备62连通的关联监控设备包括监控设备61、监控设备68、监控设备63和监控设备66,则可确定监控设备62的关联监控设备的数量为4。基于此,可以确定出监控设备61~监控设备68的关联监控设备的数量依次为:1,4,2,3,1,3,1,1。然后按该数量从大到小进行排序,依次为:监控设备62,监控设备64,监控设备66,监控设备63,监控设备61,监控设备65,监控设备67,监控设备68。假设预设数量为2,则可将监控设备62和监控设备64确定为第一监控设备。
示例性的,可以为连通图中任意2个监控设备之间的连通路径设置权重,利用权重判断连通关系的重要程度,若连通路径的权重小于权重阈值,则表示行人从该连通路径上的2个监控设备经过的次数较小,在运动轨迹传递中发挥的作用较小,甚至可忽略,可以将该连通路径删除。比如,在图6所示的连通图中,假设权重阈值为10,则可以将监控设备62和监控设备66之间的连通路径删除,形成最终的连通图,再利用最终的连通图确定第一监控设备。
这样,通过连通图确定第一监控设备,可以选择出运动轨迹传递效率较高的预设数量个监控设备。这样,仅需样本行人在监控系统中选定的少量监控设备的监控区域内进行走动,即可实现比例尺的广泛扩散,而不必遍历所有监控设备。
步骤520:基于样本视频图像确定样本行人的至少一条第一特征数据。
其中,第一特征数据包括样本行人的第一图像位置信息和第一像素身高。示例性的,该第一特征数据还可以包括样本行人的行人标识。
示例性的,样本视频图像可以基于人脸聚类进行归档,将同一个样本行人的样本视频图像归入同一个档案,不同样本行人的档案可以通过行人标识进行区分。对于同一个样本行人,可以对该样本行人的样本视频图像进行人体关键点检测,以确定样本视频图像中样本行人的姿态,根据确定出的姿态筛选出样本行人在正常站立姿态下的样本视频图像,对每个该样本视频图像进行如图2和如图4所示原理的分析,可以确定出每个样本视频图像中该样本行人的第一图像位置信息和第一像素身高,得到该样本行人的至少一条第一特征数据。
步骤530:针对每条第一特征数据,根据样本行人的真实身高和第一特征数据中的第一像素身高,确定第一特征数据中的第一图像位置信息对应的第一比例尺。
样本行人的真实身高已知,在确定出样本行人在某个位置的第一像素身高之后,可以基于该第一像素身高和样本行人的真实身高确定出该位置的第一比例尺。例如,样本行人的身高为180cm,第一像素身高为180px,则第一比例尺=180px/180cm=1px/cm。其中的px表示像素单位。如此,可以确定出每个样本行人所经过的每个图像位置的比例尺。
步骤540:将第一图像位置信息与第一比例尺的对应关系保存至比例尺数据库。
本发明实施例提供的行人身高确定方法,可以通过第一监控设备采集已知身高的样本行人在第一监控设备的监控区域内行走时的样本视频图像,基于该样本视频图像确定出第一监控设备所监控区域内样本行人的第一图像位置信息与第一比例尺的对应关系,并将该对应关系加入比例尺数据库,能够利用已知身高的样本行人实现比例尺数据库的创建。当有其他未知身高的行人进入第一图像位置信息所表征的位置时,可以从比例尺数据库中获得对应的比例尺,进而可以根据该比例尺和该行人在该位置下的像素身高确定出该行人的实际身高。
图5对应实施例的方法以样本行人在第一监控设备的监控区域内进行走动为例来获取第一图像位置信息与第一比例尺的对应关系,在一种示例实施例中,第一监控设备可以是具有身高测量功能的监控设备,比如可以是双目摄像机,利用双目摄像机可以直接测量得到经过其监控区域的行人的身高,这样,利用未知身高的行人也可实现第一图像位置信息与第一比例尺的对应关系的获取。
示例性的,也可以通过人工经验对未知身高的行人的身高进行标注,作为样本行人。
示例性的,在比例尺数据库中已经保存有图像位置信息与比例尺的对应关系的情况下,比如通过图5对应实施例的方法确定出了第一监控设备所监控区域对应的图像位置信息与比例尺的对应关系,将该对应关系保存到了比例尺数据库中,之后,可以利用比例尺数据库中图像位置信息与比例尺的对应关系,确定出经过这些图像位置信息所表征的位置上其他行人的身高。进一步的,结合人脸聚档,可以将同一行人的身高传递给该行人运动轨迹中的所有视频图像中,在这些视频图像中确定出新的图像位置信息与比例尺的对应关系,如此可以不断扩散出更多的图像位置信息与比例尺的对应关系。这样,仅需标定少量的样本行人,即可利用行人运动轨迹的传递扩散出整个监控系统的监控区域中各位置点的比例尺。
具体的,基于图5对应实施例的行人身高确定方法,在一种示例实施例中,图7示例性示出了本发明实施例提供的行人身高确定方法的流程示意图之三,参照图7所示,该行人身高确定方法还可以包括如下的步骤710~步骤740。
步骤710:从未知身高行人的特征数据中获取包含第二图像位置信息的至少一个第二特征数据。
未知身高行人的特征数据是基于第二监控设备采集的未知身高行人的视频图像确定的,该特征数据可以包括未知身高行人的行人标识、像素身高和在视频图像中的图像位置信息。第二监控设备包括第一监控设备,第二监控设备可以是监控系统中的所有监控设备。具体的,可以对未知身高行人的视频图像进行行人目标检测,检测出该视频图像中的未知身高行人。基于人脸聚档,可以将同一个未知身高行人的视频图像归入同一个档案,不同未知身高行人的档案可以通过行人标识进行区分。对于每一个未知身高行人,可以对该未知身高行人的视频图像进行人体关键点检测,以确定未知身高行人的姿态,可以根据确定出的姿态筛选出具有正常站立姿态的未知身高行人的视频图像,对筛选出的每个视频图像,可以利用如图4的原理确定每个视频图像中该未知身高行人的网格位置信息,将该视频图像对应的监控设备标识和该网格位置信息确定为该未知身高行人在该视频图像中的图像位置信息。同时,可以根据图2的原理确定该未知身高行人在该视频图像中的像素身高。如此,可以得到未知身高行人的特征数据。
第二图像位置信息为比例尺数据库中的图像位置信息。示例性的,该第二图像位置信息可以包括通过图5对应实施例的方法确定出的第一图像位置信息,还可以包括基于行人运动轨迹的传递而扩散出的其他图像位置信息。
电子设备可以根据第二图像位置信息,从未知身高行人的特征数据中获取图像位置信息与该第二图像位置信息相匹配的特征数据,得到至少一个第二特征数据。可以理解的是,第二特征数据即是第二图像位置信息所表示的图像位置处包含未知身高行人的视频图像中,未知身高行人的特征数据。
步骤720:针对至少一个第二特征数据中的同一个行人标识,基于至少一个第二特征数据中行人标识对应的第二像素身高和第二图像位置信息对应的比例尺,确定行人标识对应的目标未知身高行人的身高。
可以根据第二特征数据中的行人标识对未知身高行人进行身份区分,针对同一个未知身高行人,将该未知身高行人作为目标未知身高行人。若该目标未知身高行人对应的第二特征数据仅有一个,表示该目标未知身高行人在第二图像位置信息所表征的位置处被抓拍了一次,可以利用该目标未知身高行人对应的第二特征数据中的第二像素身高和第二图像位置信息对应的比例尺,确定该目标未知身高行人的身高。若该目标未知身高行人对应的第二特征数据为至少两个,表示该目标未知身高行人在第二图像位置信息所表征的位置处被抓拍了至少两次,可以利用该目标未知身高行人对应的每个第二特征数据中的第二像素身高和第二图像位置信息对应的比例尺,确定每个第二特征数据对应的身高,然后计算这些身高的平均值,得到该目标未知身高行人的身高。
这样,通过同处于第二图像位置信息所指示的图像位置处的行人共享同一个比例尺,可以确定出该图像位置处任意一个未知身高行人的身高。
步骤730:基于目标未知身高行人的运动轨迹确定第三图像位置信息,获取第三图像位置信息对应的目标未知身高行人的第三像素身高,并基于第三像素身高和目标未知身高行人的身高确定第三图像位置信息对应的第二比例尺。
在确定出目标未知身高行人的身高后,可以沿目标未知身高行人的运动轨迹选择其经过的下一个图像位置,得到第三图像位置信息。然后,可以从未知身高行人的特征数据中,获取目标未知身高行人的行人标识和第三图像位置信息所对应的目标未知身高行人的第三像素身高,然后可以基于第三像素身高和步骤720确定出的目标未知身高行人的身高,利用比例尺的定义公式F=h/H计算出第三图像位置信息对应的第二比例尺。
示例性的,目标未知身高行人在第三图像位置信息所表征的位置处可能会被抓拍多次,可以以任意一次抓拍对应的特征数据的像素身高作为第三像素身高来计算比例尺,也可以分别计算各次抓拍对应的比例尺,对这些比例尺求平均值得到第三图像位置信息对应的第二比例尺。
步骤740:将第三图像位置信息和第三图像位置信息对应的第二比例尺保存至比例尺数据库。
在一种示例实施例中,确定出目标未知身高行人运动轨迹中第三图像位置信息对应的第二比例尺之后,可以将该第三图像位置信息及其对应的第二比例尺保存至比例尺数据库。这样,可以利用经过已知比例尺的位置的行人的运动轨迹扩散出该行人运动轨迹上的其他位置的比例尺。
在另一种示例实施例中,确定出目标未知身高行人运动轨迹中第三图像位置信息对应的第二比例尺之后,可以将第三图像位置信息与第二图像位置信息比较,若两者不同,则可以将第三图像位置信息作为新的第二图像位置信息,基于经过该第三图像位置信息的其他未知身高行人的运动轨迹,按照步骤710~步骤730不断地进行比例尺的迭代扩散,直到扩散重新回到最初的第二图像位置信息,形成扩散闭环,这时可以将前后两次计算的该第二图像位置信息的比例尺进行比较,若两者之间的第一差值小于第一设定阈值,认为迭代过程中遇到的所有第三图像位置信息的第二比例尺准确,此时再将迭代过程中的所有第三图像位置信息和对应的第二比例尺之间的对应关系保存至比例尺数据库。这样,可以通过扩散闭环对迭代过程中所经过的各第三图像位置信息对应的第二比例尺进行验证,保证扩散出的比例尺的准确性。
基于图7对应实施例的行人身高确定方法,在一种示例实施例中,图8示例性示出了本发明实施例提供的行人身高确定方法的流程示意图之四,参照图8所示,该行人身高确定方法还可以包括如下的步骤810~步骤860。
步骤810:从未知身高行人的特征数据中获取包含第二图像位置信息的至少一个第二特征数据。
步骤820:针对至少一个第二特征数据中的同一个行人标识,基于至少一个第二特征数据中行人标识对应的第二像素身高和第二图像位置信息对应的比例尺,确定行人标识对应的目标未知身高行人的身高。
步骤830:基于目标未知身高行人的运动轨迹确定第三图像位置信息,获取第三图像位置信息对应的目标未知身高行人的第三像素身高,并基于第三像素身高和目标未知身高行人的身高确定第三图像位置信息对应的第二比例尺。
步骤840:判断第三图像位置信息与第二图像位置信息是否相同。
若不同,则执行步骤850;若相同,则执行步骤860。
步骤850:将第三图像位置信息作为新的第二图像位置信息。
在第三图像位置信息与第二图像位置信息不同的情况下,将第三图像位置信息作为新的第二图像位置信息,并重复执行上述步骤810~步骤850,直至第三图像位置信息与第二图像位置信息相同时,执行步骤860。
示例性的,在重复执行步骤810~步骤850的次数大于设定的次数阈值、且第三图像位置信息与第二图像位置信息仍不同的情况下,可以放弃针对第二图像位置信息进行基于目标未知身高行人的比例尺扩散,重新从包含第二图像位置信息的至少一个第二特征数据中选择另一个行人标识对应的未知身高行人作为目标未知身高行人;或者放弃针对第二图像位置信息的比例尺扩散。
步骤860:在最终得到的第三图像位置信息对应的第二比例尺与第二图像位置信息对应的比例尺之间的第一差值小于第一设定阈值的情况下,将所有第三图像位置信息和对应的第二比例尺之间的对应关系保存至比例尺数据库。
通过步骤810~步骤850的不断迭代执行,直到出现与第二图像位置信息相同的第三图像位置信息,则将该第三图像位置信息对应的第二比例尺与第二图像位置信息对应的比例尺进行比较,在两者之间的第一差值小于第一设定阈值的情况下,表示迭代过程中遇到的所有第三图像位置信息的第二比例尺准确,则可以将迭代过程中的所有第三图像位置信息和对应的第二比例尺之间的对应关系保存至比例尺数据库。
示例性的,在最终得到的第三图像位置信息对应的第二比例尺与第二图像位置信息对应的比例尺之间的第一差值大于或等于第一设定阈值的情况下,可以从包含第二图像位置信息的至少一个第二特征数据中选择另一个行人标识对应的目标未知身高行人,重新进行图8对应实施例方法的步骤。
本发明实施例提供的行人身高确定方法,可以通过同处于同一图像位置信息所指示的图像位置处的行人共享同一个比例尺,确定出该图像位置处任意一个未知身高行人的身高,进而可以根据该未知身高行人的运动轨迹,将确定出的该身高传递给该未知身高行人在该运动轨迹下的所有视频图像中,在这些视频图像中可以确定出新的图像位置信息与比例尺的对应关系,如此可以不断扩散出更多的图像位置信息与比例尺的对应关系,仅需已知少量行人的身高,即可利用行人运动轨迹的传递扩散出整个监控系统的监控区域中各位置的比例尺,形成比例尺数据库。对于进入监控系统中的任意一个未知身高行人,只需获取该未知身高行人所在位置的图像位置信息和在该位置的像素身高,即可结合比例尺数据库计算得到该未知身高行人的身高。
基于上述各实施例的行人身高确定方法,图9示例性示出了利用行人运动轨迹的传递进行比例尺扩散的原理示意图,其中,可以维护一个比例尺数据库,用于保存图像位置信息与比例尺的对应关系,该图像位置信息可以包括监控设备标识和网格位置信息,网格位置信息可以表征监控设备采集的视频图像中行人的位置,则图像位置信息可以表征行人在监控设备标识所指示的监控设备所采集的视频图像中的位置。结合图2和图4的原理,根据监控设备采集的行人的视频图像可以确定出行人的特征数据,该特征数据可以包括行人的图像位置信息、行人标识和像素身高。
参照图9所示,以监控系统中包括监控设备1、监控设备2和监控设备3为例,假设行人A是样本行人,其真实身高HA已知。行人A经过监控设备1的监控区域时被监控设备1抓拍,在抓拍的视频图像中处于网格位置P1处,可以记行人A在该视频图像中的图像位置信息为“1-P1”。结合图2的原理可以确定出行人A在网格位置P1处的像素身高hA,则图像位置信息“1-P1”对应的比例尺F1-P1为F1-P1=hA/HA。比例尺F1-P1是由已知身高的样本行人直接确定的,能够准确表示行人像素身高与真实身高的比例,则将图像位置信息“1-P1”与比例尺F1-P1的对应关系直接保存至比例尺数据库。可以理解的是,比例尺数据库中保存的图像位置信息对应的比例尺均可信,即能够准确表示行人像素身高与真实身高的比例。
假设行人C也进入监控设备1的监控区域并被监控设备1抓拍,在抓拍的视频图像中也处于网格位置P1处,则行人C共享比例尺F1-P1,结合图2的原理可以确定出行人C在网格位置P1处的像素身高hC1,则可以计算出行人C的身高HC=hC1/F1-P1。
根据人脸聚档,如果一个行人的身高已经确定,则该行人的行人标识对应的所有视频图像中该行人的真实身高均相同。基于此,在图9中,假设根据行人C的运动轨迹确定出行人C在监控设备2抓拍的视频图像中出现,且处于该视频图像的网格位置P2处,可以记行人C在该视频图像中的图像位置信息为“2-P2”。同样的,结合图2的原理可以确定出行人C在网格位置P2处的像素身高hC2,行人C的身高HC已在网格位置P1处时计算出,则图像位置信息“2-P2”对应的比例尺F2-P2为F2-P2=hC2/HC。假设行人D进入了监控设备2的监控区域,也处于监控设备2抓拍的视频图像中的网格位置P2处,则行人D共享比例尺F2-P2,同样可以确定出行人D在网格位置P2处的像素身高hD,进而可以计算出行人D的身高HD=hD/F2-P2。
以此类推,可以继续基于行人D的运动轨迹和行人D的身高HD确定出其经过的网格位置P3的比例尺F3-P3,得到网格位置P3对应的图像位置信息“3-P3”与比例尺F3-P3的对应关系,进而基于F3-P3推导出网格位置P3处的行人E的身高HE。可以基于行人E的运动轨迹和行人E的身高HE确定出其经过的网格位置P1的比例尺,此时,由于行人E和行人A出现在了同一个网格位置,比例尺的扩散出现闭环,需要将此时根据行人E计算出的网格位置P3的比例F´1-P1与根据行人A计算出的比例尺F1-P1进行比较,若F´1-P1与F1-P1之间的差值小于第一设定阈值,表示从行人A到行人E的运动轨迹传递过程中涉及的所有网格位置的比例尺均可信,即认为准确,则可以将该运动轨迹传递过程中涉及的所有网格位置的图像位置信息和对应的比例尺之间的对应关系保存至比例尺数据库,在图9中即是将图像位置信息“2-P2”与比例尺F2-P2的对应关系、以及图像位置信息“3-P3”与比例尺F3-P3的对应关系也保存至比例尺数据库。
若F´1-P1与F1-P1之间的差值大于或等于第一设定阈值,表示运动轨迹传递过程中行人身高的计算和比例尺的计算出现了偏差,从行人A到行人E的运动轨迹传递过程中涉及的所有网格位置的比例尺不准确,舍弃此次过程中扩散出的比例尺。之后,示例性的,可以从同处于网格位置P1处的其他行人中重新选择一个行人,比如选择行人G,进行类同的运动轨迹传递和比例尺扩散,或者从行人A到行人E的运动轨迹传递过程中涉及的任一网格位置处重新选择一个行人进行类同的运动轨迹传递和比例尺扩散,比如在网格位置P2处选择行人K而非行人D。如此循环,直至运动轨迹传递过程中遇到一个网格位置与网格位置P1相同、且新计算出的比例尺与通过A计算出的比例尺的差值小于第一设定阈值。
这样,通过多路径交叉验证,可以保证扩散出的比例尺的准确性,使得保存至比例尺数据库中的图像位置信息与比例尺的对应关系具有较高的置信度,进而保证了行人身高确定的准确性。
示例性的,可以设置运动轨迹传递过程中网格位置传递的次数阈值,若传递的次数大于该次数阈值时仍未遇到一个与网格位置P1相同的网格,则可以结束此次传递并舍弃本次传递链条中计算的比例尺。
在监控系统中,同一个行人可能被多个监控设备抓拍,也可能在一个监控设备的监控区域内的多个不同位置被该监控设备抓拍,图9是以监控设备间的运动轨迹传递为例进行说明,可以理解的是,在运动轨迹传递过程中,比例尺也可以在同一个监控设备下进行扩散,比如,在图9中,监控设备2抓拍到行人D还运动到了网格位置P4,则同样可以根据行人D的身高HD确定出监控设备2对应的网格位置P4的比例尺。
可以理解的是,图9是以单个样本行人A进行举例说明,在本发明实施例中,已知身高的样本行人可以有多个,对于每个样本行人,都可以进行与行人A相同方法的运动轨迹传递和比例尺扩散。
可以理解的是,图9是以已知身高的样本行人为起点进行运动轨迹传递和比例尺扩散的举例说明的,在本发明实施例中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,可以使用比例尺数据库中保存的任一图像位置信息与比例尺的对应关系,确定在该图像位置信息所表征的位置被抓拍的行人的身高,进而可以根据该行人的运动轨迹,采用如图9所示的原理,进行与行人A相同方法的运动轨迹传递和比例尺扩散。
例如,可以使用比例尺数据库中保存的任一图像位置信息与比例尺的对应关系,查询出包含该图像位置信息的所有特征数据,将这些特征数据基于特征数据中的行人标识进行分组。同一行人标识对应的特征数据,是该行人标识代表的行人在该图像位置信息所表征的位置被抓拍后,对抓拍的视频图像进行如图2和图4所述原理的分析后得到的。对于同一个行人标识对应的特征数据,使用该图像位置信息对应的比例尺及该特征数据中的像素身高,可以计算出该行人标识对应的每个特征数据对应的行人的身高。若该行人标识的特征数据仅有一个,其对应的身高即为该行人的身高,若该行人标识对应的特征数据为至少两个,可以计算这些特征数据对应身高的平均值,得到该行人的身高。得到该行人的身高后,可以根据该行人的运动轨迹,采用如图9所示的原理进行运动轨迹传递和比例尺扩散。
这样,通过如图9所示的原理进行运动轨迹传递和比例尺扩散,会确定出更多的图像位置信息与比例尺的对应关系添加到比例尺数据库,这些对应关系又可作为新的传递开始,扩散出更多的图像位置信息与比例尺的对应关系,如此不断地迭代执行,可以确定出监控系统中行人经过的所有网格位置的图像位置信息与比例尺的对应关系,最终的比例尺数据库中可以保存整个监控系统中每个监控设备的所有网格位置的图像位置信息与比例尺的对应关系,对于每个监控设备而言,只要该监控设备抓拍到新的行人,即可从抓拍的视频图像中确定该行人的图像位置信息和像素身高,结合比例尺数据库中该图像位置信息对应的比例尺便可计算出该行人的身高。
本发明实施例提供的行人身高确定方法,只需知道一个监控设备抓拍的一张视频图像中行人的身高,即可通过该行人的运动轨迹传递,得到该行人在该监控设备的其他位置或在其他监控设备的某个位置的身高与像素身高的比例尺。在一个监控系统中,采集到的行人运动轨迹众多,通过不同行人的运动轨迹的串联传递,可以利用一个确定的比例尺迅速扩散出整个监控系统中各个监控设备对应的网格位置的比例尺,进而可利用该比例尺确定出行人的身高,行人身高的测量充分利用了监控系统中的各监控设备,无需借助其他物联网感知设备。而且,仅需极少的样本行人在少量的监控设备下行走,即可扩散出整个监控系统中各监控设备的网格位置的比例尺,在具有大量监控设备的监控系统,特别是具有大量单目监控设备的监控系统中,发挥着明显的优势。
在监控系统中,监控设备的监控角度可能会发生变化,比如手动调整或远程调整监控设备的监控角度等,此时会导致调整前确定出的该监控设备的所有网格位置的比例尺不再适用。在这种情况下,可以从比例尺数据库中删除该监控设备下的图像位置信息与比例尺的对应关系。在监控设备调整之后,该监控设备会抓拍到新的视频图像,基于如图9所示的原理,通过行人的运动轨迹传递,又可以重新扩散出该监控设备下的图像位置信息与比例尺的对应关系,实现监控设备调整后比例尺数据库的自动修正。在监控设备的监控角度发生变化的情况下,不需要对监控设备进行人工干预和各项设备参数的重新测量,也不需要重新标注样本行人来对该监控设备进行重新标定,运维简单,适应性较强。
具体的,基于上述各实施例的行人身高确定方法,在一种示例实施例中,该行人身高确定方法还可以包括:在检测到采集待分析视频图像的监控设备的监控角度发生变化的情况下,从比例尺数据库中删除监控设备对应的图像位置信息及比例尺。其中,采集待分析视频图像的监控设备可以是监控系统中的任意一个或多个监控设备。
示例性的,可以通过将已知身高的行人被监控设备抓拍后的视频图像计算出的身高与该行人的已知身高进行比较,来判断监控设备的监控角度是否发生变化。具体的,可以包括:在已知身高行人库中存在目标行人的行人标识的情况下,确定基于像素身高和目标比例尺确定出的目标行人的目标身高与已知身高行人库中目标行人对应的身高的第二差值;在该第二差值大于第二设定阈值的情况下,确定监控设备的监控角度发生变化。
其中,已知身高行人库用于保存已知身高行人的行人标识与身高的对应关系。该已知身高行人可以包括已知身高的样本行人和/或采用本发明实施例提供的行人身高确定方法确定出身高的行人。
下面对本发明提供的行人身高确定装置进行描述,下文描述的行人身高确定装置与上文描述的行人身高确定方法可相互对应参照。
图10示例性示出了本发明实施例提供的行人身高确定装置的结构示意图,参照图10所示,行人身高确定装置1000可以包括:信息获取模块1010,用于获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高;第一确定模块1020,用于从比例尺数据库中确定目标图像位置信息对应的目标比例尺;第二确定模块1030,用于基于目标像素身高和目标比例尺确定目标行人的目标身高。其中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例。
在一种示例实施例中,信息获取模块1010可以包括:网格化单元,用于对待分析视频图像进行网格化,得到网格化图像;第一确定单元,用于确定目标行人的立足点在网格化图像中所处网格的网格位置信息;第二确定单元,用于获取待分析视频图像对应的监控设备标识,将监控设备标识和网格位置信息确定为目标图像位置信息。
在一种示例实施例中,行人身高确定装置1000还可以包括:第三确定模块,用于获取第一监控设备采集的样本行人的样本视频图像,并基于样本视频图像确定样本行人的至少一条第一特征数据,第一特征数据包括样本行人的第一图像位置信息和第一像素身高;第四确定模块,用于针对每条第一特征数据,根据样本行人的真实身高和第一特征数据中的第一像素身高,确定第一特征数据中的第一图像位置信息对应的第一比例尺,并将第一图像位置信息与第一比例尺的对应关系保存至比例尺数据库。
在一种示例实施例中,行人身高确定装置1000还可以包括第五确定模块,第五确定模块用于:
从未知身高行人的特征数据中获取包含第二图像位置信息的至少一个第二特征数据;其中,未知身高行人的特征数据基于第二监控设备采集的未知身高行人的视频图像确定;第二图像位置信息为比例尺数据库中的图像位置信息;
针对至少一个第二特征数据中的同一个行人标识,基于至少一个第二特征数据中行人标识对应的第二像素身高和第二图像位置信息对应的比例尺,确定行人标识对应的目标未知身高行人的身高;
基于目标未知身高行人的运动轨迹确定第三图像位置信息,获取第三图像位置信息对应的目标未知身高行人的第三像素身高,并基于第三像素身高和目标未知身高行人的身高确定第三图像位置信息对应的第二比例尺;
将第三图像位置信息和第三图像位置信息对应的第二比例尺保存至比例尺数据库。
在一种示例实施例中,第五确定模块具体用于:在第三图像位置信息与第二图像位置信息不同的情况下,将第三图像位置信息作为新的第二图像位置信息,直至第三图像位置信息与第二图像位置信息相同;在最终得到的第三图像位置信息对应的第二比例尺与第二图像位置信息对应的比例尺之间的第一差值小于第一设定阈值的情况下,将所有第三图像位置信息和对应的第二比例尺之间的对应关系保存至比例尺数据库。
在一种示例实施例中,行人身高确定装置1000还可以包括:轨迹获取模块,用于获取至少两个监控设备在预设时间段内采集的历史视频图像中的历史行人的运动轨迹数据;生成模块,用于基于运动轨迹数据生成至少两个监控设备之间的连通图;第六确定模块,用于根据连通图确定至少两个监控设备中每个监控设备的关联监控设备的数量;第七确定模块,用于将每个监控设备按照数量从大到小进行排序,将排序结果中的前预设数量个监控设备确定为第一监控设备。
在一种示例实施例中,行人身高确定装置1000还可以包括:删除模块,用于在检测到采集待分析视频图像的监控设备的监控角度发生变化的情况下,从比例尺数据库中删除监控设备对应的图像位置信息及比例尺。
在一种示例实施例中,行人身高确定装置1000还可以包括第八确定模块,第八确定模块可以用于:在已知身高行人库中存在目标行人的行人标识的情况下,确定目标行人的目标身高与已知身高行人库中目标行人对应的身高的第二差值;在第二差值大于第二设定阈值的情况下,确定监控设备的监控角度发生变化。
图11示例了一种电子设备的结构示意图,如图11所示,该电子设备可以包括:处理器(processor)1110、通信接口(Communication Interface)1120、存储器(memory)1130和通信总线1140,其中,处理器1110、通信接口1120和存储器1130可以通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令,以执行上述任一方法实施例提供的行人身高确定方法,该方法比如可以包括:获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高;从比例尺数据库中确定目标图像位置信息对应的目标比例尺;基于目标像素身高和目标比例尺确定目标行人的目标身高;其中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例。
示例性的,该电子设备可以是监控系统中的一个监控设备,也可以是与监控系统中各监控设备通信连接的服务器或终端设备。其中的监控系统中包括至少一个监控设备。
此外,上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序可存储在计算机可读存储介质上,计算机程序被处理器执行时,计算机能够执行上述各方法实施例所提供的行人身高确定方法,该方法比如可以包括:获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高;从比例尺数据库中确定目标图像位置信息对应的目标比例尺;基于目标像素身高和目标比例尺确定目标行人的目标身高;其中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例。
又一方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法实施例所提供的行人身高确定方法,该方法比如可以包括:获取待分析视频图像中目标行人的目标图像位置信息和目标行人的目标像素身高;从比例尺数据库中确定目标图像位置信息对应的目标比例尺;基于目标像素身高和目标比例尺确定目标行人的目标身高;其中,比例尺数据库用于保存图像位置信息与比例尺的对应关系,比例尺用于表征行人的像素身高与真实身高的比例。
示例性的,计算机可读存储介质可以包括非暂态计算机可读存储介质。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种行人身高确定方法,其特征在于,包括:
获取待分析视频图像中目标行人的目标图像位置信息和所述目标行人的目标像素身高;
从比例尺数据库中确定所述目标图像位置信息对应的目标比例尺;所述比例尺数据库用于保存图像位置信息与比例尺的对应关系,所述比例尺用于表征行人的像素身高与真实身高的比例;
基于所述目标像素身高和所述目标比例尺确定所述目标行人的目标身高;
所述方法还包括:
获取第一监控设备采集的样本行人的样本视频图像,并基于所述样本视频图像确定所述样本行人的至少一条第一特征数据,所述第一特征数据包括所述样本行人的第一图像位置信息和第一像素身高;
针对每条所述第一特征数据,根据所述样本行人的真实身高和所述第一特征数据中的所述第一像素身高,确定所述第一特征数据中的所述第一图像位置信息对应的第一比例尺,并将所述第一图像位置信息与所述第一比例尺的对应关系保存至所述比例尺数据库;
从未知身高行人的特征数据中获取包含第二图像位置信息的至少一个第二特征数据;所述未知身高行人的特征数据基于第二监控设备采集的所述未知身高行人的视频图像确定,所述第二监控设备包括所述第一监控设备;所述第二图像位置信息为所述比例尺数据库中的图像位置信息;
针对所述至少一个第二特征数据中的同一个行人标识,基于所述至少一个第二特征数据中所述行人标识对应的第二像素身高和所述第二图像位置信息对应的比例尺,确定所述行人标识对应的目标未知身高行人的身高;
基于所述目标未知身高行人的运动轨迹确定第三图像位置信息,获取所述第三图像位置信息对应的所述目标未知身高行人的第三像素身高,并基于所述第三像素身高和所述目标未知身高行人的身高确定所述第三图像位置信息对应的第二比例尺;
将所述第三图像位置信息和所述第三图像位置信息对应的第二比例尺保存至所述比例尺数据库。
2.根据权利要求1所述的行人身高确定方法,其特征在于,所述获取待分析视频图像中目标行人的目标图像位置信息包括:
对所述待分析视频图像进行网格化,得到网格化图像;
确定所述目标行人的立足点在所述网格化图像中所处网格的网格位置信息;
获取所述待分析视频图像对应的监控设备标识,将所述监控设备标识和所述网格位置信息确定为所述目标图像位置信息。
3.根据权利要求1所述的行人身高确定方法,其特征在于,所述将所述第三图像位置信息和所述第三图像位置信息对应的第二比例尺保存至所述比例尺数据库,包括:
在所述第三图像位置信息与所述第二图像位置信息不同的情况下,将所述第三图像位置信息作为新的第二图像位置信息,直至所述第三图像位置信息与所述第二图像位置信息相同;
在最终得到的所述第三图像位置信息对应的第二比例尺与所述第二图像位置信息对应的比例尺之间的第一差值小于第一设定阈值的情况下,将所有所述第三图像位置信息和对应的第二比例尺之间的对应关系保存至所述比例尺数据库。
4.根据权利要求1所述的行人身高确定方法,其特征在于,还包括:
获取至少两个监控设备在预设时间段内采集的历史视频图像中的历史行人的运动轨迹数据;
基于所述运动轨迹数据生成所述至少两个监控设备之间的连通图;
根据所述连通图确定所述至少两个监控设备中每个监控设备的关联监控设备的数量;
将所述每个监控设备按照所述数量从大到小进行排序,将排序结果中的前预设数量个监控设备确定为所述第一监控设备。
5.根据权利要求1或2所述的行人身高确定方法,其特征在于,还包括:
在检测到采集所述待分析视频图像的监控设备的监控角度发生变化的情况下,从所述比例尺数据库中删除所述监控设备对应的图像位置信息及比例尺。
6.根据权利要求5所述的行人身高确定方法,其特征在于,还包括:
在已知身高行人库中存在所述目标行人的行人标识的情况下,确定所述目标行人的目标身高与所述已知身高行人库中所述目标行人对应的身高的第二差值;
在所述第二差值大于第二设定阈值的情况下,确定所述监控设备的监控角度发生变化。
7.一种行人身高确定装置,其特征在于,包括:
信息获取模块,用于获取待分析视频图像中目标行人的目标图像位置信息和所述目标行人的目标像素身高;
第一确定模块,用于从比例尺数据库中确定所述目标图像位置信息对应的目标比例尺;所述比例尺数据库用于保存图像位置信息与比例尺的对应关系,所述比例尺用于表征行人的像素身高与真实身高的比例;
第二确定模块,用于基于所述目标像素身高和所述目标比例尺确定所述目标行人的目标身高;
所述行人身高确定装置还包括:
第三确定模块,用于获取第一监控设备采集的样本行人的样本视频图像,并基于所述样本视频图像确定所述样本行人的至少一条第一特征数据,所述第一特征数据包括所述样本行人的第一图像位置信息和第一像素身高;
第四确定模块,用于针对每条所述第一特征数据,根据所述样本行人的真实身高和所述第一特征数据中的所述第一像素身高,确定所述第一特征数据中的所述第一图像位置信息对应的第一比例尺,并将所述第一图像位置信息与所述第一比例尺的对应关系保存至所述比例尺数据库;
第五确定模块,用于从未知身高行人的特征数据中获取包含第二图像位置信息的至少一个第二特征数据;针对所述至少一个第二特征数据中的同一个行人标识,基于所述至少一个第二特征数据中所述行人标识对应的第二像素身高和所述第二图像位置信息对应的比例尺,确定所述行人标识对应的目标未知身高行人的身高;基于所述目标未知身高行人的运动轨迹确定第三图像位置信息,获取所述第三图像位置信息对应的所述目标未知身高行人的第三像素身高,并基于所述第三像素身高和所述目标未知身高行人的身高确定所述第三图像位置信息对应的第二比例尺;将所述第三图像位置信息和所述第三图像位置信息对应的第二比例尺保存至所述比例尺数据库;其中,所述未知身高行人的特征数据基于第二监控设备采集的所述未知身高行人的视频图像确定,所述第二监控设备包括所述第一监控设备,所述第二图像位置信息为所述比例尺数据库中的图像位置信息。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述行人身高确定方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述行人身高确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234210.6A CN115984970B (zh) | 2023-03-13 | 2023-03-13 | 行人身高确定方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234210.6A CN115984970B (zh) | 2023-03-13 | 2023-03-13 | 行人身高确定方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115984970A CN115984970A (zh) | 2023-04-18 |
CN115984970B true CN115984970B (zh) | 2023-08-18 |
Family
ID=85976452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310234210.6A Active CN115984970B (zh) | 2023-03-13 | 2023-03-13 | 行人身高确定方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115984970B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101363722A (zh) * | 2008-09-25 | 2009-02-11 | 广州广电运通金融电子股份有限公司 | 一种身高测量方法及其测量装置 |
CN101876535A (zh) * | 2009-12-02 | 2010-11-03 | 北京中星微电子有限公司 | 一种高度测量方法、装置及监控系统 |
CN105246258A (zh) * | 2015-10-27 | 2016-01-13 | 珠海方正科技高密电子有限公司 | 一种电路板涨缩比例控制方法及系统 |
CN107798685A (zh) * | 2017-11-03 | 2018-03-13 | 北京旷视科技有限公司 | 行人身高确定方法、装置及系统 |
CN108657029A (zh) * | 2018-05-17 | 2018-10-16 | 华南理工大学 | 一种基于肢体长度预测的汽车驾驶席座椅智能调节系统及方法 |
CN109568123A (zh) * | 2018-11-02 | 2019-04-05 | 广东数相智能科技有限公司 | 一种基于yolo目标检测的穴位定位方法 |
CN109934844A (zh) * | 2019-01-28 | 2019-06-25 | 中国人民解放军战略支援部队信息工程大学 | 一种融合地理空间信息的多目标跟踪方法及系统 |
CN114879710A (zh) * | 2022-05-19 | 2022-08-09 | 伍福人工智能(河南)有限公司 | 足式机器人的轨迹跟踪方法、装置、终端设备以及介质 |
CN115546130A (zh) * | 2022-09-26 | 2022-12-30 | 智道网联科技(北京)有限公司 | 用于数字孪生的身高测量方法、装置及电子设备 |
CN115684637A (zh) * | 2022-12-30 | 2023-02-03 | 南京理工大学 | 基于路侧单目相机标定的高速公路车辆测速方法及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11155259B2 (en) * | 2018-09-13 | 2021-10-26 | Honda Motor Co., Ltd. | System and method for egocentric-vision based future vehicle localization |
-
2023
- 2023-03-13 CN CN202310234210.6A patent/CN115984970B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101363722A (zh) * | 2008-09-25 | 2009-02-11 | 广州广电运通金融电子股份有限公司 | 一种身高测量方法及其测量装置 |
CN101876535A (zh) * | 2009-12-02 | 2010-11-03 | 北京中星微电子有限公司 | 一种高度测量方法、装置及监控系统 |
CN105246258A (zh) * | 2015-10-27 | 2016-01-13 | 珠海方正科技高密电子有限公司 | 一种电路板涨缩比例控制方法及系统 |
CN107798685A (zh) * | 2017-11-03 | 2018-03-13 | 北京旷视科技有限公司 | 行人身高确定方法、装置及系统 |
CN108657029A (zh) * | 2018-05-17 | 2018-10-16 | 华南理工大学 | 一种基于肢体长度预测的汽车驾驶席座椅智能调节系统及方法 |
CN109568123A (zh) * | 2018-11-02 | 2019-04-05 | 广东数相智能科技有限公司 | 一种基于yolo目标检测的穴位定位方法 |
CN109934844A (zh) * | 2019-01-28 | 2019-06-25 | 中国人民解放军战略支援部队信息工程大学 | 一种融合地理空间信息的多目标跟踪方法及系统 |
CN114879710A (zh) * | 2022-05-19 | 2022-08-09 | 伍福人工智能(河南)有限公司 | 足式机器人的轨迹跟踪方法、装置、终端设备以及介质 |
CN115546130A (zh) * | 2022-09-26 | 2022-12-30 | 智道网联科技(北京)有限公司 | 用于数字孪生的身高测量方法、装置及电子设备 |
CN115684637A (zh) * | 2022-12-30 | 2023-02-03 | 南京理工大学 | 基于路侧单目相机标定的高速公路车辆测速方法及设备 |
Non-Patent Citations (1)
Title |
---|
《基于图像的人体尺寸测量方法研究》;贾俊瑛;<中国优秀硕士学位论文全文数据库 信息科技辑>;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115984970A (zh) | 2023-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109190508B (zh) | 一种基于空间坐标系的多摄像头数据融合方法 | |
US11636610B2 (en) | Determining multiple camera positions from multiple videos | |
Tang et al. | Cross-camera knowledge transfer for multiview people counting | |
Nyaruhuma et al. | Verification of 2D building outlines using oblique airborne images | |
US11651581B2 (en) | System and method for correspondence map determination | |
JP5937823B2 (ja) | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム | |
CN103096117B (zh) | 视频噪声检测方法及装置 | |
KR101469099B1 (ko) | 사람 객체 추적을 통한 자동 카메라 보정 방법 | |
CN110717593B (zh) | 神经网络训练、移动信息测量、关键帧检测的方法及装置 | |
CN111899279A (zh) | 一种目标对象的运动速度检测方法及装置 | |
CN111652314A (zh) | 温度检测方法、装置、计算机设备和存储介质 | |
CN110910449A (zh) | 识别物体三维位置的方法和系统 | |
CN115018920A (zh) | 一种相机阵列标定方法、装置、电子设备及存储介质 | |
CN115984970B (zh) | 行人身高确定方法、装置、电子设备和存储介质 | |
KR102099816B1 (ko) | 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치 | |
JP2009301242A (ja) | 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体 | |
JP6893812B2 (ja) | 物体検出装置 | |
US20220309792A1 (en) | Method for determining images plausible to have a false negative object detection | |
KR20220082433A (ko) | 크라우드소싱 환경에서 객체 정보 분석 방법 및 장치 | |
CN112784703A (zh) | 一种基于多光谱的人员行动轨迹确定方法 | |
CN107516124B (zh) | 实时人流数量计数方法与系统 | |
CN111586299B (zh) | 一种图像处理方法和相关设备 | |
KR102589150B1 (ko) | 누적 차영상을 이용한 원거리 객체 검지 시스템 | |
JP5846596B2 (ja) | 監視装置及びプログラム | |
KR101652116B1 (ko) | 피사체 영역 및 움직임 검출 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |