CN112287869A - 一种图像数据检测方法及装置 - Google Patents
一种图像数据检测方法及装置 Download PDFInfo
- Publication number
- CN112287869A CN112287869A CN202011245900.4A CN202011245900A CN112287869A CN 112287869 A CN112287869 A CN 112287869A CN 202011245900 A CN202011245900 A CN 202011245900A CN 112287869 A CN112287869 A CN 112287869A
- Authority
- CN
- China
- Prior art keywords
- key point
- human body
- dimensional
- point coordinates
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000006243 chemical reaction Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 40
- 210000000746 body region Anatomy 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及数据处理技术领域,尤其涉及一种图像数据检测方法及装置,分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像,获得各人体区域图像,分别针对所述各视频帧,对所述人体区域图像进行人体关键点检测,获得所述人体区域图像的人体关键点信息,并通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,并根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,这样,能够提高对图像中所包含的数据检测的准确率和效率。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种图像数据检测方法及装置。
背景技术
目前,数据检测技术可以应用到许多场景中,例如,对身高进行测量、对距离进行测量等,现有技术中,在进行数据检测时,通常是先发出测量信号,然后接收反射回去的检测信号进而实现数据检测的,但是,当被测对象受到外部遮挡的影响时,检测信号会在外部遮挡处提前反射回去,这样,会产生检测误差,因此,通过现有技术中的方法获得的检测数据并不准确。
发明内容
本申请实施例提供一种图像数据检测方法及装置,以提高对图像中的数据检测的准确度。
本申请实施例提供的具体技术方案如下:
一种图像数据检测方法,包括:
分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像;
分别针对所述各视频帧,对所述人体区域图像进行人体关键点检测,获得所述人体区域图像的人体关键点信息,并通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标;
根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理。
可选的,对所述人体区域图像进行人体关键点检测之前,进一步包括:
基于已训练的图像质量检测模型,以所述人体区域图像为输入参数,确定所述人体区域图像的图像质量分值,其中,所述图像质量检测模型为根据人体区域图像样本集通过迭代训练获得的,所述人体区域图像样本集中包含各人体区域图像样本;
确定所述人体区域图像的图像质量分值大于等于预设分数阈值。
可选的,对所述人体区域图像进行人体关键点检测之前,进一步包括:
确定所述人体区域图像的图像宽度值,并确定所述人体区域图像的图像高度值;
确定所述图像宽度值大于等于预设宽度阈值,且所述图像高度值大于等于预设高度阈值。
可选的,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,具体包括:
计算所述人体关键点信息中的二维头部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维头部关键点坐标;
计算所述人体关键点信息中的二维脚部关键点坐标与所述坐标转换矩阵之间的比值,获得所述世界坐标系中的三维脚部关键点坐标。
可选的,根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,具体包括:
分别根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,确定所述各视频帧中人体的身高值;
去除确定出的各身高值中的极值,并计算去除极值后的各身高值的平均值;
将计算出的平均值作为所述待检测视频中的人体的真实身高值。
可选的,根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,具体包括:
分别根据所述各视频帧,根据各人体对应的三维头部关键点坐标和三维脚部关键点坐标,确定任意一个人体与其它人体之间的头部关键点之间的距离和脚部关键点之间的距离,并基于所述头部关键点之间的距离、所述脚部关键点之间的距离和对应的权重,确定所述任意一个人体与其它人体之间的安全距离;
若确定预设数个视频帧中所述任意一个人体的安全距离均小于预设安全距离阈值,则生成告警信息,并将所述告警信息发送给告警设备,以使所述告警设备根据所述告警信息进行告警。
可选的,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标之前,进一步包括:
获取预设数个待检测视频样本的关键帧样本,并获取所述各关键帧样本的二维头部关键点坐标样本和二维脚部关键点坐标样本;
获取与所述二维头部关键点坐标样本对应的三维头部关键点坐标样本,并获取与所述三维脚部关键点坐标样本对应的三维脚部关键点样本;
将所述预设数个二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本进行曲线拟合,获得摄像机的夹角信息、高度信息和焦距信息,其中,所述夹角信息表征所述摄像机的朝向与所述摄像机所在的平面的横轴之间的夹角;
根据所述夹角信息、所述高度信息和所述焦距信息,确定坐标转换矩阵。
可选的,获取预设数个待检测视频样本的关键帧样本,具体包括:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像与预设的第一标定线之间的距离最小的视频帧样本,作为所述任意一个待检测视频样本的关键帧样本。
可选的,获取预设数个待检测视频样本的关键帧样本,具体包括:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像位于预设的第二标定线与第三标定之间的视频帧样本,作为所述任意一个待检测视频样本的关键帧样本。
一种图像数据检测装置,包括:
检测模块,用于分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像;
第一处理模块,用于分别针对所述各视频帧,对所述人体区域图像进行人体关键点检测,获得所述人体区域图像的人体关键点信息,并通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标;
第二处理模块,用于根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理。
可选的,对所述人体区域图像进行人体关键点检测之前,检测模块进一步用于:
基于已训练的图像质量检测模型,以所述人体区域图像为输入参数,确定所述人体区域图像的图像质量分值,其中,所述图像质量检测模型为根据人体区域图像样本集通过迭代训练获得的,所述人体区域图像样本集中包含各人体区域图像样本;
确定所述人体区域图像的图像质量分值大于等于预设分数阈值。
可选的,对所述人体区域图像进行人体关键点检测之前,检测模块进一步用于:
确定所述人体区域图像的图像宽度值,并确定所述人体区域图像的图像高度值;
确定所述图像宽度值大于等于预设宽度阈值,且所述图像高度值大于等于预设高度阈值。
可选的,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标时,第一处理模块具体用于:
计算所述人体关键点信息中的二维头部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维头部关键点坐标;
计算所述人体关键点信息中的二维脚部关键点坐标与所述坐标转换矩阵之间的比值,获得所述世界坐标系中的三维脚部关键点坐标。
可选的,第二处理模块具体用于:
分别根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,确定所述各视频帧中人体的身高值;
去除确定出的各身高值中的极值,并计算去除极值后的各身高值的平均值;
将计算出的平均值作为所述待检测视频中的人体的真实身高值。
可选的,第二处理模块具体用于:
分别根据所述各视频帧,根据各人体对应的三维头部关键点坐标和三维脚部关键点坐标,确定任意一个人体与其它人体之间的头部关键点之间的距离和脚部关键点之间的距离,并基于所述头部关键点之间的距离、所述脚部关键点之间的距离和对应的权重,确定所述任意一个人体与其它人体之间的安全距离;
若确定预设数个视频帧中所述任意一个人体的安全距离均小于预设安全距离阈值,则生成告警信息,并将所述告警信息发送给告警设备,以使所述告警设备根据所述告警信息进行告警。
可选的,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标之前,第一处理模块进一步用于:
获取预设数个待检测视频样本的关键帧样本,并获取所述各关键帧样本的二维头部关键点坐标样本和二维脚部关键点坐标样本;
获取与所述二维头部关键点坐标样本对应的三维头部关键点坐标样本,并获取与所述三维脚部关键点坐标样本对应的三维脚部关键点样本;
将所述预设数个二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本进行曲线拟合,获得摄像机的夹角信息、高度信息和焦距信息,其中,所述夹角信息表征所述摄像机的朝向与所述摄像机所在的平面的横轴之间的夹角;
根据所述夹角信息、所述高度信息和所述焦距信息,确定坐标转换矩阵。
可选的,获取预设数个待检测视频样本的关键帧样本时,第一处理模块具体用于:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像与预设的第一标定线之间的距离最小的视频帧样本,作为所述任意一个待检测视频样本的关键帧样本。
可选的,获取预设数个待检测视频样本的关键帧样本时,第一处理模块具体用于:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像位于预设的第二标定线与第三标定之间的视频帧样本,作为所述任意一个待检测视频样本的关键帧样本。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述图像数据检测方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像数据检测方法的步骤。
本申请实施例中,分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像,对人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,然后,根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,这样,将人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,并根据三维头部关键点坐标和三维脚部关键点坐标进行相应的图像数据检测处理,能够提高图像数据检测的准确度,并且,相比于现有技术中通过测量信号对数据进行检测来说,能够提高对图像中数据检测的效率。
附图说明
图1为本申请实施例中一种图像数据检测方法的流程图;
图2为本申请实施例中人体检测的示意图;
图3为本申请实施例中第一标定线应用示意图;
图4为本申请实施例中第二标定线和第三标定线的应用示意图;
图5为本申请实施例中世界坐标系的示意图;
图6为本申请实施例中获取摄像机属性信息的示意图;
图7为本申请实施例中身高数据检测方法的流程图;
图8为本申请实施例中坐标转换的示意图;
图9为本申请实施例中社交距离数据检测方法的流程图;
图10为本申请实施例中图像数据检测装置的结构示意图;
图11为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,数据检测技术可以应用到许多场景中,例如,可以对身高进行检测、对距离进行检测等,现有技术中,在进行数据检测时,通常是由信号接收器发出检测信号,检测信号触碰到被测对象之后,会发生发射,然后信号接收器接收反射回去的检测信号,来实现数据检测的,但是,当被测对象受到外部遮挡的影响时,检测信号会在触碰到外部遮挡处时提前反射回去,这样,就会引起检测误差,因此,通过现有技术中的方法获得的检测数据并不准确。
为了解决上述问题,本申请实施例中提供了一种图像数据检测方法,分别对待检测的各视频帧进行人体检测,获得各人体区域图像,并分别针对各视频帧,对人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息,并通过预设的坐标转换方式将人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,这样,通过对人体的人体关键点检测,将人体关键点信息的二维头部关键点坐标和二维脚部关键点坐标转换为三维头部关键点和三维脚部关键点坐标,并基于人体关键点信息的三维头部关键点坐标和三维脚部关键点坐标进行图像数据检测,这样,能够提高图像数据检测的准确度和效率。
基于上述实施例,参阅图1所示,为本申请实施例中一种图像数据检测方法的流程图,具体包括:
步骤100:分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像。
本申请实施例中,由于待检测视频是由多个连续的视频帧组成的,因此,在获取摄像机传输的待检测视频之后,分别对待检测视频的各视频帧进行人体检测,并获得包含有人体的人体区域图像。
下面对本申请实施例中获得各人体区域图像的步骤进行详细阐述,具体包括:
S1:接收摄像机传输的待检测视频,并分别对待检测视频的各视频帧进行人体检测。
本申请实施例中,由于待检测视频是由多个连续的视频帧组成的,因此,在接收到摄像机传输的待检测视频之后,从待检测视频的第1个视频帧开始,分别对各视频帧依次进行人体检测,判断各视频帧中是否包含有人体。
S2:若确定在待检测视频中检测到人体,则确定包含人体的视频帧,并确定包含有人体的人体区域图像在视频帧上的位置信息。
本申请实施例中,若确定在待检测视频帧的某一个视频帧中检测到人体,则确定包含人体的视频帧,对该视频帧进行标记,根据标记可知在该视频帧中检测到人体,并通过边界矩形框标注出人体在视频帧中的位置,获得人体区域图像,并确定人体区域图像在视频帧上的位置信息。
例如,假设待检测视频由2000个视频帧组成,则从第1个视频帧开始,分别对各视频帧进行人体检测,若确定在第9个视频帧中检测到人体,则确定包含人体的视频帧,并对第9个视频帧进行标记,标记在该视频帧中检测到人体,并通过边界矩形框标注出人体在该第9个视频帧中的位置,获得人体区域图像,并确定人体区域图像在视频帧上的位置信息,参阅图2所示,为本申请实施例中人体检测的示意图。
需要说明的是,本申请实施例中检测到的人体可以为一个人体,也可以为多个人体。
S3:在待检测视频的各视频帧中,根据位置信息对人体进行追踪,并确定人体在追踪到的视频帧上对应的人体区域图像。
本申请实施例中,在获得人体的人体区域图像在视频帧上的位置信息之后,在待检测视频的各视频帧中,根据确定出人体的人体区域图像在视频帧上的位置信息,对各视频帧中的人体进行人体追踪,并确定人体在追踪到的视频帧上对应的人体区域图像。
例如,假设在第2个视频帧检测到人体,并获得人体的人体区域图像在视频帧上的位置信息,则从第3个视频帧开始,对第3个视频帧以及之后的各视频帧中的人体进行人体追踪,确定人体在追踪到的视频帧上对应的人体区域图像。
步骤110:分别针对各视频帧,对人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息,并通过预设的坐标转换方式将人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标。
具体地,分别针对每一个包含有人体的视频帧,对视频帧中的人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息,然后,读取预设的坐标转换方式,并通过预设的坐标转换方式,将人体关键点信息中的头部关键点的二维头部关键点坐标和脚部关键点的二维脚部关键点坐标转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标。
本申请实施例中,预设的坐标转换方式例如可以为坐标转换矩阵,下面对本申请实施例中坐标转换矩阵的获得方式进行详细阐述,具体包括:
S1:获取预设数个待检测视频样本的关键帧样本,并获取各关键帧样本的二维头部关键点坐标样本和二维脚部关键点坐标样本。
本申请实施例中,采集预设数个待检测视频样本,并分别从每一个待检测视频样本的关键帧中,获取关键帧样本中的二维头部关键点坐标样本和二维脚部关键点坐标样本。
下面对本申请实施例中获取预设数个待检测视频样本的关键帧样本的步骤进行详细阐述,具体可以分为以下两种不同的方式,但并不仅限于以下两种方式。
第一种方式,具体包括:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像与预设的第一标定线之间的距离最小的视频帧样本,作为任意一个待检测视频样本的关键帧样本。
本申请实施例中,分别针对预设数个待检测视频样本,对每一个待检测视频样本均执行下述操作:
对待检测视频样本进行解帧,获得待检测视频样本的各视频帧样本,并分别对各视频帧进行人体检测,获得人体区域图像样本,然后,分别计算各人体区域图像样本到预先设置的第一标定线之间的距离,获得各个距离,并将距离最小的视频帧样本,作为待检测视频样本的关键帧样本。
进而就能够获得各待检测视频样本对应的关键帧样本。
需要说明的是,本申请实施例中的第一标定线是固定的,第一标定线在每一个待检测视频样本中的位置都是相同的,参阅图3所示,为本申请实施例中第一标定线应用示意图。
第二种方式,具体包括:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像位于预设的第二标定线与第三标定之间的视频帧样本,作为任意一个待检测视频样本的关键帧样本。
本申请实施例中,分别针对预设数个待检测视频样本,对每一个待检测视频样本均执行下述操作:
对待检测视频样本进行解帧,获得待检测视频样本的各视频帧样本,并分别对各视频帧进行人体检测,获得人体区域图像样本,然后,分别判断各视频帧中的人体区域图像样本是否为于第二标定线和第三标定线的中间,若确定人体区域图像样本位于第二标定线和第三标定线的中间,则确定该视频帧为待检测视频的关键帧,本申请实施例中设定标定线的目的是使得被测的人体都位于同一条水平线上或同一个区域内。
其中,第二标定线和第三标定线为预先设置的,并且,每一个待检测视频样本的各视频帧样本中的第二标定线和第三标定线的位置都是相同的,参阅图 4所示,为本申请实施例中第二标定线和第三标定线的应用示意图。
需要说明的是,本申请实施例中,关键帧可以为一个,也可以为多个。
S2:获取与二维头部关键点坐标样本对应的三维头部关键点坐标样本,并获取与三维脚部关键点坐标样本对应的三维脚部关键点样本。
本申请实施例中,在对摄像机进行标定时,需要采集预设数个视频中的二维坐标和对应的在真实世界中的三维坐标,因此,需要获取二维头部关键点坐标样本对应的世界坐标系中的三维头部关键点坐标样本,以及二维脚部关键点坐标样本对应的世界坐标系中的三维脚部关键点坐标样本。
例如,假设二维头部关键点坐标样本为(xh,yh),二维脚部关键点坐标样本为(xh,yh),三维头部关键点坐标样本为(Xh,Yh,Zh),三维脚部关键点坐标样本为(Xf,Yf,Zf)。
需要说明的是,一组二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本为同一个人体的人体关键点信息,在进行数据采集时,采集预设数量组的样本。
例如,采集五个人在世界坐标系下的三维头部关键点坐标和三维脚部关键点坐标,以及在关键帧中的三维头部关键点坐标和三维脚部关键点坐标。
并且,本申实施例中,以摄像机所在的平面、正交于摄像机所在的平面的轴,并以摄像机的到平面的垂足为坐标原点,建立世界坐标系。
例如,假设在真实世界中,摄像机所在的平面为Y-Z平面,正交于摄像机所在的平面的轴为X轴(该方向符合右手定则),摄像机到Y-Z平面的垂足为坐标原点,建立世界坐标系,参阅图5所示,为本申请实施例中世界坐标系的示意图,其中,Y-Z平面为摄像机所在的平面,点O为坐标原点,正交于摄像机坐在的平面的轴为X轴,建立世界坐标系。
S3:将预设数个二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本进行曲线拟合,获得摄像机的夹角信息、高度信息和焦距信息。
其中,夹角信息表征摄像机的朝向与摄像机所在的平面的横轴之间的夹角。
本申请实施例中,将预设数个二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本进行曲线拟合,获得摄像机的夹角信息、高度信息和焦距信息。
具体地,首先,假设坐标转换矩阵为P,P可以表示为:
其中,f为摄像机的焦距信息,θ为摄像机的朝向与Z轴的夹角,c为摄像头所在的点到坐标原点的高度信息。
假设一个在真实世界中的三维头部关键点坐标为(X,Y,Z)的点,在坐标转换矩阵P的作用下可以转化为关键帧上的二维头部关键点坐标,具体可以通过下述公式实现:
然后,将上述公式转换到笛卡尔坐标系上表示:
上述公式为关键帧上的二维关键点坐标与真实世界中的三维关键点坐标的转换关系。
在获得二维关键点坐标和三维关键点坐标转换关系之后,采集一个人的人体的三维头部关键点坐标为(Xh,Yh,Zh),三维脚部关键点坐标为(Xf,Yf,Zf),以及对应的二维头部关键点坐标为(xh,yh,zh),二维脚部关键点坐标为 (xf,yf,zf),由于人是竖直站立的,因此,Yf,可以近似认为Zh和Zf是相等的,则yh可以表示为:
最后,将三维头部关键点坐标为(Xh,Yh,Zh),三维脚部关键点坐标为 (Xf,Yf,Zf),以及对应的二维头部关键点坐标为(xh,yh,zh)和二维脚部关键点坐标(xf,yf,zf)代入上述公式,由于真实数据有噪声,通过一些在真实世界中的关键点坐标,通过曲线拟合的方法估计参数θ、c、f,具体可以表示为:
进而就能获得摄像机的属性信息,即,夹角信息、高度信息和焦距信息,参阅图6所示,为本申请实施例中获取摄像机属性信息的示意图。
进一步地,为了提高获得摄像机的夹角信息、高度信息和焦距信息的精确度,可以获取至少1000组样本数据来计算θ、c、f。
S4:根据夹角信息、高度信息和焦距信息,确定坐标转换矩阵。
本申请实施例中,在确定出摄像机的夹角信息、高度信息和焦距信息之后,将摄像机的夹角信息、高度信息和焦距信息填入预设的矩阵中,获得坐标转换矩阵,进而就能够根据坐标转换矩阵,对图像头部关键点坐标和图像脚部关键点坐标进行坐标转换。
步骤120:根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理。
本申请实施例中,在获得各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标之后,就可以根据三维头部关键点坐标和三维脚部关键点坐标进行相应的图像数据检测处理。
进一步地,本申请实施例中,若视频帧的人体对应的图像存在遮挡或者截断时,则获取到的人体区域图像中就不能包括完整的人体,这样可能会发生误判,因此,为了提高对人体关键点检测的准确度,还需要保证人体区域图像的质量,将质量不合格的人体区域图像删除,可以通过以下两种方式过滤掉质量不合格的人体区域图像。
第一种方式,具体包括:
S1:基于已训练的图像质量检测模型,以人体区域图像为输入参数,确定人体区域图像的图像质量分值。
其中,图像质量检测模型为根据人体区域图像样本集通过迭代训练获得的,人体区域图像样本集中包含各人体区域图像样本。
本申请实施例中,获取已训练的图像质量检测模型,图像质量检测模型用于输出人体区域图像的图像质量分值,将人体区域图像输入至已训练的图像质量检测模型中,输出参数为人体区域图像的图像质量分值。
其中,图像质量分值表征图像的质量对应的分值。
S2:确定人体区域图像的图像质量分值大于等于预设分数阈值。
本申请实施例中,在通过预设的已训练的图像质量检测模型获得图像质量分值时,具体可以分为以下两种情况:
第一种情况:图像质量分值大于等于预设分数阈值。
确定人体区域图像的图像质量分值大于等于预设分数阈值,则确定该人体区域图像为质量合格的图像,能够继续进行后续的检测步骤。
例如,假设预设分数阈值为90分,人体区域图像的图像质量分值为92分,则确定图像质量分值大于预设分数阈值,确定该人体区域图像为质量合格的图像。
第二种情况:图像质量分值小于预设分数阈值。
若确定人体区域图像的图像质量分值小于预设分数阈值,则确定该图像中存在截断或遮挡,为质量不合格的图像,将该人体区域图像删除。
例如,假设预设分数阈值为90分,人体区域图像的图像质量分值为70分,则确定图像质量分值小于预设分数阈值,确定该人体区域图像为质量不合格的图像。
第二种方式,具体包括:
S1:确定人体区域图像的图像宽度值,并确定人体区域图像的图像高度值。
本申请实施例中,根据人体区域图像的上边界线、下边界线、左边界线和右边界线在视频帧中的位置信息,确定其在视频帧中的坐标,并根据确定出的各坐标,确定人体区域图像的图像宽度值和图像高度值。
S2:确定图像宽度值大于等于预设宽度阈值,且图像高度值大于等于预设高度阈值。
本申请实施例中,若确定图像宽度值大于等于预设宽度阈值,且图像高度值大于等于预设高度阈值,则确定人体区域图像为质量合格的图像,若确定图像宽度值或图像高度值小于预设阈值,则确定人体区域图像为质量不合格的图像。
本申请实施例中,分别对待检测视频包含的各图像集合中的视频图像进行人体检测,获得各人体区域图像,分别针对各视频帧,对人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息,并通过预设的坐标转换方式将人体关键点信息的二维头部关键点坐标和二维脚部关键点坐标转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,这样,通过将待检测视频中的人体关键点信息的二维头部关键点坐标和二维脚部关键点坐标转换为三维头部关键点坐标和三维脚部关键点坐标,并基于人体关键点的三维头部关键点坐标和三维脚部关键点坐标实现数据检测,能够提高数据检测的准确度。
基于上述实施例,下面以身高检测场景为例,对本申请实施例中的数据检测方法进行详细阐述,参阅图7所述,为本申请实施例中身高数据检测方法的流程图,具体包括:
步骤700:分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像。
步骤710:分别针对各视频帧,对人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息。
步骤720:分别针对各视频帧,计算人体关键点信息中的二维头部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维头部关键点坐标。
其中,坐标转换矩阵用于将人体区域图像中的关键点的坐标转换为世界坐标系中的坐标,二维头部关键点坐标表征人体的头部关键点在视频帧的平面坐标系中的坐标,三维头部关键点坐标表征在真实世界的人体的头部关键点在世界坐标系中的坐标。
本申请实施例中,读取预设的坐标转换矩阵,并将二维头部关键点坐标除以预设的坐标转换矩阵,确定头部关键点在世界坐标系中的三维头部关键点坐标。
例如,假设二维头部关键点坐标为(xh,yh),坐标转换矩阵为P,则三维头部关键点坐标可表示为:
其中,ω为不含实际意义的一个参数。
步骤730:分别针对各视频帧,计算人体关键点信息中的二维脚部关键点坐标与坐标转换矩阵之间的比值,获得世界坐标系中的三维脚部关键点坐标。
其中,二维脚部关键点坐标表征人体的脚部关键点在视频帧的平面坐标系中的坐标,三维脚部关键点坐标表征在真实世界的人体的脚部关键点在世界坐标系中的坐标。
本申请实施例中,读取预设的坐标转换矩阵,并将二维脚部关键点坐标除以预设的坐标转换矩阵,确定脚部关键点在世界坐标系中的三维脚部关键点坐标。
例如,参阅图8所示,为本申请实施例中坐标转换的示意图,假设二维脚部关键点坐标为(xf,yf),坐标转换矩阵为P,则三维脚部关键点坐标可表示为:
其中,ω为不含实际意义的一个参数。
步骤740:分别根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,确定各视频帧中人体的身高值。
本申请实施例中,根据各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,确定各视频帧中人体的身高值。
本申请实施例中,在计算人体的身高值时,可以计算人体的头部与脚部之间的距离,并将计算出的距离作为人体的身高值,因此,根据三维头部关键点坐标和三维脚部关键点坐标,确定人体的身高值。
步骤750:去除确定出的各身高值中的极值,并计算去除极值后的各身高值的平均值。
本申请实施例中,在计算出各个视频帧中人体的真实的身高值之后,可将各身高值中的最大值和最小值删除,并计算剩下的身高值的平均值。
例如,假设计算获得的身高值为1.5、1.64、1.7、1.65、1.66,则去除1.5 和1.7,并对剩下的各身高值进行平均值计算,具体为:
步骤760:将计算出的平均值作为待检测视频中的人体的真实身高值。
本申请实施例中,在计算出各视频帧的平均值之后,将计算出的平均值作为待检测视频中的人体的真实身高值。
需要说明的是,本申请实施例中的方法可应用于多种不同类型的场景中,例如,医疗中用于检测人体身高,给予医生病情参考信息,个人测量身高,用于记录生长信息等。
由于现有技术中,在对人体的身高进行测量时,可以通过测距仪进行身高检测,例如,移动杆测距仪、超声波探测仪、红外测距仪等,通过现有技术中的方法检测身高时,从测距仪的最顶部设置的发射器发射一束光或一束声波,碰到人体的头顶的最高处之后,反射回去,测距仪的顶部设置的接收器会接收反射回去的光波或声波,进而测距仪根据发射光波和接收光波的时间,计算获得人体的身高,但是,当人体的头部有外部遮挡,例如,帽子、头发等,那么测量获得的身高并不准确。
因此,本申请实施例中,分别针对各视频帧,将头部关键点的二维坐标转换为三维坐标,并将脚部关键点的二维坐标转换为三维坐标,并基于头部关键点的三维坐标和脚部关键点的三维坐标检测人体的身高值,这样,识别待检测视频中人体的人体关键点信息,进而根据人体关键点信息来检测人体的身高,能够实现对身高的无接触检测,提高身高检测的效率和准确度,并可支持多人同时进行身高测量,并且,无需设置外部设备,就能够实现对身高的检测,降低了身高检测的成本。
基于上述实施例,下面以社交距离检测场景为例,对本申请实施例中的数据检测方法进行详细阐述,参阅图9所示,为本申请实施例中社交距离数据检测方法的流程图,具体包括:
步骤900:分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像。
需要说明的是,在进行社交距离检测时,由于需要至少两个人才能够计算其之间的距离,因此,本申请实施例中对视频帧进行人体检测时,检测到至少两个人体,才会执行以下操作步骤。
步骤910:分别针对各视频帧,对人体区域图像进行人体关键点检测,获得人体区域图像的人体关键点信息。
步骤920:计算人体位置关键点的二维头部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维头部关键点坐标,并计算人体位置关键点的二维脚部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维脚部关键点坐标。
其中,人体位置关键点表征人体区域图像的下边界线的中心点。
步骤930:分别根据各视频帧,根据各人体对应的三维头部关键点坐标和三维脚部关键点坐标,确定任意一个人体与其它人体之间的头部关键点之间的距离和脚部关键点之间的距离,并基于头部关键点之间的距离、脚部关键点之间的距离和对应的权重,确定任意一个人体与其它人体之间的安全距离。
本申请实施例中,分别针对各视频帧,确定任意一个人体与其它人体之间的头部关键点之间的距离,并确定该人体与其它人体之间的脚部关键点之间的距离,然后,为头部关键点和脚部关键点分别预先设定对应的权重,进而确定出该人体与其它人体之间的安全距离。
例如,假设待检测视频的某一个视频帧中检测到3个人体,分别为A、B、 C,然后,计算人体A与人体B之间的安全距离,计算人体B与人体C之间的安全距离,并计算人体A与人体C之间的安全距离。
步骤940:若确定预设数个视频帧中任意一个人体的安全距离均小于预设安全距离阈值,则生成告警信息,并将告警信息发送给告警设备,以使告警设备根据告警信息进行告警。
本申请实施例中,针对各视频帧,分别判断计算出的各个安全距离是否小于预设安全距离阈值,若确定预设数个视频帧中安全距离均小于预设安全距离阈值,则确定人体之间的社交距离过近,则生成告警信息,并将告警信息发送给告警设备,以使告警设备按照预设告警方式进行告警。
例如,假设待检测视频中有2个人体,则计算出各视频帧中这两个人体之间的安全距离,根据计算可知,这两个人体在第3帧至第10帧之间的安全距离均大于预设的安全距离阈值,则确定这两个人体之间的社交距离过近。
本申请实施例中的社交距离检测的方法可以应用于疫情防控期间对社交距离进行监控,当社交距离小于预设距离阈值时则及时报警,就能够降低病毒传染的概率,并且,还可以应用于银行排队取钱的应用场景,当两个人之间的距离小于预设距离阈值时,则及时报警,能够让取钱的人及时获知身边是否有可疑的人靠近。
进一步地,本申请实施例中,由于人体关键点信息中包含的人体位置关键点,因此,还可以根据人体位置关键点来实现各人体之间的社交距离检测,人体位置关键点为人体区域图像的矩形框的下边界线的中心点,获得人体位置关键点的二维位置关键点坐标,并计算二维位置关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维位置关键点坐标,然后,分别根据各视频帧中各人体的三维位置关键点坐标,确定任意一个人体与其它人体之间的安全距离,并基于确定出的安全距离来实现对人体之间的社交距离的检测。
本申请实施例中,分别针对各视频帧,分别根据各视频帧,根据各人体对应的三维头部关键点坐标和三维脚部关键点坐标,确定任意一个人体与其它人体之间的头部关键点之间的距离和脚部关键点之间的距离,并基于头部关键点之间的距离、脚部关键点之间的距离和对应的权重,确定任意一个人体与其它人体之间的安全距离,若确定预设数个视频帧中安全距离小于预设安全距离阈值,则进行告警,这样,通过将人体位置关键点的二维坐标转换为三维坐标,并基于三维坐标计算安全距离,能够实现对社交距离的检测,并且准确率高,实用性强。
基于同一发明构思,本申请实施例中提供了图像数据检测装置,该图像数据检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例,参阅图10所示,为本申请实施例中图像数据检测装置的结构示意图,具体包括:
检测模块1000,用于分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像;
第一处理模块1010,用于分别针对所述各视频帧,对所述人体区域图像进行人体关键点检测,获得所述人体区域图像的人体关键点信息,并通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标;
第二处理模块1020,用于根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理。
可选的,对所述人体区域图像进行人体关键点检测之前,检测模块1000 进一步用于:
基于已训练的图像质量检测模型,以所述人体区域图像为输入参数,确定所述人体区域图像的图像质量分值,其中,所述图像质量检测模型为根据人体区域图像样本集通过迭代训练获得的,所述人体区域图像样本集中包含各人体区域图像样本;
确定所述人体区域图像的图像质量分值大于等于预设分数阈值。
可选的,对所述人体区域图像进行人体关键点检测之前,检测模块1000 进一步用于:
确定所述人体区域图像的图像宽度值,并确定所述人体区域图像的图像高度值;
确定所述图像宽度值大于等于预设宽度阈值,且所述图像高度值大于等于预设高度阈值。
可选的,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标时,第一处理模块1010具体用于:
计算所述人体关键点信息中的二维头部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维头部关键点坐标;
计算所述人体关键点信息中的二维脚部关键点坐标与所述坐标转换矩阵之间的比值,获得所述世界坐标系中的三维脚部关键点坐标。
可选的,第二处理模块1020具体用于:
分别根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,确定所述各视频帧中人体的身高值;
去除确定出的各身高值中的极值,并计算去除极值后的各身高值的平均值;
将计算出的平均值作为所述待检测视频中的人体的真实身高值。
可选的,第二处理模块1020具体用于:
分别根据所述各视频帧,根据各人体对应的三维头部关键点坐标和三维脚部关键点坐标,确定任意一个人体与其它人体之间的头部关键点之间的距离和脚部关键点之间的距离,并基于所述头部关键点之间的距离、所述脚部关键点之间的距离和对应的权重,确定所述任意一个人体与其它人体之间的安全距离;
若确定预设数个视频帧中所述任意一个人体的安全距离均小于预设安全距离阈值,则生成告警信息,并将所述告警信息发送给告警设备,以使所述告警设备根据所述告警信息进行告警。
可选的,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标之前,第一处理模块1010进一步用于:
获取预设数个待检测视频样本的关键帧样本,并获取所述各关键帧样本的二维头部关键点坐标样本和二维脚部关键点坐标样本;
获取与所述二维头部关键点坐标样本对应的三维头部关键点坐标样本,并获取与所述三维脚部关键点坐标样本对应的三维脚部关键点样本;
将所述预设数个二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本进行曲线拟合,获得摄像机的夹角信息、高度信息和焦距信息,其中,所述夹角信息表征所述摄像机的朝向与所述摄像机所在的平面的横轴之间的夹角;
根据所述夹角信息、所述高度信息和所述焦距信息,确定坐标转换矩阵。
可选的,获取预设数个待检测视频样本的关键帧样本时,第一处理模块 1010具体用于:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像与预设的第一标定线之间的距离最小的视频帧样本,作为所述任意一个待检测视频样本的关键帧样本。
可选的,获取预设数个待检测视频样本的关键帧样本时,第一处理模块 1010具体用于:
分别针对预设数个待检测视频样本,对任意一个待检测视频样本进行解帧,并将解帧后的各视频帧样本中的人体区域图像位于预设的第二标定线与第三标定之间的视频帧样本,作为所述任意一个待检测视频样本的关键帧样本。
基于上述实施例,参阅图11所示为本申请实施例中电子设备的结构示意图。
本申请实施例提供了一种电子设备,该电子设备可以包括处理器1110 (CenterProcessing Unit,CPU)、存储器1120、输入设备1130和输出设备1140 等,输入设备1130可以包括键盘、鼠标、触摸屏等,输出设备1140可以包括显示设备,如液晶显示器(LiquidCrystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
存储器1120可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器1110提供存储器1120中存储的程序指令和数据。在本申请实施例中,存储器1120可以用于存储本申请实施例中任一种图像数据检测方法的程序。
处理器1110通过调用存储器1120存储的程序指令,处理器1110用于按照获得的程序指令执行本申请实施例中任一种图像数据检测方法。
基于上述实施例,本申请实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意方法实施例中的图像数据检测方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像数据检测方法,其特征在于,包括:
分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像;
分别针对所述各视频帧,对所述人体区域图像进行人体关键点检测,获得所述人体区域图像的人体关键点信息,并通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标;
根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理。
2.如权利要求1所述的方法,其特征在于,对所述人体区域图像进行人体关键点检测之前,进一步包括:
基于已训练的图像质量检测模型,以所述人体区域图像为输入参数,确定所述人体区域图像的图像质量分值,其中,所述图像质量检测模型为根据人体区域图像样本集通过迭代训练获得的,所述人体区域图像样本集中包含各人体区域图像样本;
确定所述人体区域图像的图像质量分值大于等于预设分数阈值。
3.如权利要求1所述的方法,其特征在于,对所述人体区域图像进行人体关键点检测之前,进一步包括:
确定所述人体区域图像的图像宽度值,并确定所述人体区域图像的图像高度值;
确定所述图像宽度值大于等于预设宽度阈值,且所述图像高度值大于等于预设高度阈值。
4.如权利要求1所述的方法,其特征在于,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标,具体包括:
计算所述人体关键点信息中的二维头部关键点坐标与预设的坐标转换矩阵之间的比值,获得世界坐标系中的三维头部关键点坐标;
计算所述人体关键点信息中的二维脚部关键点坐标与所述坐标转换矩阵之间的比值,获得所述世界坐标系中的三维脚部关键点坐标。
5.如权利要求4所述的方法,其特征在于,根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,具体包括:
分别根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,确定所述各视频帧中人体的身高值;
去除确定出的各身高值中的极值,并计算去除极值后的各身高值的平均值;
将计算出的平均值作为所述待检测视频中的人体的真实身高值。
6.如权利要求4所述的方法,其特征在于,根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理,具体包括:
分别根据所述各视频帧,根据各人体对应的三维头部关键点坐标和三维脚部关键点坐标,确定任意一个人体与其它人体之间的头部关键点之间的距离和脚部关键点之间的距离,并基于所述头部关键点之间的距离、所述脚部关键点之间的距离和对应的权重,确定所述任意一个人体与其它人体之间的安全距离;
若确定预设数个视频帧中所述任意一个人体的安全距离均小于预设安全距离阈值,则生成告警信息,并将所述告警信息发送给告警设备,以使所述告警设备根据所述告警信息进行告警。
7.如权利要求4所述的方法,其特征在于,通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标之前,进一步包括:
获取预设数个待检测视频样本的关键帧样本,并获取所述各关键帧样本的二维头部关键点坐标样本和二维脚部关键点坐标样本;
获取与所述二维头部关键点坐标样本对应的三维头部关键点坐标样本,并获取与所述三维脚部关键点坐标样本对应的三维脚部关键点样本;
将所述预设数个二维头部关键点坐标样本、二维脚部关键点坐标样本、三维头部关键点坐标样本和三维脚部关键点坐标样本进行曲线拟合,获得摄像机的夹角信息、高度信息和焦距信息,其中,所述夹角信息表征所述摄像机的朝向与所述摄像机所在的平面的横轴之间的夹角;
根据所述夹角信息、所述高度信息和所述焦距信息,确定坐标转换矩阵。
8.一种图像数据检测装置,其特征在于,包括:
检测模块,用于分别对待检测视频的各视频帧进行人体检测,获得各人体区域图像;
第一处理模块,用于分别针对所述各视频帧,对所述人体区域图像进行人体关键点检测,获得所述人体区域图像的人体关键点信息,并通过预设的坐标转换方式将所述人体关键点信息中的二维头部关键点坐标和二维脚部关键点坐标,转换为世界坐标系中的三维头部关键点坐标和三维脚部关键点坐标;
第二处理模块,用于根据所述各视频帧对应的三维头部关键点坐标和三维脚部关键点坐标,进行相应的图像数据检测处理。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011245900.4A CN112287869A (zh) | 2020-11-10 | 2020-11-10 | 一种图像数据检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011245900.4A CN112287869A (zh) | 2020-11-10 | 2020-11-10 | 一种图像数据检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112287869A true CN112287869A (zh) | 2021-01-29 |
Family
ID=74350788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011245900.4A Pending CN112287869A (zh) | 2020-11-10 | 2020-11-10 | 一种图像数据检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287869A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113031464A (zh) * | 2021-03-22 | 2021-06-25 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
CN113066084A (zh) * | 2021-04-26 | 2021-07-02 | 深圳市商汤科技有限公司 | 身体状况检测方法及装置、电子设备和存储介质 |
CN113314230A (zh) * | 2021-05-27 | 2021-08-27 | 创新奇智(上海)科技有限公司 | 基于大数据的智能防疫方法、装置、设备及存储介质 |
CN113627379A (zh) * | 2021-08-19 | 2021-11-09 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
CN113780120A (zh) * | 2021-08-27 | 2021-12-10 | 深圳云天励飞技术股份有限公司 | 生成人体三维模型的方法、装置、服务器和存储介质 |
CN114719767A (zh) * | 2022-03-30 | 2022-07-08 | 中国工商银行股份有限公司 | 距离检测方法、装置、存储介质及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104173054A (zh) * | 2013-05-21 | 2014-12-03 | 杭州海康威视数字技术股份有限公司 | 基于双目视觉技术的人体身高测量方法及其装置 |
CN109409348A (zh) * | 2018-12-29 | 2019-03-01 | 北京卡路里信息技术有限公司 | 一种用户体征的确定方法、装置、设备和存储介质 |
CN109766868A (zh) * | 2019-01-23 | 2019-05-17 | 哈尔滨工业大学 | 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法 |
CN111012353A (zh) * | 2019-12-06 | 2020-04-17 | 西南交通大学 | 一种基于人脸关键点识别的身高检测方法 |
CN111582240A (zh) * | 2020-05-29 | 2020-08-25 | 上海依图网络科技有限公司 | 一种对象数量的识别方法、装置、设备和介质 |
CN111753724A (zh) * | 2020-06-24 | 2020-10-09 | 上海依图网络科技有限公司 | 一种异常行为识别方法及装置 |
-
2020
- 2020-11-10 CN CN202011245900.4A patent/CN112287869A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104173054A (zh) * | 2013-05-21 | 2014-12-03 | 杭州海康威视数字技术股份有限公司 | 基于双目视觉技术的人体身高测量方法及其装置 |
CN109409348A (zh) * | 2018-12-29 | 2019-03-01 | 北京卡路里信息技术有限公司 | 一种用户体征的确定方法、装置、设备和存储介质 |
CN109766868A (zh) * | 2019-01-23 | 2019-05-17 | 哈尔滨工业大学 | 一种基于身体关键点检测的真实场景遮挡行人检测网络及其检测方法 |
CN111012353A (zh) * | 2019-12-06 | 2020-04-17 | 西南交通大学 | 一种基于人脸关键点识别的身高检测方法 |
CN111582240A (zh) * | 2020-05-29 | 2020-08-25 | 上海依图网络科技有限公司 | 一种对象数量的识别方法、装置、设备和介质 |
CN111753724A (zh) * | 2020-06-24 | 2020-10-09 | 上海依图网络科技有限公司 | 一种异常行为识别方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113031464A (zh) * | 2021-03-22 | 2021-06-25 | 北京市商汤科技开发有限公司 | 设备控制方法、装置、电子设备及存储介质 |
CN113066084A (zh) * | 2021-04-26 | 2021-07-02 | 深圳市商汤科技有限公司 | 身体状况检测方法及装置、电子设备和存储介质 |
CN113314230A (zh) * | 2021-05-27 | 2021-08-27 | 创新奇智(上海)科技有限公司 | 基于大数据的智能防疫方法、装置、设备及存储介质 |
CN113627379A (zh) * | 2021-08-19 | 2021-11-09 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
WO2023020327A1 (zh) * | 2021-08-19 | 2023-02-23 | 上海商汤智能科技有限公司 | 图像处理 |
CN113780120A (zh) * | 2021-08-27 | 2021-12-10 | 深圳云天励飞技术股份有限公司 | 生成人体三维模型的方法、装置、服务器和存储介质 |
CN114719767A (zh) * | 2022-03-30 | 2022-07-08 | 中国工商银行股份有限公司 | 距离检测方法、装置、存储介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112287869A (zh) | 一种图像数据检测方法及装置 | |
CN109035187B (zh) | 一种医学图像的标注方法及装置 | |
CN112287866B (zh) | 一种基于人体关键点的人体动作识别方法及装置 | |
US9767604B2 (en) | Image analysis method by analyzing point cloud using hierarchical search tree | |
CN112287868B (zh) | 一种人体动作识别方法及装置 | |
CN108875533B (zh) | 人脸识别的方法、装置、系统及计算机存储介质 | |
CN106971401B (zh) | 多目标跟踪装置和方法 | |
JP2018163096A (ja) | 情報処理方法および情報処理装置 | |
CN108230292A (zh) | 物体检测方法和神经网络的训练方法、装置及电子设备 | |
CN112287867A (zh) | 一种多摄像头的人体动作识别方法及装置 | |
JP2022540101A (ja) | ポジショニング方法及び装置、電子機器、コンピュータ読み取り可能な記憶媒体 | |
CN111680574A (zh) | 一种人脸检测方法、装置、电子设备和存储介质 | |
CN110969045A (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
US11887331B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
CN113782159A (zh) | 医学图像标记点匹配方法、装置、电子设备及存储介质 | |
CN116071790A (zh) | 掌静脉图像质量评估方法、装置、设备及存储介质 | |
CN112966654A (zh) | 唇动检测方法、装置、终端设备及计算机可读存储介质 | |
CN113744328B (zh) | 医学图像标记点识别方法、装置、电子设备及存储介质 | |
WO2021046773A1 (zh) | 人脸防伪检测方法、装置、芯片、电子设备和计算机可读介质 | |
CN110211021B (zh) | 图像处理装置、图像处理方法和存储介质 | |
CN116128883A (zh) | 一种光伏板数量统计方法、装置、电子设备及存储介质 | |
CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP2014025804A (ja) | 情報取得装置および物体検出装置 | |
CN111368624A (zh) | 基于生成对抗网络的回环检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |