CN109614848B - 人体识别方法、装置、设备及计算机可读存储介质 - Google Patents
人体识别方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109614848B CN109614848B CN201811245356.6A CN201811245356A CN109614848B CN 109614848 B CN109614848 B CN 109614848B CN 201811245356 A CN201811245356 A CN 201811245356A CN 109614848 B CN109614848 B CN 109614848B
- Authority
- CN
- China
- Prior art keywords
- human body
- picture
- information
- target
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 210000000746 body region Anatomy 0.000 claims abstract description 137
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种人体识别方法、装置、设备及计算机可读存储介质。方法包括:获取拍摄的第一张原始图片;根据获取的图片进行分辨率调整,得到目标图片;基于预设人体特征点检测模型对目标图片进行处理,确定目标图片中是否包括人体信息;若包括,则根据人体信息在原始图片中确定出人体区域信息,并将人体区域信息输入滤波器,以使滤波器根据人体区域信息确定目标人体区域信息;获取拍摄的下一张原始图片;根据目标人体区域信息,在下一张原始图片中确定可能人体区域,并根据可能人体区域执行分辨率调整的步骤,本公开提供的方案,能够根据图片中随着时间变化,人体区域的关联关系对原始图片进行处理,从而准确且快速的在图片中对人体进行定位。
Description
技术领域
本公开涉及图像处理技术,尤其涉及一种人体识别方法、装置、设备及计算机可读存储介质。
背景技术
目前,在很多应用场景中需要捕捉人体的运动信息,例如AR、VR、安防系统以及一些APP中,都需要对人的肢体进行定位,从而捕捉人体信息。
一般来说,人体的运动范围较广,可以左右移动,还可以前后移动。但由于手机摄像头等图像传感器的视角均为广角,被摄者距离变化导致人体在画面中的占比变化非常明显。以视频特效拍摄app为例,用户做出前后移动的舞蹈动作,人体所占的画面比例就有有巨大的变化。这就对肢体定位方法提出了更高的要求,至少能够兼容图像中不同大小变化的人体。
现有技术中解决这一技术问题的方式是直接将输入模型的图像分别率提高,从而识别出图像中的人体信息,但是这一方式会导致模型内的计算量成倍增加。因此,准确且快速的对人体进行定位是本领域技术人员亟需解决的技术问题。
发明内容
本公开提供一种人体识别方法、装置、设备及计算机可读存储介质,以解决现有技术中无法准确且快速的对人体进行定位的问题。
本公开的第一个方面是提供一种人体识别方法,包括:
获取拍摄的第一张原始图片;
根据获取的图片进行分辨率调整,得到目标图片;
基于预设人体特征点检测模型对所述目标图片进行处理,确定所述目标图片中是否包括人体信息;
若包括,则根据所述人体信息在原始图片中确定出人体区域信息,并将所述人体区域信息输入滤波器,以使所述滤波器根据所述人体区域信息确定目标人体区域信息;
获取拍摄的下一张原始图片;
根据所述目标人体区域信息,在所述下一张原始图片中确定可能人体区域,并根据所述可能人体区域执行所述分辨率调整的步骤。
本公开的另一个方面是提供一种人体识别装置,包括:获取模块,用于获取拍摄的第一张原始图片;
调整模块,用于根据获取的图片进行分辨率调整,得到目标图片;
处理模块,用于基于预设人体特征点检测模型对所述目标图片进行处理,确定所述目标图片中是否包括人体信息;
若包括,则第一确定模块根据所述人体信息在原始图片中确定出人体区域信息,并将所述人体区域信息输入滤波模块,以使所述滤波模块根据所述人体区域信息确定目标人体区域信息;
所述获取模块还用于获取拍摄的下一张原始图片;
第二确定模块,用于根据所述目标人体区域信息,在所述下一张原始图片中确定可能人体区域,所述调整模块还用于根据所述可能人体区域执行所述分辨率调整的步骤。
本公开的又一个方面是提供一种人体识别设备,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并配置为由所述处理器执行以实现如上述第一方面所述的人体识别方法。
本公开的又一个方面是提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如上述第一方面所述的人体识别方法。
本公开提供的人体识别方法、装置、设备及计算机可读存储介质的技术效果是:
本公开提供的人体识别方法、装置、设备及计算机可读存储介质,包括:获取拍摄的第一张原始图片;根据获取的图片进行分辨率调整,得到目标图片;基于预设人体特征点检测模型对目标图片进行处理,确定目标图片中是否包括人体信息;若包括,则根据人体信息在原始图片中确定出人体区域信息,并将人体区域信息输入滤波器,以使滤波器根据人体区域信息确定目标人体区域信息;获取拍摄的下一张原始图片;根据目标人体区域信息,在下一张原始图片中确定可能人体区域,并根据可能人体区域执行分辨率调整的步骤。本公开提供的方法、装置、设备及计算机可读存储介质,输入预设人体特征点检测模型的图片分辨率是固定的,不需要提高模型输入数据的复杂程度,并且,能够根据图片中随着时间变化,人体区域的关联关系对原始图片进行处理,能够识别出可能存在人体的可能人体区域,再对该可能人体区域进行处理,能够大大降低需要处理的图片数据。
附图说明
图1为本发明一示例性实施例示出的人体识别方法的流程图;
图2为本发明另一示例性实施例示出的人体识别方法的流程图;
图3为本发明一示例性实施例示出的人体识别装置的结构图;
图4为本发明另一示例性实施例示出的人体识别装置的结构图;
图5为本发明一示例性实施例示出的人体识别设备的结构图。
具体实施方式
很多应用场景中都会应用到人体识别技术,主要是通过识别肢体特征,从而确定人体所在位置。尤其是在视频中确定人体位置时,需要在每一帧原始图像中找到肢体特征点,并确定出人体位置。但是,由于视频中的人体可能会前后移动,这就导致人体在画面中的占比变化非常明显,进而导致现有技术中的单一识别无法从原始画面中准确的识别人体。
本发明实施例提供的方案中,能够结合视频中连续的图像确定下一帧图像中,人体可能在的区域,再在这一可能区域中对人体进行识别,能够降低识别图片的大小,从而降低计算量,还能够准确的识别出人体。
图1为本发明一示例性实施例示出的人体识别方法的流程图。
如图1所示,本实施例提供的人体识别方法包括:
步骤101,获取拍摄的第一张原始图片。
其中,可以将本实施例提供的方法封装为软件安装在设备中,该设备可以是智能终端、计算机、平板电脑等。该设备可以具有拍摄功能,也可不具备拍摄功能。若该设备具有拍摄功能,则其还可以具有存储功能,用于存储拍摄的视频,并能够读取自身存储的视频,例如,智能手机。若该设备不具备拍摄功能,则其可以与具有存储功能的其他设备连接,进而从其他设备中获取拍摄的视频,例如能够与存储设备连接的计算机。
具体的,本实施例提供的方法可以用于对已经拍摄完毕的视频进行处理,例如,可以逐帧读取已经拍摄完毕的视频中的画面,并对每帧图像进行处理。本实施例提供的方法还可以对正在拍摄的视频进行处理,此时,可以逐帧读取正在拍摄的视频,并对每帧图像进行处理,直到将拍摄的所有画面都处理完毕为止。
另外,本实施例提供的方法还可以对连拍的多张图片进行处理,可以按照拍摄顺序逐张读取拍摄的图片,并对读取的每张图片进行处理。为便于叙述,并实施例以视频为例进行详细说明。
进一步的,可以获取拍摄的视频中的第一帧画面,将其作为第一张原始图片。当获取视频中的第一帧画面时,此时无法确定画面中人体可能在的区域,因此,对该原始图片进行处理,并在其中确定出人体位置。
步骤102,根据获取的图片进行分辨率调整,得到目标图片。
实际应用时,拍摄设备获取的图片分辨率可能是1280×720、1920×1080等格式的,此时,可以对原始图片进行压缩处理,使其分辨率与预设人体特征点检测模型的指定分辨率一致。
一般来说,模型输入图片的分辨率越低,该模型的计算量越小。例如,若使用高输入分辨率的Deep-Learning模型进行人体特征点检测,可以直接由单一模型在高分辨率的图像上找出肢体特征点。由于卷积神经网络的特性,计算量与输入分辨率成正比,如从160x160分辨率提高到320x320分辨率,计算量会直接增加四倍,耗时延长四倍。因此,输入的图片分辨率恰好能够使模型完成计算并进行识别是较优的情况,既能够得到想要的输出结果,又不会提高计算量。因此,本实施例提供的方法将处理后的目标图片输入预设人体特征点检测模型,避免计算量过大的问题。
若直接对图片进行压缩处理无法得到预设人体特征点检测模型指定的分辨率,则还可以对图片进行填充处理。例如,第一张原始图片的比例是1280×720,而调整的目标分辨率是320x320,则可以先将第一张原始图片压缩为320x180,在再图片中进行填充,使得图片的分辨率是320x320,可以在图片上下分别填充高为70,宽为180的黑色区域。
在方法执行开始时,可以根据获取的第一张原始图片得到目标图片,在方法执行过程中,再次执行步骤102时,则有可能基于其他原始图片确定可能人体区域,再根据该可能人体区域对应的图片得到目标图片。
步骤103,基于预设人体特征点检测模型对目标图片进行处理,确定目标图片中是否包括人体信息。
可以将调整完毕的目标图片输入预设人体特征点检测模型中,由该模型输出人体信息。若原始图片中不包括人体,则目标图片中也不会包括人体信息,此时,模型可以输出空的消息。若目标图片中包括人体信息,则可以确定出目标图片中的人体信息,例如人体的具体轮廓、在目标图片的相对位置等。
人体特征点检测模型可以是现有技术中已有的模型,如snake方法、主动形状模型(ASM)、主动表观模型(AAM)等。可以基于这些模型,识别目标图片中是否具有人体信息。
具体的,预设人体特征点检测模型可以用来识别目标图片中的肢体特征点,从而识别出目标图片中是否包括人体信息。
若包括人体信息,则执行步骤104。
步骤104,根据人体信息,在原始图片中确定出人体区域信息,并将人体区域信息输入滤波器,以使滤波器根据人体区域信息确定目标人体区域信息。
进一步的,由于目标图片是由第一原始图片确定的,因此,可以先确定识别出的人体在目标图片中的位置,再基于该位置在第一原始图片中确定人体区域信息。例如,若人体在目标图片中的中心位置,则在第一原始图片中,人体也应该在中心区域。若目标图片中包括填充区域,则先确定人体在目标图片中相对中心的位置,并根据该相对位置在第一原始图片中确定人体区域信息。
实际应用时,还可以将人体区域信息输入滤波器中,以使滤波器根据人体区域信息确定目标人体区域信息。若人体区域信息是第一张原始图片中确定的,则滤波器中还没有画面得到的人体区域信息,此时,确定的目标人体区域信息可能与输入的人体区域信息相同。
若人体区域信息是在后续其他帧图像中确定的,则滤波器可以根据该帧图像之前,连续预设张图像的目标人体区域信息对输入的人体区域信息进行调整,从而能够根据连续多帧图像的关联关系确定出目标人体区域信息。对于视频或连拍的图像来说,其中的人体区域信息随着时间变化具有一定的关联关系,例如区域相近等,因此,可以结合得到的新的人体区域信息以及历史人体区域信息进行过滤处理,得到的目标人体区域信息中包括了时域上的额外信息,再基于该目标人体区域信息从原始图片中获取人体信息时,能够减少抖动。
其中,滤波器可以是卡尔曼滤波器或者其他平滑滤波器,从而减少识别过程中产生的抖动。
步骤105,获取拍摄的下一张原始图片。
实际应用时,对视频或连续拍摄的图像中的第一张图片处理完毕后,可以继续读取下一张原始图片。以视频举例来说,可以获取下一帧图像作为下一张原始图片。
步骤106,根据目标人体区域信息,在下一张原始图片中确定可能人体区域。
并根据可能人体区域执行步骤102中的分辨率调整的步骤。
其中,若在第一张原始图片中确定了目标人体区域信息,则可以根据该目标人体区域信息预测下一张图片中可能出现人体的区域。
具体的,若目标人体区域信息恰好是人体所在区域信息,即目标人体区域恰好能够框住人体,则可以将该目标人体区域进行放大,从而预测下一张图像中,人体可能在放大后的区域内。对于同一视频来说,可以认为其各个帧图像大小是相同的,因此,可以根据上一张图片中人体所在区域,预测下一张图片中,人体有可能在的区域位置。
进一步的,可以根据预测的可能人体区域在获取的下一张原始图片中进行截图处理,得到有可能包括人体的图片,再获取该可能人体区域对应的图片,然后基于该图片执行步骤102中分辨率调整的步骤。
实际应用时,若在原始图片中截图得到可能包括人体的图片,则该图片的分辨率有可能小于预设人体特征点检测模型的指定分辨率,此时,可以对可能包括人体的图片进行拉伸、填充处理,从而使其分辨率符合上述模型对输入数据的要求。
相应的,可以根据该截图再次得到目标图片,再基于预设人体特征点检测模型对这次得到的目标图片进行处理,确定目标图片中是否包括人体信息。若包括,则根据人体信息在此次获得的原始图片中确定出人体区域信息,并将人体区域信息输入滤波器,以使滤波器根据人体区域信息确定目标人体区域信息。
其中,经过多次循环处理,能够识别出视频中每帧画面的人体特征,且不用更改模型的输入分辨率,同时,根据上一张图片中的目标人体区域信息,预测下一帧图片中人体的可能的区域信息,能够在考虑图片间人体位置关系的情况下,确定人体所在的区域,能够减少抖动,使得确定的人体区域更加准确。可以在对视频中的所有帧画面都进行处理,当对最后一帧画面处理完毕后,结束本方法。
本实施例提供的方法用于识别图像中的人体,该方法由设置有本实施例提供的方法的设备执行,该设备通常以硬件和/或软件的方式来实现。
本实施例提供的人体识别方法,包括:获取拍摄的第一张原始图片;根据获取的图片进行分辨率调整,得到目标图片;基于预设人体特征点检测模型对目标图片进行处理,确定目标图片中是否包括人体信息;若包括,则根据人体信息在原始图片中确定出人体区域信息,并将人体区域信息输入滤波器,以使滤波器根据人体区域信息确定目标人体区域信息;获取拍摄的下一张原始图片;根据目标人体区域信息,在下一张原始图片中确定可能人体区域,并根据可能人体区域执行分辨率调整的步骤。本实施例提供的方法,输入预设人体特征点检测模型的图片分辨率是固定的,不需要提高模型输入数据的复杂程度,并且,能够根据图片中随着时间变化,人体区域的关联关系对原始图片进行处理,能够识别出可能存在人体的可能人体区域,再对该可能人体区域进行处理,从而大大降低需要处理的图片数据。
图2为本发明另一示例性实施例示出的人体识别方法的流程图。
如图2所示,本实施例提供的人体识别方法,包括:
步骤201,获取拍摄的第一张原始图片。
步骤201与步骤101的具体原理和实现方式类似,此处不再赘述。
步骤202,根据获取的图片进行压缩,和/或拉伸,和/或填充处理得到目标图片,以使目标图片的分辨率与预设人体特征点检测模型的输入图片分辨率相符。
其中,本实施例提供的方法中,对图片进行分辨率处理的方式可以包括压缩、拉伸、填充等方式,根据图片的分辨率决定了具体用哪种方式对图片进行处理,处理后得到的目标图片的分辨率与预设人体特征点检测模型的输入图片分辨率相符,例如,预设人体特征点检测模型的输入图片分辨率为320×320,则得到的目标图片分辨率也是320×320。
具体的,若处理的图片分辨率较大,例如对第一张原始图片进行处理,则可以选择压缩操作。若处理的图片分辨率较小,例如,在原始图片中截取的可能人体区域,则可以对图片进行拉伸操作。
进一步的,在方法最初执行过程中,还无法确定人体可能的区域,因此,基于获取的第一张原始图片确定目标图片。在后续的循环执行过程中,有可能检测到人体信息,并基于人体信息确定出原始图片中可能存在的人体区域,并对该可能人体区域进行截图,此时,可以获取该可能人体区域对应的图片,并进行处理得到目标图片。另外,若上一张原始图片中未检测到人体信息,则对下一张原始图片进行处理时,与对第一张原始图片进行处理的流程相同。
步骤203,基于预设人体特征点检测模型对目标图片进行处理,确定目标图片中是否包括人体信息。
步骤203与步骤103的具体原理和实现方式类似,此处不再赘述。
若包括,则执行步骤204,否则,执行步骤206。
步骤204,根据人体信息在目标图片中确定人体所在区域。
预设人体特征点检测模型检测出人体信息后,能够根据其确定的人体信息在目标图片中确定人体所在区域。若人体信息中包括位置信息,则可以直接根据该位置信息确定出人体所在区域;若人体信息中不包括位置信息,可以根据在目标图片中检测包括人体信息的区域,并将该区域作为人体所在区域。
步骤205,根据目标图片中人体所在区域在原始图片中确定坐标信息。
本实施例提供的方法中,人体区域信息可以用坐标信息表示。
若目标图片是基于原始图片获得的,则可以根据人体信息在目标图片中的相对位置,在原始图片中确定坐标信息。可以对原始图片进行等比例压缩得到目标图片,例如,对第一张原始图片进行压缩得到第一张图片,此时,可以根据目标图片的相对位置在第一原始图片中找到相应的区域。确定出原始图片中人体所在区域后,可以获取该区域的坐标信息。
若目标图片是基于可能人体区域得到的,则可以先在可能人体区域内确定人体位置,再在可能人体区域所属原始图片中确定坐标信息。相似的,也可以在目标图片中确定人体区域所在的相对位置,再基于该相对位置在可能人体区域内找到人体所在区域,由于可能人体区域是原始图片的一部分,因此,可以确定出可能人体区域在原始图片中的位置,然后根据可能人体区域的相对位置、可能人体区域在原始图片中的位置,确定出在原始图片中,人体所在区域,再获取该区域的坐标信息。
其中,由于当前确定的人体区域信息会影响在下一帧图片中确定人体区域的结果,而人体在运动过程中,其所处的画面区域会有变化,因此,步骤205进一步可以包括:
根据目标图片中人体所在区域在原始图片中确定原始人体区域;
将原始人体区域扩大预设倍数得到扩大区域;
将扩大区域的左上角的横坐标、纵坐标以及右下角的横坐标、纵坐标确定为坐标信息;或者将扩大区域的左上角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为坐标信息;或者将扩大区域的右下角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为坐标信息。
其中,根据目标图片中人体所在区域在原始图片中确定原始人体区域与上述记载相似,可以根据人体所在区域在目标图片中的相对位置,在原始图片中确定出原始人体区域。
可以在原始图片中,对原始人体区域进行扩大,例如可以扩大至原有的1.2倍,具体可以从原始人体区域的中心向外扩大1.2倍,从而避免根据当前帧图片中的人体区域识别下一帧图片中的人体区域时,由于人体的移动导致人体部分肢体被遗漏识别。
相应的,可以根据扩大区域确定坐标信息,具体可以将扩大区域的左上角的横坐标、纵坐标以及右下角的横坐标、纵坐标确定为坐标信息;或者将扩大区域的左上角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为坐标信息;或者将扩大区域的右下角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为坐标信息。
可选的,在目标图片中确定的人体所在区域为矩形区域,相应的,根据人体所在区域在原始图片中确定的原始人体区域也是矩形区域,对其进行扩大得到的扩大区域仍然是矩形区域。该矩形是指长方形或正方形区域。
步骤206,将人体区域信息输入滤波器,以使滤波器根据人体区域信息、历史目标人体区域信息,确定人体区域信息对应的目标人体区域信息。
其中,历史目标人体区域信息是此前根据原始图片确定的目标人体区域信息。
具体的,若在方法刚开始执行时,根据第一张原始图片确定的人体区域信息,并将人体区域信息输入滤波器,则滤波器根据该人体区域信息确定目标人体区域信息。
进一步的,若方法执行过程中,经过循环再次执行本步骤,此时,则在此前已经根据其他帧图片确定出过目标人体区域信息,即已经有了历史目标人体区域信息,因此,滤波器可以根据当前输入的人体区域信息,以及历史目标人体区域信息,确定当前输入的人体区域信息对应的目标人体区域信息。
本实施例提供的方法中,滤波器将当前最新的人体区域信息结合过去连续的数张图片检测得到的目标人体区域信息一起过滤,例如,将当前人体区域信息、以及此前连续的数帧图片得到的目标人体区域信息一起过滤,因此,能够根据时域上,连续多张图片之间的关联,对人体区域信息进行调整,从而从时域上获得额外的信息,得到的目标人体区域信息更加平滑,能够减少抖动。滤波器可以是卡尔曼滤波器或者简单的平滑滤波器。
步骤207,获取拍摄的下一张原始图片。
其中,若此前获取的是第一张原始图片,则执行本步骤时,可以获取第二张原始图片;若此前获取的是第N张原始图片,则执行本步骤时,可以获取第N+1张原始图片。
步骤207与步骤105的具体原理和实现方式类似,此处不再赘述。
步骤208,根据目标人体区域信息,在下一张原始图片中确定可能人体区域。
其中,若此前获取的是第一张原始图片,并在第一张原始图片中确定了目标人体区域信息,则根据该目标人体区域信息,在步骤207中获取的原始图片中确定可能人体区域。
具体的,若此前获取的是第N张原始图片,并在第N张原始图片中确定了目标人体区域信息,则根据该目标人体区域信息,在步骤207中获取的原始图片中确定可能人体区域。
进一步的,再基于该可能人体区域执行步骤202中的分辨率调整的步骤。可以根据可能人体区域对获取的原始图片进行截图处理,再将获取该截图,并执行步骤202。
可选的,若在步骤203中,确定原始图片中不包括人体信息,此时的原始图片可以是获取的第一张原始图片,也可以是第N张原始图片,若在其中不包括人体信息,则直接执行步骤207获取拍摄的下一张原始图片的步骤,并根据获取的下一张原始图片继续执行步骤202分辨率调整得到目标图片的步骤。
本实施例提供的方法中,在步骤203中若判断原始图片中包括人体信息,则步骤203之后,可以执行步骤204-208,在步骤203中若判断原始图片中不包括人体信息,则可以执行步骤207、202中进行压缩,和/或拉伸,和/或填充处理得到目标图片的步骤。
实际应用时,可以逐帧获取原始图片。先对当前原始图片进行分辨率处理得到目标图片,然后基于预设人体特征点检测模型识别目标图片中是否包括人体信息,若包括,则确定人体所在的目标人体区域信息,若不包括,则获取下一帧原始图片。
在处理当前获取的原始图片时,若上一帧图片中包括人体信息,也就是确定出上一帧图片的目标人体区域信息,则可以根据上一帧图片的目标人体区域信息在当前获取的原始图片中确定可能人体区域,并根据该可能区域进行分辨率处理得到目标图片;若上一帧图片中不包括人体信息,那么上一帧图片中没有目标人体区域信息,则可以直接对当前获取的原始图片进行分辨率处理得到目标图片。
图3为本发明一示例性实施例示出的人体识别装置的结构图。
如图3所示,本实施例提供的人体识别装置,包括:
获取模块31,用于获取拍摄的第一张原始图片;
调整模块32,用于根据获取的原始图片进行分辨率调整,得到目标图片;
处理模块33,用于基于预设人体特征点检测模型对所述目标图片进行处理,确定所述目标图片中是否包括人体信息;
若包括,则第一确定模块34根据所述人体信息在原始图片中确定出人体区域信息,并将所述人体区域信息输入滤波模块35,以使所述滤波模块35根据所述人体区域信息确定目标人体区域信息;
所述获取模块31还用于获取拍摄的下一张原始图片;
第二确定模块36,用于根据所述目标人体区域信息,在所述下一张原始图片中确定可能人体区域,所述调整模块32还用于根据所述可能人体区域执行所述分辨率调整的步骤。
本实施例提供的人体识别装置,包括:获取模块,用于获取拍摄的第一张原始图片;调整模块,用于根据获取的原始图片进行分辨率调整,得到目标图片;处理模块,用于基于预设人体特征点检测模型对目标图片进行处理,确定目标图片中是否包括人体信息;若包括,则第一确定模块根据人体信息在原始图片中确定出人体区域信息,并将人体区域信息输入滤波模块,以使滤波模块根据人体区域信息确定目标人体区域信息;获取模块还用于获取拍摄的下一张原始图片;第二确定模块,用于根据目标人体区域信息,在下一张原始图片中确定可能人体区域,调整模块还用于根据可能人体区域执行分辨率调整的步骤。本实施例提供的装置,输入预设人体特征点检测模型的图片分辨率是固定的,不需要提高模型输入数据的复杂程度,并且,能够根据图片中随着时间变化,人体区域的关联关系对原始图片进行处理,能够识别出可能存在人体的可能人体区域,再对该可能人体区域进行处理,从而大大降低需要处理的图片数据。
本实施例提供的人体识别装置的具体原理和实现方式均与图1所示的实施例类似,此处不再赘述。
图4为本发明另一示例性实施例示出的人体识别装置的结构图。
如图4所示,在上述实施例的基础上,本实施例提供的人体识别装置,若所述处理模块33确定所述目标图片中不包括所述人体信息,则所述获取模块31执行所述获取拍摄的下一张原始图片的步骤,所述调整模块32根据所述下一张原始图片进行分辨率调整得到目标图片。
所述调整模块32具体用于:
对图片进行压缩,和/或拉伸,和/或填充处理得到目标图片,以使所述目标图片的分辨率与所述预设人体特征点检测模型的输入图片分辨率相符。
所述第一确定模块34包括:
区域确定单元341,用于根据所述人体信息在所述目标图片中确定人体所在区域;
坐标确定单元342,用于根据所述目标图片中所述人体所在区域在所述原始图片中确定坐标信息。
所述坐标确定单元342具体用于:
根据所述目标图片中所述人体所在区域在所述原始图片中确定原始人体区域;
将所述原始人体区域扩大预设倍数得到扩大区域;
将所述扩大区域的左上角的横坐标、纵坐标以及右下角的横坐标、纵坐标确定为所述坐标信息;或者将所述扩大区域的左上角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为所述坐标信息;或者将所述扩大区域的右下角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为所述坐标信息。
所述人体所在区域为矩形区域。
所述滤波模块35具体用于:
根据所述人体区域信息、历史目标人体区域信息,确定所述人体区域信息对应的目标人体区域信息;其中,所述历史目标人体区域信息是此前根据原始图片确定的所述目标人体区域信息。
本实施例提供的人体识别装置的具体原理和实现方式均与图2所示的实施例类似,此处不再赘述。
图5为本发明一示例性实施例示出的人体识别设备的结构图。
如图5所示,本实施例提供的人体识别设备,包括:
存储器51;
处理器52;以及
计算机程序;
其中,所述计算机程序存储在所述存储器51中,并配置为由所述处理器52执行以实现如上所述的任一种人体识别方法。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,
所述计算机程序被处理器执行以实现如上所述的任一种人体识别方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种人体识别方法,其特征在于,包括:
获取拍摄的第一张原始图片;
根据获取的图片进行分辨率调整,得到目标图片,所述目标图片的分辨率与预设人体特征点检测模型的输入图片分辨率相符;
基于所述预设人体特征点检测模型对所述目标图片进行处理,确定所述目标图片中是否包括人体信息;
若包括,则根据所述人体信息在原始图片中确定出人体区域信息,并将所述人体区域信息输入滤波器,以使所述滤波器根据所述人体区域信息确定目标人体区域信息;
获取拍摄的下一张原始图片;
根据所述目标人体区域信息,在所述下一张原始图片中确定可能人体区域,根据所述可能人体区域在所述下一张原始图片中进行截图处理,得到处理后的图片,基于所述处理后的图片执行所述分辨率调整的步骤。
2.根据权利要求1所述的方法,其特征在于,若所述目标图片中不包括所述人体信息,则执行所述获取拍摄的下一张原始图片的步骤,并根据所述下一张原始图片进行分辨率调整得到目标图片。
3.根据权利要求1所述的方法,其特征在于,所述进行分辨率调整包括:
对图片进行压缩,和/或拉伸,和/或填充处理得到所述目标图片。
4.根据权利要求1所述的方法,其特征在于,所述根据所述人体信息在原始图片中确定出人体区域信息,包括:
根据所述人体信息在所述目标图片中确定人体所在区域;
根据所述目标图片中所述人体所在区域在所述原始图片中确定坐标信息。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标图片中所述人体所在区域在所述原始图片中确定坐标信息,包括:
根据所述目标图片中所述人体所在区域在所述原始图片中确定原始人体区域;
将所述原始人体区域扩大预设倍数得到扩大区域;
将所述扩大区域的左上角的横坐标、纵坐标以及右下角的横坐标、纵坐标确定为所述坐标信息;或者将所述扩大区域的左上角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为所述坐标信息;或者将所述扩大区域的右下角的横坐标、纵坐标以及中心点的横坐标、纵坐标确定为所述坐标信息。
6.根据权利要求4或5所述的方法,其特征在于,所述人体所在区域为矩形区域。
7.根据权利要求1所述的方法,其特征在于,所述滤波器根据所述人体区域信息确定目标人体区域信息,包括:
所述滤波器根据所述人体区域信息、历史目标人体区域信息,确定所述人体区域信息对应的目标人体区域信息;其中,所述历史目标人体区域信息是此前根据原始图片确定的所述目标人体区域信息。
8.一种人体识别装置,其特征在于,包括:
获取模块,用于获取拍摄的第一张原始图片;
调整模块,用于根据获取的图片进行分辨率调整,得到目标图片,所述目标图片的分辨率与预设人体特征点检测模型的输入图片分辨率相符;
处理模块,用于基于所述预设人体特征点检测模型对所述目标图片进行处理,确定所述目标图片中是否包括人体信息;
若包括,则第一确定模块根据所述人体信息在原始图片中确定出人体区域信息,并将所述人体区域信息输入滤波模块,以使所述滤波模块根据所述人体区域信息确定目标人体区域信息;
所述获取模块还用于获取拍摄的下一张原始图片;
第二确定模块,用于根据所述目标人体区域信息,在所述下一张原始图片中确定可能人体区域,所述调整模块还用于根据所述可能人体区域在所述下一张原始图片中进行截图处理,得到处理后的图片,基于所述处理后的图片执行所述分辨率调整的步骤。
9.一种人体识别设备,其特征在于,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并配置为由所述处理器执行以实现如权利要求1-7任一种所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,
所述计算机程序被处理器执行以实现如权利要求1-7任一种所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811245356.6A CN109614848B (zh) | 2018-10-24 | 2018-10-24 | 人体识别方法、装置、设备及计算机可读存储介质 |
US16/562,569 US11790483B2 (en) | 2018-10-24 | 2019-09-06 | Method, apparatus, and device for identifying human body and computer readable storage medium |
JP2019166758A JP6849763B2 (ja) | 2018-10-24 | 2019-09-13 | 人体認識方法、装置、機器及びコンピュータ読み取り可能な記憶媒体 |
KR1020190115268A KR20190114924A (ko) | 2018-10-24 | 2019-09-19 | 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 |
KR1020210081937A KR102389916B1 (ko) | 2018-10-24 | 2021-06-23 | 인체 인식 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811245356.6A CN109614848B (zh) | 2018-10-24 | 2018-10-24 | 人体识别方法、装置、设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109614848A CN109614848A (zh) | 2019-04-12 |
CN109614848B true CN109614848B (zh) | 2021-07-20 |
Family
ID=66002825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811245356.6A Active CN109614848B (zh) | 2018-10-24 | 2018-10-24 | 人体识别方法、装置、设备及计算机可读存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11790483B2 (zh) |
JP (1) | JP6849763B2 (zh) |
KR (2) | KR20190114924A (zh) |
CN (1) | CN109614848B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111935491B (zh) | 2020-06-28 | 2023-04-07 | 百度在线网络技术(北京)有限公司 | 直播的特效处理方法、装置以及服务器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346802A (zh) * | 2013-08-05 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
CN106650682A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 一种人脸追踪的方法及装置 |
CN108537204A (zh) * | 2018-04-20 | 2018-09-14 | 广州林邦信息科技有限公司 | 人类活动监测方法、装置及服务器 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020167537A1 (en) * | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
KR100464079B1 (ko) | 2002-01-16 | 2004-12-30 | 엘지전자 주식회사 | 화상 통신에서의 얼굴 검출 및 추적 시스템 |
JP2005100084A (ja) | 2003-09-25 | 2005-04-14 | Toshiba Corp | 画像処理装置及び方法 |
JP4561380B2 (ja) | 2005-01-24 | 2010-10-13 | コニカミノルタホールディングス株式会社 | 検出装置、検出方法及び検出プログラム |
US8026945B2 (en) * | 2005-07-22 | 2011-09-27 | Cernium Corporation | Directed attention digital video recordation |
US7876978B2 (en) * | 2005-10-13 | 2011-01-25 | Penthera Technologies, Inc. | Regions of interest in video frames |
JP4798042B2 (ja) | 2007-03-29 | 2011-10-19 | オムロン株式会社 | 顔検出装置、顔検出方法及び顔検出プログラム |
KR20080096053A (ko) | 2007-04-26 | 2008-10-30 | 삼성전자주식회사 | 복사 방지를 위한 특정 패턴 검출 방법 및 이를 수행하는화상형성장치 |
KR20100072772A (ko) * | 2008-12-22 | 2010-07-01 | 한국전자통신연구원 | 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법 |
JP5137863B2 (ja) | 2009-01-20 | 2013-02-06 | セコム株式会社 | 物体検出装置 |
US10645344B2 (en) * | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
JP2012084012A (ja) | 2010-10-13 | 2012-04-26 | Canon Inc | 画像処理装置、その処理方法及びプログラム |
KR20120044484A (ko) | 2010-10-28 | 2012-05-08 | 삼성전자주식회사 | 이미지 처리 시스템에서 물체 추적 장치 및 방법 |
JP5795250B2 (ja) | 2011-12-08 | 2015-10-14 | Kddi株式会社 | 被写体姿勢推定装置および映像描画装置 |
WO2015133159A1 (ja) * | 2014-03-05 | 2015-09-11 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP6326622B2 (ja) | 2014-03-25 | 2018-05-23 | 株式会社明電舎 | 人物検出装置 |
JP6434718B2 (ja) | 2014-05-16 | 2018-12-05 | 日本放送協会 | 顔画像認識装置及び顔画像認識プログラム |
KR20160115466A (ko) * | 2015-03-27 | 2016-10-06 | 한국전자통신연구원 | 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법 |
KR102436513B1 (ko) * | 2015-08-12 | 2022-08-26 | 삼성전자 주식회사 | 전자 기기의 해상도 조정 방법 및 장치 |
US10185878B2 (en) * | 2017-02-28 | 2019-01-22 | Microsoft Technology Licensing, Llc | System and method for person counting in image data |
WO2019064375A1 (ja) * | 2017-09-27 | 2019-04-04 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
-
2018
- 2018-10-24 CN CN201811245356.6A patent/CN109614848B/zh active Active
-
2019
- 2019-09-06 US US16/562,569 patent/US11790483B2/en active Active
- 2019-09-13 JP JP2019166758A patent/JP6849763B2/ja active Active
- 2019-09-19 KR KR1020190115268A patent/KR20190114924A/ko active Application Filing
-
2021
- 2021-06-23 KR KR1020210081937A patent/KR102389916B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346802A (zh) * | 2013-08-05 | 2015-02-11 | 浙江大华技术股份有限公司 | 一种人员离岗监控方法及设备 |
CN106650682A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 一种人脸追踪的方法及装置 |
CN108537204A (zh) * | 2018-04-20 | 2018-09-14 | 广州林邦信息科技有限公司 | 人类活动监测方法、装置及服务器 |
Also Published As
Publication number | Publication date |
---|---|
KR20190114924A (ko) | 2019-10-10 |
CN109614848A (zh) | 2019-04-12 |
JP6849763B2 (ja) | 2021-03-31 |
JP2020009472A (ja) | 2020-01-16 |
US20200134305A1 (en) | 2020-04-30 |
KR20210080334A (ko) | 2021-06-30 |
US11790483B2 (en) | 2023-10-17 |
KR102389916B1 (ko) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109690620B (zh) | 三维模型生成装置以及三维模型生成方法 | |
KR102279813B1 (ko) | 영상 변형 방법 및 장치 | |
US9560271B2 (en) | Removing unwanted objects from photographed image | |
CN107886484B (zh) | 美颜方法、装置、计算机可读存储介质和电子设备 | |
WO2018103314A1 (zh) | 一种拍照方法、装置、终端及存储介质 | |
CN110688914A (zh) | 一种手势识别的方法、智能设备、存储介质和电子设备 | |
WO2021027537A1 (zh) | 一种拍摄证件照的方法、装置、设备及存储介质 | |
EP3644599B1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
US20170161553A1 (en) | Method and electronic device for capturing photo | |
US9767378B2 (en) | Method and system to adaptively track objects | |
CN107395957B (zh) | 拍照方法、装置、存储介质及电子设备 | |
CN113973190A (zh) | 视频虚拟背景图像处理方法、装置及计算机设备 | |
CN109981964B (zh) | 基于机器人的拍摄方法、拍摄装置及机器人 | |
WO2019202511A1 (en) | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling | |
CN110971841A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
KR101672691B1 (ko) | 소셜 네트워크 서비스 플랫폼에서 이모티콘 생성 방법 및 장치 | |
CN112215906A (zh) | 图像处理方法、装置和电子设备 | |
CN109614848B (zh) | 人体识别方法、装置、设备及计算机可读存储介质 | |
CN109981967B (zh) | 用于智能机器人的拍摄方法、装置、终端设备及介质 | |
CN114816044A (zh) | 确定交互手势的方法、装置及电子设备 | |
CN110121030B (zh) | 一种保存拍摄图像的方法以及电子设备 | |
CN112036342A (zh) | 单证抓拍方法、设备及计算机存储介质 | |
CN112689085A (zh) | 一种识别ppt投屏区域方法、装置、系统和电子设备 | |
CN112954204B (zh) | 拍照控制方法及装置、存储介质、终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |