CN112614160A - 多对象人脸跟踪方法和系统 - Google Patents

多对象人脸跟踪方法和系统 Download PDF

Info

Publication number
CN112614160A
CN112614160A CN202011556725.0A CN202011556725A CN112614160A CN 112614160 A CN112614160 A CN 112614160A CN 202011556725 A CN202011556725 A CN 202011556725A CN 112614160 A CN112614160 A CN 112614160A
Authority
CN
China
Prior art keywords
picture
scene image
character
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011556725.0A
Other languages
English (en)
Other versions
CN112614160B (zh
Inventor
兰雨晴
周建飞
余丹
王丹星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongbiao Huian Information Technology Co Ltd
Original Assignee
Zhongbiao Huian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongbiao Huian Information Technology Co Ltd filed Critical Zhongbiao Huian Information Technology Co Ltd
Priority to CN202011556725.0A priority Critical patent/CN112614160B/zh
Publication of CN112614160A publication Critical patent/CN112614160A/zh
Application granted granted Critical
Publication of CN112614160B publication Critical patent/CN112614160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了多对象人脸跟踪方法和系统，其通过对存在多个人物的目标场景进行拍摄而得到相应的目标场景，并对该目标场景进行预处理以确定其中背景画面与人物画面之间的边界区域，再根据该边界区域分离得到对应的所有人物画面，同时还提取人物画面的人脸区域特征，并根据该人脸区域特征确定每一人物画面对应的人物身份信息，以此实现对同一目标场景的多对象人脸识别跟踪，其利用背景画面与人物画面之间在像素灰度级别上的差异来确定两者的边界区域，以此准确地对场景图像中的人物画面进行分离，从而实现对同一目标场景中存在的多个对象的同步识别跟踪与定位以及大大地提高多对象人脸识别的准确性和可靠性。

Description

多对象人脸跟踪方法和系统
技术领域
本发明涉及人脸识别的技术领域，特别涉及多对象人脸跟踪方法和系统。
背景技术
人脸识别作为安全认证手段广泛应用于不同场合中，通过对目标对象进行脸部图像拍摄与识别，能够快速地和准确地确定目标对象的身份信息，从而便于进一步对目标对象进行适应的响应。但是，现有技术的人脸识别在同一次识别过程中只能针对一个人脸图像进行识别处理，其无法同时对同一场景图像中的多个人脸图像进行同步识别跟踪，这使得人脸识别技术无法对大范围全景场景图像进行多对象的人脸识别跟踪，从而严重限制了人脸识别对存在众多人员场合的适用性以及降低多对象人脸识别的准确性和可靠性。
发明内容
针对现有技术存在的缺陷，本发明提供多对象人脸跟踪方法和系统，其通过对目标场景进行拍摄，以此获得关于该目标场景的场景图像，并对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域，并根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理，再根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息；可见，该多对象人脸跟踪方法和系统通过对存在多个人物的目标场景进行拍摄而得到相应的目标场景，并对该目标场景进行预处理以确定其中背景画面与人物画面之间的边界区域，再根据该边界区域分离得到对应的所有人物画面，同时还提取人物画面的人脸区域特征，并根据该人脸区域特征确定每一人物画面对应的人物身份信息，以此实现对同一目标场景的多对象人脸识别跟踪，并且还通过对场景图像进行视差分析，以确定每一人物画面对应的人物之间的相对位置信息，其利用背景画面与人物画面之间在像素灰度级别上的差异来确定两者的边界区域，以此准确地对场景图像中的人物画面进行分离，从而实现对同一目标场景中存在的多个对象的同步识别跟踪与定位以及大大地提高多对象人脸识别的准确性和可靠性。
本发明提供多对象人脸跟踪方法，其特征在于，其包括如下步骤：
步骤S1，对目标场景进行拍摄，以此获得关于所述目标场景的场景图像，并对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域；
步骤S2，根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理；
步骤S3，根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息；
进一步，在所述步骤S1中，对目标场景进行拍摄，以此获得关于所述目标场景的场景图像，并对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域具体包括：
步骤S101，对所述目标场景进行扫描拍摄，以此获得关于所述目标场景的全景化场景图像；
步骤S102，对所述全景场景图像进行像素灰度化转换处理，从而将所述全景场景图像转换为具有0-255灰度等级的灰度化场景图像；
步骤S103，获取所述灰度化场景图像任意两相邻行像素之间的行灰度等级差异值和/或任意两相邻列像素之间的列灰度等级差异值，并将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定所述场景图像中背景画面与人物画面之间的边界像素；
进一步，在所述步骤S2中，根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理具体包括：
步骤S201，根据所述场景图像中背景画面与人物画面之间的边界像素，确定所述人物画面在所述场景图像中的像素覆盖范围；
步骤S202，根据所述像素覆盖范围，从所述场景图像中分离得到所有的人物画面；
步骤S203，确定分离得到的人物画面的脸部区域画面，并对所述脸部区域画面进行人脸五官特征的提取处理，以此得到所述人物画面对应的人脸五官特征信息；
进一步，在所述步骤S3中，根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息具体包括：
步骤S301，将所述人脸五官特征信息与预设人脸五官特征数据库进行比对，从而确定每一画面对应的人物身份信息，并根据所述人物身份信息，对所述场景图像存在的所有人物对象进行人物身份信息的标识；
步骤S302，获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据所述图像视差，确定每一人物画面对应的人物之间的相对距离；
进一步，在所述步骤S302中，获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据所述图像视差，确定每一人物画面对应的人物之间的相对距离具体包括：
步骤S3021，利用下面公式(1)，确定在不同时间点拍摄的两个场景图像得到所述在不同时间点拍摄的两个场景图像的视差比K，
Figure BDA0002857263400000031
在上述公式(1)，(x1(t1),y1(t1))表示t1时间点拍摄的场景图像中第一参照点的坐标位置，(x2(t1),y2(t1))表示t1时间点拍摄的场景图像中第二参照点的坐标位置，(x1(t2),y1(t2))表示t2时间点拍摄的场景图像中第一参照点的坐标位置，(x2(t2),y2(t2))表示t2时间点拍摄的场景图像中第二参照点的坐标位置；
步骤S3022，利用下面公式(2)，根据所述每一人物画面对应的人物脸部中心坐标位置以及所述在不同时间点拍摄的两个场景图像的视差比确定所述每一人物画面对应的人物与所述参照点之间的距离以及角度，
Figure BDA0002857263400000041
在上述公式(2)中，
Figure BDA0002857263400000042
表示第a个人物画面对应的人物脸部中心坐标位置与所述第i参照点的距离，i取值为1或2；当i＝1时表示第一参照点，当i＝2时表示第二参照点，
Figure BDA0002857263400000043
表示第a个人物画面对应的人物脸部中心坐标位置与所述第i参照点的连线和水平方向之间的夹角，S表示现实目标场景中所述第一参照点与第二参照点之间的实际距离，(xi(t2),yi(t2))表示所述t2时间点拍摄的场景图像中第i参照点的坐标位置，(Xa(t2),Ya(t2))表示所述t2时间点拍摄的场景图像中第a个人物画面对应的人物脸部中心坐标；
步骤S3023，利用下面公式(3)，根据所述每一人物画面对应的人物与所述参照点之间的距离以及角度得到所述每一人物画面对应的人物之间的相对距离，
Figure BDA0002857263400000044
在上述公式(3)中，La,b表示所述第a个人物画面对应的人物与第b个人物画面对应的人物之间的相对距离，其中
Figure BDA0002857263400000045
与
Figure BDA0002857263400000046
的取值与步骤A2中求取
Figure BDA0002857263400000047
和
Figure BDA0002857263400000048
的公式相同，但b≠a表示；
这样对所述每一人物画面对应的人物之间两两求取相对距离，则得到所述每一人物画面对应的人物之间的相对距离。
本发明还提供多对象人脸跟踪系统，其特征在于，其包括场景图像获取模块、场景图像预处理模块、人物画面处理模块、人物身份信息确定模块和人物相对位置信息确定模块；其中，
所述场景图像获取模块用于对目标场景进行拍摄，以此获得关于所述目标场景的场景图像；
所述场景图像预处理模块用于对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域；
所述人物画面处理模块用于根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理；
所述人物身份信息确定模块用于根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息；
所述人物相对位置信息确定模块用于根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息；
进一步，所述场景图像获取模块对目标场景进行拍摄，以此获得关于所述目标场景的场景图像具体包括：
对所述目标场景进行扫描拍摄，以此获得关于所述目标场景的全景化场景图像；
以及，
所述场景图像预处理模块对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域具体包括：
对所述全景场景图像进行像素灰度化转换处理，从而将所述全景场景图像转换为具有0-255灰度等级的灰度化场景图像；
再获取所述灰度化场景图像任意两相邻行像素之间的行灰度等级差异值和/或任意两相邻列像素之间的列灰度等级差异值，并将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定所述场景图像中背景画面与人物画面之间的边界像素；
进一步，所述人物画面处理模块根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理具体包括：
根据所述场景图像中背景画面与人物画面之间的边界像素，确定所述人物画面在所述场景图像中的像素覆盖范围；
并根据所述像素覆盖范围，从所述场景图像中分离得到所有的人物画面；
再确定分离得到的人物画面的脸部区域画面，并对所述脸部区域画面进行人脸五官特征的提取处理，以此得到所述人物画面对应的人脸五官特征信息；
进一步，所述人物身份信息确定模块根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息具体包括：
将所述人脸五官特征信息与预设人脸五官特征数据库进行比对，从而确定每一画面对应的人物身份信息，并根据所述人物身份信息，对所述场景图像存在的所有人物对象进行人物身份信息的标识；
以及，
所述人物相对位置信息确定模块根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息具体包括：
获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据所述图像视差，确定每一人物画面对应的人物之间的相对距离。
相比于现有技术，该多对象人脸跟踪方法和系统通过对目标场景进行拍摄，以此获得关于该目标场景的场景图像，并对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域，并根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理，再根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息；可见，该多对象人脸跟踪方法和系统通过对存在多个人物的目标场景进行拍摄而得到相应的目标场景，并对该目标场景进行预处理以确定其中背景画面与人物画面之间的边界区域，再根据该边界区域分离得到对应的所有人物画面，同时还提取人物画面的人脸区域特征，并根据该人脸区域特征确定每一人物画面对应的人物身份信息，以此实现对同一目标场景的多对象人脸识别跟踪，并且还通过对场景图像进行视差分析，以确定每一人物画面对应的人物之间的相对位置信息，其利用背景画面与人物画面之间在像素灰度级别上的差异来确定两者的边界区域，以此准确地对场景图像中的人物画面进行分离，从而实现对同一目标场景中存在的多个对象的同步识别跟踪与定位以及大大地提高多对象人脸识别的准确性和可靠性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的多对象人脸跟踪方法的流程示意图。
图2为本发明提供的多对象人脸跟踪系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的多对象人脸跟踪方法的流程示意图。该多对象人脸跟踪方法包括如下步骤：
步骤S1，对目标场景进行拍摄，以此获得关于该目标场景的场景图像，并对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域；
步骤S2，根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理；
步骤S3，根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息。
上述技术方案的有益效果为：该多对象人脸跟踪方法通过对存在多个人物的目标场景进行拍摄而得到相应的目标场景，并对该目标场景进行预处理以确定其中背景画面与人物画面之间的边界区域，再根据该边界区域分离得到对应的所有人物画面，同时还提取人物画面的人脸区域特征，并根据该人脸区域特征确定每一人物画面对应的人物身份信息，以此实现对同一目标场景的多对象人脸识别跟踪，并且还通过对场景图像进行视差分析，以确定每一人物画面对应的人物之间的相对位置信息，其利用背景画面与人物画面之间在像素灰度级别上的差异来确定两者的边界区域，以此准确地对场景图像中的人物画面进行分离，从而实现对同一目标场景中存在的多个对象的同步识别跟踪与定位以及大大地提高多对象人脸识别的准确性和可靠性。
优选地，在该步骤S1中，对目标场景进行拍摄，以此获得关于该目标场景的场景图像，并对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域具体包括：
步骤S101，对该目标场景进行扫描拍摄，以此获得关于该目标场景的全景化场景图像；
步骤S102，对该全景场景图像进行像素灰度化转换处理，从而将该全景场景图像转换为具有0-255灰度等级的灰度化场景图像；
步骤S103，获取该灰度化场景图像任意两相邻行像素之间的行灰度等级差异值和/或任意两相邻列像素之间的列灰度等级差异值，并将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定该场景图像中背景画面与人物画面之间的边界像素。
上述技术方案的有益效果为：通过对目标场景进行扫描拍摄能够确保对目标场景中存在的所有人物均进行拍摄成像，而由于场景图像中背景画面和人物画面在色度层面上存在差异，相应地该背景画面和人物画面在灰度等级上也会存在相应的差异，通过将全景场景图像转换为灰度化场景图像，能够在放大背景画面与人物画面之间的差异的同时，便于降低后续对背景画面与人物画面进行像素层面上分析处理的难度，而通过将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定该场景图像中背景画面与人物画面之间的边界像素，能够有效地提高边界区域的确定可靠性。
优选地，在该步骤S2中，根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理具体包括：
步骤S201，根据该场景图像中背景画面与人物画面之间的边界像素，确定该人物画面在该场景图像中的像素覆盖范围；
步骤S202，根据该像素覆盖范围，从该场景图像中分离得到所有的人物画面；
步骤S203，确定分离得到的人物画面的脸部区域画面，并对该脸部区域画面进行人脸五官特征的提取处理，以此得到该人物画面对应的人脸五官特征信息。
上述技术方案的有益效果为：当确定场景图像中背景画面与人物画面之间的边界像素后，就能够以该边界像素为基准，将该边界像素包围的区域对应地确定为该人物画面在该场景图像中的像素覆盖范围，这样能够有效地对人物画面进行像素层面上的分离提取；而将通过相应的人脸五官识别算法从分离得到的人物画面的脸部区域画面中提取得到对应的人脸五官特征信息，能够准确地区分不同人物画面各自的特征信息。
优选地，在该步骤S3中，根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息具体包括：
步骤S301，将该人脸五官特征信息与预设人脸五官特征数据库进行比对，从而确定每一画面对应的人物身份信息，并根据该人物身份信息，对该场景图像存在的所有人物对象进行人物身份信息的标识；
步骤S302，获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据该图像视差，确定每一人物画面对应的人物之间的相对距离。
上述技术方案的有益效果为：由于不同人物画面对应的人脸五官特征信息具有独特性，通过将该人脸五官特征信息与预设人脸五官特征数据库进行比对，能够快速地确定每一人物画面对应的人物身份信息；此外，利用不同时间点拍摄的两个场景图像之间的图像视差，确定每一人物画面对应的人物之间的相对距离，能够实现对目标场景中不同人物的跟踪定位。
优选地，在该步骤S302中，获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据该图像视差，确定每一人物画面对应的人物之间的相对距离具体包括：
步骤S3021，利用下面公式(1)，确定在不同时间点拍摄的两个场景图像得到该在不同时间点拍摄的两个场景图像的视差比K，
Figure BDA0002857263400000101
在上述公式(1)，(x1(t1),y1(t1))表示t1时间点拍摄的场景图像中第一参照点的坐标位置，(x2(t1),y2(t1))表示t1时间点拍摄的场景图像中第二参照点的坐标位置，(x1(t2),y1(t2))表示t2时间点拍摄的场景图像中第一参照点的坐标位置，(x2(t2),y2(t2))表示t2时间点拍摄的场景图像中第二参照点的坐标位置；
步骤S3022，利用下面公式(2)，根据该每一人物画面对应的人物脸部中心坐标位置以及该在不同时间点拍摄的两个场景图像的视差比确定该每一人物画面对应的人物与该参照点之间的距离以及角度，
Figure BDA0002857263400000111
在上述公式(2)中，
Figure BDA0002857263400000112
表示第a个人物画面对应的人物脸部中心坐标位置与该第i参照点的距离，i取值为1或2；当i＝1时表示第一参照点，当i＝2时表示第二参照点，
Figure BDA0002857263400000113
表示第a个人物画面对应的人物脸部中心坐标位置与该第i参照点的连线和水平方向之间的夹角，S表示现实目标场景中该第一参照点与第二参照点之间的实际距离，(xi(t2),yi(t2))表示该t2时间点拍摄的场景图像中第i参照点的坐标位置，(Xa(t2),Ya(t2))表示该t2时间点拍摄的场景图像中第a个人物画面对应的人物脸部中心坐标；
步骤S3023，利用下面公式(3)，根据该每一人物画面对应的人物与该参照点之间的距离以及角度得到该每一人物画面对应的人物之间的相对距离，
Figure BDA0002857263400000114
在上述公式(3)中，La,b表示该第a个人物画面对应的人物与第b个人物画面对应的人物之间的相对距离，其中
Figure BDA0002857263400000115
与
Figure BDA0002857263400000116
的取值与步骤A2中求取
Figure BDA0002857263400000117
和
Figure BDA0002857263400000118
的公式相同，但b≠a表示；
这样对该每一人物画面对应的人物之间两两求取相对距离，则得到该每一人物画面对应的人物之间的相对距离。
上述技术方案的有益效果为：利用公式(1)得到在不同时间点拍摄的两个场景图像的视差比，从而得到在不同时间点拍摄的两个场景图像之间的视差关系，进而便于后续求取相对距离；然后利用公式(2)得到每一人物画面对应的人物与参照点之间的距离以及角度，从而可以后续以参照点作为相对位置求取出每一人物画面对应的人物之间的相对距离；最后利用公式(3)得到每一人物画面对应的人物之间的相对距离，使得利用图像视差求取每一人物画面对应的人物之间的相对距离更加的准确并且用两个参照点求取相对距离保证了系统的可靠性。
参阅图2，为本发明实施例提供的多对象人脸跟踪系统的结构示意图。该多对象人脸跟踪系统包括场景图像获取模块、场景图像预处理模块、人物画面处理模块、人物身份信息确定模块和人物相对位置信息确定模块；其中，
该场景图像获取模块用于对目标场景进行拍摄，以此获得关于该目标场景的场景图像；
该场景图像预处理模块用于对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域；
该人物画面处理模块用于根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理；
该人物身份信息确定模块用于根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息；
该人物相对位置信息确定模块用于根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息。
上述技术方案的有益效果为：该多对象人脸跟踪系统通过对存在多个人物的目标场景进行拍摄而得到相应的目标场景，并对该目标场景进行预处理以确定其中背景画面与人物画面之间的边界区域，再根据该边界区域分离得到对应的所有人物画面，同时还提取人物画面的人脸区域特征，并根据该人脸区域特征确定每一人物画面对应的人物身份信息，以此实现对同一目标场景的多对象人脸识别跟踪，并且还通过对场景图像进行视差分析，以确定每一人物画面对应的人物之间的相对位置信息，其利用背景画面与人物画面之间在像素灰度级别上的差异来确定两者的边界区域，以此准确地对场景图像中的人物画面进行分离，从而实现对同一目标场景中存在的多个对象的同步识别跟踪与定位以及大大地提高多对象人脸识别的准确性和可靠性。
优选地，该场景图像获取模块对目标场景进行拍摄，以此获得关于该目标场景的场景图像具体包括：
对该目标场景进行扫描拍摄，以此获得关于该目标场景的全景化场景图像；
以及，
该场景图像预处理模块对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域具体包括：
对该全景场景图像进行像素灰度化转换处理，从而将该全景场景图像转换为具有0-255灰度等级的灰度化场景图像；
再获取该灰度化场景图像任意两相邻行像素之间的行灰度等级差异值和/或任意两相邻列像素之间的列灰度等级差异值，并将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定该场景图像中背景画面与人物画面之间的边界像素。
上述技术方案的有益效果为：通过对目标场景进行扫描拍摄能够确保对目标场景中存在的所有人物均进行拍摄成像，而由于场景图像中背景画面和人物画面在色度层面上存在差异，相应地该背景画面和人物画面在灰度等级上也会存在相应的差异，通过将全景场景图像转换为灰度化场景图像，能够在放大背景画面与人物画面之间的差异的同时，便于降低后续对背景画面与人物画面进行像素层面上分析处理的难度，而通过将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定该场景图像中背景画面与人物画面之间的边界像素，能够有效地提高边界区域的确定可靠性。
优选地，该人物画面处理模块根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理具体包括：
根据该场景图像中背景画面与人物画面之间的边界像素，确定该人物画面在该场景图像中的像素覆盖范围；
并根据该像素覆盖范围，从该场景图像中分离得到所有的人物画面；
再确定分离得到的人物画面的脸部区域画面，并对该脸部区域画面进行人脸五官特征的提取处理，以此得到该人物画面对应的人脸五官特征信息。
上述技术方案的有益效果为：当确定场景图像中背景画面与人物画面之间的边界像素后，就能够以该边界像素为基准，将该边界像素包围的区域对应地确定为该人物画面在该场景图像中的像素覆盖范围，这样能够有效地对人物画面进行像素层面上的分离提取；而将通过相应的人脸五官识别算法从分离得到的人物画面的脸部区域画面中提取得到对应的人脸五官特征信息，能够准确地区分不同人物画面各自的特征信息。
优选地，该人物身份信息确定模块根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息具体包括：
将该人脸五官特征信息与预设人脸五官特征数据库进行比对，从而确定每一画面对应的人物身份信息，并根据该人物身份信息，对该场景图像存在的所有人物对象进行人物身份信息的标识；
以及，
该人物相对位置信息确定模块根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息具体包括：
获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据该图像视差，确定每一人物画面对应的人物之间的相对距离。
上述技术方案的有益效果为：由于不同人物画面对应的人脸五官特征信息具有独特性，通过将该人脸五官特征信息与预设人脸五官特征数据库进行比对，能够快速地确定每一人物画面对应的人物身份信息；此外，利用不同时间点拍摄的两个场景图像之间的图像视差，确定每一人物画面对应的人物之间的相对距离，能够实现对目标场景中不同人物的跟踪定位。
从上述实施例的内容可知，该多对象人脸跟踪方法和系统通过对目标场景进行拍摄，以此获得关于该目标场景的场景图像，并对该场景图像进行预处理，从而确定该场景图像中背景画面与人物画面之间的边界区域，并根据该边界区域，从该场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理，再根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据该场景图像，确定每一人物画面对应的人物之间的相对位置信息；可见，该多对象人脸跟踪方法和系统通过对存在多个人物的目标场景进行拍摄而得到相应的目标场景，并对该目标场景进行预处理以确定其中背景画面与人物画面之间的边界区域，再根据该边界区域分离得到对应的所有人物画面，同时还提取人物画面的人脸区域特征，并根据该人脸区域特征确定每一人物画面对应的人物身份信息，以此实现对同一目标场景的多对象人脸识别跟踪，并且还通过对场景图像进行视差分析，以确定每一人物画面对应的人物之间的相对位置信息，其利用背景画面与人物画面之间在像素灰度级别上的差异来确定两者的边界区域，以此准确地对场景图像中的人物画面进行分离，从而实现对同一目标场景中存在的多个对象的同步识别跟踪与定位以及大大地提高多对象人脸识别的准确性和可靠性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.多对象人脸跟踪方法，其特征在于，其包括如下步骤：
步骤S1，对目标场景进行拍摄，以此获得关于所述目标场景的场景图像，并对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域；
步骤S2，根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理；
步骤S3，根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息。
2.如权利要求1所述的多对象人脸跟踪方法，其特征在于：
在所述步骤S1中，对目标场景进行拍摄，以此获得关于所述目标场景的场景图像，并对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域具体包括：
步骤S101，对所述目标场景进行扫描拍摄，以此获得关于所述目标场景的全景化场景图像；
步骤S102，对所述全景场景图像进行像素灰度化转换处理，从而将所述全景场景图像转换为具有0-255灰度等级的灰度化场景图像；
步骤S103，获取所述灰度化场景图像任意两相邻行像素之间的行灰度等级差异值和/或任意两相邻列像素之间的列灰度等级差异值，并将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定所述场景图像中背景画面与人物画面之间的边界像素。
3.如权利要求2所述的多对象人脸跟踪方法，其特征在于：
在所述步骤S2中，根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理具体包括：
步骤S201，根据所述场景图像中背景画面与人物画面之间的边界像素，确定所述人物画面在所述场景图像中的像素覆盖范围；
步骤S202，根据所述像素覆盖范围，从所述场景图像中分离得到所有的人物画面；
步骤S203，确定分离得到的人物画面的脸部区域画面，并对所述脸部区域画面进行人脸五官特征的提取处理，以此得到所述人物画面对应的人脸五官特征信息。
4.如权利要求3所述的多对象人脸跟踪方法，其特征在于：
在所述步骤S3中，根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息，并根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息具体包括：
步骤S301，将所述人脸五官特征信息与预设人脸五官特征数据库进行比对，从而确定每一画面对应的人物身份信息，并根据所述人物身份信息，对所述场景图像存在的所有人物对象进行人物身份信息的标识；
步骤S302，获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据所述图像视差，确定每一人物画面对应的人物之间的相对距离。
5.如权利要求4所述的多对象人脸跟踪方法，其特征在于：
在所述步骤S302中，获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据所述图像视差，确定每一人物画面对应的人物之间的相对距离具体包括：
步骤S3021，利用下面公式(1)，确定在不同时间点拍摄的两个场景图像得到所述在不同时间点拍摄的两个场景图像的视差比K，
Figure FDA0002857263390000031
在上述公式(1)，(x1(t1),y1(t1))表示t1时间点拍摄的场景图像中第一参照点的坐标位置，(x2(t1),y2(t1))表示t1时间点拍摄的场景图像中第二参照点的坐标位置，(x1(t2),y1(t2))表示t2时间点拍摄的场景图像中第一参照点的坐标位置，(x2(t2),y2(t2))表示t2时间点拍摄的场景图像中第二参照点的坐标位置；
步骤S3022，利用下面公式(2)，根据所述每一人物画面对应的人物脸部中心坐标位置以及所述在不同时间点拍摄的两个场景图像的视差比确定所述每一人物画面对应的人物与所述参照点之间的距离以及角度，
Figure FDA0002857263390000032
在上述公式(2)中，
Figure FDA0002857263390000033
表示第a个人物画面对应的人物脸部中心坐标位置与所述第i参照点的距离，i取值为1或2；当i＝1时表示第一参照点，当i＝2时表示第二参照点，
Figure FDA0002857263390000034
表示第a个人物画面对应的人物脸部中心坐标位置与所述第i参照点的连线和水平方向之间的夹角，S表示现实目标场景中所述第一参照点与第二参照点之间的实际距离，(xi(t2),yi(t2))表示所述t2时间点拍摄的场景图像中第i参照点的坐标位置，(Xa(t2),Ya(t2))表示所述t2时间点拍摄的场景图像中第a个人物画面对应的人物脸部中心坐标；
步骤S3023，利用下面公式(3)，根据所述每一人物画面对应的人物与所述参照点之间的距离以及角度得到所述每一人物画面对应的人物之间的相对距离，
Figure FDA0002857263390000041
在上述公式(3)中，La,b表示所述第a个人物画面对应的人物与第b个人物画面对应的人物之间的相对距离，其中
Figure FDA0002857263390000042
与
Figure FDA0002857263390000043
的取值与步骤A2中求取
Figure FDA0002857263390000044
和
Figure FDA0002857263390000045
的公式相同，但b≠a表示；
这样对所述每一人物画面对应的人物之间两两求取相对距离，则得到所述每一人物画面对应的人物之间的相对距离。
6.多对象人脸跟踪系统，其特征在于，其包括场景图像获取模块、场景图像预处理模块、人物画面处理模块、人物身份信息确定模块和人物相对位置信息确定模块；其中，
所述场景图像获取模块用于对目标场景进行拍摄，以此获得关于所述目标场景的场景图像；
所述场景图像预处理模块用于对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域；
所述人物画面处理模块用于根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理；所述人物身份信息确定模块用于根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息；
所述人物相对位置信息确定模块用于根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息。
7.如权利要求5所述的多对象人脸跟踪系统，其特征在于：
所述场景图像获取模块对目标场景进行拍摄，以此获得关于所述目标场景的场景图像具体包括：
对所述目标场景进行扫描拍摄，以此获得关于所述目标场景的全景化场景图像；
以及，
所述场景图像预处理模块对所述场景图像进行预处理，从而确定所述场景图像中背景画面与人物画面之间的边界区域具体包括：
对所述全景场景图像进行像素灰度化转换处理，从而将所述全景场景图像转换为具有0-255灰度等级的灰度化场景图像；
再获取所述灰度化场景图像任意两相邻行像素之间的行灰度等级差异值和/或任意两相邻列像素之间的列灰度等级差异值，并将具有最大行灰度等级差异值和/或最大列灰度等级差异值对应的行像素和/或列像素作为确定所述场景图像中背景画面与人物画面之间的边界像素。
8.如权利要求6所述的多对象人脸跟踪系统，其特征在于：
所述人物画面处理模块根据所述边界区域，从所述场景图像中分离得到所有的人物画面，并对所有人物画面进行脸部区域特征的提取处理具体包括：
根据所述场景图像中背景画面与人物画面之间的边界像素，确定所述人物画面在所述场景图像中的像素覆盖范围；
并根据所述像素覆盖范围，从所述场景图像中分离得到所有的人物画面；再确定分离得到的人物画面的脸部区域画面，并对所述脸部区域画面进行人脸五官特征的提取处理，以此得到所述人物画面对应的人脸五官特征信息。
9.如权利要求7所述的多对象人脸跟踪系统，其特征在于：
所述人物身份信息确定模块根据提取得到的脸部区域特征，确定每一人物画面对应的人物身份信息具体包括：
将所述人脸五官特征信息与预设人脸五官特征数据库进行比对，从而确定每一画面对应的人物身份信息，并根据所述人物身份信息，对所述场景图像存在的所有人物对象进行人物身份信息的标识；
以及，
所述人物相对位置信息确定模块根据所述场景图像，确定每一人物画面对应的人物之间的相对位置信息具体包括：
获取在不同时间点拍摄的两个场景图像之间的图像视差，并根据所述图像视差，确定每一人物画面对应的人物之间的相对距离。
CN202011556725.0A 2020-12-24 2020-12-24 多对象人脸跟踪方法和系统 Active CN112614160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011556725.0A CN112614160B (zh) 2020-12-24 2020-12-24 多对象人脸跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011556725.0A CN112614160B (zh) 2020-12-24 2020-12-24 多对象人脸跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN112614160A true CN112614160A (zh) 2021-04-06
CN112614160B CN112614160B (zh) 2021-08-31

Family

ID=75244986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011556725.0A Active CN112614160B (zh) 2020-12-24 2020-12-24 多对象人脸跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN112614160B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937303A (zh) * 2022-06-07 2022-08-23 慧之安信息技术股份有限公司 基于人脸识别的景区登记监控方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010000025A1 (en) * 1997-08-01 2001-03-15 Trevor Darrell Method and apparatus for personnel detection and tracking
US20070165931A1 (en) * 2005-12-07 2007-07-19 Honda Motor Co., Ltd. Human being detection apparatus, method of detecting human being, and human being detecting program
CN104424648A (zh) * 2013-08-20 2015-03-18 株式会社理光 对象跟踪方法和设备
CN105913013A (zh) * 2016-04-08 2016-08-31 青岛万龙智控科技有限公司 双目视觉人脸识别算法
CN108268824A (zh) * 2016-12-31 2018-07-10 广州映博智能科技有限公司 一种立体人脸跟踪及表情识别方法
CN108419014A (zh) * 2018-03-20 2018-08-17 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN109711419A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN110232323A (zh) * 2019-05-13 2019-09-13 特斯联（北京）科技有限公司 一种用于人群的多人脸并行快速识别方法及其装置
CN110245561A (zh) * 2019-05-09 2019-09-17 深圳市锐明技术股份有限公司 一种人脸识别方法及装置
CN110545378A (zh) * 2019-09-06 2019-12-06 广州市奥威亚电子科技有限公司 一种多人场景的智能识别拍摄的系统和方法
CN110572570A (zh) * 2019-09-06 2019-12-13 广州市奥威亚电子科技有限公司 一种多人场景的智能识别拍摄的方法、系统及存储介质
CN111444817A (zh) * 2020-03-24 2020-07-24 咪咕文化科技有限公司 一种人物图像识别方法、装置、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010000025A1 (en) * 1997-08-01 2001-03-15 Trevor Darrell Method and apparatus for personnel detection and tracking
US20070165931A1 (en) * 2005-12-07 2007-07-19 Honda Motor Co., Ltd. Human being detection apparatus, method of detecting human being, and human being detecting program
CN104424648A (zh) * 2013-08-20 2015-03-18 株式会社理光 对象跟踪方法和设备
CN105913013A (zh) * 2016-04-08 2016-08-31 青岛万龙智控科技有限公司 双目视觉人脸识别算法
CN108268824A (zh) * 2016-12-31 2018-07-10 广州映博智能科技有限公司 一种立体人脸跟踪及表情识别方法
CN108419014A (zh) * 2018-03-20 2018-08-17 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN109711419A (zh) * 2018-12-14 2019-05-03 深圳壹账通智能科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN110245561A (zh) * 2019-05-09 2019-09-17 深圳市锐明技术股份有限公司 一种人脸识别方法及装置
CN110232323A (zh) * 2019-05-13 2019-09-13 特斯联（北京）科技有限公司 一种用于人群的多人脸并行快速识别方法及其装置
CN110545378A (zh) * 2019-09-06 2019-12-06 广州市奥威亚电子科技有限公司 一种多人场景的智能识别拍摄的系统和方法
CN110572570A (zh) * 2019-09-06 2019-12-13 广州市奥威亚电子科技有限公司 一种多人场景的智能识别拍摄的方法、系统及存储介质
CN111444817A (zh) * 2020-03-24 2020-07-24 咪咕文化科技有限公司 一种人物图像识别方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937303A (zh) * 2022-06-07 2022-08-23 慧之安信息技术股份有限公司 基于人脸识别的景区登记监控方法
CN114937303B (zh) * 2022-06-07 2023-03-24 慧之安信息技术股份有限公司 基于人脸识别的景区登记监控方法

Also Published As

Publication number Publication date
CN112614160B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111241975B (zh) 一种基于移动端边缘计算的人脸识别检测方法及系统
WO2016149944A1 (zh) 用于识别人脸的方法、系统和计算机程序产品
CN110796100B (zh) 步态识别方法、装置、终端及存储装置
EP3614300A1 (en) People-credentials comparison authentication method, system and camera
CN106991448A (zh) 一种人像比对处理方法
CN112949365A (zh) 活体脸部辨识系统与方法
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN111428689A (zh) 一种多池化信息融合的人脸图像特征提取方法
CN111582118A (zh) 一种人脸识别方法及装置
CN112528902A (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN112614160B (zh) 多对象人脸跟踪方法和系统
CN111767879A (zh) 一种活体检测方法
KR100716422B1 (ko) 패턴인식을 이용한 매칭 서비스 시스템 및 방법
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
CN107025435B (zh) 一种人脸识别处理方法和系统
JP2000293689A (ja) 個人認証装置および個人認証方法
CN113014914B (zh) 一种基于神经网络的单人换脸短视频的识别方法和系统
US20220207261A1 (en) Method and apparatus for detecting associated objects
CN111291586B (zh) 活体检测方法、装置、电子设备及计算机可读存储介质
Zheng et al. Joint Multiple-type Features Encoding for Palmprint Recognition
CN112380966A (zh) 基于特征点重投影的单眼虹膜匹配方法
CN112395580A (zh) 一种认证方法、装置、系统、存储介质和计算机设备
KR102389066B1 (ko) 얼굴 인식을 위한 얼굴영상 생성 방법
CN112580541B (zh) 聚类化人脸识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant