CN117079330A - 一种人脸图像跟踪方法及装置、计算机可读介质 - Google Patents
一种人脸图像跟踪方法及装置、计算机可读介质 Download PDFInfo
- Publication number
- CN117079330A CN117079330A CN202311075896.5A CN202311075896A CN117079330A CN 117079330 A CN117079330 A CN 117079330A CN 202311075896 A CN202311075896 A CN 202311075896A CN 117079330 A CN117079330 A CN 117079330A
- Authority
- CN
- China
- Prior art keywords
- display frame
- frame
- information
- size
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人脸图像跟踪方法及装置、计算机可读介质,所述方法包括步骤S100:从图像中获取人脸尺寸信息和人脸位置信息;步骤S200:根据所述人脸尺寸信息计算出目标显示框尺寸信息,至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息;步骤S300:根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息;步骤S400:根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息;步骤S500:显示所述窗口图像信息对应的目标图像;本发明具有可以使得人脸图像显示更加稳定,提高了用户体验。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种人脸图像跟踪方法及装置、计算机可读介质。
背景技术
人脸识别是通过AI(Artificial Intelligence,人工智能)算法实现的,AI人脸识别算法是人工智能领域的一种机器学习算法,该算法根据大量的人脸数据演练积累到一定的精度后投入使用,使用时输入图片,然后推理出图片内含有的人脸信息。由于机器学习的AI人脸识别算法是基于学习过程中的各种数据而进行的算法,没有像人一样强大的逻辑思维,所以前后两帧输入图像的色彩度,亮度等参数的细微变化,都会导致检测到的人脸的细微变化,也就是人脸位置和大小的抖动。同时视频图像中的人不可能一直保持不动,人自身也会轻微晃动或者前后左右移动,都会导致人脸的位置和大小的变动。
人脸跟踪的目标是将人脸图像放置在显示窗口中,所以根据人脸识别得到的抖动或轻微变动数据,计算出的窗口位置和窗口大小总会存在细微抖动,给人看的感觉就像看电视时,摄像机不是固定不动的,而是在不停的晃动,体验感不好。
发明内容
基于上述现状,为了克服上述的问题,本发明提供一种人脸图像跟踪方法及装置、计算机可读介质。
本发明提供一种人脸图像跟踪方法,所述方法包括:
步骤S100:从图像中获取人脸尺寸信息和人脸位置信息;
步骤S200:根据所述人脸尺寸信息计算出目标显示框尺寸信息,至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息;
步骤S300:根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息;
步骤S400:根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息;
步骤S500:显示所述窗口图像信息对应的目标图像;
在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间。
优选地,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height;所述根据所述人脸尺寸信息计算出目标显示框尺寸信息包括:
步骤S201a:计算宽度刻度倍数scale_width和高度刻度倍数scale_height;所述宽度刻度倍数scale_width为所述人脸宽度face_width相对于预设的宽最小刻度width的倍数,所述高度刻度倍数scale_height为所述人脸高度face_height相对于预设的高最小刻度height的倍数;
步骤S201b:取所述宽度刻度倍数scale_width和所述高度刻度倍数scale_height的最大值为最大刻度倍数scale;
步骤S201c:计算所述目标显示框尺寸信息包括的显示框宽度w和显示框高度h:
w=scale*width*N;
h=scale*height*N;
N为大于等于1的常数。
优选地,所述图像为第一帧图像时,所述目标显示框尺寸信息即为所述本帧显示框尺寸信息;
所述图像非第一帧图像时,所述至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息包括:
步骤S202a:判断所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差异是否超过预设的第一尺寸;若超过则执行步骤S202b和步骤S202c;反之,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;
所述步骤S202b为:基于所述当前显示框尺寸信息生成所述本帧显示框尺寸信息;
所述步骤S202c为:判断所述当前显示框尺寸信息对应的尺寸与所述目标显示框尺寸信息对应的尺寸差异是否小于预设的第二尺寸,所述第二尺寸小于所述第一尺寸;若是,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;若否,则继续执行所述步骤S202b以生成所述本帧显示框尺寸信息。
优选地,在所述步骤S202b中,所述基于当前显示框尺寸信息生成所述本帧显示框尺寸信息包括:
将所述当前显示框尺寸信息对应的尺寸调整一个最小刻度,或调整k*A以得到所述本帧显示框尺寸信息,其中,A为所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差;k大于0,小于1。
优选地,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height;所述人脸位置信息包括人脸起始x坐标face_xst和人脸起始y坐标face_yst;
在所述步骤S300中,所述目标显示框位置信息包括窗口起始x坐标xst和窗口起始y坐标yst:
xst=face_xst-|win_width-face_width|/2;
yst=face_yst-|(win_height-face_height|/2;
win_width和win_height分别为所述本帧显示框尺寸信息确定的宽和高。
优选地,所述图像为第一帧图像时,所述目标显示框位置信息即为本帧显示框位置信息;
所述图像非第一帧图像时,所述至少根据所述目标显示框位置信息得到本帧显示框位置信息包括:
步骤S301:判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第一距离;若超过则执行步骤S302和步骤S303,反之,则将所述当前显示框位置信息作为所述本帧显示框位置信息;
所述步骤S302为:基于所述当前显示框位置信息生成所述本帧显示框位置信息;
所述步骤S303为:判断当前显示框位置信息与所述目标显示框位置信息对应的位置之间的距离是否小于预设的第二距离,所述第二距离小于所述第一距离;若是,则将所述当前显示框位置信息作为所述本帧显示框位置信息;若否,则继续执行所述步骤S302以生成所述本帧显示框位置信息。
优选地,所述基于所述当前显示框位置信息生成所述本帧显示框位置信息包括:
步骤S302a:判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第三距离时,如果超过则执行步骤S302b,反之,则执行步骤S302c;其中,所述第三距离大于所述第一距离;
所述步骤S302b为:将所述当前显示框位置信息对应的位置移动k*B以得到所述本帧显示框位置信息,其中,B为所述目标显示框位置信息所对应的位置与所述当前显示框位置信息对应的位置差;k大于0,小于1;
所述步骤S302c为:将所述当前显示框位置信息对应的位置移动一个最小刻度以得到所述本帧显示框位置信息。
优选地,在步骤S300中,计算得到所述目标显示框位置信息后,检测所述目标显示框位置信息是否位于预设坐标范围中,若否,则以所述预设坐标范围的最小坐标值或最大坐标值作为所述本帧显示框位置信息。
本发明还提供一种人脸图像跟踪装置,所述装置包括:
人脸信息识别模块,用于从图像中获取人脸尺寸信息和人脸位置信息;
本帧显示框尺寸信息生成模块,用于至少根据所述人脸尺寸信息确定本帧显示框尺寸信息;
本帧显示框位置信息生成模块,用于根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息;
窗口图像信息生成模块,用于根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息;
显示模块,用于显示所述窗口图像信息对应的目标图像;
显示模块,用于显示所述窗口图像信息对应的目标图像;
在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间。
本发明还提供一种计算机可读介质,所述计算机可读介质存储有计算机程序,该计算机程序被处理器执行时能实现如上所述的人脸图像跟踪方法。
本发明所提供的一种人脸图像跟踪方法及装置、计算机可读介质,通过计算本帧显示框尺寸信息和本帧显示框位置信息来获取窗口信息,且由于在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间,可以使得人脸图像显示更加稳定,有效缓解位置、缩放抖动给用户带来的不适感,不会有立即切图的突兀感,提高了用户体验。
本发明的其他有益效果,将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述,本领域技术人员通过这些技术特征和技术方案的介绍,应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
图1为本发明实施例一种人脸图像跟踪方法的流程图。
图2为本发明实施例一种人脸图像跟踪方法中的步骤S200的详细流程图。
图3为本发明实施例一种人脸图像跟踪方法中的步骤S201的详细流程图。
图4为本发明实施例一种人脸图像跟踪方法中的步骤S202的详细流程图。
图5为本发明实施例一种人脸图像跟踪方法中的步骤S300的详细流程图。
图6为本发明实施例一种人脸图像跟踪方法中的步骤S302的详细流程图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分,为了避免混淆本发明的实质,公知的方法、过程、流程、元件并没有详细叙述。
此外,本领域普通技术人员应当理解,在此提供的附图都是为了说明的目的,并且附图不一定是按比例绘制的。
除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明涉及人脸图像跟踪技术,具体来说是:图像设备从外界获取图像,图像可以是图像设备拍摄得到,或者图像设备录制形成的视频流中得到。将图像输入人脸识别模型进行推理,人脸识别模型识别出是否有人脸以及人脸信息,人脸信息包括表征人脸在图像中位置的人脸位置和表征人脸大小的人脸尺寸。人脸识别模型输出人脸信息后,跟踪系统利用输出的人脸尺寸和人脸位置,处理得到窗口图像信息。窗口图像信息即为显示给用户观看的内容所对应的信息,在人脸跟踪场景下,窗口图像信息即为人脸信息。可以理解,处理得到窗口图像信息的具体方法不做限定,如在图片裁切的应用场景下,跟踪系统通过算法计算得到显示框位置信息和显示框尺寸信息,在显示框位置信息对应的图像的位置处截取显示框尺寸信息对应尺寸的图像得到窗口图像信息。在变焦相机的应用场景下,跟踪系统通过算法计算得到显示框位置信息和显示框尺寸信息,显示框位置信息确定变焦相机的转动角度,显示框尺寸信息确定相机的焦距,进而通过相机转动和焦距调节输出窗口图像信息。窗口图像信息经窗口显示。
可以理解,显示框围绕的区域指的是图像上对应窗口图像信息的区域,该区域的宽度和高度对应为显示框尺寸信息,即变焦相机的焦距或图片裁剪时的宽和高,该尺寸大小的调整对应的是变焦相机的焦距调整和图片裁剪时长和高的调整,改变大小可以让显示器里看到的图像放大或缩小。界定该区域相对位置的坐标(原点)对应为显示框位置信息。在一些实施例中,将变焦相机采集图像的中心坐标或图片裁剪的中心坐标作为显示框位置信息。该坐标对应的是变焦相机的物理移动或图片裁剪时移动裁剪窗口中心坐标,可以让显示器里看到的图像上下左右移动。在另外一些实施例中,也可以将变焦相机采集图像中的某一个定点作为显示框位置信息,如,图像中的某一顶点,本申请实施例不以显示位置信息的选取为限。
举例来说,在图片裁切场景下,假设原始图像1920*1080,窗口要求的图像640*360,根据跟踪系统计算出的显示框位置信息和显示框尺寸信息从原始图像中抠出大小160*90图像(窗口图像信息),经放大后至640*360显示在窗口中。如果是在变焦相机场景下,对应调整相机的角度和焦距即可得到窗口图像信息。
可以理解,人脸跟踪算法是将人脸模型识别到的同一张人脸信息,通过算法筛选和计算后,显示在同一个固定的窗口中,如原始图像中检测到两张人脸:脸1,脸2,跟踪框1和跟踪框2分别显示脸1和脸2及周边一定范围内的周围图像,如视频流中的脸1和脸2不断地移动,则跟踪框内的图像对应的脸移动或缩放。一旦跟踪框和某个人脸id对应后,该跟踪框的每一帧只显示该人脸id对应的脸和周围图像直到该人脸彻底消失,跟踪框和人脸的一一对应,有更好的显示效果。
请参阅图1,一种人脸图像跟踪方法,其包括步骤S100至步骤S500。
在步骤S100中,从图像中获取人脸尺寸信息和人脸位置信息。
在步骤S200中,根据所述人脸尺寸信息计算出目标显示框尺寸信息,至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息。
在步骤S300中,根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息。
在步骤S400中,根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息。
在步骤S500中,显示所述窗口图像信息对应的目标图像。
其中,在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间。
可以理解,目标显示框尺寸信息和目标显示框位置信息对应的目标显示框围绕的区域指的是当前人脸在理想情况下被显示的区域。
可以理解,为了提高用户体验,在一些情况下,在获取到人脸尺寸信息和人脸位置信息后,不会直接显示目标显示框尺寸信息和目标显示框位置信息所确定的窗口图像信息,而是显示本帧显示框尺寸信息和本帧显示框位置信息确定的窗口图像信息,本帧显示框尺寸信息和本帧显示框位置信息对应的尺寸和位置是逼近目标显示框尺寸信息和目标显示框位置信息所对应的尺寸和位置的。
可以理解,本发明所提供的一种人脸图像跟踪方法,通过计算本帧显示框尺寸信息和本帧显示框位置信息来获取窗口信息,且由于在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间,可以使得人脸图像显示更加稳定,有效缓解位置、缩放抖动给用户带来的不适感,不会有立即切图的突兀感,提高了用户体验。
在本发明所提供的一种人脸图像跟踪方法所包括的步骤S100中,从图像中获取人脸尺寸信息和人脸位置信息;其中,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height;所述人脸位置信息包括人脸起始x坐标face_xst和人脸起始y坐标face_yst。
可以理解,从图像中获取人脸尺寸信息和人脸位置信息可以通过任何现有的技术手段实现,如采用人脸识别模型识别出图像中是否有人脸以及人脸信息,由于这部分内容属于现有技术,本发明中不再赘述。
在本发明所提供的一种人脸图像跟踪方法所包括的步骤S200中,至少根据所述人脸尺寸信息确定本帧显示框尺寸信息。
可以理解,本帧显示框的尺寸信息对应的尺寸即对应为即为即将被显示的目标图像所对应的显示框尺寸。
可以理解,为了更可能完整显示人脸,本帧显示框尺寸信息对应的尺寸大于人脸尺寸信息对应的尺寸。
请参阅图2,在一些实施例中,步骤S200具体包括:
步骤S201:根据所述人脸尺寸信息计算出目标显示框尺寸信息;
步骤S202:根据所述目标显示框尺寸信息及当前显示框尺寸信息或基于所述目标显示框尺寸信息确定所述本帧显示框尺寸信息。
可以理解,在一些实施例中,根据人脸尺寸信息计算出来的目标显示框尺寸信息与当前显示框尺寸信息所对应的尺寸相差较大时,如果直接将当前的显示框尺寸调整为目标显示框尺寸信息对应的尺寸,则显示框忽大忽小,给人的感觉就像摄像机和目标景物距离不是固定的,而是不停的拉近推远,体验感不好,而通过中间值本帧显示框尺寸信息代替目标显示框尺寸信息则可以有效缓解所述不良体验。
可以理解,所述本帧显示框尺寸信息可以逐轮被更新,从而达到本帧显示框尺寸信息对应的尺寸逐渐接近目标显示框尺寸信息对应的尺寸。
在一些实施例中,直接根据人脸尺寸信息确定本帧显示框尺寸信息,如人脸尺寸信息对应的尺寸加上设定值即确定为目标显示框尺寸信息或本帧显示框尺寸信息。
请参阅图3,在一些实施例中,根据所述人脸尺寸信息计算出目标显示框尺寸信息包括:
步骤S201a:计算宽度刻度倍数scale_width和高度刻度倍数scale_height;所述宽度刻度倍数scale_width为所述人脸宽度face_width相对于预设的宽最小刻度width的倍数,所述高度刻度倍数scale_height为所述人脸高度face_height相对于预设的高最小刻度height的倍数;
步骤S201b:取所述宽度刻度倍数scale_width和所述高度刻度倍数scale_height的最大值为最大刻度倍数scale;
步骤S201c:计算所述目标显示框尺寸信息包括的显示框宽度w和显示框高度h:
w=scale*width*N;
h=scale*height*N;
N为大于等于1的常数。
可以理解,本发明中所提及的宽和高均具有固定比例。
作为一种具体实施例,宽最小刻度width与高最小刻度height可以为16:9,其具体不做限定,可以根据图像大小、窗口大小等进行设定,通常,宽最小刻度width与高最小刻度height取值小于窗口大小,远小于图像大小。
为了更好的显示人脸和周边图像,所以设置目标显示框尺寸是人脸尺寸的N倍,其中,N为正整数,N>1,作为一种具体实施例,N=2。。在一些实施例中,目标显示框尺寸与人脸尺寸不存在整数倍关系,为了确保人脸能够完整显示,N采用向上舍入取整得到。如,目标显示框尺寸与人脸尺寸的比值为3.2,则向上舍入取整后,N的值为4。
作为一种实施例,在步骤S201a,宽度刻度倍数scale_width和高度刻度倍数scale_height的计算公式如下:
scale_width=face_width/width+1;
scale_height=face_height/height+1。
在以上两个计算公式中,“+1”是因为整数除法运算规则里,会丢弃末尾小于除数的部分,因此,为了确保人脸能够完整显示,会在计算出face_width/width,或者计算出face_height后,再进行“+1”。如计算出face_width/width理论上计算结果为2.1,但计算系统显示结果为2,则scale_width等于3(2+1=3)。可以理解,采用上述计算方式,可以确保人脸的完整显示,且便于为人脸计算得到合适的目标显示框尺寸信息。
在一些实施例中,目标显示框尺寸信息就是本帧显示框尺寸信息。
在步骤S202中,根据所述目标显示框尺寸信息及所述当前显示框尺寸信息或基于所述目标显示框尺寸信息确定所述本帧显示框尺寸信息。
作为一种实施例,所述图像为第一帧图像时,所述目标显示框尺寸信息即为所述本帧显示框尺寸信息。由于此时不存在当前目标显示框尺寸,因此,直接将计算得到的目标显示框尺寸信息作为所述本帧显示框尺寸信息。所述图像非第一帧图像时,请参阅图4,则根据所述目标显示框尺寸信息及当前显示框尺寸信息确定本帧显示框尺寸信息包括:
步骤S202a:判断所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差异是否超过预设的第一尺寸;若超过则执行步骤S202b和步骤S202c;反之,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息。
可以理解,目标显示框尺寸信息对应的尺寸与当前显示框尺寸信息对应的尺寸差异超过第一尺寸时,显示框尺寸信息才会被更新,如果没有超过,则不更新,因此,在图像色彩亮度或人脸移动等导致计算得到的目标显示框尺寸信息对应的尺寸略微变化时,显示框尺寸不会被调整,保障了用户体验,实现了缩放防抖,可以有效的过滤因人脸前后移动产生的大小变化而导致的来回缩放问题。
作为一种实施例,第一尺寸可以取m*当前显示框尺寸信息或目标显示框尺寸信息对应的尺寸。如m=1/4,第一尺寸为当前显示框尺寸信息对应的尺寸/4,或目标显示框尺寸信息对应的尺寸/4。
所述步骤S202b为:基于所述当前显示框尺寸信息生成所述本帧显示框尺寸信息。
作为一种实施例,将所述当前显示框尺寸信息对应的尺寸调整一个最小刻度所得到的尺寸为所述本帧显示框尺寸信息所对应的尺寸。可以理解,所述最小刻度可以是前述的宽最小刻度width和高最小刻度height,也可以是另设的最小刻度。可以理解,高与宽始终按照固定比例调整。
作为一种实施例,将所述当前显示框尺寸信息对应的尺寸调整k*A以得到所述本帧显示框尺寸信息,其中,A为所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息所对应的尺寸差;k大于0,小于1。如,k取1/2,所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息所对应的尺寸差为L,则当前显示框尺寸单次调整幅度为L/2。如此,可以对当前显示框尺寸进行大幅调整,提高调整效率。
所述步骤S202c为:判断所述当前显示框尺寸信息对应的尺寸与所述目标显示框尺寸信息对应的尺寸差异是否小于预设的第二尺寸,所述第二尺寸小于所述第一尺寸;若是,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;若否,则继续执行所述步骤S202b以生成所述本帧显示框尺寸信息。
可以理解,当当前显示框尺寸信息对应的尺寸与所述目标显示框尺寸信息对应的尺寸差异小于第二尺寸时,此时两者尺寸接近,无需再对当前显示框尺寸进行调整,进一步保障了用户体验。当尺寸差异大于第二尺寸时,在本帧图像追踪中,可以继续对本帧显示框尺寸信息对应的尺寸进行调整,使得当前显示框尺寸与目标显示框尺寸信息对应的尺寸越来越接近。
在一些实施例中,当目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差异超过预设的第一尺寸时,在当前帧的图像追踪中,通过生成新的本帧显示框尺寸信息,实现对当前显示框尺寸的逐步调整,使得当前显示框尺寸与目标显示框尺寸信息对应的尺寸越来越接近。
在本发明所提供的一种人脸图像跟踪方法所包括的步骤S300中,根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息。
作为一种实施例,在所述步骤S300中,所述目标显示框位置信息包括确定坐标的窗口起始x坐标xst和窗口起始y坐标yst:
xst=face_xst-|win_width-face_width|/2;
yst=face_yst-|win_height-face_height|/2;
win_width和win_height分别为所述本帧显示框尺寸信息确定的宽和高。
采用该方法计算可以保证人脸始终处于窗口的中心位置附近,且不会有立即切图的突兀感,提高了用户体验。
作为一种实施例,在所述步骤S300中,所述至少根据所述目标显示框位置信息得到本帧显示框位置信息包括:基于所述目标显示框位置信息及当前显示框位置信息或基于所述目标显示框位置信息得到本帧显示框位置信息。
作为一种实施例,所述图像为第一帧图像时,所述目标显示框位置信息即为本帧显示框位置信息;所述图像非第一帧图像时,请参阅图5,基于目标显示框位置信息及当前显示框位置信息确定本帧显示框位置信息包括:
步骤S301:判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第一距离;若超过则执行步骤S302和步骤S303,反之,则将所述当前显示框位置信息作为所述本帧显示框位置信息。
可以理解,在位置之间做距离比较或调整时,其包括在单个或多个方向上做位置调整,多个方向上的位置调整可以理解成是多个单个方向上的调整。由于宽高比固定,因此,做一个维度上的距离比较或位置调整时,即可以相应的得到另一个维度上的距离比较结果或位置调整幅度。
作为一种实施例,第一距离可以取n*当前显示框位置信息或目标显示框位置信息对应的距离。如n=1/4,第一距离为当前显示框位置信息对应的位置/4,或目标显示框位置信息对应的位置/4。
可以理解,目标显示框位置信息对应的位置与当前显示框信息对应的位置之间的距离超过第一距离时,显示框位置信息才会被更新,如果没有超过,则不更新,因此,在图像色彩亮度或人脸移动等导致计算得到的目标显示框位置略微变化时,显示框位置不会被调整,保障了用户体验,实现了位置防抖算法,可以有效的过滤掉因人脸抖动而导致的图像抖动。
所述步骤S302为:基于所述当前显示框位置信息生成所述本帧显示框位置信息。
请参阅图6,作为一种实施例,所述基于所述当前显示框位置信息生成所述本帧显示框位置信息包括:
步骤S302a:判断所述目标显示框位置信息对应的位置与所述当前显示框位置对应的位置之间的距离是否超过预设的第三距离时,如果超过则执行步骤S302b,反之,则执行步骤S302c;其中,所述第三距离大于所述第一距离。
所述步骤S302b为:将所述当前显示框位置信息对应的位置移动k*B以得到所述本帧显示框位置信息,其中,B为所述目标显示框位置信息所对应的位置与所述当前显示框位置信息对应的位置差;k大于0,小于1。如此,可以对当前显示框位置进行大幅调整,提高调整效率。
所述步骤S302c为:将所述当前显示框位置信息对应的位置移动一个最小刻度所对应的位置以得到所述本帧显示框位置信息。如此,可以降低单次位置调整幅度。
可以理解,当所述目标显示框位置信息对应的位置与所述当前显示框位置对应的位置之间的距离超过第三距离时,说明此时当前显示框位置与目标显示框位置相差较大,采用步骤S302b进行调整可以提高调整效率,而在距离未超过第三距离,即两者位置相近时,采用步骤S302c进行调整,实现调整目的的同时,保障了用户体验。
所述步骤S303为:判断当前显示框位置信息与所述目标显示框位置信息对应的位置之间的距离是否小于预设的第二距离,所述第二距离小于所述第一距离;若是,则将所述当前显示框位置信息作为所述本帧显示框位置信息;若否,则(在本帧所述图像的追踪中)继续执行所述步骤S302以生成所述本帧显示框位置信息。
可以理解,当当前显示框位置信息对应的尺寸与所述目标显示框位置信息对应的尺寸差异小于第二距离时,此时两者距离接近,无需再对当前显示框位置进行调整,进一步保障了用户体验。当两者位置差异大于第二距离时,在本帧图像追踪中,可以继续对本帧显示框位置信息对应的尺寸进行调整,使得当前显示框位置与目标显示框位置信息对应的位置越来越接近。
在一些实施例中,当目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离差异超过预设的第一距离时,在当前帧的图像追踪中,通过生成新的本帧显示框位置信息,实现对当前显示框位置的逐步调整,使得当前显示框位置与目标显示框位置信息对应的位置越来越接近。即,在当前帧的图像追踪中,显示框的尺寸和位置都逐渐接近目标显示框尺寸和位置。上一轮计算中得到的所述本帧显示框尺寸信息作为下一轮中的所述当前显示框尺寸信息,在上一轮计算中得到的所述本帧显示框位置信息作为下一轮中的所述当前显示框位置信息。
作为一种实施例,根据目标显示框尺寸信息确定本帧显示框尺寸信息,如目标显示框尺寸信息增加或减去预设值得到本帧显示框尺寸信息。
作为一种实施例,在步骤S300中,计算得到所述目标显示框位置信息后,检测所述目标显示框位置信息是否位于预设坐标范围中,若否,则以所述预设坐标范围的最小坐标值或最大坐标值作为所述本帧显示框位置信息。
可以理解,窗口对应有坐标范围限制,如,根据运行所述方法的硬件条件、显示要求等设置有预设坐标范围,该预设坐标范围具有最小坐标值和最大坐标值,如果步骤S300中计算得到的坐标大于最小坐标值,小于最大坐标值,则认为目标显示框位置信息位于预设坐标范围中。如果步骤S300中计算得到的坐标小于所述窗口对应的最小坐标值,则以最小坐标值作为所述目标显示框位置信息;如果步骤S300中计算得到的坐标大于所述窗口对应的最大坐标值,则以最大坐标值作为所述目标显示框位置信息。
在一些实施例中,在当前显示框所匹配显示的人脸持续消失N帧时,所述显示框消失,否则所述显示框持续显示。
可以理解,人脸识别过程中,尤其是人脸距离远,对应的人脸尺寸小时,会出现人脸时有时无的情况,也就是人脸处于能识别到和不能识别到的边缘,这时显示框的显示会中断,显示效果不佳。为解决该问题,本申请中在识别模型的人脸id跟踪时,加入M帧缓冲处理,允许人脸中有M(例如N=10)帧检测刷新中断,也就是如果检测到某个已经存在的人脸id,在新的一帧中没有检测到人脸,不立即丢弃该人脸信息,而是连续检测跟踪到第M帧依然没有对应id的人脸时,才丢掉该人脸信息。这样做的目的是让人脸识别模型输出的人脸有M帧的防抖功能。
在显示框匹配人脸id时,加入N帧缓冲处理,允许显示框中有N(目前N=10)帧显示刷新中断,也就是如果某个显示框在新的一帧中没有匹配到对应id人脸信息时,不立即关闭显示,而是连续检测跟踪到第N帧依然没有对应id的人脸时,才关闭显示框所对应的窗口。这样做的目的是让显示框输出的人脸有N帧防抖功能,中间中断几帧不影响显示。
在一些实施例中,根据所述本帧显示框尺寸信息及所述本帧显示框位置信息对所述图像裁切得到所述窗口图像信息;或根据所述本帧显示框尺寸信息及所述本帧显示框位置信息调整相机的焦距及转动角度以得到所述窗口图像信息。
在一些实施例中,窗口图像信息对应的图像是经过放大等处理后再经窗口显示。在另一些实施例中,窗口图像信息所对应的图像尺寸与窗口显示的图像尺寸一致。
在一些实施例中,窗口可以是单独的显示设备,或者某一软件的运行窗口。
可以理解,本申请可以使用在各种图像跟踪,图像处理系统中,不仅仅局限于人脸识别得到的人脸的跟踪,其也可以用在其他有输入参数的需要调整的图像跟踪跟踪系统中。
本发明实施例还提供一种人脸图像跟踪装置,所述装置包括人脸信息识别模块、本帧显示框尺寸信息生成模块、本帧显示框位置信息生成模块、窗口图像信息生成模块及显示模块,人脸信息识别模块用于从图像中获取人脸尺寸信息和人脸位置信息。本帧显示框尺寸信息生成模块用于根据所述人脸尺寸信息计算出目标显示框尺寸信息,至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息。本帧显示框位置信息生成模块用于根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息。窗口图像信息生成模块用于根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息。显示模块,用于显示所述窗口图像信息对应的目标图像。
其中,在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间。
作为一种实施例,所述至少根据所述目标显示框位置信息得到本帧显示框位置信息包括:基于所述目标显示框位置信息及当前显示框位置信息或基于所述目标显示框位置信息得到本帧显示框位置信息。
作为一种实施例,所述本帧显示框尺寸信息生成模块,用于根据所述人脸尺寸信息计算出目标显示框尺寸信息;再根据所述目标显示框尺寸信息及当前显示框尺寸信息或基于所述目标显示框尺寸信息确定所述本帧显示框尺寸信息。
作为一种实施例,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height。所述本帧显示框尺寸信息生成模块包括刻度倍数计算模块、最大刻度计算模块及目标显示框尺寸信息生成模块,刻度倍数计算模块用于计算宽度刻度倍数scale_width和高度刻度倍数scale_height;所述宽度刻度倍数scale_width为所述人脸宽度face_width相对于预设的宽最小刻度width的倍数,所述高度刻度倍数scale_height为所述人脸高度face_height相对于预设的高最小刻度height的倍数。最大刻度计算模块用于取所述宽度刻度倍数scale_width和所述高度刻度倍数scale_height的最大值为最大刻度倍数scale。目标显示框尺寸信息生成模块用于生成所述目标显示框尺寸信息包括显示框宽度w和显示框高度h:
w=scale*width*N;
h=scale*height*N;
N为大于等于1的常数。
作为一种实施例,所述本帧显示框尺寸信息生成模块包括尺寸判断模块,尺寸判断模块用于判断所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差异是否超过预设的第一尺寸,是否小于预设的第二尺寸。所述图像为第一帧图像时,所述本帧显示框尺寸信息生成模块将所述目标显示框尺寸信息设置为所述本帧显示框尺寸信息。所述图像非第一帧图像时,所述尺寸判断模块判断所述目标显示框尺寸信息对应的尺寸与当前显示框尺寸差异未超过所述第一尺寸时,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;反之,所述本帧显示框尺寸信息生成模块基于所述当前显示框尺寸生成所述本帧显示框尺寸信息,并通过所述尺寸判断模块判断所述当前显示框尺寸信息对应的尺寸与所述目标显示框尺寸信息对应的尺寸差异是否小于预设的第二尺寸,若是,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;若否,则(在本帧所述图像的追踪中)所述本帧显示框尺寸信息生成模块继续生成所述本帧显示框尺寸信息。
作为一种实施例,所述本帧显示框尺寸信息生成模块基于当前显示框尺寸信息生成所述本帧显示框尺寸信息包括:将所述当前显示框尺寸信息对应的尺寸调整一个最小刻度,或调整k*A以得到所述本帧显示框尺寸信息,其中,A为所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差;k大于0,小于1。
作为一种实施例,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height;所述人脸位置信息包括人脸起始x坐标face_xst和人脸起始y坐标face_yst;所述本帧显示框位置信息生成模块生成的所述目标显示框位置信息包括窗口起始x坐标xst和窗口起始y坐标yst:
xst=face_xst-|win_width-face_width|/2;
yst=face_yst-|win_height-face_height|/2;
win_width和win_height分别为所述本帧显示框尺寸信息确定的宽和高。
作为一种实施例,所述本帧显示框位置信息生成模块包括距离判断模块,距离判断模块用于判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第一距离,是否小于预设的第二距离;所述图像为第一帧图像时,所述本帧显示框位置信息生成模块将所述目标显示框位置信息设置为所述本帧显示框位置信息;所述图像非第一帧图像时,所述距离判断模块判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离未超过所述第一距离时,则将所述当前显示框位置信息作为所述本帧显示框位置信息;反之,所述本帧显示框位置信息生成模块基于所述当前显示框位置信息生成所述本帧显示框位置信息,并通过所述距离判断模块判断所述当前显示框位置信息对应的位置与所述目标显示框位置信息对应的位置之间的距离是否小于预设的第二距离,若是,则将所述当前显示框位置信息作为所述本帧显示框位置信息;若否,则(在本帧所述图像的追踪中)所述本帧显示框位置信息生成模块继续生成所述本帧显示框位置信息。
作为一种实施例,所述本帧显示框位置信息生成模块基于所述当前显示框位置信息生成所述本帧显示框位置信息包括:
距离判断模块判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第三距离(所述第三距离大于所述第一距离)时,如果超过则本帧显示框位置信息生成模块将所述当前显示框位置信息对应的位置移动k*B以得到所述本帧显示框位置信息,其中,B为所述目标显示框位置信息所对应的位置与所述当前显示框位置信息对应的位置差;k大于0,小于1。反之,则所述本帧显示框位置信息生成模块将所述当前显示框位置信息对应的位置移动一个最小刻度以得到所述本帧显示框位置信息。
作为一种实施例,装置进一步包括坐标范围判断模块,计算得到所述目标显示框位置信息后,所述坐标范围判断模块用于检测所述目标显示框位置信息是否位于预设坐标范围中,若否,则以所述预设坐标范围的最小坐标值或最大坐标值作为所述本帧显示框位置信息。
可以理解,本发明中的装置实施例是与方法实施例相对应的,方法实施例中的内容适用于装置实施例。
本发明还提供一种计算机可读介质,所述计算机可读介质存储有计算机程序,该计算机程序被处理器执行时能实现如上所述的人脸图像跟踪方法。
需要说明的是,本公开的实施例所述的计算机可读存储介质并不限定于上述所给实施例,例如还可以为电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本领域的技术人员能够理解的是,在不冲突的前提下,上述各优选方案可以自由地组合、叠加。其中,附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生,例如,两个接连表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。本文中对于各步骤的编号仅为了方便说明和引用,并不用于限定前后顺序,具体的执行顺序是由技术本身确定的,本领域技术人员可以根据技术本身确定各种允许的、合理的顺序。
需要说明的是,本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤,仅仅是出于描述方便和简洁的目的,而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了,相关方法步骤的顺序,应由技术本身决定,不应因步骤编号的存在而被不适当地限制,本领域技术人员可以根据技术本身确定各种允许的、合理的步骤顺序。
本领域的技术人员能够理解的是,在不冲突的前提下,上述各优选方案可以自由地组合、叠加。
应当理解,上述的实施方式仅是示例性的,而非限制性的,在不偏离本发明的基本原理的情况下,本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换,都将包含于本发明的权利要求范围内。
Claims (10)
1.一种人脸图像跟踪方法,其特征在于,所述方法包括:
步骤S100:从图像中获取人脸尺寸信息和人脸位置信息;
步骤S200:根据所述人脸尺寸信息计算出目标显示框尺寸信息,至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息;
步骤S300:根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息;
步骤S400:根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息;
步骤S500:显示所述窗口图像信息对应的目标图像;
在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间。
2.如权利要求1所述的一种人脸图像跟踪方法,其特征在于,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height;所述根据所述人脸尺寸信息计算出目标显示框尺寸信息包括:
步骤S201a:计算宽度刻度倍数scale_width和高度刻度倍数scale_height;所述宽度刻度倍数scale_width为所述人脸宽度face_width相对于预设的宽最小刻度width的倍数,所述高度刻度倍数scale_height为所述人脸高度face_height相对于预设的高最小刻度height的倍数;
步骤S201b:取所述宽度刻度倍数scale_width和所述高度刻度倍数scale_height的最大值为最大刻度倍数scale;
步骤S201c:计算所述目标显示框尺寸信息包括的显示框宽度w和显示框高度h:
w=scale*width*N;
h=scale*height*N;
N为大于等于1的常数。
3.如权利要求1所述的一种人脸图像跟踪方法,其特征在于,所述图像为第一帧图像时,所述目标显示框尺寸信息即为所述本帧显示框尺寸信息;
所述图像为非第一帧图像时,所述至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息包括:
步骤S202a:判断所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差异是否超过预设的第一尺寸;若超过则执行步骤S202b和步骤S202c;反之,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;
所述步骤S202b为:基于所述当前显示框尺寸信息生成所述本帧显示框尺寸信息;
所述步骤S202c为:判断所述当前显示框尺寸信息对应的尺寸与所述目标显示框尺寸信息对应的尺寸差异是否小于预设的第二尺寸,所述第二尺寸小于所述第一尺寸;若是,则将所述当前显示框尺寸信息作为所述本帧显示框尺寸信息;若否,则继续执行所述步骤S202b以生成所述本帧显示框尺寸信息。
4.如权利要求3所述的一种人脸图像跟踪方法,其特征在于,在所述步骤S202b中,所述基于当前显示框尺寸信息生成所述本帧显示框尺寸信息包括:
将所述当前显示框尺寸信息对应的尺寸调整一个最小刻度,或调整k*A以得到所述本帧显示框尺寸信息,其中,A为所述目标显示框尺寸信息对应的尺寸与所述当前显示框尺寸信息对应的尺寸差;k大于0,小于1。
5.如权利要求1所述的一种人脸图像跟踪方法,其特征在于,所述人脸尺寸信息包括人脸宽度face_width和人脸高度face_height;所述人脸位置信息包括人脸起始x坐标face_xst和人脸起始y坐标face_yst;
在所述步骤S300中,所述目标显示框位置信息包括窗口起始x坐标xst和窗口起始y坐标yst:
xst=face_xst-|win_width-face_width|/2;
yst=face_yst-|win_height-face_height|/2;
win_width和win_height分别为所述本帧显示框尺寸信息确定的宽和高。
6.如权利要求1所述的一种人脸图像跟踪方法,其特征在于,所述图像为第一帧图像时,所述目标显示框位置信息即为本帧显示框位置信息;
所述图像为非第一帧图像时,所述至少根据所述目标显示框位置信息得到本帧显示框位置信息包括:
步骤S301:判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第一距离;若超过则执行步骤S302和步骤S303,反之,则将所述当前显示框位置信息作为所述本帧显示框位置信息;
所述步骤S302为:基于所述当前显示框位置信息生成所述本帧显示框位置信息;
所述步骤S303为:判断当前显示框位置信息与所述目标显示框位置信息对应的位置之间的距离是否小于预设的第二距离,所述第二距离小于所述第一距离;若是,则将所述当前显示框位置信息作为所述本帧显示框位置信息;若否,则继续执行所述步骤S302以生成所述本帧显示框位置信息。
7.如权利要求6所述的一种人脸图像跟踪方法,其特征在于,所述基于所述当前显示框位置信息生成所述本帧显示框位置信息包括:
步骤S302a:判断所述目标显示框位置信息对应的位置与所述当前显示框位置信息对应的位置之间的距离是否超过预设的第三距离时,如果超过则执行步骤S302b,反之,则执行步骤S302c;其中,所述第三距离大于所述第一距离;
所述步骤S302b为:将所述当前显示框位置信息对应的位置移动k*B以得到所述本帧显示框位置信息,其中,B为所述目标显示框位置信息所对应的位置与所述当前显示框位置信息对应的位置差;k大于0,小于1;
所述步骤S302c为:将所述当前显示框位置信息对应的位置移动一个最小刻度以得到所述本帧显示框位置信息。
8.如权利要求1所述的一种人脸图像跟踪方法,其特征在于,在步骤S300中,计算得到所述目标显示框位置信息后,检测所述目标显示框位置信息是否位于预设坐标范围中,若否,则以所述预设坐标范围的最小坐标值或最大坐标值作为所述本帧显示框位置信息。
9.一种人脸图像跟踪装置,其特征在于,所述装置包括:
人脸信息识别模块,用于从图像中获取人脸尺寸信息和人脸位置信息;
本帧显示框尺寸信息生成模块,用于计算出目标显示框尺寸信息,至少根据所述目标显示框尺寸信息得到本帧显示框尺寸信息;
本帧显示框位置信息生成模块,用于根据所述人脸尺寸信息、所述人脸位置信息和所述本帧显示框尺寸信息计算得到目标显示框位置信息,并至少根据所述目标显示框位置信息得到本帧显示框位置信息;
窗口图像信息生成模块,用于根据所述本帧显示框尺寸信息和所述本帧显示框位置信息获取窗口图像信息;
显示模块,用于显示所述窗口图像信息对应的目标图像;
在所述图像为非第一帧图像时,所述本帧显示框尺寸信息对应的尺寸介于所述目标显示框尺寸信息所对应的尺寸与所述当前显示框尺寸信息所对应的尺寸之间;所述本帧显示框位置信息对应的位置位于所述目标显示框位置信息所对应的位置与所述当前显示框位置信息所对应的位置之间。
10.一种计算机可读介质,其特征在于,所述计算机可读介质存储有计算机程序,该计算机程序被处理器执行时能实现如权利要求1-10任一项所述的人脸图像跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311075896.5A CN117079330A (zh) | 2023-08-24 | 2023-08-24 | 一种人脸图像跟踪方法及装置、计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311075896.5A CN117079330A (zh) | 2023-08-24 | 2023-08-24 | 一种人脸图像跟踪方法及装置、计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117079330A true CN117079330A (zh) | 2023-11-17 |
Family
ID=88714934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311075896.5A Pending CN117079330A (zh) | 2023-08-24 | 2023-08-24 | 一种人脸图像跟踪方法及装置、计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117079330A (zh) |
-
2023
- 2023-08-24 CN CN202311075896.5A patent/CN117079330A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8803886B2 (en) | Face image display, face image display method, and face image display program | |
US20190221029A1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20120287246A1 (en) | Image processing apparatus capable of displaying image indicative of face area, method of controlling the image processing apparatus, and storage medium | |
US9824429B2 (en) | Image processing apparatus and method, and program | |
CN109584152A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
US20160371812A1 (en) | Image processing apparatus, image processing method, and program | |
JP2009086703A (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
WO2018062538A1 (ja) | 表示装置およびプログラム | |
EP3029677A1 (en) | A method and apparatus for generating automatic animation | |
US20210218892A1 (en) | Image processing device and electronic device | |
CN112470164A (zh) | 姿态校正 | |
CN112508773A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
US11184545B2 (en) | Display control apparatus, imaging apparatus, control method for display apparatus, and non-transitory computer readable medium | |
US10789987B2 (en) | Accessing a video segment | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
CN117079330A (zh) | 一种人脸图像跟踪方法及装置、计算机可读介质 | |
JP6663491B2 (ja) | 画像処理装置、画像処理プログラム、および記録媒体 | |
KR101825321B1 (ko) | 모바일 카메라 인식 기술을 이용한 실시간 촬영 최적 구도 피드백 제공 시스템 및 방법 | |
JP2020123280A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Lee | Novel video stabilization for real-time optical character recognition applications | |
US11509885B2 (en) | Stereoscopic image display device, stereoscopic image display method, and program | |
WO2018168825A1 (ja) | 画像処理装置および電子機器 | |
WO2024166619A1 (ja) | 情報処理方法および情報処理システム | |
EP4207050A1 (en) | Image processing apparatus, image processing method, program, and storage medium | |
CN112433599A (zh) | 显示方法、装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |