CN110363787A - 信息获取方法和系统、电子设备、程序和介质 - Google Patents

信息获取方法和系统、电子设备、程序和介质 Download PDF

Info

Publication number
CN110363787A
CN110363787A CN201810254737.4A CN201810254737A CN110363787A CN 110363787 A CN110363787 A CN 110363787A CN 201810254737 A CN201810254737 A CN 201810254737A CN 110363787 A CN110363787 A CN 110363787A
Authority
CN
China
Prior art keywords
information
key point
sub
human testing
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810254737.4A
Other languages
English (en)
Inventor
陈晨
李展鹏
荆锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810254737.4A priority Critical patent/CN110363787A/zh
Publication of CN110363787A publication Critical patent/CN110363787A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本发明实施例公开了一种信息获取方法和系统、电子设备、程序和介质,其中,信息获取方法包括:获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;从所述指针指向的地址获取所述子信息。本发明实施例可以基于人体检测信息接口信息便可以获取到所需类型的人体检测信息,以便基于获取到的人体检测信息进行各种应用,例如,可以对视频图像中的人物进行贴纸、美妆、变脸、美体等各种应用。

Description

信息获取方法和系统、电子设备、程序和介质
技术领域
本发明涉及人工智能技术,尤其是一种信息获取方法和系统、电子设备、程序和介质。
背景技术
神经网络是用于计算机视觉和模式识别的一个重要的研究领域,它通过计算机仿照生物大脑思维启发进行类似人类对特定对象的信息处理。通过神经网络,能够有效地进行目标对象(如人、动物、车辆等)的检测和识别。随着互联网技术的发展,信息量的急剧增加,神经网络被越来越广泛地应用于图像检测及目标对象识别领域,以从大量的信息中寻找出实际所需的信息。
发明内容
本发明实施例提供一种用于获取人体检测信息的技术方案。
根据本发明实施例的一个方面,提供的一种信息获取方法,包括:
获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;
从所述指针指向的地址获取所述子信息。
可选地,在本发明另一实施例的信息获取方法中,获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;
从所述指针指向的地址获取所述子信息。
可选地,在本发明另一实施例的信息获取方法中,所述子信息还包括:所述子信息对应项目的数量和/或所述子信息的置信度。
可选地,在本发明另一实施例的信息获取方法中,从所述指针指向的地址获取所述子信息之前,还包括:
确定所述子信息对应项目的数量不为零。
可选地,在本发明另一实施例的信息获取方法中,从所述指针指向的地址获取所述子信息之前,还包括:
确认所述子信息的置信度大于预设阈值。
可选地,在本发明另一实施例的信息获取方法中,从所述指针指向的地址获取所述子信息之前,还包括:
确定所述子信息的指针指向的地址有效。
可选地,在本发明另一实施例的信息获取方法中,一种类型的所述人体检测信息包括:针对至少一个对象的人体检测信息,每个对象的所述人体检测信息还包括:用于标识所述对象的对象标识。
可选地,在本发明另一实施例的信息获取方法中,一种类型的所述人体检测信息包括针对两个或以上对象的人体检测信息时,一种类型的所述人体检测信息中,所述两个或以上对象的人体检测信息按照第一预设顺序排列,各对象的人体检测信息中包括的对象标识、各项子信息按照第二预设顺序排列。
可选地,在本发明另一实施例的信息获取方法中,所述两个或以上对象的人体检测信息按照第一预设顺序排列包括:所述两个或以上对象的人体检测信息按照对象顺序排列。
可选地,在本发明另一实施例的信息获取方法中,针对一个对象的所述人体检测信息包括两项或以上子信息时,所述两项或以上子信息按照第三预设顺序排列,各项子信息包括的子信息的指针、对应项目的数量、置信度按照第四预设顺序排列。
可选地,在本发明另一实施例的信息获取方法中,所述人体检测信息接口信息还包括:各种类型的所述人体检测信息对应项目的数量;所述人体检测信息接口信息包括的至少一种类型的人体检测信息及各种类型的所述人体检测信息对应项目的数量按照预设数据格式设置。
可选地,在本发明另一实施例的信息获取方法中,按照预设数据格式设置的所述人体检测信息接口信息,包括:按照第五预设顺序排列的第一部分信息和第二部分信息;
所述第一部分信息包括:
类型i的人体检测信息的指示信息,类型i的人体检测信息对应项目的数量;…;类型j的人体检测信息指示信息,类型j的人体检测信息对应项目的数量;或者
类型i的人体检测信息对应项目的数量,类型i的人体检测信息指示信息;…;类型j的人体检测信息对应项目的数量,类型j的人体检测信息指示信息;其中,i、j分别为大于0的整数、且i≠j;
所述第二部分信息包括:存储在所述指示信息指向的位置的人体检测信息。
可选地,在本发明另一实施例的信息获取方法中,从所述指针指向的地址获取所述子信息之前,还包括:
确定需要读取的目标类型的人体检测信息对应项目的数量不为零;
读取所述目标类型的人体检测信息的指示信息;
从所述目标类型的人体检测信息的指示信息指向的位置读取所述目标类型的人体检测信息,针对所述目标类型的人体检测信息中的子信息,执行所述从所述指针指向的地址获取所述子信息的操作。
可选地,在本发明另一实施例的信息获取方法中,所述至少一种类型的人体检测信息包括以下任意一种类型或多种类型的人体检测信息:
人脸检测结果信息;
手势检测结果信息;
肢体检测结果信息。
可选地,在本发明另一实施例的信息获取方法中,所述肢体检测结果信息包括的子信息包括以下任意一项或多项:
肢体关键点检测信息;
肢体轮廓点检测信息;
肢体动作检测信息。
可选地,在本发明另一实施例的信息获取方法中,所述肢体关键点检测信息包括:肢体关键点检测或跟踪的坐标信息;
所述肢体关键点检测信息对应项目的数量包括:无效信息,或者按照预先定义的肢体关键点检测或跟踪到的人体关键点的数量。
可选地,在本发明另一实施例的信息获取方法中,所述肢体轮廓点检测信息包括:人体轮廓点的坐标信息;
所述轮廓点检测信息对应项目的数量包括:无效信息,或者按照预先定义的肢体轮廓点检测或跟踪到的人体轮廓点的数量。
可选地,在本发明另一实施例的信息获取方法中,所述预先定义的肢体轮廓点包括以下任意一种或多种:手臂轮廓关键点,手部轮廓关键点,肩部轮廓关键点,腿部轮廓关键点,腰部轮廓关键点,脚部轮廓关键点。
可选地,在本发明另一实施例的信息获取方法中,所述手臂轮廓关键点包括以下任意一种或多种:手臂根部外侧轮廓关键点,胳膊肘外侧轮廓关键点,位于手臂根部外侧轮廓关键点和胳膊肘外侧轮廓关键点之间的中点位置处的上臂外侧轮廓中点关键点,手腕外侧轮廓关键点,位于胳膊肘外侧轮廓关键点和手腕外侧轮廓关键点之间的中点位置处的下臂外侧轮廓中点关键点,手腕内侧轮廓关键点,胳膊肘内侧轮廓关键点,位于手腕内侧轮廓关键点和胳膊肘内侧轮廓关键点之间的中点位置处的下臂内侧轮廓中点关键点,腋窝关键点,位于胳膊肘内侧轮廓关键点和腋窝关键点之间的中点位置处的上臂内侧轮廓中点关键点;和/或
所述手部轮廓关键点包括以下任意一种或多种:手部外接框中心关键点;和/或
所述腰部轮廓关键点包括以下任意一种或多种:将侧大腿根部外轮廓关键点与腋窝关键点之间N等分,所产生的N个等分点;其中,所述N大于1;和/或
所述肩部轮廓关键点包括以下任意一种或多种:位于肩部与头部交汇位置处的肩头交汇关键点,位于手臂根部外侧轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点;和/或
所述腿部轮廓关键点包括以下任意一种或多种:裆部关键点,大腿根部外侧轮廓关键点,膝盖外侧轮廓关键点,位于大腿根部外侧轮廓关键点和膝盖外侧轮廓关键点之间的中点位置处的大腿外侧轮廓中点关键点,脚踝外侧轮廓关键点,位于膝盖外侧轮廓关键点和脚踝外侧轮廓关键点之间的中点位置处的小腿外侧轮廓中点关键点,脚踝内侧轮廓关键点,膝盖内侧轮廓关键点,位于脚踝内侧轮廓关键点和膝盖内侧轮廓关键点之间的中点位置处的小腿内侧轮廓中点关键点,位于膝盖内侧轮廓关键点和裆部关键点之间的中点位置处的大腿内侧轮廓中点关键点;和/或
所述脚部轮廓关键点包括以下任意一种或多种:脚尖关键点以及足跟关键点。
可选地,在本发明另一实施例的信息获取方法中,所述肢体动作检测信息包括:肢体动作检测的分类结果信息;
所述肢体动作检测信息对应项目的数量包括:无效信息,或者1。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测结果信息包括的子信息包括以下任意一项或多项:
人脸检测信息;
脸部动作检测信息。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测信息包括:人脸的矩形框,第一预设数量的人脸关键点。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测结果信息包括的子信息还包括以下任意一项或多项:眼睛、眉毛、嘴唇关键点检测信息;
所述第一预设数量的人脸关键点包括:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,第一眉毛关键点,第一嘴唇关键点。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测信息包括:人脸的矩形框,第二预设数量的人脸关键点;
所述第二预设数量的人脸关键点包括:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第一眉毛关键点,第二眉毛关键点,第一嘴唇关键点,第二嘴唇关键点。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测结果的信息包括的子信息还包括以下任意一项或多项:
眼球中心关键点检测信息;
眼球轮廓关键点检测信息。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测信息包括:人脸的矩形框,第三预设数量的人脸关键点;
所述第三预设数量的人脸关键点包括:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第一眉毛关键点,第二眉毛关键点,第一嘴唇关键点,第二嘴唇关键点,眼球关键点;所述眼球关键点包括眼球中心关键点和眼球轮廓关键点。
可选地,在本发明另一实施例的信息获取方法中,所述人脸检测信息还包括:头部姿态;或者
所述人脸检测结果信息包括的子信息还包括:头部姿态。
可选地,在本发明另一实施例的信息获取方法中,所述鼻子关键点包括以下任意一种或多种:鼻梁关键点、鼻子下沿关键点、鼻子外侧轮廓关键点;
所述眼眶关键点包括以下任意一种或多种:眼眶轮廓关键点和眼眶中心点关键点;
所述第一眉毛关键点和/或所述第二眉毛关键点包括以下任意一种或多种:眉毛轮廓关键点;
所述第一嘴唇关键点和/或所述第二嘴唇关键点包括以下任意一种或多种:上嘴唇轮廓关键点和下嘴唇轮廓关键点;
所述眼睛关键点包括以下任意一种或多种:眼睛轮廓关键点。
可选地,在本发明另一实施例的信息获取方法中,所述手势检测结果信息包括的子信息包括以下任意一项或多项:
手部矩形框检测信息;
手部关键点检测信息;
手部动作检测信息。
可选地,在本发明另一实施例的信息获取方法中,所述至少一种类型的人体检测信息还包括:前后背景分割检测结果信息。
可选地,在本发明另一实施例的信息获取方法中,所述前后背景分割检测结果信息包括:前后背景分割检测结果的图片信息和前后背景分割检测结果的图片的置信度信息。
可选地,在本发明另一实施例的信息获取方法中,所述至少一种类型的人体检测信息还包括:头发分割检测结果信息。
可选地,在本发明另一实施例的信息获取方法中,所述头发分割检测结果信息包括:头发分割检测结果的图片信息和头发分割检测结果的图片的置信度信息。
可选地,在本发明另一实施例的信息获取方法中,所述获取人体检测信息接口信息,包括:
接收所述人体检测信息接口信息。
可选地,在本发明另一实施例的信息获取方法中,所述获取人体检测信息接口信息,包括:
获取图像的检测结果;
基于所述图像的检测结果生成所述人体检测信息接口信息。
可选地,在本发明另一实施例的信息获取方法中,所述获取图像的检测结果,包括:
经神经网络对所述图像进行检测,得到所述图像的检测结果。
可选地,在本发明另一实施例的信息获取方法中,所述经神经网络对所述图像进行检测,包括:
响应于接收到请求获取人体检测信息接口信息的第一获取请求,执行所述经神经网络对所述图像进行检测的操作。
可选地,在本发明另一实施例的信息获取方法中,所述获取图像的检测结果,包括:
调用与需要获取的人体检测信息的类型对应的子神经网络,对所述图像进行检测,并输出相应类型的人体检测信息。
可选地,在本发明另一实施例的信息获取方法中,所述调用与需要获取的人体检测信息的类型对应的子神经网络,包括:
响应于接收到第二获取请求,执行所述调用与需要获取的人体检测信息的类型对应的子神经网络的操作;所述第二获取请求中包括所述需要获取的人体检测信息的类型。
可选地,在本发明另一实施例的信息获取方法中,还包括:
根据获取到的子信息对所述图像进行渲染,并输出渲染后图像。
可选地,在本发明另一实施例的信息获取方法中,所述根据获取到的子信息对所述图像进行渲染,包括:
经渲染引擎,根据获取到的子信息在所述图像上生成特效。
可选地,在本发明另一实施例的信息获取方法中,所述根据获取到的子信息在所述图像上生成特效,包括:
根据获取到的子信息,在所述图像上生成子素材的特效;和/或
根据获取到的子信息,在所述图像上生成变形效果的特效;和/或
根据获取到的子信息,在所述图像上生成所述图像中目标对象的描边特效;和/或
根据获取到的子信息,在所述图像上生成目标对象的美妆/美颜/换脸特效;和/或
根据获取到的子信息,在播放所述图像时生成声音素材的声音特效。
根据本发明实施例的另一个方面,提供的一种信息获取系统,包括:
第一获取模块,用于获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;
第二获取模块,用于从所述指针指向的地址获取所述子信息。
可选地,在本发明另一实施例的信息获取系统中,所述子信息还包括:所述子信息对应项目的数量和/或所述子信息的置信度。
可选地,在本发明另一实施例的信息获取系统中,还包括:
第一确定模块,用于在所述第二获取模块从所述指针指向的地址获取所述子信息之前,确定所述子信息对应项目的数量不为零。
可选地,在本发明另一实施例的信息获取系统中,还包括:
第二确定模块,用于在所述第二获取模块从所述指针指向的地址获取所述子信息之前,确认所述子信息的置信度大于预设阈值。
可选地,在本发明另一实施例的信息获取系统中,还包括:
第三确定模块,用于在所述第二获取模块从所述指针指向的地址获取所述子信息之前,确定所述子信息的指针指向的地址有效。
可选地,在本发明另一实施例的信息获取系统中,一种类型的所述人体检测信息包括:针对至少一个对象的人体检测信息,每个对象的所述人体检测信息还包括:用于标识所述对象的对象标识。
可选地,在本发明另一实施例的信息获取系统中,一种类型的所述人体检测信息包括针对两个或以上对象的人体检测信息时,一种类型的所述人体检测信息中,所述两个或以上对象的人体检测信息按照第一预设顺序排列,各对象的人体检测信息中包括的对象标识、各项子信息按照第二预设顺序排列。
可选地,在本发明另一实施例的信息获取系统中,所述两个或以上对象的人体检测信息按照第一预设顺序排列,包括:所述两个或以上对象的人体检测信息按照对象顺序排列。
可选地,在本发明另一实施例的信息获取系统中,针对一个对象的所述人体检测信息包括两项或以上子信息时,所述两项或以上子信息按照第三预设顺序排列,各项子信息包括的子信息的指针、对应项目的数量、置信度按照第四预设顺序排列。
可选地,在本发明另一实施例的信息获取系统中,所述人体检测信息接口信息还包括:各种类型的所述人体检测信息对应项目的数量;所述人体检测信息接口信息包括的至少一种类型的人体检测信息及各种类型的所述人体检测信息对应项目的数量按照预设数据格式设置。
可选地,在本发明另一实施例的信息获取系统中,按照预设数据格式设置的所述人体检测信息接口信息,包括:按照第五预设顺序排列的第一部分信息和第二部分信息;
所述第一部分信息包括:
类型i的人体检测信息的指示信息,类型i的人体检测信息对应项目的数量;…;类型j的人体检测信息指示信息,类型j的人体检测信息对应项目的数量;或者
类型i的人体检测信息对应项目的数量,类型i的人体检测信息指示信息;…;类型j的人体检测信息对应项目的数量,类型j的人体检测信息指示信息;其中,i、j分别为大于0的整数、且i≠j;
所述第二部分信息包括:存储在所述指示信息指向的位置的人体检测信息。
可选地,在本发明另一实施例的信息获取系统中,还包括:
第四确定模块,用于确定需要读取的目标类型的人体检测信息对应项目的数量不为零;
读取模块,用于读取所述目标类型的人体检测信息的指示信息;以及从所述目标类型的人体检测信息的指示信息指向的位置读取所述目标类型的人体检测信息;以便所述第二获取模块针对所述目标类型的人体检测信息中的子信息,执行所述从所述指针指向的地址获取所述子信息的操作。
可选地,在本发明另一实施例的信息获取系统中,所述至少一种类型的人体检测信息包括以下任意一种类型或多种类型的人体检测信息:
人脸检测结果信息;
手势检测结果信息;
肢体检测结果信息。
可选地,在本发明另一实施例的信息获取系统中,所述肢体检测结果信息包括的子信息包括以下任意一项或多项:
肢体关键点检测信息;
肢体轮廓点检测信息;
肢体动作检测信息。
可选地,在本发明另一实施例的信息获取系统中,述肢体关键点检测信息包括:肢体关键点检测或跟踪的坐标信息;
所述肢体关键点检测信息对应项目的数量包括:无效信息,或者按照预先定义的肢体关键点检测或跟踪到的人体关键点的数量。
可选地,在本发明另一实施例的信息获取系统中,所述肢体轮廓点检测信息包括:人体轮廓点的坐标信息;
所述轮廓点检测信息对应项目的数量包括:无效信息,或者按照预先定义的肢体轮廓点检测或跟踪到的人体轮廓点的数量。
可选地,在本发明另一实施例的信息获取系统中,所述预先定义的肢体轮廓点包括以下任意一种或多种:手臂轮廓关键点,手部轮廓关键点,肩部轮廓关键点,腿部轮廓关键点,腰部轮廓关键点,脚部轮廓关键点。
可选地,在本发明另一实施例的信息获取系统中,所述手臂轮廓关键点包括以下任意一种或多种:手臂根部外侧轮廓关键点,胳膊肘外侧轮廓关键点,位于手臂根部外侧轮廓关键点和胳膊肘外侧轮廓关键点之间的中点位置处的上臂外侧轮廓中点关键点,手腕外侧轮廓关键点,位于胳膊肘外侧轮廓关键点和手腕外侧轮廓关键点之间的中点位置处的下臂外侧轮廓中点关键点,手腕内侧轮廓关键点,胳膊肘内侧轮廓关键点,位于手腕内侧轮廓关键点和胳膊肘内侧轮廓关键点之间的中点位置处的下臂内侧轮廓中点关键点,腋窝关键点,位于胳膊肘内侧轮廓关键点和腋窝关键点之间的中点位置处的上臂内侧轮廓中点关键点;和/或
所述手部轮廓关键点包括以下任意一种或多种:手部外接框中心关键点;和/或
所述腰部轮廓关键点包括以下任意一种或多种:将侧大腿根部外轮廓关键点与腋窝关键点之间N等分,所产生的N个等分点;其中,所述N大于1;和/或
所述肩部轮廓关键点包括以下任意一种或多种:位于肩部与头部交汇位置处的肩头交汇关键点,位于手臂根部外侧轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点;和/或
所述腿部轮廓关键点包括以下任意一种或多种:裆部关键点,大腿根部外侧轮廓关键点,膝盖外侧轮廓关键点,位于大腿根部外侧轮廓关键点和膝盖外侧轮廓关键点之间的中点位置处的大腿外侧轮廓中点关键点,脚踝外侧轮廓关键点,位于膝盖外侧轮廓关键点和脚踝外侧轮廓关键点之间的中点位置处的小腿外侧轮廓中点关键点,脚踝内侧轮廓关键点,膝盖内侧轮廓关键点,位于脚踝内侧轮廓关键点和膝盖内侧轮廓关键点之间的中点位置处的小腿内侧轮廓中点关键点,位于膝盖内侧轮廓关键点和裆部关键点之间的中点位置处的大腿内侧轮廓中点关键点;和/或
所述脚部轮廓关键点包括以下任意一种或多种:脚尖关键点以及足跟关键点。
可选地,在本发明另一实施例的信息获取系统中,所述肢体动作检测信息包括:肢体动作检测的分类结果信息;
所述肢体动作检测信息对应项目的数量包括:无效信息,或者1。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测结果信息包括的子信息包括以下任意一项或多项:
人脸检测信息;
脸部动作检测信息。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测信息包括:人脸的矩形框,第一预设数量的人脸关键点。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测结果信息包括的子信息还包括以下任意一项或多项:眼睛、眉毛、嘴唇关键点检测信息;
所述第一预设数量的人脸关键点包括:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,第一眉毛关键点,第一嘴唇关键点。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测信息包括:人脸的矩形框,第二预设数量的人脸关键点;
所述第二预设数量的人脸关键点包括:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第一眉毛关键点,第二眉毛关键点,第一嘴唇关键点,第二嘴唇关键点。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测结果的信息包括的子信息还包括以下任意一项或多项:
眼球中心关键点检测信息;
眼球轮廓关键点检测信息。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测信息包括:人脸的矩形框,第三预设数量的人脸关键点;
所述第三预设数量的人脸关键点包括:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第一眉毛关键点,第二眉毛关键点,第一嘴唇关键点,第二嘴唇关键点,眼球关键点;所述眼球关键点包括眼球中心关键点和眼球轮廓关键点。
可选地,在本发明另一实施例的信息获取系统中,所述人脸检测信息还包括:头部姿态;或者
所述人脸检测结果信息包括的子信息还包括:头部姿态。
可选地,在本发明另一实施例的信息获取系统中,所述鼻子关键点包括以下任意一种或多种:鼻梁关键点、鼻子下沿关键点、鼻子外侧轮廓关键点;
所述眼眶关键点包括以下任意一种或多种:眼眶轮廓关键点和眼眶中心点关键点;
所述第一眉毛关键点和/或所述第二眉毛关键点包括以下任意一种或多种:眉毛轮廓关键点;
所述第一嘴唇关键点和/或所述第二嘴唇关键点包括以下任意一种或多种:上嘴唇轮廓关键点和下嘴唇轮廓关键点;
所述眼睛关键点包括以下任意一种或多种:眼睛轮廓关键点。
可选地,在本发明另一实施例的信息获取系统中,所述手势检测结果信息包括的子信息包括以下任意一项或多项:
手部矩形框检测信息;
手部关键点检测信息;
手部动作检测信息。
可选地,在本发明另一实施例的信息获取系统中,所述至少一种类型的人体检测信息还包括:前后背景分割检测结果信息。
可选地,在本发明另一实施例的信息获取系统中,所述前后背景分割检测结果信息包括:前后背景分割检测结果的图片信息和前后背景分割检测结果的图片的置信度信息。
可选地,在本发明另一实施例的信息获取系统中,所述至少一种类型的人体检测信息还包括:头发分割检测结果信息。
可选地,在本发明另一实施例的信息获取系统中,所述头发分割检测结果信息包括:头发分割检测结果的图片信息和头发分割检测结果的图片的置信度信息。
可选地,在本发明另一实施例的信息获取系统中,所述第一获取模块,具体用于接收所述人体检测信息接口信息。
可选地,在本发明另一实施例的信息获取系统中,所述第一获取模块包括:
获取单元,用于获取图像的检测结果;
生成单元,用于基于所述图像的检测结果生成所述人体检测信息接口信息。
可选地,在本发明另一实施例的信息获取系统中,所述获取单元,具体用于经神经网络对所述图像进行检测,得到所述图像的检测结果。
可选地,在本发明另一实施例的信息获取系统中,还包括:
接收模块,用于响应于接收到请求获取人体检测信息接口信息的第一获取请求,调用所述获取单元执行所述经神经网络对所述图像进行检测的操作。
可选地,在本发明另一实施例的信息获取系统中,所述获取单元,具体用于调用与需要获取的人体检测信息的类型对应的子神经网络,对所述图像进行检测,并输出相应类型的人体检测信息。
可选地,在本发明另一实施例的信息获取系统中,还包括:
接收模块,用于响应于接收到第二获取请求,调用所述获取单元执行所述调用与需要获取的人体检测信息的类型对应的子神经网络的操作;所述第二获取请求中包括所述需要获取的人体检测信息的类型。
可选地,在本发明另一实施例的信息获取系统中,还包括:
渲染引擎,用于根据获取到的子信息对所述图像进行渲染,并输出渲染后图像。
可选地,在本发明另一实施例的信息获取系统中,所述渲染引擎对所述图像进行渲染时,具体用于:
在所述图像上生成子素材的特效;和/或
在所述图像上生成变形效果的特效;和/或
在所述图像上生成所述图像中目标对象的描边特效;和/或
在所述图像上生成目标对象的美妆/美颜/换脸特效;和/或
在播放所述图像时生成声音素材的声音特效。
根据本发明实施例的又一个方面,提供的一种电子设备,包括本发明上述任一实施例所述的信息获取系统。
根据本发明实施例的再一个方面,提供的一种电子设备,包括:
存储器,用于存储可执行指令;以及
处理器,用于与所述存储器通信以执行所述可执行指令从而完成本发明上述任一实施例所述的信息获取方法的操作。
根据本发明实施例的一个方面,提供的一种计算机存储介质,用于存储计算机可读取的指令,所述指令被执行时实现本发明上述任一实施例所述的信息获取方法的操作。
根据本发明实施例的一个方面,提供的一种计算机程序,包括计算机可读取的指令,当所述计算机可读取的指令在设备中运行时,所述设备中的处理器执行用于实现本发明上述任一实施例所述的信息获取方法中的步骤的可执行指令。
基于本发明上述实施例提供的信息获取方法和系统、电子设备、程序和介质,获取到的人体检测信息接口信息包括至少一种类型的人体检测信息,每种类型的人体检测信息包括至少一项子信息,每项子信息包括该子信息的指针,可以从该指针指向的地址获取相应的子信息,由此,基于人体检测信息接口信息便可以获取到所需类型的人体检测信息,以便基于获取到的人体检测信息进行各种应用,例如,可以对视频图像中的人物进行贴纸、美妆、变脸、美体等各种应用。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1为本发明信息获取方法一个实施例的流程图。
图2为本发明信息获取方法另一个实施例的流程图。
图3为本发明信息获取方法又一个实施例的流程图。
图4为本发明实施例的一个示例中预先定义的肢体轮廓点的示意图。
图5为本发明实施例的一个示例中106个人脸关键点的示意图。
图6A-图6C为本发明实施例的另一个示例中134个人脸关键点的示意图,
其中:图6A示出了眼睛和眉毛关键点;图6B示出了上嘴唇轮廓关键点;图6C示出了下嘴唇轮廓关键点。
图7为本发明信息获取方法再一个实施例的流程图。
图8为本发明信息获取方法还一个实施例的流程图。
图9为本发明信息获取方法又一个实施例的流程图。
图10为本发明信息获取系统一个实施例的结构示意图。
图11为本发明信息获取系统另一个实施例的结构示意图。
图12为本发明信息获取系统又一个实施例的结构示意图。
图13为本发明信息获取系统再一个实施例的结构示意图。
图14为本发明电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本发明信息获取方法一个实施例的流程图。如图1所示,该实施例的信息获取方法包括:
102,获取人体检测信息接口信息。
其中,本发明各实施例中的人体检测信息接口信息包括至少一种类型的人体检测信息。本发明各实施例中的人体检测信息包括至少一项子信息,该子信息包括:子信息的指针,该指针用于指向相应子信息的数据存储地址。本发明实施例中,子信息的指针指向的数据存储地址为电子设备(例如移动终端、PC、服务器等)中用于存储或可读取该子信息的数据的地址。
另外,在本发明信息获取方法的另一些实施例中,子信息还可以包括其他信息,例如可包括但不限于:子信息对应项目的数量和/或子信息的置信度。其中,子信息的置信度用于表示该子信息的准确性,子信息的置信度的数值越高,表示该子信息的准确性越高。
104,从子信息的指针指向的地址获取该子信息。
基于本发明上述实施例提供的信息获取方法,获取到的人体检测信息接口信息包括至少一种类型的人体检测信息,每种类型的人体检测信息包括至少一项子信息,每项子信息包括该子信息的指针,可以从该指针指向的地址获取相应的子信息,由此,基于人体检测信息接口信息便可以获取到所需类型的人体检测信息,以便基于获取到的人体检测信息进行各种应用,例如,可以对视频图像中的人物进行贴纸、美妆、变脸、美体等各种应用。
另外,本发明信息获取方法的另一些实施例中,在操作104之前,还可以包括:确定子信息对应项目的数量不为零,再执行操作104。子信息对应项目的数量不为零,表示存在相应数量的子信息;子信息对应项目的数量为零,表示不存在子信息。确定子信息对应项目的数量不为零时才从子信息的指针指向的地址获取该子信息,表示不存在子信息时不再从子信息的指针指向的地址获取子信息,避免不必要的数据读取浪费时间和内存资源,可以提高信息获取效率,节省内存资源。
和/或,本发明信息获取方法的另一些实施例中,在操作104之前,还可以包括:确认子信息的置信度大于预设阈值,再执行操作104。子信息的置信度归一化后的取值范围为[0,1],上述预设阈值的取值可根据实际需要设置,例如可以设置为0.15,确认子信息的置信度大于预设阈值(即:子信息的准确性较高)时,才从子信息的指针指向的地址获取该子信息,可以避免获取准确性较低的子信息,避免不必要的数据读取浪费时间和内存资源,可以提高信息获取效率,节省内存资源。
和/或,本发明信息获取方法的另一些实施例中,在操作104之前,还可以包括:确定子信息的指针指向的地址有效,再执行操作104。其中,指针指向的地址有效,即:指针指向一个有效的数据存储地址;指针指向的地址无效,例如可以是:指针指向的地址为空(Null)或者预设无效地址(例如:0000)。确定子信息的指针指向的地址有效才从子信息的指针指向的地址获取该子信息,避免了地址无效时仍然执行从子信息的指针指向的地址获取该子信息浪费时间和内存资源,可以提高信息获取效率,节省内存资源。
图2为本发明信息获取方法另一个实施例的流程图。如图2所示,该实施例的信息获取方法包括:
202,获取人体检测信息接口信息。
其中,本发明各实施例中的人体检测信息接口信息包括至少一种类型的人体检测信息。本发明各实施例中的人体检测信息包括至少一项子信息,其中的子信息包括:子信息的指针,该指针用于指向相应子信息的数据存储地址;子信息对应项目的数量和/或子信息的置信度。其中,子信息的置信度用于表示该子信息的准确性,子信息的置信度的数值越高,表示该子信息的准确性越高。
针对每一项需要读取的子信息,依次或分别执行操作204。
204,针对需要读取的子信息,确定该子信息对应项目的数量是否为零。
若确认该子信息对应项目的数量不为零,执行操作206。否则,若确认该子信息对应项目的数量为零,不执行本实施例的后续流程。
206,从子信息的指针指向的地址获取该子信息。
在本发明各实施例的一些实施方式中,一种类型的人体检测信息可以包括:针对至少一个对象(例如,人脸,手,肢体等)的人体检测信息,每个对象的人体检测信息还可以包括:用于标识该对象的对象标识(ID)。一种类型的人体检测信息是针对手的人体检测信息(例如手势检测结果信息)时,该对象ID为手的标识(Hand ID);一种类型的人体检测信息是针对脸的人体检测信息(例如人脸检测结果的信息)时,该对象ID为人脸标识(Face ID);一种类型的人体检测信息是针对肢体的人体检测信息(例如肢体检测结果信息)时,该对象ID为人体标识(Body ID)。
其中,在一些可选示例中,一种类型的人体检测信息包括针对两个或以上对象的人体检测信息时,该一种类型的人体检测信息中,该两个或以上对象的人体检测信息可以按照第一预设顺序排列,例如可以按照对象顺序排列,例如可以按照对象ID由小到大的顺序排列。各对象的人体检测信息中包括的对象ID、各项子信息可以按照第二预设顺序排列,例如一个对象的人体检测信息中对象ID、各项子信息的排列顺序为:对象ID,第1项子信息,第2项子信息,…。
在一些可选示例中,针对一个对象的人体检测信息包括两项或以上子信息时,两项或以上子信息按照第三预设顺序排列,各项子信息包括的子信息的指针、对应项目的数量、子信息的置信度按照第四预设顺序排列。例如,针对一个对象的人体检测信息中,两项或以上子信息的排列顺序为:第1项子信息,第2项子信息,…;各项子信息中指针、数量、置信度的排列顺序为:子信息的指针、子信息对应项目的数量、子信息的置信度。
在本发明各实施例的一些实施方式中,人体检测信息接口信息还可以包括:各种类型的人体检测信息对应项目的数量。其中,人体检测信息接口信息包括的至少一种类型的人体检测信息及各种类型的人体检测信息对应项目的数量可以按照预设数据格式设置。
例如,在其中一个可选示例中,按照预设数据格式设置的人体检测信息接口信息,可以包括:按照第五预设顺序排列的第一部分信息和第二部分信息。其中,第一部分信息包括:
类型i的人体检测信息的指示信息,类型i的人体检测信息对应项目的数量;…;类型j的人体检测信息指示信息,类型j的人体检测信息对应项目的数量;或者
类型i的人体检测信息对应项目的数量,类型i的人体检测信息指示信息;…;类型j的人体检测信息对应项目的数量,类型j的人体检测信息指示信息;其中,指示信息用于指向存储人体检测信息的位置,i、j分别为大于0的整数、且i≠j;
第二部分信息可以包括:存储在上述指示信息指向的位置的人体检测信息,例如人脸检测结果信息、手势检测结果信息、前后背景分割检测结果的图片信息、肢体检测结果信息。
其中,一种类型的人体检测信息的指示信息指向的位置为人体检测信息接口信息的相应位置。
如下所示,为人体检测信息接口信息中,按照第五预设顺序排列的第一部分信息typedef struct st_mobile_human_action_t的一个示例:
例如,如下为未检测到人脸检测结果信息、手势检测结果信息、前后背景分割检测结果的图片信息和肢体检测结果信息时人体检测信息接口信息的一个示例:
图3为本发明信息获取方法又一个实施例的流程图。如图3所示,该实施例的信息获取方法包括:
302,获取人体检测信息接口信息。
其中,该人体检测信息接口信息包括:各种类型的人体检测信息的指示信息和对应项目的数量、以及存储在上述指示信息指向的位置的人体检测信息。
本发明各实施例中的人体检测信息包括至少一项子信息,其中的子信息包括:子信息的指针,该指针用于指向相应子信息的数据存储地址;子信息对应项目的数量和/或子信息的置信度。其中,子信息的置信度用于表示该子信息的准确性,子信息的置信度的数值越高,表示该子信息的准确性越高。
分别以需要读取的每一种类型的人体检测信息作为目标类型的人体检测信息,依次或分别执行操作304。
304,针对读取的目标类型的人体检测信息,确定该需要读取的目标类型的人体检测信息对应项目的数量是否为零。
若确定该目标类型的人体检测信息对应项目的数量不为零,执行操作306。否则,若该目标类型的人体检测信息对应项目的数量为零,说明不存在该目标类型的人体检测信息,不执行本实施例的后续流程。
306,读取该目标类型的人体检测信息的指示信息。
308,从该目标类型的人体检测信息的指示信息指向的位置读取该目标类型的人体检测信息。
针对该目标类型的人体检测信息中需要读取的每一项子信息,依次或分别执行操作310。
310,确定子信息对应项目的数量是否为零。
若确认该子信息对应项目的数量不为零,执行操作312。否则,若确认该子信息对应项目的数量为零,不执行本实施例的后续流程。
312,从子信息的指针指向的地址获取该子信息。
本发明实施例中,获取人体检测信息接口信息后,先确定需要读取的目标类型的人体检测信息对应项目的数量不为零,再读取该目标类型的人体检测信息的指示信息,从该目标类型的人体检测信息的指示信息指向的位置读取该目标类型的人体检测信息时,先确定子信息对应项目的数量不为零,再从该子信息的指针指向的地址获取该子信息,可以避免不必要的数据读取浪费时间和内存资源,可以提高信息获取效率,节省内存资源。
本发明上述各信息获取方法实施例中,至少一种类型的人体检测信息例如可以包括但不限于以下任意一种类型或多种类型的人体检测信息:
人脸检测结果信息;
手势检测结果信息;
肢体检测结果信息。
在本发明各实施例中,上述人脸检测结果信息、手势检测结果信息、肢体检测结果信息、子信息,对于静态图像或者视频图像来说,可以是对图像直接进行检测获得的信息。对于视频图像来说,可以是对各帧图像直接进行检测获得的信息;也可以是整段视频或者分段视频中的首帧图像直接进行检测获得的信息,对于整段视频或者分段视频中的非首帧图像,可以是对所在的整段视频或者分段视频中的首帧图像的检测结果信息进行跟踪(例如通过单目标和/或多目标跟踪算法跟踪)得到的结果信息。
在其中一些实施方式中,肢体检测结果信息包括的子信息例如可以包括但不限于以下任意一项或多项:
肢体关键点检测信息;
肢体轮廓点检测信息;
肢体动作检测信息。
其中,在一个可选示例中,肢体关键点检测信息可以包括:肢体关键点检测或跟踪的坐标信息。相应地,肢体关键点检测信息对应项目的数量可以包括:无效信息,或者按照预先定义的肢体关键点检测或跟踪到的人体关键点的数量。其中,无效信息表示不存在肢体关键点检测信息。
其中,在一个可选示例中,肢体轮廓点检测信息可以包括:人体轮廓点的坐标信息。相应地,轮廓点检测信息对应项目的数量可以包括:无效信息,或者按照预先定义的肢体轮廓点检测或跟踪到的人体轮廓点的数量。其中,无效信息表示不存在肢体轮廓点检测信息。
其中,上述预先定义的肢体轮廓点例如可以包括但不限于以下任意一种或多种:手臂轮廓关键点,手部轮廓关键点,肩部轮廓关键点,腿部轮廓关键点,腰部轮廓关键点,脚部轮廓关键点。
示例性地,手臂轮廓关键点例如可以包括但不限于以下任意一种或多种:手臂根部外侧轮廓关键点,胳膊肘外侧轮廓关键点,位于手臂根部外侧轮廓关键点和胳膊肘外侧轮廓关键点之间的中点位置处的上臂外侧轮廓中点关键点,手腕外侧轮廓关键点,位于胳膊肘外侧轮廓关键点和手腕外侧轮廓关键点之间的中点位置处的下臂外侧轮廓中点关键点,手腕内侧轮廓关键点,胳膊肘内侧轮廓关键点,位于手腕内侧轮廓关键点和胳膊肘内侧轮廓关键点之间的中点位置处的下臂内侧轮廓中点关键点,腋窝关键点,位于胳膊肘内侧轮廓关键点和腋窝关键点之间的中点位置处的上臂内侧轮廓中点关键点;和/或
手部轮廓关键点例如可以包括但不限于以下任意一种或多种:手部外接框中心关键点;和/或
腰部轮廓关键点例如可以包括但不限于以下任意一种或多种:将侧大腿根部外轮廓关键点与腋窝关键点之间N等分,所产生的N个等分点;其中,N大于1;和/或
肩部轮廓关键点例如可以包括但不限于以下任意一种或多种:位于肩部与头部交汇位置处的肩头交汇关键点,位于手臂根部外侧轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点;和/或
腿部轮廓关键点例如可以包括但不限于以下任意一种或多种:裆部关键点,大腿根部外侧轮廓关键点,膝盖外侧轮廓关键点,位于大腿根部外侧轮廓关键点和膝盖外侧轮廓关键点之间的中点位置处的大腿外侧轮廓中点关键点,脚踝外侧轮廓关键点,位于膝盖外侧轮廓关键点和脚踝外侧轮廓关键点之间的中点位置处的小腿外侧轮廓中点关键点,脚踝内侧轮廓关键点,膝盖内侧轮廓关键点,位于脚踝内侧轮廓关键点和膝盖内侧轮廓关键点之间的中点位置处的小腿内侧轮廓中点关键点,位于膝盖内侧轮廓关键点和裆部关键点之间的中点位置处的大腿内侧轮廓中点关键点;和/或
脚部轮廓关键点例如可以包括但不限于以下任意一种或多种:脚尖关键点以及足跟关键点。
如图4所示,为本发明实施例的一个示例中预先定义的肢体轮廓点的示意图。如图4所示,预先定义了如下编号为1-59的59个肢体轮廓点,包括:
0:右侧肩头交汇关键点;
1:右侧肩轮廓中点关键点;
2:右侧手臂根部外侧轮廓关键点;
3:右侧上臂外侧轮廓中点关键点
4:右侧胳膊肘外侧轮廓关键点
5:右侧下臂外侧轮廓中点关键点;
6:右侧手腕外侧轮廓关键点;
7:右侧手部外接框中心关键点;
8:右侧手腕内侧轮廓关键点;
9:右侧下臂内侧轮廓中点关键点;
10:右侧胳膊肘内侧轮廓关键点;
11:右侧上臂内侧轮廓中点关键点;
12:右侧腋窝关键点;
13-17:右侧身体外轮廓点(即:右侧腰部轮廓关键点),将12与18之间沿右侧身体轮廓六等分所产生的等分点;
18:右侧大腿根部外侧轮廓关键点;
19:右侧大腿外侧轮廓中点关键点;
20:右侧膝盖外侧轮廓关键点;
21:右侧小腿外侧轮廓中点关键点;
22:右侧脚踝外侧轮廓关键点;
23:右侧足跟关键点;
24:右侧脚尖关键点;
25:右侧脚踝内侧轮廓关键点;
26:右侧小腿内侧轮廓中点关键点;
27:右侧膝盖内侧轮廓关键点
28:右侧大腿内侧轮廓中点关键点;
29:裆部关键点;
30:左侧大腿内侧轮廓中点关键点;
31:左侧膝盖内侧轮廓关键点;
32:左侧小腿内侧轮廓中点关键点;
33:左侧脚踝内侧轮廓关键点;
34:左侧足跟关键点;
35:左侧脚尖关键点;
36:左侧脚踝外侧轮廓关键点;
37:左侧小腿外侧轮廓中点关键点;
38:左侧膝盖外侧轮廓关键点;
39:大腿外侧轮廓中点关键点;
40:左侧大腿根部外侧轮廓关键点;
41-45:左侧身体外轮廓点(即:左侧腰部轮廓关键点),将40与46之间沿左侧身体轮廓六等分所产生的等分点;
46:左侧腋窝关键点;
47:左侧上臂内侧轮廓中点关键点;
48:左侧胳膊肘内侧轮廓关键点;
49:左侧下臂内侧轮廓中点关键点;
50:左侧手腕内侧轮廓关键点;
51:左侧手部外接框中心关键点;
52:左侧手腕外侧轮廓关键点;
53:左侧下臂外侧轮廓中点关键点;
54:左侧胳膊肘外侧轮廓关键点;
55:左侧上臂外侧轮廓中点关键点;
56:左侧手臂根部外侧轮廓关键点;
57:左侧肩轮廓中点关键点;
58:左侧肩头交汇关键点。
其中,在一个可选示例中,肢体动作检测信息可以包括:肢体动作检测的分类结果信息。相应地,肢体动作检测信息对应项目的数量可以包括:无效信息,或者1。其中,无效信息表示不存在肢体动作检测信息,1表示存在1个肢体动作检测信息。
如下所示,为本发明实施例中肢体检测结果信息typedef struct st_mobile_body_t的一个示例:
在其中一些实施方式中,人脸检测结果信息包括的子信息例如可以包括但不限于以下任意一项或多项:
人脸检测信息;
脸部动作检测信息。
其中,在一些可选示例中,上述人脸检测信息例如可以包括但不限于:人脸的矩形框,第一预设数量的人脸关键点。
其中的第一预设数量例如可以是106。图5为本发明实施例的一个示例中106个人脸关键点的示意图,图5中示出了预先定义的106个人脸关键点的一个示例。如下表1所示,为该预先定义的106个人脸关键点的位置及各人脸关键点的序号。
表1 106个人脸关键点
关键点的位置 关键点的序号 关键点的位置 关键点的序号
脸框 0-32 鼻梁 43-46
左眉毛 33-37,64-67 右眉毛 38-42,68-71
左眼眶 52-57,72-73 右眼眶 58-63,75-76
左眼眶中心点 74,104 右眼眶中心点 77,105
鼻子下沿 47-51 鼻子外侧 78-83
上嘴唇 84-90,96-100 下嘴唇 91-95,101-103
在上述表1中,脸框位置的关键点属于脸部外侧轮廓关键点;鼻梁、鼻子下沿、鼻子外侧位置的关键点分别称为鼻梁关键点、鼻子下沿关键点、鼻子外侧轮廓关键点,属于鼻子关键点;左眼眶、右眼眶位置的关键点可以称为眼眶轮廓关键点,左眼眶中心点、右眼眶中心点位置的关键点可以称为眼眶中心点关键点,眼眶轮廓关键点和眼眶中心点关键点属于眼眶关键点;左眉毛、右眉毛位置的关键点可以称为眉毛轮廓关键点,属于第一眉毛关键点;上嘴唇和下嘴唇位置的关键点可以分别称为上嘴唇轮廓关键点和下嘴唇轮廓关键点,属于第一嘴唇关键点。
另外,在另一些可选示例中,上述人脸检测结果信息包括的子信息还可以包括但不限于以下任意一项或多项:
眼睛、眉毛、嘴唇关键点检测信息。
相应地,该实施例中,第一预设数量的人脸关键点例如可以包括但不限于:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,第一眉毛关键点,第一嘴唇关键点。其中的第一预设数量例如可以是106。如图6A、6B和6C所示,示出了该实施例中人脸检测结果信息包括的作为子信息的134个人脸关键点的一个示例。其中的134个人脸关键点包括上述眼睛、眉毛、嘴唇关键点检测信息中的眼睛、眉毛、嘴唇关键点。
如下表2所示,为该预先定义的134个人脸关键点的位置及各人脸关键点的序号。
表2 134个人脸关键点
关键点的位置 关键点的序号 关键点的位置 关键点的序号
左眼睛上沿 11-21 左眼睛下沿 0-10
右眼睛上沿 33-43 右眼睛下沿 22-32
左眉毛上沿 44-50 左眉毛下沿 51-56
右眉毛上沿 57-63 右眉毛下沿 64-69
上嘴唇上沿 70-86 上嘴唇下沿 87-103
下嘴唇上沿 104-118 下嘴唇下沿 119-133
在上述表2中,左眼睛上沿、左眼睛下沿、右眼睛上沿、右眼睛下沿位置的关键点可以称为眼睛轮廓关键点,属于上述眼睛、眉毛、嘴唇关键点检测信息中的眼睛关键点;左眉毛上沿、左眉毛下沿、右眉毛上沿、右眉毛下沿位置的关键点可以称为眉毛轮廓关键点,属于上述眼睛、眉毛、嘴唇关键点检测信息中的第二眉毛关键点;上嘴唇上沿、上嘴唇下沿、下嘴唇上沿、下嘴唇下沿位置的关键点可以分别对应称为上嘴唇轮廓关键点和下嘴唇轮廓关键点,属于眼睛、眉毛、嘴唇关键点检测信息中的第二嘴唇关键点。
另外,在又一些可选示例中,人脸检测信息例如可以包括但不限于:人脸的矩形框,第二预设数量的人脸关键点。相应地,该实施例中,第二预设数量的人脸关键点例如可以包括但不限于:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第一眉毛关键点,第二眉毛关键点,第一嘴唇关键点,第二嘴唇关键点。
其中的第二预设数量例如可以是240。如图6A-图6C所示,为本发明实施例的另一个示例中预先定义的134个人脸关键点的示意图,由图5所示的106个关键点结合图6A-图6C所示的另外134个关键点,组成该240个人脸关键点。其中,第二眉毛关键点即上述表2中的眉毛关键点,第二嘴唇关键点即上述表2中的嘴唇关键点,眼睛关键点包括上述表1中的眼眶关键点和上述表2中的眼睛关键点。图6A示出了眼睛和眉毛关键点,即眼睛关键点和第二眉毛关键点;图6B和图6C示出了第二嘴唇关键点,其中,图6B示出了上嘴唇轮廓关键点,图6C示出了下嘴唇轮廓关键点。
另外,在上述又一些可选示例中,人脸检测结果的信息包括的子信息还可以包括以下任意一项或多项:
眼球中心关键点检测信息;
眼球轮廓关键点检测信息。
另外,在再一些可选示例中,人脸检测信息例如可以包括但不限于:人脸的矩形框,第三预设数量的人脸关键点。相应地,该实施例中,第三预设数量的人脸关键点例如可以包括但不限于:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第二眉毛关键点,第二嘴唇关键点,眼球关键点;眼球关键点包括眼球中心关键点和眼球轮廓关键点。即,该实施例中,第三预设数量的人脸关键点可以包括:上述第二预设数量的人脸关键点,眼球中心关键点和眼球轮廓关键点。其中的第三预设数量例如可以是280。
另外,在上述各可选示例中,人脸检测信息还可以包括:头部姿态;或者,人脸检测结果信息包括的子信息还可以包括:头部姿态。在其中一个可选示例中,该头部姿态可以是头部的三维角度信息,例如可以包括:头部的水平转角(yaw)、俯仰角(pitch)和旋转角(roll)的信息。
在本发明上述各可选示例中,鼻子关键点例如可以包括但不限于以下任意一种或多种:鼻梁关键点、鼻子下沿关键点、鼻子外侧轮廓关键点;
眼眶关键点包括以下任意一种或多种:眼眶轮廓关键点和眼眶中心点关键点;
第一眉毛关键点和/或第二眉毛关键点包括以下任意一种或多种:眉毛轮廓关键点;
第一嘴唇关键点和/或第二嘴唇关键点包括以下任意一种或多种:上嘴唇轮廓关键点和下嘴唇轮廓关键点;
眼睛关键点包括以下任意一种或多种:眼睛轮廓关键点。
如下所示,为本发明实施例中人脸检测结果的信息typedef struct st_mobile_face_t的一个示例:
typedef struct st_mobile_face_t{
st_mobile_106_t face106;///人脸信息,包括:人脸的矩形框、106个人脸关键点、头部姿态等信息
st_pointf_t*p_extra_face_points;///眼睛、眉毛、嘴唇关键点检测信息,可以设置未检测到时为NULL
int extra_face_points_count;///眼睛、眉毛、嘴唇关键点的数量(即眼睛、眉毛、嘴唇关键点检测信息的数量),可以设置未检测到时为0
st_pointf_t*p_eyeball_center;///眼球中心关键点检测信息,可以设置未检测到时为NULL
int eyeball_center_points_count;///眼球中心关键点的数量(即眼球中心关键点检测信息的数量),可以设置未检测到时为0
st_pointf_t*p_eyeball_contour;///眼球轮廓关键点检测信息,可以设置未检测到时为NULL
int eyeball_contour_points_count;///眼球轮廓关键点的数量(即眼球轮廓关键点检测信息的数量),可以设置未检测到时为0
float left_eyeball_score;///左眼球关键点(中心点和轮廓点)检测信息的置信度,取值范围可以是[0.0,1.0]
float right_eyeball_score;///右眼球关键点(中心点和轮廓点)检测信息的置信度,取值范围可以是[0.0,1.0]
unsigned long long face_action;///脸部动作检测信息
}st_mobile_face_t,*p_st_mobile_face_t;
在其中一些实施方式中,手势检测结果信息包括的子信息例如可以包括但不限于以下任意一项或多项:
手部矩形框检测信息;
手部关键点检测信息;
手部动作检测信息。
另外,在本发明上述各实施方式中,上述至少一种类型的人体检测信息还可以包括:前后背景分割检测结果信息。
在其中一些可选示例中,上述前后背景分割检测结果信息可以包括:前后背景分割检测结果的图片信息和该前后背景分割检测结果的图片的置信度信息。其中,图片的置信度表示该图片的准确性。置信度的值越大,说明该图片的准确性越高;否则,置信度的值越小,说明该图片的准确性越低。
另外,在本发明上述各实施方式中,上述至少一种类型的人体检测信息还可以包括:头发分割检测结果信息。
在其中一些可选示例中,上述头发分割检测结果信息可以包括:头发分割检测结果的图片信息和该头发分割检测结果的图片的置信度信息。其中,图片的置信度表示该图片的准确性。置信度的值越大,说明该图片的准确性越高;否则,置信度的值越小,说明该图片的准确性越低。
以下以一个具体示例为例,对本发明上述图3所示实施例进行示例性说明:
假设未检测到人脸检测结果信息、手势检测结果信息、前后背景分割检测结果的图片信息、检测到肢体检测结果信息的一个人体检测信息接口信息的第一部分信息如下:
其中,可以通过判断上述指示信息(*p)是否为空或者对应项目的数量(count)是否为0来确认是否检测到相应类型的人体检测信息。检测到相应类型的人体检测信息时指示信息不为Null,对应项目的数量不是0。没检测到相应类型的人体检测信息时指示信息为Null,对应项目的数量是0。
通过st_mobile_body_t*p_bodys=A可以获知肢体检测结果信息的位置为A,通过A可以查找到肢体检测结果信息st_mobile_body_t,假设肢体检测结果信息st_mobile_body_t如下:
其中,人体关键点的数量为0,肢体动作为0,人体轮廓点的数量为59,通过肢体轮廓点检测信息的指针*p_contour_points=B可以查找到肢体轮廓点检测信息的位置,从该位置获取肢体轮廓点检测信息,包括59个轮廓点的坐标(x,y);通过肢体轮廓点检测信息的置信度*p_contour_points_score=C可以查找到肢体轮廓点检测信息的置信度,即上述59个59个轮廓点的坐标(x,y)的置信度。
在本发明上述各实施例的一个实施方式中,获取人体检测信息接口信息,可以包括:402,接收人体检测信息接口信息。如图7所示,为本发明信息获取方法再一个实施例的流程图。
在本发明上述各实施例的一个实施方式中,获取人体检测信息接口信息,可以包括:
502,获取图像的检测结果。
504,基于图像的检测结果生成人体检测信息接口信息。
如图8所示,为本发明信息获取方法还一个实施例的流程图。
其中,在图8所示实施例的一个实施方式中,操作502可以包括:经神经网络对图像进行检测,得到图像的检测结果。
另外,在图8所示实施例的另一个实施方式中,操作502可以包括:响应于接收到请求获取人体检测信息接口信息的第一获取请求,经神经网络对图像进行检测,得到图像的检测结果。
另外,在图8所示实施例的又一个实施方式中,操作502可以包括:调用与需要获取的人体检测信息的类型对应的子神经网络,对图像进行检测,并输出相应类型的人体检测信息。
另外,在图8所示实施例的再一个实施方式中,操作502可以包括:响应于接收到第二获取请求,调用与需要获取的人体检测信息的类型对应的子神经网络,对图像进行检测,并输出相应类型的人体检测信息。其中,该第二获取请求中包括需要获取的人体检测信息的类型。
另外,基于本发明上述各实施例的信息获取方法,获取到子信息之后,还可以包括:602,根据获取到的子信息对图像进行渲染,并输出渲染后图像。
可选地,本发明上述各实施例的信息获取方法可以基于渲染需求获取相应的子信息,例如,需要对图像中的人脸进行渲染时,可以从人体检测信息接口信息中获取人脸相关的人体检测信息,例如人脸检测结果信息中对人脸进行渲染需要的子信息。例如,在一个应用中,需要对图像中的嘴唇进行渲染,生成红唇特效时,可以从人体检测信息接口信息总获取嘴唇的关键点检测信息。
如图9所示,为本发明信息获取方法又一个实施例的流程图。该实施例中,可以通过本发明上述任一信息获取方法实施例执行从获取人体检测信息接口信息至从子信息的指针指向的地址获取该子信息的操作。
在其中一些实施方式中,操作602中根据获取到的子信息对图像进行渲染,可以包括:
经渲染引擎,根据获取到的子信息在图像上生成特效。
在其中一些可选示例中,根据获取到的子信息在图像上生成特效,例如可以包括但不限于:
根据获取到的子信息,在图像上生成子素材的特效,例如,在图像中的人物头顶位置播放帽子这一子素材;和/或
根据获取到的子信息,在图像上生成变形效果的特效,例如,在图像上生成预设变形区域的变形效果(例如向内拉伸、向外拉伸等),其中的变形区域的形状不受限制,例如可以是圆形、椭圆形、长方形、正方形、三角形、或者其他任意形状等;和/或
根据获取到的子信息,在图像上生成图像中目标对象的描边特效,例如,对图像中的某个对象添加描边(例如对头发添加白色描边);和/或
根据获取到的子信息,在图像上生成目标对象的美妆/美颜/换脸特效(美妆和/或美颜和/或换脸),例如在图像中人物的预设部位显示美颜/美妆/换脸效果,例如红唇、美瞳、蓝眼睛等;和/或
根据获取到的子信息,在播放图像时生成声音素材的声音特效,例如,在播放图像或视频时增加背景音乐。
上述实施例中,在图像上生成特效时需要的特效参数和素材(例如子素材、声音素材等)可以预先设置并发送给渲染引擎。
基于本发明上述实施例,根据获取到的子信息可以在图像上生成特效,实现增强现实的技术效果,从而增加了图像的播放气氛、提升了用户的沉浸感。
本发明实施例提供的任一种信息获取方法可以由任意适当的具有数据处理能力的设备执行,包括但不限于:终端设备和服务器等。或者,本发明实施例提供的任一种信息获取方法可以由处理器执行,如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种信息获取方法。下文不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图10为本发明信息获取系统一个实施例的结构示意图。该实施例的信息获取系统可用于实现本发明上述各信息获取方法实施例。如图10所示,该实施例的信息获取系统包括:第一获取模块和第二获取模块。其中:
第一获取模块,用于获取人体检测信息接口信息,该人体检测信息接口信息包括至少一种类型的人体检测信息,其中的人体检测信息包括至少一项子信息,其中的子信息包括该子信息的指针,该指针用于指向相应子信息的数据存储地址。另外,在本发明信息获取方法的另一些实施例中,子信息还可以包括:子信息对应项目的数量和/或子信息的置信度。其中,子信息的置信度用于表示该子信息的准确性,子信息的置信度的数值越高,表示该子信息的准确性越高。
第二获取模块,用于从指针指向的地址获取子信息。
基于本发明上述实施例提供的信息获取系统,获取到的人体检测信息接口信息包括至少一种类型的人体检测信息,每种类型的人体检测信息包括至少一项子信息,每项子信息包括该子信息的指针,可以从该指针指向的地址获取相应的子信息,由此,基于人体检测信息接口信息便可以获取到所需类型的人体检测信息,以便基于获取到的人体检测信息进行各种应用,例如,可以对视频图像中的人物进行贴纸、美妆、变脸、美体等各种应用。
图11为本发明信息获取系统另一个实施例的结构示意图。如图11所示,与图10所示实施例相比,该实施例的信息获取系统还可以包括以下任意一个或多个模块:第一确定模块,第二确定模块,第三确定模块。其中:
第一确定模块,用于在第二获取模块从指针指向的地址获取子信息之前,确定子信息对应项目的数量不为零。
第二确定模块,用于在第二获取模块从指针指向的地址获取子信息之前,确认子信息的置信度大于预设阈值。
第三确定模块,用于在第二获取模块从指针指向的地址获取子信息之前,确定子信息的指针指向的地址有效。
在本发明各实施例的一些实施方式中,一种类型的人体检测信息可以包括:针对至少一个对象的人体检测信息,每个对象的人体检测信息还包括:用于标识对象的对象ID。
其中,在一些可选示例中,一种类型的人体检测信息包括针对两个或以上对象的人体检测信息时,该一种类型的人体检测信息中,该两个或以上对象的人体检测信息可以按照第一预设顺序排列,例如可以按照对象顺序排列,例如可以按照对象ID由小到大的顺序排列。各对象的人体检测信息中包括的对象ID、各项子信息可以按照第二预设顺序排列,例如一个对象的人体检测信息中对象ID、各项子信息的排列顺序为:对象ID,第1项子信息,第2项子信息,…。
在一些可选示例中,针对一个对象的人体检测信息包括两项或以上子信息时,两项或以上子信息按照第三预设顺序排列,各项子信息包括的子信息的指针、对应项目的数量、子信息的置信度按照第四预设顺序排列。例如,针对一个对象的人体检测信息中,两项或以上子信息的排列顺序为:第1项子信息,第2项子信息,…;各项子信息中指针、数量、置信度的排列顺序为:子信息的指针、子信息对应项目的数量、子信息的置信度。
在本发明各实施例的一些实施方式中,人体检测信息接口信息还可以包括:各种类型的人体检测信息对应项目的数量。其中,人体检测信息接口信息包括的至少一种类型的人体检测信息及各种类型的人体检测信息对应项目的数量可以按照预设数据格式设置。
例如,在其中一个可选示例中,按照预设数据格式设置的人体检测信息接口信息,可以包括:按照第五预设顺序排列的第一部分信息和第二部分信息。其中,第一部分信息包括:
类型i的人体检测信息的指示信息,类型i的人体检测信息对应项目的数量;…;类型j的人体检测信息指示信息,类型j的人体检测信息对应项目的数量;或者
类型i的人体检测信息对应项目的数量,类型i的人体检测信息指示信息;…;类型j的人体检测信息对应项目的数量,类型j的人体检测信息指示信息;其中,指示信息用于指向存储人体检测信息的位置,i、j分别为大于0的整数、且i≠j;
第二部分信息可以包括:存储在上述指示信息指向的位置的人体检测信息。
另外,再参见图11,在本发明信息获取系统的又一个实施例中,还可以包括:第四确定模块和读取模块。其中:
第四确定模块,用于确定需要读取的目标类型的人体检测信息对应项目的数量不为零。
读取模块,用于在第四确定模块确定需要读取的目标类型的人体检测信息对应项目的数量不为零时,读取目标类型的人体检测信息的指示信息;以及从目标类型的人体检测信息的指示信息指向的位置读取目标类型的人体检测信息;以便第二获取模块针对目标类型的人体检测信息中的子信息,执行从指针指向的地址获取子信息的操作。
本发明上述各信息获取系统实施例中,至少一种类型的人体检测信息例如可以包括但不限于以下任意一种类型或多种类型的人体检测信息:
人脸检测结果信息;
手势检测结果信息;
肢体检测结果信息。
在其中一些实施方式中,肢体检测结果信息包括的子信息例如可以包括但不限于以下任意一项或多项:
肢体关键点检测信息;
肢体轮廓点检测信息;
肢体动作检测信息。
其中,在一个可选示例中,肢体关键点检测信息可以包括:肢体关键点检测或跟踪的坐标信息。相应地,肢体关键点检测信息对应项目的数量可以包括:无效信息,或者按照预先定义的肢体关键点检测或跟踪到的人体关键点的数量。其中,无效信息表示不存在肢体关键点检测信息。
其中,在一个可选示例中,肢体轮廓点检测信息可以包括:人体轮廓点的坐标信息。相应地,轮廓点检测信息对应项目的数量可以包括:无效信息,或者按照预先定义的肢体轮廓点检测或跟踪到的人体轮廓点的数量。其中,无效信息表示不存在肢体轮廓点检测信息。
其中,上述预先定义的肢体轮廓点例如可以包括但不限于以下任意一种或多种:手臂轮廓关键点,手部轮廓关键点,肩部轮廓关键点,腿部轮廓关键点,腰部轮廓关键点,脚部轮廓关键点。
示例性地,手臂轮廓关键点例如可以包括但不限于以下任意一种或多种:手臂根部外侧轮廓关键点,胳膊肘外侧轮廓关键点,位于手臂根部外侧轮廓关键点和胳膊肘外侧轮廓关键点之间的中点位置处的上臂外侧轮廓中点关键点,手腕外侧轮廓关键点,位于胳膊肘外侧轮廓关键点和手腕外侧轮廓关键点之间的中点位置处的下臂外侧轮廓中点关键点,手腕内侧轮廓关键点,胳膊肘内侧轮廓关键点,位于手腕内侧轮廓关键点和胳膊肘内侧轮廓关键点之间的中点位置处的下臂内侧轮廓中点关键点,腋窝关键点,位于胳膊肘内侧轮廓关键点和腋窝关键点之间的中点位置处的上臂内侧轮廓中点关键点;和/或
手部轮廓关键点例如可以包括但不限于以下任意一种或多种:手部外接框中心关键点;和/或
腰部轮廓关键点例如可以包括但不限于以下任意一种或多种:将侧大腿根部外轮廓关键点与腋窝关键点之间N等分,所产生的N个等分点;其中,N大于1;和/或
肩部轮廓关键点例如可以包括但不限于以下任意一种或多种:位于肩部与头部交汇位置处的肩头交汇关键点,位于手臂根部外侧轮廓关键点与肩头交汇关键点之间的中点位置处的肩轮廓中点关键点;和/或
腿部轮廓关键点例如可以包括但不限于以下任意一种或多种:裆部关键点,大腿根部外侧轮廓关键点,膝盖外侧轮廓关键点,位于大腿根部外侧轮廓关键点和膝盖外侧轮廓关键点之间的中点位置处的大腿外侧轮廓中点关键点,脚踝外侧轮廓关键点,位于膝盖外侧轮廓关键点和脚踝外侧轮廓关键点之间的中点位置处的小腿外侧轮廓中点关键点,脚踝内侧轮廓关键点,膝盖内侧轮廓关键点,位于脚踝内侧轮廓关键点和膝盖内侧轮廓关键点之间的中点位置处的小腿内侧轮廓中点关键点,位于膝盖内侧轮廓关键点和裆部关键点之间的中点位置处的大腿内侧轮廓中点关键点;和/或
脚部轮廓关键点例如可以包括但不限于以下任意一种或多种:脚尖关键点以及足跟关键点。
其中,在一个可选示例中,肢体动作检测信息可以包括:肢体动作检测的分类结果信息。相应地,肢体动作检测信息对应项目的数量可以包括:无效信息,或者1。其中,无效信息表示不存在肢体动作检测信息,1表示存在1个肢体动作检测信息。
在其中一些实施方式中,人脸检测结果信息包括的子信息例如可以包括但不限于以下任意一项或多项:
人脸检测信息;
脸部动作检测信息。
其中,在一些可选示例中,上述人脸检测信息例如可以包括但不限于:人脸的矩形框,第一预设数量的人脸关键点。
其中的第一预设数量例如可以是106。
另外,在另一些可选示例中,上述人脸检测结果信息包括的子信息还可以包括但不限于以下任意一项或多项:眼睛、眉毛、嘴唇关键点检测信息。
相应地,该实施例中,第一预设数量的人脸关键点例如可以包括但不限于:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,第一眉毛关键点,第一嘴唇关键点。其中的第一预设数量例如可以是106。
另外,在又一些可选示例中,人脸检测信息例如可以包括但不限于:人脸的矩形框,第二预设数量的人脸关键点。相应地,该实施例中,第二预设数量的人脸关键点例如可以包括但不限于:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第一眉毛关键点,第二眉毛关键点,第一嘴唇关键点,第二嘴唇关键点。
其中的第二预设数量例如可以是240。
另外,在上述又一些可选示例中,人脸检测结果的信息包括的子信息还可以包括以下任意一项或多项:
眼球中心关键点检测信息;
眼球轮廓关键点检测信息。
另外,在再一些可选示例中,人脸检测信息例如可以包括但不限于:人脸的矩形框,第三预设数量的人脸关键点。相应地,该实施例中,第三预设数量的人脸关键点例如可以包括但不限于:脸部外侧轮廓关键点,鼻子关键点,眼眶关键点,眼睛关键点,第二眉毛关键点,第二嘴唇关键点,眼球关键点;眼球关键点包括眼球中心关键点和眼球轮廓关键点。
另外,在上述各可选示例中,人脸检测信息还可以包括:头部姿态;或者,人脸检测结果信息包括的子信息还可以包括:头部姿态。在其中一个可选示例中,该头部姿态可以是头部的三维角度信息,例如可以包括:头部的水平转角(yaw)、俯仰角(pitch)和旋转角(roll)的信息。
在本发明上述各可选示例中,鼻子关键点例如可以包括但不限于以下任意一种或多种:鼻梁关键点、鼻子下沿关键点、鼻子外侧轮廓关键点;
眼眶关键点包括以下任意一种或多种:眼眶轮廓关键点和眼眶中心点关键点;
第一眉毛关键点和/或第二眉毛关键点包括以下任意一种或多种:眉毛轮廓关键点;
第一嘴唇关键点和/或第二嘴唇关键点包括以下任意一种或多种:上嘴唇轮廓关键点和下嘴唇轮廓关键点;
眼睛关键点包括以下任意一种或多种:眼睛轮廓关键点。
在其中一些实施方式中,手势检测结果信息包括的子信息例如可以包括但不限于以下任意一项或多项:
手部矩形框检测信息;
手部关键点检测信息;
手部动作检测信息。
另外,在本发明上述各实施方式中,上述至少一种类型的人体检测信息还可以包括:前后背景分割检测结果信息。
在其中一些可选示例中,上述前后背景分割检测结果信息可以包括:前后背景分割检测结果的图片信息和该前后背景分割检测结果的图片的置信度信息。其中,图片的置信度表示该图片的准确性。置信度的值越大,说明该图片的准确性越高;否则,置信度的值越小,说明该图片的准确性越低。
另外,在本发明上述各实施方式中,上述至少一种类型的人体检测信息还可以包括:头发分割检测结果信息。
在其中一些可选示例中,上述头发分割检测结果信息可以包括:头发分割检测结果的图片信息和该头发分割检测结果的图片的置信度信息。其中,图片的置信度表示该图片的准确性。置信度的值越大,说明该图片的准确性越高;否则,置信度的值越小,说明该图片的准确性越低。
在本发明上述各信息获取系统实施例的一个实施方式中,第一获取模块具体用于接收人体检测信息接口信息。
图12为本发明信息获取系统又一个实施例的结构示意图。参见图12,与本发明上述各信息获取系统实施例相比,该实施例的信息获取系统中,第一获取模块包括:获取单元和生成单元。其中:
获取单元,用于获取图像的检测结果。
生成单元,用于基于图像的检测结果生成人体检测信息接口信息。
在其中一个实施方式中,获取单元具体用于经神经网络对图像进行检测,得到图像的检测结果。
另外,再参见图12,信息获取系统还可以包括:接收模块,用于响应于接收到请求获取人体检测信息接口信息的第一获取请求,调用获取单元执行经神经网络对图像进行检测的操作。
在另一个实施方式中,获取单元具体用于调用与需要获取的人体检测信息的类型对应的子神经网络,对图像进行检测,并输出相应类型的人体检测信息。
可选地,在上述另一个实施方式中,也可以包括:接收模块,用于响应于接收到第二获取请求,调用获取单元执行调用与需要获取的人体检测信息的类型对应的子神经网络的操作;第二获取请求中包括需要获取的人体检测信息的类型。
图13为本发明信息获取系统再一个实施例的结构示意图。如图13所示,与上述各实施例的信息获取系统相比,该实施例的信息获取系统还包括:渲染引擎,用于根据获取到的子信息对图像进行渲染,并输出渲染后图像。
另外,图13中的渲染引擎也可以设置于图10-图11任一实施例所示的信息获取系统中,本领域技术人员基于本发明实施例的记载可以实现其结构,此处不再赘述。
在其中一些可选示例中,渲染引擎对图像进行渲染时,具体用于:
在图像上生成子素材的特效;和/或
在图像上生成变形效果的特效;和/或
在图像上生成图像中目标对象的描边特效;和/或
在图像上生成目标对象的美妆/美颜/换脸特效;
在播放图像时生成声音素材的声音特效。
本发明实施例还提供了一种电子设备,包括本发明上述任一实施例的信息获取系统。
本发明实施例还提供了另一种电子设备,包括:存储器,用于存储可执行指令;以及处理器,用于与存储器通信以执行可执行指令从而完成本发明上述任一实施例的信息获取方法的操作。
图14为本发明电子设备一个应用实施例的结构示意图。下面参考图14,其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。如图14所示,该电子设备包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(CPU),和/或一个或多个图像处理器(GPU)等,处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡,处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令,通过总线与通信部相连、并经通信部与其他目标设备通信,从而完成本申请实施例提供的任一信息获取方法对应的操作,例如,获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;从所述指针指向的地址获取所述子信息。
此外,在RAM中,还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下,ROM为可选模块。RAM存储可执行指令,或在运行时向ROM中写入可执行指令,可执行指令使处理器执行本发明上述任一信息获取方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并在总线链接上。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的,如图14所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图14的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上,等等。这些可替换的实施方式均落入本发明公开的保护范围。
另外,本发明实施例还提供了一种计算机存储介质,用于存储计算机可读取的指令,该指令被执行时实现本发明上述任一实施例的信息获取方法的操作。
另外,本发明实施例还提供了一种计算机程序,包括计算机可读取的指令,当该计算机可读取的指令在设备中运行时,该设备中的处理器执行用于实现本发明上述任一实施例的信息获取方法中的步骤的可执行指令。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种信息获取方法,其特征在于,包括:
获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;
从所述指针指向的地址获取所述子信息。
2.根据权利要求1所述的方法,其特征在于,所述子信息还包括:所述子信息对应项目的数量和/或所述子信息的置信度。
3.根据权利要求2所述的方法,其特征在于,从所述指针指向的地址获取所述子信息之前,还包括:
确定所述子信息对应项目的数量不为零。
4.根据权利要求2或3所述的方法,其特征在于,从所述指针指向的地址获取所述子信息之前,还包括:
确认所述子信息的置信度大于预设阈值。
5.根据权利要求1-4任一所述的方法,其特征在于,从所述指针指向的地址获取所述子信息之前,还包括:
确定所述子信息的指针指向的地址有效。
6.一种信息获取系统,其特征在于,包括:
第一获取模块,用于获取人体检测信息接口信息,所述人体检测信息接口信息包括至少一种类型的人体检测信息,所述人体检测信息包括至少一项子信息,所述子信息包括:所述子信息的指针;
第二获取模块,用于从所述指针指向的地址获取所述子信息。
7.一种电子设备,其特征在于,包括权利要求6所述的信息获取系统。
8.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;以及
处理器,用于与所述存储器通信以执行所述可执行指令从而完成权利要求1-5任一所述信息获取方法的操作。
9.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现权利要求1-5任一所述信息获取方法的操作。
10.一种计算机程序,包括计算机可读取的指令,其特征在于,当所述计算机可读取的指令在设备中运行时,所述设备中的处理器执行用于实现权利要求1-5任一所述信息获取方法中的步骤的可执行指令。
CN201810254737.4A 2018-03-26 2018-03-26 信息获取方法和系统、电子设备、程序和介质 Pending CN110363787A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810254737.4A CN110363787A (zh) 2018-03-26 2018-03-26 信息获取方法和系统、电子设备、程序和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810254737.4A CN110363787A (zh) 2018-03-26 2018-03-26 信息获取方法和系统、电子设备、程序和介质

Publications (1)

Publication Number Publication Date
CN110363787A true CN110363787A (zh) 2019-10-22

Family

ID=68213024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810254737.4A Pending CN110363787A (zh) 2018-03-26 2018-03-26 信息获取方法和系统、电子设备、程序和介质

Country Status (1)

Country Link
CN (1) CN110363787A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942005A (zh) * 2019-11-21 2020-03-31 网易(杭州)网络有限公司 物体识别方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1165340A (zh) * 1996-02-08 1997-11-19 丰田自动车株式会社 移动物体的检测方法和设备
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
CN101706721A (zh) * 2009-12-21 2010-05-12 汉王科技股份有限公司 模拟雷达扫描的人脸检测方法
CN103226834A (zh) * 2013-03-26 2013-07-31 长安大学 一种图像运动目标特征点快速搜索方法
CN103729358A (zh) * 2012-10-11 2014-04-16 中国航天科工集团第二研究院二〇七所 基于数据库的视频摘要生成方法
CN105118023A (zh) * 2015-08-31 2015-12-02 电子科技大学 基于人脸特征点的实时视频人脸卡通化生成方法
CN106156785A (zh) * 2015-04-07 2016-11-23 佳能株式会社 对象检测方法及对象检测设备
CN106355603A (zh) * 2016-08-29 2017-01-25 深圳市商汤科技有限公司 人体跟踪方法和人体跟踪装置
US20170116465A1 (en) * 2015-10-26 2017-04-27 Le Holdings (Beijing) Co., Ltd. Video processing method and system, video player and cloud server
WO2017101267A1 (zh) * 2015-12-18 2017-06-22 腾讯科技(深圳)有限公司 人脸活体的鉴别方法、终端、服务器和存储介质
CN107239727A (zh) * 2016-12-07 2017-10-10 北京深鉴智能科技有限公司 手势识别方法和系统
CN107392089A (zh) * 2017-06-02 2017-11-24 广州视源电子科技股份有限公司 一种眉毛运动检测方法和装置及活体识别方法和系统
CN107679497A (zh) * 2017-10-11 2018-02-09 齐鲁工业大学 视频面部贴图特效处理方法及生成系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1165340A (zh) * 1996-02-08 1997-11-19 丰田自动车株式会社 移动物体的检测方法和设备
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
CN101706721A (zh) * 2009-12-21 2010-05-12 汉王科技股份有限公司 模拟雷达扫描的人脸检测方法
CN103729358A (zh) * 2012-10-11 2014-04-16 中国航天科工集团第二研究院二〇七所 基于数据库的视频摘要生成方法
CN103226834A (zh) * 2013-03-26 2013-07-31 长安大学 一种图像运动目标特征点快速搜索方法
CN106156785A (zh) * 2015-04-07 2016-11-23 佳能株式会社 对象检测方法及对象检测设备
CN105118023A (zh) * 2015-08-31 2015-12-02 电子科技大学 基于人脸特征点的实时视频人脸卡通化生成方法
US20170116465A1 (en) * 2015-10-26 2017-04-27 Le Holdings (Beijing) Co., Ltd. Video processing method and system, video player and cloud server
WO2017101267A1 (zh) * 2015-12-18 2017-06-22 腾讯科技(深圳)有限公司 人脸活体的鉴别方法、终端、服务器和存储介质
CN106355603A (zh) * 2016-08-29 2017-01-25 深圳市商汤科技有限公司 人体跟踪方法和人体跟踪装置
CN107239727A (zh) * 2016-12-07 2017-10-10 北京深鉴智能科技有限公司 手势识别方法和系统
CN107392089A (zh) * 2017-06-02 2017-11-24 广州视源电子科技股份有限公司 一种眉毛运动检测方法和装置及活体识别方法和系统
CN107679497A (zh) * 2017-10-11 2018-02-09 齐鲁工业大学 视频面部贴图特效处理方法及生成系统

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
JIANGDON: "UnionDiversityLive_iOS / SenseTime / demo / UnionSTFilter / libs / st_mobile_beautify.h", 《HTTPS://GITHUB.COM/KSVC/UNIONDIVERSITYLIVE_IOS/BLOB/MASTER/SENSETIME/DEMO/UNIONSTFILTER/LIBS/ST_MOBILE_BEAUTIFY.H》 *
JIANGDON: "UnionDiversityLive_iOS / SenseTime / demo / UnionSTFilter / libs / st_mobile_common.h", 《HTTPS://GITHUB.COM/KSVC/UNIONDIVERSITYLIVE_IOS/BLOB/MASTER/SENSETIME/DEMO/UNIONSTFILTER/LIBS/ST_MOBILE_COMMON.H》 *
JIANGDONG: "UnionDiversityLive_iOS / SenseTime / demo / UnionSTFilter / libs / st_mobile_human_action.h", 《HTTPS://GITHUB.COM/KSVC/UNIONDIVERSITYLIVE_IOS/BLOB/MASTER/SENSETIME/DEMO/UNIONSTFILTER/LIBS/ST_MOBILE_HUMAN_ACTION.H》 *
RENESAS: "RX64M Group Sensor solution which utilizes a camera RX Driver Package Application", 《HTTPS://WWW.RENESAS.COM/US/EN/DOCUMENT/APN/RX64M-GROUP-SENSOR-SOLUTION-WHICH-UTILIZES-CAMERA-RX-DRIVER-PACKAGE-APPLICATION》 *
WIKIPEDIA: "Cv模式识别", 《HTTP://WIKI.OPENCV.ORG.CN/INDEX.PHP/CV模式识别》 *
叶飞: "C#实现人脸识别-(运用虹软人脸识别引擎)", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/28884915》 *
开往春天的拖拉机: "face detection and aligh", 《HTTPS://WWW.CNBLOGS.COM/HELLOKITTYBLOG/P/8186176.HTML》 *
开往春天的拖拉机: "face detection and aligh", 《HTTPS://WWW.CNBLOGS.COM/HELLOKITTYBLOG/P/9128474.HTML》 *
蔡雅薇 等: "弱监督任意姿态人体检测", 《计算机科学与探索》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942005A (zh) * 2019-11-21 2020-03-31 网易(杭州)网络有限公司 物体识别方法及装置

Similar Documents

Publication Publication Date Title
WO2019141104A1 (zh) 人体轮廓关键点检测方法、图像处理方法、装置及设备
US11321769B2 (en) System and method for automatically generating three-dimensional virtual garment model using product description
KR101911133B1 (ko) 깊이 카메라를 이용한 아바타 구성
CN108280883B (zh) 变形特效程序文件包的生成及变形特效生成方法与装置
CN108229276A (zh) 神经网络训练及图像处理方法、装置和电子设备
CN107871098B (zh) 人脸特征点的获取方法和装置
El Dib et al. Human age estimation using enhanced bio-inspired features (EBIF)
CN110363867A (zh) 虚拟装扮系统、方法、设备及介质
CN107481280B (zh) 一种骨骼点的矫正方法及计算设备
CN109614925A (zh) 服饰属性识别方法和装置、电子设备、存储介质
CN110288715B (zh) 虚拟项链试戴方法、装置、电子设备及存储介质
CN108229559A (zh) 服饰检测方法、装置、电子设备、程序和介质
CN110147737B (zh) 用于生成视频的方法、装置、设备和存储介质
WO2022161301A1 (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
WO2018146546A1 (en) Systems, methods, and apparatuses for tracking a body or portions thereof
CN111369428A (zh) 虚拟头像生成方法和装置
CN108629248A (zh) 一种实现增强现实的方法及设备
CN108778123A (zh) 步态分析装置、步态分析方法和计算机可读记录介质
US11954862B2 (en) Joint estimation of heart rate and respiratory rate using neural networks
Kang et al. Interactive animation generation of virtual characters using single RGB-D camera
Ong et al. Investigation of feature extraction for unsupervised learning in human activity detection
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
CN110222651A (zh) 一种人脸姿态检测方法、装置、终端设备及可读存储介质
Kwolek et al. Recognition of JSL fingerspelling using deep convolutional neural networks
CN110363787A (zh) 信息获取方法和系统、电子设备、程序和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191022