CN110910478B - Gif图生成方法、装置、电子设备及存储介质 - Google Patents

Gif图生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110910478B
CN110910478B CN201911072049.7A CN201911072049A CN110910478B CN 110910478 B CN110910478 B CN 110910478B CN 201911072049 A CN201911072049 A CN 201911072049A CN 110910478 B CN110910478 B CN 110910478B
Authority
CN
China
Prior art keywords
key points
static
template video
head
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911072049.7A
Other languages
English (en)
Other versions
CN110910478A (zh
Inventor
郭晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911072049.7A priority Critical patent/CN110910478B/zh
Publication of CN110910478A publication Critical patent/CN110910478A/zh
Application granted granted Critical
Publication of CN110910478B publication Critical patent/CN110910478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种GIF图生成方法、装置、电子设备及存储介质，该方法包括：获取待生成GIF图的静态图片和模板视频；检测静态图片中的脸部关键点，作为静态脸部关键点，并检测模板视频预设帧中的脸部关键点，作为参考脸部关键点；根据检测到的关键点，将模板视频各帧中的脸部对齐到静态图片中的脸部位置，得到对齐后模板视频；检测对齐后模板视频中各帧的脸部关键点和头部关键点，并检测静态图片中的头部关键点；根据脸部关键点和头部关键点，分别将对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到静态图片中，得到GIF图。本发明实施例可以同时迁移脸部动作和头部动作，提升了GIF图效果。

Description

GIF图生成方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种GIF图生成方法、装置、电子设备及存储介质。
背景技术
视频作为娱乐媒体的重要载体，承载着重要信息。GIF(Graphics InterchangeFormat，图形交换格式)图兼具视频的许多优点，但文件相对较小，适合广泛传播，因而大受欢迎。
现有的GIF图来源有两大类：一类是人工抽取视频中的部分帧，组合成GIF图；还有一类则是专门针对人物的GIF图，这类GIF图可以使用算法制作。利用算法制作GIF图时，需要一张静态图片和一个模板视频，算法首先检测出模板视频以及静态照片中的脸部关键点，然后根据脸部关键点，将模板视频里面人物的表情动作迁移到静态图片中，从而形成GIF图。
然而，由于这种方法只使用了脸部关键点，只能实现脸部的表情迁移，导致生成的GIF图效果不够生动，用户体验不佳。
发明内容
本发明实施例的目的在于提供一种GIF图生成方法、装置、电子设备及存储介质，以提升生成的GIF图效果。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种GIF图生成方法，包括：
获取待生成图形交换格式GIF图的静态图片和模板视频；
检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点；
根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频；
检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点；
根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
在本发明实施的第二方面，还提供了一种GIF图生成装置，包括：
图片和模板获取模块，用于获取待生成GIF图的静态图片和模板视频；
脸部检测模块，用于检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点；
脸部对齐模块，用于根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频；
关键点检测模块，用于检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点；
GIF图生成模块，用于根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的GIF图生成方法的步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的GIF图生成方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的GIF图生成方法。
本发明实施例提供的GIF图生成方法、装置、电子设备及存储介质，通过对静态图片以及对齐后模板视频中各帧分别进行脸部检测和头部检测，从而在进行动作迁移时可以根据脸部关键点和头部关键点同时迁移脸部动作和头部动作，实现了将对齐后模板视频中各帧的脸部动作和头部动作同时迁移到静态图片中，解决了现有技术中只能迁移脸部动作的问题，提升了生成的GIF图的效果，可以提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的一种GIF图生成方法的流程图；
图2是本发明实施例中的头部关键点的示意图；
图3是本发明实施例提供的一种GIF图生成方法的流程图；
图4是本发明实施例中的模板视频中的一帧图片的示意图；
图5是本发明实施例中的静态图片的示意图；
图6是本发明实施例中的将模板视频中的一帧图片对齐到静态图片的脸部位置得到的图片的示意图；
图7是本发明实施例中的静态图片中的三角形序列的示意图；
图8是本发明实施例中的模板视频中的一帧图片的三角形序列的示意图；
图9是本发明实施例中的根据模板视频中一帧图片的三角形序列对静态图片的三角形序列进行拉伸处理得到的图片示意图；
图10是本发明实施例提供的一种GIF图生成方法的流程图；
图11是本发明实施例中的一种GIF图生成方法的流程示意图；
图12是本发明实施例中的一种GIF图生成装置的结构示意图；
图13是本发明实施例中的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
图1是本发明实施例提供的一种GIF图生成方法的流程图，如图1所示，该GIF图生成方法包括如下步骤：
步骤110，获取待生成GIF图的静态图片和模板视频。
其中，所述静态图片中包括脸部和头部，用于提供生成GIF图的基准图片。所述模板视频的各帧图像均包括脸部和头部，用于提供生成GIF图的脸部动作和头部动作。当然，静态图片和模板视频的各帧图像除了包括脸部和头部外，还可以包括身体其他部位，比如手、上半身或全身等。所述脸部和头部可以是人物的脸部和头部，还可以是其他动物的脸部和头部，这里不做限定。具体而言，本发明实施例是采用人脸来实现的，但是理论上有脸部特征、头部特征可以做关键点检测的都可以采用本发明实施例所述的GIF生成方法来生成GIF图。例如，模板视频可以为人物的视频，可以将模板视频中人物的脸部动作和头部动作迁移到动物的静态图片中；或者，模板视频可以为动物的视频，可以将模板视频中动物的脸部动作和头部动作迁移到人物的静态图片中；或者，还可以是模板视频为动物的视频，静态图片也是动物的图片，可以将模板视频中动物的脸部动作和头部动作迁移到动物的静态图片中。
可以通过提供接口的形式接收用户输入的静态图片，或者，还可以根据用户指定的存储路径获取待生成GIF图的静态图片。模板视频可以是预设的视频，或者，也可以是用户指定的视频。
步骤120，检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点。
其中，所述预设帧可以是第一帧，还可以是模板视频中的其他帧。
可以使用脸部关键点检测算法库检测所述静态图片中的脸部关键点，将该静态图片中的脸部关键点记为静态脸部关键点。使用脸部关键点检测算法库检测所述模板视频预设帧中的脸部关键点，将该模板视频预设帧中的脸部关键点记为参考脸部关键点。其中，脸部关键点检测算法库例如可以是Dlib库或者OpenCV库，Dlib库可以检测脸部至少68个脸部关键点。脸部关键点可以包括脸部轮廓特征点、眼部特征点、鼻部特征点和嘴部特征点等。
步骤130，根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频。
根据所述静态脸部关键点和所述参考脸部关键点，确定将所述模板视频预设帧中的脸部对齐到所述静态图片中的脸部位置所需的变换参数，并分别基于所述变换参数对所述模板视频中各个帧进行变换，实现将模板视频中各帧中的脸部对齐到静态图片中的脸部位置，得到对齐后模板视频。
步骤140，检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点。
对对齐后模板视频中的各帧分别进行脸部检测和头部检测，得到对齐后模板视频各帧的脸部关键点和头部关键点。对静态图片进行头部检测，得到静态图片中的头部关键点。通过检测对齐后模板视频中各帧的脸部关键点和头部关键点，便于后续将对齐后模板视频中的脸部动作和头部动作迁移到静态图片中。其中，脸部检测和头部检测可以基于机器学习的方式实现，脸部检测可以使用脸部关键点检测算法库进行检测，头部检测可以使用目标检测的方式进行检测，也可以使用头部关键点检测算法进行检测。
步骤150，根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
其中，脸部动作是指脸部的表情动作，包括嘴部动作和眼部动作等，如张嘴、闭嘴、睁眼、闭眼等。头部动作是指头部的移动动作，如向上移动、向下移动、向左移动、向右移动等。
将静态图片中的脸部关键点和头部关键点作为静态关键点，将对齐后模板视频中各帧的脸部关键点和头部关键点作为参考关键点。可以按照对齐后模板视频中的各帧的顺序，将对齐后模板视频中的每一帧分别作为参考基准。以当前帧中的参考关键点作为基准，对静态图片中的静态关键点进行拉伸，使得静态关键点移动到当前帧中对应的参考关键点的位置，实现将当前帧中的脸部动作和头部动作迁移到静态图片中。按照对齐后模板视频中的每一帧分别对静态图片进行处理后，按照对齐后模板视频中的各帧的顺序，对处理后的静态图片按照相应的顺序排列，得到静态图片对应的GIF图。
本发明实施例提供的GIF图生成方法，通过对静态图片以及对齐后模板视频中各帧分别进行脸部检测和头部检测，从而在进行动作迁移时可以根据脸部关键点和头部关键点同时迁移脸部动作和头部动作，实现了将对齐后模板视频中各帧的脸部动作和头部动作同时迁移到静态图片中，解决了现有技术中只能迁移脸部动作的问题，提升了生成的GIF图的效果，可以提升用户体验。
在上述技术方案的基础上，检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点，包括：检测所述对齐后模板视频中各帧的脸部关键点；分别使用目标检测模型对所述对齐后模板视频中各帧进行头部检测，得到对齐后模板视频中各帧的头部关键点；使用所述目标检测模型对所述静态图片进行头部检测，得到所述静态图片中的头部关键点。
其中，所述目标检测模型可以是深度学习模型，可以输出预设数量的头部关键点，所述预设数量的头部关键点构成矩形的头部外围框。所述预设数量优选为八，从而可以在计算量较少的基础上，实现对头部动作的迁移。
使用脸部关键点检测算法对所述对齐后模板视频中各帧分别进行脸部检测，得到各帧的脸部关键点。在进行头部检测时，可以使用预先训练完成的目标检测模型进行检测。目标检测模型输出的头部关键点构成矩形的头部外围框，而不是头部轮廓，从而可以使用较少的关键点标出头部外围框，相对于头部关键点检测算法需要标注头部轮廓，降低了数据标注成本，可以降低后续动作迁移的计算量。在对目标检测模型进行训练之前，可以对样本中的头部进行标注，可以标注为矩形的外围框，如可以标注为如图2所示的矩形外围框，即可以将头部关键点标注为包括矩形的四个顶点以及四条边的中点的矩形外围框，通过对头部标注后的大量样本对目标检测模型进行训练，得到训练完成的目标检测模型。
图3是本发明实施例提供的一种GIF图生成方法的流程图，本实施例给出了将对齐后模板视频中各帧的脸部动作和头部动作迁移到静态图片的具体方式，如图3所示，该GIF图生成方法包括如下步骤：
步骤310，获取待生成GIF图的静态图片和模板视频。
步骤320，检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点。
步骤330，根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频。
如图4-6所示，图4为模板视频中的一帧图片，图5为静态图片，则将模板视频中的图4所示的图片对齐到图5所示静态图片中的脸部位置，得到的对齐后模板视频中的该帧图片如图6所示。
步骤340，检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点。
步骤350，根据所述静态脸部关键点和所述静态图片中的头部关键点，对所述静态图片进行三角剖分，得到所述静态图片对应的三角形序列，作为静态三角形序列。
其中，三角剖分是将任意多的点分割为多个三角形，任意一个三角形的外接圆都不应该包含其它顶点，如果包含则继续寻找组合，直到所有点满足此条件，最终得到多个三角形。
本发明实施例中，在对静态图片进行三角剖分时，将静态图片中的脸部关键点、头部关键点以及静态图片的四个角的顶点和四条边的中点作为三角形的顶点，对静态图片进行三角剖分，使得得到的任意一个三角形的外接圆都不包含其他顶点，得到静态图片对应的三角形序列，作为静态三角形序列。
步骤360，根据所述对齐后模板视频中各帧的脸部关键点和头部关键点，对所述对齐后模板视频中各帧进行三角剖分，得到对齐后模板视频各帧对应的三角形序列。
对所述对齐后模板视频中的每一帧分别进行三角剖分。在对每一帧进行三角剖分时，将该帧中的脸部关键点、头部关键点以及该帧图片的四个角的顶点和四条边的中点作为三角形的顶点，对该帧图片进行三角剖分，使得得到的任意一个三角形的外接圆都不包含其他顶点，得到该帧对应的三角形序列。
可以使用三角剖分算法对静态图片和对齐后模板视频每一帧进行三角剖分，例如可以使用OpenCV库中的三角剖分算法，或者其他算法库中的三角剖分算法。对静态图片和对齐后模板视频每一帧进行三角剖分，得到的三角形序列可以表示如下：
其中，triangle表示三角形序列，m为三角形的数量，上式中每一行表示三角形的三个顶点。
步骤370，根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列。
针对对齐后模板视频中的每一帧对应的三角形序列，分别对静态图片对应的静态三角形序列中的静态三角形进行拉伸处理，得到数量与对齐后模板视频帧数相同的处理后静态图片，这些处理后静态图片按照对齐后模板视频中各帧的顺序排列，得到静态图片对应的视频序列。对于对齐后模板视频中的每一帧，都对静态图片中的对应三角形进行拉伸，就可以生成对应的视频序列，视频序列中目标(如人物)的每一帧动作均与对齐后模板视频中的目标动作一致。
在根据对齐后模板视频中的一帧对应的三角形序列对静态三角形序列进行拉伸处理时，将静态图片中的三角形顶点拉伸到对齐后模板视频中该帧对应三角形顶点的位置。如图7-图8所示，图7是静态图片中的三角形序列的示意图，图8是模板视频中的一帧图片的三角形序列的示意图，图9是根据图8所示的三角形序列对图7所示的三角形序列进行拉伸处理得到的图片示意图，通过处理，将图8所示的张嘴动作迁移到了图7所示的静态图片中，得到了图9所示的具有张嘴动作的图片。如图7-图9所示，静态图片中人物的嘴型是闭合的，而对齐后模板视频中一帧图片的人物嘴型是张开的，图8和图9对两个图片中对应的嘴部的三角形进行了加粗显示，通过对图7中该三角形及其周围三角形的拉伸使得静态图片中的嘴型张开，得到图9所示的图片。通过三角形拉伸之后，就可以实现将对齐后模板视频中该帧图片的人物张嘴和头部运动迁移到静态图片中，通过嘴部三角形的拉伸实现了静态图片中的人物张嘴，通过头部三角形的拉伸实现了静态图片中的人物头部运动。
步骤380，根据所述视频序列，生成GIF图。
将所述视频序列压缩为GIF文件，从而生成GIF图。在显示GIF图时，把存储于一个GIF文件中的多幅图片逐幅读出并显示到屏幕上，从而显示为一种动画。
本实施例提供的GIF图生成方法，通过根据相应的脸部关键点和头部关键点，分别对静态图片和对齐后模板视频中各帧进行三角剖分，并根据对齐后模板视频各帧对应的三角形序列，对静态图片对应的静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列，将该视频序列生成GIF图，由于在进行三角剖分时，同时考虑了脸部关键点和头部关键点，从而在将对齐后模板视频中的动作迁移到静态图片时，同时迁移了脸部动作和头部动作，实现了对脸部动作和头部动作的同时迁移，提升了生成的GIF图的效果，通过三角剖分后依据对齐后模板视频各帧对应的三角形序列对静态三角形序列进行拉伸可以方便快速的实现将模板视频中的脸部动作和头部动作迁移到静态图片中，提高了处理速度以及动作迁移的准确性。
在一种可行的实施方式中，所述根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列，包括：从所述对齐后模板视频中选取一帧，作为当前帧，将当前帧对应的三角形序列作为当前三角形序列；将所述静态三角形序列中各个静态三角形的顶点分别拉伸到所述当前三角形序列中对应三角形的顶点的位置，得到变换图片；循环执行上述选取当前帧以及对静态三角形序列中的静态三角形拉伸的操作，直至处理完所述对齐后模板视频中的所有帧；按照所述对齐后模板视频中各帧的顺序，排列根据模板视频中各帧对静态图片中静态三角形拉伸处理得到的变换图片，得到静态图片对应的视频序列。
在选取当前帧时，可以按照对齐后模板视频中各帧的顺序进行选取，也可以随机选取，优选是按照对齐后模板视频中各帧的顺序进行选取，这样，按照当前帧对应的三角形序列对静态图片进行处理后得到的变换图片可以按照处理顺序进行排列，并且该排列顺序对应对齐后模板视频各帧的顺序，进一步提高处理速度。当前帧与静态图片中的三角形的数量相同，并且当前帧中的一个三角形与静态图片中的一个相应位置的三角形对应，例如当前帧中嘴部的一个三角形对应静态图片中嘴部相应的一个三角形，在进行拉伸处理时，根据三角形的对应关系，将静态图片中的三角形顶点拉伸到当前帧中对应的三角形顶点的位置，实现将当前帧中的脸部动作和头部动作迁移到静态图片中。通过按照对齐后模板视频中的每一帧分别对静态图片进行拉伸处理，使得处理后的各个静态图片中的脸部动作和头部动作能够连续，提升GIF图效果。
图10是本发明实施例提供的一种GIF图生成方法的流程图，本实施例给出了将模板视频各帧中的脸部对齐到静态图片中的脸部位置的具体方式，如图10所示，该GIF图生成方法包括如下步骤：
步骤1010，获取待生成GIF图的静态图片和模板视频。
步骤1020，检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点。
步骤1030，根据所述静态脸部关键点和所述参考脸部关键点，确定将所述参考脸部关键点对齐到所述静态脸部关键点时对应的旋转矩阵、尺度变换矩阵和平移矩阵。
将参考脸部关键点对齐到静态脸部关键点的位置时，需要对模板视频预设帧进行旋转、尺度变换以及平移的操作，根据静态脸部关键点和参考脸部关键点，将参考脸部关键点对齐到脸部关键点，由于静态脸部关键点和参考脸部关键点均已知，从而根据静态脸部关键点和参考脸部关键点，可以确定对齐时需要的旋转矩阵、尺度变换矩阵和平移矩阵。其中，脸部关键点是一个二维坐标的集合，例如静态图片记为Img，则静态脸部关键点为LMImg，模板视频中第i帧的脸部关键点LMi可以表示为LMi＝((xp1,yp1),(xp2,yp2),…)，其中，xpj表示第i帧中的第j个脸部关键点的横坐标，ypj表示第i帧中的第j个脸部关键点的纵坐标。
在一种可行的实施方式中，所述根据所述静态脸部关键点和所述参考脸部关键点，确定将所述参考脸部关键点对齐到所述静态脸部关键点对应的旋转矩阵、尺度变换矩阵和平移矩阵，包括：根据所述静态脸部关键点和所述参考脸部关键点，按照如下优化公式确定所述参考脸部关键点对齐到所述静态脸部关键点对应的旋转矩阵、尺度变换矩阵和平移矩阵：
其中，LMImg表示静态脸部关键点，LM1表示参考脸部关键点，R表示旋转矩阵，S表示尺度变换矩阵，X表示平移矩阵。
通过最小化表达式(LMImg-(S*R*LM1+X))可以求得旋转矩阵R、尺度变换矩阵S和平移矩阵X。
步骤1040，根据所述旋转矩阵、尺度变换矩阵和平移矩阵，对所述模板视频中每一帧进行变换，得到对齐后模板视频。
在得到旋转矩阵、尺度变换矩阵和平移矩阵后，对模板视频中每一帧均进行相应的旋转操作、尺度变换操作和平移操作，得到对齐后模板视频。
具体实施时，将旋转矩阵R、尺度变换矩阵S和平移矩阵X应用到模板视频的每一帧上，即可实现脸部对齐，得到对齐后模板视频。具体来说，假设模板视频当前帧图片为Vi，那么对齐后的视频帧Valign_i表示如下：
Valign_i＝S*R*Vi+X。
步骤1050，检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点。
步骤1060，根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
本实施例提供的GIF图生成方法，通过根据静态脸部关键点和参考脸部关键点，确定将参考脸部关键点对齐到静态脸部关键点时对应的旋转矩阵、尺度变换矩阵和平移矩阵，并根据旋转矩阵、尺度变换矩阵和平移矩阵对模板视频中每一帧进行变换，得到对齐后模板视频，实现了将模板视频中的脸部位置对齐到静态图片中的脸部位置，并提高了位置对齐的准确性，便于后续将模板视频中的脸部动作和头部动作迁移到静态图片中，进一步提升生成的GIF图效果。
图11是本发明实施例中的一种GIF图生成方法的流程示意图，如图11所示，首先分别对静态图片和模板视频预设帧进行脸部检测，得到各自对应的脸部关键点；根据静态图片的脸部关键点和模板视频预设帧的脸部关键点，计算将模板视频预设帧中脸部对齐到静态图片中的脸部位置时需要的变换参数，并根据变换参数对模板视频中每一帧进行变换，得到对齐后模板视频；对对齐后模板视频进行脸部关键点检测和头部关键点检测，对静态图片进行头部关键点检测；根据静态图片的脸部关键点和头部关键点，对静态图片进行三角剖分，得到静态三角形序列，并根据对齐后模板视频中各帧的脸部关键点和头部关键点，对对齐后模板视频各帧进行三角剖分，得到对齐后模板视频各帧对应的三角形序列；根据对齐后模板视频各帧分别对静态图片进行图像变形处理，即根据对齐后模板视频各帧对应的三角形序列分别对静态图片的三角形序列进行拉伸处理，得到静态图片的GIF图。由于在检测脸部关键点的基础上，还检测了头部关键点，从而通过三角剖分进行动作迁移时可以同时迁移脸部动作和头部动作，从而提升了生成的GIF图效果。本实施例中，各个步骤的具体实现过程可以参考上述实施例，此处不再赘述。
图12是本发明实施例中的一种GIF图生成装置的结构示意图，如图12所示，该GIF图生成装置1200包括：
图片和模板获取模块1210，用于获取待生成GIF图的静态图片和模板视频；
脸部检测模块1220，用于检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点；
脸部对齐模块1230，用于根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频；
关键点检测模块1240，用于检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点；
GIF图生成模块1250，用于根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
可选的，所述关键点检测模块包括：
模板视频脸部检测单元，用于检测所述对齐后模板视频中各帧的脸部关键点；
模板视频头部检测单元，用于分别使用目标检测模型对所述对齐后模板视频中各帧进行头部检测，得到对齐后模板视频中各帧的头部关键点；
静态图片头部检测单元，用于使用所述目标检测模型对所述静态图片进行头部检测，得到所述静态图片中的头部关键点。
可选的，所述目标检测模型输出预设数量的头部关键点，所述预设数量的头部关键点构成矩形的头部外围框。
可选的，所述预设数量为八。
可选的，所述GIF图生成模块包括：
静态图片三角剖分单元，用于根据所述静态脸部关键点和所述静态图片中的头部关键点，对所述静态图片进行三角剖分，得到所述静态图片对应的三角形序列，作为静态三角形序列；
模板视频三角剖分单元，用于根据所述对齐后模板视频中各帧的脸部关键点和头部关键点，对所述对齐后模板视频中各帧进行三角剖分，得到对齐后模板视频各帧对应的三角形序列；
动作迁移单元，用于根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列；
GIF图生成单元，用于根据所述视频序列，生成GIF图。
可选的，所述动作迁移单元具体用于：
从所述对齐后模板视频中选取一帧，作为当前帧，将当前帧对应的三角形序列作为当前三角形序列；
将所述静态三角形序列中各个静态三角形的顶点分别拉伸到所述当前三角形序列中对应三角形的顶点的位置，得到变换图片；
循环执行上述选取当前帧以及对静态三角形序列中的静态三角形拉伸的操作，直至处理完所述对齐后模板视频中的所有帧；
按照所述对齐后模板视频中各帧的顺序，排列根据模板视频中各帧对静态图片中静态三角形拉伸处理得到的变换图片，得到静态图片对应的视频序列。
可选的，所述脸部对齐模块包括：
变换参数确定单元，用于根据所述静态脸部关键点和所述参考脸部关键点，按照如下优化公式确定将所述参考脸部关键点对齐到所述静态脸部关键点时对应的旋转矩阵、尺度变换矩阵和平移矩阵：
其中，LMImg表示静态脸部关键点，LM1表示参考脸部关键点，R表示旋转矩阵，S表示尺度变换矩阵，X表示平移矩阵；
脸部对齐单元，用于根据所述旋转矩阵、尺度变换矩阵和平移矩阵，对所述模板视频中每一帧进行变换，得到对齐后模板视频。
本发明实施例提供的GIF图生成装置，通过对静态图片以及对齐后模板视频中各帧分别进行脸部检测和头部检测，从而在进行动作迁移时可以根据脸部关键点和头部关键点同时迁移脸部动作和头部动作，实现了将对齐后模板视频中各帧的脸部动作和头部动作同时迁移到静态图片中，解决了现有技术中只能迁移脸部动作的问题，提升了生成的GIF图的效果，可以提升用户体验。
本发明实施例还提供了一种电子设备，如图13所示，包括处理器1301、通信接口1302、存储器1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信，
存储器1303，用于存放计算机程序；
处理器1301，用于执行存储器1303上所存放的程序时，实现如下步骤：
获取待生成图形交换格式GIF图的静态图片和模板视频；
检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点；
根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频；
检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点；
根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
可选的，检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点，包括：
检测所述对齐后模板视频中各帧的脸部关键点；
分别使用目标检测模型对所述对齐后模板视频中各帧进行头部检测，得到对齐后模板视频中各帧的头部关键点；
使用所述目标检测模型对所述静态图片进行头部检测，得到所述静态图片中的头部关键点。
可选的，所述目标检测模型输出预设数量的头部关键点，所述预设数量的头部关键点构成矩形的头部外围框。
可选的，所述预设数量为八。
可选的，根据所述静态脸部关键点和脸部关键点和头部关键点表征头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图，包括：
根据所述静态脸部关键点和所述静态图片中的头部关键点，对所述静态图片进行三角剖分，得到所述静态图片对应的三角形序列，作为静态三角形序列；
根据所述对齐后模板视频中各帧的脸部关键点和头部关键点，对所述对齐后模板视频中各帧进行三角剖分，得到对齐后模板视频各帧对应的三角形序列；
根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列；
根据所述视频序列，生成GIF图。
可选的，所述根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列，包括：
从所述对齐后模板视频中选取一帧，作为当前帧，将当前帧对应的三角形序列作为当前三角形序列；
将所述静态三角形序列中各个静态三角形的顶点分别拉伸到所述当前三角形序列中对应三角形的顶点的位置，得到变换图片；
循环执行上述选取当前帧以及对静态三角形序列中的静态三角形拉伸的操作，直至处理完所述对齐后模板视频中的所有帧；
按照所述对齐后模板视频中各帧的顺序，排列根据模板视频中各帧对静态图片中静态三角形拉伸处理得到的变换图片，得到静态图片对应的视频序列。
可选的，根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频，包括：
根据所述静态脸部关键点和所述参考脸部关键点，按照如下优化公式确定将所述参考脸部关键点对齐到所述静态脸部关键点时对应的旋转矩阵、尺度变换矩阵和平移矩阵：
其中，LMImg表示静态脸部关键点，LM1表示参考脸部关键点，R表示旋转矩阵，S表示尺度变换矩阵，X表示平移矩阵；
根据所述旋转矩阵、尺度变换矩阵和平移矩阵，对所述模板视频中每一帧进行变换，得到对齐后模板视频。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的GIF图生成方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的GIF图生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种GIF图生成方法，其特征在于，包括：
获取待生成图形交换格式GIF图的静态图片和模板视频；
检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点；
根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频，包括：根据所述静态脸部关键点和所述参考脸部关键点，确定将所述模板视频预设帧中的脸部对齐到所述静态图片中的脸部位置所需的变换参数，并分别基于所述变换参数对所述模板视频中各个帧进行变换，实现将模板视频中各帧中的脸部对齐到静态图片中的脸部位置，得到对齐后模板视频；
检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点；
根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
2.根据权利要求1所述的方法，其特征在于，检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点，包括：
检测所述对齐后模板视频中各帧的脸部关键点；
分别使用目标检测模型对所述对齐后模板视频中各帧进行头部检测，得到对齐后模板视频中各帧的头部关键点；
使用所述目标检测模型对所述静态图片进行头部检测，得到所述静态图片中的头部关键点。
3.根据权利要求2所述的方法，其特征在于，所述目标检测模型输出预设数量的头部关键点，所述预设数量的头部关键点构成矩形的头部外围框。
4.根据权利要求1所述的方法，其特征在于，根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图，包括：
根据所述静态脸部关键点和所述静态图片中的头部关键点，对所述静态图片进行三角剖分，得到所述静态图片对应的三角形序列，作为静态三角形序列；
根据所述对齐后模板视频中各帧的脸部关键点和头部关键点，对所述对齐后模板视频中各帧进行三角剖分，得到对齐后模板视频各帧对应的三角形序列；
根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列；
根据所述视频序列，生成GIF图。
5.根据权利要求4所述的方法，其特征在于，所述根据对齐后模板视频各帧对应的三角形序列，分别对所述静态三角形序列中的静态三角形进行拉伸，得到静态图片对应的视频序列，包括：
从所述对齐后模板视频中选取一帧，作为当前帧，将当前帧对应的三角形序列作为当前三角形序列；
将所述静态三角形序列中各个静态三角形的顶点分别拉伸到所述当前三角形序列中对应三角形的顶点的位置，得到变换图片；
循环执行上述选取当前帧以及对静态三角形序列中的静态三角形拉伸的操作，直至处理完所述对齐后模板视频中的所有帧；
按照所述对齐后模板视频中各帧的顺序，排列根据模板视频中各帧对静态图片中静态三角形拉伸处理得到的变换图片，得到静态图片对应的视频序列。
6.根据权利要求1所述的方法，其特征在于，根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频，包括：
根据所述静态脸部关键点和所述参考脸部关键点，按照如下优化公式确定将所述参考脸部关键点对齐到所述静态脸部关键点时对应的旋转矩阵、尺度变换矩阵和平移矩阵：
其中，LMImg表示静态脸部关键点，LM1表示参考脸部关键点，R表示旋转矩阵，S表示尺度变换矩阵，X表示平移矩阵；
根据所述旋转矩阵、尺度变换矩阵和平移矩阵，对所述模板视频中每一帧进行变换，得到对齐后模板视频。
7.一种GIF图生成装置，其特征在于，包括：
图片和模板获取模块，用于获取待生成GIF图的静态图片和模板视频；
脸部检测模块，用于检测所述静态图片中的脸部关键点，作为静态脸部关键点，并检测所述模板视频预设帧中的脸部关键点，作为参考脸部关键点，包括：根据所述静态脸部关键点和所述参考脸部关键点，确定将所述模板视频预设帧中的脸部对齐到所述静态图片中的脸部位置所需的变换参数，并分别基于所述变换参数对所述模板视频中各个帧进行变换，实现将模板视频中各帧中的脸部对齐到静态图片中的脸部位置，得到对齐后模板视频；
脸部对齐模块，用于根据所述静态脸部关键点和所述参考脸部关键点，将所述模板视频各帧中的脸部对齐到所述静态图片中的脸部位置，得到对齐后模板视频；
关键点检测模块，用于检测所述对齐后模板视频中各帧的脸部关键点和头部关键点，并检测所述静态图片中的头部关键点；
GIF图生成模块，用于根据所述静态脸部关键点和所述静态图片中的头部关键点，以及所述对齐后模板视频中各帧的脸部关键点和头部关键点，分别将所述对齐后模板视频中各帧脸部关键点和头部关键点表征的脸部动作和头部动作迁移到所述静态图片中，得到GIF图。
8.根据权利要求7所述的装置，其特征在于，所述关键点检测模块包括：
模板视频脸部检测单元，用于检测所述对齐后模板视频中各帧的脸部关键点；
模板视频头部检测单元，用于分别使用目标检测模型对所述对齐后模板视频中各帧进行头部检测，得到对齐后模板视频中各帧的头部关键点；
静态图片头部检测单元，用于使用所述目标检测模型对所述静态图片进行头部检测，得到所述静态图片中的头部关键点。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201911072049.7A 2019-11-05 2019-11-05 Gif图生成方法、装置、电子设备及存储介质 Active CN110910478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911072049.7A CN110910478B (zh) 2019-11-05 2019-11-05 Gif图生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911072049.7A CN110910478B (zh) 2019-11-05 2019-11-05 Gif图生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110910478A CN110910478A (zh) 2020-03-24
CN110910478B true CN110910478B (zh) 2023-10-27

Family

ID=69816218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911072049.7A Active CN110910478B (zh) 2019-11-05 2019-11-05 Gif图生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110910478B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586261B (zh) * 2020-05-19 2022-05-03 北京字节跳动网络技术有限公司 目标视频处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944238A (zh) * 2010-09-27 2011-01-12 浙江大学 基于拉普拉斯变换的数据驱动人脸表情合成方法
CN108573527A (zh) * 2018-04-18 2018-09-25 腾讯科技（深圳）有限公司 一种表情图片生成方法及其设备、存储介质
CN109584276A (zh) * 2018-12-04 2019-04-05 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN110049351A (zh) * 2019-05-23 2019-07-23 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569795B (zh) * 2018-03-13 2022-10-14 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944238A (zh) * 2010-09-27 2011-01-12 浙江大学 基于拉普拉斯变换的数据驱动人脸表情合成方法
CN108573527A (zh) * 2018-04-18 2018-09-25 腾讯科技（深圳）有限公司 一种表情图片生成方法及其设备、存储介质
CN109584276A (zh) * 2018-12-04 2019-04-05 北京字节跳动网络技术有限公司 关键点检测方法、装置、设备及可读介质
CN110049351A (zh) * 2019-05-23 2019-07-23 北京百度网讯科技有限公司 视频流中人脸变形的方法和装置、电子设备、计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单张图像的三维人脸建模与表情动画;丁宾;孙天凯;鞠训光;王阳生;;计算机工程与设计(第07期);全文 *

Also Published As

Publication number Publication date
CN110910478A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
US10936911B2 (en) Logo detection
CN109961009B (zh) 基于深度学习的行人检测方法、系统、装置及存储介质
CN108875633B (zh) 表情检测与表情驱动方法、装置和系统及存储介质
WO2022089360A1 (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
JP7040278B2 (ja) 顔認識のための画像処理装置の訓練方法及び訓練装置
Vazquez et al. Virtual and real world adaptation for pedestrian detection
TWI484444B (zh) 用於面部特徵向量之建構之非暫時性電腦可讀媒體、電子器件、及電腦系統
CN109960742B (zh) 局部信息的搜索方法及装置
CN108292362A (zh) 用于光标控制的手势识别
US20220301295A1 (en) Recurrent multi-task convolutional neural network architecture
WO2014001610A1 (en) Method, apparatus and computer program product for human-face features extraction
WO2021238548A1 (zh) 区域识别方法、装置、设备及可读存储介质
Beyeler OpenCV with Python blueprints
CN109074497A (zh) 使用深度信息识别视频图像序列中的活动
WO2020244151A1 (zh) 图像处理方法、装置、终端及存储介质
CN111814573A (zh) 一种人脸信息的检测方法、装置、终端设备及存储介质
US20210056337A1 (en) Recognition processing device, recognition processing method, and program
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
CN110135304A (zh) 人体位姿识别方法及装置
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN110910478B (zh) Gif图生成方法、装置、电子设备及存储介质
Żak et al. Local image features matching for real-time seabed tracking applications
CN111353325A (zh) 关键点检测模型训练方法及装置
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant