CN115546868A - 面部动画采集设备、方法及可读存储介质 - Google Patents

面部动画采集设备、方法及可读存储介质 Download PDF

Info

Publication number
CN115546868A
CN115546868A CN202211308814.2A CN202211308814A CN115546868A CN 115546868 A CN115546868 A CN 115546868A CN 202211308814 A CN202211308814 A CN 202211308814A CN 115546868 A CN115546868 A CN 115546868A
Authority
CN
China
Prior art keywords
facial
facial expression
animation
videos
helmet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211308814.2A
Other languages
English (en)
Other versions
CN115546868B (zh
Inventor
欧阳霁
李蓉
马俊
陈昌健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Mango Rongchuang Technology Co ltd
Original Assignee
Hunan Mango Wuji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Mango Wuji Technology Co ltd filed Critical Hunan Mango Wuji Technology Co ltd
Priority to CN202211308814.2A priority Critical patent/CN115546868B/zh
Publication of CN115546868A publication Critical patent/CN115546868A/zh
Application granted granted Critical
Publication of CN115546868B publication Critical patent/CN115546868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/043—Allowing translations
    • F16M11/048—Allowing translations adapted to forward-backward translation movement
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/04—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or holding steady relative to, a person, e.g. by chains, e.g. rifle butt or pistol grip supports, supports attached to the chest or head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M2200/00—Details of stands or supports
    • F16M2200/04—Balancing means

Abstract

本发明公开了一种面部动画采集设备、方法及可读存储介质，面部动画采集设备包括头盔；支撑架，设置于头盔上，支撑架上设置有安装结构；多个摄像单元，皆设置于安装结构上，多个摄像单元用于从不同角度拍摄被拍摄者佩戴头盔后的面部表情，以形成多组面部表情视频；处理单元，用于接收多组面部表情视频，并根据多组面部表情视频生成多个动画表情数据。本发明通过获取被拍摄者在没有面部表情状态下的静态网格，可以为后续制作不同面部表情下的静态网格提供制作基础。进而可以在获取多组面部表情视频之后，通过对每组面部表情视频中标记点偏移数据的确定，得到每个表情下静态网格偏移之后的状态，从而得到每个面部表情对应的动画表情数据。

Description

面部动画采集设备、方法及可读存储介质
技术领域
本发明涉及动画制作领域，尤其是涉及一种面部动画采集设备、方法及可读存储介质。
背景技术
传统的动画制作主要是通过直接绘制动画图像进行，但是这种直接进行绘制的方式需要花费的时间成本和人力成本较高，且对制作动画的人员的专业水平要求较高，其中，在对人脸表情进行动画制作时，更是因为表情变化的复杂性和细微性，更是需要花费更多的人力和物力来实现。针对于此，市面上出现了利用LightStage设备进行人脸表情动画制作的技术，但是LightStage设备的构建需要至少70台单反相机阵列组成，整个拍摄系统造假在320～600万人民币之间，同样会带来巨大的成本增加，且本身便携性也较差。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种面部动画采集设备，能够便携的、低成本的完成对人脸表情的采集。
本发明还一种面部动画采集方法以及用于执行上述面部动画采集方法的计算机可读存储介质。
根据本发明的第一方面实施例的面部动画采集设备，包括：
头盔；
支撑架，设置于所述头盔上，所述支撑架上设置有安装结构，且所述安装结构位于所述头盔的前端；
多个摄像单元，皆设置于所述安装结构上，且皆朝向所述头盔的面部设置，多个所述摄像单元用于从不同角度拍摄被拍摄者佩戴所述头盔后的面部表情，以形成多组面部表情视频，其中，多组所述面部表情视频对应被拍摄者多个不同的面部表情，每组所述面部表情视频皆包括多个所述摄像单元同时拍摄的面部表情视频；
处理单元，用于接收多组所述面部表情视频，并根据多组所述面部表情视频生成多个动画表情数据。
根据本发明实施例的面部动画采集设备，至少具有如下有益效果：
本发明实施例的面部动画采集设备采用头盔作为主体，并在头盔上设置支撑架以及利用支撑架上设置摄像单元，使得被拍摄者可以在佩戴头盔后即可完成对面部表情视频的采集，并且因为只需要佩戴头盔后便可以完成采集，因此具备极佳的便携性，使得被拍摄者可以在完成肢体动作的同时，能够同样精准的完成对面部表情的采集。本发明实施例的面部动画采集设备相较于传统的LightStage设备而言，成本得到了极大的降低，且具备了极佳的便携性，即使被拍摄者在肢体发生运动的过程中，也可以完成拍摄。此外，通过拍摄不同面部表情对应的面部表情视频，可以直接有效的完成对被拍摄者不同表情的动画制作，便于后续利用这些动画表情数据进行动画剧集制作。
根据本发明的一些实施例，所述支撑架包括多根支撑杆，多根支撑杆分别设置于所述头盔两侧的不同位置，多个所述支撑杆的前端共同构成所述安装结构。
根据本发明的一些实施例，所述支撑架还包括设置于所述支撑杆后端的配重结构。
根据本发明的一些实施例，所述支撑杆有两根，且每个所述支撑杆皆为U型杆，两根所述U型杆分别设置于所述头盔的上下两侧。
根据本发明的一些实施例，所述摄像单元有四个。
根据本发明的一些实施例，所述头盔内设置有可调节绑带。
根据本发明的一些实施例，所述支撑架可滑动设置于所述头盔上。
根据本发明的第二方面实施例的面部动画采集方法，应用于上述的面部动画采集设备，所述面部动画采集方法包括：
获取被拍摄者没有面部表情状态下的静态网格，其中，所述静态网格根据预先绘制于所述被拍摄备者面部的标记点得到；
获取多组面部表情视频，多组所述面部表情视频对应被拍摄者多个不同的面部表情，每组所述面部表情视频皆包括多个所述摄像单元同时拍摄的面部表情视频；
根据每组所述面部表情视频确定对应所述面部表情对应的所述静态网格中每个所述标记点的偏移数据；
根据每个所述面部表情对应的所述偏移数据确定对应的每个所述面部表情的动画表情数据。
根据本发明实施例的面部动画采集方法，至少具有如下有益效果：
通过获取被拍摄者在没有面部表情状态下的静态网格，可以为后续制作不同面部表情下的静态网格提供制作基础。进而可以在获取多组面部表情视频之后，通过对每组面部表情视频中标记点偏移数据的确定，得到每个表情下静态网格偏移之后的状态，从而得到每个面部表情对应的动画表情数据。同时，因为本发明实施例的面部动画采集方法基于上述的面部动画采集设备实现，所以也可以以更少的数据运算量完成对面部表情特点的确定，得到动画表情数据。
根据本发明的一些实施例，所述根据每组所述面部表情视频确定对应所述面部表情对应的每个所述标记点的偏移数据，包括：
确定每组所述面部表情视频中所述静态网格中每个所述标记点的一组动态位置数据；
根据每组所述动态位置数据与被拍摄者在没有表情状态的静态网格中对应所述标记点的静态位置数据确定每个所述标记点的偏移数据。
根据本发明的第三方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第二方面实施例所述的面部动画采集方法。由于计算机可读存储介质采用了上述实施例的面部动画采集方法的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例的面部动画采集设备的结构示意图；
图2是本发明一实施例的面部动画采集设备的俯视图；
图3是本发明一实施例的面部动画采集方法的流程图。
附图标记：
头盔100、
支撑架200、支撑杆210、配重结构220、
摄像单元300。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。
参见图1所示，图1是本发明一个实施例提供的面部动画采集设备的结构示意图，该面部动画采集设备包括头盔100、支撑架200、多个摄像单元300、处理单元，
头盔100；
支撑架200，设置于头盔100上，支撑架200上设置有安装结构，且安装结构位于头盔100的前端；
多个摄像单元300，皆设置于安装结构上，且皆朝向头盔100的面部设置，多个摄像单元300用于从不同角度拍摄被拍摄者佩戴头盔100后的面部表情，以形成多组面部表情视频，其中，多组面部表情视频对应被拍摄者多个不同的面部表情，每组面部表情视频皆包括多个摄像单元300同时拍摄的面部表情视频；
处理单元，用于接收多组面部表情视频，并根据多组面部表情视频生成多个动画表情数据。
参考图1、图2，支撑架200设置在头盔100上，并在头盔100的正前方形成了安装结构，多个摄像单元300可以通过安装结构完成固定，并且多个摄像单元300的视野皆朝向头盔100的面部，多个摄像单元300从不同的角度对人脸的面部进行拍摄，且多个摄像单元300的视野需要存在重叠。基于此种前提下，多个摄像单元300拍摄到的面部视频在经过组合之后，可以更好的体现面部的空间特征。
在进行面部动画制作时，则需要获取被拍摄者从没有表情到各种表情的变化信息，因此，被拍摄者需要佩戴本发明实施例的动画采集设备，并完成由没有表情到各种表情的演绎，而多个摄像单元300则会对被拍摄者的每一次演绎过程进行视频录制，每一次演绎一种表情变化，记录一组面部表情视频。而记录的这些面部表情视频，因为是不同的摄像单元300在同一时刻开始拍摄的，因此必然存在严格的对应关系，后续则可以直接利用这些不同角度拍摄的被拍摄者的面部表情视频来提取出面部表情变化的数据。
需要说明的是，在实际进行面部表情信息提取时，为了更好且更快更准确的提取出面部表情的特点，会在被拍摄者面部绘制一些标记点，这些标记点基本可以体现出人脸的轮廓以及突出和凹陷部分的位置，后续再进行面部表情信息提取时，则只需要对这些标记点的变化进行记录和分析既可以确定。这些变化信息，最后都会直接用于生成动画表情数据，供后续动画剧集制作时使用。对于如何利用标记点进行面部表情信息的获取，则会在后续实施例中面部动画采集方法中进行叙述，此处就不进行赘述。
本发明实施例的面部动画采集设备采用头盔100作为主体，并在头盔100上设置支撑架200以及利用支撑架200上设置摄像单元300，使得被拍摄者可以在佩戴头盔100后即可完成对面部表情视频的采集，并且因为只需要佩戴头盔100后便可以完成采集，因此具备极佳的便携性，使得被拍摄者可以在完成肢体动作的同时，能够同样精准的完成对面部表情的采集。本发明实施例的面部动画采集设备相较于传统的LightStage设备而言，成本得到了极大的降低，且具备了极佳的便携性，即使被拍摄者在肢体发生运动的过程中，也可以完成拍摄。此外，通过拍摄不同面部表情对应的面部表情视频，可以直接有效的完成对被拍摄者不同表情的动画制作，便于后续利用这些动画表情数据进行动画剧集制作。
参考图1，在一些实施例中，支撑架200包括多根支撑杆210，多根支撑杆210分别设置于头盔100两侧的不同位置，多个支撑杆210的前端共同构成安装结构。多根支撑杆210可以分别固定在头盔100的不同侧的不同位置，从而可以便于在头盔100前方形成一个安装结构，便于后续安装和固定多个摄像单元300。
参考图1，在一些实施例中，支撑架200还包括设置于支撑杆210后端的配重结构220。因为需要对人脸的不同角度完成拍摄，同时又要保证一定的重叠区域，因此多个摄像单元300需要与头盔100面部保持一定的距离，此时，如果需要保持头盔100前后重量的均衡，则需要将多个支撑杆210结构延长到头盔100后部较远的距离，那么整个采集装置的体积便会变得更大，同时被拍摄者使用起来也会更记得不方便。此时，则可以通过在头盔100后部增加配重结构220来让支撑杆210超出头盔100后部的长度减短。
参考图1、图2，在一些实施例中，支撑杆210有两根，且每个支撑杆210皆为U型杆，两根U型杆分别设置于头盔100的上下两侧。采用一体成型的U型杆，可以使得整个支撑结构安装起来更加的简便，也更容易保持一个较为平整的状态。同时也可以通过直接在U型杆开口位置增加横杆的方式来完成配重设置。
参考图1，在一些实施例中，摄像单元300有四个。四个摄像单元300即可实现从左上、左下、右上、右下四个角度完成对人脸视频的拍摄，并且也可以保证足够的重叠区域。具体拍摄效果可以参考图3中所示。
在一些实施例中，头盔100内设置有可调节绑带。可调节绑带结构可以适用于不同的头型大小的被拍摄备者进行佩戴，提高整个采集设备的复用率，避免只能一次性使用。可调节绑带的结构可以参考常见的摩托车头盔100调节方式即可。
在一些实施例中，为了进一步保证拍摄的准确性，会在安装结构上设置横向滑动结构，并且在横向滑动结构上设置纵向滑动底座，摄像单元300便设置在纵向滑动底座上，从而可以实现摄像单元300相较于被拍摄者面部的上下左右移动，以更好的使适用不同脸型和大小的人员。此外，摄像单元300也可以采用万向连接底座安装在纵向滑动座上，从而可以在横向和纵向调节摄像单元300后，通过万向底座调节摄像单元300角度，减少因为调节摄像单元300位置而不调整角度带来的偏差和盲区。
在一些实施例中，支撑架200可滑动设置于头盔100上。支撑架200可滑动设置于头盔100上，则可以调节摄像单元300与被拍摄备者之间的距离，以更好的适应不同被拍摄者脸型大小变化。需要说明的是，在此种情况下，设置于头盔100后部的配重结构220，也可以在支撑架200上可滑动或可拆卸设置，避免导致头盔100前后配重失衡。需要说明的是，在一些实施例中，整个支撑架200中的支撑杆210两侧杆状结构可以设置为分段式可拆卸结构，在实际使用时，可以根据实际需求来连接安装对应数量的分段杆状结构即可。
参见图3所示，图3是本发明一个实施例提供的面部动画采集方法的流程图，应用于上述的面部动画采集设备,该面部动画采集方法包括但不限于以下步骤：
获取被拍摄者没有面部表情状态下的静态网格，其中，静态网格根据预先绘制于被拍摄备者面部的标记点得到；
获取多组面部表情视频，多组面部表情视频对应被拍摄者多个不同的面部表情，每组面部表情视频皆包括多个摄像单元300同时拍摄的面部表情视频；
根据每组面部表情视频确定对应面部表情对应的静态网格中每个标记点的偏移数据；
根据每个面部表情对应的偏移数据确定对应的每个面部表情的动画表情数据。
在进行动画制作时，主要是确定被拍摄者面部表情变化的特点，因此，并不需要对人脸上所有的特征都进行记录，只需要确定人脸肌肉变化信息、轮廓变化信息即可。因此，在进行记录时，可以直接通过在被拍摄者面部设置标记点的方式，来简化后续的数据处理难度。例如，仅在人脸轮廓边缘间隔设置标记点，以及在人脸肌肉变化较大的区域设置标记点，后续只需要提取出这些标记点的空间位置变化，便可以反推出人体面部肌肉变化和轮廓变化，从而可以制作出相应的动画场景。
具体的，首先需要拍摄被拍摄者在没有表情时的面部表情视频，并且从中确定所有标记点的空间位置数据(即静态位置数据)，并利用这些标记点的空间位置数据构建出对应无表情状态下的静态网格。之后则可以只需录取被拍摄者的多个面部表情视频，且每一个表情变化过程，都会记录成一组，即，该组面部表情视频中会包括多个摄像头从不同角度拍摄的面部表情视频。之后，针对这一个表情变化对应的一组面部表情视频则可以提取出每一个标记点在三维空间坐标系中的偏移数据，而且因为视频是连续的，因此，可以通过抽取不同时刻的图像的方式，得到整个面部表情从无表情到指定表情的变化过程中标记点的偏移数据，一组偏移数据便代表了一个标记点在这个表情变化过程中的空间位置变化过程，而所有标记点的变化时会使得静态网格同步变化，变化后的静态网格则可以反映出整个人脸上肌肉和轮廓的变化。因此，利用这些偏移数据便可以确定一个面部表情变化的全部过程，进而可制作出相应的动画表情数据，后面在具体剧集制作时，则可以利用这些动画表情数据完成具体剧集的制作。
本发明实施例的面部动画采集方法通过获取被拍摄者在没有面部表情状态下的静态网格，可以为后续制作不同面部表情下的静态网格提供制作基础。进而可以在获取多组面部表情视频之后，通过对每组面部表情视频中标记点偏移数据的确定，得到每个表情下静态网格偏移之后的状态，从而得到每个面部表情对应的动画表情数据。同时，因为本发明实施例的面部动画采集方法基于上述的面部动画采集设备实现，所以也可以以更少的数据运算量完成对面部表情特点的确定，得到动画表情数据。
在一些实施例中，根据每组面部表情视频确定对应面部表情对应的每个标记点的偏移数据，包括：
确定每组面部表情视频中静态网格中每个标记点的一组动态位置数据；
根据每组动态位置数据与被拍摄者在没有表情状态的静态网格中对应标记点的静态位置数据确定每个标记点的偏移数据。
为了更好确定偏移数据，可以将没有表情时的静态网格中的标记点的位置数据记作静态位置数据，将标记点在位移过程中得到的位置数据记作动态位置数据，为了更好的确定表情的连续变化过程，因此，每个标记点的动态位置数据实际上可以理解为是一连串的，每一组动态位置数据对应着表情变化过程中多个时刻的状态。因此，利用一组偏移数据，从而得到多个偏移之后的静态网格，进而可以确定这一个面部表情变化过程中，静态网格的变化过程，从而基于这一个静态网格变化来确定该人脸表情的动画还原。
需要说明的是，在确定静态网格偏移过程中，使用了RBF曲面融合算法，从而可以更好从多角度拍摄的一组面部表情视频中提取出每一个标记点位置信息。需要说明的是，在一些实施例中，可以直接利用RBP神经网络来快速有效的提取出这些视频中标记点的位置信息，具体的，先利用大量各种表情下包含标记点的人脸图片对RBP神经网络模型进行训练，得到满足识别精度要求的RBP神经网络模型，之后，在需要对面部表情视频进行标记点提取时，则可以先从视频中抽取出需要进行识别的关键时刻的图片，将该图片输入到RBP神经网络模型，由RBP神经网络模型输出所需要的位置信息即可。利用RBP神经网络模型进行识别的方式，相较于直接进行图像识别提取出标记点的方式，可以更好更快的确定出标记点的偏移数据。
为了更好说明本发明实施例中面部动画采集方法，这里以具体实施例的方式进行叙述。
被拍摄者佩戴头盔100，开启四个摄像单元300；
完成无表情状态下面部表情视频的获取，并基于被拍摄者面部绘制的标记点得到静态网络；需要说明的是，对于静态网络的获取，可以利用本实施例中采集设备采集视频得到，也可以利用LightStage设备得到，两者本质上得到的静态网络相同，只需要是利用同一个三维坐标系进行空间位置确定即可；
语音通知被拍摄者演绎演绎一种表情，同时利用四个摄像单元300持续采集包含此演绎过程的面部表情视频；需要说明的是，如果直接利用本地的控制单元完成对视频数据的处理，则处理速度较慢且精度较差，因此，控制单元在接收到视频数据后会利用无线通讯模块(例如wifi模块等)视频数据传输到服务器上，由服务器完成后续的特征提取；
服务器在接收到四个摄像单元300采集的一组面部表情视频后，便可以利用四个面部表情视频采集时的同时性，从其中抽取出多组同时刻的待提取特征图片；
将每组待提取特征图片输入到预先训练好的RBP神经网络模型中，便可以得到该组图片对应时刻下，被拍摄者演绎这个表情时脸部所有标记点的动态位置数据；而多组图片则对应了多个动态位置数据，这一连串的动态位置数据则可以反映出被拍摄者在演绎这个表情过程中，每一个标记点的动态变化过程；
基于每一个时刻的所有动态位置数据，则可以得到这一时刻静态网格的动态变化过程；
而利用静态网格则可以确定被拍摄者在整个演绎过程中面部表情变化特点，从而可以利用多个时刻的静态网格的动态变化过程直接还原出动画表情变化过程；
对于不同的表情变化，则可以让被拍摄者逐一进行演绎，并对每一次演绎过程中拍摄的面部表情视频进行上述的处理，从而得到被拍摄者所有表情变化时的静态网格变化特征，进而还原出所有表情的动画表情数据。
本具体实施例中的面部动画采集设备采用头盔100作为主体，并在头盔100上设置支撑架200以及利用支撑架200上设置摄像单元300，使得被拍摄者可以在佩戴头盔100后即可完成对面部表情视频的采集，并且因为只需要佩戴头盔100后便可以完成采集，因此具备极佳的便携性，使得被拍摄者可以在完成肢体动作的同时，能够同样精准的完成对面部表情的采集。本发明实施例的面部动画采集设备相较于传统的LightStage设备而言，成本得到了极大的降低，且具备了极佳的便携性，即使被拍摄者在肢体发生运动的过程中，也可以完成拍摄。同时，本具体实施例通过获取被拍摄者在没有面部表情状态下的静态网格，可以为后续制作不同面部表情下的静态网格提供制作基础。进而可以在获取多组面部表情视频之后，通过对每组面部表情视频中标记点偏移数据的确定，得到每个表情下静态网格偏移之后的状态，从而得到每个面部表情对应的动画表情数据。同时，因为本发明实施例的面部动画采集方法基于上述的面部动画采集设备实现，所以也可以以更少的数据运算量完成对面部表情特点的确定，得到动画表情数据。
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，可使得上述处理器执行上述实施例中的面部动画采集方法，例如，执行以上描述的图3中的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质或非暂时性介质和通信介质或暂时性介质。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘DVD或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种面部动画采集设备，其特征在于，包括：
头盔；
支撑架，设置于所述头盔上，所述支撑架上设置有安装结构，且所述安装结构位于所述头盔的前端；
多个摄像单元，皆设置于所述安装结构上，且皆朝向所述头盔的面部设置，多个所述摄像单元用于从不同角度拍摄被拍摄者佩戴所述头盔后的面部表情，以形成多组面部表情视频，其中，多组所述面部表情视频对应被拍摄者多个不同的面部表情，每组所述面部表情视频皆包括多个所述摄像单元同时拍摄的面部表情视频；
处理单元，用于接收多组所述面部表情视频，并根据多组所述面部表情视频生成多个动画表情数据。
2.根据权利要求1所述的面部动画采集设备，其特征在于，所述支撑架包括多根支撑杆，多根所述支撑杆分别设置于所述头盔两侧的不同位置，多个所述支撑杆的前端共同构成所述安装结构。
3.根据权利要求2所述的面部动画采集设备，其特征在于，所述支撑架还包括设置于所述支撑杆后端的配重结构。
4.根据权利要求2所述的面部动画采集设备，其特征在于，所述支撑杆有两根，且每个所述支撑杆皆为U型杆，两根所述U型杆分别设置于所述头盔的上下两侧。
5.根据权利要求1所述的面部动画采集设备，其特征在于，所述摄像单元有四个。
6.根据权利要求1所述的面部动画采集设备，其特征在于，所述头盔内设置有可调节绑带。
7.根据权利要求1所述的面部动画采集设备，其特征在于，所述支撑架可滑动设置于所述头盔上。
8.一种面部动画采集方法，其特征在于，应用于如权利要求1或2所述的面部动画采集设备，包括以下步骤：
获取被拍摄者没有面部表情状态下的静态网格，其中，所述静态网格根据预先绘制于所述被拍摄备者面部的标记点得到；
获取多组面部表情视频，多组所述面部表情视频对应被拍摄者多个不同的面部表情，每组所述面部表情视频皆包括多个所述摄像单元同时拍摄的面部表情视频；
根据每组所述面部表情视频确定对应所述面部表情对应的所述静态网格中每个所述标记点的偏移数据；
根据每个所述面部表情对应的所述偏移数据确定对应的每个所述面部表情的动画表情数据。
9.根据权利要求8所述的面部动画采集方法，其特征在于，所述根据每组所述面部表情视频确定对应所述面部表情对应的每个所述标记点的偏移数据，包括：
确定每组所述面部表情视频中所述静态网格中每个所述标记点的一组动态位置数据；
根据每组所述动态位置数据与被拍摄者在没有表情状态的静态网格中对应所述标记点的静态位置数据确定每个所述标记点的偏移数据。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求8至9任一所述的面部动画采集方法。
CN202211308814.2A 2022-10-25 2022-10-25 面部动画采集设备、方法及可读存储介质 Active CN115546868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211308814.2A CN115546868B (zh) 2022-10-25 2022-10-25 面部动画采集设备、方法及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211308814.2A CN115546868B (zh) 2022-10-25 2022-10-25 面部动画采集设备、方法及可读存储介质

Publications (2)

Publication Number Publication Date
CN115546868A true CN115546868A (zh) 2022-12-30
CN115546868B CN115546868B (zh) 2023-05-16

Family

ID=84718145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211308814.2A Active CN115546868B (zh) 2022-10-25 2022-10-25 面部动画采集设备、方法及可读存储介质

Country Status (1)

Country Link
CN (1) CN115546868B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130235045A1 (en) * 2012-03-06 2013-09-12 Mixamo, Inc. Systems and methods for creating and distributing modifiable animated video messages
CN103546672A (zh) * 2013-11-07 2014-01-29 苏州君立软件有限公司 一种图像采集系统
CN104778750A (zh) * 2015-04-13 2015-07-15 北京迪生动画科技有限公司 一种面部表情捕捉系统及实现方法
CN204483185U (zh) * 2015-03-02 2015-07-22 兰州交通大学 一种无线头盔面部表情捕捉装置
CN207732844U (zh) * 2017-12-06 2018-08-14 深圳市灼华互娱科技有限公司 一种新型面部表情及动作捕捉系统
CN108416255A (zh) * 2018-01-18 2018-08-17 珠海金山网络游戏科技有限公司 基于三维动画中角色实时面部表情动画捕捉的系统和方法
CN109034099A (zh) * 2018-08-14 2018-12-18 华中师范大学 一种表情识别方法及装置
CN109063679A (zh) * 2018-08-24 2018-12-21 广州多益网络股份有限公司 一种人脸表情检测方法、装置、设备、系统及介质
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN109859297A (zh) * 2019-03-07 2019-06-07 灵然创智（天津）动画科技发展有限公司 一种无标记点面部捕捉装置及方法
CN208971606U (zh) * 2018-03-09 2019-06-11 中国科学院自动化研究所 用于人脸表情的无线视频采集装置
CN110263672A (zh) * 2019-05-30 2019-09-20 量子动力（深圳）计算机科技有限公司 一种双目3d网格高保真人脸表情捕捉系统
CN110766776A (zh) * 2019-10-29 2020-02-07 网易（杭州）网络有限公司 生成表情动画的方法及装置
CN111028322A (zh) * 2019-12-18 2020-04-17 北京像素软件科技股份有限公司 游戏动画表情生成方法、装置及电子设备
CN111314627A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 用于处理视频帧的方法和装置
CN112434673A (zh) * 2020-12-28 2021-03-02 苏州源睿尼科技有限公司 基于人脸肌肉特征的头戴式表情捕捉装置的使用方法、表情数据包的增强方法
CN114219920A (zh) * 2021-12-14 2022-03-22 魔珐(上海)信息科技有限公司 三维人脸模型的构建方法及装置、存储介质、终端
CN114708636A (zh) * 2022-04-01 2022-07-05 成都市谛视科技有限公司 一种密集人脸网格表情驱动方法、装置及介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130235045A1 (en) * 2012-03-06 2013-09-12 Mixamo, Inc. Systems and methods for creating and distributing modifiable animated video messages
CN103546672A (zh) * 2013-11-07 2014-01-29 苏州君立软件有限公司 一种图像采集系统
CN204483185U (zh) * 2015-03-02 2015-07-22 兰州交通大学 一种无线头盔面部表情捕捉装置
CN104778750A (zh) * 2015-04-13 2015-07-15 北京迪生动画科技有限公司 一种面部表情捕捉系统及实现方法
CN207732844U (zh) * 2017-12-06 2018-08-14 深圳市灼华互娱科技有限公司 一种新型面部表情及动作捕捉系统
CN108416255A (zh) * 2018-01-18 2018-08-17 珠海金山网络游戏科技有限公司 基于三维动画中角色实时面部表情动画捕捉的系统和方法
CN208971606U (zh) * 2018-03-09 2019-06-11 中国科学院自动化研究所 用于人脸表情的无线视频采集装置
CN109034099A (zh) * 2018-08-14 2018-12-18 华中师范大学 一种表情识别方法及装置
CN109272566A (zh) * 2018-08-15 2019-01-25 广州多益网络股份有限公司 虚拟角色的动作表情编辑方法、装置、设备、系统及介质
CN109063679A (zh) * 2018-08-24 2018-12-21 广州多益网络股份有限公司 一种人脸表情检测方法、装置、设备、系统及介质
CN109859297A (zh) * 2019-03-07 2019-06-07 灵然创智（天津）动画科技发展有限公司 一种无标记点面部捕捉装置及方法
CN110263672A (zh) * 2019-05-30 2019-09-20 量子动力（深圳）计算机科技有限公司 一种双目3d网格高保真人脸表情捕捉系统
CN110766776A (zh) * 2019-10-29 2020-02-07 网易（杭州）网络有限公司 生成表情动画的方法及装置
CN111028322A (zh) * 2019-12-18 2020-04-17 北京像素软件科技股份有限公司 游戏动画表情生成方法、装置及电子设备
CN111314627A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 用于处理视频帧的方法和装置
CN112434673A (zh) * 2020-12-28 2021-03-02 苏州源睿尼科技有限公司 基于人脸肌肉特征的头戴式表情捕捉装置的使用方法、表情数据包的增强方法
CN114219920A (zh) * 2021-12-14 2022-03-22 魔珐(上海)信息科技有限公司 三维人脸模型的构建方法及装置、存储介质、终端
CN114708636A (zh) * 2022-04-01 2022-07-05 成都市谛视科技有限公司 一种密集人脸网格表情驱动方法、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LINGHUA LI等: "A Survey of Computer Facial Animation Techniques" *
李姝姝: "基于 Dynamixyz面部捕捉系统的三维数据采集方法" *
聂菁: "基于面部捕捉的新媒体表情包制作流程的研究_聂菁" *

Also Published As

Publication number Publication date
CN115546868B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN104469152B (zh) 穿戴式设备的自动摄像方法及系统
CN105426827B (zh) 活体验证方法、装置和系统
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
CN108307116A (zh) 图像拍摄方法、装置、计算机设备和存储介质
CN109558764A (zh) 人脸识别方法及装置、计算机设备
CN109977770A (zh) 一种自动跟踪拍摄方法、装置、系统及存储介质
CN108875485A (zh) 一种底图录入方法、装置及系统
KR20170089260A (ko) 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN105631859B (zh) 三自由度仿生立体视觉系统
CN107656619A (zh) 一种智能投影方法、系统及智能终端
CN108305223B (zh) 图像背景虚化处理方法及装置
CN108985225A (zh) 焦点跟随方法、装置、电子设备及存储介质
CN105447823A (zh) 一种图像处理方法及一种电子设备
CN105761243A (zh) 基于结构光投影的三维全脸照相系统及其照相方法
US20210035326A1 (en) Human pose estimation system
CN112598628A (zh) 一种图像遮挡检测方法、装置、拍摄设备及介质
CN108391116B (zh) 基于3d成像技术的全身扫描装置及扫描方法
CN107256388A (zh) 一种获取正面人脸图像的方法及装置
CN110910449B (zh) 识别物体三维位置的方法和系统
CN105180802B (zh) 一种物体尺寸信息识别方法和装置
CN208653473U (zh) 图像采集设备、3d信息比对装置、配套物生成装置
CN106599779A (zh) 一种人耳识别方法
CN115546868B (zh) 面部动画采集设备、方法及可读存储介质
CN107992816A (zh) 一种拍照搜索方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 410000, east side of Building 1, 3001, Phase I, Malanshan Mango Cultural and Creative Plaza, No. 30 Yazipu Road, Yuehu Street, Kaifu District, Changsha City, Hunan Province

Patentee after: Hunan Mango Rongchuang Technology Co.,Ltd.

Country or region after: China

Address before: 410005 Room 4, Room 96, No.1 Yazipu Road, Yuehu Street, Kaifu District, Changsha City, Hunan Province

Patentee before: Hunan Mango Wuji Technology Co.,Ltd.

Country or region before: China