CN101310289A - 捕捉和处理面部运动数据 - Google Patents
捕捉和处理面部运动数据 Download PDFInfo
- Publication number
- CN101310289A CN101310289A CNA2006800401424A CN200680040142A CN101310289A CN 101310289 A CN101310289 A CN 101310289A CN A2006800401424 A CNA2006800401424 A CN A2006800401424A CN 200680040142 A CN200680040142 A CN 200680040142A CN 101310289 A CN101310289 A CN 101310289A
- Authority
- CN
- China
- Prior art keywords
- frame
- performer
- image
- facial
- motion capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Abstract
公开了一种捕捉和处理面部运动数据的系统和方法,包括:将多个传感器与演员的面部表面上的目标点相结合;使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在演员的面部表面上的多个传感器的图像;在头戴式系统中,对所述多个传感器的逐帧图像执行跟踪功能,以精确地针对各个帧来映射所述多个传感器;以及在头戴式系统中生成表示所述演员的面部表面的建模表面。
Description
相关申请
本申请要求共同待决的在2005年8月26日提交的申请号为No.60/711,897、标题为“Head-mounted Digitizer System for Motion Capture ofFace”的美国临时专利申请;在2005年8月26日提交的申请号为No.60/711,908、标题为“Using Field Splitters in Motion Capture”的美国临时专利申请;在2005年8月26日提交的申请号为No.60/711,906、标题为“Telecentric Lenses in Motion Capture”的美国临时专利申请;以及在2005年8月26日提交的申请号为No.60/711,907、标题为“Applyingpattern to Face for Facial Digitization in Motion Capture”的美国临时专利申请的优先权。以上所引用的专利申请的公开内容通过引用而结合于此。
技术领域
本发明一般地涉及运动捕捉(motion capture)处理,更具体地涉及可以捕捉和处理面部运动数据的改进型运动捕捉系统和方法。
背景技术
作为制作动画的方式,运动捕捉系统被用于捕捉实际对象的动作(movement),并将其映射成计算机生成的对象。通常在动态影像和视频游戏的制作中使用这样的系统来创建物体或人的数字表示,该数字表示被用作创建计算机图形(CG)动画的源数据。在典型的系统中,演员身穿在各个位置附有标记的衣服(例如,躯体和四肢上附有小型反射标记),并且在照射标记的同时数字相机从不同的角度记录演员的动作。系统随后对图像进行分析以确定各个帧中的在演员衣服上的标记的位置(例如,作为空间坐标)和方向。通过跟踪标记的位置,系统创建标记随时间的空间表示,并建立运动中的演员的数字表示。这种运动随后被应用于数字模型,该数字模型随后可以被纹理化并被渲染(render)以制作演员和/或表演的完整CG表示。特效公司已经在许多受欢迎的电影中使用这种技术来制作高度逼真的动画。
运动捕捉系统相对于传统动画技术(例如,关键帧(keyframing))的优点在于实时可视化的能力。制作团队可以实时或接近实时地查看演员运动的空间表示,从而使得演员可以变更身体表演以捕捉最佳数据。此外,运动捕捉系统检测身体动作的细微差别,这种细微差别是无法很容易地使用其它动画技术来再现的,从而生成更精确地反映自然动作的数据。结果,利用使用运动捕捉系统收集的源素材来制作的动画将呈现大体上更加逼真的外观。
发明内容
本发明的实施例提供了用于捕捉和处理面部运动数据并可以更强劲地跟踪演员的面部特征的运动以创建演员的面部运动和表情的表示的系统和方法。
在一个实施例中,一种头戴式系统包括:至少一个运动捕捉相机,被配置用于使用布置在演员的面部表面上的多个传感器来从该演员的面部表面捕捉运动数据;以及与运动捕捉相机相耦合的运动捕捉处理器,该运动捕捉处理器包括:存储单元;图像捕捉模块,被配置用于对运动捕捉相机进行控制以逐帧地捕捉布置在演员的面部表面上的多个传感器的图像,该图像捕捉模块接收所述逐帧图像并将其存储在存储单元上;传感器跟踪模块,被配置用于从存储单元中检索所存储的逐帧图像,对这些图像执行跟踪功能以精确地针对各个帧来映射所述多个传感器,并且提供来自面部表面的所述运动数据;以及数字建模模块,被配置用于接收该运动数据以生成表示演员的面部表面的建模表面。
在另一个实施例中,一种方法包括:将多个传感器与演员的面部表面上的目标点相结合;使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在演员的面部表面上的多个传感器的图像;在头戴式系统中对所述多个传感器的逐帧图像执行跟踪功能,以精确地针对各个帧来映射所述多个传感器;以及在头戴式系统中生成表示演员的面部表面的建模表面。
在阅读以下详细描述和附图之后,本发明的其它特征和优点对于本领域普通技术人员来说将变得更加清楚。
附图说明
通过研究附图可以部分理解本发明的关于其结构和操作的细节,在附图中,相似的标号指示相似的部分,并且其中:
图1A是示出根据本发明一个实施例的头戴式系统的示图;
图1B是示出面罩开启时的头戴式系统的示图;
图2A示出了附于面部以使得可以使用运动捕捉相机来捕捉面部表情的多个标记;
图2B示出了形成在面部上的以使得可以使用运动捕捉相机来捕捉面部表情的水平和垂直线或曲线的栅格;
图3是根据一个实施例的头戴式系统的运动捕捉处理器和相机的框图;以及
图4是示出根据一个实施例用于捕捉演员的面部特征以创建演员的面部运动和表情的表示的方法的流程图。
具体实施方式
如以下将进一步描述的,本发明的实施例满足了运动捕捉系统的以下需要:使得可以更加强劲地捕捉和跟踪演员的面部特征的表面和运动以创建演员面部运动和表情(例如,大笑、哭泣、微笑等)的表示。在阅读本说明书之后,本领域技术人员将很清楚如何在各个实施例和应用中实现本发明。但是,虽然本发明的各个实施例将在这里得到描述,但是应当理解,这些实施例仅仅是以示例的方式而非限制方式来呈现的。因此,各个实施例的详细说明不应当被解释为限制本发明的范围或广度,本发明的范围或广度将在所附权利要求中被阐明。
在一个实施例中,面部运动捕捉系统被配置成头戴式系统,用以跟踪面部表面上的点并数字化整个表面。系统随后返回经动画化的演员面部的网格(mesh)。因此,在本实施例中,头戴式系统被设置到物理上附接于演员头部或身体的头盔或其它器具中,从而均一地照射面部标记并最小化相机和面部之间的相对移动程度。在其它实施例中,面板运动捕捉系统被配置成将头戴式系统和置于身体上和/或与身体分离的其它运动捕捉相机集成在一起。
图1A是示出根据本发明一个实施例的头戴式系统的示图。在所示出的实施例中,头戴式系统被配置成头盔100,头盔100包括麦克风110、诸如风扇112、114之类的散热单元、以及运动捕捉相机120、122、124,其中,麦克风110被配置用于记录来自演员的音频,散热单元被配置用于使用空气或液体来为演员散热,并且在麦克风被开启时散热单元可以被关闭。
在一个实施例中,头盔100由被设计为很轻便的碳纤维材料制成。头盔100从随带电源(未示出)抽运功率。此外,头盔100将所捕捉的数据记录到头盔100上的或者由演员佩戴的记录器140上。记录在记录器140上的数据可以无线下载到远程存储设备。但是,记录在记录器140上的数据也可以以有线方式下载到远程存储设备。头盔100上的处理器142接收数据分组(例如,UDP),该数据分组命令记录器140何时开始记录以及何时停止记录。处理器142可以获取时间码同步和同步锁相(genlock)信息,并将它们与用于记录数据或影片的其它外部设备相同步。
在替代实施例中,头戴式系统可以被配置成两部分单元,其中,一个部分是附接于演员头部的颅顶盖,而另一部分是沿着颌骨底部并在演员的下颚前方突出的碳纤维U型片。相机可以安装在系统的‘颌骨’片上。在其它实施例中,头戴式系统可以被配置成喉部振动麦克风型的索具(rig)、头盔垫衬型的头部索具、封闭式的面部相机头盔、或者安装在胸部的索具。
头盔100内部的运动捕捉相机120、122、124可以跟踪演员面部的特征。运动捕捉相机120、122、124还可以跟踪表面,使用灰阶成像来执行z深度(z-depth)计算,并执行2D向3D的三角剖分。在图示出的实施例中,在头盔100中配置了三到六个不同的运动捕捉相机。但是,在其它实施例中,可以在头盔100中配置任何数目的运动捕捉相机。例如,一个相机可以被配置用于捕捉眼睛运动,并且三个相机可以被配置用于捕捉面部特征的运动。这些运动捕捉相机中的全部或一些可以被配置成小型且轻便的高分辨率CMOS或CCD相机。
在一些实例中,这些相机可以具有场分割器(field splitter),场分割器是被配置为棱镜的相机透镜。一种场分割器(例如,在2005年8月26日提交的申请号为No.60/711,908、标题为“Using Field Splitters in MotionCapture”的美国临时专利申请中公开的,该申请的内容通过引用而结合于此)在单个相机透镜中呈递多个视场,以使得可以在不具有多个相机的情况下实现立体视觉。此外,相机可以具有远心透镜(例如,在2005年8月26日提交的申请号为No.60/711,906、标题为“Telecentric Lenses inMotion Capture”的美国临时专利申请中公开的,该申请的内容通过引用而结合于此),远心透镜去除了透视畸变(例如,图像的扭曲校正(unwarping))并且改进了2D向3D的三角剖分。
相机在开始执行操作之前需要得到很好地校准,以给出外在(相对于头部框架上的固定点的外部相机位置)和内在参数(内部相机参数)。或者,相机可以通过使用头盔上的(例如,条纹或格子图案)或面部上的(例如,接近鼻子的并趋于更加稳定)度量信息来动态地自校准。使用所捕捉的面部运动数据,面部的整个表面都被数字化,并且得到的网格被输出。
在一个实施例中,相机120、122、124由可佩戴的计算设备来控制。在另一个实施例中,相机被按符合人体工学地安装以使得在头盔上存在较少的校准/稳定性问题,从而使各个相机观察球形、双曲或平面的镜子并捕捉面部表演的反射。在这样的情况下,捕捉系统可以在捕捉处理期间以更稳定的方式来操作,但是可能需要模拟来自镜子的表面反射的复杂的镜面校正解决方案。
重构后的网格在帧和帧之间很少保持一致,并且可能需要额外的预处理或后处理来确保这种一致性。一种预处理方法可以包括:扫描演员的面部几何(facial geometry)并对其建模,选择一组感兴趣的点,并仅跟踪这些感兴趣的点。一种后处理方法可以包括:随着被跟踪的特征点的移动和变形而数学计算演员的面部模型与这些被跟踪特征点之间的最小误差拟合(least-error fitting),从而实现帧与帧之间的最大可能的一致性。
在所图示的实施例中,头盔100还包括面罩130,在一个实施例中,面罩130配置有充当太阳镜的染色塑料,用以减少从演员面部反射的且会导致跟踪问题的任何太阳光。可以使用红外光照射来照射头盔100内部的演员面部。如果在户外在太阳光中进行运动捕捉处理,则相机120、122、124可以配备IR灵敏滤波器以利用红外光照射。在一个实施例中,面罩130包括在内表面上的显示器132,用于显示由安装在头盔100上的相机134捕捉的演员周围环境的图像。通过在显示在显示器132上的外部图像上覆以虚拟图像,演员可以与覆于真实世界图像上的虚拟世界对象进行交互。这允许演员基本与相关事件相同步地显示自然的面部表情。如图1B所示,头盔100的面罩130翻转到上方,以使得演员可以在拍摄间歇休息,并且不会整天都包在头盔中而很少通风。
在另一个实施例中,头盔100具有内置的眼电图(electrooculogram,EOG)能力(例如,在2004年11月8日提交的申请号为No.10/984,488、标题为“System and Method for Tracking Facial Muscle and EyeMotion for Computer Graphics Animation”的美国专利申请中公开的,该申请的内容通过引用而结合于此)以记录眼睛的移动。在本实施例中,在眼睛上下或者眼睛左右布置了成对的电极。如果眼睛从中心位置向一个电极移动,则该电极检测视网膜的正面而相对电极检测视网膜的反面。因此,出现在电极之间的电位差被记录作为眼睛移动的度量。EOG控制盒可以嵌入到头盔100中或者可以佩戴在身体上并插入到头盔中以接收来自电极的信号并将该信号转换成运动数据。
为了使用头戴式系统来捕捉面部运动数据,演员的面部需要安装传感器(例如,反射标记、球和/或盘),或者准备有能够提供运动信号或从面部的表面反射运动信号的材料(例如,颜料、染料和/或投射光)。但是,应当理解,运动数据包括在一个或多个传感器没有移动时捕捉的数据。因此,运动数据指示出可能已经移动或者可能没有移动的点的当前位置。
在图2A所示的一个实施例中,标记被附于演员面部200以使得运动捕捉相机可以被用于记录演员的表情。由于与身体动作所涉及的较大肌肉相比较而言,面部动作涉及相对较小的肌肉,所以面部标记一般比相应的身体标记小很多,并且相机的分辨率一般高于通常用于身体运动捕捉的相机的分辨率。相机一般排列在公共平面上,同时演员的身体动作受到限制以保持相机聚焦于演员面部。在图2B所示的另一个实施例中,在演员面部210上形成了水平和垂直线或曲线的栅格。通过跟踪并分析由栅格交叉点形成的线或顶点而不是分立的点的移动,头戴式系统能够生成比传统的基于标记的跟踪系统多很多的表面数据。
在另一个实施例中,使用很小的近IR光在演员面部上投射斑点图案。头盔中的运动捕捉相机感测该图案,并通过三角剖分皮肤上的斑点图案来创建演员面部的3D网格。面部的整个表面随后被数字化,并且得到的网格被输出。在另一个实施例中,图案被喷射或涂抹到演员的面部(例如,墨水或化妆品)。可以通过向面部表面涂抹颜料或染料来施加图案。也可以通过将图案印刷或丝绢网印到材料上然后将该材料附于面部表面来施加图案。或者,光或点的图案可以被投射到面部表面上。同样,头盔中的运动捕捉相机感测所述图案,并通过三角剖分所喷射或涂抹的图案来创建演员面部的3D网格。面部的整个表面随后被数字化,并且得到的网格被输出。但是,在本实施例中,演员面部的最终模型解决了一致的网格运动。可以对从演员面部获得的纹理进行分析以得到可视光信息(例如,阴影化以及当面部在光线照射中或者在黑暗中时)。因此,可以在最终的模型光照处理中使用该纹理。在一个变体中,图案可以包括压电条带,该压电条带在随着面部的移动而弯折这些条带时测量电阻。
在另一个实施例中,使用激光或投射线,将不可视光带快速地来回扫过演员面部。运动捕捉相机在相机扫过面部时扫描条带轮廓,并且这些线被重构为表面几何。所获得的线随后被接合从而创建网格,该网格是随时间而被动画化的。在一个变体中,可以在头盔的下颚区域中嵌入具有旋转镜的对眼睛安全的不可视激光。在另一个变体中,向面部投射旋转的对眼睛安全的不可视光。在又一个变体中,向对准演员面部的旋转镜投射对眼睛安全的不可视光。
所选择的运动捕捉设置所面临的一个共同问题是帧与帧之间的重构网格的时间一致性。在将重构表面再次定位(retarget)到数字面部上时,缺乏时间一致性可能会导致问题。取决于所使用的运动捕捉方法的类型,存在各种确保时间网格一致性的方式。确保一致的时间网格的一种方式是使用这样的演员面部模型,该演员面部模型涉及具有“感兴趣”的网格顶点的各种过渡表情,并且使用网格顶点来数学计算感兴趣的最小误差拟合,这是作为重构之后的后处理来进行的。作为重构处理的预处理来进行的另一个实施例包括:在重构处理之前扫描、数字化和模型化(建模)演员的中性(neutral)面部。随后在表演期间模型网格顶点被投射到演员的中性面部。相机变换的外在参数的计算随后暗示中性面部模型顶点位于视频图像的中性面部上的哪里。现在可以借助于上述设置(即,标记、颜料、斑点图案、投射光等)在表演期间跟踪这些顶点。最后,可以仅针对这些被跟踪的顶点计算3D重构,从而产生帧与帧之间相互一致的变形网格。
图3是根据一个实施例的头戴式系统100的运动捕捉处理器142、记录器140、和相机120、122、124的框图。在所图示的实施例中,运动捕捉处理器142与记录器140和用户工作站152相连接。运动捕捉处理器142可以通过有线或无线方式来连接到工作站152。因此,在一个实施例中,运动捕捉处理器142包括网络接口模块154用以向工作站152发送数据和从其接收数据。如上所述,处理器142可以从工作站152接收这样的数据分组,该数据分组命令记录器140何时开始记录以及何时停止记录。
运动捕捉处理器142包括图像捕捉模块150、标记跟踪模块148、数字建模模块146以及存储单元144。三个运动捕捉相机120、122、124与运动捕捉处理器142相连接。在一个实施例中,根据各种与用户和动画相关的要求可以使用多于或少于三个运动捕捉相机。运动捕捉相机120、122、124聚焦在有待捕捉的演员面部300上,其中,目标传感器(被示出为球形标记)占据了面部300的表面上的点。
如图3所图示的实施例所示,目标点与类似于结合图2A来描述的那些的多个标记相结合。相机120、122、124可以受图像捕捉模块150的控制以逐帧地捕捉这些标记的图像,并将它们传递回运动捕捉处理器142的图像捕捉模块150。在一种实现方式中,相机120、122、124在交替的图像帧中捕捉标记的图像。这样捕捉的图像帧被放置在存储单元144中。在一个实施例中,记录器140可以被用作存储单元(例如,单元144)。或者,工作站152的用户可以实时地查看这些图像帧。
标记跟踪模块148从存储单元144中检索所存储的图像帧,并对这些图像帧执行跟踪功能以利用各个图像帧之前和之后的图像帧来精确映射各个图像帧的标记。在一些实施例中,可以使用为(主要)标记提供标识的次要标记作为辅助以区分标记。一旦这种映射完成之后,得到的数据就被传递到数字建模模块146,数字建模模块146在各个帧中创建虚拟空间中的顶点系统,包括表示面部300的建模表面。因为在各个帧中捕捉的标记被正确地映射到随后的帧中的相同的标记,所以被建模的面部表面的运动是平滑且连续的。虽然图3所图示的实施例使用标记作为用于捕捉面部表面的传感器,但是可以使用诸如图2B所示的颜料图案之类的其它传感器。
在一个实施例中,相机120、122、124,运动捕捉处理器142的所有模块,以及记录器140被配置在头戴式系统中。在另一个实施例中,相机120、122、124,记录器140,以及模块144和150被配置在头戴式系统中,而模块146和148被配置在工作站152中。
图4是示出根据一个实施例的用于捕捉演员的面部特征以创建演员面部运动和表情的表示的方法的流程图。该方法包括:在400中,将标记与面部表面上的目标点相结合。在一个实施例中,标记是反射球体,并且球体表面上的发光反射点实质上构成了标记数据点。随后在402中,捕捉当前帧中的标记的图像。接下来,在404中,存储各个帧的所捕捉图像。在406中,如果判定当前帧不是最后的帧,则在408中将下一个帧提前,并且该帧变为新的当前帧。此方法随后在402中通过使用新的当前帧来捕捉下一组标记数据点而继续。此方法如上所述地进行直到当前帧被判定为最后的帧为止。根据这个实施方式,从而逐帧地获取标记数据。
一旦已经获取所有帧,则在410中检索所存储的图像帧。在412中,对检索得到的图像帧执行跟踪功能,以利用各个图像帧之前和之后的图像帧来精确地映射各个图像帧的标记。一旦这种映射完成之后,就在414中生成虚拟空间中的顶点系统,该顶点系统包括表示面部的建模表面。得到的建模表面随后被输出作为演员面部运动和表情的表示。
已经描述了本发明的各种说明性实施例。但是,本领域普通技术人员将会了解,其它实施例也是可行的并且处在本发明的范围内。例如,在一个变体中,可以使用包括标记、颜料、染料和/或投射光的传感器的组合来捕捉面部特征。可以选择传感器的类型以增强对面部的特定部分或特征的捕捉处理。在另一个变体中,虽然说明仅示出了布置在头盔或身体上的相机,但是相机可以被配置成布置在身体上和/或与身体相分离以从演员的面部捕捉数据。在另一个变体中,虽然说明仅示出了人类面部的运动捕捉,但是,上述处理可以用于运动捕捉任何对象的移动表面。
因此,本发明并不仅仅限于上述那些实施例。
Claims (29)
1.一种系统,包括:
至少一个运动捕捉相机,被配置用于使用布置在演员的面部表面上的多个传感器来从所述演员的面部表面捕捉运动数据;以及
与所述至少一个运动捕捉相机相耦合的运动捕捉处理器,所述运动捕捉处理器包括:
存储单元;
图像捕捉模块,被配置用于控制所述至少一个运动捕捉相机,以逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像,所述图像捕捉模块接收所述逐帧图像并将其存储在所述存储单元上;
传感器跟踪模块,被配置用于从所述存储单元检索所存储的逐帧图像,对所述图像执行跟踪功能以精确地针对各个帧来映射所述多个传感器,并且提供来自所述面部表面的所述运动数据;以及
数字建模模块,被配置用于接收所述运动数据以生成表示所述演员的面部表面的建模表面。
2.如权利要求1所述的系统,其中,所述运动捕捉处理器的所述存储单元、所述图像捕捉模块、所述传感器跟踪模块以及所述数字建模模块被物理上一起配置在头戴式系统中。
3.如权利要求1所述的系统,其中,所述运动捕捉处理器的所述传感器跟踪模块和所述数字建模模块被配置成与所述存储单元和所述图像捕捉模块物理上相分离,其中,所述存储单元和所述图像捕捉模块被配置在头戴式系统中。
4.如权利要求1所述的系统,还包括:
至少一个相机,被配置用于捕捉所述演员周围环境的图像;以及
显示器,被配置用于向所述演员显示由所述至少一个相机捕捉的所述演员周围环境的图像,所述显示器还能够显示覆于所述演员周围环境的图像之上的虚拟图像,以允许所述演员基本上与相关事件相同步地显示自然的面部表情。
5.如权利要求1所述的系统,还包括:
麦克风,被配置用于记录来自所述演员的音频;以及
散热单元,被配置用于为所述演员散热,其中,所述散热单元在所述麦克风被开启时关闭。
6.如权利要求1所述的系统,其中,所述运动捕捉处理器包括:
无线网络接口模块,被配置用于向用户工作站无线发送数据以及从该用户工作站无线接收数据。
7.如权利要求6所述的系统,还包括:
记录器,被配置用于记录由所述至少一个运动捕捉相机从所述演员的面部表面捕捉的运动数据,
其中,所述记录器从所述用户工作站接收记录命令。
8.如权利要求1所述的系统,其中,所述至少一个运动捕捉相机包括:
场分割器,被配置用于呈递多个视场,以使得可以在没有多个相机的情况下实现立体视觉。
9.如权利要求1所述的系统,其中,所述至少一个运动捕捉相机中的每一个相机都包括远心透镜。
10.如权利要求1所述的系统,还包括:
形状为球形、双曲形和平面形之一的镜子,被配置用于允许所述至少一个运动捕捉相机捕捉所述面部表面的反射,所述镜子允许以符合人体工学的方式安装所述至少一个运动捕捉相机,以使得在所述头盔上存在较少的校准/稳定性问题。
11.如权利要求1所述的系统,还包括:
多个电极,被配置用于测量眼睛移动并输出相应的信号;以及
眼电图控制单元,被配置用于接收来自所述多个电极的相应信号,并将该信号转换成运动数据。
12.如权利要求1所述的系统,其中,所述头戴式系统包括头盔。
13.一种捕捉和处理面部运动数据的方法,包括:
将多个传感器与演员的面部表面上的目标点相结合;
使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像;
在所述头戴式系统中,对所述多个传感器的所述逐帧图像执行跟踪功能,以精确地针对各个帧来映射所述多个传感器;以及
在所述头戴式系统中,生成表示所述演员的面部表面的建模表面。
14.如权利要求13所述的方法,还包括:
捕捉所述演员周围环境的图像;以及
向所述演员显示所述演员周围环境的图像,
其中,所述显示包括:显示覆于所述演员周围环境的图像之上的虚拟图像,以允许所述演员基本与同步信号相同步地显示自然的面部表情。
15.如权利要求14所述的方法,还包括:
与关于所述演员的面部表面的动作的事件相同步地生成所述同步信号。
16.如权利要求13所述的方法,其中,所述逐帧地捕捉图像还包括:
使用至少一个与身体分离的运动捕捉相机。
17.如权利要求13所述的方法,还包括:
在所述逐帧地捕捉所述多个传感器的图像之后使用灰阶成像来执行z深度计算。
18.如权利要求13所述的方法,还包括:
在所述逐帧地捕捉所述多个传感器的图像之后执行2D向3D的三角剖分。
19.如权利要求18所述的方法,还包括:
在所述逐帧地捕捉所述多个传感器的图像之后去除透视畸变。
20.如权利要求19所述的方法,其中所述去除透视畸变包括:
扭曲校正所述逐帧图像;以及
改进所述2D向3D的三角剖分。
21.如权利要求13所述的方法,还包括:
使用红外光照射来照射所述演员的面部表面。
22.如权利要求13所述方法,还包括:
使用近IR光在所述演员的面部表面上投射斑点图案。
23.如权利要求22所述的方法,还包括:
通过三角剖分所述斑点图案来生成所述面部表面的3D网格。
24.如权利要求23所述的方法,还包括:
利用感兴趣的网格顶点来生成过渡表情;以及
使用所述网格顶点来数学计算感兴趣的最小误差拟合。
25.如权利要求23所述的方法,还包括:
扫描、数字化和建模所述演员的中性面部;以及
在所述演员的中性面部上投射网格顶点。
26.如权利要求13所述的方法,其中,所述将多个传感器与演员面部表面上的目标点相结合包括:
使用反射材料在所述演员的面部表面上描绘图案。
27.如权利要求13所述的方法,其中,所述将多个传感器与演员面部表面上的目标点相结合包括:
使用激光在所述演员的面部表面上扫过不可视光带。
28.如权利要求27所述的方法,其中,所述逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像包括:
使用所述至少一个运动捕捉相机来扫描条带轮廓;
将通过所述扫过不可视光带来创建的线重构为表面几何;以及
接合所述线以生成网格。
29.一种用于捕捉和处理面部运动数据的系统,包括:
用于将多个传感器与演员的面部表面上的目标点相结合的装置;
用于使用布置在头戴式系统上的至少一个运动捕捉相机来逐帧地捕捉布置在所述演员的面部表面上的所述多个传感器的图像的装置;
在所述头戴式系统中的用于对所述多个传感器的所述逐帧图像执行跟踪功能以精确地针对各个帧来映射所述多个传感器的装置;以及
在所述头戴式系统中的用于生成表示所述演员的面部表面的建模表面的装置。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71190605P | 2005-08-26 | 2005-08-26 | |
US71190805P | 2005-08-26 | 2005-08-26 | |
US71189705P | 2005-08-26 | 2005-08-26 | |
US71190705P | 2005-08-26 | 2005-08-26 | |
US60/711,907 | 2005-08-26 | ||
US60/711,906 | 2005-08-26 | ||
US60/711,908 | 2005-08-26 | ||
US60/711,897 | 2005-08-26 | ||
US11/467,512 | 2006-08-25 | ||
US11/467,512 US7606392B2 (en) | 2005-08-26 | 2006-08-25 | Capturing and processing facial motion data |
PCT/US2006/033713 WO2007025300A2 (en) | 2005-08-26 | 2006-08-28 | Capturing and processing facial motion data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101310289A true CN101310289A (zh) | 2008-11-19 |
CN101310289B CN101310289B (zh) | 2013-03-06 |
Family
ID=37804125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800401424A Expired - Fee Related CN101310289B (zh) | 2005-08-26 | 2006-08-28 | 捕捉和处理面部运动数据 |
Country Status (8)
Country | Link |
---|---|
US (2) | US7606392B2 (zh) |
EP (1) | EP1924952A4 (zh) |
KR (1) | KR101455403B1 (zh) |
CN (1) | CN101310289B (zh) |
AU (1) | AU2006282764B2 (zh) |
CA (1) | CA2620619C (zh) |
NZ (1) | NZ566393A (zh) |
WO (1) | WO2007025300A2 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901497A (zh) * | 2009-05-29 | 2010-12-01 | 影像原动力数码有限公司 | 运动捕捉角色的逆运动学 |
CN103339926A (zh) * | 2011-11-24 | 2013-10-02 | 株式会社Ntt都科摩 | 表情输出装置和表情输出方法 |
TWI450113B (zh) * | 2010-12-17 | 2014-08-21 | Intel Corp | 使用者模型產生技術 |
CN104107048A (zh) * | 2014-03-03 | 2014-10-22 | 中国医学科学院北京协和医院 | 基于运动捕捉的面肌三维运动测量设备 |
CN104778750A (zh) * | 2015-04-13 | 2015-07-15 | 北京迪生动画科技有限公司 | 一种面部表情捕捉系统及实现方法 |
CN104921397A (zh) * | 2015-06-01 | 2015-09-23 | 江苏省电力公司 | 动态捕捉头盔 |
CN104107048B (zh) * | 2014-03-03 | 2016-11-30 | 中国医学科学院北京协和医院 | 基于运动捕捉的面肌三维运动测量设备 |
CN106611426A (zh) * | 2015-10-16 | 2017-05-03 | 灵然创智(天津)动画科技发展有限公司 | 一种基于深度摄像机3d面部动画实时捕捉技术 |
CN107403170A (zh) * | 2017-08-08 | 2017-11-28 | 灵然创智(天津)动画科技发展有限公司 | 一种基于面部捕捉系统的捕捉点定位系统 |
WO2018082692A1 (en) * | 2016-11-07 | 2018-05-11 | Changchun Ruixinboguan Technology Development Co., Ltd. | Systems and methods for interaction with application |
CN108108725A (zh) * | 2018-01-20 | 2018-06-01 | 灵然创智(天津)动画科技发展有限公司 | 一种基于超高清照片的人物头部与面部表情数据采集平台 |
CN108604291A (zh) * | 2016-01-13 | 2018-09-28 | Fove股份有限公司 | 表情辨识系统、表情辨识方法及表情辨识程序 |
CN112651288A (zh) * | 2014-06-14 | 2021-04-13 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
CN112657214A (zh) * | 2020-12-28 | 2021-04-16 | 苏州源睿尼科技有限公司 | 一种表演用面部表情捕捉面具及其安装方法 |
US11507193B2 (en) | 2014-06-14 | 2022-11-22 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
Families Citing this family (117)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7440593B1 (en) * | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US7471846B2 (en) * | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8494286B2 (en) * | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7606392B2 (en) * | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
US8659668B2 (en) | 2005-10-07 | 2014-02-25 | Rearden, Llc | Apparatus and method for performing motion capture using a random pattern on capture surfaces |
ES2569411T3 (es) | 2006-05-19 | 2016-05-10 | The Queen's Medical Center | Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia |
US7965875B2 (en) | 2006-06-12 | 2011-06-21 | Tessera Technologies Ireland Limited | Advances in extending the AAM techniques from grayscale to color images |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
US20080291272A1 (en) * | 2007-05-22 | 2008-11-27 | Nils Oliver Krahnstoever | Method and system for remote estimation of motion parameters |
DE102007030378A1 (de) * | 2007-06-29 | 2009-01-02 | Spatial View Gmbh Dresden | System zur Bestimmung der Lage eines Kamerasystems |
JP2010541035A (ja) * | 2007-09-04 | 2010-12-24 | ソニー株式会社 | 統合モーションキャプチャ |
KR100896065B1 (ko) * | 2007-12-17 | 2009-05-07 | 한국전자통신연구원 | 3차원 얼굴 표정 애니메이션 생성 방법 |
WO2009117450A1 (en) * | 2008-03-18 | 2009-09-24 | Invism, Inc. | Enhanced immersive soundscapes production |
JP5089453B2 (ja) * | 2008-03-24 | 2012-12-05 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理装置の制御方法及びプログラム |
WO2010012448A2 (en) * | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
US9325972B2 (en) * | 2008-09-29 | 2016-04-26 | Two Pic Mc Llc | Actor-mounted motion capture camera |
US8289443B2 (en) * | 2008-09-29 | 2012-10-16 | Two Pic Mc Llc | Mounting and bracket for an actor-mounted motion capture camera system |
US9390516B2 (en) * | 2008-09-29 | 2016-07-12 | Two Pic Mc Llc | Asynchronous streaming of data for validation |
TWI638286B (zh) * | 2009-01-23 | 2018-10-11 | 仇銳鏗 | Ocular control system |
TW201028895A (en) * | 2009-01-23 | 2010-08-01 | Rui-Keng Chou | Electro-oculogram control system |
US8988437B2 (en) * | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
US8379917B2 (en) * | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
US20110181601A1 (en) * | 2010-01-22 | 2011-07-28 | Sony Computer Entertainment America Inc. | Capturing views and movements of actors performing within generated scenes |
US20110254967A1 (en) * | 2010-04-15 | 2011-10-20 | Post Pro Finance, Inc. | Virtual library capture and retrieval system for audio, film and video elements |
US8670029B2 (en) * | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US20110317871A1 (en) * | 2010-06-29 | 2011-12-29 | Microsoft Corporation | Skeletal joint recognition and tracking system |
EP2590396B1 (en) * | 2010-07-02 | 2018-08-08 | Sony Interactive Entertainment Inc. | Information processing system and information processing method |
US20120062719A1 (en) * | 2010-09-09 | 2012-03-15 | University Of Southern California | Head-Mounted Photometric Facial Performance Capture |
KR20120070131A (ko) * | 2010-12-21 | 2012-06-29 | 한국전자통신연구원 | 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법 |
CN102389292B (zh) * | 2011-06-28 | 2013-06-05 | 苏州大学 | 面部表情差异的测量方法和装置 |
US9606209B2 (en) | 2011-08-26 | 2017-03-28 | Kineticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
US9799136B2 (en) | 2011-12-21 | 2017-10-24 | Twentieth Century Fox Film Corporation | System, method and apparatus for rapid film pre-visualization |
US11232626B2 (en) | 2011-12-21 | 2022-01-25 | Twenieth Century Fox Film Corporation | System, method and apparatus for media pre-visualization |
EP2795584A4 (en) * | 2011-12-21 | 2016-04-27 | Twentieth Cent Fox Film Corp | SYSTEM, METHOD AND APPARATUS FOR RAPID PREVIEW OF FILM |
EP2728306A1 (en) * | 2012-11-05 | 2014-05-07 | Hexagon Technology Center GmbH | Method and device for determining three-dimensional coordinates of an object |
LU92138B1 (en) * | 2013-01-18 | 2014-07-21 | Neo Medical Systems S A | Head tracking method and device |
US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
US9305365B2 (en) | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
CN105392423B (zh) | 2013-02-01 | 2018-08-17 | 凯内蒂科尔股份有限公司 | 生物医学成像中的实时适应性运动补偿的运动追踪系统 |
CN103400408A (zh) * | 2013-07-29 | 2013-11-20 | 武汉浩翰动画有限公司 | 动漫游戏智能制作与管理系统 |
US20150062116A1 (en) * | 2013-08-30 | 2015-03-05 | 1-800 Contacts, Inc. | Systems and methods for rapidly generating a 3-d model of a user |
CN106572810A (zh) | 2014-03-24 | 2017-04-19 | 凯内蒂科尔股份有限公司 | 去除医学成像扫描的预期运动校正的系统、方法和装置 |
US9672416B2 (en) | 2014-04-29 | 2017-06-06 | Microsoft Technology Licensing, Llc | Facial expression tracking |
CN106714681A (zh) | 2014-07-23 | 2017-05-24 | 凯内蒂科尔股份有限公司 | 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 |
WO2016118782A1 (en) * | 2015-01-21 | 2016-07-28 | University Of North Dakota | Characterizing 3-d printed objects for 3-d printing |
US9576190B2 (en) * | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
US9910275B2 (en) | 2015-05-18 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
US10076250B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses based on multispectral data from head-mounted cameras |
US10064559B2 (en) | 2015-06-14 | 2018-09-04 | Facense Ltd. | Identification of the dominant nostril using thermal measurements |
US10151636B2 (en) | 2015-06-14 | 2018-12-11 | Facense Ltd. | Eyeglasses having inward-facing and outward-facing thermal cameras |
US10165949B2 (en) | 2015-06-14 | 2019-01-01 | Facense Ltd. | Estimating posture using head-mounted cameras |
US10080861B2 (en) | 2015-06-14 | 2018-09-25 | Facense Ltd. | Breathing biofeedback eyeglasses |
US10130261B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Detecting physiological responses while taking into account consumption of confounding substances |
US10076270B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses while accounting for touching the face |
US10130299B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Neurofeedback eyeglasses |
US10154810B2 (en) | 2015-06-14 | 2018-12-18 | Facense Ltd. | Security system that detects atypical behavior |
US10113913B2 (en) | 2015-10-03 | 2018-10-30 | Facense Ltd. | Systems for collecting thermal measurements of the face |
US9968264B2 (en) | 2015-06-14 | 2018-05-15 | Facense Ltd. | Detecting physiological responses based on thermal asymmetry of the face |
US10136852B2 (en) | 2015-06-14 | 2018-11-27 | Facense Ltd. | Detecting an allergic reaction from nasal temperatures |
US10045737B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Clip-on device with inward-facing cameras |
US10136856B2 (en) | 2016-06-27 | 2018-11-27 | Facense Ltd. | Wearable respiration measurements system |
US10045726B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
US10299717B2 (en) | 2015-06-14 | 2019-05-28 | Facense Ltd. | Detecting stress based on thermal measurements of the face |
US10085685B2 (en) | 2015-06-14 | 2018-10-02 | Facense Ltd. | Selecting triggers of an allergic reaction based on nasal temperatures |
US10045699B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Determining a state of a user based on thermal measurements of the forehead |
US10216981B2 (en) | 2015-06-14 | 2019-02-26 | Facense Ltd. | Eyeglasses that measure facial skin color changes |
US10523852B2 (en) | 2015-06-14 | 2019-12-31 | Facense Ltd. | Wearable inward-facing camera utilizing the Scheimpflug principle |
US10130308B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Calculating respiratory parameters from thermal measurements |
US10159411B2 (en) | 2015-06-14 | 2018-12-25 | Facense Ltd. | Detecting irregular physiological responses during exposure to sensitive data |
US10092232B2 (en) | 2015-06-14 | 2018-10-09 | Facense Ltd. | User state selection based on the shape of the exhale stream |
US9600715B2 (en) | 2015-06-26 | 2017-03-21 | Intel Corporation | Emotion detection system |
US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
KR102136241B1 (ko) * | 2015-09-29 | 2020-07-22 | 바이너리브이알, 인크. | 표정 검출 성능을 갖는 머리-장착형 디스플레이 |
US10716515B2 (en) | 2015-11-23 | 2020-07-21 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
KR101728635B1 (ko) * | 2016-05-31 | 2017-04-20 | 연세대학교 산학협력단 | 표정을 인식하기 위한 장치 및 방법 |
CN106175780A (zh) * | 2016-07-13 | 2016-12-07 | 天远三维(天津)科技有限公司 | 面肌运动捕捉分析系统及其分析方法 |
KR101759444B1 (ko) * | 2016-08-25 | 2017-07-18 | 연세대학교 산학협력단 | 착용형 헤드셋을 이용한 표정 인식 장치 및 그 방법 |
CN206387961U (zh) | 2016-12-30 | 2017-08-08 | 孙淑芬 | 头戴显示设备 |
US20190380638A1 (en) * | 2017-01-20 | 2019-12-19 | Temple University-Of The Commonwealth System Of Higher Education | System and Method for Assessment and Rehabilitation of Balance Impairment Using Virtual Reality |
US10818060B2 (en) * | 2017-09-05 | 2020-10-27 | Activision Publishing, Inc. | Systems and methods for guiding motion capture actors using a motion reference system |
US10769415B1 (en) * | 2017-09-09 | 2020-09-08 | Apple Inc. | Detection of identity changes during facial recognition enrollment process |
US10812693B2 (en) | 2017-10-20 | 2020-10-20 | Lucasfilm Entertainment Company Ltd. | Systems and methods for motion capture |
US10248842B1 (en) * | 2018-01-09 | 2019-04-02 | Facebook Technologies, Llc | Face tracking using structured light within a head-mounted display |
TWI691912B (zh) * | 2018-03-02 | 2020-04-21 | 英業達股份有限公司 | 累計與共享撥珠資訊的方法 |
CN108924482B (zh) * | 2018-06-22 | 2021-03-23 | 张小勇 | 一种视频记录方法和系统 |
US11779302B2 (en) | 2018-10-20 | 2023-10-10 | Massachusetts Institute Of Technology | Methods and apparatus for imaging with conformable ultrasound patch |
WO2020117260A1 (en) * | 2018-12-07 | 2020-06-11 | Hewlett-Packard Development Company, L.P. | Imaged transmission percentages for 3d printers |
US11537209B2 (en) | 2019-12-17 | 2022-12-27 | Activision Publishing, Inc. | Systems and methods for guiding actors using a motion capture reference system |
US11783627B2 (en) | 2020-02-10 | 2023-10-10 | Massachusetts Institute Of Technology | Methods and apparatus for detecting and classifying facial motions |
US20210358149A1 (en) * | 2020-05-18 | 2021-11-18 | Nec Laboratories America, Inc | Anti-spoofing 3d face reconstruction using infrared structure light |
CN111770166A (zh) * | 2020-06-29 | 2020-10-13 | 广州口可未来教育科技股份有限公司 | 一种动作捕捉数字资产管理系统 |
KR20220061323A (ko) | 2020-11-05 | 2022-05-13 | (주)모팩 | 얼굴 표정 수집을 위한 두부 착용형 웨어러블 디바이스 |
CN112700523B (zh) * | 2020-12-31 | 2022-06-07 | 魔珐(上海)信息科技有限公司 | 虚拟对象面部动画生成方法及装置、存储介质、终端 |
EP4080331A1 (fr) * | 2021-04-19 | 2022-10-26 | Dynamixyz | Casque |
US20240070251A1 (en) * | 2021-08-04 | 2024-02-29 | Q (Cue) Ltd. | Using facial skin micromovements to identify a user |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
JPH07306956A (ja) | 1994-05-10 | 1995-11-21 | Michio Iyobe | 閉鎖空間施設を利用した仮想空間体験システム |
JP2627487B2 (ja) | 1994-06-01 | 1997-07-09 | 株式会社エイ・ティ・アール通信システム研究所 | 像の実時間認識合成装置 |
JP2670663B2 (ja) | 1994-08-05 | 1997-10-29 | 株式会社エイ・ティ・アール通信システム研究所 | 像の実時間認識合成装置 |
JP2802725B2 (ja) | 1994-09-21 | 1998-09-24 | 株式会社エイ・ティ・アール通信システム研究所 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
US5926388A (en) * | 1994-12-09 | 1999-07-20 | Kimbrough; Thomas C. | System and method for producing a three dimensional relief |
US6020892A (en) * | 1995-04-17 | 2000-02-01 | Dillon; Kelly | Process for producing and controlling animated facial representations |
EP0837418A3 (en) * | 1996-10-18 | 2006-03-29 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
US5886735A (en) * | 1997-01-14 | 1999-03-23 | Bullister; Edward T | Video telephone headset |
US6324296B1 (en) * | 1997-12-04 | 2001-11-27 | Phasespace, Inc. | Distributed-processing motion tracking system for tracking individually modulated light points |
FR2775814B1 (fr) * | 1998-03-06 | 2001-01-19 | Rasterland Sa | Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel |
JP2974655B1 (ja) | 1998-03-16 | 1999-11-10 | 株式会社エイ・ティ・アール人間情報通信研究所 | アニメーションシステム |
US6072496A (en) * | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
CN2342354Y (zh) * | 1998-08-04 | 1999-10-06 | 香港生产力促进局 | 轻便的非接触式三维数据扫描器 |
JP3714063B2 (ja) * | 1999-10-19 | 2005-11-09 | 富士ゼロックス株式会社 | 3次元形状計測装置 |
US6633294B1 (en) * | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
JP2002005623A (ja) | 2000-06-27 | 2002-01-09 | Roland Dg Corp | レーザー光を用いた変位測定方法 |
DE10047237A1 (de) * | 2000-09-23 | 2002-04-11 | Physoptics Opto Electronic Gmb | System zur Aufnahme des Netzhautreflexbildes |
US7127081B1 (en) * | 2000-10-12 | 2006-10-24 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. | Method for tracking motion of a face |
US6788338B1 (en) * | 2000-11-20 | 2004-09-07 | Petko Dimitrov Dinev | High resolution video camera apparatus having two image sensors and signal processing |
EP1357831A2 (en) * | 2001-02-09 | 2003-11-05 | Sensomotoric Instruments GmbH | Multidimensional eye tracking and position measurement system |
JP2002354074A (ja) | 2001-05-22 | 2002-12-06 | Denso Corp | 携帯電話 |
US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
FR2838904A1 (fr) * | 2002-04-22 | 2003-10-24 | Delphine Software Internat | Dispositif d'acquisition d'images destine a etre porte par un utilisateur |
JP4401728B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
US7388971B2 (en) * | 2003-10-23 | 2008-06-17 | Northrop Grumman Corporation | Robust and low cost optical system for sensing stress, emotion and deception in human subjects |
US20060055706A1 (en) * | 2004-09-15 | 2006-03-16 | Perlman Stephen G | Apparatus and method for capturing the motion of a performer |
US8194093B2 (en) * | 2004-09-15 | 2012-06-05 | Onlive, Inc. | Apparatus and method for capturing the expression of a performer |
US7324110B2 (en) * | 2004-12-09 | 2008-01-29 | Image Metrics Limited | Method and system for cleaning motion capture data |
US7605861B2 (en) * | 2005-03-10 | 2009-10-20 | Onlive, Inc. | Apparatus and method for performing motion capture using shutter synchronization |
US7606392B2 (en) * | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
-
2006
- 2006-08-25 US US11/467,512 patent/US7606392B2/en active Active
- 2006-08-28 AU AU2006282764A patent/AU2006282764B2/en not_active Ceased
- 2006-08-28 NZ NZ566393A patent/NZ566393A/en not_active IP Right Cessation
- 2006-08-28 CN CN2006800401424A patent/CN101310289B/zh not_active Expired - Fee Related
- 2006-08-28 CA CA2620619A patent/CA2620619C/en active Active
- 2006-08-28 WO PCT/US2006/033713 patent/WO2007025300A2/en active Application Filing
- 2006-08-28 KR KR1020087007253A patent/KR101455403B1/ko active IP Right Grant
- 2006-08-28 EP EP06790069A patent/EP1924952A4/en not_active Ceased
-
2009
- 2009-08-25 US US12/547,378 patent/US8218825B2/en active Active
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901497A (zh) * | 2009-05-29 | 2010-12-01 | 影像原动力数码有限公司 | 运动捕捉角色的逆运动学 |
TWI450113B (zh) * | 2010-12-17 | 2014-08-21 | Intel Corp | 使用者模型產生技術 |
CN103339926A (zh) * | 2011-11-24 | 2013-10-02 | 株式会社Ntt都科摩 | 表情输出装置和表情输出方法 |
CN104107048A (zh) * | 2014-03-03 | 2014-10-22 | 中国医学科学院北京协和医院 | 基于运动捕捉的面肌三维运动测量设备 |
CN104107048B (zh) * | 2014-03-03 | 2016-11-30 | 中国医学科学院北京协和医院 | 基于运动捕捉的面肌三维运动测量设备 |
US11507193B2 (en) | 2014-06-14 | 2022-11-22 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN112651288A (zh) * | 2014-06-14 | 2021-04-13 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
CN104778750B (zh) * | 2015-04-13 | 2018-12-18 | 北京迪生数字娱乐科技股份有限公司 | 一种面部表情捕捉系统及实现方法 |
CN104778750A (zh) * | 2015-04-13 | 2015-07-15 | 北京迪生动画科技有限公司 | 一种面部表情捕捉系统及实现方法 |
CN104921397A (zh) * | 2015-06-01 | 2015-09-23 | 江苏省电力公司 | 动态捕捉头盔 |
CN106611426A (zh) * | 2015-10-16 | 2017-05-03 | 灵然创智(天津)动画科技发展有限公司 | 一种基于深度摄像机3d面部动画实时捕捉技术 |
CN108604291A (zh) * | 2016-01-13 | 2018-09-28 | Fove股份有限公司 | 表情辨识系统、表情辨识方法及表情辨识程序 |
WO2018082692A1 (en) * | 2016-11-07 | 2018-05-11 | Changchun Ruixinboguan Technology Development Co., Ltd. | Systems and methods for interaction with application |
CN107403170A (zh) * | 2017-08-08 | 2017-11-28 | 灵然创智(天津)动画科技发展有限公司 | 一种基于面部捕捉系统的捕捉点定位系统 |
CN108108725A (zh) * | 2018-01-20 | 2018-06-01 | 灵然创智(天津)动画科技发展有限公司 | 一种基于超高清照片的人物头部与面部表情数据采集平台 |
CN112657214A (zh) * | 2020-12-28 | 2021-04-16 | 苏州源睿尼科技有限公司 | 一种表演用面部表情捕捉面具及其安装方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2620619A1 (en) | 2007-03-01 |
US7606392B2 (en) | 2009-10-20 |
KR101455403B1 (ko) | 2014-10-27 |
AU2006282764B2 (en) | 2012-05-03 |
WO2007025300A3 (en) | 2007-11-15 |
NZ566393A (en) | 2011-03-31 |
US20070047768A1 (en) | 2007-03-01 |
EP1924952A2 (en) | 2008-05-28 |
WO2007025300A8 (en) | 2007-04-19 |
AU2006282764A1 (en) | 2007-03-01 |
US8218825B2 (en) | 2012-07-10 |
CA2620619C (en) | 2015-10-13 |
WO2007025300A2 (en) | 2007-03-01 |
CN101310289B (zh) | 2013-03-06 |
US20090324017A1 (en) | 2009-12-31 |
KR20080055863A (ko) | 2008-06-19 |
EP1924952A4 (en) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101310289B (zh) | 捕捉和处理面部运动数据 | |
JP6824279B2 (ja) | インサイドアウト方式のポジション、ユーザボディ、及び環境トラッキングを伴うバーチャルリアリティ及びミックスドリアリティ用ヘッドマウントディスプレイ | |
KR101342257B1 (ko) | 모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체 | |
EP2078419B1 (en) | Segment tracking in motion picture | |
CN111060023A (zh) | 一种高精度3d信息采集的设备及方法 | |
CN108257177A (zh) | 基于空间标识的定位系统与方法 | |
CN109285214A (zh) | 三维模型的处理方法、装置、电子设备及可读存储介质 | |
JP5362357B2 (ja) | 顔の動きのデータの撮影及び処理 | |
US7764283B2 (en) | Eye movement data replacement in motion capture | |
CN101573959A (zh) | 运动图片中的片段跟踪 | |
Plopski et al. | Tracking systems: Calibration, hardware, and peripherals | |
CN116012907A (zh) | 一种面部动作捕捉的标记点追踪系统 | |
AU2012203097A1 (en) | Segment tracking in motion picture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130306 Termination date: 20210828 |