CN113365037B - 特征表面投影系统及特征表面的投影方法 - Google Patents

特征表面投影系统及特征表面的投影方法 Download PDF

Info

Publication number
CN113365037B
CN113365037B CN202010149709.3A CN202010149709A CN113365037B CN 113365037 B CN113365037 B CN 113365037B CN 202010149709 A CN202010149709 A CN 202010149709A CN 113365037 B CN113365037 B CN 113365037B
Authority
CN
China
Prior art keywords
feature
image
point position
characteristic
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010149709.3A
Other languages
English (en)
Other versions
CN113365037A (zh
Inventor
陈家典
钟文杰
陈弘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN202010149709.3A priority Critical patent/CN113365037B/zh
Priority to TW109110224A priority patent/TWI719867B/zh
Priority to US17/191,596 priority patent/US11842568B2/en
Priority to JP2021034021A priority patent/JP2021140155A/ja
Publication of CN113365037A publication Critical patent/CN113365037A/zh
Application granted granted Critical
Publication of CN113365037B publication Critical patent/CN113365037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176—Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

一种特征表面投影系统，包括投影机、相机及控制器。投影机用于在不同时间分别投射出结构光与影像光束至特征表面，其中结构光在特征表面上形成结构光图案，且影像光束在特征表面形成影像。相机用于在不同时间分别拍摄结构光图案与影像。控制器电连接至投影机与相机，用于根据结构光图案计算出特征表面的特征点位置，且用于通过判断影像的特征点位置与特征表面的特征点位置的差异，来决定是否对影像光束进行调整。一种特征表面的投影方法也被提出。上述的特征表面投影系统具有投影内容与特征表面之间的自动对位功能。

Description

特征表面投影系统及特征表面的投影方法
【技术领域】
本发明是有关于一种投影系统，且特别是有关于一种特征表面投影系统。
【背景技术】
近几年来投影机广泛的运用在脸部投影，如服务型机器人的动态表情、电影数字彩妆、人脸艺术创作等。使用投射内容的方式大幅增加了应用端的扩展性，可以产生动态的表情，增加互动性、简化试妆程序、也可以用来做为艺术创作和演唱表演。
脸部投影的原理为使用投影机投射内容在人脸或面罩上，其可分为前投影和背投影两种方式，以屏幕为界线，观测者和投影机在同一侧为前投影，不同侧为背投影。
在这样的应用中，投射出的内容需精确映像到实体人脸或面罩，投影机和人脸或面罩的相对位置变得相当重要。在前投影的应用中，如果人脸移动或人体有位置变换，则需要重新再调整投影模块位置，否则无法达到动态映像的效果。而不管前投影或背投影的应用中，都需要调整机制，使得投影内容精确映像至人脸或面罩。然而，这样的调整费时，且当人体和面罩移动时，需要重新调整，无法实现自动对位的功能。
【发明内容】
本发明提供一种特征表面投影系统，其具有投影内容与特征表面之间的自动对位功能。
本发明提供一种特征表面的投影方法，其能够使投影内容与特征表面对位。
本发明的一实施例提出一种特征表面投影系统，包括投影机、相机及控制器。投影机用于在不同时间分别投射出结构光与影像光束至特征表面，其中结构光在特征表面上形成结构光图案，且影像光束在特征表面形成影像。相机用于在不同时间分别拍摄结构光图案与影像。控制器电连接至投影机与相机，用于根据结构光图案计算出特征表面的特征点位置，且用于通过判断影像的特征点位置与特征表面的特征点位置的差异，来决定是否对影像光束进行调整，其中当控制器判断影像的特征点位置与特征表面的特征点位置的差异落于预设范围内时，且控制器不调整投影机与特征表面的相对位置或方位以后，投影机就停止投射结构光但继续投射影像光束，且相机停止拍摄。
本发明的一实施例提出一种特征表面的投影方法，包括：通过投影机在不同时间分别投射出结构光与影像光束至特征表面，其中结构光在特征表面上形成结构光图案，且影像光束在特征表面形成影像；通过相机在不同时间分别拍摄结构光图案与影像；根据结构光图案计算出特征表面的特征点位置；以及通过判断影像的特征点位置与特征表面的特征点位置的差异，来决定是否对影像光束进行调整，其中当影像的特征点位置与特征表面的特征点位置的差异落于预设范围内时，且不调整投影机与特征表面的相对位置或方位以后，停止投射结构光但继续投射影像光束，且停止拍摄。
在本发明的实施例的特征表面投影系统与特征表面的投影方法中，由于在不同时间分别投射结构光与影像光束至特征表面，且在不同时间分别拍摄结构光图案与影像，因此可以实现投影内容与特征表面之间的对位，进而提升投影影像的正确性与视觉效果。
【附图说明】
图1为本发明的一实施例的特征表面投影系统的示意图。
图2为本发明的另一实施例的特征表面投影系统的示意图。
图3为图1或图2中结构光为红外光的情况下的投影机的光路示意图。
图4为图3中的发光元件的驱动信号示意图。
图5示出了本发明的一实施例的特征表面的投影方法的流程细节。
图6示出了本发明的另一实施例的特征表面的投影方法的流程细节。
【符号说明】
50:特征表面
52:鼻尖
100、100a:特征表面投影系统
110:相机
120:控制器
130:致动器
200:投影机
201:结构光
202:影像光束
212、214、216、218:发光元件
213:红光
215:绿光
217:蓝光
219:红外光
222、224、226:分色镜
230、240:透镜
250:全内反射棱镜
260:光阀
270:投影镜头
S111、S112、S113、S114、S115、S116、S117、S120、S130、S141、S142、S143:步骤
T1、T2:时段。
【具体实施方式】
图1为本发明的一实施例的特征表面投影系统的示意图。请参照图1，本实施例的特征表面投影系统100包括一投影机200、一相机110及一控制器120。投影机200用于在不同时间分别投射出一结构光201与一影像光束202至一特征表面50，其中结构光201在特征表面50上形成结构光图案，且影像光束202在特征表面50上形成影像。也就是说，在一实施例中，投影机200先投射结构光201至特征表面50，之后再投射影像光束202至特征表面50。在本实施例中，特征表面50例如是面罩的表面，也就是人脸形状的壳体的表面，但不以此为限。在其他实施例中，任何非平面的表面皆可以为特征表面50。当结构光201投射于一平坦表面时，例如是在此平坦表面上形成数组点图案、格子状图案、条纹状图案或其他各种可能的图案。而当结构光201投射于非平坦的特征表面50上时，数组点图案、格子状图案、条纹状图案或其他各种可能的图案则会因为特征表面50的凹凸起伏而产生变形，而此变形的量与方向则可被用来计算出特征表面50上的位置的三维坐标。另一方面，影像光束202在特征表面50形成的影像则是欲让观看者观赏到的影像，其包含了欲显示的内容。
相机110用于在不同时间内分别拍摄结构光图案与影像光束202在特征表面50形成的影像。也就是说投射结构光后再拍摄结构光图案，之后投射影像光束202后再拍摄影像光束202所形成的影像。控制器120电连接至投影机200与相机110，控制器120用于根据结构光图案计算出特征表面50的特征点位置，且用于通过判断影像光束202在特征表面50形成的影像的特征点位置与特征表面的特征点位置的差异，来决定是否对影像光束进行调整。所谓调整，在此技术领域的人员可以清楚地知道，例如是改变影像的呈现形状(Shape)或尺寸(Size)。
在本实施例中，当控制器120判断影像的特征点位置与特征表面50的特征点位置的差异超过一预设范围时(例如大于某一预设距离值，或者大于等于某一预设距离值时。举例而言，预设距离值可为1(cm)，但不以此为限)，控制器120通过一致动器130调整投影机200与特征表面50的相对位置或方位(投射的方向)，以缩小影像的特征点位置与特征表面50的特征点位置之间的差异。举例而言，致动器130可以调整投影机200的位置。然而，当控制器120判断影像的特征点位置与特征表面50的特征点位置的差异落于预设范围内时(例如小于等于某一距离值，或者小于某一距离值时。举例而言，预设距离值可为1(cm)，但不以此为限)，控制器120不调整投影机200与特征表面50的相对位置或方位。
在本实施例中，特征表面50与影像的特征点包括鼻尖52、眼角、嘴角、耳垂的至少其中之一。举例而言，控制器120先利用中心特征点决定特征表面50的位置，再利用对称特征点决定特征表面50的方位，其中中心特征点包括鼻尖52，对称特征点包括眼角、嘴角或耳垂。
在本实施例中，投影机200与相机110配置于面罩的内部，例如是配置于具有特征表面50的人工头壳内。也就是说，结构光201与影像光束202朝面罩的内表面投射，且相机110朝面罩的内表面拍摄。特征表面50为透光材质，可让在特征表面50的外部观看者观看到影像光束202所呈现的影像。当控制器120判断影像的特征点位置与特征表面50的特征点位置的差异落于预设范围内时，且控制器120不调整投影机200与特征表面50的相对位置或方位以后，投影机200就停止投射结构光201但继续投射影像光束202，且相机110停止拍摄。在此情形下，结构光201可为可见光，因为一旦控制器120判断影像的特征点位置与特征表面50的特征点位置的差异落于预设范围内时，也就是控制器120判断对位完成时，结构光201就可以不必再投射，而观赏者可以观看影像，而不会再看到结构光图案。此外，由于投影机200与相机110是固定于人工头壳内，因此一旦对位完成时，投影机200与特征表面50之间的相对位置便不会再改变，而无需不断地重复校正。然而，在另一实施例中，结构光201也可以是不可见光或红外光。
在本实施例中，结构光201与影像光束202的投射范围大于特征表面50的面积范围，如此有助于当投影机200与特征表面50之间的对位不良时，还能够良好且有效率地校正。
在另一实施例中，也可以不采用致动器130来校正投影机200与特征表面50之间的相对位置，而是可以通过控制器120借由投影机200内的软件程序(software)来调整影像的内容，也就是直接改变影像中的特征点在此影像中的位置，以使影像的特征点位置对准特征表面50的特征点位置。也就是说，当控制器120判断影像的特征点位置与特征表面50的特征点位置的差异超过预设范围时，控制器120通过投影机200调整影像的内容，以缩小影像的特征点位置与特征表面50的特征点位置之间的差异，且当控制器120判断影像的特征点位置与特征表面50的特征点位置的差异落于预设范围内时，控制器不调整影像的内容。
图2为本发明的另一实施例的特征表面投影系统的示意图。请参照图2，本实施例的特征表面投影系统100a类似图1的特征表面投影系统100而两者的差异在于投影机200与相机110是配置于人脸或面罩的外部，其中特征表面50为人脸的表面或面罩的表面。也就是说，在一实施例中，结构光201与影像光束202朝人脸的外表面投射，且相机110朝人脸的外表面拍摄。
此外，在本实施例中，投影机200反复交替投射出结构光201与影像光束202，相机110持续交替拍摄结构光图案与影像，且控制器120持续判断是否对影像光束202进行调整，以随着人脸的动态移动而保持在人脸投射出正确的影像。上述对影像光束202进行调整可以是通过致动器130来调整投影机200的位置与方位，以改变影像光束202的投射位置与方位，或者也可以是利用控制器120通过投影机200来调整影像的内容，以使影像的特征点位置对准特征表面50的特征点位置。如此一来，即使人体或人脸不断地改变位置，投影机200都能够在人脸投影出正确的影像在人脸上。此外，在此种情况下，结构光201可以是红外光，如此即便结构光201被反复地投射于特征表面50，观赏者都会看到影像而不会看到结构光图案。
图3为图1或图2中结构光为红外光的情况下的投影机的光路示意图，而图4为图3中的发光元件的驱动信号示意图。请参照图3与图4，投影装置200可包括多种不同发光波长的发光元件212、214、216及218、多个分色镜(dichroic mirror)222、224及226，多个透镜230及240，至少一光阀260及一投影镜头270。在本实施例中，发光元件212、214、216及218例如是红光发光二极管(light-emitting diode,LED)、绿光发光二极管、蓝光发光二极管及红外光发光二极管，而分色镜222、224及226将发光元件212、214、216及218所发出的红光213、绿光215、蓝光217及红外光219合并，并通过多个透镜240的均匀、传递与会聚作用而会聚于至少一光阀260上。此外，多个透镜230将红光213、绿光215、蓝光217及红外光219传递至分色镜222、224及226上。在其他实施例中，发光元件212、214、216及218可以使用产生不同色光的激光光源(laser light sources)所取代。
在本实施例中，发光元件212、214、216及218依时序发出红光213、绿光215、蓝光217及红外光219，而光阀260依序将红光213、绿光215、蓝光217及红外光219转换成红色影像光束、绿色影像光束、蓝色影像光束及结构光201，并通过投影镜头270将红色影像光束、绿色影像光束、蓝色影像光束及结构光201投射于特征表面50，其中红色影像光束、绿色影像光束及蓝色影像光束可以在时间轴上叠合成影像光束202，而在特征表面50形成彩色影像。
此外，投影机200可以还包括全内反射棱镜(total internal reflection prism,TIR prism)250，其使红光213、绿光215、蓝光217及红外光219传递至光阀260，且使来自光阀260的红色影像光束、绿色影像光束、蓝色影像光束及结构光201传递至投影镜头270。然而，在其他实施例中，也可以采用视场透镜(field lens)或反射镜来取代全内反射棱镜250。此外，在本实施例中，光阀260例如为数字微镜组件(digital micro-mirror device,DMD)。然而，在其他实施例中，光阀260也可以是硅基液晶面板(liquid-crystal-on-silicon panel,LCOS panel)或穿透式液晶面板，不以此为限。
从图4可知，在时段T1中，电流依序驱动发光元件212、214及216，以使发光元件212、214及216依序发出红光213、绿光215及蓝光217，而在时段T2中，电流驱动发光元件218，以使发光元件218发出红外光219。而时段T1与时段T2可不断交替反复地进行。
上述实施例的特征表面投影系统100可用执行特征表面的投影方法，其包括下列步骤：
1.在不同时间分别投射出结构光201与影像光束202至特征表面50，其中结构光201在特征表面上形成结构光图案，且影像光束202在特征表面形成影像；
2.在不同时间分别拍摄结构光图案与影像；
3.根据结构光图案计算出特征表面50的特征点位置；
4.通过判断影像的特征点位置与特征表面50的特征点位置的差异，来决定是否对影像光束202进行调整。
而详细的细节，可以采用如图5或图6的流程来执行。图5的流程可适用于图1的特征表面投影系统100，其包括下列步骤。首先，执行步骤S111，投射结构光201，以使结构光201照射于特征表面50。接着，执行步骤S112，以相机110拍摄结构光图案。然后，执行步骤S113，控制器120依据结构光图案计算出特征表面50的特征点位置。之后，执行步骤S114，投射影像光束202，以使影像光束202投射于特征表面50，以在特征表面50上形成影像。然后，执行步骤S115，以相机110拍摄影像。接续，执行步骤S116，控制器120判断影像的特征点位置，且计算出影像的特征点位置与特征表面50的特征点位置的差距。之后，执行步骤S117，控制器120判断上述差距是否超出预设范围，若为否，则结束调整(步骤S130)，若为是，则启动致动器130以调整投影机200与特征表面50的相对位置或方位，或以软件调整影像的内容，并回到步骤S111以形成循环，并继续执行步骤S111以后的步骤。
图6的流程可适用于图2的特征表面投影系统100a，其与图5的流程类似，而两者的主要差异如下所述。在图6的流程当中，当在步骤S117判断为否时，执行步骤S141，投射结构光201，以在特征表面50上投射出结构光图案。接着，执行步骤S142，以相机拍摄结构光图案。然后，执行步骤S143，依据结构光图案计算出特征表面50的特征点位置，并计算出先前影像的特征点位置与特征表面50的特征点位置的差距，然后再回到步骤S117以形成循环。如此一来，便可随着人脸或面罩的动态移动，而不断地校正，以使投影于人脸或面罩上的影像保持正确。
在一实施例中，上述控制器120例如为中央处理单元(central processing unit,CPU)、微处理器(microprocessor)、数字信号处理器(digital signal processor,DSP)、可编程控制器、可编程逻辑器件(programmable logic device,PLD)或其他类似装置或这些装置的组合，本发明并不加以限制。此外，在一实施例中，控制器120的各功能可通过多个程序代码实现。这些程序代码会被储存在一个存储器中，由控制器120来执行这些程序代码。或者，在一实施例中，控制器120的各功能可通过一或多个电路实现。本发明并不限制用软件或硬件的方式来实现控制器120的各功能。另外，图5与图6的流程中的各步骤的执行，皆可利用控制器120来控制。
综上所述，在本发明的实施例的特征表面投影系统与特征表面的投影方法中，由于在不同时间分别投射结构光与影像光束至特征表面，且在不同时间分别拍摄结构光图案与影像，因此可以实现投影内容与特征表面之间的对位，进而提升投影影像的正确性与视觉效果。
以上所述，仅为本发明的优选实施例而已，不能以此限定本发明实施的范围，即所有依本发明权利要求书及说明书内容所作的简单的等效变化与修改，皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或权利要求不须达到本发明所公开的全部目的或优点或特点。此外，说明书摘要和发明名称仅是用来辅助专利文献检索之用，并非用来限制本发明的权利范围。此外，本说明书或权利要求书中提及的“第一”、“第二”等用语仅用于命名元件(element)的名称或区别不同实施例或范围，而并非用来限制元件数量上的上限或下限。

Claims (19)

1.一种特征表面投影系统，其特征在于，所述特征表面投影系统包括投影机、相机和控制器，其中，
所述投影机用于在不同时间分别投射出结构光与影像光束至特征表面，其中所述结构光在所述特征表面上形成结构光图案，且所述影像光束在所述特征表面形成影像；
所述相机用于在不同时间分别拍摄所述结构光图案与所述影像；以及
所述控制器电连接至所述投影机与所述相机，用于根据所述结构光图案计算出所述特征表面的特征点位置，且用于通过判断所述影像的特征点位置与所述特征表面的所述特征点位置的差异，来决定是否对所述影像光束进行调整，其中当所述控制器判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异落于预设范围内时，且所述控制器不调整所述投影机与所述特征表面的相对位置或方位以后，所述投影机就停止投射所述结构光但继续投射所述影像光束，且所述相机停止拍摄。
2.根据权利要求1所述的特征表面投影系统，其特征在于，当所述控制器判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异超过所述预设范围时，所述控制器通过所述投影机调整所述影像的内容，以缩小所述影像的所述特征点位置与所述特征表面的所述特征点位置之间的差异，且当所述控制器判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异落于所述预设范围内时，所述控制器不调整所述影像的内容。
3.根据权利要求1所述的特征表面投影系统，其特征在于，当所述控制器判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异超过所述预设范围时，所述控制器通过致动器调整所述投影机与所述特征表面的相对位置或方位，以缩小所述影像的所述特征点位置与所述特征表面的所述特征点位置之间的差异。
4.根据权利要求1所述的特征表面投影系统，其特征在于，所述特征表面为人脸或面罩的表面，而所述特征表面与所述影像的特征点包括鼻尖、眼角、嘴角、耳垂的至少其中之一。
5.根据权利要求1所述的特征表面投影系统，其特征在于，所述特征表面为人脸或面罩的表面，所述控制器先利用中心特征点决定所述特征表面的位置，再利用对称特征点决定所述特征表面的方位，其中所述中心特征点包括鼻尖，所述对称特征点包括眼角、嘴角或耳垂。
6.根据权利要求1所述的特征表面投影系统，其特征在于，所述结构光与所述影像光束的投射范围大于所述特征表面的范围。
7.根据权利要求1所述的特征表面投影系统，其特征在于，所述结构光为红外光。
8.根据权利要求1所述的特征表面投影系统，其特征在于，所述结构光为可见光。
9.根据权利要求1所述的特征表面投影系统，其特征在于，所述特征表面为人脸的表面，且所述投影机与所述相机配置于所述人脸的外部。
10.根据权利要求9所述的特征表面投影系统，其特征在于，所述投影机反复交替投射出所述结构光与所述影像光束，所述相机持续交替拍摄所述结构光图案与所述影像，且所述控制器持续判断是否对影像光束进行调整，以随着人脸的动态移动而保持在人脸投射出正确的影像。
11.根据权利要求1所述的特征表面投影系统，其特征在于，所述特征表面为面罩的表面，且所述投影机与所述相机配置于所述面罩的内部。
12.一种特征表面的投影方法，用于投射于特征表面上，其特征在于，所述投影方法包括：
通过投影机在不同时间分别投射出结构光与影像光束至所述特征表面，其中所述结构光在所述特征表面上形成结构光图案，且所述影像光束在所述特征表面形成影像；
通过相机在不同时间分别拍摄所述结构光图案与所述影像；
根据所述结构光图案计算出所述特征表面的特征点位置；以及
通过判断所述影像的特征点位置与所述特征表面的所述特征点位置的差异，来决定是否对所述影像光束进行调整，其中当所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异落于预设范围内时，且不调整所述投影机与所述特征表面的相对位置或方位以后，停止投射所述结构光但继续投射所述影像光束，且停止拍摄。
13.根据权利要求12所述的特征表面的投影方法，其特征在于，当判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异超过所述预设范围时，调整所述影像的内容，以缩小所述影像的所述特征点位置与所述特征表面的所述特征点位置之间的差异，且当判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异落于所述预设范围内时，不调整所述影像的内容。
14.根据权利要求12所述的特征表面的投影方法，其特征在于，当判断所述影像的所述特征点位置与所述特征表面的所述特征点位置的差异超过预设范围时，通过致动器调整投射出所述结构光与所述影像光束的所述投影机与所述特征表面的相对位置或方位，以缩小所述影像的所述特征点位置与所述特征表面的所述特征点位置之间的差异。
15.根据权利要求12所述的特征表面的投影方法，其特征在于，所述特征表面为人脸或面罩的表面，而所述特征表面与所述影像的特征点包括鼻尖、眼角、嘴角、耳垂的至少其中之一。
16.根据权利要求12所述的特征表面的投影方法，其特征在于，所述特征表面为人脸或面罩的表面，且根据所述结构光图案计算出所述特征表面的特征点位置的步骤包括：
先利用中心特征点决定所述特征表面的位置，再利用对称特征点决定所述特征表面的方位，其中所述中心特征点包括鼻尖，所述对称特征点包括眼角、嘴角或耳垂。
17.根据权利要求12所述的特征表面的投影方法，其特征在于，所述结构光与所述影像光束的投射范围大于所述特征表面的范围。
18.根据权利要求12所述的特征表面的投影方法，其特征在于，所述特征表面为人脸的表面，所述结构光与所述影像光束朝所述人脸的外表面投射，且所述相机朝所述人脸的所述外表面拍摄。
19.根据权利要求12所述的特征表面的投影方法，其特征在于，所述特征表面为面罩的表面，所述结构光与所述影像光束朝所述面罩的内表面投射，且所述相机朝所述面罩的所述内表面拍摄。
CN202010149709.3A 2020-03-06 2020-03-06 特征表面投影系统及特征表面的投影方法 Active CN113365037B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010149709.3A CN113365037B (zh) 2020-03-06 2020-03-06 特征表面投影系统及特征表面的投影方法
TW109110224A TWI719867B (zh) 2020-03-06 2020-03-26 特徵表面投影系統及特徵表面的投影方法
US17/191,596 US11842568B2 (en) 2020-03-06 2021-03-03 Feature surface projection system and projection method for feature surface
JP2021034021A JP2021140155A (ja) 2020-03-06 2021-03-04 特徴表面投影システム及び特徴表面の投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149709.3A CN113365037B (zh) 2020-03-06 2020-03-06 特征表面投影系统及特征表面的投影方法

Publications (2)

Publication Number Publication Date
CN113365037A CN113365037A (zh) 2021-09-07
CN113365037B true CN113365037B (zh) 2023-05-23

Family

ID=75745929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149709.3A Active CN113365037B (zh) 2020-03-06 2020-03-06 特征表面投影系统及特征表面的投影方法

Country Status (4)

Country Link
US (1) US11842568B2 (zh)
JP (1) JP2021140155A (zh)
CN (1) CN113365037B (zh)
TW (1) TWI719867B (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
TWI398719B (zh) * 2007-04-11 2013-06-11 Bascule Dev Ag Llc 無色輪投影模組
JP2008287157A (ja) * 2007-05-21 2008-11-27 Fuji Xerox Co Ltd 画像投影装置
CN101464745B (zh) * 2007-12-17 2012-07-18 北京汇冠新技术股份有限公司 一种背投光源式触摸识别装置及其触摸识别方法
US8256904B2 (en) * 2008-05-23 2012-09-04 Disney Enterprises, Inc. Rear projected expressive head
JP5471830B2 (ja) * 2010-05-25 2014-04-16 セイコーエプソン株式会社 光変調装置の位置調整方法、光変調装置の位置調整量算出装置、及びプロジェクター
US9509924B2 (en) * 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
KR20130054868A (ko) * 2011-11-17 2013-05-27 한국전자통신연구원 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법
US9261759B1 (en) * 2012-08-31 2016-02-16 Amazon Technologies, Inc. Aspect corrected laser video projection
CN103020954B (zh) * 2012-10-31 2015-04-29 长春理工大学 面向非规则表面的自适应投影系统
CN203070268U (zh) * 2013-01-28 2013-07-17 中国科学技术大学 一种基于激光投影的触摸屏人机交互系统
US9047514B2 (en) * 2013-07-10 2015-06-02 Christie Digital Systems Usa, Inc. Apparatus, system and method for projecting images onto predefined portions of objects
US9049369B2 (en) * 2013-07-10 2015-06-02 Christie Digital Systems Usa, Inc. Apparatus, system and method for projecting images onto predefined portions of objects
FR3012227B1 (fr) * 2013-10-21 2016-03-04 Frederic Delaunay Avatar robotique de tete a videoprojection
US9300901B2 (en) * 2013-12-04 2016-03-29 Disney Enterprises, Inc. Augmenting physical appearance using illumination
US9810975B2 (en) * 2015-02-11 2017-11-07 University Of Denver Rear-projected life-like robotic head
US11707101B2 (en) * 2015-05-19 2023-07-25 Boaz FRINGERO Advertizing apparatus
US9560326B2 (en) * 2015-06-25 2017-01-31 Intel Corporation Technologies for projecting a proportionally corrected image
US20170329139A1 (en) * 2016-02-26 2017-11-16 Fusar Technologies, Inc. Method and notch reflector projection system
US20180299972A1 (en) * 2016-03-29 2018-10-18 Saito Inventive Corp. Input device and image display system
US10236091B2 (en) * 2016-07-14 2019-03-19 Carestream Health, Inc. Backscatter shields and methods of shielding
US9940753B1 (en) 2016-10-11 2018-04-10 Disney Enterprises, Inc. Real time surface augmentation using projected light
US10755145B2 (en) * 2017-07-07 2020-08-25 Carnegie Mellon University 3D spatial transformer network
US11301655B2 (en) * 2017-12-15 2022-04-12 Cognex Corporation Vision imaging system having a camera and dual aimer assemblies
CN111279390B (zh) * 2018-02-06 2023-11-07 惠普发展公司，有限责任合伙企业 用于构建用户面部图像的装置和方法以及介质
US11279041B2 (en) * 2018-10-12 2022-03-22 Dream Face Technologies, Inc. Socially assistive robot
US11069135B2 (en) * 2019-03-07 2021-07-20 Lucasfilm Entertainment Company Ltd. On-set facial performance capture and transfer to a three-dimensional computer-generated model
US11163985B2 (en) * 2020-01-24 2021-11-02 Visa International Service Association Evaluating the security of a facial recognition system using light projections

Also Published As

Publication number Publication date
US11842568B2 (en) 2023-12-12
CN113365037A (zh) 2021-09-07
US20210279448A1 (en) 2021-09-09
JP2021140155A (ja) 2021-09-16
TW202134773A (zh) 2021-09-16
TWI719867B (zh) 2021-02-21

Similar Documents

Publication Publication Date Title
US11733524B1 (en) Depth camera assembly based on near infra-red illuminator
JP6550716B2 (ja) ヘッドアップディスプレイ装置
US6856341B2 (en) Viewpoint detecting apparatus, viewpoint detecting method, and three-dimensional image display system
US11611197B2 (en) Addressable vertical cavity surface emitting laser array for generating structured light patterns
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
US11841510B1 (en) Scene camera
US10105049B2 (en) Methods and apparatus for anterior segment ocular imaging
US10809446B2 (en) Offsetting non-uniform brightness in a backlit display assembly via a spatial distribution of light extraction features
CN113365037B (zh) 特征表面投影系统及特征表面的投影方法
US20180267601A1 (en) Light Projection for Guiding a User within a Physical User Area During Virtual Reality Operations
US10416445B1 (en) Lenses with consistent distortion profile
TWM547127U (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
US11025871B1 (en) Driving scanning projector display with pulses shorter than pixel duration
US20190049722A1 (en) Head-mounted display apparatus
US11914764B2 (en) Head mounted display device
TWI634869B (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
KR20180134256A (ko) 영상 투사 장치
US11709364B1 (en) Addressable crossed line projector for depth camera assembly
CN117980796A (zh) 产生用于眼动追踪的闪烁和虹膜照明的技术
TWM606087U (zh) 擴增實境眼鏡
WO2023167888A1 (en) Addressable projector for dot based direct time of flight depth sensing
KR20210070799A (ko) 디스플레이 장치
TW202036081A (zh) 近眼顯示裝置
TWM575869U (zh) Retinal scan imaging device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant