CN110784691A - 投影装置、投影系统及影像校正方法 - Google Patents

投影装置、投影系统及影像校正方法 Download PDF

Info

Publication number
CN110784691A
CN110784691A CN201810856321.XA CN201810856321A CN110784691A CN 110784691 A CN110784691 A CN 110784691A CN 201810856321 A CN201810856321 A CN 201810856321A CN 110784691 A CN110784691 A CN 110784691A
Authority
CN
China
Prior art keywords
feature points
projection
image
distorted
processor circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810856321.XA
Other languages
English (en)
Other versions
CN110784691B (zh
Inventor
萧佩琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN201810856321.XA priority Critical patent/CN110784691B/zh
Priority to TW107127980A priority patent/TWI703870B/zh
Priority to EP19188552.4A priority patent/EP3606060B1/en
Priority to US16/524,141 priority patent/US11323674B2/en
Publication of CN110784691A publication Critical patent/CN110784691A/zh
Application granted granted Critical
Publication of CN110784691B publication Critical patent/CN110784691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

一种投影装置，包括处理器电路。处理器电路依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点。处理器电路依据被扭曲的特征点将第一映射表转换为第二映射表。投影装置将校正图样投影至投影屏幕。校正图样包括第一特征点。处理器电路用于接收来自三维影像撷取装置撷取投影至投影屏幕的校正图样的影像，以取得第二特征点的坐标位置。处理器电路依据第二特征点的坐标位置计算观看者位置。处理器电路依据输入影像及第二映射表产生反扭曲影像。投影装置将反扭曲影像投影至投影屏幕。另外，一种投影系统及影像校正方法亦被提出。本发明可使得观看者可从投影屏幕上观看到无扭曲且无失真影像。

Description

投影装置、投影系统及影像校正方法
技术领域
本发明是有关于一种投影装置、投影系统及其影像校正方法，且特别是有关于一种用于曲面投影屏幕的投影装置、投影系统及其影像校正方法。
背景技术
投影机常见于家用娱乐与研讨会报告的应用，近年投影机还用于虚拟实境与光雕投影。任意不规则外形的表面都可以成为投影的画布，成为一种新的媒体艺术呈现方式。基本上，投影机的摆设必须使投影机的光轴中心垂直于投影表面，则所投放出来的影像才不会有扭曲现象。然而，如此就限制了投影机可摆放的位置，同时观看者的观看角度也被限制住了。为了改变投影机放置的位置，投影机的内部会添加反射镜片或利用影像处理晶片增加影像预先变形机制，通常这样的预先变形机制只有梯形校正，是假设被投影的表面是平面的。当被投影表面是任意曲面，譬如墙面不平整造成的稍微凹凸不平或是弯曲屏幕时，必须要因应不同几何结构的表面进行影像预先变形，才不致使投影后的影像扭曲失真。
“背景技术”部分只是用来帮助了解本发明内容，因此在“背景技术”部分所揭露的内容可能包含一些没有构成本领域技术人员所知道的已知技术。在“背景技术”部分所揭露的内容，不代表该内容或者本发明一个或多个实施例所要解决的问题，在本发明申请前已被本领域技术人员所知晓或认知。
发明内容
本发明提供一种投影装置、投影系统及影像校正方法，其观看者可从投影屏幕上观看到无扭曲且无失真影像。
本发明的其他目的和优点可以从本发明所揭露的技术特征中得到进一步的了解。
为达上述的一个或部分或全部目的或是其他目的，本发明的一实施例提出一种投影装置，包括处理器电路。处理器电路依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点。处理器电路依据被扭曲的特征点将第一映射表转换为第二映射表。投影装置将校正图样投影至投影屏幕。校正图样包括第一特征点。其中处理器电路用于接收来自三维影像撷取装置撷取投影至投影屏幕的校正图样的影像，以取得第二特征点的坐标位置。处理器电路依据第二特征点的坐标位置计算观看者位置。处理器电路依据输入影像及第二映射表产生反扭曲影像。投影装置将反扭曲影像投影至投影屏幕。
为达上述的一个或部分或全部目的或是其他目的，本发明的另一实施例提出一种影像校正方法。影像校正方法用于将反扭曲影像投影至投影屏幕的投影装置。所述影像校正方法包括：依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点，其中投影装置将校正图样投影至投影屏幕，以及校正图样包括第一特征点；利用三维影像撷取装置撷取投影至投影屏幕的校正图样的影像，以取得第二特征点的坐标位置；依据被扭曲的特征点将第一映射表转换为第二映射表；以及依据输入影像及第二映射表产生反扭曲影像，并且将反扭曲影像投影至投影屏幕。
为达上述的一个或部分或全部目的或是其他目的，本发明的另一实施例提出一种投影系统。投影系统用于投射影像至投影屏幕，投影系统包括投影装置及影像撷取装置。投影装置将校正图样投影至投影屏幕。投影装置依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点。投影装置依据被扭曲的特征点将第一映射表转换为第二映射表。校正图样包括第一特征点。三维影像撷取装置撷取投影至投影屏幕的校正图样的影像，以取得第二特征点的坐标位置。投影装置依据第二特征点的坐标位置计算观看者位置。投影装置依据输入影像及第二映射表产生反扭曲影像。投影装置将反扭曲影像投影至投影屏幕。
基于上述，本发明的实施例至少具有以下其中一个优点或功效。投影装置将反扭曲影像投影至投影屏幕以使观看者可从投影屏幕上观看到无失真影像。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1A绘示本发明一实施例的投影系统的概要示意图。
图1B及图1C绘示图1A的投影系统的输入影像及反扭曲影像的概要示意图。
图1D绘示本发明另一实施例的投影系统的概要示意图。
图2A、图2B及图2C分别绘示图1A实施例的三维影像撷取装置的不同组合的概要示意图。
图3A及图3B分别绘示本发明一实施例的校正图样及从校正图样上撷取的第一特征点的概要示意图。
图3C绘示图3A的校正图样投影至曲面投影屏幕的概要示意图。
图3D绘示本发明一实施例的虚拟平面上的第三特征点的概要示意图。
图4A、图4B及图4C绘示投影装置将反扭曲影像投影到曲面投影屏幕的概要示意图。
图5A绘示本发明另一实施例的投影系统的概要示意图。
图5B绘示图5A实施例的投影系统计算观看者位置的概要示意图。
图5C绘示校正图样及其上的第一特征点的概要示意图。
图5D绘示图5A实施例的投影系统计算出的虚拟平面上的第三特征点的概要示意图。
图6绘示本发明一实施例的影像校正方法的概要示意图。
图7绘示本发明一实施例的投影系统的示意图。
具体实施方式
有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图的一较佳实施例的详细说明中，将可清楚的呈现。以下实施例中所提到的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本发明。
投影机因应不同的投影表面所进行的影像校正统称为几何校正(geometrycalibration)。当投影屏幕与投影机的相对位置改变的时候，以及投影屏幕的几何形状改变的时候，投影机就需要重新进行校正，投影出预先扭曲影像(prewarp image)，才能使在投影屏幕上呈现的影像无扭曲失真。当屏幕是平面时，投影机画面在屏幕上呈现的是梯形或是满足透视变换的四边形，可利用四个对应的控制点计算单应性(homography)转换关系，即可产生预先扭曲影像。当屏幕的几何形状可以用确切的数学方程式描述时，例如球面、双凹曲面、柱面、平面，只要找出符合描述投影屏幕几何的数学式就可完全掌握几何表面的空间坐标。透过三维模拟方法来模拟投影机的每一像素所发出的光路投射到屏幕的表面，就能反算预先扭曲影像。当屏幕是任意曲面时，例如：墙面不平整造成的凹凸、墙面转角、帘幕、上述所有的几何表面，要产生预先扭曲影像，必须精准的掌握屏幕的几何表面。在现有技术中，对任意曲面的几何校正，都需要事先做相机校正或安装特殊光学感测元件，增加几何校正的流程的复杂度与系统架设安装时间的浪费。
在本发明的示范实施例中，投影装置的几何校正的流程简单，且可减少投影系统的架设、安装时间。投影装置将反扭曲影像投影至曲面投影屏幕以使观看者可从曲面投影屏幕上观看到无失真影像。以下例示至少一实施例，并配合附图作详细说明如下。
图1A绘示本发明一实施例的投影系统的概要示意图。图1B及图1C绘示图1A的投影系统的输入影像及反扭曲影像的概要示意图。本实施例的投影系统100包括投影装置110、曲面投影屏幕120及三维影像撷取装置130。投影装置110包括处理器电路112，用于执行影像校正，以产生反扭曲映射表W(第二映射表)。另外，投影装置110也可包括光学元件、电路元件及机构元件等其他实现投影影像功能的元件。投影装置110可从主机系统111接收输入影像610，并且处理器电路112依据反扭曲映射表W将所接收的输入影像610转换为反扭曲影像620。接着，投影装置110再将反扭曲影像620投影到曲面投影屏幕120上。因此，在观看者位置200，观看者(未绘示)可观看到在曲面投影屏幕120上无扭曲且无失真的投影影像。
在本实施例中，标号122是投影装置110在曲面投影屏幕120上的投影范围。标号124是经影像校正后投影装置110在曲面投影屏幕120上的投影范围。其中，在曲面投影屏幕120上，影像校正后的投影范围124小于未经过影像校正的投影范围122。曲面投影屏幕120例如包括平面、部分平面与部分曲面、曲面、凹面、球面或任意曲面等表面。任意曲面是指局部观看的所述任意曲面的几何表面是连续变化且满足欧几里德空间特性。所述任意曲面的几何表面也可称为流形(manifolds)，其整体的拓扑结构是柔软的，且从一个平面映射到所述任意曲面的拓扑结构不变。在本实施例中，投影装置110利用此特性将所接收的输入影像610作形变(deformation)，使得形变后的影像(即反扭曲影像620)投影到曲面投影屏幕120上时，从观看者位置200的角度能看到无扭曲且无失真的投影校正结果。
图1D绘示本发明另一实施例的投影系统的概要示意图。本实施例的投影系统100与图1A的投影系统差异在于本实施例的处理器电路112设置于三维影像撷取装置130中，用于执行影像校正，以产生反扭曲映射表W(第二映射表)，并传递至投影装置110，投影装置110具有储存装置(例如存储器)，将反扭曲映射表W储存于储存装置中。投影装置110可从主机系统111接收输入影像，并且投影装置110依据反扭曲映射表W将所接收的输入影像转换为反扭曲影像620。接着，投影装置110再将反扭曲影像620投影到曲面投影屏幕120上。因此，观看者200在其位置可观看到在曲面投影屏幕120上无扭曲且无失真的投影影像。
图2A、图2B及图2C分别绘示图1A实施例的三维影像撷取装置的不同组合的概要示意图。请参考图1A、图2A至图2C，在图2A的实施例中，三维影像撷取装置130可以是包括两台彩色相机的组合。在图2B的实施例中，三维影像撷取装置130可以是包括一台彩色相机及一台深度相机的组合。在图2C的实施例中，三维影像撷取装置130可以是包括一台彩色相机及一台投影机的组合。利用上述三种相机的组合，三维影像撷取装置130都可以执行立体影像撷取功能，以取得曲面投影屏幕120上的特征点(第二特征点)的空间坐标位置。利用上述三种相机的组合来执行立体影像撷取功能的方法可以由所属技术领域的通常知识获致足够的教示、建议与实施说明。
底下说明如何产生反扭曲映射表W(第二映射表)。
图3A及图3B分别绘示本发明一实施例的校正图样及从校正图样上撷取的第一特征点的概要示意图。图3C绘示图3A的校正图样投影至曲面投影屏幕的概要示意图。图3D绘示本发明一实施例的虚拟平面上的第三特征点的概要示意图。请参考图1A、图3A至图3D，在本实施例中，投影装置110可从外部(例如是主机系统111)接收或由内部产生校正图样P，其中校正图样P的解析度大小与投影装置110所要投射影像的投影解析度大小一致(简述为投影装置110的投影解析度大小一致)。处理器电路112从校正图样P取得多个第一特征点(u,v)，其系投影机坐标系，如图3B所示。在校正过程中，投影装置110的摆放不须限制位置与旋转角度，只要投影装置110的投射方向是需要朝向曲面投影屏幕120即可。投影装置110投射校正图样P到包括任意曲面的曲面投影屏幕120上。由于曲面投影屏幕120表面的起伏以及投影装置110的投影角度使得投射的影像会有扭曲变形，如图3C所示。在本实施例中，三维影像撷取装置130设置在观看者位置200以外的位置，可用于撷取扭曲的校正图样C的影像，以取得多个第二特征点的坐标位置，例如图1A中所示的第二特征点(xo,yo,zo)。值得一提的是，在图1D中，处理器电路112设置于三维影像撷取装置130中，三维影像撷取装置130可从外部(例如是主机系统111)接收或由内部产生第一校正图样P，其中第一校正图样P的解析度大小与投影装置110所要投射影像的投影解析度大小一致。三维影像撷取装置130传递第一校正图样P至投影装置110，投影装置110投射第一校正图样P到曲面投影屏幕120上。
在本实施例中，由于曲面投影屏幕120表面的起伏以及投影装置110的投影角度使得投射的影像会有扭曲变形，因此，在校正图样C上的第二特征点(xo,yo,zo)是在空间中分布的多个特征点，而利用三维影像撷取装置130可取得第二特征点(xo,yo,zo)实际在空间中分布的三维坐标位置。在本实施例中，处理器电路112接收三维影像撷取装置130提供的资讯，依据第二特征点(xo,yo,zo)的坐标位置计算观看者位置200。接着，处理器电路112依据第二特征点(xo,yo,zo)的坐标位置及观看者位置200，计算在观看者位置200的虚拟平面500上的多个第三特征点(x,y)，如图3D所示。虚拟平面500位在观看者位置200，第三特征点(x,y)分布在虚拟平面500上。而图3D所绘示的第三特征点(x,y)分布在虚拟平面500上的计算结果，如同在图1A的观看者位置200设置一个虚拟相机，并且以此虚拟相机撷取扭曲的校正图样C的影像，以取得第三特征点(x,y)的分布状况。在图1A的实施例中，观看者位置200上并未设置任何影像撷取装置。
在本实施例中，处理器电路112从校正图样P取得多个第一特征点(u,v)，其系投影机坐标系。其中每个特征点都不相同，每个特征点具有不同的图样。处理器电路112依据第一特征点(u,v)的排列方式取得最大外接四边形310。另一方面，处理器电路112依据第三特征点(x,y)的排列方式取得最大内接四边形320，如图3D所示。
接着，处理器电路112依据最大外接四边形310及最大内接四边形320产生相似矩阵S。最大外接四边形310及最大内接四边形320之间包括垂直与水平的缩放关系(sw,sh)与平移关系(tw,th)。由最大外接四边形310及最大内接四边形320的四个顶点坐标，即可解得相似矩阵S的四个未知数sw、sh、tw、th。因此，相似矩阵S能把相机坐标系的第二特征点(x,y)转换到投影机坐标系的特征点(s,t)，如下公式所示：
Figure BDA0001748626420000081
其中，3×3矩阵是相似矩阵S，特征点(s,t)代表了被扭曲后的特征点，而该扭曲是由于曲面投影屏幕120与投影装置110的投影角度所造成的。第一特征点(u,v)代表了观看者200期望的校正后的特征点。
在本实施例中，处理器电路112依据被扭曲的特征点(s,t)将第一映射表T转换为反扭曲映射表W(第二映射表)。在本实施例中，投影装置110从外部(主机系统111)接收第一映射表T。在其他本实施例中，如图1D中，三维影像撷取装置130从主机系统111接收第一映射表T。回到本实施例，第一映射表T是一个与投影装置110的投影解析度尺寸相同的二维矩阵，其中每个值代表每个像素要映射的位置，而第一映射表T是与原始影像(主机系统111提供的影像)排列一致的坐标位置。在本实施例中，处理器电路112将第一映射表T视为一张二维的影像，在第一映射表T上放置特征点(s,t)，利用影像形变方法，将被扭曲的特征点(s,t)往第一特征点(u,v)拉动，以对第一映射表T进行形变操作，从而产生反扭曲映射表W。反扭曲映射表W代表了使扭曲的特征点转正的过程，因此称之为「反扭曲」。在本实施例中，影像形变方法可由所属技术领域的任一种影像形变方法的步骤来加以实施，本发明并不加以限制。其详细步骤及其实施方式可以由所属技术领域的通常知识获致足够的教示、建议与实施说明。
图4A、图4B及图4C绘示投影装置将反扭曲影像投影到曲面投影屏幕的概要示意图。请参考图1A及图4A至图4C，在本实施例中，投影装置110接收输入影像410，经校正后，相当于被扭曲的特征点(s,t)分布在输入影像410上。应注意的是，被扭曲的特征点(s,t)实际上并不会显示在输入影像410上，图4A所绘示的特征点(s,t)仅是用于使本领域技术人员易于理解。在本实施例中，投影装置110的处理器电路112依据反扭曲映射表W产生反扭曲影像420，经校正后，相当于在反扭曲影像420上分布有第一特征点(u,v)。第一特征点(u,v)代表了观看者期望的校正后的特征点。应注意的是，第一特征点(u,v)实际上并不会显示在反扭曲影像420上，图4B所绘的第一特征点(u,v)仅是用于使本领域技术人员易于理解。投影装置110将反扭曲影像420投影至曲面投影屏幕120。从观看者位置200的角度能看到无扭曲且无失真的投影校正结果，即校正影像430。
在本实施例中，处理器电路112例如包括中央处理单元(Central ProcessingUnit，CPU)、微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、可编程逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，本发明并不加以限制。在本实施例中，三维影像撷取装置130例如包括摄相机(camera)、手机相机或照相相机等类似的装置，用于撷取三维影像，本发明并不加以限制。在本实施例中，储存装置例如是可移动随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。主机系统111例如是个人电脑、平板电脑或智能手机等电子装置，作为提供影像的影像源。
以下说明如何计算观看者位置及在观看者位置的虚拟平面上的多个第三特征点。
图5A绘示本发明另一实施例的投影系统的概要示意图。图5B绘示图5A实施例的投影系统计算观看者位置的概要示意图。图5C绘示校正图样及其上的第一特征点的概要示意图。图5D绘示图5A实施例的投影系统计算出的虚拟平面上的第三特征点的概要示意图。请参考图5A至图5D，投影装置110接收校正图样P，并且将校正图样P投影至曲面投影屏幕120。在本实施例中，曲面投影屏幕120是以球幕为例。在本实施例中，第一特征点(u,v)实际上并不会显示在校正图样P上，图5C所绘示的第一特征点(u,v)仅是用于使本领域技术人员易于理解。校正图样P为可辨识特征点的设计图样，并不限定于使用某一种特殊校正图样。
接着，三维影像撷取装置130对曲面投影屏幕120进行取像，此处三维影像撷取装置130是以图2A的两台彩色相机的组合为例。三维影像撷取装置130的位置作为世界坐标系的坐标原点，拍摄所得的第二特征点，其坐标位置可以(xo,yo,zo)来表示。第二特征点(xo,yo,zo)是分布在曲面投影屏幕120的几何表面上，如图5B所示。
在本实施例中，投影装置110接收三维影像撷取装置130提供的资讯，对第二特征点(xo,yo,zo)进行主成分分析(Principal Component Analysis，PCA)，再用一近似的平面方程式来描述这群第二特征点(xo,yo,zo)。具体作法是对这群第二特征点(xo,yo,zo)的共变异数矩阵(Covariance matrix)作特征(eigen)分解，可得到三组相互垂直的特征向量(eigenvectors)。最大两个特征值(eigenvalues)所对应的特征向量代表了最佳描述这群第二特征点的平面720，而最小特征值所对应的特征向量则代表此平面720的法向量710。法向量710可用(a,b,c)来表示，平面720可用平面方程式ax+by+cz+d＝0来表示。在本实施例中，假设平面720通过这群第二特征点(xo,yo,zo)已知的中心点(xm,ym,zm)。将中心点(xm,ym,zm)代入平面方程式ax+by+cz+d＝0，即可求得未知数d。利用上述计算方式，可得知法向量710为(a,b,c)以及平面720为ax+by+cz+d＝0。
在本实施例中，假设法向量710平行于虚拟相机光轴中心(观看者位置200)，以平面720即可决定虚拟相机在世界坐标系的方位。接着，再将第二特征点(xo,yo,zo)投影到虚拟相机上，即可得到第三特征点(x,y)。第三特征点(x,y)可依底下公式(1)、(2)来决定：
Figure BDA0001748626420000111
Figure BDA0001748626420000112
在公式(1)中，(xo,yo,zo)是第二特征点的在世界坐标系的坐标，R是将第二特征点从世界坐标系转换到相机坐标系的转换矩阵，T是将第二特征点从世界坐标系转换到相机坐标系的平移矩阵，(xc,yc,zc)是第二特征点的在相机坐标系的坐标。因此，经由公式(1)，第二特征点(xo,yo,zo)可从世界坐标系转换到相机坐标系，而得到相机坐标系的第二特征点(xc,yc,zc)。在本实施例中，平移矩阵T代表虚拟相机在世界坐标系的位置，例如平移矩阵T为平面720前方距离v处的位置，v为自订常数或者用人眼视角推估。在本实施例中，转换矩阵R可利用罗德里格(Rodrigues)旋转方程式计算，其计算方式可以由所属技术领域的通常知识获致足够的教示、建议与实施说明。
在公式(2)中，K为虚拟相机的内在3x3投影矩阵，其中的参数可由使用者自订，w为正规化参数。因此，经由公式(2)，相机坐标系的第二特征点(xc,yc,zc)可转换位在虚拟平面500上的第三特征点(x,y)，如图5D所示。其中，虚拟平面500位在虚拟相机的位置(观看者位置200)。
图6绘示本发明一实施例的影像校正方法的概要示意图。请参考图1A及图6，图6的影像校正方法例如用于图1A的投影系统100。投影装置110将反扭曲影像620投影至曲面投影屏幕120。在步骤S101中，利用三维影像撷取装置130撷取投影至曲面投影屏幕120的校正图样P的影像，以取得第二特征点(xo,yo,zo)的坐标位置。在步骤S100中，处理器电路112依据第一特征点(u,v)及第二特征点(xo,yo,zo)产生多个被扭曲的特征点(s,t)。在步骤S110中，处理器电路112依据被扭曲的特征点(s,t)将第一映射表T转换为第二映射表W。在步骤S120中，投影装置110依据输入影像610及第二映射表W产生反扭曲影像620，并且将反扭曲影像620投影至曲面投影屏幕120。因此，从观看者位置200可观看到无扭曲且无失真的校正影像。另外，本实施例的影像校正方法可由图1A至图5D实施例的叙述中获致足够的教示、建议与实施说明。
图7绘示本发明一实施例中投影系统的示意图。本实施例的投影系统100包括投影装置110(例如是投影机)、处理器电路112及三维影像撷取装置130。投影装置110连接处理器电路112，处理器电路112连接三维影像撷取装置130，三维影像撷取装置130连接投影装置110。值得一提的是，两两装置之间是以信号传递为连接关系，其中各装置之间可靠有线或无线的方式传递信号。处理器电路112物理上可设置于投影装置110中或者处理器电路112物理上可设置于三维影像撷取装置130中。在其他实施例中，投影系统100还可以包括主机系统111(如图1A)，处理器电路112也可设置于主机系统111中。本发明不加以限制处理器电路112设置的位置，处理器电路112也可以是单一装置。投影装置110与三维影像撷取装置130可例如是整合并封装为一台投影装置来实作，也可例如是分别以独立的装置来实作，本发明并不在此限制。
综上所述，本发明的实施例至少具有以下其中一个优点或功效。在本发明的实施例中，除了投影装置之外，投影系统利用三维影像撷取装置撷取一张投影装置投出的校正图样，以取得特征点。经过影像校正方法，投影装置即可产生预先扭曲的影像，几何校正流程简易且快速。投影装置可依据三维影像撷取装置取得的特征点计算出观看者位置。待校正完毕后，投影装置会产生反扭曲映射表。反扭曲映射表是针对曲面投影屏幕相对于投影装置的几何校正。投影装置利用反扭曲映射表来产生反扭曲影像并且投影在曲面投影屏幕上，在观看者位置所看到的影像即为无扭曲且无失真的校正结果。
惟以上所述者，仅为本发明的较佳实施例而已，当不能以此限定本发明实施的范围，即所有依本发明权利要求书及发明内容所作的简单的等效变化与修改，皆仍属本发明专利涵盖的范围内。另外本发明的任一实施例或权利要求不须达成本发明所揭露的全部目的或优点或特点。此外，摘要和发明名称仅是用来辅助专利文件检索之用，并非用来限制本发明的权利范围。此外，本说明书或权利要求书中提及的“第一”、“第二”等用语仅用于命名元件(element)的名称或区别不同实施例或范围，而并非用来限制元件数量上的上限或下限。
附图标记说明：
100：投影系统
110：投影装置
111：主机系统
112：处理器电路
120：曲面投影屏幕
122：投影装置的投影范围
124：经影像校正后的投影范围
130：三维影像撷取装置
200：观看者位置
310：最大外接四边形
320：最大内接四边形
410、610：输入影像
420、620：反扭曲影像
430：校正影像
500：虚拟平面
P、C：校正图样
(x,y)：第三特征点
(xo,yo,zo)：第二特征点
(u,v)：第一特征点
(s,t)：被扭曲的特征点
S 101、S100、S 110、S 120：方法步骤。

Claims (15)

1.一种投影装置，其特征在于，所述投影装置包括：
处理器电路，依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点，以及依据所述多个被扭曲的特征点将第一映射表转换为第二映射表，其中所述投影装置将校正图样投影至投影屏幕，所述校正图样包括所述多个第一特征点，其中所述处理器电路用于接收来自三维影像撷取装置撷取投影至所述投影屏幕的所述校正图样的影像，以取得所述多个第二特征点的坐标位置，以及所述处理器电路依据所述多个第二特征点的坐标位置计算观看者位置，所述处理器电路依据输入影像及所述第二映射表产生反扭曲影像，并且所述投影装置将所述反扭曲影像投影至所述投影屏幕。
2.如权利要求1所述的投影装置，其特征在于，所述三维影像撷取装置设置在所述投影屏幕前的所述观看者位置以外的位置。
3.如权利要求1所述的投影装置，其特征在于，所述处理器电路依据所述多个第二特征点的坐标位置及所述观看者位置，计算在所述观看者位置的虚拟平面上的多个第三特征点，其中所述处理器电路更依据所述多个第三特征点产生所述多个被扭曲的特征点。
4.如权利要求3所述的投影装置，其特征在于，所述处理器电路依据所述多个第一特征点以及所述多个第三特征点产生相似矩阵，以及所述处理器电路依据所述相似矩阵将所述多个第三特征点转换为所述多个被扭曲的特征点。
5.如权利要求4所述的投影装置，其特征在于，所述处理器电路依据所述多个第一特征点的排列方式取得最大外接四边形，所述处理器电路依据所述多个第三特征点的排列方式取得最大内接四边形，以及所述处理器电路依据所述最大外接四边形及所述最大内接四边形产生所述相似矩阵。
6.一种影像校正方法，其特征在于，用于投影装置将反扭曲影像投影至投影屏幕，所述影像校正方法包括：
依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点，其中所述投影装置将校正图样投影至所述投影屏幕，以及所述校正图样包括所述多个第一特征点；
利用三维影像撷取装置撷取投影至所述投影屏幕的所述校正图样的影像，以取得所述多个第二特征点的坐标位置；
依据所述多个被扭曲的特征点将第一映射表转换为第二映射表；以及
依据输入影像及所述第二映射表产生所述反扭曲影像，并且将所述反扭曲影像投影至所述投影屏幕。
7.如权利要求6所述的影像校正方法，其特征在于，还包括：
将所述三维影像撷取装置设置在所述投影屏幕前的所述观看者位置以外的位置。
8.如权利要求6所述的影像校正方法，其特征在于，依据所述多个第一特征点及所述多个第二特征点产生所述多个被扭曲的特征点的步骤包括：
依据所述多个第二特征点的坐标位置计算观看者位置；
依据所述多个第二特征点的坐标位置及所述观看者位置，计算在所述观看者位置的虚拟平面上的多个第三特征点；以及
依据所述多个第一特征点及所述多个第三特征点产生所述多个被扭曲的特征点。
9.如权利要求8所述的影像校正方法，其特征在于，依据所述多个第一特征点及所述多个第三特征点产生所述多个被扭曲的特征点的步骤包括：
依据所述多个第一特征点以及所述多个第三特征点产生相似矩阵；以及
依据所述相似矩阵将所述多个第三特征点转换为所述多个被扭曲的特征点。
10.如权利要求9所述的影像校正方法，其特征在于，依据所述多个第一特征点以及所述多个第三特征点产生所述相似矩阵的步骤包括：
依据所述多个第一特征点的排列方式取得最大外接四边形；
依据所述多个第三特征点的排列方式取得最大内接四边形；以及
依据所述最大外接四边形及所述最大内接四边形产生所述相似矩阵。
11.一种投影系统，其特征在于，其适用于投射影像至投影屏幕，所述投影系统包括投影装置以及三维影像撷取装置，其中：
所述投影装置将校正图样投影至所述投影屏幕，依据多个第一特征点及多个第二特征点产生多个被扭曲的特征点，以及依据所述多个被扭曲的特征点将第一映射表转换为第二映射表，其中所述校正图样包括所述多个第一特征点；以及
所述三维影像撷取装置撷取投影至所述投影屏幕的所述校正图样的影像，以取得所述多个第二特征点的坐标位置，
其中所述投影装置依据所述多个第二特征点的坐标位置计算观看者位置，并且依据输入影像及所述第二映射表产生反扭曲影像，以及所述投影装置将所述反扭曲影像投影至所述投影屏幕。
12.如权利要求11所述的投影系统，其特征在于，所述三维影像撷取装置设置在所述投影屏幕前的所述观看者位置以外的位置。
13.如权利要求11所述的投影系统，其特征在于，所述投影装置依据所述多个第二特征点的坐标位置及所述观看者位置，计算在所述观看者位置的虚拟平面上的多个第三特征点，其中所述投影装置更依据所述多个第三特征点产生所述多个被扭曲的特征点。
14.如权利要求13所述的投影系统，其特征在于，所述投影装置依据所述多个第一特征点以及所述多个第三特征点产生相似矩阵，以及所述投影装置依据所述相似矩阵将所述多个第三特征点转换为所述多个被扭曲的特征点。
15.如权利要求14所述的投影系统，其特征在于，所述投影装置依据所述多个第一特征点的排列方式取得最大外接四边形，所述投影装置依据所述多个第三特征点的排列方式取得最大内接四边形，以及所述投影装置依据所述最大外接四边形及所述最大内接四边形产生所述相似矩阵。
CN201810856321.XA 2018-07-31 2018-07-31 投影装置、投影系统及影像校正方法 Active CN110784691B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810856321.XA CN110784691B (zh) 2018-07-31 2018-07-31 投影装置、投影系统及影像校正方法
TW107127980A TWI703870B (zh) 2018-07-31 2018-08-10 投影裝置、投影系統及影像校正方法
EP19188552.4A EP3606060B1 (en) 2018-07-31 2019-07-26 Projection device, projection system and image correction method
US16/524,141 US11323674B2 (en) 2018-07-31 2019-07-28 Projection device, projection system and image correction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810856321.XA CN110784691B (zh) 2018-07-31 2018-07-31 投影装置、投影系统及影像校正方法

Publications (2)

Publication Number Publication Date
CN110784691A true CN110784691A (zh) 2020-02-11
CN110784691B CN110784691B (zh) 2022-02-18

Family

ID=67439055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810856321.XA Active CN110784691B (zh) 2018-07-31 2018-07-31 投影装置、投影系统及影像校正方法

Country Status (4)

Country Link
US (1) US11323674B2 (zh)
EP (1) EP3606060B1 (zh)
CN (1) CN110784691B (zh)
TW (1) TWI703870B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099198A (zh) * 2021-03-19 2021-07-09 深圳市火乐科技发展有限公司 投影图像调整方法、装置、存储介质及电子设备
CN114650402A (zh) * 2020-12-21 2022-06-21 成都极米科技股份有限公司 投影图像的调整曲线计算和调整方法、系统、装置及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11735078B2 (en) * 2019-06-06 2023-08-22 Sony Group Corporation Control device, control method, control program, and control system
US11153539B2 (en) * 2019-06-20 2021-10-19 Google Llc Methods and systems to pre-warp and image
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
CN111918045B (zh) * 2020-08-05 2021-09-17 华强方特(深圳)软件有限公司 用于多个投影机进行投影拼接校正的网格数据生成方法
CN112257705B (zh) * 2020-09-29 2024-05-31 全通金信控股(广东)有限公司 一种用于识别图片文字内容的方法
CN112734860B (zh) * 2021-01-15 2021-09-21 中国传媒大学 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
US20230316468A1 (en) * 2022-04-01 2023-10-05 Texas Instruments Incorporated Methods and apparatus for camera assisted geometric correction
US12086301B2 (en) 2022-06-01 2024-09-10 Sphere Entertainment Group, Llc System for multi-user collaboration within a virtual reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047285A1 (en) * 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for calibrating projector-camera system
CN102170544A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、显示系统及校正方法
US20130027599A1 (en) * 2011-07-28 2013-01-31 Aptos Technology Inc. Projection system and image processing method thereof
US20150254819A1 (en) * 2014-03-10 2015-09-10 Ricoh Company, Ltd. Projection image correcting apparatus, method for correcting image to be projected, and program
CN105554486A (zh) * 2015-12-22 2016-05-04 Tcl集团股份有限公司 一种投影校正方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3731663B2 (ja) 2002-12-04 2006-01-05 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
CA2464569A1 (en) 2003-04-16 2004-10-16 Universite De Montreal Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US8355601B2 (en) * 2010-01-15 2013-01-15 Seiko Epson Corporation Real-time geometry aware projection and fast re-calibration
CN103019643B (zh) 2012-12-30 2015-12-23 中国海洋大学 一种即插即用的大屏幕投影自动校正与拼接显示方法
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
KR101713875B1 (ko) * 2015-07-28 2017-03-09 주식회사 카이 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
US10425625B2 (en) * 2018-02-06 2019-09-24 The Boeing Company Projecting images and videos onto engineered curved surfaces

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047285A1 (en) * 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for calibrating projector-camera system
CN102170544A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、显示系统及校正方法
US20130027599A1 (en) * 2011-07-28 2013-01-31 Aptos Technology Inc. Projection system and image processing method thereof
US20150254819A1 (en) * 2014-03-10 2015-09-10 Ricoh Company, Ltd. Projection image correcting apparatus, method for correcting image to be projected, and program
CN105554486A (zh) * 2015-12-22 2016-05-04 Tcl集团股份有限公司 一种投影校正方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650402A (zh) * 2020-12-21 2022-06-21 成都极米科技股份有限公司 投影图像的调整曲线计算和调整方法、系统、装置及介质
CN113099198A (zh) * 2021-03-19 2021-07-09 深圳市火乐科技发展有限公司 投影图像调整方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP3606060A1 (en) 2020-02-05
US20200045275A1 (en) 2020-02-06
TW202008774A (zh) 2020-02-16
EP3606060B1 (en) 2024-01-10
US11323674B2 (en) 2022-05-03
CN110784691B (zh) 2022-02-18
TWI703870B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN110784691B (zh) 投影装置、投影系统及影像校正方法
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
KR20160116075A (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
WO2021031781A1 (zh) 投影图像校准方法、装置及投影设备
TW202030697A (zh) 電子裝置及恢復深度圖的方法
CN111694528B (zh) 显示墙的排版辨识方法以及使用此方法的电子装置
CN110784692B (zh) 投影装置、投影系统及影像校正方法
WO2020232971A1 (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
EP3606059B1 (en) Projector calibration method and projection system using the same
CN110136207B (zh) 鱼眼相机标定系统、方法、装置、电子设备及存储介质
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
JP2015233266A (ja) 画像処理システム、情報処理装置、プログラム
JP2019075766A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
CN110874820B (zh) 一种物料仿真形变数据获取方法及装置
KR20220162595A (ko) 전자 장치 및 그 제어 방법
CN107580157A (zh) 图像处理装置、图像处理方法以及程序
JP2016224015A (ja) 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム
KR20180091794A (ko) 투사 맵핑 방법
KR101999304B1 (ko) 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리시스템
KR20170129448A (ko) 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션
JP2023174456A (ja) イメージ内の座標間の実際距離を算出する方法及び装置
CN117413511A (zh) 电子装置及其控制方法
JP2023546037A (ja) 画像記録装置
Shcherban et al. Non-uniform resampling in perspective compensated large scale 3D visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant