CN114615478B - 投影画面校正方法、系统、投影设备和存储介质 - Google Patents
投影画面校正方法、系统、投影设备和存储介质 Download PDFInfo
- Publication number
- CN114615478B CN114615478B CN202210185401.3A CN202210185401A CN114615478B CN 114615478 B CN114615478 B CN 114615478B CN 202210185401 A CN202210185401 A CN 202210185401A CN 114615478 B CN114615478 B CN 114615478B
- Authority
- CN
- China
- Prior art keywords
- projection
- plane
- picture
- point set
- projection surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012937 correction Methods 0.000 title claims abstract description 39
- 108091026890 Coding region Proteins 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 27
- 108700026244 Open Reading Frames Proteins 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 230000009466 transformation Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Projection Apparatus (AREA)
Abstract
本申请涉及投影图像处理技术领域,公开了一种投影画面校正方法、系统、投影设备和存储介质,用于解决自动进行梯形校正降低投影画质的问题。本申请中通过投射图卡,得到投影面在投影设备坐标系中的平面方程,然后可以得到投影设备和投影面之间的偏转角度,之后基于该偏转角度调整投影设备进行旋转。由此本申请中全自动地将投影设备调整至合适的角度,使得投影设备垂直于投影面从而投射出的画面自然而然地成为矩形。此外,本申请中还可以调整投影设备和投影面的距离可避免画面被投射到投影面的外部。整个校正过程中,在完成画面校正的同时并且未降低画面质量,极大地提高了用户的观感体验。
Description
技术领域
本申请涉及投影图像处理技术领域,特别涉及一种投影画面校正方法、系统、投影设备和存储介质。
背景技术
当投影设备投射画面时,由于投影设备的光轴与投影画面并不能总保持垂直状态,因此投射出画面通常呈梯形或不规则多边形。此时传统的校正方法需手动进行画面的调整,用户使用体验较差。
虽然相关技术也提供了一些自动进行梯形校正的方法,但该类校正方法是通过图像变换完成的。图像变换会导致在校正过程中降低投影画质,甚至在边缘处会有漏光情况,用户体验也不好。
发明内容
本申请提供一种投影画面校正方法、系统、投影设备和存储介质,可提供一种新的自动校正投影画面的方式。
第一方面,本申请提供一种投影画面校正方法,包括:
将图卡投射到投影面上;
基于对投影面采集的图像,得到所述投影面在相机坐标系中的第一坐标点集合;
将所述第一坐标点集合转换到投影设备坐标系中,得到所述投影面在投影设备坐标系中的第二坐标点集合;
基于所述第二坐标点集合,提取所述投影面的第一平面方程;
基于所述第一平面方程确定所述投影设备的第一偏转角度;
基于所述第一偏转角度调整所述投影设备的投影角度。
在一些实施方式中,所述基于所述第一偏转角度调整所述投影设备的投影角度之后,所述方法还包括:
将所述图卡投射到所述投影面;
基于对投影面采集的图像,得到所述投影面在相机坐标系中的第三坐标点集合;
将所述第三坐标点集合转换到投影设备坐标系中,得到所述投影面在所述投影设备坐标系中的第四坐标点集合;
基于第四坐标点集合,提取所述投影面内的图卡边界和所述投影面的第二平面方程;
确定所述第二平面方程表示的平面与投影画幅的交点,得到所述投影画幅的边界信息;
基于所述投影面内的图卡边界和所述投影画幅的边界信息,确定所述投影面和所述投影画幅的大小关系;
基于所述大小关系,调整投影设备与所述投影面之间的距离。
在一些实施方式中,所述方法还包括:
获取陀螺仪采集的投影设备在指定平面内的第二偏转角度,所述指定平面为垂直于投影设备的光轴的平面;
基于所述第二偏转角度调整所述投影设备的投影角度。
在一些实施方式中,所述提取所述投影面的第一平面方程之前,还包括:
剔除所述第二坐标点集合中的噪声点;
提取所述投影面内的图卡边界和所述投影面的第二平面方程之前,还包括:
剔除所述第四坐标点集合中的噪声点。
在一些实施方式中,所述图卡中包括多个编码区域,编码区域外有多个特征点,编码区域内有特征图形,且每个编码区域内的特征图形数量不同,若采用双目相机对所述投影面进行图像采集,所述得到所述投影面在相机坐标系中的第一坐标点集合,包括:
分别对所述双目相机采集的左图和右图进行特征检测,得到左图的特征信息和右图的特征信息;所述特征信息包括各个特征点的位置、各编码区域的位置和各编码区域内包括的特征图形数量;
基于编码区域内包含的特征图形数量,得到左图和右图的编码区域之间的对应关系;
基于所述编码区域之间的对应关系,计算得到左图和右图的位置映射关系;
根据所述左图和右图的位置映射关系,得到左图和右图的特征点之间的对应关系;
根据所述左图和右图的特征点之间的对应关系和所述双目相机的内外参数,得到所述第一坐标点集合。
在一些实施方式中,基于第四坐标点集合,提取所述投影面内的图卡边界,包括:
提取所述第四坐标点集合的最小包围矩形的顶点位置,作为所述投影面内的图卡边界。
在一些实施方式中,所述确定所述第二平面方程表示的平面与投影画幅的交点,得到所述投影画幅的边界信息,包括:
获取投影设备在投影边界上的多个投射光线向量;
计算各投射光线向量与所述第二平面方程表示的平面的交点,得到所述投影画幅的边界信息。
第二方面,本申请提供一种投影设备校正系统,包括投影设备、相机、陀螺仪和云台;
所述相机,用于对投影面进行图像采集;
所述陀螺仪,用于采集的投影设备的角度信息;
所述投影设备,用于执行第一方面任一所述的方法,得到所述投影设备的偏转角度;并基于所述偏转角度调整所述云台。
第三方面,本申请提供一种投影设备,包括:
计算机可读存储介质、处理器、投影镜头,其中:
所述投影镜头,用于输出图像;
所述计算机可读存储介质用于存储所述处理器可执行指令;
其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的方法。
第四方面,本申请还提供了一种计算机可读存储介质,包括:
当所述计算机可读存储介质中的指令由所述投影设备的所述处理器执行时,使得所述投影设备能够执行如上述第一方面中任一项所述的方法。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面中任一项所述的投影设备对焦方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请中通过投射图卡,得到投影面在投影设备坐标系中的平面方程,然后可以得到投影设备和投影面之间的偏转角度,之后基于该偏转角度调整投影设备进行旋转。由此本申请中全自动地将投影设备调整至合适的角度,使得投影设备垂直于投影面从而投射出的画面自然而然地成为矩形。
此外,本申请中还可以调整投影设备和投影面的距离可避免画面被投射到投影面的外部。整个校正过程中,在完成画面校正的同时并且未降低画面质量,极大地提高了用户的观感体验。
在符合本领域常识的基础上,上述各优选条件,可任意组合,即得本申请各较佳实施例。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的投影设备的结构示意图之五;
图2a为本申请实施例提供的一种投影画幅和投影面之间在光轴方向相对偏转的示意图;
图2b为本申请实施例提供的一种投影画幅和投影面之间沿光轴方向相对偏转的示意图;
图2c为本申请实施例提供的一种投影画面校正系统的结构示意图;
图3为本申请实施例提供的确定投影画面校正方法的流程示意图;
图4a为本申请实施例提供的一种编码区域的效果图;
图4b为本申请实施例提供的一种图卡的示意图;
图4c为本申请实施例提供的一种图卡中部分特征点投射到投影面外部的示意图;
图5为本申请实施例提供的确定投影画面校正方法的流程示意图;
图6a为本申请实施例提供的确定投影画面校正方法的流程示意图;
图6b为本申请实施例提供的最小包围矩形的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
并且,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
投影设备:是一种可以将图像投射到幕布上的设备,广泛应用于家庭、办公室、学校等场所,给人们的生活带来了极大的便利。
有鉴于相关技术中手动校正投影画面操作不变,用户体验差。而自动校正方法会降低投影画质的问题,本申请出了一种投影设备的投影画面校正方法、系统、投影设备及存储介质。
本申请中可将图卡投射到投影面,然后采集投影面的图像,从而得到投影面在投影设备坐标系中的平面表达,由此可以得到投影面的偏转角度,并对投影设备进行调整,由此整个校正过程实现了自动校正投影画面,由于整个过程无需对投影图像进行图像变换故此不会降低投影画质。
在介绍完本申请的发明构思之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例提供的投影画面校正方法适用于投影仪或激光电视这一类的投影设备。如图1所示,为本申请的投影设备100的结构示意图。投影设备100包括:光源120、投影镜头12和处理器13、和计算机可读存储介质14。并且图1所示的结构并不构成对本申请的限制。
光源120,为投影镜头12提供照明,处理器13对光源光束进行调制,投影镜头12通过调制后的光束进行成像,投影至投影面形成图像。
投影镜头12,用于将图卡投影在投影面上;
处理器13,用于执行本申请描述的任一投影画面校正方法。
计算机可读存储介质14,用于存储处理器可执行指令。
以上仅为本公开的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。
本申请实施例中投影设备可包括两个偏转角度,分别为第一偏转角度和第二偏转角度。其中第一偏转角度指投影设备相对光轴垂直方向的偏转情况,第一偏转角度用于使得投影设备的光轴垂直于投影面。如图2a所示,为一种投影设备的光轴方向不垂直于投影面的示意图。在图2a中虚线标识光轴垂直与投影面,实线表示光轴的第一偏转角α,然后基于该第一偏转角α调整投影设备,使得投影设备的光轴垂直于投影面。
由于基于第一偏转角能够使得光轴垂直于投影面,但是投影画幅可能在垂直于投影面的情况下,投影画幅相对投影面有一定的偏转。例如图2b所示,图中实线矩形表示投影面,虚线矩形表示在光轴垂直于投影面的情况下投影画幅相对投影面偏转的情况,用于描述该偏转情况的量化因子本申请实施例中称之为第二偏转角。第二偏转角度指沿光轴方向的偏转角度,第二偏转角度用于调整投影设备在垂直于光轴平面内的旋转。
如图2c所示为本申请提供的一种投影系统的示意图,该系统中包括投影设备21、相机22、陀螺仪23(可选的)和云台24;其中,投影设备21与相机22构成小的硬件系统,二者之间的相对位置固定不变。该小系统被固定在云台24上,云台24可以在三个轴向任意旋转,从而可以自动调整投影画面的位置实现将投影画面调整为矩形,云台并可以在水平面内做一定范围的平移。例如前后移动、左右移动进而保证投影画幅的尺寸与投影面尺寸适配,避免投影画幅过大超过投影面。
所述相机22,用于对投影面进行图像采集;
所述陀螺仪23是可选的配置,用于采集的投影设备沿投影设备的光轴方向的偏转角度;为便于区分该偏转角度定义为第二偏转角度;
所述投影设备21,用于执行本申请的投影画面校正方法,得到所述投影设备的第一偏转角度和第二偏转角度;并基于所述第一偏转角度和所述第二偏转角度调整所述云台24以实现对投影画面的校正。
如图3所示,为基于以上系统架构实现的投影画面校正方法的流程示意图,包括以下步骤:
在步骤301中,将图卡投射到投影面上;
在步骤302中,基于对投影面采集的图像,得到所述投影面在相机坐标系中的第一坐标点集合;
本申请实施例中,相机坐标系是指以相机光心为原点建立的坐标系,投影设备坐标系是指以投影设备光心为原点建立的坐标系。投影设备的坐标系按照以下规则建立:投影设备的光轴方向为Z轴正方向,水平向右为X轴正方向,垂直向下为Y轴正方向。故此,只要将投影设备坐标系中XOY平面平行于投影面,即可保证光轴方向垂直于投影面,故此,可理解为第一偏转角为投影面和投影设备坐标系中XOY平面之间的夹角。
在一些实施例中,采集投影面图像的相机可为双目相机、结构光相机、RGB-D(redgreen blue Depth Map,深度)相机、TOF(Time of flight,飞行时间法)相机等,此处并不对相机的种类做具体要求。
其中,当相机为结构光相机、RGB-D相机、TOF相机等时,可直接从相机获取到投影面在相机坐标系下的三维空间坐标信息即(第一坐标点集合)。
由此,当相机为结构光相机、RGB-D相机、TOF相机等时,对图卡没有特别要求,图卡可以是正常投射的画面。
当相机为双目相机时,双目相机会采集到左图和右图,但双目相机无法直接获得投影面的第一坐标点集合。此时,投影设备投射的图卡需要带有特征信息,以便于采用三角测量法得到投影面的第一坐标点集合。
为了适用三角测量法得到第一坐标点集合,需要对左图的特征信息和右图的特征信息进行特征提取,基于提取的特征,确定左右图的特征信息之间的关系,然后基于该关系才能得到投影面的第一坐标点集合。
在一些实施例中,投影设备投射的特征信息可以是棋盘格点、圆形阵列点等。使用图像处理技术,可以在图像中精确的获得特征点的像素坐标。本申请中对特征点的种类不做限制。
为了获取左右图的特征信息之间的关系,图卡中的特征信息可包括特征点和编码区域,一些图卡中不同编码区域可包括不同形状的图样。不同形状的图样用于对编码区域执行编码和解码操作可实现建立左右图特征信息之间的关系。
但识别编码区域内不同形状的图样算法复杂,为了提高建立位置映射关系的效率,本申请实施例中,所述图卡中包括多个编码区域,编码区域外有多个特征点,编码区域内有特征图形,且每个编码区域内的特征图形数量不同(如图4a所示,示出了四个编码区域内的特征图形均为正方形。其中,一个编码区域包括一个正方形,一个编码区域包括2个正方形,另一个编码区域包括3个正方形,最后一个编码区域包括4个正方形。整张图卡的示意图如图4b所示,图4b中包括如图4a的四个编码区域,各编码区域周围有六行特征点,特征点为圆形,编码区域内的特征图形为正方形。
基于不同编码区域内包含的特征图形相同,但特征图像数量不同的特点,本申请实施例中基于编码区域的位置和各编码区域内包括的特征图形数量即可完成编码和解码操作以便于获取特征信息之间的关系。如图5所示,可实施为:
在步骤501中,分别对所述双目相机采集的左图和右图进行特征检测,得到左图的特征信息和右图的特征信息;所述特征信息包括各个特征点的位置、各编码区域的位置和各编码区域内包括的特征图形数量;
在步骤502中,基于编码区域内包含的特征图形数量,得到左图和右图的编码区域之间的对应关系;
在步骤503中,基于所述编码区域之间的对应关系,计算得到左图和右图的位置映射关系;
在步骤504中,根据所述左图和右图的位置映射关系,得到左图和右图的特征点之间的对应关系;
在步骤505中,根据所述左图和右图的特征点之间的对应关系和所述双目相机的内外参数,得到所述第一坐标点集合。
以图4b所示的图卡为例,进行说明:
双目相机会对投射到投影面的图卡进行图像采集,得到左图和右图。其中左图和右图分别为采集到的完整图卡图像。只是因为双目相机左目和右目具有一定位置关系导致左图和右图采集的图卡图像上同一特征点和编码区域在图像中位置存在差别。首先利用图像阈值处理技术,将左图和右图分别进行二值化,得到左右图的二值图像;在左右图的二值图像上分别寻找图像轮廓,如图4b所示,每个特征点、图中图像以及编码区域的外边界都可理解为图像轮廓。由于该编码区域内的特征图形均为四边形,因此将所有的图像轮廓进行多边形拟合,剔除掉非四边形的多边形,由此实现去燥;利用正方形长宽比为1且特征点和特征图形的面积大于指定面积的特点,过滤掉不满足条件的多边形,这样非正方向的轮廓和一些噪声点会再一次被去除掉,提高识别编码区域内特征图形的准确性;在此基础上,对满足要求的四边形再提取内部轮廓,确定内部轮廓的数量,例如图4b所示,编码区域轮廓较大,故此可在较大轮廓的四边形内提取其内部包含的四边形的轮廓作为内部轮廓;根据内部轮廓数量的多少(即编码区域内部包括正方形数量)以及各个编码区域的位置,完成编码和解码。
下面对如何得到左图和右图的位置映射关系进行说明。通过解码各编码区域,可得到四块编码区域顶点坐标的一一对应关系,由于图4b中包括4个编码区域,每个编码区域有4个顶点,图卡中一共有16个顶点,左图和右图图卡一样,每个顶点位置对应一组坐标,例如左图中包括左上角编码区域的左上角顶点和右图中左上角编码区域的左上角顶点为一组坐标,所以共得到16组坐标的对应关系。在此基础上,通过求解单应性变换矩阵H(homography matrix),即可得到左右图的各像素点之间的变换矩阵。其中单应性变换的公式如下所示:
其中,(x,y),(x′,y′)为左右图像的一组对应的坐标。将16组对应的坐标代入,利用最小二乘法可解出单应性变换矩阵H,即由h11-h33构成的矩阵。
通过解码各编码区域,可基于现有技术得到左右图的像素点之间的变换矩阵(即位置映射关系)。将该变换矩阵应用于左右相机中的特征点,即可完成两相机之间的特征点匹配,即得到左右图的特征点之间的对应关系。基于该对应关系并利用已预先确定好的左右相机的内外参数,即可利用三角测量方法恢复出投影面的第一坐标点集合。
需要说明的是,编码方式可采用二维码,条形码等等,此处对编码的方式并不做具体要求。
在步骤303中,将所述第一坐标点集合转换到投影设备坐标系中,得到所述投影面在投影设备坐标系中的第二坐标点集合;
本申请实施例中,可预先建立相机坐标系和投影设备坐标系之间的映射关系,然后基于该映射关系完成坐标系转换。
由于相机采集的图像中可能存在一些噪声点,例如投影的图卡超过投影面的范围时,将会产生一些噪声点。为了提高投影画面校正的准确性,本申请实施例中,可在得到第二坐标点集合之后,剔除其中的一些噪声点。
例如,由于有一些画面可能被投射至投影面的外部(如图4c所示,虚线条浅灰色背景的矩形为投影面,图4b所示的图卡部分特征点投射到投影面外部),因此此处需要除掉被投射到外部的坐标点。可利用点云分割算法以及随机采样一致性算法进行噪声点(即离群点)的剔除。例如,实施时,若投影面外部区域与投影面不在一平面上,则投影面上的点到投影设备的距离和投影面外部的点到投影设备的距离不同。故此,可基于投影设备和投影面之间的距离设置距离阈值,将与投影设备的距离大于该距离阈值的点作为噪声点从第二坐标点集合中剔除。对于剩余的点,还可以采用点云分割算法以及随机采样一致性算法提取出投影面的平面,然后将距离该平面较远的一些点作为噪声点进行剔除。
剔除噪声点之后,在步骤304中,基于所述第二坐标点集合,提取所述投影面的第一平面方程;
在一些实施例中,拟合平面方程的方式可选用最小二乘法,主成分分析等。由于当前投影面的平面参数方程是在投影设备坐标系下的,因此利用该平面参数,可以计算得到投影面相对于投影设备的偏转角度,也即需要投影设备的光轴垂直投影面的条件下,基于第一平面方程可得到满足该条件时投影设备的应该旋转的角度,即第一旋转角度。
故此可在步骤305中,基于所述第一平面方程确定所述投影设备的第一偏转角度;然后在步骤306中,基于所述第一偏转角度调整所述投影设备的投影角度。
以图2c的系统为例,投影设备确定第一旋转角度之后,可通知给云台,云台接收到该第一偏转角度后,进行角度的调整,将投影设备调整至使其光轴与投影面垂直。此时投影的画面自动变为矩形。
此外,虽然基于第一旋转角度可使得投影设备的光轴与当前投影面垂直,但在投影面内的旋转无法得到有效校正,故此,为了校正该问题,本申请实施例中,还可以采用陀螺仪采集的投影设备在指定平面内的第二偏转角度,该指定平面为垂直于投影设备的光轴的平面;然后基于所述第二偏转角度调整所述投影设备的投影角度。由此,可实现对应投影面内旋转的校正,提高投影画面校正的效果。
在另一些实施例中,尽管投影设备的光轴与投影面垂直,但并不一定处于最佳投影位置。因为投影距离可能发生变化,当前投影画幅可能过大,即会有一部分画面投射到投影面外部,这使得用户只能观看到一部分的投射画面,投影面外部的画面可能不够清楚。
因此本申请提供了通过计算来判断投影画幅与投影面的大小关系,然后具此来调整投影设备和投影面之间的距离。这里的投影画幅指根据投影设备的当前设置以及投影面和投影设备之间的距离,投影到投影面的理论画幅。本申请实施例仍可采用图卡确定该大小关系。由于投影设备发生了旋转,因此需要再投射一次图卡,进行投影面的计算。如图6a所示,包括以下步骤:
在步骤601中,将图卡投射到所述投影面;
在步骤602中,基于对投影面采集的图像,得到所述投影面在相机坐标系中的第三坐标点集合;
第三坐标集合的计算可参照第一坐标集合执行,这里不再赘述。
在步骤603中,将所述第三坐标点集合转换到投影设备坐标系中,得到所述投影面在所述投影设备坐标系中的第四坐标点集合;
同理,第四坐标集合的计算可参照第二坐标点集合执行,这里不再赘述。此外,第四坐标点集合也可参照第二坐标点集合提出噪声点,这里不再赘述。
在步骤604中,基于第四坐标点集合,提取所述投影面内的图卡边界和所述投影面的第二平面方程;
在一些实施例中,例如图6b所示,图中圆点表示第四坐标点集合边缘的一些点,可提取能够包围第四坐标点集合的最小矩形(如图6b中的矩形)作为第四坐标点集合的最小包围矩形,然后提取该最小包围矩形的顶点位置,作为所述投影面内的图卡边界。这样,投影面的边界采用这四个顶点坐标表示。
在步骤605中,确定所述第二平面方程表示的平面与投影画幅的交点,得到所述投影画幅的边界信息;
同理,可以获取投影设备在投影边界上的多个投射光线向量;如在左上、左下、右上、右下四个角的投射向量。然后计算各投射光线向量与所述第二平面方程表示的平面的交点,得到所述投影画幅的边界信息。也即,投影画幅也采用四个顶点表示。
在步骤606中,基于所述投影面内的图卡边界和所述投影画幅的边界信息,确定所述投影面和所述投影画幅的大小关系;
继续前面的例子,投影面和投影画幅的边界均采用相应的四个顶点来表示,判断投影面4个顶点与投影画幅4个顶点之间的关系,即可得到投影画幅和投影面的大小关系。
当投影画幅的交点在投影面外部时,说明此时有一部分画面被投影到了投影面外部,因此需要将投影设备向投影面方向调整。故在步骤607中,基于所述大小关系,调整投影设备与所述投影面之间的距离。
需要调整的位移量通过直接计算即可得到本申请不限制具体计算的方式,当投影画幅大于投影面时调整后保证投影画面全部落入到投影面中。
综上所述的整个校正过程,例如若计算出投影设备向上偏转了10度,那么通过可旋转云台将投影设备向下调整10度,此时投影设备与投影面垂直,投影画面自动被调整成矩形。在此基础上,再进一步计算投影画幅的理论交点与投影面的关系,若被投射到外部时,则可将投影设备与投影面的相对距离进行调整,从而使画面全部落入到投影面中。
综上,本申请与其它自动进行梯形校正的方法相比,由于其他方法均通过对投影图像进行压缩从而完成画面校正,较大地损伤了投影的画质。而本申请中提出了投影设备与云台协作的方式,不仅可以快速地完成投影画面的校正,还可根据位置关系调整画幅,避免画面投射到外部。此过程对投影画面未产生任何的压缩,极大地提升了用户的观感体验。
此外,在示例性实施例中,本申请还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器,上述指令可由投影设备的处理器执行以完成上述投影画面校正的处理方法。可选地,计算机可读存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如本申请提供的投影画面校正方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种投影画面校正方法,其特征在于,所述方法包括:
将图卡投射到投影面上,所述图卡中包括多个编码区域,编码区域外有多个特征点,编码区域内有特征图形,且每个编码区域内的特征图形数量不同;
基于对投影面采集的图像,得到所述投影面在相机坐标系中的第一坐标点集合;
将所述第一坐标点集合转换到投影设备坐标系中,得到所述投影面在投影设备坐标系中的第二坐标点集合;
基于所述第二坐标点集合,提取所述投影面的第一平面方程;
基于所述第一平面方程确定所述投影设备的第一偏转角度;
基于所述第一偏转角度调整所述投影设备的投影角度;
其中,若采用双目相机对所述投影面进行图像采集,所述得到所述投影面在相机坐标系中的第一坐标点集合,包括:
分别对所述双目相机采集的左图和右图进行特征检测,得到左图的特征信息和右图的特征信息;所述特征信息包括各个特征点的位置、各编码区域的位置和各编码区域内包括的特征图形数量;基于编码区域内包含的特征图形数量,得到左图和右图的编码区域之间的对应关系;基于所述编码区域之间的对应关系,计算得到左图和右图的位置映射关系;根据所述左图和右图的位置映射关系,得到左图和右图的特征点之间的对应关系;根据所述左图和右图的特征点之间的对应关系和所述双目相机的内外参数,得到所述第一坐标点集合。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一偏转角度调整所述投影设备的投影角度之后,所述方法还包括:
将所述图卡投射到所述投影面;
基于对投影面采集的图像,得到所述投影面在相机坐标系中的第三坐标点集合;
将所述第三坐标点集合转换到投影设备坐标系中,得到所述投影面在所述投影设备坐标系中的第四坐标点集合;
基于第四坐标点集合,提取所述投影面内的图卡边界和所述投影面的第二平面方程;
确定所述第二平面方程表示的平面与投影画幅的交点,得到所述投影画幅的边界信息;
基于所述投影面内的图卡边界和所述投影画幅的边界信息,确定所述投影面和所述投影画幅的大小关系;
基于所述大小关系,调整投影设备与所述投影面之间的距离。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取陀螺仪采集的投影设备在指定平面内的第二偏转角度,所述指定平面为垂直于投影设备的光轴的平面;
基于所述第二偏转角度调整所述投影设备的投影角度。
4.根据权利要求2所述的方法,其特征在于,所述提取所述投影面的第一平面方程之前,还包括:
剔除所述第二坐标点集合中的噪声点;
提取所述投影面内的图卡边界和所述投影面的第二平面方程之前,还包括:
剔除所述第四坐标点集合中的噪声点。
5.根据权利要求2所述的方法,其特征在于,基于第四坐标点集合,提取所述投影面内的图卡边界,包括:
提取所述第四坐标点集合的最小包围矩形的顶点位置,作为所述投影面内的图卡边界。
6.根据权利要求2所述的方法,其特征在于,所述确定所述第二平面方程表示的平面与投影画幅的交点,得到所述投影画幅的边界信息,包括:
获取投影设备在投影边界上的多个投射光线向量;
计算各投射光线向量与所述第二平面方程表示的平面的交点,得到所述投影画幅的边界信息。
7.一种投影设备校正系统,其特征在于,包括投影设备、相机、陀螺仪和云台;
所述相机,用于对投影面进行图像采集;
所述陀螺仪,用于采集的投影设备的角度信息;
所述投影设备,用于执行权利要求1-6中任一所述的方法,得到所述投影设备的偏转角度;并基于所述偏转角度调整所述云台。
8.一种投影设备,其特征在于,所述投影设备包括:
计算机可读存储介质、处理器、投影镜头,其中:
所述投影镜头,用于输出图像;
所述计算机可读存储介质用于存储所述处理器可执行指令;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210185401.3A CN114615478B (zh) | 2022-02-28 | 2022-02-28 | 投影画面校正方法、系统、投影设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210185401.3A CN114615478B (zh) | 2022-02-28 | 2022-02-28 | 投影画面校正方法、系统、投影设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114615478A CN114615478A (zh) | 2022-06-10 |
CN114615478B true CN114615478B (zh) | 2023-12-01 |
Family
ID=81859231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210185401.3A Active CN114615478B (zh) | 2022-02-28 | 2022-02-28 | 投影画面校正方法、系统、投影设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114615478B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004165944A (ja) * | 2002-11-13 | 2004-06-10 | Nippon Telegr & Teleph Corp <Ntt> | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 |
CN101091137A (zh) * | 2005-03-21 | 2007-12-19 | 三菱电机株式会社 | 调整投影仪姿态的计算机实现方法和装置 |
CN101692322A (zh) * | 2009-09-03 | 2010-04-07 | 上海电子艺术发展有限公司 | 多媒体展台及在台面上实现多媒体展示的方法 |
CN103686107A (zh) * | 2013-12-13 | 2014-03-26 | 华为技术有限公司 | 一种基于投影图像的处理方法及装置 |
CN104539921A (zh) * | 2014-11-26 | 2015-04-22 | 北京理工大学 | 一种基于多投影系统的光照补偿方法 |
CN106612422A (zh) * | 2015-12-31 | 2017-05-03 | 北京数科技有限公司 | 一种投影校正方法及装置 |
EP3419285A1 (en) * | 2017-06-21 | 2018-12-26 | Coretronic Corporation | Projection system and method for calibrating display image |
KR20200003584A (ko) * | 2018-07-02 | 2020-01-10 | 경희대학교 산학협력단 | 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치 |
CN110830781A (zh) * | 2019-10-30 | 2020-02-21 | 歌尔科技有限公司 | 一种基于双目视觉的投影图像自动校正方法及系统 |
CN112584113A (zh) * | 2020-12-02 | 2021-03-30 | 深圳市当智科技有限公司 | 基于映射校正的宽屏投影方法、系统及可读存储介质 |
CN112689135A (zh) * | 2021-03-19 | 2021-04-20 | 深圳市火乐科技发展有限公司 | 投影校正方法、装置、存储介质及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324800A (ja) * | 2006-05-31 | 2007-12-13 | Sony Corp | 画像形成装置および方法 |
-
2022
- 2022-02-28 CN CN202210185401.3A patent/CN114615478B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004165944A (ja) * | 2002-11-13 | 2004-06-10 | Nippon Telegr & Teleph Corp <Ntt> | 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体 |
CN101091137A (zh) * | 2005-03-21 | 2007-12-19 | 三菱电机株式会社 | 调整投影仪姿态的计算机实现方法和装置 |
CN101692322A (zh) * | 2009-09-03 | 2010-04-07 | 上海电子艺术发展有限公司 | 多媒体展台及在台面上实现多媒体展示的方法 |
CN103686107A (zh) * | 2013-12-13 | 2014-03-26 | 华为技术有限公司 | 一种基于投影图像的处理方法及装置 |
CN104539921A (zh) * | 2014-11-26 | 2015-04-22 | 北京理工大学 | 一种基于多投影系统的光照补偿方法 |
CN106612422A (zh) * | 2015-12-31 | 2017-05-03 | 北京数科技有限公司 | 一种投影校正方法及装置 |
EP3419285A1 (en) * | 2017-06-21 | 2018-12-26 | Coretronic Corporation | Projection system and method for calibrating display image |
KR20200003584A (ko) * | 2018-07-02 | 2020-01-10 | 경희대학교 산학협력단 | 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치 |
CN110830781A (zh) * | 2019-10-30 | 2020-02-21 | 歌尔科技有限公司 | 一种基于双目视觉的投影图像自动校正方法及系统 |
CN112584113A (zh) * | 2020-12-02 | 2021-03-30 | 深圳市当智科技有限公司 | 基于映射校正的宽屏投影方法、系统及可读存储介质 |
CN112689135A (zh) * | 2021-03-19 | 2021-04-20 | 深圳市火乐科技发展有限公司 | 投影校正方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114615478A (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7606439B2 (en) | Method for extracting raw data from an image resulting from a camera shot | |
CN107563304B (zh) | 终端设备解锁方法及装置、终端设备 | |
US11398007B2 (en) | Video generation device, video generation method, program, and data structure | |
KR102160839B1 (ko) | 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법 | |
US9430865B2 (en) | Real-time dynamic non-planar projection apparatus and method | |
KR102206108B1 (ko) | 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법 | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
KR20150050450A (ko) | 장면의 깊이 맵을 생성하기 위한 방법 및 장치 | |
CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
US9332247B2 (en) | Image processing device, non-transitory computer readable recording medium, and image processing method | |
CN110784699B (zh) | 投影处理方法、装置、投影仪及可读存储介质 | |
CN112967337B (zh) | 双足机器人控制方法、装置以及双足机器人 | |
CN113962306A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
KR20160144699A (ko) | 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법 | |
JP2019220887A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN114820817A (zh) | 基于高精度线激光3d相机的标定方法和三维重建方法 | |
JP2011141600A (ja) | 画像処理装置及び方法、並びに、プログラム | |
CN114615478B (zh) | 投影画面校正方法、系统、投影设备和存储介质 | |
CN109493387B (zh) | 一种多摄像头光轴对齐的方法和装置 | |
CN116524022B (zh) | 偏移数据计算方法、图像融合方法、装置及电子设备 | |
CN116342445A (zh) | 一种可见光图像与红外图像融合的方法及系统 | |
WO2018155269A1 (ja) | 画像処理装置および方法、並びにプログラム | |
US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
KR101748674B1 (ko) | 3차원 영상 생성 방법 및 장치 | |
CN114913308A (zh) | 摄像机跟踪方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |