CN109151415B - 一种投影系统自动适配投影目标的方法 - Google Patents

一种投影系统自动适配投影目标的方法 Download PDF

Info

Publication number
CN109151415B
CN109151415B CN201810953244.XA CN201810953244A CN109151415B CN 109151415 B CN109151415 B CN 109151415B CN 201810953244 A CN201810953244 A CN 201810953244A CN 109151415 B CN109151415 B CN 109151415B
Authority
CN
China
Prior art keywords
projection
picture
target
boundary
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810953244.XA
Other languages
English (en)
Other versions
CN109151415A (zh
Inventor
那庆林
麦浩晃
蒋海滨
黄彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Butterfly Technology Shenzhen Ltd
Original Assignee
Cinepic Technology Shenzhen Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cinepic Technology Shenzhen Ltd filed Critical Cinepic Technology Shenzhen Ltd
Priority to CN201810953244.XA priority Critical patent/CN109151415B/zh
Publication of CN109151415A publication Critical patent/CN109151415A/zh
Application granted granted Critical
Publication of CN109151415B publication Critical patent/CN109151415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof

Abstract

本发明公开一种投影系统自动适配投影目标的方法,其中,投影系统在工作时按以下步骤进行自动适配处理:由监控单元对投影目标上设置的至少两个标识点进行识别、同时对投影画面进行识别,分别生成相应的投影目标标识点位置信息及投影画面位置信息;然后由图像控制单元根据前述位置信息,按预定规则向投影成像芯片发出控制指令,以对投影画面的边界进行校正,使所述投影画面的边界与所述投影目标标识点达到预定的接近水平。

Description

一种投影系统自动适配投影目标的方法
技术领域
本发明涉及投影机,更具体地说,涉及一种投影系统自动适配投影目标的方法。
背景技术
在投影机的日常使用中,经常碰到摆放问题,调整调校问题。随着人们对投影画面质量需求的提高,光栅屏这种能吸收环境光并增加投影画面对比度的投影屏幕越来越受欢迎。目前很多光栅屏采用的是固定安装模式,如何使投影画面很好地适配这种固定安装、固定比例的投影屏幕,一直没有良好的解决方案。
例如在家用场景中,如果投影机不是预调之后固定安装,而是使用时才拿出来摆放于桌面上,则此时即使投影机正对投影屏幕,也需要反复多次调整投影机的位置,才能确保投影画面正好与投影屏幕适配,例如正好显示在投影屏幕的边框范围之内。
另一种情况是投影机不在投影屏幕的正前方,例如摆放于卧室的床头柜上,投影机的光轴与投影屏幕之间呈斜角关系,此时投影画面与投影屏幕之间的适配问题会更为复杂。
发明内容
针对现有技术的上述缺陷,本发明要解决的技术问题在于现有技术上投影机不能自动适配投影屏幕的问题。
为解决上述技术问题,本发明提供一种投影系统自动适配投影目标的方法,所述投影系统包括具有投影成像芯片的投影单元、具有监控成像芯片的监控单元、以及用于控制所述投影单元的图像控制单元;其中,所述投影系统正常工作时,按以下步骤进行自动适配处理:
步骤S1、所述监控单元对投影目标上设置的至少两个与投影目标主体有差异的投影目标标识点进行识别、同时对所述投影单元投射到所述投影目标上的投影画面进行识别,并由所述监控成像芯片分别生成相应的投影目标标识点位置信息及投影画面位置信息;
步骤S2、所述图像控制单元根据所述投影目标标识点位置信息及投影画面位置信息,按预定规则向所述投影成像芯片发出控制指令,以对所述投影画面的边界进行校正,使所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
本发明所述的方法中,可以只执行一遍所述步骤S1、步骤S2,通过一次性校正使所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
本发明所述的方法中,也可以重复执行所述步骤S1、步骤S2,进行多次循环逼近的校正,直到所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
本发明所述的方法中,在进行所述多次循环逼近的校正时,可采取由内向外的方式,先以所述投影画面的中心点为中心生成一个最小投影画面,再以该最小投影画面为起点逐步增大,直到所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
本发明所述的方法中,在进行所述多次循环逼近的校正时,也可采取由外向内的方式,以当前投影画面为起点逐步减小,直到所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
本发明所述的方法中,所述投影目标标识点与所述投影目标主体具有明显的颜色差异;所述投影目标可为矩形投影屏幕,所述投影目标标识点可为所述矩形投影屏幕相邻角部的点;或者,所述投影目标可为墙壁,所述投影目标标识点可为所述墙壁上水平和/或垂直方向排列的点。
本发明所述的方法中,当所述监控单元在所述投影目标上仅识别出两个所述投影目标标识点时,在所述步骤S2中,以所述两个投影目标标识点的连线作为投影画面的一个边界,按照预定的投影画面比例生成完整的投影画面。
所述预定投影画面比例可以是16:9或4:3。此时,在所述步骤S2之前,还可包括对投影距离与角度进行识别的步骤;在所述步骤S2中,还结合所识别出的距离与角度进行补偿计算,按照预定的投影画面比例生成矩形投影画面。还可在所述两个投影目标标识点之间设置与所述投影目标主体具有明显颜色差异的连线。
本发明所述的方法中,当所述监控单元在所述投影目标上仅识别出三个所述投影目标标识点时,在所述步骤S2中,以所述三个投影目标标识点的接近垂直及水平方向的连线作为投影画面的两个边界,再基于所述两个边界生成完整的投影画面。
同样,在所述步骤S2之前,还可包括对投影距离与角度进行识别的步骤;在所述步骤S2中,还结合所识别出的距离与角度进行补偿计算,以生成矩形投影画面。还可在所述三个投影目标标识点之间设置与所述投影目标主体具有明显颜色差异的垂直及水平方向的两条连线,所述两条连线相互垂直。
本发明所述的方法中,当所述监控单元在所述投影目标上识别出四个所述投影目标标识点时,在所述步骤S2中,以所述四个投影目标标识点的接近垂直及水平方向的连线作为投影画面的四个边界进行校正,以使所述投影画面的边界与所述四个边界达到预定的接近水平。
还可在所述四个投影目标标识点之间设置与所述投影目标主体具有明显颜色差异的垂直及水平方向的四条连线,所述四条连线围成一个矩形。常规带有黑边框的投影屏幕就属于这种状态,四个角部是前述四个投影目标标识点,黑边框即为四条连线。
在使用本发明所述的方法进行自动适配处理过程中,首次执行所述步骤S1时,所述投影画面为所述投影单元监的可生成的初始投影画面、或最大投影画面;在首次之后继续执行所述步骤S1时,所述投影画面为上一次校正后的当前投影画面。
在使用本发明所述的方法进行自动适配处理过程中,首次执行所述步骤S1时,如果未能识别出至少两个所述投影目标标识点,或识别出的至少两个所述标识点没有位于所述投影画面内,则发出调整提示,提示用户需调整所述投影系统与投影目标之间的位置关系,确保至少两个所述投影目标标识点落在所述监控单元的监控范围之内,且落在所述投影画面内。
在使用本发明所述的方法所述步骤S1中,所述监控单元对所述投影单元投射到所述投影目标上的投影画面进行识别时,是通过拍摄图片再经图像识别方法得出所述投影画面的边界,或者通过在所述投影画面内显示便于识别的图案或标记点来得出所述投影画面的边界。
由于采取了以上技术方案,本发明的投影系统可以自动适配投影目标(包括投影屏幕、墙壁、或其他可用于显示投影画面的平面),在确保至少两个投影目标标识点落在监控单元的监控范围之内且落在投影画面内的前提下,会根据识别出的标识点的不同情况(两个、三个、四个),分别使用不同的方法进行自动适配调整,以使投影画面处于最佳显示状态;在四个标识点的情况下则投影画面会充满这四个标识点限定的四边形空间,针对投影屏幕则是充满投影屏幕边框所限定的矩形空间。这种自动适配方法可省去人工调整的繁琐,大大增加投影机的使用便利性,尤其适用于家用投影机产品。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1A是本发明实施例1中监控范围、投影画面、投影屏幕之间的位置关系及其边角点投射示意图;
图1B是本发明实施例1的监控成像芯片中的坐标与投影成像芯片中坐标之间的对应关系示意图;
图2A是本发明实施例2中的深度计算示意图;
图2B是本发明实施例2中通过距离和角度进行调整的示意图;
图3A是本发明实施例3中的通过迭代法进行调整的示意图;
图3B是本发明实施例3中的左下角屏幕交点在投影左下角点的相对位置的分区示意图;
图4A是本发明实施例4中投影屏幕有两个边界点在投影画面之外的示意图;
图4B是本发明实施例4中投影屏幕有三个边界点在投影画面之外的示意图;
图5A是本发明实施例5中投影屏幕有两个边界点在监控范围之外的监控镜头视角示意图;
图5B是本发明实施例5中投影屏幕有两个边界点在监控范围之外的投影屏幕垂直方向视角示意图;
图5C是本发明实施例5中只识别到投影屏幕的两条相邻边或者断裂的两条相邻边时监控镜头视角的示意图;
图6A是本发明实施例6中只识别到投影屏幕的两条对边时监控镜头视角的示意图;
图6B是本发明实施例6中只识别到投影屏幕的两条对边时投影屏幕垂直方向视角示意图;
图7A是本发明实施例3中由内向外迭代的示意图;
图7B是本发明实施例3中由外向内迭代的示意图;
图7C是本发明实施例3中先映射、再由内向外迭代的示意图;
图7D是本发明实施例3中先映射、由外向内迭代的示意图;
图8是本发明实施例8中内部标识点估算边界顶点位置示意图。
具体实施方式
为了描述简单起见,以下实施案例中没特殊说明的投影画面的边角顶点都是指未形变的投影画面的边角顶点,监控单元采集的图像与投影机投出的图像同方向,也就是说,投影画面左上边界在监控单元所得图像的左上角方向,投影画面右上边界在监控单元所得图像的右上角方向,投影画面左下边界在监控单元所得图像的左下角方向,依此类推。
实施例1,直接映射法
如图1A所示,该投影系统包括具有投影成像芯片的投影单元、具有监控成像芯片的监控单元、以及用于控制所述投影单元的图像控制单元。该投影系统与投影目标之间可以任意摆放,本实施例为略微倾斜摆放;其中的投影目标可以是投影屏幕、墙壁、或其他可用于显示投影画面的平面)。
在图1A中,监控单元能拍摄到范围是四边形(WC1,WC2,WC3,WC4),投影画面的四个边角顶点是(WP1,WP2,WP3,WP4),投影屏幕的四个边角顶点是(WS1,WS2,WS3,WS4)。从图中可以看出,这三者的面积依次变小,监控单元能拍摄到范围最大、投影画面次之、投影屏幕最小。此时,投影画面的四个边角顶点、投影屏幕的四个边角顶点都在四边形(WC1,WC2,WC3,WC4)的范围内,也就是都能被监控单元识别到。
初始状态时,投影机会将投影成像芯片上未变形的投影图像边界点(P11,P22,P33,P44)投射到投影屏幕,即得到前述投影画面的四个边角顶点(WP1,WP2,WP3,WP4)。
投影画面的四个边角顶点(WP1,WP2,WP3,WP4)和投影屏幕的四个边角顶点(WS1,WS2,WS3,WS4)在监控单元的监控成像芯片上会成像为投影画面监控边界点(P1,P2,P3,P4)和投影屏幕监控边界点(S1,S2,S3,S4)。
如图1B所示,为了将投影图像边界点(P11,P22,P33,P44)投射到投影屏幕的四个边角顶点(WS1,WS2,WS3,WS4)上,投影控制单元需要对投影画面做形变处理,此形变处理的作用是在投影成像芯片上将投影图像边界点(P11,P22,P33,P44)映射到(S11,S22,S33,S44),然后由投影机将(S11,S22,S33,S44)投射到投影屏幕上时,以使所得投影画面的边角顶点恰好在投影屏幕的四个边角顶点(WS1,WS2,WS3,WS4)上,从而使投影画面完全充满投影屏幕,以达到最好的视觉效果。此变形一般使用透视变换公式(1)来实现的。
Figure GDA0001859834630000081
其中(x,y)透视变换前坐标,(x',y')为透视变换后坐标。
在图1B中,监控单元光心和投影单元光心间距很近,可以近似认为,投影单元光心和监控单元光心是在同一个点,这个点就是透视中心,因此在同一固定场景下监控单元中监控成像芯片上的点和投影单元中投影成像芯片上的点存在一一对应的关系。
(S1)可以构造变换T,将监控成像芯片上的点(P1,P2,P3,P4)映射到投影成像芯片上的点(P11,P22,P33,P44),然后计算出监控成像芯片上投影屏幕监控边界点(S1,S2,S3,S4)在投影成像芯片上的坐标(S11,S22,S33,S44)。
(S2)可以构造变换K,将原始未变形的投影图像边界点(P11,P22,P33,P44)映射到投影屏幕边界点在投影成像芯片上对应的点(S11,S22,S33,S44),进而得到原始投影画面中任一点在变形后投影成像芯片上的新坐标。假设投影单元分辨率为(W*H):则一般有P11=(H-1,0),P22=(0,0),P33=(0,W-1),P44=(H-1,W-1)。
其中,投影画面的四个边角顶点(WP1,WP2,WP3,WP4)可通过识别投影画面的边界线或边界线的交点得到,也可以通过投影机打出特定的标识物,再去识别这个特殊的标识物,然后根据标识物在投影成像芯片上的坐标去推算出投影画面的四个边角顶点(WP1,WP2,WP3,WP4)所在的位置。
以上实施例对应于发明内容中所述的监控单元可在投影目标上识别出四个投影目标标识点时的情况。
实施例2,角度距离法
当监控单元只识别到了投影目标的两个标识点、或者一条边线的两个端点时,可以结合宽高比例、左右旋转角、上下俯仰角、投影单元内部参数、监控单元内部参数、投影屏幕标识点到投影机的深度等信息,来推算其他的投影屏幕边角顶点在投影成像芯片上的坐标,进而计算得到投影画面的变形K。
下面以只识别到两个标识点S1、S2为例说明利用距离角度的方法。首先需要得到两个标识点S1、S2距离投影机的深度Z1、Z2。这个可以通过外部设备获取或者根据其他信息如估算得到。如图2A所示,投影成像芯片上的点经过投影单元P投射到点S上,被监控单元C看到。利用实施例1中的(S1)方法计算出点S1在投影成像芯片上的坐标S11,因此根据投影单元的内部参数可以计算得到的投射方向向量
Figure GDA0001859834630000091
同时根据监控单元的内部参数,可以得到接收光线的方向向量
Figure GDA0001859834630000092
联立两方程可以得到方程1,此点的深度为:
Figure GDA0001859834630000093
Figure GDA0001859834630000094
(fp*xS11-Cxp)*L=(fc*xS1-Cxc)*L+D (方程1)
Figure GDA0001859834630000095
其中fp为投影单元的焦距,(Cxp,Cyp)为投影单元光心在投影成像芯片上的位置,(xS11,yS11)为S11在投影成像芯片上的坐标,fc为监控单元的焦距,(Cxc,Cyc)为监控单元光心在监控成像芯片上的位置,(xS1,yS1)为S1在监控成像芯片上的坐标。所以可以得到WS1相对于对于投影机的空间位置为
Figure GDA0001859834630000101
同理可以得到WS2相对于投影机的空间坐标为
Figure GDA0001859834630000102
简记为(X1,Y1,Z1)(X2,Y2,Z2)
其次,以上计算出此边线的长度
Figure GDA0001859834630000103
和方向向量
Figure GDA0001859834630000104
并根据投影机的俯仰角α和左右旋转角β,计算得到投影屏幕的平面在投影机中的法线方向向量
Figure GDA0001859834630000105
因此可以得到的
Figure GDA0001859834630000106
方向向量为
Figure GDA0001859834630000107
为×向量的向量积。根据宽高比例关系可以得到
Figure GDA0001859834630000108
的长度为r*|WS1WS2|,继而计算得到WS3,WS4在投影机种的空间坐标为。
Figure GDA0001859834630000109
最后得到WS3在成像芯片上的坐标SS3=(X3/(fp*Z3)+Cxp,Y3/(fp*Z3)+Cyp),和WS4在成像芯片上的坐标为SS4=(X4/(fp*Z4)+Cxp,Y4/(fp*Z4)+Cyp)。进一步利用实施例1中的(S2)方法可以得到投影画面的形变K。
以上实施例相当于发明内容中所述的监控单元仅在投影目标上识别出两个投影目标标识点时的情况。
实施例3,迭代法
如图3A所示,可以不采用计算方式,通过设置初始的形变K0和形变完后投射出的投影画面边角顶点的位置P10P20P30P40,和识别得到的投影屏幕上边角顶点(S1,S2,S3,S4)的相对位置来得到调整画面形变为K1,在监控单元看到的点为P11P21P31P41然后根据P11P21P31P41和(S1,S2,S3,S4)的相对位置关系重新调整为K2;重复多次直到形变Kn后投影画面的边角顶点P1nP2nP3nP4n和识别到的投影屏幕的边角顶点(S1,S2,S3,S4)重合或误差小于一定距离为止。当有投影图像的边角点无法被识别,可以认为该投影图像的边界点在投影屏幕外部来处理。
迭代法,也就是多次循环逼近的校正,一般采取反向原则,以投影成像芯片的点P11为例说明,当P11执行变形Ki后为P11i,投影出来后在监控成像芯片上点为P1i,投影屏幕对应边角顶点为S1。如图3B所示,定义为P1i中心,并且定义投影成像芯片上的迭代步长为(dxi,dyi);当S1落在不同各区域上时的调整方法按以下规律:
(1)、1区;S1落在1区,则P1i落在投影屏幕区域左内外下侧,因此需要投影画面向左上侧移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i-dxi,yP1i-dyi);
(2)、2区;S1落在2区,则P1i落在投影屏幕区域左外下侧,因此需要将投影画面能够往右上侧移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i-dxi,yP1i+dyi);
(3)、3区;S1落在3区,则P1i落在投影屏幕区域左内上侧,因此将投影画面能够往左下侧移动移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i+dxi,yP1i-dyi);
(4)、4区;S1落在3区,则P1i落在投影屏幕区域左外上侧,因此将投影画面能够往右下侧移动移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i+dxi,yP1i+dyi);
(5)、1区2区的交线上,则P1i落在投影屏幕区域下侧,因此将投影画面能够往上侧移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i-dxi,yP1i);
(6)、3区4区的交线上,则P1i落在投影屏幕区域上侧,因此将投影画面能够往下侧移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i+dxi,yP1i);
(7)、1区3区的交线上,则P1i落在投影屏幕区域左内侧,因此将投影画面能够往下侧移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i,yP1i-dyi);
(8)、2区4区的交线上,则P1i落在投影屏幕区域左外侧,因此将投影画面能够往下侧移动,则有下一步变形(xP1(i+1),yP1(i+1))=(xP1i,yP1i+dyi);
(9)、步长的选取(dxi,dyi)需要根据P1i和S1的距离来选取合适的步长,基本原则是,距离越小步长越小,距离越大步长越大。
类似的,根据不同顶点及其不同的相对位置关系给出不同的投影成像芯片的点迭代公式,获得这次迭代变形的投影成像芯片上的位置,进一步来获取投影成像芯片上任意点的形变公式。
迭代初始变形可以采用多种方法,例如在4个识别点都被识别到时,利用实施例1中的计算的变换K当作初始变换,当适配投影屏幕的误差大于预设阈值时,可以继续按照此方法继续迭代,直至误差小于预设阈值。
为了防止初始的投影画面的边角顶点在投影画面的背景中无法被识别,一般先将初始的变换内收到投影画面的一小比例(例如四分之一)来尽量使得投影画面全部在投影屏幕内,极端情况下可以让投影画面变形到投影画面的中心附近。但是不能形变成到过小的投影画面,因为投影画面过小将不利于投影画面边界的识别。
当迭代每步的补偿设置比较小时,迭代过程将变长,但效果上看,投影画面呈逐步收缩到投影屏幕和从投影屏幕内部慢慢扩充到满投影屏幕的形态。迭代步长设置很大时,会导致迭代时会经常调整过头,从形态上看,整个过程会出现,投影画面在投影屏幕内部和投影画面外部来回交替变化的震荡形态,整个过程也需要很长的时间。因此要调整时长变短,设置合理的跌打补偿很重要。
如图7A所示,是一种由内向外的迭代方法,首先将投影画面缩小到一个较小的形状,然后逐步向外进行迭代,直到投影画面的边界点与投影目标标识点达到预定的接近水平,才完成整个迭代过程。同样,如图7B所示,是一种由外向内的迭代方法,首先从投影画面的初始位置开始,然后逐步向内进行迭代,直到投影画面的边界点与投影目标标识点达到预定的接近水平,才完成整个迭代过程。
本实施例还有一种情况是先进行映射,如果投影画面的边界点与投影目标标识点没有达到预定的接近水平,再进行迭代,使投影画面的边界点与投影目标标识点达到预定的接近水平,如图7C、图7D所示。
此实施例中可以复合其他的实施例中描述的方法来获取其初始变换或其中的某些步骤的变换。
实施例4
在投影屏幕标识点中部分点无法被识别或者超出投影区域范围时,需要根据实际情况推算或者设置合理的边角位置。
如图4A所示,投影屏幕有一部分的边角点超出了投射区域的范围,投影屏幕有两个标识点在投影画面的四边形外并且在监控单元范围内被识别。在这种摆放位置下投影画面无法覆盖整个投影屏幕,只能选取投影屏幕的部分来做变形后的投射范围,用以达到在投影屏幕中的显示效果。具体方法如下,首先计算投影画面在投影屏幕中能达到的最大比例,通过这个比例计算出最大相似四边形框的顶点在监控单元的位置,再根据实施例1中(S1)和(S2)的方法计算出投影形变。
步骤1,计算投影画面在投影屏幕中能达到最大比例的方法为:获取到投影屏幕两个边S2S3,S1S4与投影画面边界线P1P2的交点D2D1,建立映射变形F将(S1,S2,S3,S4)映射到虚拟单位正方形的对应四个顶点(V1,V2,V3,V4)上,其中V1=(1,0),V2=(0,0),V3=(0,1),V4=(1,1)。计算出在虚拟单位正方形中的坐标VD1=(x1,y1),VD2=(x2,y2)。因此可以计算出最大比例为k=1.0-max(x1,y1,y2)。
步骤2,计算投影屏幕最大相似框的顶点在监控单元中的坐标的方法为:构造映射变形F-1,将(V1,V2,V3,V4),映射到(S1,S2,S3,S4),并构造最大内接正方形(VM1,VM2,VM3,VM4)在虚拟单位正方形中的坐标VM1=(1,k),VM2=(k,k),VM3=(k,1),VM4=(1,1),映射到监控成像芯片上的坐标N1N2N3N4,同时利用N1N2N3N4替换(S1,S2,S3,S4)根据实施例1的方法,得到最终得到投影画面的形变。
更一般的在识别到投影画面的四个边角顶点和投影屏幕的四个顶点时,如果有其他的边也在投影范围之外,需要把其他的投影画面区域和交集的边角顶点(如图4B中所示的D1D2D3D4D5)加入到步骤1中,并且重新构造步骤2中的最大的内接正方形(VM1,VM2,VM3,VM4)。
实施例5
如图5A所示,与实施例中的4B有点类似,监控单元无法监控到投影屏幕的全部点,导致无法求出投影图像占投影屏幕的最大比例,所以无法计算出后续的N1N2N3N4在监控成像芯片中的位置。在此情况下需要按实施例2中的方法,计算出投影画面区域和投影屏幕区域交集的边角顶点D1D2D3D4D5的空间坐标信息。
按照实施例2中的方法计算出D1D2D3D4D5的空间坐标为(Xi,Yi,Zi),i=1:5,从其中选取相邻的投影屏幕的边,图5A中为D4D5和D4D3,这两条边并且计算两条边的单位方向向量
Figure GDA0001859834630000151
D1D2D3D4D5都在投影屏幕上,所以有
Figure GDA0001859834630000152
其中(ai,bi),为投影屏幕上的坐标系下的坐标。选取其中最合适的按照设置的固定长宽比例的矩形的顶点并换算到摄像机空间中的坐标WN1,WN2,WN3,WN4,按照实施例2中的方法在通过投影单元的内部参数,将空间的点映射到投影成像芯片上为N11N22N33N44,从而得到投影画面的形变K。
同理这种也可以处理如图5C所示的情况,有些投影屏幕的边角点无法被识别,仅被识别到两条相邻边,或者两段不相交的边(延长两条不相交的边可以相交到投影屏幕的边角顶点),只是选取最合适的按照固定比例的位置方式不同。
实施例6
如图6A所示,监控单元识别到投影屏幕两条对边。采用与实施例5相似的方法,先在监控画面中找到投影屏幕的边角顶点四边形S1S2S3S4与投影画面四边形(P1,P2,P3,P4)的交集的多边形的边角顶点D1D2D3D4D5。
按照实施例2中的方法计算出交集多边形的顶点的空间坐标(Xi,Yi,Zi),i=1:5,取投影屏幕边界的一个顶点为基准点以为D1例,计算出的单位方向向量
Figure GDA0001859834630000153
因为识别的或上仰,斜投等原因,可能导致这两个向量不一定垂直,需要构造两个相互垂直的单位方向向量
Figure GDA0001859834630000154
其中
Figure GDA0001859834630000155
Figure GDA0001859834630000156
其它都可以分解为
Figure GDA0001859834630000161
则有(ai,bi),是各个点在投影屏幕空间的坐标,在其中选取WN1,WN2,WN3,WN4,为区域内部最合适的投影屏幕区域,进而计算为空间坐标WN1,WN2,WN3,WN4,在根据投影单元的内部参数计算出WN1,WN2,WN3,WN4在投影成像芯片中的位置N11N22N33N44,投影画面的形变K。
实施例7
以上实施案例的方法都是建立在投影机位置不动的情况下的实施方法,本实施例说明的是如果有自动投影位置控制单元的情况下,可以借助控制投影机的位置来处理一些投影屏幕识别点在投影画面外的情况。
针对图4A的情况,可以控制投影机向左旋转,或者向后移动,使得监控单元看到的投影屏幕S1S2S3S4向右移动,进而让S1S2S3S4落入到的四边形(P1,P2,P3,P4)范围内,然后进一步可以使用实施例1中的方法,使投影画面完全贴合投影屏幕,而不是实施例4中的变形后的投影画面小于投影屏幕的大小。
针对图4B的情况,可以控制投影机向左旋转,或者向后移动和向下旋转,使得监控单元看到的投影屏幕S1S2S3S4向右移动向下移动,进而让S1S2S3S4落入到的四边形(P1,P2,P3,P4)范围内,进一步可以使用实施例1中的方法,使投影画面完全贴合投影屏幕,而不是实施例4中的变形后的投影画面小于投影屏幕的大小。
下面总结下摄像机移动时,监控单元看到的投影目标的移动规律:
当投影机向左旋转或移动时,监控单元看到的投影屏幕S1S2S3S4向右移动,并且旋转时S1S2的距离比S3S4的距离比例会变小。
当投影机向有旋转或移动时,监控单元看到的投影屏幕S1S2S3S4向左移动,并且旋转时S1S2的距离比S3S4的距离比例会变大。
当投影机向下旋转或移动时,监控单元看到的投影屏幕S1S2S3S4向上移动,并且旋转时S2S3的距离比S4S1的距离比例会变大。
当投影机向上旋转或移动时,监控单元看到的投影屏幕S1S2S3S4向下移动,并且旋转时S2S3的距离比S4S1的距离比例会变小。
当投影机向后移动时,监控单元看到的投影屏幕S1S2S3S4向中心收缩。
当投影机向前移动时,监控单元看到的投影屏幕S1S2S3S4向外扩散。
其他不在示意图中的情况,都可以参照以上移动规律,尽量将投影屏幕画面调整到未变形的投影画面内,让变形后的投影能很好的贴合被识别到的标记点。
在没有投影位置自动控制单元的情况下,可以根据以上规律在投影机上给出提示,来让用户、安装者等安装提示调整投影机的位置,来实现更好的投影效果。
实施例8
在实际使用过程中,投影画面的边界顶点有可能投射到投影屏幕的外面,由于投影屏幕外面实际环境的复杂性,会导致投影画面的边界顶点无法被监控单元正常识别到。为了更容易和更稳定的得到投影画面的边角顶点,可以在投影画面内部的固定点位置上投射出易于被识别特殊标识或图案,然后根据固定点位置和投影画面边界顶点的相对位置关系、比例关系,以及标识点在监控成像芯片中的坐标位置,来计算出投影画面边界点在监控成像芯片上的位置。
与实施例1相似,如图8所示,(M1,M2,M3,M4)为监控单元识别的内部标识点,(M11,M22,M33,M44)为标识点在投影成像芯片上的坐标,因此可以构建变换Q为(M11,M22,M33,M44)到(M1,M2,M3,M4)的映射。因此将(P11,P22,P33,P44)代入变换Q就可以得到投影屏幕边界点在监控成像芯片上的坐标(P1,P2,P3,P4)。从而可以进一步按照以上实施示例1-66的方法得到后续的变形。
特别的是,如果在实施例1中采用以上内部标识点时,可以利用变换T,为(M1,M2,M3,M4)到(M11,M22,M33,M44)直接将(S1,S2,S3,S4)代入到变换得到投影屏幕边角点在投影成像芯片上的位置(S11,S22,S33,S44)。进而得到(P11,P22,P33,P44)到(S11,S22,S33,S44)的投影画面的形变K。
应当理解的是,以上实施例仅用以说明本发明的技术方案,而非对其限制,对本领域技术人员来说,可以对上述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而所有这些修改和替换,都应属于本发明所附权利要求的保护范围。

Claims (18)

1.一种投影系统自动适配投影目标的方法,所述投影系统包括具有投影成像芯片的投影单元、具有监控成像芯片的监控单元、以及用于控制所述投影单元的图像控制单元;
其特征在于,所述投影系统正常工作时,按以下步骤进行自动适配处理:
步骤S1、所述监控单元对投影目标上设置的至少两个与投影目标主体有差异的投影目标标识点进行识别、同时对所述投影单元投射到所述投影目标上的投影画面进行识别,并由所述监控成像芯片分别生成相应的投影目标标识点位置信息及投影画面位置信息;
步骤S2、所述图像控制单元根据所述投影目标标识点位置信息及投影画面位置信息,按预定规则向所述投影成像芯片发出控制指令,以对所述投影画面的边界进行校正,使所述投影画面的边界与所述投影目标标识点达到预定的接近水平;
其中,所述投影目标包括投影屏幕,当所述投影屏幕有部分标识点在所述投影画面外时,所述图像控制单元根据所述投影目标标识点位置信息及投影画面位置信息,按预定规则向所述投影成像芯片发出控制指令,以对所述投影画面的边界进行校正,包括:
初始状态时,将所述投影成像芯片上未变形的投影图像边界点投射到所述投影屏幕,得到所述投影画面的四个边角顶点;
所述投影画面的四个边角顶点和所述投影屏幕的四个边角顶点在所述监控单元的监控成像芯片上成像为投影画面监控边界点和投影屏幕监控边界点;
计算所述投影画面在所述投影屏幕中能达到的最大比例;
通过所述比例计算出最大相似四边形框的顶点在所述监控成像芯片上的投影画面监控边界点;
将所述监控成像芯片上的投影画面监控边界点与所述投影成像芯片上未变形的投影图像边界点进行映射,构造变换T;
根据所述变换T,计算所述监控成像芯片上的投影屏幕监控边界点在所述投影成像芯片上的坐标点;
将所述投影成像芯片上未变形的投影图像边界点与所述投影成像芯片上的坐标点进行映射,构造变换K,以对所述投影画面的边界进行校正。
2.根据权利要求1所述的投影系统自动适配投影目标的方法,其特征在于,其中只执行一遍所述步骤S1、步骤S2,通过一次性校正使所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
3.根据权利要求1所述的投影系统自动适配投影目标的方法,其特征在于,其中重复执行所述步骤S1、步骤S2,进行多次循环逼近的校正,直到所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
4.根据权利要求3所述的投影系统自动适配投影目标的方法,其特征在于,在进行所述多次循环逼近的校正时,先以所述投影画面的中心点为中心生成一个最小投影画面,再以该最小投影画面为起点逐步增大,直到所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
5.根据权利要求3所述的投影系统自动适配投影目标的方法,其特征在于,在进行所述多次循环逼近的校正时,以当前投影画面为起点逐步减小,直到所述投影画面的边界与所述投影目标标识点达到预定的接近水平。
6.根据权利要求1-5中任一项所述的投影系统自动适配投影目标的方法,其特征在于,所述投影目标标识点与所述投影目标主体具有明显的颜色差异;
所述投影目标为矩形投影屏幕,所述投影目标标识点为所述矩形投影屏幕的角部;或者,所述投影目标为墙壁,所述投影目标标识点为所述墙壁上水平和/或垂直方向排列的点。
7.根据权利要求6所述的投影系统自动适配投影目标的方法,其特征在于,当所述监控单元在所述投影目标上仅识别出两个所述投影目标标识点时,在所述步骤S2中,以所述两个投影目标标识点的连线作为投影画面的一个边界,按照预定的投影画面比例生成完整的投影画面。
8.根据权利要求7所述的投影系统自动适配投影目标的方法,其特征在于,所述预定投影画面比例为16:9或4:3。
9.根据权利要求7所述的投影系统自动适配投影目标的方法,其特征在于,
在所述步骤S2之前,还包括对投影距离与角度进行识别的步骤;
在所述步骤S2中,还结合所识别出的距离与角度进行补偿计算,按照预定的投影画面比例生成矩形投影画面。
10.根据权利要求7所述的投影系统自动适配投影目标的方法,其特征在于,所述两个投影目标标识点之间设有与所述投影目标主体具有明显颜色差异的连线。
11.根据权利要求6所述的投影系统自动适配投影目标的方法,其特征在于,当所述监控单元在所述投影目标上仅识别出三个所述投影目标标识点时,在所述步骤S2中,以所述三个投影目标标识点的接近垂直及水平方向的连线作为投影画面的两个边界,再基于所述两个边界生成完整的投影画面。
12.根据权利要求11所述的投影系统自动适配投影目标的方法,其特征在于,
在所述步骤S2之前,还包括对投影距离与角度进行识别的步骤;
在所述步骤S2中,还结合所识别出的距离与角度进行补偿计算,以生成矩形投影画面。
13.根据权利要求11所述的投影系统自动适配投影目标的方法,其特征在于,所述三个投影目标标识点之间设有与所述投影目标主体具有明显颜色差异的垂直及水平方向的两条连线,所述两条连线相互垂直。
14.根据权利要求6所述的投影系统自动适配投影目标的方法,其特征在于,当所述监控单元在所述投影目标上识别出四个所述投影目标标识点时,在所述步骤S2中,以所述四个投影目标标识点的接近垂直及水平方向的连线作为投影画面的四个边界进行校正,以使所述投影画面的边界与所述四个边界达到预定的接近水平。
15.根据权利要求14所述的投影系统自动适配投影目标的方法,其特征在于,所述四个投影目标标识点之间设有与所述投影目标主体具有明显颜色差异的垂直及水平方向的四条连线,所述四条连线围成一个矩形。
16.根据权利要求1-5中任一项所述的投影系统自动适配投影目标的方法,其特征在于,在所述进行自动适配处理过程中,首次执行所述步骤S1时,所述投影画面为所述投影单元可生成的初始投影画面;在首次之后继续执行所述步骤S1时,所述投影画面为上一次校正后的当前投影画面。
17.根据权利要求16所述的投影系统自动适配投影目标的方法,其特征在于,在所述进行自动适配处理过程中,首次执行所述步骤S1时,如果未能识别出至少两个所述投影目标标识点,或识别出的至少两个所述投影目标标识点没有位于所述投影画面内,则发出调整提示,提示用户需调整所述投影系统与投影目标之间的位置关系,确保至少两个所述投影目标标识点落在所述监控单元的监控范围之内,且落在所述投影画面内。
18.根据权利要求1所述的投影系统自动适配投影目标的方法,其特征在于,所述步骤S1中,所述监控单元对所述投影单元投射到所述投影目标上的投影画面进行识别时,是通过拍摄图片再经图像识别方法得出所述投影画面的边界,或者通过在所述投影画面内显示便于识别的图案或标记点来得出所述投影画面的边界。
CN201810953244.XA 2018-08-21 2018-08-21 一种投影系统自动适配投影目标的方法 Active CN109151415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810953244.XA CN109151415B (zh) 2018-08-21 2018-08-21 一种投影系统自动适配投影目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810953244.XA CN109151415B (zh) 2018-08-21 2018-08-21 一种投影系统自动适配投影目标的方法

Publications (2)

Publication Number Publication Date
CN109151415A CN109151415A (zh) 2019-01-04
CN109151415B true CN109151415B (zh) 2021-03-12

Family

ID=64790477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810953244.XA Active CN109151415B (zh) 2018-08-21 2018-08-21 一种投影系统自动适配投影目标的方法

Country Status (1)

Country Link
CN (1) CN109151415B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111182280A (zh) * 2019-09-23 2020-05-19 广东小天才科技有限公司 一种投影方法、投影装置、音箱设备及存储介质
CN110851214B (zh) * 2019-09-29 2021-01-29 深圳市火乐科技发展有限公司 投影画面控制方法及相关产品
CN111008588A (zh) * 2019-12-02 2020-04-14 易海艳 一种基于物联网的远程教育管理方法
CN110956135A (zh) * 2019-12-02 2020-04-03 易海艳 一种远程在线教育管理系统
CN110996083A (zh) * 2019-12-19 2020-04-10 成都极米科技股份有限公司 一种梯形校正方法、装置和电子设备及可读存储介质
CN111192536A (zh) * 2020-01-22 2020-05-22 李梅英 一种基于物联网的店铺广告投影灯投影系统
CN111327885A (zh) * 2020-01-22 2020-06-23 李梅英 一种基于物联网的店铺广告投影灯投影方法
CN112415841A (zh) * 2020-10-27 2021-02-26 歌尔智能科技有限公司 一种投影装置、投影系统和投影方法
CN112272292B (zh) * 2020-11-06 2021-06-29 深圳市火乐科技发展有限公司 投影校正方法、装置和存储介质
CN112672125B (zh) * 2020-12-24 2022-02-01 四川长虹电器股份有限公司 一种用于激光电视的图像匹配系统及方法
CN112995625B (zh) * 2021-02-23 2022-10-11 峰米(北京)科技有限公司 用于投影仪的梯形校正方法及装置
CN115150600B (zh) * 2021-03-31 2023-08-15 成都极米科技股份有限公司 投影画面显示区域的确定方法及装置、投影仪
CN113709431A (zh) * 2021-07-26 2021-11-26 深圳市金研微科技有限公司 自动校正投影画面的装置和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489382A (zh) * 2002-07-23 2004-04-14 日本电气视象技术株式会社 投影仪
CN103888700A (zh) * 2012-01-18 2014-06-25 索尼公司 投影型图像显示装置、图像投影方法和计算机程序
CN105979234A (zh) * 2016-06-13 2016-09-28 Tcl集团股份有限公司 一种投影图像校正的方法及投影装置
CN106028010A (zh) * 2016-06-17 2016-10-12 联想(北京)有限公司 一种显示控制方法及装置
CN107547880A (zh) * 2016-06-24 2018-01-05 上海顺久电子科技有限公司 一种投影成像的自动校正方法、装置及激光电视

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489382A (zh) * 2002-07-23 2004-04-14 日本电气视象技术株式会社 投影仪
CN103888700A (zh) * 2012-01-18 2014-06-25 索尼公司 投影型图像显示装置、图像投影方法和计算机程序
CN105979234A (zh) * 2016-06-13 2016-09-28 Tcl集团股份有限公司 一种投影图像校正的方法及投影装置
CN106028010A (zh) * 2016-06-17 2016-10-12 联想(北京)有限公司 一种显示控制方法及装置
CN107547880A (zh) * 2016-06-24 2018-01-05 上海顺久电子科技有限公司 一种投影成像的自动校正方法、装置及激光电视

Also Published As

Publication number Publication date
CN109151415A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109151415B (zh) 一种投影系统自动适配投影目标的方法
US11350073B2 (en) Disparity image stitching and visualization method based on multiple pairs of binocular cameras
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
US10366533B2 (en) Image processing device and image processing method
US9729787B2 (en) Camera calibration and automatic adjustment of images
CN112689135A (zh) 投影校正方法、装置、存储介质及电子设备
JP5266954B2 (ja) 投写型表示装置および表示方法
JP4629131B2 (ja) 画像変換装置
JP5266953B2 (ja) 投写型表示装置および表示方法
US10580205B2 (en) 3D model generating system, 3D model generating method, and program
CN114727081B (zh) 投影仪投影校正方法、装置及投影仪
JP2008257752A (ja) 二次元画像に対する遠近法編集ツール
CN107689033B (zh) 一种基于椭圆分割的鱼眼图像畸变校正方法
CN111260789B (zh) 避障方法、虚拟现实头戴设备以及存储介质
CN106604003B (zh) 一种短焦投影实现曲面幕布投影的方法及系统
CN107872659B (zh) 投影装置以及投影方法
CN114286068A (zh) 对焦方法、装置、存储介质以及投影设备
CN108734666B (zh) 一种鱼眼图像校正方法及装置
WO2020037491A1 (zh) 一种投影系统自动适配投影目标的方法
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
JP6394107B2 (ja) キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法
TWI793579B (zh) 同時追蹤可移動物體與可移動相機的六自由度方位之方法與系統
JP2016142991A (ja) 画像処理システム、情報処理装置、画像処理方法、及びプログラム
CN113345074A (zh) 一种车载3d环视影像显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210929

Address after: 518118 east of 6th floor, No.1 Factory building, No.35 Cuijing Road, Pingshan New District, Shenzhen City, Guangdong Province

Patentee after: BUTTERFLY TECHNOLOGY (SHENZHEN) Ltd.

Address before: 518118 west of 6 / F, No.1 Factory building, 35 Cuijing Road, Pingshan New District, Shenzhen City, Guangdong Province

Patentee before: CINEPIC TECHNOLOGY (SHENZHEN) Ltd.

TR01 Transfer of patent right