CN114697623B - 投影面选取和投影图像校正方法、装置、投影仪及介质 - Google Patents

投影面选取和投影图像校正方法、装置、投影仪及介质 Download PDF

Info

Publication number
CN114697623B
CN114697623B CN202011600997.6A CN202011600997A CN114697623B CN 114697623 B CN114697623 B CN 114697623B CN 202011600997 A CN202011600997 A CN 202011600997A CN 114697623 B CN114697623 B CN 114697623B
Authority
CN
China
Prior art keywords
projection
image
camera
camera image
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011600997.6A
Other languages
English (en)
Other versions
CN114697623A (zh
Inventor
赖俊霖
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimi Technology Co ltd
Original Assignee
Jimi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jimi Technology Co ltd filed Critical Jimi Technology Co ltd
Priority to CN202011600997.6A priority Critical patent/CN114697623B/zh
Priority to PCT/CN2021/098497 priority patent/WO2022142139A1/zh
Publication of CN114697623A publication Critical patent/CN114697623A/zh
Application granted granted Critical
Publication of CN114697623B publication Critical patent/CN114697623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Abstract

本申请公开了一种投影面选取和投影图像校正方法、装置、投影仪及介质,涉及投影显示技术领域。投影面选取方法包括:获取第一相机图像和第二相机图像,所述第一相机图像为第一摄像头拍摄的投影画面图像,第二相机图像为第二摄像头拍摄的投影画面图像;根据所述第一相机图像和第二相机图像,获得投影面空间的点集;根据所述点集,选取目标投影面。目标投影面选好后,即可在该投影面下进行投影图像校正。本申请基于双摄像头构建投影面空间的点集,能有效地进行投影面的选取,进而实现投影图像校正,整个过程不需要投影特征图,可实现无感自动梯形校正,提高用户体验,且具有较高的精度和稳定性。

Description

投影面选取和投影图像校正方法、装置、投影仪及介质
技术领域
本申请涉及投影显示技术领域,尤其涉及一种投影面选取和投影图像校正方法、装置、投影仪及介质。
背景技术
目前市场上很多的投影仪都具有梯形校正的功能。现有的投影仪自动梯形校正通常采用基于单摄和特征图的方式,即需投影特征图,这个过程是用户可感知的,从而会影响用户观影和体验。在一些情况下,投影面空间可能存在多个面交汇(如墙角、阶梯面等),此时,现有的梯形校正方法不能有效地进行合适投影面的选取,进而导致自动梯形校正效果异常。
发明内容
鉴于现有技术的不足,本申请提供一种投影面选取和投影图像校正方法、装置、投影仪及介质,基于双摄像头实现投影面的选取和投影图像校正,无需专门投影特征图,实现无感梯形校正。
第一方面,本申请提供一种投影面选取方法,包括:
获取第一相机图像和第二相机图像,所述第一相机图像为第一摄像头拍摄的投影画面图像,第二相机图像为第二摄像头拍摄的投影画面图像;
根据所述第一相机图像和第二相机图像,获得投影面空间的点集;
根据所述点集,选取目标投影面。
第二方面,本申请提供一种投影图像校正方法,包括:
获取目标投影面和投影源图像之间的第一变换关系,所述目标投影面根据第一方面所述的投影面选取方法选取;
根据所述第一变换关系,对投影图像进行校正。
第三方面,本申请提供一种投影面选取装置,包括:
图像获取模块,用于获取第一相机图像和第二相机图像,所述第一相机图像为第一摄像头拍摄的投影画面图像,第二相机图像为第二摄像头拍摄的投影画面图像;
点集获取模块,用于根据所述第一相机图像和第二相机图像,获得投影面空间的点集;
投影面选取模块,用于根据所述点集,选取目标投影面。
第四方面,本申请提供一种投影图像校正装置,包括:
第一变换关系获取模块,用于获取目标投影面和投影源图像之间的第一变换关系,所述目标投影面根据第一方面所述的投影面选取方法选取;
图像校正模块,用于根据所述第一变换关系,对投影图像进行校正。
第五方面,本申请提供一种投影仪,所述投影仪包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如第一方面或第一方面的可能的实现方式中所述的投影面选取方法或第二方面或第二方面的可能的实现方式中所述的投影图像校正方法。
第六方面,本申请提供一种投影系统,所述投影系统包括投影仪,第一摄像头和第二摄像头,所述投影仪为第五方面所述的投影仪。
第七方面,本申请提供一种存储介质,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如第一方面或第一方面的可能的实现方式中所述的投影面选取方法或第二方面或第二方面的可能的实现方式中所述的投影图像校正方法。
需要说明的是,本申请中第三方面所述的投影面选取装置,用于实现上述第一方面所提供的方法,第四方面所述的投影图像校正装置,用于实现上述第二方面所提供的方法,第五方面所述的投影仪和第七方面所述的存储介质,用于实现上述第一方面或第二方面所提供的方法,因此可以达到与第一方面或第二方面所述的方法相同的有益效果,本申请实施例不再一一赘述。
本申请基于双摄像头构建投影面空间的点集,能有效地进行投影面的选取,进而实现投影图像校正,整个过程不需要投影特征图,可实现无感自动梯形校正,提高用户体验,且具有较高的精度和稳定性。
附图说明
本申请将通过实施例并参照附图的方式说明,其中:
图1为本申请实施例提供的搭载了双摄像头的投影仪结构示意图;
图2为本申请实施例提供的投影面选取方法流程图;
图3为本申请实施例提供的投影面空间的点集获取方法流程图;
图4为本申请实施例提供的投影图像校正方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
在本申请实施例中,“示例地”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。
除非另外定义,本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而是仅用于区分描述,且对应术语的含义可以相同也可以不同。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
下面将结合附图,对本申请中的技术方案进行描述。
本申请实施例中,基于双摄像头实现投影面选取和投影图像校正,双摄像头既可以独立于投影仪外部,也可以设置于投影仪内部。在以下实施例中,本申请以双摄像头设置于投影仪内部为示例进行说明。
图1为本申请实施例提供的搭载了双摄像头的投影仪结构示意图。如图1所示,双摄像头以一定基线长度B(如,B>=100mm)布置在投影仪镜头3的两侧,确保双摄像头公共视场覆盖投影仪实际投影画面。本申请实施例中,第一摄像头1为左相机,第二摄像头2为右相机,且以第一摄像头1为主相机,第二摄像头2为副相机。在其他一些实施例中,也可以第二摄像头2为主相机,第一摄像头1为副相机;双摄像头也可布置在投影仪镜头3的同侧。
不管是单目还是双目视觉系统,都需要进行相机标定和立体标定,才可以实现三维重建,因此,本申请实施例对双目视觉系统进行标定,同时也对左相机和投影仪视觉系统进行标定。在其他一些实施例中,也可对右相机和投影仪视觉系统进行标定,本申请对此不做限制。
1)标定双目相机:双目相机的标定分为左右相机标定和立体标定,本申请实施例采用张正友标定方法,选取棋盘格作为标定板进行。示例地,标定流程如下:采集图像后,使用opencv::findchessboardcorners()和opencv::cornerSubPix()函数可以完成对图像特征点的提取,特征点提取后使用opencv::calibrateCamera()完成单个相机的内参标定,分别对左右相机完成标定后,使用opencv::stereoCalibrate()完成双目视觉系统标定。
2)双目与投影仪视觉系统标定:标定双目和投影仪视觉系统的目的是为了将双目基准坐标系和投影仪坐标系进行统一,标定步骤与1)相同,即将双目左相机和投影仪进行一次立体标定。
通过上述标定步骤,可得到双目相机以及投影仪系统的各个标定参数,如:M1(主相机内参矩阵),M2(副相机内参矩阵),DISP1(主相机畸变参数),DISP2(副相机畸变参数),R1(主副相机旋转矩阵),T1(主副相机平移矩阵),R2(主相机和投影仪的旋转矩阵),T2(主相机和投影仪的平移矩阵)。
上述标定过程通常为离线标定,只需在结构安装完成后进行一次标定即可。若在其他一些实施例中,双摄像头独立于投影仪外部,则双摄像头相对于投影仪的位置每变一次,就需进行一次标定。标定完成后,即可利用双摄像头进行投影面选取和投影图像校正。
图2为本申请实施例提供的投影面选取方法流程图。如图2所示,投影面选取方法包括以下步骤:
S101.获取第一相机图像和第二相机图像,所述第一相机图像为第一摄像头拍摄的投影画面图像,第二相机图像为第二摄像头拍摄的投影画面图像。
第一摄像头和第二摄像头同步采集第一相机图像(记为P1)和第二相机图像(记为P2),同时,通过投影仪内部接口获取投影仪当前帧作为投影源图像P0。本申请实施例中,投影仪无需专门投影特征图,实现无感拍图。
S102.根据所述第一相机图像和第二相机图像,获得投影面空间的点集。
由于投影仪没有投影专门的特征图,因此采用传统的立体匹配方法可能会得不到需要的稠密匹配效果,因此,本申请实施例提供一种基于特征匹配点为锚点的近邻域块匹配方法,重建满足需要的投影面空间的点集,如半稠密点云。如图3所示,步骤S102包括:
S201.对所述第一相机图像和第二相机图像进行立体校正。
基于上述的标定参数,对第一相机图像和第二相机图像进行立体校正。在一些实施例中,由于实际采集到的图像通常会具有一定的噪声和亮度不一致问题,因此,可对采集到的图像进行一定的图像预处理:如降噪、归一化、灰度化等,然后对预处理后的第一相机图像和第二相机图像进行立体校正。
a.降噪,实际中主要存在的是白噪音,可采用高斯滤波去噪。
b.灰度化,将降噪后的图像从彩色图转换为灰度图。
c.归一化,因为实际存在光照不同等影响,因此对图像进行亮度归一化处理,如下式:
Inorm=(I0-Imin)/(Imax-Imin)
其中,Inorm为归一化后的亮度值,I0为归一化之前的亮度值,Imin为当前图像的亮度最小值,Imax为当前图像的亮度最大值。
S202.立体匹配所述第一相机图像和第二相机图像,得到第一匹配点对。
对立体校正后的第一相机图像和第二相机图像,可基于传统的特征点匹配方法初步找出第一相机图像和第二相机图像的匹配特征点对(即第一匹配点对),方法包括但不限于基于角点,SIFT,SURF等特征点方法找到角点,角点匹配采用暴力匹配(BP),或者最邻近匹配(FLANN)方法。本申请实施例采用更加鲁棒、稳定且具有多尺度的SIFT方法查找特征点,使用BP方法进行特征点匹配。此类算法均为现有成熟技术,本申请不再累述。
S203.以所述第一匹配点对为锚点,取周围m像素的邻域块,基于这些邻域块进行立体匹配,得到第二匹配点对,其中,m>0。
通过步骤S202找到的第一相机图像和第二相机图像中的第一匹配点对通常为稀疏点对,如果依赖此稀疏点对,进行三维重建,得到的点云不但噪声点较多,也无法鲁棒的进行单应性矩阵计算,同时稀疏的点云数据也无法有效的完成目标投影面的自适应选取。因此,本申请实施例使用步骤S202得到的稀疏匹配点对为锚点的邻域块的块匹配。具体实现包括:根据第一相机图像和第二相机图像的第一匹配点对,以这些匹配点对为锚点,取周围一定像素(大小可以根据实际任意选取,如9*9像素的邻域块)的邻域块,基于这些领域块进行立体匹配。本申请实施例采用目前在双目立体匹配中兼顾精度和速度的AD-Census匹配方法进行匹配,该方法为现有方法,这里不再详述。
S204.根据所述第二匹配点对,获得投影面空间的点集。
通过步骤S203,可以得到更加稠密的第二匹配点对,还可以得到第二匹配点对中的点的视差值di。通常,半稠密的匹配点对即可满足需要。
根据视差值di和上述的标定参数,计算所述第二匹配点对中的点对应的三维世界坐标Xi、Yi和Zi,可获得投影面空间的半稠密三维点云数据。
其中,B为第一摄像头和第二摄像头的基线长度,f为第一摄像头或第二摄像头的焦距,xi和yi分别为所述第二匹配点对中第一相机图像或第二相机图像的点的坐标,1≤i≤n,n为第二匹配点对个数。
S103.根据所述点集,选取目标投影面。
现有的梯形校正技术无法在墙角、多面相交等情况下,有效进行梯形校正,本申请实施例自动选取目标投影面,并在该投影面下进行梯形校正。以下以步骤S102得到的点集为半稠密点云为示例对目标投影面选取的方法进行详细介绍。
本申请实施例中,对点云数据进行聚面,提取出当前投影画面空间下存在的平面。基于随机采样一致性的方法进行聚面拟合,设定合理的阈值Z(如Z为5个像素,也可以设定为其他值,根据精度要求来设定)进行局内,局外点的筛选,具体包括:随机选取q(q大于或等于3即可,通常3≤q≤5更为合适)个点拟合出一个平面,计算点云中所有点到该平面的距离dis,如果距离大于Z,则视为局外点,反之为局内点,当局内点数大于或等于总点数的60%(阈值可以设定为其他值,不过通常需要超过50%),此时该平面为最大投影面,选取该平面为目标投影面,进一步得到满足阈值Z条件的该平面下的所有局内点。
选好目标投影面后,即可在该投影面下进行投影图像校正。图4为本申请实施例提供的投影图像校正方法流程图。如图4所示,投影图像校正方法包括以下步骤:
S301.获取目标投影面和投影源图像之间的第一变换关系。
根据目标投影面的所有局内点以及对应的第一相机图像点得到第二变换关系,如单应性变换矩阵Q1,根据第一相机图像P1和投影源图像P0进行特征点匹配,得到第一相机图像和投影源图像之间的第三变换关系,如单应性变换矩阵Q2,至此,可得到从目标投影面到投影源图像的第一变换关系Q3:Q3=Q2*Q1。在其他一些实施例中,也可使用第二相机图像,分别得到第二变换关系和第三变换关系,进而得到第一变换关系。
S302.根据所述第一变换关系,对投影图像进行校正。
首先,获取目标投影面的投影区域。将第一相机图像P1的四个顶点坐标(p1,p2,p3,p4)根据单应性变换矩阵的逆矩阵inv(Q1),转换到目标投影面下,得到在目标投影面上的四点坐标(p1’,p2’,p3’,p4’):
此时就得到了目标投影面的投影区域。在其他一些实施例中,也可使用第二相机图像P2的四个顶点坐标和相应的单应性变换矩阵的逆矩阵进行计算。
其次,根据目标投影面的投影区域和步骤S301得到的第一变换关系,对投影图像进行校正。得到目标投影面的投影区域后,获取投影区域的内接矩形,根据步骤S301得到的第一变换关系,将内接矩形的顶点坐标转换为投影仪的图像坐标。本申请实施例中,在目标投影面的投影区域内采用区域生长的方式获取其内接矩形,即以投影区域的中心点为中心选取初始矩形块,初始矩形块的大小可根据投影画面的目标比例设定,如目标比例为16:9,则初始矩形块的长为16像素,宽为9像素,或者,初始矩形块的长宽分别为16和9的倍数,保证长宽比为16:9即可,将初始矩形块按预设步长(如3,5个像素)进行长短边生长,当生长区域达到投影区域边界时,停止生长,此时矩形为该投影面下的最大内接矩形,获得矩形的四个顶点坐标(rect1,rect2,rect3,rect4)。根据第一变换关系Q3,将该矩形的四个顶点坐标转换为投影仪的图像坐标(rect1’,rect2’,rect3’,rect4’),完成梯形校正。
本申请实施例还提供一种投影面选取装置,该装置用于实现上述实施例涉及的投影面选取方法,可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,用于获取第一相机图像和第二相机图像的图像获取模块;用于根据所述第一相机图像和第二相机图像,获得投影面空间的点集的点集获取模块;用于根据所述点集,选取目标投影面的投影面选取模块等。
本申请实施例还提供一种投影图像校正装置,该装置用于实现上述实施例涉及的投影图像校正方法,可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,用于获取目标投影面和投影源图像之间的第一变换关系的第一变换关系获取模块;用于根据所述第一变换关系,对投影图像进行校正的图像校正模块。
本申请实施例还提供一种投影仪,所述投影仪包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述实施例涉及的投影面选取方法或投影图像校正方法。
本申请实施例还提供一种投影系统,所述投影系统包括投影仪,第一摄像头和第二摄像头,所述投影仪为上述实施例涉及的不包含第一摄像头和第二摄像头的投影仪。
本申请实施例还提供一种存储介质,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述实施例涉及的投影面选取方法或图像校正方法。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,部分或全部步骤可以并行执行或先后执行,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个单元中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,网络设备或者终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM)磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种投影面选取方法,其特征在于,包括:
获取第一相机图像和第二相机图像,所述第一相机图像为第一摄像头拍摄的投影画面图像,第二相机图像为第二摄像头拍摄的投影画面图像,所述投影画面不是特征图;
根据所述第一相机图像和第二相机图像,获得投影面空间的点集;
根据所述点集,选取目标投影面;
所述根据所述第一相机图像和第二相机图像,获得投影面空间的点集包括:
对所述第一相机图像和第二相机图像进行立体校正;
立体匹配所述第一相机图像和第二相机图像,得到第一匹配点对;
以所述第一匹配点对为锚点,取周围m像素的邻域块,基于这些邻域块进行立体匹配,得到第二匹配点对,其中,m>0;
根据所述第二匹配点对,获得投影面空间的点集;
所述根据所述点集,选取目标投影面包括:
从点集中随机选取q个点拟合出一个平面,如果该平面的局内点数大于或等于第一阈值,则选取该平面为目标投影面,所述局内点为与平面的距离小于或等于第二阈值的点,其中,3≤q。
2.根据权利要求1所述的一种投影面选取方法,其特征在于,所述邻域块的大小为9*9像素。
3.根据权利要求1所述的一种投影面选取方法,其特征在于,所述根据所述第二匹配点对,获得投影面空间的点集包括:
获取所述第二匹配点对中的点的视差值di
根据视差值di,计算所述第二匹配点对中的点对应的三维世界坐标Xi、Yi和Zi,其中,1≤i≤n,n为第二匹配点对个数。
4.根据权利要求3所述的一种投影面选取方法,其特征在于,所述三维世界坐标Xi、Yi和Zi的计算方法为:
Zi=f*B/di,Xi=xi*Zi/f,Yi=yi*Zi/f,其中,B为第一摄像头和第二摄像头的基线长度,f为第一摄像头或第二摄像头的焦距,xi和yi分别为所述第二匹配点对中第一相机图像或第二相机图像的点的坐标。
5.根据权利要求1所述的一种投影面选取方法,其特征在于,在所述对所述第一相机图像和第二相机图像进行立体校正之前,还包括:
对所述第一相机图像和第二相机图像进行降噪;
将降噪后的第一相机图像和第二相机图像转换为灰度图;
对所述灰度图进行亮度归一化处理;
所述立体校正针对的是亮度归一化处理后的第一相机图像和第二相机图像。
6.根据权利要求1所述的一种投影面选取方法,其特征在于,所述第一阈值大于点集总点数的50%。
7.根据权利要求1所述的一种投影面选取方法,其特征在于,所述第二阈值为5个像素。
8.根据权利要求1所述的一种投影面选取方法,其特征在于,还包括:
对第一摄像头和第二摄像头进行相机标定和立体标定;
对第一摄像头和投影仪进行立体标定,或对第二摄像头和投影仪进行立体标定。
9.一种投影图像校正方法,其特征在于,包括:
获取目标投影面和投影源图像之间的第一变换关系,所述目标投影面根据权利要求1-8中任一项所述的投影面选取方法选取;
根据所述第一变换关系,对投影图像进行校正。
10.根据权利要求9所述的一种投影图像校正方法,其特征在于,所述获取目标投影面和投影源图像之间的第一变换关系包括:
获取所述目标投影面和第一相机图像或第二相机图像之间的第二变换关系;
获取所述第一相机图像或第二相机图像和投影源图像之间的第三变换关系;
根据所述第二变换关系和第三变换关系,获取所述第一变换关系。
11.根据权利要求9所述的一种投影图像校正方法,其特征在于,所述根据所述第一变换关系,对投影图像进行校正包括:
获取所述目标投影面的投影区域;
根据所述投影区域和第一变换关系,对投影图像进行校正。
12.根据权利要求11所述的一种投影图像校正方法,其特征在于,所述获取所述目标投影面的投影区域包括:
将第一相机图像或第二相机图像的四个顶点坐标转换到目标投影面下,得到目标投影面上的四点坐标。
13.根据权利要求11所述的一种投影图像校正方法,其特征在于,所述根据所述投影区域和第一变换关系,对投影图像进行校正包括:
获取所述投影区域的内接矩形;
根据所述第一变换关系,将所述内接矩形的顶点坐标转换为投影仪的图像坐标。
14.根据权利要求13所述的一种投影图像校正方法,其特征在于,所述获取所述投影区域的内接矩形包括:
以所述投影区域的中心点为中心选取初始矩形块,将所述初始矩形块按预设步长进行长短边生长,当生长区域达到投影区域边界时,停止生长。
15.根据权利要求14所述的一种投影图像校正方法,其特征在于,所述初始矩形块的大小根据投影画面目标比例设定。
16.根据权利要求9所述的一种投影图像校正方法,其特征在于,还包括:
通过投影仪内部接口获取所述投影源图像。
17.一种投影面选取装置,其特征在于,包括:
图像获取模块,用于获取第一相机图像和第二相机图像,所述第一相机图像为第一摄像头拍摄的投影画面图像,第二相机图像为第二摄像头拍摄的投影画面图像,所述投影画面不是特征图;
点集获取模块,用于根据所述第一相机图像和第二相机图像,获得投影面空间的点集;
投影面选取模块,用于根据所述点集,选取目标投影面;
所述根据所述第一相机图像和第二相机图像,获得投影面空间的点集包括:
对所述第一相机图像和第二相机图像进行立体校正;
立体匹配所述第一相机图像和第二相机图像,得到第一匹配点对;
以所述第一匹配点对为锚点,取周围m像素的邻域块,基于这些邻域块进行立体匹配,得到第二匹配点对,其中,m>0;
根据所述第二匹配点对,获得投影面空间的点集;
所述根据所述点集,选取目标投影面包括:
从点集中随机选取q个点拟合出一个平面,如果该平面的局内点数大于或等于第一阈值,则选取该平面为目标投影面,所述局内点为与平面的距离小于或等于第二阈值的点,其中,3≤q。
18.一种投影图像校正装置,其特征在于,包括:
第一变换关系获取模块,用于获取目标投影面和投影源图像之间的第一变换关系,所述目标投影面根据权利要求1-8中任一项所述的投影面选取方法选取;
图像校正模块,用于根据所述第一变换关系,对投影图像进行校正。
19.一种投影仪,其特征在于,所述投影仪包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1-8中任一项所述的投影面选取方法或权利要求9-16中任一项所述的投影图像校正方法。
20.根据权利要求19所述的一种投影仪,其特征在于,所述第一摄像头和第二摄像头安装在投影仪内,位于投影仪镜头的两侧或同侧,且这两个摄像头的公共视场覆盖投影画面。
21.一种投影系统,所述投影系统包括投影仪,第一摄像头和第二摄像头,其特征在于,所述投影仪为权利要求19所述的投影仪。
22.根据权利要求21所述的一种投影系统,其特征在于,所述第一摄像头和第二摄像头布置在所述投影仪的两侧或同侧,且这两个摄像头的公共视场覆盖所述投影仪的投影画面。
23.一种存储介质,其特征在于,所述存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1-8中任一项所述的投影面选取方法或权利要求9-16中任一项所述的投影图像校正方法。
CN202011600997.6A 2020-12-29 2020-12-29 投影面选取和投影图像校正方法、装置、投影仪及介质 Active CN114697623B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011600997.6A CN114697623B (zh) 2020-12-29 2020-12-29 投影面选取和投影图像校正方法、装置、投影仪及介质
PCT/CN2021/098497 WO2022142139A1 (zh) 2020-12-29 2021-06-05 投影面选取和投影图像校正方法、装置、投影仪及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011600997.6A CN114697623B (zh) 2020-12-29 2020-12-29 投影面选取和投影图像校正方法、装置、投影仪及介质

Publications (2)

Publication Number Publication Date
CN114697623A CN114697623A (zh) 2022-07-01
CN114697623B true CN114697623B (zh) 2023-08-15

Family

ID=82131757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011600997.6A Active CN114697623B (zh) 2020-12-29 2020-12-29 投影面选取和投影图像校正方法、装置、投影仪及介质

Country Status (2)

Country Link
CN (1) CN114697623B (zh)
WO (1) WO2022142139A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115442584B (zh) * 2022-08-30 2023-08-18 中国传媒大学 一种多传感器融合的异形面动态投影方法
CN115695756A (zh) * 2022-11-01 2023-02-03 深圳市东明炬创电子股份有限公司 一种投影图像的几何校正方法及系统
CN117095133B (zh) * 2023-10-18 2024-01-05 华侨大学 一种建筑三维信息采集方法及系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2100109A1 (en) * 1992-07-20 1994-01-21 Hirokazu Aritake Stereoscopic Display Apparatus and Method
GB9910960D0 (en) * 1999-05-12 1999-07-14 Tricorder Technology Plc Method and apparatus for deriving 3d representation
JP2005123855A (ja) * 2003-10-16 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム
CN101630066A (zh) * 2009-08-17 2010-01-20 浙江大学 一种基于高速投影机的全景视场三维显示装置
CN102074045A (zh) * 2011-01-27 2011-05-25 深圳泰山在线科技有限公司 一种投影重建的系统和方法
CN102455518A (zh) * 2010-12-29 2012-05-16 昆山龙腾光电有限公司 投影系统
CN103019643A (zh) * 2012-12-30 2013-04-03 中国海洋大学 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN103686107A (zh) * 2013-12-13 2014-03-26 华为技术有限公司 一种基于投影图像的处理方法及装置
JP2015233266A (ja) * 2014-05-16 2015-12-24 株式会社リコー 画像処理システム、情報処理装置、プログラム
CN106162124A (zh) * 2016-08-02 2016-11-23 上海唱风信息科技有限公司 投影机输出图像的校准方法
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
WO2018001252A1 (zh) * 2016-06-29 2018-01-04 鲁班嫡系机器人 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
JP2019159840A (ja) * 2018-03-13 2019-09-19 萩原電気ホールディングス株式会社 画像合成装置及び画像合成方法
CN110769224A (zh) * 2018-12-27 2020-02-07 成都极米科技股份有限公司 投影区域获取方法及投影方法
CN110830781A (zh) * 2019-10-30 2020-02-21 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN111010554A (zh) * 2019-12-24 2020-04-14 成都极米科技股份有限公司 投影处理方法、装置、投影仪及可读存介质
CN111131801A (zh) * 2018-11-01 2020-05-08 华勤通讯技术有限公司 投影仪校正系统、方法及投影仪

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5428600B2 (ja) * 2009-07-09 2014-02-26 セイコーエプソン株式会社 プロジェクター、画像投写システムおよび画像投写方法
CN106954053A (zh) * 2017-03-22 2017-07-14 成都市极米科技有限公司 一种梯形校正方法及系统
CN108289208B (zh) * 2018-01-24 2020-11-27 歌尔股份有限公司 一种投影画面自动校正方法和装置
US10638104B2 (en) * 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
CN110677634B (zh) * 2019-11-27 2021-06-29 成都极米科技股份有限公司 投影仪的梯形校正方法、装置、系统及可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2100109A1 (en) * 1992-07-20 1994-01-21 Hirokazu Aritake Stereoscopic Display Apparatus and Method
GB9910960D0 (en) * 1999-05-12 1999-07-14 Tricorder Technology Plc Method and apparatus for deriving 3d representation
JP2005123855A (ja) * 2003-10-16 2005-05-12 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示システム、情報提示方法および情報提示プログラム
CN101630066A (zh) * 2009-08-17 2010-01-20 浙江大学 一种基于高速投影机的全景视场三维显示装置
CN102455518A (zh) * 2010-12-29 2012-05-16 昆山龙腾光电有限公司 投影系统
CN102074045A (zh) * 2011-01-27 2011-05-25 深圳泰山在线科技有限公司 一种投影重建的系统和方法
CN103019643A (zh) * 2012-12-30 2013-04-03 中国海洋大学 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN103686107A (zh) * 2013-12-13 2014-03-26 华为技术有限公司 一种基于投影图像的处理方法及装置
JP2015233266A (ja) * 2014-05-16 2015-12-24 株式会社リコー 画像処理システム、情報処理装置、プログラム
WO2018001252A1 (zh) * 2016-06-29 2018-01-04 鲁班嫡系机器人 一种投射单元及包括该单元的拍摄装置、处理器、成像设备
CN106162124A (zh) * 2016-08-02 2016-11-23 上海唱风信息科技有限公司 投影机输出图像的校准方法
CN106548173A (zh) * 2016-11-24 2017-03-29 国网山东省电力公司电力科学研究院 一种基于分级匹配策略的改进无人机三维信息获取方法
JP2019159840A (ja) * 2018-03-13 2019-09-19 萩原電気ホールディングス株式会社 画像合成装置及び画像合成方法
CN111131801A (zh) * 2018-11-01 2020-05-08 华勤通讯技术有限公司 投影仪校正系统、方法及投影仪
CN110769224A (zh) * 2018-12-27 2020-02-07 成都极米科技股份有限公司 投影区域获取方法及投影方法
CN110830781A (zh) * 2019-10-30 2020-02-21 歌尔科技有限公司 一种基于双目视觉的投影图像自动校正方法及系统
CN111010554A (zh) * 2019-12-24 2020-04-14 成都极米科技股份有限公司 投影处理方法、装置、投影仪及可读存介质

Also Published As

Publication number Publication date
WO2022142139A1 (zh) 2022-07-07
CN114697623A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN114697623B (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
US10897609B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
US10997696B2 (en) Image processing method, apparatus and device
CN111052176B (zh) 无缝图像拼接
US10609282B2 (en) Wide-area image acquiring method and apparatus
CN107370958B (zh) 图像虚化处理方法、装置及拍摄终端
CN111741281B (zh) 图像处理方法、终端及存储介质
US8334893B2 (en) Method and apparatus for combining range information with an optical image
KR102266649B1 (ko) 이미지 처리 방법 및 장치
WO2015199899A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
KR20170005009A (ko) 3d 라돈 이미지의 생성 및 사용
US8837814B2 (en) Correction of geometric mismatch in stereoscopic images
US20160180514A1 (en) Image processing method and electronic device thereof
CN112927307A (zh) 一种标定方法、装置、电子设备及存储介质
US20230033956A1 (en) Estimating depth based on iris size
CN112648935A (zh) 一种图像处理方法、装置和三维扫描系统
JP2004133919A (ja) 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
AU2013308155B2 (en) Method for description of object points of the object space and connection for its implementation
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置
Alasal et al. Improving passive 3D model reconstruction using image enhancement
CN114666558B (zh) 投影画面清晰度的检测方法、装置、存储介质及投影设备
CN115619841A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
CN108924530A (zh) 一种3d拍摄异常图像校正的方法、装置及移动端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 610041 building 4, zone a, Tianfu Software Park, No. 1129, shijicheng Road, high tech Zone, Chengdu, Sichuan

Applicant after: Jimi Technology Co.,Ltd.

Address before: No.2, floor 2, unit 1, building 4, Tianfu Software Park, no.1129, shijicheng Road, hi tech Zone, Chengdu, Sichuan 610041

Applicant before: Chengdu Jimi Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant