CN118104231A - 投影设备及投影图像校正方法 - Google Patents
投影设备及投影图像校正方法 Download PDFInfo
- Publication number
- CN118104231A CN118104231A CN202280063329.5A CN202280063329A CN118104231A CN 118104231 A CN118104231 A CN 118104231A CN 202280063329 A CN202280063329 A CN 202280063329A CN 118104231 A CN118104231 A CN 118104231A
- Authority
- CN
- China
- Prior art keywords
- projection
- calibration
- coordinate system
- camera
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003702 image correction Methods 0.000 title claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 151
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 65
- 238000004422 calculation algorithm Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000011664 signaling Effects 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 230000002265 prevention Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000002347 injection Methods 0.000 description 5
- 239000007924 injection Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000007789 sealing Methods 0.000 description 4
- 239000000654 additive Substances 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003749 cleanliness Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000013021 overheating Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 229920001973 fluoroelastomer Polymers 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/317—Convergence or focusing systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本申请涉及一种投影设备及投影图像校正方法,一定程度上可以解决投影仪零部件装配误差导致的设备参数误差大、投影图像校正结果精度低、效果差的问题,所述投影设备包括:光机;相机;控制器,被配置为:检测到投影设备移动后,控制光机投射标定图卡至所述标定板的所述空白区域以确定标定参数;基于所述标定参数,和所述相机获取的所述标定板图像在相机坐标系下的坐标,确定世界坐标系和光机坐标系之间的转换矩阵;根据上述转换矩阵,将所述世界坐标系下所述预设投影区域顶点的第一坐标转换至所述光机坐标系得到第二坐标,并控制所述光机投射播放内容至所述第二坐标。
Description
相关申请的交叉引用
本申请要求在2021年11月16日提交、申请号为202111355866.0;在2022年02月23日提交、申请号为202210168263.8的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及显示设备技术领域,特别地,涉及一种投影设备及投影图像校正方法。
诸如投影仪之类的投影设备移动后引起投射角度、投射距离的偏差,会导致投影图像不能完全投射至预设投影区域,而形成畸形投影图像;通过投影设备配置的投影图像校正功能,可修正畸形投影图像的显示位置、及显示形状,使投影图像完整、准确的显示在预设投影区域。
在一些投影图像校正的实现中,通常需要调用投影设备在制造出厂时已标注为设备参数的光机内参、及光机相机间的外参,然后测算光机平面与投影面夹角,最后调用校正计算模型实现投影图像校正。
然而,由于投影设备实际生产组装过程中必然存在加工、组装误差,从而使上述内参、外参的实际值与理论值不一致,导致投影设备在投影图像校正时精度下降。
发明内容
本申请实施例提供一种投影设备,包括:光机,用于投射播放内容至投影面的预设投影区域;相机,用于获取标定板图像,所述标定板包含标定图卡和空白区域,所述标定板设置于所述投影面;控制器,被配置为:检测到投影设备移动后,控制光机投射标定图卡至所述标定板的所述空白区域以确定标定参数;基于所述标定参数,和所述相机获取的所述标定板图像在相机坐标系下的坐标,确定世界坐标系和光机坐标系之间的转换矩阵;根据上述转换矩阵,将所述世界坐标系下所述预设投影区域顶点的第一坐标转换至所述光机坐标系得到第二坐标,并控制所述光机投射播放内容至所述第二坐标。
本申请实施例提供一种用于投影设备的投影图像校正方法,所述方法包括:检测到投影设备移动后,投射标定图卡至标定板的空白区域以确定标定参数,所述标定参数包括光机内参、及光机相机间的外参,所述标定板包含标定图卡和空白区域,所述标定板设置于投影面;基于所述标定参数,和获取的标定板图像在相机坐标系下的坐标,确定世界坐标系和光机坐标系之间的转换矩阵,所述世界坐标系原点在所述光机坐标系原点处,其XOY面平行于所述投影面;将预设投影区域的矩形顶点在世界坐标系下的第一坐标基于上述转换矩阵转换为所述光机坐标系下的第二坐标,并投射播放内容至所述第二坐标。
图1A示出了根据本申请一些实施例投影设备的摆放示意图;
图1B示出了根据本申请一些实施例投影设备光路示意图;
图2示出了根据本申请一些实施例投影设备的电路架构示意图;
图3示出了根据本申请一些实施例投影设备的结构示意图;
图4示出了根据本申请另一实施例投影设备的结构示意图;
图5示出了根据本申请一些实施例投影设备的电路结构示意图;
图6示出了根据本申请一些实施例投影设备实现显示控制的系统框架示意图;
图7A示出了根据本申请另一实施例投影设备发生投影图像畸形的示意图;
图7B示出了根据本申请另一实施例投影设备与标定板的相对位置示意图;
图7C示出了根据本申请另一实施例基于光机相机标定的图像校正示意图;
图7D示出了根据本申请另一实施例基于光机相机标定的图像校正示意图;
图7E示出了根据本申请另一实施例基于光机相机标定的图像校正示意图;
图7F示出了根据本申请另一实施例基于光机相机标定的图像校正示意图;
图7G示出了根据本申请另一实施例中标定板的示意图;
图8A示出了根据本申请另一实施例投影设备数字微镜器件平面成像示意图;
图8B示出了根据本申请另一实施例投影设备标定参数过程中扩展成像面的示意图;
图9A示出了根据本申请另一实施例投影设备确定标定参数的流程示意图;
图9B示出了根据本申请另一实施例投影设备的用户界面示意图;
图10示出了根据本申请另一实施例投影设备实现放射眼功能的信令交互时序示意图;
图11示出了根据本申请另一实施例投影设备实现显示画面校正功能的信令交互时序示意图;
图12示出了根据本申请另一实施例投影设备实现自动对焦算法的流程示意图;
图13示出了根据本申请另一实施例投影设备实现梯形校正、避障算法的流程示意图;
图14示出了根据本申请另一实施例投影设备实现入幕算法的流程示意图;
图15示出了根据本申请另一实施例投影设备实现防射眼算法的流程示意图。
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
图1A为根据本申请一些实施例投影设备的摆放示意图。
在一些实施例中,本申请提供的一种投影设备包括投影屏幕1和用于投影的装置2。投影屏幕1固定于第一位置上,用于投影的装置2放置于第二位置上,使得其投影出的画面与投影屏幕1吻合,该步骤为专业售后技术人员操作,也即第二位置为投影设备2的最佳摆放位置。
图1B为根据本申请一些实施例投影设备光路示意图。
本申请实施例提供了一种投影设备,包括激光光源100,光机200,镜头300,投影介质400。其中,激光光源100为光机200提供照明,光机200对光源光束进行调制,并输出至镜头300进行成像,投射至投影介质400形成投影画面。
在一些实施例中,投影设备的激光光源包括激光器组件和光学镜片组件,激光器组件发出的光束可透过光学镜片组件进而为光机提供照明。其中,例如,光学镜片组件需要较高等级的环境洁净度、气密等级密封;而安装激光器组件的腔室可以采用密封等级较低的防尘等级密封,以降低密封成本。
在一些实施例中,投影设备的光机200可实施为包括蓝色光机、绿色光机、红色光机,还可以包括散热系统、电路控制系统等。需要说明的是,在一些实施例中,投影设备的发光部件还可以通过LED 光源实现。
在一些实施例中,本申请提供了一种投影设备,包括三色光机和控制器;其中,三色光机用于调制生成用户界面包含像素点的激光,包括蓝色光机、绿色光机和红色光机;控制器被配置为:获取用户界面的平均灰度值;判定所述平均灰度值大于第一阈值、且其持续时间大于时间阈值时,控制所述红色光机的工作电流值按照预设梯度值降低,以减小所述三色光机的发热。可以发现,通过降低三色光机中所集成红色光机的工作电流,可以实现控制所述红色光机的过热,以实现控制三色光机、及投影设备的过热。
光机200可实施为三色光机,所述三色光机集成蓝色光机、绿色光机、红色光机。
下文中将以投影设备的光机200实施为包括蓝色光机、绿色光机、红色光机为例,对本申请实施方式进行阐述。
在一些实施例中,投影设备的光学系统由光源部分和光机部分组成,光源部分的作用是为光机提供照明,光机部分的作用是对光源提供的照明光束进行调制,最后通过镜头出射形成投影画面。
在一些实施例中,光源部分具体包括壳体、激光器组件以及光学镜片组件,激光器组件出射的光束通过光学镜片组件进行整形合光,从而为光机提供照明。其中,激光器组件包括发光芯片,准直透镜,导线等多种器件,但通常为已封装好的组件,作为组件进行使用时,相比于光学镜片也作为精密部件,光学镜片对环境的洁净度要求会更高,因为如果镜片表面积灰,一方面会影响镜片对光的处理效果,导致出射的光亮度衰减,最终影响投影设备通过镜头投出图像的效果,另一方面,灰尘会吸收高能的激光光束形成热,极易使镜片发生损坏。
在一些实施例中,光学镜片组件至少包括凸透镜,其中凸透镜为望远镜系统的组成部分,望远镜系统通常由一片凸透镜和一片凹透镜组成,用于较大面积的激光光束进行缩束,形成较小面积的激光光束。凸透镜通常面型较大,通常设置于靠近激光器出光处,可以接收大面积的激光光束,也便于作为大的窗口进行光束的透过,减小光损。
光学镜片组件还可以包括凹透镜,合光镜,匀光部件,或者消散斑部件等,用于对激光光束进行再次整形合光,满足照明系统需求。
在一些实施例中,激光器组件包括红色激光器模组、绿色激光器模组、蓝色激光器模组、各个激光器模组与相应安装口均通过密封圈(采用氟橡胶或其他密封材料皆可)防尘密封安装。
图2为根据本申请一些实施例投影设备的电路架构示意图。
在一些实施例中,本公开提供的投影设备包括多组激光器,通过在激光光源的出光路径中设置亮度传感器,亮度传感器可以检测激光光源的第一亮度值,并将第一亮度值发送至显示控制电路。
该显示控制电路可以获取每个激光器的驱动电流对应的第二亮度值,并在确定该激光器的第二亮度值与该激光器的第一亮度值的差值大于差值阈值时,确定该激光器发生COD(Catastrophic optical damage)故障;则显示控制电路可以调整激光器的对应的激光器驱动组件的电流控制信号,直至该差值小于等于该差值阈值,从而消除该蓝色激光器的COD故障;该投影设备能够及时消除激光器的COD故障,降低了激光器的损坏率,确保了投影设备的图像显示效果。
在一些实施例中,该投影设备可以包括显示控制电路10、激光光源20、至少一个激光器驱动组件30以及至少一个亮度传感器40,该激光光源20可以包括与至少一个激光器驱动组件30一一对应的至少一个激光器。其中,该至少一个包括一个或多个,多个是指两个或两个以上。
在一些实施例中,投影设备包括激光器驱动组件30和一个亮度传感器40,相应的,该激光光源20包括与激光器驱动组件30一一对应的三个激光器,该三个激光器可以分别为蓝色激光器201、红色激光器202和绿色激光器203。其中,该蓝色激光器201用于出射蓝色激光,该红色激光器202用于出射红色激 光,该绿色激光器203用于出射绿色激光。在一些实施例中,激光器驱动组件30可实施为包含多个子激光器驱动组件,分别对应不同颜色的激光器。
显示控制电路10用于向激光器驱动组件30输出基色使能信号以及基色电流控制信号,以驱动激光器发光,具体地,如图2所示,显示控制电路10与激光器驱动组件30连接,用于输出与多帧显示图像中的每一帧图像的三种基色一一对应的至少一个使能信号,将至少一个使能信号分别传输至对应的激光器驱动组件30,以及,输出与每一帧图像的三种基色一一对应的至少一个电流控制信号,将至少一个电流控制信号分别传输至对应的激光器驱动组件30。示例的,该显示控制电路10可以为微控制单元(microcontroller unit,MCU),又称为单片机。其中,该电流控制信号可以是脉冲宽度调制(pulse widthmodulation,PWM)信号。
在一些实施例中,该显示控制电路10可以基于待显示图像的蓝色基色分量输出与蓝色激光器201对应的蓝色PWM信号B_PWM,基于待显示图像的红色基色分量输出与红色激光器202对应的红色PWM信号R_PWM,基于待显示图像的绿色基色分量输出与绿色激光器203对应的绿色PWM信号G_PWM。显示控制电路可以基于蓝色激光器201在驱动周期内的点亮时长,输出与蓝色激光器201对应的使能信号B_EN,基于红色激光器202在驱动周期内的点亮时长,输出与红色激光器202对应的使能信号R_EN,基于绿色激光器203在驱动周期内的点亮时长,输出与绿色激光器203对应的使能信号G_EN。
激光器驱动组件30与对应激光器连接,用于响应于接收到的使能信号和电流控制信号,向其所连接的激光器提供对应的驱动电流,每个激光器用于在激光器驱动组件30提供的驱动电流的驱动下发光。
在一些实施例中,蓝色激光器201、红色激光器202和绿色激光器203分别与激光器驱动组件30连接。激光器驱动组件30可以响应于显示控制电路10发送的蓝色PWM信号B_PWM和使能信号B_EN,向该蓝色激光器201提供对应的驱动电流。该蓝色激光器201用于在该驱动电流的驱动下发光。
亮度传感器设置于激光光源的出光路径中,通常设置在出光路径的一侧,而不会遮挡光路。如图2所示,至少一个亮度传感器40设置在激光光源20的出光路径中,该每个亮度传感器与显示控制电路10连接,用于检测一个激光器的第一亮度值,并将第一亮度值发送至显示控制电路10。
在一些实施例中,显示控制电路10,还用于获取每个激光器的驱动电流对应的第二亮度值,若检测到该激光器的第二亮度值与该激光器的第一亮度值的差值大于差值阈值,表明该激光器发生COD故障,显示控制电路10可以调整激光器驱动组件30的电流控制信号,直至该差值小于等于该差值阈值,即通过降低激光器的驱动电流来消除该激光器的COD故障。具体地,第一亮度值和第二亮度值均表征为光输出功率值,其中第二亮度值可以是预先存储的,也可以是处于正常发光状态时的亮度传感器发回的亮度数值。如果激光器发生COD故障,通常是其光输出功率发生骤降,亮度传感器回传的第一亮度值会小于正常的第二亮度值的一半。当确认发生上述故障时,显示控制电路会减小与激光器对应的激光器驱动组件的电流控制信号,并不断采集亮度传感器回传的亮度信号并比较。
在一些实施例中,若检测到的该激光器的第二亮度值与该激光器的第一亮度值的差值小于等于差值阈值,表明该激光器未发生COD故障,则显示控制电路10无需调整与该激光器对应的激光器驱动组件30的电流控制信号。
其中,显示控制电路10中可以存储有电流与亮度值之间的对应关系。该对应关系中每个电流对应的亮度值为激光器在该电流的驱动下正常工作(即在未发生COD故障)时,该激光器能够发出的初始亮度值。例如,该亮度值可以是激光器在该电流的驱动下工作时,其首次点亮时的初始亮度。
在一些实施例中,显示控制电路10可以从该对应关系中获取每个激光器的驱动电流对应的第二亮度值,该驱动电流为激光器当前的实际工作电流,该驱动电流对应的第二亮度值为激光器在该驱动电流的驱动下正常工作时能够发出的亮度值。该差值阈值可以为显示控制电路10中预先存储的固定数值。
在一些实施例中,显示控制电路10在调整与激光器对应的激光器驱动组件30的电流控制信号时,可以降低与激光器对应的激光器驱动组件30的电流控制信号的占空比,从而降低激光器的驱动电流。
在一些实施例中,亮度传感器40可以检测蓝色激光器201的第一亮度值,并将该第一亮度值发送至显示控制电路10。该显示控制电路10可以获取该蓝色激光器201的驱动电流,并从电流与亮度值的对应关系中获取该驱动电流对应的第二亮度值。之后检测第二亮度值与第一亮度值之间的差值是否大于差值阈值,若该差值大于差值阈值,表明该蓝色激光器201发生COD故障,则显示控制电路10可以降低与该蓝色激光器201对应的激光器驱动组件30的电流控制信号。之后显示控制电路10可以再次获取蓝色激光器201的第一亮度值,以及蓝色激光器201的驱动电流对应的第二亮度值,并在第二亮度值与第一亮度值之间的差值大于差值阈值时,再次降低与该蓝色激光器201对应的激光器驱动组件30的电流控制信号。如此循环,直至该差值小于等于差值阈值。由此通过降低蓝色激光器201的驱动电流,消除该蓝色激光器201的COD故障。
在一些实施例中,显示控制电路10可以根据至少一个亮度传感器40获取到的每一个激光器的第一亮度值,以及每个激光器的驱动电流对应的第二亮度值,实时监测每个激光器是否发生COD故障。并在确定任一个激光器发生COD故障时,及时消除该激光器的COD故障,减少激光器发生COD故障的持续时长,降低该激光器的损伤,确保投影设备的图像显示效果。
图3为根据本申请一些实施例投影设备的结构示意图。
在一些实施例中,该投影设备中的激光光源可以包括独立设置的蓝色激光器201-20、红色激光器202-20和绿色激光器203-20,该投影设备也可以称为三色投影设备,蓝色激光器201-20、红色激光器202-20和绿色激光器203-20均为MCL型封装激光器,其体积小,利于光路的紧凑排布。在另外一些实施方式中,激光光源还可以在单色激光器、双色的激光器。
在一些实施例中,参考图3,该至少一个亮度传感器可以包括第一亮度传感器401-40、第二亮度传感器402-40和第三亮度传感器403-40,其中,第一亮度传感器401-40为蓝光亮度传感器或者白光亮度传感器,第二亮度传感器402-40为红光亮度传感器或者白光亮度传感器,该第三亮度传感器403-40为绿光亮度传感器或者白光亮度传感器。
其中,该第一亮度传感器401-40设置在蓝色激光器201-20的出光路径中,具体地,可以设置于蓝色激光器201-20准直光束的出光路径一侧,同理,该第二亮度传感器402-40设置在红色激光器202-20的出光路径中,具体地设置于红色激光器201-20准直光束的出光路径一侧,该第三亮度传感器403-40设置在绿色激光器203-20的出光路径中,具体地,设置于绿色激光器203-20准直光束的出光路径一侧。由于该激光器出射的激光在其出光路径中并未出现衰减,将亮度传感器设置在激光器的出光路径中,提高了亮度传感器对激光器第一亮度值检测的精度。
该显示控制电路还用于在控制蓝色激光器201-20出射蓝色激光时,读取该第一亮度传感器401-40检测的亮度值。并在控制该蓝色激光器201-20关闭时,停止读取该第一亮度传感器401-40检测的亮度值。
该显示控制电路还用于在控制红色激光器202-20出射红色激光时,读取该第二亮度传感器402-40检测的亮度值,并在控制红色激光器202-20关闭时,停止读取第二亮度传感器402-40检测的亮度值。
该显示控制电路还用于在控制绿色激光器203-20出射绿色激光时,读取该第三亮度传感器403-40检测的亮度值,并在控制绿色激光器203-20关闭时,停止读取该第三亮度传感器403-40检测的亮度值。
需要说明的是,亮度传感器也可以为一个,设置于三色激光的合光路径中。
图4为本申请另一实施例投影设备的结构示意图。
在一些实施例中,投影设备还可以包括光导管110,光导管110作为集光光学部件,用于接收并匀化输出合光状态的三色激光。
在一些实施例中,亮度传感器可以包括第四亮度传感器404,该第四亮度传感器404可以为白光亮度传感器。其中,该第四亮度传感器404设置在光导管110的出光路径中,比如设置于光导管的出光侧,靠近其出光面。以及,上述第四亮度传感器为白光亮度传感器。
该显示控制电路还用于在控制蓝色激光器201-20、红色激光器202-20和绿色激光器203-20分时开启时,读取该第四亮度传感器404检测的亮度值,以确保该第四亮度传感器404可以检测到该蓝色激光器201-20的第一亮度值、该红色激光器202-20的第一亮度值和该绿色激光器203-20的第一亮度值。并在控制该蓝色激光器201-20、红色激光器202-20和绿色激光器203-20均关闭时,停止读取该第四亮度传感器404检测的亮度值。
在一些实施例中,在投影设备投影图像的过程中,该第四亮度传感器404一直处于开启状态。
在一些实施例中,参考图3或图4,该投影设备还可以包括第四二向色片604、第五二向色片605、第五反射镜904、第二透镜组件、扩散轮150、TIR透镜120、DMD 130和投影镜头140。其中,该第二透镜组件包括第一透镜901-90、第二透镜902-90和第三透镜903-90。该第四二向色片604可以透过蓝色激光,反射绿色激光。该第五二向色片605可以透过红色激光,反射绿色激光和蓝色激光。
该蓝色激光器201-20出射的蓝色激光透过第四二向色片604,再经过第五二向色片605反射进入第一透镜901-90聚光。红色激光器202-20出射的红色激光透过第五二向色片605直接进入第一透镜901-90聚光。绿色激光器203-20出射的绿色激光经过第五反射镜904反射,依次经过第四二向色片604和第五二向色片605反射后进入第一透镜901-90聚光。经过第一透镜901-90聚光后的蓝色激光、红色激光和绿色激光分时透过旋转的扩散轮150进行消散斑,并投射到光导管110匀光后,经过第二透镜902-90和第三透镜903-90整形后进入TIR透镜120全反射,并经过DMD130反射后再透过TIR透镜120,最后经过投影镜头140投射至显示屏幕上,形成需要显示的图像。
图5为根据本申请一些实施例投影设备的电路结构示意图。
在一些实施例中,激光器驱动组件可以包括驱动电路301、开关电路302和放大电路303。该驱动电路301可以为驱动芯片。该开关电路302可以为金属氧化物半导体(metal-oxide-semiconductor,MOS)管。
其中,该驱动电路301分别与开关电路302、放大电路303以及激光光源所包括的对应的激光器连接。该驱动电路301用于基于显示控制电路10发送的电流控制信号通过VOUT端向激光光源中对应的激光器输出驱动电流,并通过ENOUT端将接收到的使能信号传输至开关电路302。其中,该激光器可以包括串联的n个子激光器,分别为子激光器LD1至LDn。n为大于0的正整数。
开关电路302串联在激光器的电流通路中,用于在接收到的使能信号为有效电位时,控制电流通路导通。
放大电路303分别与激光光源20的电流通路中的检测节点E和显示控制电路10连接,用于将检测到的激光器组件的驱动电流转换为驱动电压,放大该驱动电压,并将放大后的驱动电压传输至显示控制电路10。
显示控制电路10还用于将放大后的驱动电压确定为激光器的驱动电流,并获取该驱动电流对应的第二亮度值。
在一些实施例中,放大电路303可以包括:第一运算放大器A1、第一电阻(又称取样功率电阻)R1、第二电阻R2、第三电阻R3和第四电阻R4。
第一运算放大器A1的同相输入端(又称正端)与第二电阻R2的一端连接,第一运算放大器A1的反相输入端(又称负端)分别与第三电阻R3的一端和第四电阻R4的一端连接,第一运算放大器A1的输出端分别与第四电阻R4的另一端和处理子电路3022连接。第一电阻R1的一端与检测节点E连接,第一电阻 R1的另一端与参考电源端连接。第二电阻R2的另一端与检测节点E连接,第三电阻R3的另一端与参考电源端连接。该参考电源端为接地端。
在一些实施例中,第一运算放大器A1还可以包括两个电源端,其中一个电源端与电源端VCC连接,另一个电源端可以与参考电源端连接。
激光光源所包括的激光器的较大的驱动电流通过第一电阻R1后产生压降,该第一电阻R1一端(即检测节点E)的电压Vi通过第二电阻R2传输至第一运算放大器A1的同相输入端,经过第一运算放大器A1放大N倍后输出。该N为该第一运算放大器A1的放大倍数,且N为正数。该放大倍数率N可以使得第一运算放大器A1输出的电压Vfb的数值为激光器的驱动电流的数值的整数倍。示例的,电压Vfb的数值可以与该驱动电流的数值相等,从而便于显示控制电路10将该放大后的驱动电压确定为激光器的驱动电流。
在一些实施例中,显示控制电路10、驱动电路301、开关电路302和放大电路303形成闭环,以实现对该激光器的驱动电流的反馈调节,从而使得该显示控制电路10可以通过激光器的第二亮度值与第一亮度值的差值,及时调节该激光器的驱动电流,也即是及时调节该激光器的实际发光亮度,避免激光器长时间发生COD故障,同时提高了对激光器发光控制的准确度。
需要说明的是,参考图3和图4,若激光光源包括一个蓝色激光器、一个红色激光器和一个绿色激光器。该蓝色激光器201可以设置在L1位置处,该红色激光器202可以设置在L2位置处,绿色激光器203可以设置在L3位置处。
参考图3和图4,L1位置处的激光经过第四二向色片604一次透射,再经过第五二向色片605反射一次后进入第一透镜901中。该L1位置处的光效率P1=Pt×Pf。其中,Pt表示的是二向色片的透射率,Pf表示的是二向色片或者第五反射率的反射率。
在一些实施例中,在L1、L2和L3三个位置中,L3位置处的激光的光效率最高,L1位置处的激光的光效率最低。由于蓝色激光器201输出的最大光功率Pb=4.5瓦(W),红色激光器202输出的最大光功率Pr=2.5W,绿色激光器203输出的最大光功率Pg=1.5W。即蓝色激光器201输出的最大光功率最大,红色激光器202输出的最大光功率次之,绿色激光器203输出的最大光功率最小。因此将绿色激光器203设置在L3位置处,将红色激光器202设置在L2位置处,将蓝色激光器201设置在L1位置处。也即是将绿色激光器203设置在光效率最高的光路中,从而确保投影设备能够获得最高的光效率。
在一些实施例中,显示控制电路10,还用于当激光器的第二亮度值与激光器的第一亮度值的差值小于等于差值阈值时,恢复与激光器对应的激光器驱动组件的电流控制信号至初始值,该初始值为正常状态下对激光器的PWM电流控制信号的大小。从而,当激光器发生COD故障时,可以快速的识别,并及时采取降低驱动电流的措施,减轻激光器自身的持续损伤,帮助其自恢复,整个过程中不需要拆机和人为干涉,提高了激光器光源使用的可靠性,保证了激光投影设备的投影显示质量。
在一些实施例中,控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM Random Access Memory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
在一些实施例中,投影设备启动后可以直接进入上次选择的信号源的显示界面,或者信号源选择界面,其中信号源可以是预置的视频点播程序,还可以是HDMI接口,直播电视接口等中的至少一种,用户选择不同的信号源后,投影机可以显示从不同信号源获得的内容。
本申请实施例可以应用于各种类型的投影设备。下文对投影设备、及基于光机相机标定的投影图像校正方法进行阐述。
在一些实施例中,投影设备配置的相机可具体实施为3D相机,或双目相机;在相机实施为双目相机时,具体包括左相机、以及右相机;双目相机可获取投影设备对应的幕布,即投影面所呈现的图像及播放内容,该图像或播放内容由投影设备内置的光机进行投射。
当投影设备移动位置后,其投射角度、及至投影面距离发生变化,会导致投影图像发生形变,投影图像会显示为梯形图像、或其他畸形图像;投影设备控制器可基于深度学习神经网络,通过耦合光机投影面之间夹角和投影图像的正确显示实现自动梯形校正;但是,该修正方法修正速度慢,且需要大量的场景数据进行模型训练才能达到一定的精度,因此不适合用户设备发生的即时、快速校正场景。
在一些实施例中,对于投影图像校正,可预先创建距离、水平夹角、及偏移角之间的关联关系;然后投影设备控制器通过获取光机至投影面的当前距离,结合所属关联关系确定该时刻光机与投影面的夹角,实现投影图像校正。所述夹角具体实施为光机中轴线与投影面的夹角,在一些复杂环境下可能会发生提前创建的关联关系不能适应所有复杂环境的情况,而导致投影图像校正失败、或校正进度下降。
在一些实施例中,投影设备通过结合其工作模式、工作场景的动态切换调光,可最大程度发挥两种调光方式优点、弱化其缺点造成的影响。投影设备通过其配置组件可实时监测设备移动,并将监测结果即时反馈至投影设备控制器,以实现投影设备移动后,控制器即时启动图像校正功能在第一时间实现投影图像自动校正。
例如,通过投影设备配置的陀螺仪、或TOF(Time of Flight:飞行时间)传感器,控制器接收来自陀螺仪、TOF传感器的监测数据,以判定投影设备是否发生移动;在判定投影设备发生移动后,控制器将启动投影画面自动校正流程和/或避障流程,从而实现诸如梯形投影区域校正功能、以及投影障碍物规避功能。
其中,飞行时间传感器通过调节发射脉冲的频率改变实现距离测量和位置移动监测,其测量精度不会随着测量距离的增大而降低,且抗干扰能力强。投影设备发出的激光通过DMD(Digital Micromirror Device:数字微镜器件)芯片的纳米级镜片反射,其中光学镜头也是精密元件,当像面、以及物面不平行时,会使得投影到屏幕的图像发生几何形状畸变。
图6示出了根据本申请一些实施例投影设备实现显示控制的系统框架示意图。
在一些实施例中,投影设备具备长焦微投的特点,其控制器通过预设算法可对投影光图像进行显示控制,以实现显示画面自动梯形校正、自动入幕、自动避障、自动对焦、以及防射眼等功能。
投影设备通过基于几何校正的显示控制方法,可实现长焦微投场景下的灵活位置移动;设备在每次移动过程中,针对可能出现的投影画面失真、投影面异物遮挡、投影画面从幕布异常等问题,控制器可控制投影设备实现自动显示校正功能,使其自动恢复正常显示。
在一些实施例中,基于几何校正的显示控制系统,包括应用程序服务层(APK Service:Android application package Service)、服务层、以及底层算法库。
应用程序服务层用于实现投影设备和用户之间的交互;基于用户界面的显示,用户可对投影设备的各项参数以及显示画面进行配置,控制器通过协调、调用各种功能对应的算法服务,可实现投影设备在显示异常时自动校正其显示画面的功能。
服务层可包括校正服务、摄像头服务、飞行时间(TOF)服务等内容,所述服务向上对应于应用程序服务层(APK Service),实现投影设备不同配置服务的对应特定功能;服务层向下对接算法库、相机、飞行时间传感器等数据采集业务,实现封装底层复杂逻辑、并将业务数据传送至对应服务层的功能。
底层算法库提供校正服务、以及投影设备实现各种功能的控制算法,算法库可基于OpenCV(基于许可开源)完成各种数学运算,为校正服务提供基础计算能力;OpenCV是一个可开源发行的跨平台计算机视觉、机器学习软件库,可以运行在多种现有操作系统环境中。
在一些实施例中,投影设备配置有陀螺仪传感器;设备在移动过程中,陀螺仪传感器可感知位置移动、并主动采集移动数据;然后通过系统框架层将已采集数据发送至应用程序服务层,支撑用户界面交互、应用程序交互过程中所需应用数据,采集数据还可用于控制器在算法服务实现中的数据调用。
在一些实施例中,投影设备配置有飞行时间(TOF)传感器,在飞行时间传感器采集到相应数据后,所述数据将被发送至服务层对应的飞行时间服务;上述飞行时间服务获取数据后,将采集数据通过进程通信框架发送至应用程序服务层,数据将用于控制器的数据调用、用户界面、程序应用等交互使用。
在一些实施例中,投影设备配置有用于采集图像的相机,所述相机可实施为双目相机、或深度相机、或3D相机等;相机采集数据将发送至摄像头服务,然后由摄像头服务将采集图像数据发送至进程通信框架、和/或投影设备校正服务;所述投影设备校正服务可接收摄像头服务发送的相机采集数据,控制器针对所需实现的不同功能可在算法库中调用对应的控制算法。
在一些实施例中,通过进程通信框架、与应用程序服务进行数据交互,然后经进程通信框架将计算结果反馈至校正服务;校正服务将获取的计算结果发送至投影设备操作系统,以生成控制信令,并将控制信令发送至光机控制驱动以控制光机工况、实现显示图像的自动校正。
在一些实施例中,投影设备可投影出目标尺寸的画面,该目标尺寸与光机、投影设备摆放位置等因素有关;
例如,投影设备可投影出75-100英寸的画面;用户在购买投影设备后,经过投影安装调试,使处于A位置的投影设备可获取合适的投影区域,所述投影区域呈矩形,通常可完整、准确的覆盖对应的矩形幕布,如图7A左侧所示;当投影设备由A位置移动至B位置后,经常会生成畸形投影图像,如图7A右侧所示;出于打扫、移动等原因造成投影设备摆放位置改变,而投影幕布固定的情况下,将导致投影图像位置、形状发生变化,造成投影图像与矩形幕布不吻合的问题。
因此,当投影设备位置改变时,用户需要及时调整投影设备,使其回到原来摆放位置,以实现调整投影图像和矩形幕布的相对位置,促使投影图像与矩形幕布吻合;但对不熟悉投影设备功能设置的普通用户来说,通常在调整位置后投影图像仍然呈现畸形、不能入幕的问题;
通过本申请提供的投影设备、以及基于光机相机标定的投影图像校正方法,可实现软件方式校正,无需用户人为调整投影设备位置,如图7F所示,下文将就畸形投影图像的校正进行阐述。
图7B示出了本申请另一实施例投影设备与标定板的相对位置示意图。
投影图像校正服务启动后,投影设备用户界面将提示用户进行标定参数获取,该标定参数包括光机内参、及光机相机间的外参;用户需要将标定板放置于矩形幕布表面,通过现场标定的方式,可解决上述参数实际值与理论值之间误差过大的问题。其中,标定参数的理论值是指投影设备在制造出厂时已标注于设备外壳、或说明书的设备参数,所述理论值通常基于投影设备的功能、组装、制造、零件而确定,适用于同一型号的所有投影设备产品;而标定参数的实际值则是通过本申请实施例提供的标定方案现场测量、获取的实际值,对于同一型号的不同投影设备产品,该实际值可能会存在微小差异。
在一些实施例中,投影设备通过和标定板的配合使用,可实现标定参数的确定。标定板可设置于矩形幕布中央,所述标定板包括两部分,分别是右侧的标定图卡和左侧的空白区域,如图7B所示。
左侧空白区域主要用于显示光机投射标定图卡生成的投影图像,从而利用所述投影图像和标定板右侧固有标定图卡共面的特点确定标定参数,以得到准确的光机内参、和光机相机间外参,下文将就确定标定参数进行详细阐述。
在确定标定参数的过程中,首先将标定板设置于矩形幕布的中央位置,该标定板右侧固有标定图卡可实施为黑白相间的棋盘格;
然后控制光机投射同样的棋盘格图像至该标定板左侧空白区域,并控制相机获取该时刻的标定板图像,可以发现,所述标定板图像可显示空白区域的棋盘格投影图像和右侧固有棋盘格图像,如图7C所示;
需要说明的是,在一些实施例中,光机投射的标定图卡、及标定板固有标定图卡还可实施为圆环图案,如图7G所示;棋盘格标定图卡包含的特征点为矩形的角点,圆环标定图卡包含的特征点为各圆环上对应的实心点。需要说明的是,所述标定板中的空白区域、标定图卡在布局上除了如附图中所示的左右排布外,还可设置如上下排布、对角线排布等布局,所述空白区域、标定图卡在标定板中的布局顺序可调换;在一些实施例中,该标定图卡还可实施为上述两类图案的组合,或该标定图卡还可实施为其它具有可识别特征点的图案。
在一些实施例中,对于实施为棋盘格的标定图卡,控制器提取标定板图像中右侧固有棋盘格的角点,获取相机坐标系下该角点的像素坐标;然后创建世界坐标系,所述世界坐标系以该标定板平面为XOY面,将右侧固有棋盘格第一个矩形的角点设定为原点,所述世界坐标系的Z轴垂直于该标定板平面。
控制相机拍摄标定板图像,通过相机坐标系下提取投影图像中棋盘格角点与世界坐标系下固有棋盘格角点之间的对应关系,可计算获得相机内参A,以及光机相机间外参,所述外参包括旋转矩阵R[i]和平移矩阵t[i],标定板图像中的特征点如图7D中所示。
需要说明的是,在附图中对特征点进行了标注;但在投影设备实际投射标定图卡至标定板过程中,该标定板可不实际显示所述特征点。
在一些实施例中,为了提高所确定标定参数的精度,控制器可控制相机拍摄预设数量的标定板图像,并基于每个图像识别提取标定板图像中的特征点。
例如,将实施为棋盘格标定图卡的标定板按逆时针进行旋转以获得不同拍照姿态,如图7E所示;然后在获取的标定板图像中识别相机坐标系下的投影图像角点坐标,即基于相机获取的多个标定板图像,分别识别相机坐标系下空白区域中棋盘格投影图像的角点坐标。其中,在所述预设数量为25时,相机被设置为总计拍摄25张标定板图像,在标定板位于起始位置时连续拍摄5张图片,每逆时针旋转15度后再次连续拍摄5张,直至相机获取25张图片为止。
由于光机投射的投影图像在投影面,标定板也设置于所述投影面,因而所述投影图像与标定板固有棋盘格共面,所以光机所投射的棋盘格角点与标定板固有棋盘各角点在相同世界坐标系下,从而世界坐标系至相机坐标系的转换关系相同,即标定板不同姿态下相机的内参A与外参R[i]、t[i]均相同。通过创建世界坐标系,基于投影图像中角点与世界坐标系下标定板固有标定图卡中角点的对应关系,可确定标定参数。
例如,控制器提取相机获取标定板图像中棋盘格投影图像的角点,所述角点为特征点;然后利用每张图像固有棋盘格的角点求解相机内参、及外参;然后将投影图像中的棋盘格角点从相机坐标系转换至世界坐标系,这样便求得了投影面上所有特征点的世界坐标。
设相机获取的标定板图像中,棋盘格投影图像角点在相机坐标系下表示为m′(u,v),根据上述步骤中获取的相机内参A、及外参旋转矩阵R[i]与平移矩阵t[i],可求得棋盘格投影图像在世界坐标系下的坐标,表示为M′(X,Y,Z);
通过下列公式,可求得标定板在每个姿态下,投影面中棋盘格投影图像角点的世界坐标M′,所述公式(1)表示如下:
s·m′=A·[R|t]·M′ (1)
或表示为公式(2):
其中,矩阵
表示内参A,矩阵
表示外参[R|t];
在一些实施例中,光机DMD(数字微镜器件平面)平面可以看成是相机成像面,此时每个标定板姿态下投影面中标定图卡特征点的世界坐标可通过上述步骤获得,可以采用上述相机标定算法去标定光机的内参;可以发现,光机投影过程可理解为相机获取图像的逆向过程,因此可按照相机标定方法去标定光机。
在一些实施例中,为了满足投影设备摆放在桌面时向斜上方投射、或投影设备吊装在天花板时向斜下方投射投影图像,光机DMD平面会出现下移、或上移的现象,此时DMD平面中心将会远离透镜轴心,为了让DMD平面中心还在透镜轴心上,可在标定过程中虚拟DMD成像面。
例如,原DMD平面尺寸为1920*1080像素,为使光机投射角度上扬,需要控制DMD平面下移第一距离,假设DMD平面下移1080个像素,所述DMD平面、成像面移动示意如图8A所示。
为使DMD成像面的中心还在透镜轴心,在成像面上方对应的扩展第一距离,如填充1920*1080的纯色像素,所述填充部分可实际补充为黑色或白色,该时刻原有DMD成像面将变更为1920*2160的DMD成像面。
因此标定光机时,DMD成像面将按照1920*2160像素区域去标定,此时DMD成像面的标定图卡特征点像素坐标发生变化,特征点的纵坐标比原值增加1080像素,如图8B所示;在原标定成像面中,成像面宽为1920像素,高为1080像素;经过扩展后,其宽值不变,高值扩展至2160像素,即扩展后的成像面尺寸变更为1920*2160像素区域。
在一些实施例中,投影设备吊装于天花板,光机需要向斜下方投影时,DMD平面将向上平移。例如,DMD平面为1920*1080像素区域,DMD平面向上平移1080像素后,此时可认为DMD成像面的下方1080行像素均为纯色,标定时认为DMD成像面尺寸变为1920*2160,光机投射的标定图卡特征点在DMD成像面的坐标值不变。
同理,基于上述步骤可实现投影光机向左、向右投影时DMD平面发生平移的光机标定;基于上述光机标定方法可以实现任意DMD平面向任意方向平移任意距离的光机内参、以及光机相机间外参的标定。
例如,光机DMD平面中心在透镜轴时,如果将光机放置在地面,此时投影到墙面将无法获得完整的投影图像,因此需要将DMD平面下移,以使光机投射的成像面上移,避免投影设备放置在水平地面、桌面等场景中无法在墙面获取完整投影图像的问题;可以发现,在光机的数字微镜器件平面偏移透镜中轴第一距离时,基于透镜成像原理,将光机的成像面反向标定扩展相应的第一距离,可以使数字微镜器件平面向任意方向平移任意距离时,投影设备仍然可准确获取标定参数,保障图像校正的准确性。
基于DMD成像面特征点在相机坐标系中的像素坐标,投影面特征点在世界坐标系中的坐标,及相机成像面特征点坐标组成双目系统,可实现光机相机间外参的标定。例如,投影设备的显示图像校正服务启动后,在标定参数确定步骤中,控制光机投射标定图卡至矩形幕布,校正服务将通知算法服务开启光机相机标定流程;
算法服务调用相机进行拍照,获取预设数量的标定板照片并将其存储;在判定已存储照片达到所述 预设数量时,将返回校正服务拍照成功信息;如判定已存储照片未达到预设数量时,则提示重新拍照;
标定图卡实施为棋盘格,相机成功获取标定板图像后,控制器将调用光机相机标定算法进行标定参数确定;首先识别提取预设数量的标定板图像中的固有棋盘格角点;若不能在标定板图像中识别提取标定板固有棋盘格角点,则返回角点提取失败信息并提示重新拍摄;若识别提取到所有标定板图像的标定板固有棋盘格角点,则进行标定板图像中棋盘格投影图像角点识别提取步骤;如不能识别提取标定板图像中投影图像角点,则返回角点提取失败重新拍摄信息;如成功提取到所有标定板图像中投影图像角点,则进入光机内参与光机相机间外参的计算步骤,如图9A所示,包括:
步骤901,标定服务启动;
步骤902,控制光机投射标定图卡;
步骤903,调整相机拍摄预设数量图片;
步骤904,判断图片是否达到预设数量,若否,执行步骤905,否则执行步骤906;
步骤905,提示拍摄失败,重新拍摄;
标定板图像的特征点包括标定板空白区域中投影图像的特征点、以及标定板所设置标定图卡本身的特征点;在判定获取标定板图像数量小于所述预设数量、或识别提取特征点失败时,投影设备重新执行标定参数确定步骤。
步骤906,提示拍照成功,提取预设数量图片中标定板棋盘格角点;
步骤907,判断是否提取到棋盘格角点,若否,执行908,否则执行步骤909;
步骤908,提示棋盘格角点提取失败,重新拍照;
步骤909,提示棋盘格角点提取成功,提取预设数量图片中投射图像特征点;
步骤910,是否提取到投射图像特征点,若否,执行步骤911,否则执行步骤912;
步骤911,提示投射图像特征点提取失败,请重新拍照;
步骤912,提示投射图像特征点提取成功,计算光机内参及光机间外参;
步骤913,标定参数与理论值的差值是否在阈值范围内容,若在,标定成功,否则,执行步骤914;
步骤914,请检查照片质量与其结构是否存在异常。
在一些实施例中,为减小标定参数的误差,当获取标定参数与预设理论值的差值小于等于预设阈值时,可判定标定参数获取成功;否则,重新执行标定参数确定步骤,如图9A示出的标定参数逻辑示意图。
例如,对上述步骤获取的光机内参以及光机相机间外参进行校验;将标定计算获取的光机内参及光机相机间外参与投影设备出厂时的理论值进行比对;若差值在阈值范围内则返回校正服务标定成功信息;若差值超出阈值范围之外,则提示检验照片质量、以及提示投影设备结构是否损坏信息、返回校正服务标定失败信息,其用户界面如图9B所。
在一些实施例中,控制器检测到投影设备移动、或检测到畸形投影图像时,控制器将启动投影图像校正服务。
首先将控制光机投射标定图卡至矩形幕布,然后控制双目相机拍摄标定图卡的投影图像;基于双目相机,可获取投影图像中标定图卡特征点在相机坐标系下的坐标,表示为P(x,y,z);然后利用上述步骤所获取的标定参数,计算得到特征点在光机坐标系下的坐标;
标定参数在一些具体实施例中可表示为公式(3)、公式(4)、及公式(5):
其中,mr为光机(3*3)内参矩阵,RRR为光机相机间旋转矩阵,TTT为光机相机间平移矩阵;
基于上述实施例获取的标定参数、及控制相机获取的标定板图像在相机坐标系下的坐标,可确定世界坐标系和光机坐标系之间的转换矩阵。
其中所述投影面上特征点在光机坐标系下的坐标可表示为公式(6):
P′(x′,y′,z′)=RRR*P+TTT (6)
根据标定参数,控制器可实现将标定板图像的特征点从相机坐标系转换至光机坐标系。
基于投影面和标定板共面特性,将光机坐标系下标定板图像的所有特征点进行拟合,可获取光机坐标系下该投影面的单位法向量;
首先,根据投影面上所有特征点在光机坐标系下的坐标,可拟合出光机坐标系下投影面方程,表示为公式(7):
z=ax+by+c (7);
或公式(8)
然后,该投影面在光机坐标系下的单位法向量可表示为公式(9):
所创建的世界坐标系原点在光机坐标系原点处,XOY面平行于该投影面,Z轴垂直于该投影面,因而在世界坐标系下,该投影面单位法向量可表示为公式(10):
m=(0,0,1)*T (10);
根据该投影面单位法向量在不同坐标系的表示,可求得光机坐标系和世界坐标系之间的旋转矩阵R1,其相互关系表示为公式(11):
m=R1*n (11);
在一些实施例中,控制器将预设投影区域的矩形顶点在世界坐标系下的第一坐标,基于前文中所获取的转换矩阵转换为光机坐标系下的第二坐标,即可实现修正光机投射所需的实际位置坐标值,也可以理解为光机投射播放内容至第二坐标后即可完成畸形投影图像的修正。
例如,在世界坐标系下,矩形幕布四个顶点如图7A所示,分别表示为:
A(x
1,y
1,z),B(x
2,y
2,z),C(x
3,y
3,z),D(x
4,y
4,z);
基于光机坐标系和世界坐标系间的旋转矩阵,可将上述矩形幕布四个顶点转换至光机坐标系下,其中光机系统可看作相机系统的逆系统,即可得到光机所需投射矩形区域的顶点坐标,如A点在光机坐标系下的坐标A′,可表示为公式(12):
(A′)
T=mr*R
1*A
T (12);
同理,根据上述方法可得到矩形幕布其他三个顶点B、C、D转换至光机坐标系下时对应的坐标B′、C′、D′,实现投影设备投射畸形图像后,通过显示图像校正功能再次控制光机投射播放内容至投影面的预设投影区域,完成投影图像校正,如图7F所示。
基于上文投影设备实现基于光机相机标定的投影图像校正方案和相关附图的介绍,本申请还提供了一种基于光机相机标定的投影图像校正方法,所述方法在投影设备实现基于光机相机标定的投影图像校正方案中已进行详细阐述,在此不再赘述。
本申请实施例的有益效果在于,通过投射标定图卡至标定板,可实现标定参数实际值的获取;进一步通过构建转换矩阵,可实现世界坐标系中的预设投影区域转换至光机坐标系;进一步通过投射播放内容至第二坐标,可实现投影图像的位置校正,可提高标定参数的精度、提升投影图像的校正效果。
图10为了本申请另一实施例投影设备实现防射眼功能的信令交互时序示意图。
在一些实施例中,投影设备可实现防射眼功能,防止用户偶然进入投影设备射出激光轨迹范围内而导致的视力损害危险,在用户进入投影设备所在的预设特定非安全区域时,控制器可控制用户界面显示对应的提示信息,以提醒用户离开当前区域,控制器还可控制用户界面降低显示亮度,以防止激光对用户视力造成伤害。
如图10所示,包括步骤1001,触发策略控制:投影设备被配置为儿童观影模式时,控制器将自动开启防射眼开关;在接收陀螺仪传感器发送的位置移动数据、或接收其它传感器所采集的异物入侵数据后,控制器将控制投影设备开启防射眼开关;在飞行时间(TOF)传感器、摄像头所采集数据触发任一预设阈值条件时,控制器将控制用户界面降低显示亮度、显示提示信息、降低光机发射功率、亮度、强度。
步骤1002,校正服务向飞行时间传感器发送信令,查询投影设备当前状态,控制器将接受来自飞行时间传感器的数据反馈;
步骤1003,校正服务向进程通信框架发送通知算法服务以启动防射眼流程信令;
步骤1004,进程通信框架将从算法库进行服务能力调用以调取对应算法服务,所述算法可包括拍照检测算法、截图画面算法、以及异物检测算法等;
步骤1005,所述进程通信框架基于上述算法服务可返回异物检测结果至校正服务;
步骤1006,针对返回结果,若达到预设阈值条件,控制器将控制用户界面显示提示信息、降低显示亮度。
在一些实施例中,防射眼在开启状态下,用户进入预设特定区域时,投影设备将自动降低光机发出激光强度、降低用户界面显示亮度、显示安全提示信息;投影设备对上述防射眼功能的控制,可通过以下方法实现,如图15所示:
基于相机获取的投影画面,利用边缘检测算法识别投影设备的投影区域;在投影区域显示为矩形、或类矩形时,控制器通过预设算法获取上述矩形投影区域四个顶点的坐标值;
在实现对于投影区域内的异物检测时,可使用透视变换方法将投影区域校正为矩形,计算矩形和投影截图的差值,以实现判断显示区域内是否有异物;若判断结果为存在异物,投影设备自动启动防射眼。
在实现对投影范围外一定区域的异物检测时,可将当前帧的相机内容、和上一帧的相机内容做差值,以判断投影范围外区域是否有异物进入;若判断有异物进入,将触发防射眼功能的启动。
步骤1501,开启防射眼;
投影设备还可利用飞行时间(ToF)相机、或飞行时间传感器检测特定区域的实时深度变化;若深度值变化超过预设阈值,投影设备将自动触发防射眼功能。
在一些实施例中,投影设备基于采集的飞行时间数据、截图数据、以及相机数据分析判断是否需要开启防射眼功能。
例如,步骤1502,获取采集的飞行时间数据;步骤1503,控制器做深度差值分析;步骤1504,如果深度差值大于预设阈值X,所述预设阈值X实施为0时,则可判定有异物已处于投影设备的特定区域;步骤1505,画面变暗,弹出提示;
若用户位于特定区域,其视力存在被激光损害风险,投影设备将自动启动防射眼功能,以降低光机发出激光强度、降低用户界面显示亮度、并显示安全提示信息。
又例如,步骤1506,采集截图数据;步骤1507,加色模式(RGB)的差值分析;步骤判断是否大于阈值Y;在差值大于预设阈值Y时,可判定有异物处于投影设备的特定区域;步骤1505,画面变暗,弹出提示;所述特定区域内若存在用户,其视力存在被激光损害风险,投影设备将自动启动防射眼功能。
又例如,步骤1509,采集相机数据;步骤1510,获取投影坐标;步骤1511,确定投影设备的目标投影区域;步骤1507,在投影区域内进行加色模式(RGB)的差值分析;步骤1508,如果色加模式差值大于预设阈值Y时,则可判定有异物已处于投影设备的特定区域;步骤1505,画面变暗,弹出提示;所述特定区域内若存在用户,其视力存在被激光损害的风险,投影设备将自动启动防射眼功能,降低发出激光强度、降低用户界面显示亮度并显示对应的安全提示信息。
步骤1512,获取的投影坐标处于扩展区域;步骤1513,控制器仍可在所述扩展区域进行加色模式(RGB)的差值分析;步骤1514,判断是否大于阈值Y,如果差值大于预设阈值Y,则可判定有异物已处于投影设备的特定区域;步骤1505,画面变暗,弹出提示;投影设备将自动启动防射眼功能,如图15所示。
图11示出了本申请另一实施例投影设备实现显示画面校正功能的信令交互时序示意图,主要包括:
步骤1101,投影设备通过陀螺仪对设备移动进行监测。校正服务向陀螺仪发出用于查询设备状态的信令,并接收陀螺仪所反馈用于判定设备是否发生移动的信令。
显示校正策略可配置为:在陀螺仪、飞行时间传感器同时发生变化时,投影设备优先触发梯形校正;在梯形校正进行时,控制器不响应遥控器按键发出的指令,以配合梯形校正的实现,投影设备将打出纯白图卡。
其中,梯形校正算法可基于双目相机构建世界坐标系下投影面与光机坐标系的转换矩阵,结合光机内参,计算出投影图像与播放图卡的单应性关系,所单应性关系也称为映射关系,并利用该单应性关系实现投影图像与播放图卡之间的任意形状转换,如图11所示。
步骤1102,校正服务发送用于通知算法服务启动梯形校正流程的信令至进程通信框架,所述进程通信框架进一步发送服务能力调用信令至算法服务,以获取能力对应的算法;
步骤1103,算法服务获取执行拍照和画面算法处理服务、避障算法服务,并将其通过信令携带发送至进程通信框架;
步骤1104,进程通信框架执行上述算法,并将执行结果反馈给校正服务,所述执行结果可包括拍照成功、以及避障成功等反馈信息。
步骤1105,投影设备执行上述算法、或数据传送过程中,若出现错误,校正服务将控制用户界面显示出错返回提示;
步骤1106,控制用户界面再次梯形校正、自动对焦图卡。通过自动避障算法,投影设备可识别幕布;并利用投影变化,将投影画面校正至幕布内显示,实现与幕布边沿对齐的效果,通过自动对焦算法,投 影设备可利用飞行时间(ToF)传感器获取光机与投影面距离,基于所述距离在预设的映射表中查找最佳像距,并利用图像算法评价投影画面清晰程度,以此为依据实现微调像距。
步骤1107,校正服务发送至进程通信框架的自动梯形校正信令可包含其他功能配置指令,例如包含是否实现同步避障、是否入幕等控制指令。
步骤1108,进程通信框架发送服务能力调用信令至算法服务;
步骤1109,算法服务获取执行自动对焦算法,实现调节设备与幕布之间的视距;
步骤1110,在应用自动对焦算法实现功能后,算法服务还可获取、执行自动入幕算法,过程中可包含梯形校正算法。
步骤1111,投影设备执行自动入幕;
步骤1112,算法服务设置投影设备与幕布之间的8位置坐标;
步骤1113,再次通过自动对焦算法,实现投影设备与幕布的视距调节;
步骤1114,将校正结果反馈至校正服务;
步骤1115,控制用户界面显示校正结果,如图11所示。
在一些实施例中,投影设备通过自动对焦算法,利用其配置的激光测距可获得当前物距,以计算初始焦距、及搜索范围;然后投影设备驱动相机(Camera)进行拍照,并利用对应算法进行清晰度评价。
投影设备在上述搜索范围内,基于搜索算法查找可能的最佳焦距,然后重复上述拍照、清晰度评价步骤,最终通过清晰度对比找到最优焦距,完成自动对焦。
例如,如图12所示,步骤1201,投影设备启动;步骤1202,用户移动设备,投影设备自动完成校正后重新对焦;步骤1203,控制器将检测自动对焦功能是否开启;当自动对焦功能未开启时,控制器将结束自动对焦业务;步骤1204,当自动对焦功能开启时,投影设备将通过中间件获取飞行时间(TOF)传感器的检测距离进行计算;
步骤1205,控制器根据获取的距离查询预设的映射表,以获取投影设备的大致焦距;步骤1206,中间件将获取焦距设置到投影设备的光机;
步骤1207,光机以上述焦距进行发出激光后,摄像头将执行拍照指令;步骤1208,控制器根据获取的拍照结果、评价函数,判断投影设备对焦是否完成;如果判定结果符合预设完成条件,则控制自动对焦流程结束;步骤1209,如果判定结果不符合预设完成条件,中间件将微调投影设备光机的焦距参数,例如可以预设步长逐渐微调焦距,并将调整的焦距参数再次设置到光机;从而实现反复拍照、清晰度评价步骤,最终通过清晰度对比找到最优焦距完成自动对焦。
在一些实施例中,本申请提供的投影设备可通过梯形校正算法实现显示校正功能。
首先基于标定算法,可获取两相机之间、相机与光机之间的两组外参,即旋转、平移矩阵;然后通过投影设备的光机播放特定棋盘格图卡,并计算投影棋盘格角点深度值,例如通过双目相机之间的平移关系、及相似三角形原理求解xyz坐标值;之后再基于所述xyz拟合出投影面、并求得其与相机坐标系的旋转关系与平移关系,具体可包括俯仰关系(Pitch)和偏航关系(Yaw)。
通过投影设备配置的陀螺仪可得到卷(Roll)参数值,以组合出完整旋转矩阵,最终计算求得世界坐标系下投影面到光机坐标系的外参。
结合上述步骤中计算获取的相机与光机的R、T值,可以得出投影面世界坐标系与光机坐标系的转换关系;结合光机内参,可以组成投影面的点到光机图卡点的单应性矩阵。
最终在投影面选择矩形,利用单应性反求光机图卡对应的坐标,该坐标就是校正坐标,将其设置到光机,即可实现梯形校正。
例如,流程如图13所示:
步骤1301,投影设备控制器获取照片像素点对应点的深度值,或投影点在相机坐标系下的坐标;
步骤1302,通过深度值,中间件获取光机坐标系与相机坐标系关系;
然后步骤1303,控制器计算得到投影点在光机坐标系下的坐标值;步骤1304,基于坐标值拟合平面获取投影面与光机的夹角;
然后步骤1305,根据夹角关系获取投影点在投影面的世界坐标系中的对应坐标;
步骤1306,根据图卡在光机坐标系下的坐标与投影平面投影面对应点的坐标,可计算得到单应性矩阵。
步骤1307,控制器基于上述已获取数据判定障碍物是否存在;
步骤1308,障碍物存在时,在世界坐标系下的投影面上任取矩形坐标,根据单应性关系计算出光机要投射的区域;
步骤1309,障碍物不存在时,控制器例如可获取二维码特征点;
步骤1310,获取二维码在预制图卡的坐标;
步骤1311,获取相机照片与图纸图卡单应性关系;
步骤1312,将获取的障碍物坐标转换到图卡中,即可获取障碍物遮挡图卡坐标。
步骤1313,依据障碍物图卡遮挡区域在光机坐标系下坐标,通过单应性矩阵转换得到投影面的遮挡区域坐标;
步骤1314,在世界坐标系下投影面上任取矩形坐标,同时避开障碍物,根据单应性关系求出光机要投射的区域。
可以理解,避障算法在梯形校正算法流程选择矩形步骤时,利用算法(OpenCV)库完成异物轮廓提取,选择矩形时避开该障碍物,以实现投影避障功能。
在一些实施例中,如图14所示:
步骤1401,中间件获取相机拍到的二维码图卡;
并步骤1402,识别二维码特征点,获取在相机坐标系下的坐标;
步骤1403,控制器进一步获取预置图卡在光机坐标系下的坐标;
步骤1404,,求解相机平面与光机平面的单应性关系;
步骤1405,控制器基于上述单应性关系,识别相机拍到的幕布四个顶点坐标;
步骤1406,根据单应性矩阵获取投影到幕布光机要投射图卡的范围。
可以理解,在一些实施例中,入幕算法基于算法库(OpenCV),可识别最大黑色闭合矩形轮廓并提取,判断是否为16:9尺寸;投影特定图卡并使用相机拍摄照片,提取照片中多个角点用于计算投影面(幕布)与光机播放图卡的单应性,将幕布四顶点通过单应性转换至光机像素坐标系,将光机图卡转换至幕布四顶点即可完成计算比对。
长焦微投电视具有灵活移动的特点,每次位移后投影画面可能会出现失真,另外如投影面存在异物遮挡、或投影画面从幕布异常时,本申请提供的投影设备、以及基于几何校正的显示控制方法,可针对上述问题自动完成校正,包括实现自动梯形校正、自动入幕、自动避障、自动对焦、防射眼等功能的。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开的内容,从而使得本领域技术人员更好的使用实施方式。
Claims (19)
- 一种投影设备,包括:光机,用于投射播放内容至投影面的预设投影区域;相机,用于获取标定板图像,所述标定板包含标定图卡和空白区域,所述标定板设置于投影画面;控制器,被配置为:检测到投影设备移动后,控制光机投射标定图卡至所述标定板的所述空白区域以确定标定参数;基于所述标定参数,和所述相机获取的所述标定板图像在相机坐标系下的坐标,确定世界坐标系和光机坐标系之间的转换矩阵;根据上述转换矩阵,将所述世界坐标系下所述预设投影区域顶点的第一坐标转换至所述光机坐标系得到第二坐标,并控制所述光机投射播放内容至所述第二坐标。
- 如权利要求1所述的投影设备,所述控制器还被配置为,在投射标定图卡至所述标定板的空白区域确定标定参数步骤中:控制相机拍摄预设数量的标定板图像、并识别提取所述标定板图像中的特征点,所述特征点包括所述空白区域中投影图像的特征点、以及标定板所设置标定图卡本身的特征点;当获取标定参数与预设理论值的差值小于等于预设阈值时,判定所述标定参数获取成功;否则,重新执行标定参数确定步骤;其中,判定获取所述标定板图像数量小于所述预设数量、或识别提取所述特征点失败时,重新执行标定参数确定步骤。
- 如权利要求1所述的投影设备,所述控制器还被配置为,在投射标定图卡至所述标定板的空白区域确定标定参数步骤中:在光机的数字微镜器件所在平面偏移透镜中轴第一距离时,在所述光机成像面的标定过程中反向扩展第一距离,以使所述数字微镜器件平面向任意方向平移任意距离时所述控制器准确获取所述标定参数。
- 如权利要求2所述的投影设备,所述控制器还被配置为,在相机拍摄预设数量的标定板图像、并识别提取所述标定板图像中的特征点以确定标定参数步骤中:将所述标定板旋转不同姿态,识别相机坐标系下所述投影图像中特征点的坐标;创建世界坐标系,基于所述特征点与所述世界坐标系下标定板标定图卡中特征点的对应关系确定所述标定参数。
- 如权利要求1所述的投影设备,所述控制器还被配置为,在确定世界坐标系和光机坐标系之间的转换矩阵步骤中:根据标定参数,将标定板图像的特征点从相机坐标系转换至光机坐标系;基于投影面和标定板共面的特性,将光机坐标系下标定板图像的所有特征点进行拟合,得到光机坐标系下所述投影面的单位法向量;根据投影面单位法向量在光机坐标系、及世界坐标系下的不同表示,确定所述旋转矩阵。
- 如权利要求1所述的投影设备,所述标定参数包括光机内参、及光机相机间的外参。
- 如权利要求1所述的投影设备,所述世界坐标系原点设置在所述光机坐标系原点处,其XOY面平行于所述投影面。
- 如权利要求1所述的投影设备,所述预设投影区域为矩形区域时,所述顶点为所述矩形区域的矩形顶点。
- 如权利要求1所述的投影设备,所述第一控制器还被配置为:基于相机获取的投影画面,利用边缘检测算法识别投影设备的投影区域;在投影区域显示为矩形、或类矩形时,控制器通过预设算法获取上述矩形投影区域四个顶点的坐标值。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:使用透视变换方法校正投影区域为矩形,计算矩形和投影截图的差值,以实现判断显示区域内是否有异物。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:在实现对投影范围外一定区域的异物检测时,可将当前帧的相机内容、和上一帧的相机内容做差值,以判断投影区域范围外区域是否有异物进入;若判断有异物进入,投影设备自动触发防射眼功能。
- 如权利要求1所述的投影设备,所述第一控制器还被配置为:利用飞行时间相机、或飞行时间传感器检测特定区域的实时深度变化;若深度值变化超过预设阈值,投影设备将自动触发防射眼功能。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:基于采集的飞行时间数据、截图数据、以及相机数据分析判断是否需要开启防射眼功能。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:若用户位于特定区域,其视力存在被激光损害风险,将自动启动防射眼功能,以降低光机发出激光强度、降低用户界面显示亮度、并显示安全提示信息。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:通过陀螺仪、或陀螺仪传感器对设备移动进行监测;向陀螺仪发出用于查询设备状态的信令,并接收陀螺仪反馈用于判定设备是否发生移动的信令。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:在陀螺仪数据稳定预设时间长度后,控制启动触发梯形校正,在梯形校正进行时不响应遥控器按键发出的指令。
- 如权利要求9所述的投影设备,所述第一控制器还被配置为:通过自动避障算法识别幕布,并利用投影变化,将投影画面校正至幕布内显示,实现与幕布边沿对齐的效果。
- 一种投影图像校正方法,所述方法包括:检测到投影设备移动后,投射标定图卡至标定板的空白区域以确定标定参数;基于所述标定参数,和获取的所述标定板图像在相机坐标系下的坐标,确定世界坐标系和光机坐标系之间的转换矩阵;根据上述转换矩阵,将所述世界坐标系下预设投影区域顶点的第一坐标转换至所述光机坐标系得到第二坐标,并投射播放内容至所述第二坐标。
- 如权利要求18所述的投影图像校正方法,在投射标定图卡至标定板的空白区域确定标定参数步骤中,所述方法还包括:拍摄预设数量的标定板图像、并识别提取所述标定板图像中的特征点,所述特征点包括所述空白区域中投影图像的特征点、以及标定板所设置标定图卡本身的特征点;当获取标定参数与预设理论值的差值小于等于预设阈值时,判定所述标定参数获取成功;否则,重新执行标定参数确定步骤;其中,判定获取所述标定板图像数量小于所述预设数量、或识别提取所述特征点失败时,重新执行标定参数确定步骤。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021113558660 | 2021-11-16 | ||
CN202111355866 | 2021-11-16 | ||
CN2022101682638 | 2022-02-23 | ||
CN202210168263.8A CN114401390A (zh) | 2021-11-16 | 2022-02-23 | 投影设备及基于光机相机标定的投影图像校正方法 |
PCT/CN2022/132368 WO2023088329A1 (zh) | 2021-11-16 | 2022-11-16 | 投影设备及投影图像校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118104231A true CN118104231A (zh) | 2024-05-28 |
Family
ID=80658581
Family Applications (12)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210006233.7A Pending CN114466173A (zh) | 2021-11-16 | 2022-01-05 | 投影设备及自动投入幕布区域的投影显示控制方法 |
CN202210050600.3A Pending CN114205570A (zh) | 2021-11-16 | 2022-01-17 | 一种投影设备及自动校正投影图像的显示控制方法 |
CN202210168263.8A Pending CN114401390A (zh) | 2021-11-16 | 2022-02-23 | 投影设备及基于光机相机标定的投影图像校正方法 |
CN202210325721.4A Active CN114885136B (zh) | 2021-11-16 | 2022-03-29 | 投影设备和图像校正方法 |
CN202210343444.XA Pending CN114885138A (zh) | 2021-11-16 | 2022-03-31 | 投影设备及自动对焦方法 |
CN202210345204.3A Pending CN114727079A (zh) | 2021-11-16 | 2022-03-31 | 投影设备及基于位置记忆的调焦方法 |
CN202210389054.6A Pending CN114827563A (zh) | 2021-11-16 | 2022-04-13 | 投影设备和投影区域修正方法 |
CN202210583357.1A Active CN115022606B (zh) | 2021-11-16 | 2022-05-25 | 一种投影设备及避障投影方法 |
CN202210709400.4A Active CN115174877B (zh) | 2021-11-16 | 2022-06-21 | 投影设备及投影设备的调焦方法 |
CN202280063192.3A Pending CN118104230A (zh) | 2021-11-16 | 2022-09-29 | 一种投影设备及显示控制方法 |
CN202280063329.5A Pending CN118104231A (zh) | 2021-11-16 | 2022-11-16 | 投影设备及投影图像校正方法 |
CN202280063350.5A Pending CN118077192A (zh) | 2021-11-16 | 2022-11-16 | 一种投影设备和投影区域修正方法 |
Family Applications Before (10)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210006233.7A Pending CN114466173A (zh) | 2021-11-16 | 2022-01-05 | 投影设备及自动投入幕布区域的投影显示控制方法 |
CN202210050600.3A Pending CN114205570A (zh) | 2021-11-16 | 2022-01-17 | 一种投影设备及自动校正投影图像的显示控制方法 |
CN202210168263.8A Pending CN114401390A (zh) | 2021-11-16 | 2022-02-23 | 投影设备及基于光机相机标定的投影图像校正方法 |
CN202210325721.4A Active CN114885136B (zh) | 2021-11-16 | 2022-03-29 | 投影设备和图像校正方法 |
CN202210343444.XA Pending CN114885138A (zh) | 2021-11-16 | 2022-03-31 | 投影设备及自动对焦方法 |
CN202210345204.3A Pending CN114727079A (zh) | 2021-11-16 | 2022-03-31 | 投影设备及基于位置记忆的调焦方法 |
CN202210389054.6A Pending CN114827563A (zh) | 2021-11-16 | 2022-04-13 | 投影设备和投影区域修正方法 |
CN202210583357.1A Active CN115022606B (zh) | 2021-11-16 | 2022-05-25 | 一种投影设备及避障投影方法 |
CN202210709400.4A Active CN115174877B (zh) | 2021-11-16 | 2022-06-21 | 投影设备及投影设备的调焦方法 |
CN202280063192.3A Pending CN118104230A (zh) | 2021-11-16 | 2022-09-29 | 一种投影设备及显示控制方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280063350.5A Pending CN118077192A (zh) | 2021-11-16 | 2022-11-16 | 一种投影设备和投影区域修正方法 |
Country Status (2)
Country | Link |
---|---|
CN (12) | CN114466173A (zh) |
WO (3) | WO2023087950A1 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023087951A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备及投影图像的显示控制方法 |
CN114466173A (zh) * | 2021-11-16 | 2022-05-10 | 海信视像科技股份有限公司 | 投影设备及自动投入幕布区域的投影显示控制方法 |
CN115002432A (zh) * | 2022-05-30 | 2022-09-02 | 海信视像科技股份有限公司 | 一种投影设备及避障投影方法 |
WO2023087960A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 投影设备及调焦方法 |
WO2023087947A1 (zh) * | 2021-11-16 | 2023-05-25 | 海信视像科技股份有限公司 | 一种投影设备和校正方法 |
CN114760454A (zh) * | 2022-05-24 | 2022-07-15 | 海信视像科技股份有限公司 | 一种投影设备及触发校正方法 |
CN114640832A (zh) * | 2022-02-11 | 2022-06-17 | 厦门聚视智创科技有限公司 | 一种投影图像的自动校正方法 |
CN115002429B (zh) * | 2022-05-07 | 2023-03-24 | 深圳市和天创科技有限公司 | 一种基于摄像头计算自动校准投影位置的投影仪 |
CN114885142B (zh) * | 2022-05-27 | 2024-05-17 | 海信视像科技股份有限公司 | 一种投影设备及调节投影亮度方法 |
CN115314689A (zh) * | 2022-08-05 | 2022-11-08 | 深圳海翼智新科技有限公司 | 投影校正方法、装置、投影仪和计算机程序产品 |
CN115314691B (zh) * | 2022-08-09 | 2023-05-09 | 北京淳中科技股份有限公司 | 一种图像几何校正方法、装置、电子设备及存储介质 |
CN115061415B (zh) * | 2022-08-18 | 2023-01-24 | 赫比(成都)精密塑胶制品有限公司 | 一种自动流程监控方法、设备以及计算机可读存储介质 |
CN115474032B (zh) * | 2022-09-14 | 2023-10-03 | 深圳市火乐科技发展有限公司 | 投影交互方法、投影设备和存储介质 |
CN115529445A (zh) * | 2022-09-15 | 2022-12-27 | 海信视像科技股份有限公司 | 一种投影设备及投影画质调整方法 |
WO2024066776A1 (zh) * | 2022-09-29 | 2024-04-04 | 海信视像科技股份有限公司 | 投影设备及投影画面处理方法 |
CN115361540B (zh) * | 2022-10-20 | 2023-01-24 | 潍坊歌尔电子有限公司 | 投影图像的异常原因自检方法、装置、投影机及存储介质 |
CN115760620B (zh) * | 2022-11-18 | 2023-10-20 | 荣耀终端有限公司 | 一种文档矫正方法、装置及电子设备 |
CN116723395A (zh) * | 2023-04-21 | 2023-09-08 | 深圳市橙子数字科技有限公司 | 一种基于摄像头的无感对焦方法及装置 |
CN116993879B (zh) * | 2023-07-03 | 2024-03-12 | 广州极点三维信息科技有限公司 | 一种自动避障布光的方法、电子设备和存储介质 |
CN117278735B (zh) * | 2023-09-15 | 2024-05-17 | 山东锦霖智能科技集团有限公司 | 一种沉浸式图像投影设备 |
CN117830437B (zh) * | 2024-03-01 | 2024-05-14 | 中国科学院长春光学精密机械与物理研究所 | 一种大视场远距离多目相机内外参数标定装置及方法 |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005031267A (ja) * | 2003-07-09 | 2005-02-03 | Sony Corp | 画像投射装置及び画像投射方法 |
JP3951984B2 (ja) * | 2003-08-22 | 2007-08-01 | 日本電気株式会社 | 画像投影方法、及び画像投影装置 |
JP2006109088A (ja) * | 2004-10-05 | 2006-04-20 | Olympus Corp | マルチプロジェクションシステムにおける幾何補正方法 |
US7872637B2 (en) * | 2007-04-25 | 2011-01-18 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | System and method for tracking a laser spot on a projected computer screen image |
JP4831219B2 (ja) * | 2008-10-29 | 2011-12-07 | セイコーエプソン株式会社 | プロジェクタおよびプロジェクタの制御方法 |
CN102236784A (zh) * | 2010-05-07 | 2011-11-09 | 株式会社理光 | 屏幕区域检测方法及系统 |
CN102681312B (zh) * | 2011-03-16 | 2015-06-24 | 宏瞻科技股份有限公司 | 激光投影系统的人眼安全保护系统 |
JP2013033206A (ja) * | 2011-07-06 | 2013-02-14 | Ricoh Co Ltd | 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム |
CN103293836A (zh) * | 2012-02-27 | 2013-09-11 | 联想(北京)有限公司 | 一种投影方法及电子设备 |
CN103002240B (zh) * | 2012-12-03 | 2016-11-23 | 深圳创维数字技术有限公司 | 一种设定避开障碍物投影的方法及设备 |
JP2015128242A (ja) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | 画像投影装置及びそのキャリブレーション方法 |
CN103905762B (zh) * | 2014-04-14 | 2017-04-19 | 上海索广电子有限公司 | 投影模块的投影画面自动检查方法 |
CN103942796B (zh) * | 2014-04-23 | 2017-04-12 | 清华大学 | 一种高精度的投影仪‑摄像机标定系统及标定方法 |
JP2016014712A (ja) * | 2014-07-01 | 2016-01-28 | キヤノン株式会社 | シェーディング補正値算出装置およびシェーディング補正値算出方法 |
WO2016103543A1 (ja) * | 2014-12-25 | 2016-06-30 | パナソニックIpマネジメント株式会社 | 投影装置 |
CN104536249B (zh) * | 2015-01-16 | 2016-08-24 | 努比亚技术有限公司 | 调节投影仪焦距的方法和装置 |
CN104835143A (zh) * | 2015-03-31 | 2015-08-12 | 中国航空无线电电子研究所 | 一种快速投影机系统参数标定方法 |
JP2016197768A (ja) * | 2015-04-02 | 2016-11-24 | キヤノン株式会社 | 画像投射システム及び投射画像の制御方法 |
WO2016194191A1 (ja) * | 2015-06-04 | 2016-12-08 | 日立マクセル株式会社 | 投射型映像表示装置および映像表示方法 |
CN105208308B (zh) * | 2015-09-25 | 2018-09-04 | 广景视睿科技(深圳)有限公司 | 一种获取投影仪的最佳投影焦点的方法及系统 |
CN107547881B (zh) * | 2016-06-24 | 2019-10-11 | 上海顺久电子科技有限公司 | 一种投影成像的自动校正方法、装置及激光电视 |
CN106713879A (zh) * | 2016-11-25 | 2017-05-24 | 重庆杰夫与友文化创意有限公司 | 避障投影方法及其装置 |
KR101820905B1 (ko) * | 2016-12-16 | 2018-01-22 | 씨제이씨지브이 주식회사 | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 |
CN109215082B (zh) * | 2017-06-30 | 2021-06-22 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
CN109426060A (zh) * | 2017-08-21 | 2019-03-05 | 深圳光峰科技股份有限公司 | 投影仪自动调焦方法及投影仪 |
CN107479168A (zh) * | 2017-08-22 | 2017-12-15 | 深圳市芯智科技有限公司 | 一种能实现快速对焦功能的投影机及对焦方法 |
KR101827221B1 (ko) * | 2017-09-07 | 2018-02-07 | 주식회사 조이펀 | 좌표계 자동 보정이 가능한 혼합현실 콘텐츠 제공 장치 및 이를 이용한 좌표계 자동 보정 방법 |
CN109856902A (zh) * | 2017-11-30 | 2019-06-07 | 中强光电股份有限公司 | 投影装置及自动对焦方法 |
CN110058483B (zh) * | 2018-01-18 | 2022-06-10 | 深圳光峰科技股份有限公司 | 自动对焦系统、投影设备、自动对焦方法及存储介质 |
US11240475B2 (en) * | 2018-04-17 | 2022-02-01 | Sony Corporation | Information processing apparatus and method |
CN110769214A (zh) * | 2018-08-20 | 2020-02-07 | 成都极米科技股份有限公司 | 基于帧差值的自动跟踪投影方法及装置 |
CN109544643B (zh) * | 2018-11-21 | 2023-08-11 | 北京佳讯飞鸿电气股份有限公司 | 一种摄像机图像校正方法及装置 |
CN109495729B (zh) * | 2018-11-26 | 2023-02-10 | 青岛海信激光显示股份有限公司 | 投影画面校正方法和系统 |
CN110769225B (zh) * | 2018-12-29 | 2021-11-09 | 成都极米科技股份有限公司 | 基于幕布的投影区域获取方法及投影装置 |
CN110769226B (zh) * | 2019-02-27 | 2021-11-09 | 成都极米科技股份有限公司 | 超短焦投影机的对焦方法、对焦装置及可读存储介质 |
CN110769227A (zh) * | 2019-02-27 | 2020-02-07 | 成都极米科技股份有限公司 | 超短焦投影机的对焦方法、对焦装置及可读存储介质 |
CN110336987B (zh) * | 2019-04-03 | 2021-10-08 | 北京小鸟听听科技有限公司 | 一种投影仪畸变校正方法、装置和投影仪 |
CN110636273A (zh) * | 2019-10-15 | 2019-12-31 | 歌尔股份有限公司 | 调整投影画面的方法、装置、可读存储介质及投影仪 |
CN111028297B (zh) * | 2019-12-11 | 2023-04-28 | 凌云光技术股份有限公司 | 面结构光三维测量系统的标定方法 |
CN111050150B (zh) * | 2019-12-24 | 2021-12-31 | 成都极米科技股份有限公司 | 焦距调节方法、装置、投影设备及存储介质 |
CN111050151B (zh) * | 2019-12-26 | 2021-08-17 | 成都极米科技股份有限公司 | 投影对焦的方法、装置、投影仪和可读存储介质 |
CN111311686B (zh) * | 2020-01-15 | 2023-05-02 | 浙江大学 | 一种基于边缘感知的投影仪失焦校正方法 |
CN113554709A (zh) * | 2020-04-23 | 2021-10-26 | 华东交通大学 | 一种基于偏振信息的相机-投影仪系统标定方法 |
CN111429532B (zh) * | 2020-04-30 | 2023-03-31 | 南京大学 | 一种利用多平面标定板提高相机标定精确度的方法 |
CN113301314B (zh) * | 2020-06-12 | 2023-10-24 | 阿里巴巴集团控股有限公司 | 对焦方法、投影仪、成像设备和存储介质 |
CN112050751B (zh) * | 2020-07-17 | 2022-07-22 | 深圳大学 | 一种投影仪标定方法、智能终端及存储介质 |
CN111932571B (zh) * | 2020-09-25 | 2021-01-22 | 歌尔股份有限公司 | 图像的边界识别方法、装置以及计算机可读存储介质 |
CN112584113B (zh) * | 2020-12-02 | 2022-08-30 | 深圳市当智科技有限公司 | 基于映射校正的宽屏投影方法、系统及可读存储介质 |
CN112598589A (zh) * | 2020-12-17 | 2021-04-02 | 青岛海信激光显示股份有限公司 | 激光投影系统及图像校正方法 |
CN112904653A (zh) * | 2021-01-26 | 2021-06-04 | 四川长虹电器股份有限公司 | 用于投影设备的调焦方法和调焦装置 |
CN112995625B (zh) * | 2021-02-23 | 2022-10-11 | 峰米(北京)科技有限公司 | 用于投影仪的梯形校正方法及装置 |
CN112995624B (zh) * | 2021-02-23 | 2022-11-08 | 峰米(北京)科技有限公司 | 用于投影仪的梯形误差校正方法及装置 |
CN112689136B (zh) * | 2021-03-19 | 2021-07-02 | 深圳市火乐科技发展有限公司 | 投影图像调整方法、装置、存储介质及电子设备 |
CN113099198B (zh) * | 2021-03-19 | 2023-01-10 | 深圳市火乐科技发展有限公司 | 投影图像调整方法、装置、存储介质及电子设备 |
CN112804507B (zh) * | 2021-03-19 | 2021-08-31 | 深圳市火乐科技发展有限公司 | 投影仪校正方法、系统、存储介质以及电子设备 |
CN113038105B (zh) * | 2021-03-26 | 2022-10-18 | 歌尔股份有限公司 | 投影仪的调整方法和调整设备 |
CN113160339B (zh) * | 2021-05-19 | 2024-04-16 | 中国科学院自动化研究所苏州研究院 | 一种基于沙姆定律的投影仪标定方法 |
CN113286134A (zh) * | 2021-05-25 | 2021-08-20 | 青岛海信激光显示股份有限公司 | 图像校正方法及拍摄设备 |
CN113473095B (zh) * | 2021-05-27 | 2022-10-21 | 广景视睿科技(深圳)有限公司 | 一种避障动向投影的方法和设备 |
CN113489961B (zh) * | 2021-09-08 | 2022-03-22 | 深圳市火乐科技发展有限公司 | 投影校正方法、装置、存储介质和投影设备 |
CN114466173A (zh) * | 2021-11-16 | 2022-05-10 | 海信视像科技股份有限公司 | 投影设备及自动投入幕布区域的投影显示控制方法 |
-
2022
- 2022-01-05 CN CN202210006233.7A patent/CN114466173A/zh active Pending
- 2022-01-17 CN CN202210050600.3A patent/CN114205570A/zh active Pending
- 2022-02-23 CN CN202210168263.8A patent/CN114401390A/zh active Pending
- 2022-03-29 CN CN202210325721.4A patent/CN114885136B/zh active Active
- 2022-03-31 CN CN202210343444.XA patent/CN114885138A/zh active Pending
- 2022-03-31 CN CN202210345204.3A patent/CN114727079A/zh active Pending
- 2022-04-13 CN CN202210389054.6A patent/CN114827563A/zh active Pending
- 2022-05-25 CN CN202210583357.1A patent/CN115022606B/zh active Active
- 2022-06-21 CN CN202210709400.4A patent/CN115174877B/zh active Active
- 2022-09-29 CN CN202280063192.3A patent/CN118104230A/zh active Pending
- 2022-09-29 WO PCT/CN2022/122810 patent/WO2023087950A1/zh unknown
- 2022-11-16 WO PCT/CN2022/132250 patent/WO2023088304A1/zh unknown
- 2022-11-16 CN CN202280063329.5A patent/CN118104231A/zh active Pending
- 2022-11-16 CN CN202280063350.5A patent/CN118077192A/zh active Pending
- 2022-11-16 WO PCT/CN2022/132368 patent/WO2023088329A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN118104230A (zh) | 2024-05-28 |
CN114885137A (zh) | 2022-08-09 |
CN114885136B (zh) | 2024-05-28 |
CN114466173A (zh) | 2022-05-10 |
CN114885138A (zh) | 2022-08-09 |
WO2023088329A1 (zh) | 2023-05-25 |
CN114827563A (zh) | 2022-07-29 |
WO2023088304A1 (zh) | 2023-05-25 |
CN114205570A (zh) | 2022-03-18 |
CN115174877A (zh) | 2022-10-11 |
CN114401390A (zh) | 2022-04-26 |
CN115022606A (zh) | 2022-09-06 |
CN118077192A (zh) | 2024-05-24 |
CN114885136A (zh) | 2022-08-09 |
CN115174877B (zh) | 2024-05-28 |
CN115022606B (zh) | 2024-05-17 |
WO2023087950A1 (zh) | 2023-05-25 |
CN114727079A (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN118104231A (zh) | 投影设备及投影图像校正方法 | |
US6984039B2 (en) | Laser projector having silhouette blanking for objects in the output light path | |
JP3879858B2 (ja) | 画像処理システム、プロジェクタおよび画像処理方法 | |
US7648246B2 (en) | Projector and exposure adjustment method | |
WO2023087947A1 (zh) | 一种投影设备和校正方法 | |
JP2007078821A (ja) | 投影装置、投影方法及びプログラム | |
JP2019176356A (ja) | プロジェクター、及び、プロジェクターの制御方法 | |
US10812764B2 (en) | Display apparatus, display system, and method for controlling display apparatus | |
CN114866751A (zh) | 一种投影设备及触发校正方法 | |
US20090009658A1 (en) | Calibrating a projection system | |
JP2012181264A (ja) | 投影装置、投影方法及びプログラム | |
JP6714833B2 (ja) | プロジェクター及びプロジェクターの制御方法 | |
CN114760454A (zh) | 一种投影设备及触发校正方法 | |
CN116055696A (zh) | 一种投影设备及投影方法 | |
CN115623181A (zh) | 一种投影设备及投影画面移动方法 | |
CN113259637B (zh) | 投影图像的校正方法及激光投影系统 | |
CN114928728A (zh) | 投影设备及异物检测方法 | |
WO2023087951A1 (zh) | 一种投影设备及投影图像的显示控制方法 | |
CN114885142B (zh) | 一种投影设备及调节投影亮度方法 | |
WO2023115857A1 (zh) | 激光投影设备及投影图像的校正方法 | |
US20170214894A1 (en) | Projector and method of controlling projector | |
CN114286029B (zh) | 一种激光电视及激光电视过热保护方法 | |
US12003898B2 (en) | Projector and projection method | |
WO2023074302A1 (ja) | 通知方法、及び、通知システム | |
CN116095287A (zh) | 一种投影设备标定方法、标定系统及投影设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |