CN108206946A - 基于拍摄装置拍摄的图像自动校正投影区的方法及其系统 - Google Patents

基于拍摄装置拍摄的图像自动校正投影区的方法及其系统 Download PDF

Info

Publication number
CN108206946A
CN108206946A CN201710159350.6A CN201710159350A CN108206946A CN 108206946 A CN108206946 A CN 108206946A CN 201710159350 A CN201710159350 A CN 201710159350A CN 108206946 A CN108206946 A CN 108206946A
Authority
CN
China
Prior art keywords
image
projection surface
projected area
projection
projecting apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710159350.6A
Other languages
English (en)
Inventor
张京允
尹亨溱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CJ CGV CO Ltd
Original Assignee
CJ CGV CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CJ CGV CO Ltd filed Critical CJ CGV CO Ltd
Publication of CN108206946A publication Critical patent/CN108206946A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3173Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H04N9/3176Constructional details thereof wherein the projection device is specially adapted for enhanced portability wherein the projection device is incorporated in a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

基于拍摄装置拍摄的图像自动校正投影区的方法及其系统。本发明涉及对影院中的上面被投影仪投影内容的区域(即,所谓的投影区)进行自动校正,并且具体地,涉及用于通过以下步骤对投影区进行自动校正的方法和系统:使用诸如相机等这样的拍摄装置来拍摄影院中的投影区,并且将像这样拍摄的图像、投影仪所投影的投影区的坐标和最后投影在诸如屏幕、墙等这样的投影表面上的内容图像进行匹配,使得最终可以在影院中的投影表面的有效投影区中正确地输出内容图像。

Description

基于拍摄装置拍摄的图像自动校正投影区的方法及其系统
技术领域
本发明涉及对影院中的上面被投影仪投影内容的区域(即,所谓的投影区)进行自动校正,并且具体地,涉及用于通过以下步骤对投影区进行自动校正的方法和系统:使用诸如相机等这样的拍摄装置来拍摄影院中的投影区,并且将像这样拍摄的图像、投影仪所投影的投影区的坐标和最后投影在诸如屏幕、墙等这样的投影表面上的内容图像进行匹配,使得最终可以在影院中的投影表面的有效投影区中正确地输出内容图像。
背景技术
在影院中,由于空调系统、音频系统等的振动,导致投影仪错位的情况频发,并且当投影仪像这样错位时,诸如电影、广告材料等这样的内容可能没有被投影到诸如屏幕或墙这样的投影表面上的正确位置处,因此不能为观众提供正确的运动画面投影服务。因此,影院的操作人员需要频繁对投影区进行校正,并且传统上,由工程师手动执行这种投影区校正。
然而,当手动执行投影区校正时,由于该工作是人类完成的,因此工作的准确性低,另外,由于在影院中将要频繁执行投影区校正工作,因此由此消耗的人力和费用不小。
发明内容
技术问题
本发明将对影院中的投影仪的投影区的失真进行自动校正。
具体地,本发明的一个目的是通过拍摄上面被投影结构化光图案的投影表面的图像并且将所拍摄的图像中的投影区与投影仪的投影区进行匹配来准确地实现校正。
另外,本发明的另一个目的是对诸如墙这样的投影区中的投影障碍区进行过滤并且据此在将拍摄装置所拍摄的图像与投影仪的投影区进行匹配的工作中(即,在计算相对转换信息时)通过使用RANSAC技术来提取投影表面上的正确有效投影区。
另外,本发明的又一个目的是通过进一步利用能够在投影表面上标记激光线的激光水准仪来更加精确地提取投影区,并因此更加正确地实现有效投影区的提取和投影区的校正。
技术解决方案
根据本发明的一种对投影区进行自动校正的方法包括以下步骤:(a)获取拍摄装置所拍摄的第一投影表面图像;(b)将所述第一投影表面图像中的投影区的每对像素坐标映射到投影仪所投影的投影区的每对像素坐标;以及(c)使用所述第一投影表面图像的像素坐标和所述投影仪的像素坐标来计算所述第一投影表面图像和所述投影仪之间的相对转换信息,其中,所述第一投影表面图像是被投影光图案的投影表面的图像。
拍摄所述第一投影表面图像包括以下步骤:将所述投影仪的每对像素坐标转换成位;按照时间顺序将黑色图像和白色图像投影到所述投影仪的每对像素坐标处;以及由所述拍摄装置来拍摄被投影所述黑色图像和所述白色图像的投影表面。
步骤(c)包括以下步骤:从所述投影仪的所述投影区提取任意的参考像素xi,从所述第一投影表面图像中提取与所述参考像素xi对应的对应像素ci,以及通过将所述参考像素xi和所述对应像素ci代入相对转换公式中来计算所述相对转换信息。
在步骤(c)中,计算第一相对转换信息Hi→cam,并且所述相对转换公式是Hi→cam=argmin||Hxi-ci||2,其中,xi表示所述投影区的参考像素,并且ci表示所述第一投影表面图像的对应像素。
在步骤(c)中,还计算第二相对转换信息Hcam→i,并且Hcam→i表示所述第一相对转换信息Hi→cam的逆矩阵。
使用随机抽样一致(RANSAC)来计算所述第二相对转换信息Hcam→i,并且从在所述步骤(c)中基于所述第二相对转换信息Hcam→i获得的有效投影区中去除由设置在所述投影表面上的结构产生的投影障碍区。
与一个投影表面对应地设置多个投影仪,并且对每个投影仪所投影的所述第一投影表面图像执行步骤(a)、(b)和(c),并且通过将所述投影仪的有效投影区进行组合来获得整个有效投影区。
根据本发明的对投影区进行自动校正的方法还包括以下步骤:(d)计算内容图像和所述投影仪之间的第三相对转换信息Hi→image
根据本发明的对投影区进行自动校正的方法还包括以下步骤:(e)获取显示有激光线的第二投影表面图像,其中,用从激光水准仪输出的光来显示所述激光线。
根据本发明的对投影区进行自动校正的方法还包括以下步骤:(f)从所述第二投影表面图像中提取多个线图像并且获取由所述线图像的交叉而产生的交叉点;以及(g)将所获取的交叉点与所述内容图像的顶点进行匹配。
另一方面,根据本发明的一种对投影区进行自动校正的系统包括:拍摄装置,其用于拍摄投影表面;投影管理装置,其用于获取所述拍摄装置所拍摄的第一投影表面图像,通过将所述第一投影表面图像中的投影区的每对像素坐标映射到投影仪所投影的投影区的每对像素坐标来计算相对转换信息,并且基于所述相对转换信息来获得所述投影仪的有效投影区;以及所述投影仪,其用于投影影院中的投影区的图像,其中,所述第一投影表面图像是被所述投影仪投影光图案的投影表面的图像。
根据本发明的对投影区进行自动校正的系统还包括激光水准仪,该激光水准仪用于输出将激光线显示在所述投影表面上的光,其中,所述投影管理装置还获取所述拍摄装置所拍摄的第二投影表面图像。
所述投影管理装置从所述第二投影表面图像中提取多个线图像,获取由所述线图像的交叉而产生的交叉点,并且将所获取的交叉点与内容图像的顶点进行匹配。
有益效果
根据本发明,具有如下效果:通过利用诸如高分辨率相机这样的拍摄装置在大规模的影院中只使用单个拍摄装置来实现高校正质量的自动校正。
另外,根据本发明,在利用影院中的屏幕和所有墙的多表面影院中,由于能够有效地去除由墙上的结构而产生的投影障碍区,因此具有如下效果:相比于现有技术,对投影区进行更加准确的校正。
另外,根据本发明,具有如下效果:利用激光水准仪对投影区进行精确校正。
附图说明
图1是示出根据本发明的用于对投影区进行自动校正的系统的示意性配置的视图。
图2是依次例示根据本发明的实施方式的对投影区进行自动校正的方法的流程图。
图3是示出拍摄上面被投影结构化光图案的投影表面而得的图像的视图。
图4示出对图2中的所拍摄的图像进行分析的可视化结果。
图5在概念上示出将投影仪的投影区与所拍摄的图像中的投影区进行匹配的视图。
图6是示出在对影院中的投影表面当中的墙上的投影障碍区进行过滤之后的投影区的视图。
图7示出所提取的影院中的投影表面当中的墙的有效投影区的视图。
图8是示出从激光水准仪输出并且显示在影院中的墙上的激光线的视图。
图9是示出由激光线的交叉而产生的交叉点的视图。
符号的说明
10:第一投影表面图像
30:第二投影表面图像
100:拍摄装置
200:投影管理装置
300:投影仪
310:投影区
400:激光水准仪
410:激光线
411:线图像
413:交叉点
500:墙投影表面
540:结构
550:投影障碍区
560:有效投影区
600:屏幕
A、A':光图案图像
具体实施方式
下文中,通过基于本发明的说明书中附带的附图进行详细描述,将清楚地理解本发明的目的和技术配置的细节和据此的操作效果。将参照附图来详细描述根据本发明的实施方式。
在下面的描述中,图中示出并且在以下描述的功能块仅仅是可能实现方式的示例。因此,在不脱离具体实施方式的精神和范围的情况下,可以在其它实现方式中使用其它功能块。另外,虽然本发明的一个或更多个功能块被表示为个体块,但本发明的功能块中的一个或更多个可以是执行相同功能的各种硬件和软件的组合。
另外,措词“包括”元件是仅仅是指存在对应组件的“开放型”措词,并且其不应该被理解为将额外的组件排除在外。
此外,应该理解,当一个元件被称为与另一个元件连接或联接时,它可以直接与其它元件连接或联接或者可以存在中间元件。
另外,应该理解,可以通过各种硬件和软件的连接操作来实现下述的将图像投影到弯曲表面上的方法。例如,可以通过多个投影仪和与所述投影仪有线或无线连接的投影管理装置(服务器)的连接操作来实现该方法,并且除了此连接之外,还可以通过各种硬件和软件的连接操作来实现图像管理系统。
图1是示意性示出根据本发明的对投影区310执行自动校正所需的装置的详细配置的视图。
根据图1,用于对投影区310进行自动校正的系统包括拍摄装置100、投影仪300和投影管理装置200并且另外还包括激光水准仪400。
首先,拍摄装置100意指用于拍摄图像的光学装置,并且本发明的拍摄装置100被用来拍摄影院中的投影表面。基于影院的面积、投影仪300的数量和投影仪300的分辨率来确定拍摄装置100的分辨率。投影仪300可以将图像以2600×650的分辨率投影到水平长度为20m并且垂直长度为6.6m的墙500上。
在这种情况下,投影仪具有在水平方向上每厘米(cm)1.3个像素的分辨率。
以下示出其计算过程。
2600个像素/20米=1.3个像素/厘米
如果将投影仪的沿着水平方向的像素的数量除以墙的水平长度,则能够计算出沿着水平方向的每厘米的像素数量。
另外,投影仪具有在垂直方向上每厘米(cm)0.9848个像素的分辨率。
以下示出其计算过程。
如果将投影仪的沿着垂直方向的像素的数量除以墙的垂直长度,则能够计算出沿着垂直方向的每厘米的像素数量。
在这一点上,拍摄装置的分辨率高于作为沿着水平方向的每厘米的像素数量和沿着垂直方向的每厘米的像素数量当中的较高者的每厘米的像素数量。也就是说,在上述示例中,由于沿着水平方向的每厘米的像素数量较大,因此相机的分辨率应该是每厘米1.3个像素或更高。
拍摄装置的视角根据镜头的焦距而有所不同。拍摄装置拍摄水平长度为20m并且垂直长度为6.6m的墙500的整个区域所需的镜头的焦距是18至24mm。
在这一点上,具体实施方式中提到的影院通常是用于投影电影内容并且假定包括一个或更多个屏幕600和墙500的空间,并且此外,它可以是能够通过使得多个投影仪300能够将同步的内容图像投影到屏幕600和墙500上而为观众提供沉浸感的所谓多表面影院。
此外,拍摄装置100可以用作独立于以下将描述的投影管理装置200的单独装置,或者可以被实现为与投影管理装置200有线或无线连接以直接发送或接收所拍摄的图像。
接下来,投影仪300是指用于将内容图像投影到投影表面上的装置,并且可以在影院中设置多个投影仪300,并且投影仪300中的每一个与以下将描述的投影管理装置200有线或无线连接并且在投影管理装置200的控制下进行驱动。另外,可以在影院中与一个投影表面对应地安装多个投影仪300,或者可以与多个投影表面对应地安装一个投影仪300。
接下来,投影管理装置200控制安装在影院中的多个投影仪300并且作为基本功能而管理期望被投影的内容图像,并且本发明的投影管理装置200还执行如下所述的对投影区310进行自动校正的功能。以下将更详细地描述投影管理装置200的功能。
最后,激光水准仪400是指用于输出用于将激光线410显示在影院中的投影表面上的光的装置。激光水准仪400可以将多个光束输出到投影表面上,以显示激光线410。可以通过拍摄被显示有激光线410的投影表面并且对像这样拍摄的投影表面的图像进行分析来提取更加精确的投影区310。
下文中,将参照图2来描述根据本发明的对投影区310进行自动校正的方法的示意性处理。
根据图2,根据本发明的对投影区310进行自动校正的方法包括以下步骤:由投影管理装置200获取拍摄装置100所拍摄的第一投影表面图像10的第一步骤(步骤S210);由投影管理装置200将第一投影表面图像10中的投影区的每对像素坐标映射到投影仪300所投影的投影区310的每对像素坐标的第二步骤(步骤S220);以及由投影管理装置200使用第一投影表面图像10的像素坐标和投影仪300的像素坐标来计算第一投影表面图像10和投影仪300之间的相对转换信息的第三步骤(步骤S230)。另外,该方法还包括以下步骤:计算投影仪300和内容图像之间的相对转换信息的第四步骤(步骤S240);由投影管理装置200获取被显示有激光线420的第二投影表面图像30的第五步骤(步骤S250);由投影管理装置200从第二投影表面图像30中提取线图像411并且获取交叉点413的第六步骤(步骤S260);以及最后由投影管理装置200将所获取的交叉点413与内容图像的顶点进行匹配的第七步骤(步骤S270)。
下文中,将详细地描述这些步骤中的每一个。
第一步骤是投影管理装置200获取第一投影表面图像10的步骤,并且在这一点上,第一投影表面图像10意指拍摄装置100所拍摄的上面被投影光图案的投影表面的图像。
为了基于拍摄装置100所获取的图像来对投影仪300所投影的图像进行校正,需要知道拍摄装置100所获取的与投影仪300的每个像素对应的图像的坐标。为此,尽管在现有技术中使用了诸如棋盘格这样的单个图像图案,但是如果使用这种单个图像图案,则难以了解(grasp)所有像素的对应关系,并且具体地,如果存在障碍物,则这样带来的结果是准确性降低。在本发明中,利用基于格雷码的光图案图像来了解对于所有像素而言的拍摄装置100和投影仪之间的对应关系,并且在这一点上,光图案图像的结构按时间序列而变化。
图3是示出第一投影表面图像10的示例的视图。如图3中所示,可以通过沿着水平方向交替改变白线和黑线来投影光图案图像A和A',或者可以通过沿着垂直方向交替改变白线和黑线来投影光图案图像,并且这是通过将投影仪300的每个像素的坐标转换成位并且将位的每个数位(place)投影为按时间顺序用黑白显现而出现的图像。虽然以下将对此进行描述,但投影管理装置200通过分析投影表面的图像(第一投影表面图像10)来了解拍摄装置100所拍摄的第一投影表面图像10中的投影仪300的每个像素的位置。
此外,在这一点上,格雷码是一种位转换,并且与二进制转换不同,它是用当对十进制数进行转换时使相邻数字的位转换最小化的方法来实现的,并且由于这种特性,导致尽管当对第一投影表面图像10进行解密时出现误差,因为误差的改变小,所以也能够稳定地了解对应关系。
此外,如果任意投影仪300被表示为Pi并且xi表示任意投影仪Pi的像素坐标,则用以下示出的方法来实现针对每对像素坐标的位转换。
算术式1
(xi>>1)θxi
算术式1是用于将二进制码转换成格雷码的式子。首先,坐标xi被转换成二进制码,并且被转换成二进制码的坐标向后移位一列。在坐标被转换成二进制码并且坐标xi被转换成二进制码之后,对向后移位一列的坐标执行“异或”运算。例如,当坐标xi是(1,2)时,坐标xi被转换成二进制码(0000000001,0000000010),并且如果执行位运算以将二进制码值向后移位一列,则结果是(0000000000,0000000001)。如果对(0000000001,0000000010)和(0000000000,0000000001)这两个代码执行“异或”运算,则计算出格雷码(0000000001,0000000011)。
图3中示出的第一投影表面图像10是在根据算术式1对水平(x轴)坐标和垂直(y轴)坐标执行位转换并且随后根据每个位的数位的值来创建图案(如果位是1,则是白色,如果位是0,则是黑色)之后由拍摄装置100所拍摄的投影表面。
如果投影仪300的分辨率是1024×768,则x坐标是0至1023中的任一个,并且y坐标是0至767中的任一个。如果通过上述处理来转换投影仪300的像素坐标,则投影仪300的像素坐标被转换成最大十个数字的二进制数。投影仪300按照从与对应像素的x或y坐标对应的格雷码的最高有效位开始的顺序根据每个数位的值将黑色或白色图像投影到每个像素的位置处。
在这一点上,投影仪300(1)基于从像素坐标当中的x坐标转换而成的格雷码来投影黑色或白色图像,(2)基于从像素坐标当中的y坐标转换而成的格雷码来投影黑色或白色图像,(3)基于从像素坐标当中的x坐标转换而成的格雷码的补码来投影黑色或白色图像,(4)基于从像素坐标当中的y坐标转换而成的格雷码的补码来投影黑色或白色图像,(5)投影所有像素是黑色的图像,并且(6)投影所有像素是白色的图像。
投影仪投影图像的方法不限于(1)至(6)的顺序,并且可以与(1)至(6)的顺序无关。
例如,当(1)基于从像素坐标当中的x坐标转换而成的格雷码来投影黑色或白色图像时,使用格雷码将投影仪的坐标(1,2)转换成位坐标(0000000001,0000000011),并且由于第一位至第九位的值是0,因此投影仪按规则的时间间隔将黑色图像九次投影到投影仪的坐标(1,2)的位置处。然后,由于第十位的值是1,则投影仪投影白色图像一次。
第二步骤是投影管理装置200通过将第一投影表面图像10中的投影区310的投影区的每对像素坐标映射到投影仪300实际所投影的投影区310的每对像素坐标来计算相对转换信息的步骤。
投影管理装置200通过对第一投影表面图像10进行分析和解密来从第一投影表面图像10了解投影仪300的像素位置。对第一投影表面图像10执行解密,使得在读取按照时间顺序拍摄的第一投影表面图像10之后,如果第一投影表面图像10的像素值是白色,则投影管理装置200将每个位的值转换成1,并且如果像素值是黑色,则投影管理装置200将每个位的值转换成0。然后,如果对算术式1进行反演计算,则能够得到投影仪300的像素坐标值,并且在该处理中,建立第一投影表面图像10和投影仪300的投影区310之间的像素级对应关系,即,从第一投影表面图像10中提取的投影区310的每对像素坐标和投影仪300(投影区310)的每对像素坐标之间的对应关系。图4示出了对第一投影表面图像10的图案进行分析的可视化结果。图5在概念上示出了将投影仪300的投影区310与第一投影表面图像10中的投影区310的像素坐标彼此进行匹配的视图。
第三步骤是通过利用之前获取的第一投影表面图像10的像素坐标和投影仪300的投影区310的像素坐标来计算第一投影表面图像10和投影仪300之间的相对转换关系的步骤。相对转换信息将对应点之间的关系表示为单应性矩阵,单应性矩阵是指任意平面或空间上的任意点和另一个平面或空间上的点之间的对应关系的定义。
如果任意投影仪300被表示为Pi,xi表示任意投影仪Pi的像素坐标并且第一投影表面图像10中的与xi对应的像素坐标被表示为ci,则可以如下所示地得到用于将投影仪300的像素坐标转换成第一投影表面图像10的像素坐标的第一相对转换信息Hi→cam。(i表示投影仪300,并且cam表示第一投影表面图像10)。
算术式2
算术式2意指搜索使xi和ci之间的位置差最小化的xi的优化单应性矩阵。可以使用直接线性转换对算术式2进行求解。此外,在这一点上,当根据算术式2来计算相对转换信息时,能够使用随机抽样一致(RANSAC)在将异常值排除在外的同时对单应性矩阵进行搜索。
RANSAC是用于从含有噪声的数据中选择期望数据的数学模型的迭代法,并且RANSAC可以被视为非确定性算法,因为能够以恒定的概率来产生正确结果并且随着迭代次数增加,概率增大。
此外,第一步骤至第三步骤的处理是用于提取使得观众能够很好地看到影院中的所有投影表面当中的内容图像的“有效投影区560”的处理,并且如以上简要描述地,在影院的墙500的情况下,可以存在由于诸如投影仪、扬声器、座位、柱子等这样的结构540(即,所谓的投影障碍区550)而导致没有实现正确投影的区域。
如果在考虑到投影障碍区中形成的xi(投影仪的像素坐标)和ci(与xi对应的图像的像素坐标)之间的对应关系的情况下对算术式2进行计算,则不能得到准确的单应性。投影障碍区550应该被确定为噪声,并且应该从计算中排除对应的值,以拍摄投影表面的图像并且准确地实现用于将所拍摄的图像中的投影区与投影仪的投影区进行匹配的相对转换信息的计算。最后,使用RANSAC来计算算术式2,以计算将投影障碍区排除在外的主导单应性。
可以通过以下步骤来区别投影障碍区:通过计算第一相对转换信息Hi→cam的逆矩阵来得到第二相对转换信息Hcam→i,使用Hcam→i将ci转换成投影仪300的投影区310,并且如果距与投影区对应的xi的距离差大,则确定在墙500上存在结构540。
图6是示出通过上述处理对墙500上的投影障碍区550进行过滤之前的有效投影区560以及对投影障碍区550进行过滤之后的有效投影区560的视图。
此外,可以在安装在影院中的投影仪300和投影表面之间执行第一步骤至第三步骤的所有处理,并且能够通过将通过执行这些步骤而提取的有效投影区560组合成一个区域来获取“整个有效投影区560”。例如,当两个投影仪300与墙500对应地安装在影院中的一侧时,如果针对投影仪中的每一个执行第一步骤至第三步骤,则投影管理装置200可以获取针对每个投影仪300的有效投影区560,并且如果像这样提取的有效投影区560被组合成一个区域,则能够获取一侧的墙500的整个有效投影区560。图7是示出通过组合多个有效投影区560而得到的整个有效投影区560的视图。
此外,为了最终在得到有效投影区560之后对投影区310进行校正,应该计算实际要投影在投影表面上的内容图像和投影仪300的投影区310之间的相对转换信息(即,第三相对转换信息Hi→image),并且图2中的第四步骤与该步骤对应。(图像意指内容图像)
在矩阵之间使用链式法则来计算Hi→image,并且具体地,使用第一投影表面图像10和内容图像之间的相对转换信息Hcam→image以及投影仪300和之前得到的第一投影表面图像10之间的相对转换信息Hi→cam来得到Hi→image
由于如果处理前进直至像这样的第四步骤,则最终能够限定投影仪300的投影区310和内容图像之间的对应关系,因此结果投影管理装置200可以控制投影仪300将内容图像正确投影到有效投影区560上。
此外,本发明中假定的多表面影院使用墙500作为投影表面,然而,该影院并不使用整个墙500作为能够被投影的区域并且利用该区域的一部分作为有效投影区560。因此,需要进一步精确确定整个墙500中的哪个区域是有效投影区560。另外,在将内容图像投影到墙500的时间点确定有效投影区560时,需要将与投影到影院前侧的屏幕600上的内容图像的连接性保持最大化。
为此,本发明提出了利用激光水准仪400将上面被投影内容图像的区域与投影仪300的投影区310准确对准的方法。图2中的第五步骤至第七步骤描述了利用激光水准仪400将投影区310和内容图像精确对准的处理。
首先,第五步骤是以下步骤:投影管理装置200获取拍摄装置100所拍摄的第二投影表面图像30,并且在这一点上,第二投影表面图像30是在从激光水准仪400输出的激光线410被显示在投影表面上的同时所拍摄的图像。图8是示出当将激光线410辐射到影院一侧的墙500上的同时由拍摄装置100所拍摄的第二投影表面图像30的视图。参照图8,可以安装多个激光水准仪400,使得四条激光线410(上/下/左/右)能够显示在投影表面上,并且在这一点上,具体地,与底侧对应的激光水准仪400被优选地安装成与前屏幕600的底线对准。另外,与顶侧对应的激光水准仪400被优选地安装成与穿过前屏幕600的中心的水平轴线对准。激光水准仪被安装成将激光线410的顶侧和底侧与前屏幕600对准,以如以上提到的保持投影在墙500上的内容图像和投影到前屏幕600上的内容图像之间的连接性最大。此外,与左侧和右侧对应的激光水准仪400被安装成与内容图像的沿着水平方向的开始和结束对应。
第六步骤是以下步骤:投影管理装置200从显示有激光线410的第二投影表面图像30中提取多个线图像411并且获取由线图像411的交叉而产生的交叉点413。激光线410优选地显示为红色,并且投影管理装置200可以通过分析用于第二投影表面图像30的RGB通道而提取高R值的像素,来仅提取线图像411。另外,如上所述提取的线图像411必须彼此交叉并且产生交叉点413,并且投影管理装置200通过对线图像411执行霍夫变换(HoughTransform)来得到直线的式子并且用每侧的直线的式子来计算交叉点413。图9是示出从图8的第二投影表面图像20中提取的线图像411和用这些线图像计算出的交叉点413的视图。
最后,第七步骤是以下步骤:投影管理装置200将计算出的交叉点413与内容图像的顶点进行匹配。也就是说,投影管理装置200可以用如算术式2中所示的方法来计算第二投影表面图像30和内容图像之间的相对转换信息Hcam→image,并且可以最终利用像这样计算出的相对转换信息Hcam→image按与投影仪300和第二投影表面图像30之间的相对转换信息Hi→image的链式法则关系来计算投影仪300和内容图像之间的相对转换信息Hi→image(还用如算术式2中所示的方法来计算Hi→image)。
结果,投影管理装置200可以通过获得投影仪300和内容图像之间的相对转换信息来控制投影仪300按照与投影仪300的投影区310准确对准的方式投影内容图像。
虽然已经如上所述公开了本发明,但本领域中的技术人员可以认识到,可以在保持本发明的精神和实质特征的同时按照不同的形式来实施本发明。
因此,上述的实施方式仅仅是例示性的,不旨在将本发明的范围仅限于以上提到的实施方式。此外,附图中示出的流程图仅仅是例示目的的顺序以在实施本发明时得到最优选的结果,并且显而易见的是,还可以包括其它步骤或者可以删除一些步骤。
虽然本发明的范围将由权利要求限定,但是从权利要求的公开直接导出的配置以及从所述配置及其等同物导出的所有改变或修改后的形式应该被理解为包括在本发明的范围内。

Claims (13)

1.一种对投影区进行自动校正的方法,该方法包括以下步骤:
(a)获取拍摄装置所拍摄的第一投影表面图像;
(b)将所述第一投影表面图像中的投影区的每对像素坐标映射到投影仪所投影的投影区的每对像素坐标;以及
(c)使用所述第一投影表面图像的像素坐标和所述投影仪的像素坐标来计算所述第一投影表面图像和所述投影仪之间的相对转换信息,
其中,所述第一投影表面图像是被投影光图案的投影表面的图像。
2.根据权利要求1所述的方法,其中,拍摄所述第一投影表面图像包括以下步骤:
将所述投影仪的每对像素坐标转换成位;
按照时间顺序将黑色图像和白色图像投影到所述投影仪的每对像素坐标处;以及
由所述拍摄装置来拍摄被投影所述黑色图像和所述白色图像的投影表面。
3.根据权利要求1所述的方法,其中,步骤(c)包括以下步骤:
从所述投影仪的所述投影区提取任意的参考像素xi
从所述第一投影表面图像中提取与所述参考像素xi对应的对应像素ci,以及
通过将所述参考像素xi和所述对应像素ci代入相对转换公式中来计算所述相对转换信息。
4.根据权利要求3所述的方法,其中,在步骤(c)中,计算第一相对转换信息Hi→cam,并且所述相对转换公式是Hi→cam=argmin||Hxi-ci||2,其中,xi表示所述投影区的所述参考像素,并且ci表示所述第一投影表面图像的所述对应像素。
5.根据权利要求4所述的方法,其中,在步骤(c)中,还计算第二相对转换信息Hcam→i,并且Hcam→i表示所述第一相对转换信息Hi→cam的逆矩阵。
6.根据权利要求5所述的方法,其中,使用随机抽样一致RANSAC来计算所述第二相对转换信息Hcam→i,并且从在步骤(c)中基于所述第二相对转换信息Hcam→i获得的有效投影区中去除由设置在所述投影表面上的结构而产生的投影障碍区。
7.根据权利要求1所述的方法,其中,与一个投影表面对应地设置多个投影仪,并且对每个投影仪所投影的所述第一投影表面图像执行步骤(a)、(b)和(c),并且通过将所述投影仪的有效投影区进行组合来获得整个有效投影区。
8.根据权利要求1所述的方法,该方法还包括以下步骤:(d)计算内容图像和所述投影仪之间的第三相对转换信息Hi→image
9.根据权利要求8所述的方法,该方法还包括以下步骤:(e)获取显示有激光线的第二投影表面图像,其中,用从激光水准仪输出的光来显示所述激光线。
10.根据权利要求9所述的方法,该方法还包括以下步骤:
(f)从所述第二投影表面图像中提取多个线图像并且获取由所述线图像的交叉而产生的交叉点;以及
(g)将所获取的交叉点与所述内容图像的顶点进行匹配。
11.一种对投影区进行自动校正的系统,该系统包括:
拍摄装置,其用于拍摄投影表面;
投影管理装置,其用于获取所述拍摄装置所拍摄的第一投影表面图像,通过将所述第一投影表面图像中的投影区的每对像素坐标映射到投影仪所投影的投影区的每对像素坐标来计算相对转换信息,并且基于所述相对转换信息来获得所述投影仪的有效投影区;以及
所述投影仪,其用于投影影院中的投影区的图像,
其中,所述第一投影表面图像是被所述投影仪投影光图案的投影表面的图像。
12.根据权利要求11所述的系统,该系统还包括激光水准仪,该激光水准仪用于输出将激光线显示在所述投影表面上的光,其中,所述投影管理装置还获取所述拍摄装置所拍摄的第二投影表面图像。
13.根据权利要求12所述的系统,其中,所述投影管理装置从所述第二投影表面图像中提取多个线图像,获取由所述线图像的交叉而产生的交叉点,并且将所获取的交叉点与内容图像的顶点进行匹配。
CN201710159350.6A 2016-12-16 2017-03-17 基于拍摄装置拍摄的图像自动校正投影区的方法及其系统 Pending CN108206946A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0172309 2016-12-16
KR1020160172309A KR101820905B1 (ko) 2016-12-16 2016-12-16 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템

Publications (1)

Publication Number Publication Date
CN108206946A true CN108206946A (zh) 2018-06-26

Family

ID=61094867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710159350.6A Pending CN108206946A (zh) 2016-12-16 2017-03-17 基于拍摄装置拍摄的图像自动校正投影区的方法及其系统

Country Status (7)

Country Link
US (1) US10051250B2 (zh)
EP (1) EP3539288B1 (zh)
JP (1) JP2020508479A (zh)
KR (1) KR101820905B1 (zh)
CN (1) CN108206946A (zh)
IL (1) IL267084A (zh)
WO (1) WO2018110774A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451290A (zh) * 2018-12-25 2019-03-08 广州励丰文化科技股份有限公司 基于异形投影画面的自动校正方法及系统
WO2022057117A1 (zh) * 2020-09-15 2022-03-24 成都极米科技股份有限公司 画面校正的检测方法、装置和检测系统
CN114827563A (zh) * 2021-11-16 2022-07-29 海信视像科技股份有限公司 投影设备和投影区域修正方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600716A (zh) * 2018-05-17 2018-09-28 京东方科技集团股份有限公司 投影设备和系统、投影方法
CN110336987B (zh) * 2019-04-03 2021-10-08 北京小鸟听听科技有限公司 一种投影仪畸变校正方法、装置和投影仪
US11023729B1 (en) 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
KR102173295B1 (ko) * 2020-01-20 2020-11-03 주식회사 바인더에이 레이저와 프로젝션 영상 동기화 시스템
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム
CN112261396B (zh) * 2020-10-26 2022-02-25 成都极米科技股份有限公司 投影方法、装置、投影设备及计算机可读存储介质
CN115706784B (zh) * 2021-08-03 2024-02-06 宜宾市极米光电有限公司 一种投影仪投影画质噪点的度量方法及相关装置
WO2023087951A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 一种投影设备及投影图像的显示控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704837A (zh) * 2004-05-31 2005-12-07 日本电气视象技术株式会社 具有用于测量倾斜角的设备的投影仪
CN102170544A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、显示系统及校正方法
CN102611822A (zh) * 2012-03-14 2012-07-25 海信集团有限公司 投影仪及其投影图像校正方法
US20140333585A1 (en) * 2013-05-09 2014-11-13 Kabushiki Kaisha Toshiba Electronic apparatus, information processing method, and storage medium

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4009850B2 (ja) * 2002-05-20 2007-11-21 セイコーエプソン株式会社 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
DE102010023108B4 (de) 2009-06-04 2019-12-05 Sypro Optics Gmbh Projektor mit automatischer Fokussierung und Abbildungsverfahren
JP6102088B2 (ja) 2011-09-01 2017-03-29 株式会社リコー 画像投影装置、画像処理装置、画像投影方法、画像投影方法のプログラム及びそのプログラムを記録した記録媒体
US10008007B2 (en) 2012-09-20 2018-06-26 Brown University Method for generating an array of 3-D points
JP6375660B2 (ja) * 2014-01-21 2018-08-22 セイコーエプソン株式会社 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 投影システム、半導体集積回路、および画像補正方法
JP6618249B2 (ja) * 2014-02-18 2019-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 投影システムおよび半導体集積回路
KR101601810B1 (ko) 2014-04-08 2016-03-09 에스케이텔레콤 주식회사 영상 왜곡 보정 방법 및 장치
JP2016014720A (ja) * 2014-07-01 2016-01-28 ソニー株式会社 情報処理装置および方法
KR20160031966A (ko) 2014-09-15 2016-03-23 한국과학기술원 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1704837A (zh) * 2004-05-31 2005-12-07 日本电气视象技术株式会社 具有用于测量倾斜角的设备的投影仪
CN102170544A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、显示系统及校正方法
CN102611822A (zh) * 2012-03-14 2012-07-25 海信集团有限公司 投影仪及其投影图像校正方法
US20140333585A1 (en) * 2013-05-09 2014-11-13 Kabushiki Kaisha Toshiba Electronic apparatus, information processing method, and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451290A (zh) * 2018-12-25 2019-03-08 广州励丰文化科技股份有限公司 基于异形投影画面的自动校正方法及系统
WO2022057117A1 (zh) * 2020-09-15 2022-03-24 成都极米科技股份有限公司 画面校正的检测方法、装置和检测系统
CN114827563A (zh) * 2021-11-16 2022-07-29 海信视像科技股份有限公司 投影设备和投影区域修正方法

Also Published As

Publication number Publication date
US20180176520A1 (en) 2018-06-21
EP3539288A4 (en) 2020-09-30
EP3539288A1 (en) 2019-09-18
US10051250B2 (en) 2018-08-14
WO2018110774A1 (en) 2018-06-21
EP3539288B1 (en) 2022-08-03
KR101820905B1 (ko) 2018-01-22
JP2020508479A (ja) 2020-03-19
IL267084A (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN108206946A (zh) 基于拍摄装置拍摄的图像自动校正投影区的方法及其系统
CN105026997B (zh) 投影系统、半导体集成电路及图像修正方法
US11115633B2 (en) Method and system for projector calibration
CN110427917B (zh) 用于检测关键点的方法和装置
US11330243B2 (en) System and method for 3D scanning
US9979909B2 (en) Automatic lens flare detection and correction for light-field images
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
JP5206853B2 (ja) 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US11290704B2 (en) Three dimensional scanning system and framework
US20040257540A1 (en) Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
US20170263052A1 (en) Method for generating an ordered point cloud using mobile scanning data
CN111899282B (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
Sajadi et al. Automatic registration of multi‐projector domes using a single uncalibrated camera
CN103500471A (zh) 实现高分辨率增强现实系统的方法
US20190392634A1 (en) Real-Time Face 3D Reconstruction System and Method on Mobile Device
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
JP2001148012A (ja) 対応点探索方法および装置
JP2008017386A (ja) キー画像生成装置
CN108510537B (zh) 3d建模方法和装置
KR102076635B1 (ko) 산재된 고정 카메라를 이용한 파노라마 영상 생성 장치 및 방법
Bhasker et al. Geometric modeling and calibration of planar multi-projector displays using rational bezier patches
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN110874863A (zh) 三维重建方法和用于三维重建的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180626

WD01 Invention patent application deemed withdrawn after publication