CN106464825A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN106464825A
CN106464825A CN201580027226.3A CN201580027226A CN106464825A CN 106464825 A CN106464825 A CN 106464825A CN 201580027226 A CN201580027226 A CN 201580027226A CN 106464825 A CN106464825 A CN 106464825A
Authority
CN
China
Prior art keywords
image
pattern
shooting
unit
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580027226.3A
Other languages
English (en)
Other versions
CN106464825B (zh
Inventor
加治洋祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106464825A publication Critical patent/CN106464825A/zh
Application granted granted Critical
Publication of CN106464825B publication Critical patent/CN106464825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)

Abstract

本技术涉及一种图像处理设备和方法，利用该图像处理设备和方法更易于确定投影单元和拍摄单元的相对姿势。在本发明的一个方面，图案拍摄图像被用来检测投影图像与投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包含图案的图像的投影图像。例如，本技术可以应用于配备有投影仪和/或摄像装置功能的电子装置，或者应用于计算机等以控制它们。

Description

图像处理设备和方法
技术领域
本技术涉及图像处理设备和方法，尤其涉及能够更易于寻求投影单元与拍摄单元之间的相对姿势的图像处理设备和方法。
背景技术
常规地，存在一种用于投影一个图像使得从多个投影仪投影的投影图像的部分或者全部相互交叠的方法。在投影图像交叠的这样的部分(将被表示为交叠区域)中，其亮度会不同于其他区域的亮度，或者交叠的投影图像会发生偏移。
因此，假设由摄像装置来感测这样的交叠区域，从而检测如何交叠，以及根据检测结果来校正要被投影的图像。在这种情况下，有必要掌握用于投影图像的投影仪与用于拍摄其投影图像的摄像装置之间的像素的对应关系。
一种使用格雷码的方法被认为是用于获取像素的对应关系的方法。然而，采用这种方法，需要使用很多图案图像来辨别投影仪的每个像素，并且因此掌握像素的对应关系的处理是很复杂的。
因此，提出了一种方法，该方法用于对棋盘格和其中棋盘格的四个角中任何一个角缺失的四个图案进行投影，并且对图案的投影顺序与关于缺失角的信息进行匹配，从而检测出棋盘格的每个角与投影仪的像素之间的对应关系(例如，参见非专利文献1)。
引用列表
非专利文献
非专利文献1：Ramesh Raskar,Jeroen van Baar,Paul Beardsley,ThomasWillwacher,Srinivas Rao,Clifton Forlines,“iLamps:Geometrically Aware andSelf-Configuring Projectors”,ACM SIGGRAPH 2003Conference Proceedings.
发明内容
本发明要解决的问题
不管怎样，除了上述方法之外的方法仍是被期待的。
本技术是针对上述情况提出的，本技术的目的是能够更易于寻求投影单元与拍摄单元之间的相对姿势。
问题的技术方案
本技术的一个方面是图像处理设备，该图像处理设备包括：检测单元，该检测单元用于通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。
图像可以包括多个图案，以及每个图案由多个子图案构成并且每个图案在子图案的数量或者子图案之间的位置关系方面与其他图案不同。
图案可以具有：起始码，在该起始码中，子图案以共同数量和位置关系布置在每个图案中；以及唯一码，在该唯一码中，子图案的数量或者位置关系不同于其他图案。
该起始码可以由被布置成图形的多个子图案构成，以及该唯一码可以以与其他图案不同的图形布置。
该起始码可以由按一行三列布置的三个图案构成，以及该唯一码可以由在两行三列内以与其他图案不同的数量或位置关系布置的单个或多个子图案构成。
子图案可以以点状图形布置。
检测单元可以通过使用包括在图案拍摄图像中的每个图案的子图案的数量和位置关系，检测投影图像与所述投影图像的拍摄图像之间的对应点，从而检测对应关系。
检测单元可以通过针对每个图案使用图案之间的相邻关系来分析子图案的数量和位置关系，从而检测对应点。
检测单元可以通过使用边缘图像来检测子图案之间的相邻关系，边缘图像指示具有预定的图案的图像的投影图像的拍摄图像中的图案的边缘。
还可以包括边缘检测单元，该边缘检测单元用于检测具有预定的图案的图像的投影图像的拍摄图像中的图案的边缘，从而生成边缘图像，以及检测单元可以通过使用由边缘检测单元生成的边缘图像来检测子图案之间的相邻关系。
检测单元可以通过使用边缘经扩展的边缘图像来检测子图案之间的相邻关系。
检测单元可以通过使用包括在图案拍摄图像中的每个图案的子图案的重心，检测子图案之间的相邻关系。
检测单元可以通过使用二值化的图案拍摄图像来检测子图案的重心。
检测单元可以通过使用单应性图像与投影图像的拍摄图像之间的对应点来检测投影图像与拍摄图像之间的对应点，单应性图像是基于包括在图案拍摄图像中的图案生成的。
具有预定的图案的图像可以是棋盘格图像。
检测单元可以针对拍摄图像中的预定的图案的所有角来检测单应性图像与拍摄图像之间的对应点，以及检测单元可以针对预定的图案的所有检测到的角来检测投影图像与拍摄图像之间的对应点。
检测单元可以通过使用拍摄图像被二值化以扩展预定分量的图像来检测角。
还可以包括用于拍摄投影图像并获取拍摄图像的拍摄单元，以及检测单元可以通过使用图案拍摄图像来检测投影图像与由拍摄单元通过拍摄投影图像获取的拍摄图像之间的对应点，从而检测对应关系，图案拍摄图像是由拍摄单元通过拍摄图案投影图像获取的。
还可以包括用于投影图像的投影单元，以及检测单元可以通过使用图案拍摄图像来检测由投影单元投影的投影图像与投影图像的拍摄图像之间的对应点，从而检测对应关系，图案拍摄图像是由投影单元投影的图案投影图像的拍摄图像。
还可以包括图像处理单元，该图像处理单元用于通过使用由检测单元检测的投影图像与拍摄图像之间的对应关系，对被投影的图像与另一投影图像交叠的部分执行图像处理。
此外，本技术的一个方面是一种图像处理方法，该方法用于通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，图案拍摄图像是图案投影图像的拍摄图像，图案投影图像是包括图案的图像的投影图像。
根据本技术的一个方面，通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。
本发明的有益效果
根据本技术，可以基于图像对信息进行处理。此外，根据本技术，可以更易于寻求投影单元与拍摄单元之间的相对姿势。
附图说明
图1是用于说明示例性交叠区域的图。
图2是用于说明像素的示例性对应关系的图。
图3是用于说明使用格雷码的示例性方法的图。
图4是用于说明使用棋盘格图案的示例性方法的图。
图5是示出投影拍摄系统的示例性主要部件的图。
图6是用于说明示例性投影拍摄装置的图。
图7是用于说明示例性交叠区域的图。
图8是示出控制装置的示例性主要部件的框图。
图9是示出由CPU实现的主要功能的示例性配置的功能框图。
图10是示出对应点检测处理单元的主要功能的示例性配置的功能框图。
图11是示出投影拍摄装置的示例性主要部件的框图。
图12是示出投影单元的示例性主要部件的框图。
图13是以示例的方式示出如何扫描激光的图。
图14是用于说明对应关系检测处理的示例性流程的流程图。
图15是用于说明图案图像投影拍摄处理的示例性流程的流程图。
图16是以示例的方式示出图案图像投影拍摄处理的图。
图17是用于说明对应点检测处理的示例性流程的流程图。
图18是用于说明角检测处理的示例性流程的流程图。
图19是以示例的方式示出角检测处理的图。
图20是用于说明边缘检测处理的示例性流程的流程图。
图21是以示例的方式示出边缘检测处理的图。
图22是用于说明重心检测处理的示例性流程的流程图。
图23是以示例的方式用于说明重心检测处理的图。
图24是用于说明图像间对应点检测处理的示例性流程的流程图。
图25是以示例的方式示出相邻关系检测处理的图。
图26是示出独特图案的示例性配置的图。
图27是以示例的方式示出图像间对应点检测处理的图。
图28是示出投影拍摄系统的另一示例性配置的图。
图29是示出投影拍摄系统的又一示例性配置的图。
图30是示出投影拍摄系统的又一示例性配置的图。
图31是示出投影拍摄系统的又一示例性配置的图。
具体实施方式
下文将对用于实现本公开内容的具体实施方式(在下文中表示为示例性实施方式)进行描述。此外，将按以下顺序进行描述。
1.第一示例性实施方式(投影拍摄系统)
<1.第一示例性实施方式>
<交叠区域和校正>
常规地，存在一种用于通过使用多个投影仪来投影一个图像的方法。通过这样的做法，例如，可以在不减小分辨率的情况下增大投影图像的图像尺寸，或者可以将投影图像以较少失真的方式投影在曲线上。
在这种情况下，难以在无偏移的情况下对从各投影仪投影的投影图像进行布置，并且因此通常进行投影使得投影图像的部分或者全部交叠。也就是说，在这种情况下，产生多个投影图像交叠的部分(还被称为交叠区域)。
例如，如图1所示，当投影拍摄装置10中的投影单元11向屏幕30投影图像时，假定该图像被投影到屏幕30的P0L到P0R的区域内。类似的，当投影拍摄装置20中的投影单元21向屏幕30投影图像时，假定该图像被投影到屏幕30的P1L到P1R的区域内。在这种情况下，屏幕30的P1L到P0R的区域就被认为是交叠区域。
在这样的交叠区域，例如，亮度不同于其他区域的亮度，或者在交叠的投影图像中会发生偏移，并且因此需要进行电平校正、失真校正等。
例如，如果投影单元11和投影单元21在每个整体投影区域内以均匀亮度投影图像，则交叠区域投影有来自投影单元11和投影单元21两者的图像，并且因此会比其他区域(P0L到P1L的范围和POR到P1R的范围)更亮。当一个图像被投影到P0L到P1L的范围时，仅交叠区域是亮的，以及投影图像可以给出一种奇怪的感觉(或者投影图像的图像质量变差)。因此，在这种情况下，需要电平校正来限制图像质量的降低。
此外，多个投影图像交叠在交叠区域内，并且因此如果在投影图像中造成失真，则投影图像很难调准，并且投影图像可以给出奇怪的感觉(或者投影图像的图像质量变差)。因此，在这种情况下，需要失真校正来限制图像质量的降低。
<交叠区域的检测>
因此，假定由摄像装置等感测这样的交叠区域，从而检测如何交叠，然后根据检测结果来校正要被投影的图像。这对投影仪与摄像装置之间的相对姿势(旋转分量或平移分量)的估计也是一样的。
例如，如在图1的示例中，假定投影拍摄装置10具有投影图像的投影功能(投影单元11)以及拍摄对象并获取拍摄图像的拍摄功能(拍摄单元12)。类似的，假定投影拍摄装置20具有投影图像的投影功能(投影单元21)以及拍摄对象并获取拍摄图像的拍摄功能(拍摄单元22)。拍摄单元12拍摄屏幕30的C0L到C0R的范围，以及拍摄单元22拍摄屏幕30的C1L到C1R的范围。也就是说，拍摄单元12可以拍摄由投影单元21投影的投影图像的P1L到C0R的范围。此外，拍摄单元22可以拍摄由投影单元11投影的投影图像的C1L到P0R的范围。
在这种情况下，在每个投影拍摄装置中，如果投影单元与拍摄单元之间的位置关系是已知的，则当掌握拍摄单元12与投影单元21之间的相对姿势(双箭头41)以及拍摄单元22与投影单元11之间的相对姿势(双箭头42)时，可以检测出交叠区域。
换句话说，仅需要掌握投影单元与拍摄单元之间的像素的对应关系。例如，如图2所示，假定从投影单元11发射的光(箭头51)在屏幕30上的X处反射，并且由拍摄单元22接收(箭头52)。如果可以掌握发射光的投影单元的像素与接收光的拍摄单元的像素(或者与拍摄单元的像素对应的投影单元的像素)之间的对应关系，则可以检测出交叠区域。
已经描述了一种使用格雷码的方法作为用于获取投影单元(投影仪)与拍摄单元(摄像装置)之间的像素的对应关系的方法。使用该方法，例如，从投影仪投影如图3的A中所示的预定图案图像同时预定图案图像按时间序列变化，并且每个图案都通过摄像装置拍摄。然后，在所有图案都被完全拍摄的情况下，在摄像装置的每个像素处检测出每个拍摄图案的1(白色)或者0(黑色)，并且如图3的B中所示对0和1的图案进行译码，从而获取投影仪像素的位置。由此，可以获取像素的对应关系。
然而，使用格雷码的方法需要投影和拍摄与ceil(log2(水平分辨率))+ceil(log2(竖直分辨率))一样多的图案图像来辨别投影仪的每个像素。因此，需要复杂的工作并且处理时间也会增加。此外，在摄像装置的视角比投影仪的视角足够大的情况下，投影仪的多个像素被分配给摄像装置的一个像素，并且因此难以精准地确定对应点。
因此，非专利文献1提出了一种方法，该方法用于对棋盘格和其中棋盘格的四个角中任何一个角缺失的四个图案进行投影，并且对图案的投影顺序与关于缺失角的信息进行匹配，从而检测出如图4所示的棋盘格的每个角与投影仪的哪个像素对应。
使用这种方法，要被投影和要被拍摄的图案图像的数量相较于使用格雷码的方法而言可以被显著减少。然而，使用这种方法，需要五个要被投影和要被拍摄的图案图像，并且这也不是最少的数量。此外，使用这种方法，需要从摄像装置看到至少一个缺失角，以及可以假定不可能的情况。此外，使用用于从拍摄图像中直接检测特征点的系统，对特征点的检测的鲁棒性对屏幕的背景色或者有外部光线的情况下来说是不够的。
如上所述，除了以上两种方法以外，用于掌握投影单元与拍摄单元之间的像素的对应关系的方法还是被期待的。
<对应点的检测>
因此，通过使用图案拍摄图像来检测投影图像与该投影图像的拍摄图像之间的对应关系，其中所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。
通过图案可以更准确地指定图像的位置，并且因此，可以在不需要增加图案图像的数量的情况下检测到对应点。也就是说，可以更易于确定投影单元与拍摄单元之间的相对姿势。
例如，可以配置使得图像包括多个图案，每个图案由多个子图案构成，并且子图案的数量或者子图案之间的位置关系可以不同于其他图案。
此外，图案可以具有其中子图案以共同数量或共同关系布置在每个图案中的起始码(start code)，以及其中子图案的数量或位置关系不同于其他图案的唯一码(uniquecode)。
此外，起始码可以由被布置成图形的多个子图案构成，以及唯一码可以是在图形方面与其他图案不同的布置。
此外，该起始码可以由按一行三列布置的三个图案构成，以及该唯一码可以由在两行三列内以与其他图案不同的数量或位置关系布置的单个或多个子图案构成。
子图案可以被布置成点状图形。
检测单元可以通过使用包括在图案拍摄图像中的每个图案的子图案的数量及位置关系，检测投影图像与该投影图像的拍摄图像之间的对应点，从而检测对应关系。
此外，检测单元可以通过针对每个图案使用图案之间的相邻关系来分析子图案的数量和位置关系，从而检测对应点。
此时，检测单元可以通过使用边缘图像来检测子图案之间的相邻关系，边缘图像指示具有预定的图案的图像的投影图像的拍摄图像中的图案的边缘。
此外，还可以设置边缘检测单元，该边缘检测单元用于检测具有预定的图案的图像的投影图像的拍摄图像中的图案的边缘，从而生成边缘图像，以及检测单元可以通过使用由边缘检测单元生成的边缘图像来检测子图案之间的相邻关系。
此时，检测单元可以通过使用边缘经扩展的边缘图像来检测子图案之间的相邻关系。
检测单元可以通过使用包括在图案拍摄图像中的每个图案的子图案的重心，检测子图案之间的相邻关系。
检测单元可以通过使用二值化的图案拍摄图像来检测子图案的重心。
检测单元可以通过使用单应性图像(homography image)与投影图像的拍摄图像之间的对应点来检测投影图像与其拍摄图像之间的对应点，单应性图像是基于包括在图案拍摄图像中的图案生成的。
此外，具有预定的图案的图像可以是棋盘格图像。
检测单元可以针对拍摄图像中的预定的图案的所有角来检测单应性图像与拍摄图像之间的对应点，以及检测单元可以针对预定的图案的所有检测到的角来检测投影图像与拍摄图像之间的对应点。
检测单元可以通过使用具有经扩展的预定分量的二值化拍摄图像对角进行检测。
还可以设置拍摄单元，该拍摄单元用于拍摄投影图像并获取拍摄图像，以及检测单元可以通过使用图案拍摄图像来检测投影图像与由拍摄单元通过拍摄投影图像获取的拍摄图像之间的对应点，从而检测对应关系，图案拍摄图像是由拍摄单元通过拍摄图案投影图像获取的。
还可以设置投影单元，该投影单元用于投影图像，以及检测单元可以通过使用图案拍摄图像来检测由投影单元投影的投影图像与投影图像的拍摄图像之间的对应点，从而检测对应关系，图案拍摄图像是由投影单元投影的图案投影图像的拍摄图像。
还可以设置图像处理单元，该图像处理单元用于通过使用由检测单元检测的投影图像与拍摄图像之间的对应关系，对被投影的图像与另一投影图像交叠的部分执行图像处理。
<投影拍摄系统>
图5示出了应用有根据基于本技术的图像处理设备的一个示例性实施方式的控制装置的投影拍摄系统的示例性主要部件。图5所示的投影拍摄系统100用于对图像进行投影。例如，投影拍摄系统100可以通过使用前述的多个投影装置(投影拍摄装置)对一个图像进行投影。如图5所示，投影拍摄系统100具有控制装置101、投影拍摄装置102-1和投影拍摄装置102-2以及网络103。
控制装置101经由网络103连接至投影拍摄装置102-1和投影拍摄装置102-2，并与投影拍摄装置102-1和投影拍摄装置102-2进行通信，从而对投影拍摄装置102-1和投影拍摄装置102-2的操作进行控制。例如，控制装置101使投影拍摄装置102-1和投影拍摄装置102-2对图像进行投影或者对投影图像进行拍摄。例如，控制装置101可以控制投影拍摄装置102-1和投影拍摄装置102-2，从而投影一个图像。
此外，例如，控制装置101在投影拍摄装置102-1与投影拍摄装置102-2之间对投影单元与拍摄单元之间的相对姿势(例如旋转分量或平移分量)进行估计处理。此外，例如，控制装置101可以通过使用估计结果对投影拍摄装置102-1的投影图像与投影拍摄装置102-2的投影图像之间的交叠区域进行图像处理如电平校正或者失真校正。
投影拍摄装置102-1具有投影功能，并且可以将图像投影在屏幕104上。此外，投影拍摄装置102-1具有拍摄功能，并且可以对投影到屏幕104上的投影图像进行拍摄。投影拍摄装置102-2类似于投影拍摄装置102-1，并且具有相似的配置和相似的功能。在描述的过程中，当不需要对投影拍摄装置102-1和投影拍摄装置102-2彼此进行区分时，用投影拍摄装置102来表示它们。
投影拍摄装置102-1和投影拍摄装置102-2经由网络103彼此互连，并且可以交换信息(可以进行通信)。此外，投影拍摄装置102-1和投影拍摄装置102-2经由网络103连接至控制装置101，并且分别可以与控制装置101交换信息(可以进行通信)。例如，投影拍摄装置102-1和投影拍摄装置102-2在控制装置101的控制下分别将图像投影在屏幕104上，从而将一个图像投影在屏幕104上。
此外，在控制装置101的控制下，投影拍摄装置102-1可以将图像投影到屏幕104上以及投影拍摄装置102-2可以拍摄该投影图像，从而获取拍摄图像。当然，在控制装置101的控制下，投影拍摄装置102-2可以将图像投影在屏幕104上以及投影拍摄装置102-1可以拍摄该投影图像，从而获取拍摄图像。
网络103是作为控制装置101与投影拍摄装置102之间的通信媒介的通信网络。网络103可以是任何通信网络，或者有线通信网络或无线通信网络、或者这二者。例如，网络103可以是有线LAN、无线LAN、公共电话线网络、用于无线移动的宽带通信网络如3G线路或4G线路、因特网、或者它们的组合。此外，网络103可以是单个通信网络或多个通信网络。此外，例如，网络103的部分或所有可以被配置成具有预定标准的通信线缆如通用串行总线(USB)线缆或者高清晰度多媒体接口(HDMI)(注册商标)线缆。
屏幕104被投影来自拍摄投影装置102的图像。要被投影有图像的屏幕104的表面可以是平面的、曲面的或者高低不平的。此外，图5中还描述了拍摄投影装置102将图像投影在屏幕104上，但是屏幕104是拍摄投影装置102在其上投影图像的示例性表面。拍摄投影装置102可以将图像投影在任何图像可投影物体例如墙、建筑、地板、天花板、日历、盘子、玩偶或者文具上。
<投影拍摄装置的概述>
图6的A示出了投影拍摄装置102的示例性外观。投影拍摄装置102具有前述的投影功能和拍摄功能，以及投影拍摄装置102的壳体设置有光学装置，例如用于投影图像的投影端口(镜头机构)和用于拍摄对象的摄像装置(镜头机构)。此外，投影拍摄装置102可以是任何大小的装置，例如便携式(小)装置。在这种情况下，如图6的A所示，投影拍摄装置102的壳体可以设有电池，用以增强便携性。
如上所述，多个投影拍摄装置102可以投影一个图像。图6的B示出一个示例，在该示例中，通过使用四个投影拍摄装置102(投影拍摄装置102-1至投影拍摄装置102-4)将一个图像投影在屏幕104上。如图6的B所示，从投影拍摄装置102-1至投影拍摄装置102-4投影的相应投影图像构成一个图像区域111，以及在该图像区域111中显示一个图像。当然，相应投影图像和该一个图像可以是静态图像或者动画。
当一个图像区域是通过这样的方式从投影拍摄装置102投影的相应投影图像来形成的时，很难在没有任何空隙或者没有奇怪的感觉的情况下布置相应投影图像。因此，如在图7所示的示例中，投影拍摄装置102被布置成使得相应投影图像的至少一些相互交叠。在图7的示例中，投影拍摄装置102-1的投影图像112-1的部分与投影拍摄装置102-2的投影图像112-2的部分相互交叠(在图7的阴影部分中)。阴影区域为交叠区域113。
如上所述，交叠区域113的亮度可以不同于其他区域，或者在交叠区域113中的交叠的投影图像之间会发生偏移，并且因此需要用于限制图像质量变差的图像处理如电平校正或者失真校正。交叠区域113需要被检测以进行这样的图像处理。因此，控制装置101对交叠区域113进行检测处理。
<控制装置>
图8是示出作为应用有本技术的图像处理设备的一个示例性实施方式的控制装置101的示例性主要部件的图。
如图8所示，在控制装置101中，中央处理单元(CPU)151、只读存储器(ROM)152和随机存取存储器(RAM)153经由总线154相互连接。
总线154还与I/O接口160连接。I/O接口160还与输入单元161、输出单元162、存储单元163、通信单元164和驱动器165连接。
输入单元161由用于经由用户输入等接受外部信息的输入装置构成。例如，输入单元161包括操作按钮、触摸板、摄像头、麦克风、输入终端等。此外，输入单元161可以包括多种类型的传感器，例如加速度传感器、光学传感器和温度传感器。
输出单元162由用于输出关于语音或图像的信息的输出装置构成。例如，输出单元162包括显示器、扬声器、输出终端等。
例如，存储单元163由硬盘、RAM盘、非易失性存储器等构成。例如，通信单元164由网络接口构成。例如，通信单元164连接至网络103，从而与经由网络103与其连接的另一装置进行通信。驱动器165驱动可移动介质171，可移动介质171如磁盘、光盘、磁光盘或半导体存储器。
例如，CPU151经由I/O接口160和总线154将存储在存储单元163中的程序装载至RAM 153中并且执行程序，从而执行各种类型的处理。RAM 153在其中存储有CPU 151需要的用于在需要时执行各种类型的处理的数据。
例如，由CPU 151执行的程序可以被记录在作为封装介质的可移动介质171中以提供给控制装置101。在这种情况下，可移动介质171被安装在驱动器165上，使得程序能够经由I/O接口160被安装在存储单元163中。
此外，可以经由有线或者无线传输介质例如LAN、因特网或者数字卫星广播等将程序提供给控制装置101。在这种情况下，经由有线或者无线传输介质，程序可以通过通信单元164接收并且被安装在存储单元163中。
此外，程序可以被预安装在ROM 152或者存储单元163中。
<功能框图>
控制装置101中的CPU 151执行程序从而实现多种功能。图9是示出由CPU 151实现的示例性主要功能的功能框图。
如图9所示，CPU 151具有功能模块，例如对应关系检测单元201、投影控制单元202和拍摄控制单元203。对应关系检测单元201在投影拍摄装置102之间对投影单元与拍摄单元之间的对应关系进行检测处理。投影控制单元202对投影拍摄装置102的投影功能进行控制处理。拍摄控制单元203对投影拍摄装置102的拍摄功能进行控制处理。
对应关系检测单元201具有图案图像投影拍摄处理单元211、对应点检测处理单元212和投影图像处理单元213。
图案图像投影拍摄处理单元211对用于检测对应关系的图案图像进行投影和拍摄处理。例如，图案图像投影拍摄处理单元211经由投影控制单元202控制投影拍摄装置102，从而将预定图案图像投影到屏幕104上。此外，例如，图案图像投影拍摄处理单元211经由拍摄控制单元203控制投影拍摄装置102，从而使得投影拍摄装置102拍摄预定图案图像的投影图像，并将拍摄图像提供给对应点检测处理单元212。拍摄图像可以被投影在屏幕104上。
对应点检测处理单元212通过使用经由拍摄控制单元203获取的拍摄图像对投影图像与该投影图像的拍摄图像之间的对应点进行检测处理。投影图像处理单元213基于检测到的对应点对投影图像进行图像处理，例如电平校正或失真校正。投影图像处理单元213经由投影控制单元202控制投影拍摄装置102，从而对图像经处理的图像进行投影。
<对应点检测处理单元>
图10是示出对应点检测处理单元212的示例性主要部件的功能框图。
如图10所示，对应点检测处理单元212具有角检测处理单元221、边缘检测处理单元222、重心检测处理单元223和图像间对应点检测处理单元224。
角检测处理单元221进行角检测处理。角检测处理单元221具有拍摄图像降噪单元231、差分图像生成单元232、差分图像二值化单元233、二值化图像扩展单元234和二值化经扩展图像的角检测单元235。
拍摄图像降噪单元231对从投影拍摄装置102提供的具有预定图案的投影图像的拍摄图像进行降噪的图像处理。差分图像生成单元232生成经降噪的拍摄图像之间的差分图像。差分图像二值化单元233对所生成的差分图像进行二值化。二值化图像扩展单元234对作为二值化差分图像的二值化图像的预定分量(例如“白色”部分)进行扩展(增大面积)。二值化经扩展图像的角检测单元235对包含在作为具有经扩展的预定分量的二值化图像的二值化经扩展图像中的预定图案的角进行检测处理。
边缘检测处理单元222进行边缘检测处理。边缘检测处理单元222具有二值化经扩展图像的边缘检测单元241、边缘经检测的图像生成单元242和边缘经检测的图像扩展单元243。二值化经扩展图像的边缘检测单元241对包含在二值化经扩展图像中的预定图案的边缘进行检测。边缘经检测的图像生成单元242基于二值化经扩展图像的边缘检测单元241的边缘检测结果来生成指示边缘的边缘经检测的图像。边缘经检测的图像扩展单元243对所生成的边缘经检测的图像的每个边缘进行扩展(增大面积)。
重心检测处理单元223对构成独特图案的每个子图案的重心进行检测处理。下文将对独特图案进行详细描述。重心检测处理单元223具有独特图案拍摄图像噪声检测单元251、差分图像生成单元252、差分图像二值化单元253和二值化图像的重心检测单元254。独特图案拍摄图像噪声检测单元251对独特图案拍摄图像进行降噪的图像处理，所述独特图案拍摄图像是独特图案投影图像的拍摄图像，所述独特图案投影图像是包含多个不同于其他的子图案的独特图案图像的投影图像。差分图像生成单元252生成独特图案拍摄图像与具有另一图案的投影图像的拍摄图像之间的差分图像。差分图像二值化单元253对所生成的差分图像进行二值化。二值化图像的重心检测单元254对包含在作为二值化差分图像的二值化图像中的独特图案的每个子图案的重心进行检测处理。
图像间对应点检测处理单元224对图像之间的对应点进行检测处理。图像间对应点检测处理单元224具有独特图案相邻关系检测单元261、独特图案解码单元262、单应性图像生成单元263、单应性图像/拍摄图像对应点检测单元264和投影图像/拍摄图像对应点检测单元265。独特图案相邻关系检测单元261对形成独特图案的子图案之间的相邻关系进行检测处理。独特图案解码单元262基于检测到的子图案之间的相邻关系对独特图案进行分析处理。单应性图像生成单元263通过使用独特图案对图像(单应性图像)进行生成处理，所述图像是投影经转换的投影图像。单应性图像/拍摄图像对应点检测单元264基于独特图案等进行寻求单应性图像与拍摄图像之间的对应关系的处理。投影图像/拍摄图像对应点检测单元265通过使用单应性图像与拍摄图像之间的对应关系进行寻求投影图像与拍摄图像之间的对应关系的处理。
下文将对每个处理进行详细描述。
<投影拍摄装置>
图11是示出投影拍摄装置102的示例性主要部件的框图。
如图11所示，投影拍摄装置102具有控制单元301、投影单元302、拍摄单元303、输入单元311、输出单元312、存储单元313、通信单元314和驱动器315。
控制单元301例如由CPU、ROM、RAM等构成，以及控制单元301对装置中的每个处理单元进行控制并且执行控制所需的各种类型的处理如图像处理。投影单元302在控制单元301的控制下对图像进行投影处理。例如，投影单元302将从控制单元301提供的图像投影在投影拍摄装置102的外部(例如屏幕104)。也就是说，投影单元302实现投影功能。
投影单元302通过使用激光作为光源通过MEMS扫描镜(MEMS mirror)来扫描激光，从而对图像进行投影。当然，投影单元302的光源是任意的，可以是LED、疝气等，并不限于激光。下文将对投影单元302进行详细描述。
拍摄单元303在控制单元301的控制下对装置外部的对象进行拍摄并且生成拍摄图像，并将拍摄图像提供给控制单元301。也就是说，拍摄单元303实现拍摄功能。例如，拍摄单元303对由投影单元302投影在屏幕304上的投影图像进行拍摄。
输入单元311由用于经由用户输入等接受外部信息的输入装置构成。例如，输入单元311包括操作按钮、触摸板、摄像头、麦克风、输入终端等。此外，输入单元311可以包括多种类型的传感器，例如加速度传感器、光学传感器和温度传感器。
输出单元312由用于输出关于语音或图像的信息的输出装置构成。例如，输出单元312包括显示器、扬声器、输出终端等。
例如，存储单元313由硬盘、RAM盘、非易失性存储器等构成。例如，通信单元314由网络接口构成。例如，通信单元314连接至网络103，从而与经由网络103与其连接的另一装置进行通信。驱动器315驱动可移动介质321，可移动介质321如磁盘、光盘、磁光盘或半导体存储器。
控制单元301将存储在存储单元313中的程序装载至并入其中的RAM中并且执行程序，从而执行各种类型的处理。RAM在其中存储有控制单元301需要的用于在需要时执行各种类型的处理的数据。
例如，由控制单元301执行的程序可以被记录在作为封装介质的可移动介质321中以提供给投影拍摄装置102。在这种情况下，可移动介质321被安装在驱动器315上，使得程序能够被安装在存储单元313中。
此外，可以经由有线或者无线传输介质例如LAN、因特网或者数字卫星广播等将程序提供给投影拍摄装置102。在这种情况下，经由有线或者无线传输介质，程序可以通过通信单元314接收并且被安装在存储单元313中。
此外，程序可以被预安装在并入控制单元301中的存储单元313或者ROM中。
投影拍摄装置102-1和投影拍摄装置102-2都具有这样的配置。
<投影单元>
图12是示出投影单元302的示例性主要部件的框图。如图12所示，投影单元302具有视频处理器351、激光驱动器352、激光输出单元353-1、激光输出单元353-2、激光输出单元353-3、镜子354-1、镜子354-2、镜子354-3、微机电系统(MEMS)驱动器335和MEMS扫描镜356。
视频处理器351持有从控制单元301提供的图像并对该图像进行必要的图像处理。视频处理器351向激光驱动器352或者MEMS驱动器355提供要被投影的图像。
激光驱动器352控制激光输出单元353-1至激光输出单元353-3对从视频处理器351提供的图像进行投影。激光输出单元353-1至激光输出单元353-3分别输出彼此具有不同颜色(波长带)如红色、蓝色和绿色的激光。也就是说，激光驱动器352控制每种颜色的激光输出对从视频处理器351提供的图像进行投影。此外，在描述的过程中，当不需要对激光输出单元353-1至激光输出单元353-3彼此进行区分时，用激光输出单元353来表示它们。
镜子354-1对从激光输出单元353-1输出的激光进行反射，并将其引导至MEMS扫描镜356。镜子354-2对从激光输出单元353-2输出的激光进行反射，并将其引导至MEMS扫描镜356。镜子354-3对从激光输出单元353-3输出的激光进行反射，并将其引导至MEMS扫描镜356。此外，在描述的过程中，当不需要对镜子354-1至镜子354-3彼此进行区分时，用镜子354来表示它们。
MEMS驱动器355控制MEMS扫描镜356驱动，从而投影从视频处理器351提供的图像。例如，MEMS扫描镜356在MEMS驱动器355的控制下，驱动附接在MEMS上的镜子，从而如图13的示例中对各种颜色的激光进行扫描。例如，激光从投影端口输出到装置的外部以施加在屏幕104上。从而，从视频处理器351提供的图像被投影在屏幕104上。
此外，在图12的示例中，描述了假定设置有三个激光输出单元353以分别输出三种颜色的激光，但是任何数量的激光(或者任何数量的颜色)是可行的。例如，可以使用四个或更多个激光输出单元353或者两个或更少个激光输出单元353。也就是说，可以从投影拍摄装置102(投影单元302)输出两个或更少个激光或者四个或更多个激光。然后，从投影拍摄装置102输出的激光的颜色数量是任意的，可以使用两种或更少种颜色或者四种或更多种颜色。此外，镜子354以及MEMS扫描镜356的配置是任意的，并不限于图12的示例。当然，激光扫描图案是任意的，并不限于图13的示例。
<对应关系检测处理的流程>
下面将对由控制装置101进行的各种类型的处理的流程进行描述，以对上述交叠区域113进行处理。
作为对交叠区域113进行的处理，控制装置101中的对应关系检测单元201进行对应关系检测处理。该处理可以在任何定时进行。例如，对应关系检测单元201可以在通过使用投影拍摄装置102-1和投影拍摄装置102-2两者开始对一个图像进行投影之前进行对应关系检测处理。此外，对应关系检测处理可以在图像被投影的同时在某一预定定时进行。
下面将参照图14的流程图对对应关系检测处理的示例性流程进行描述。
当开始对应关系检测处理时，在步骤S101中，图案图像投影拍摄处理单元211进行图案图像投影拍摄处理。在图案图像投影拍摄处理结束的情况下，在步骤S102中，对应点检测处理单元212进行对应点检测处理。在对应点检测处理结束的情况下，在步骤S103中，投影图像处理单元213基于在步骤S102中检测的对应关系对要被投影或者正在被投影的投影图像进行校正。也就是说，投影图像处理单元213对投影图像的交叠区域进行图像处理。在步骤S103中的处理结束的情况下，对应关系检测处理结束。
<图案图像投影拍摄处理的流程>
下面将参照图15的流程图对图14中的步骤S101中进行的图案图像投影拍摄处理的示例性流程进行描述。在需要时，还将参照图16进行描述。
当开始图案图像投影拍摄处理时，在步骤S121中，图案图像投影拍摄处理单元211从未经处理(未被投影)的图案图像中选择要被投影的图案图像。
图案图像是具有预定图案的预先准备的图像，以及通过使用图案图像检测对应点(检测交叠区域)。图16以示例的方式示出了图案图像。具有图16的A中所示的图案1的图案图像是具有两种颜色(例如黑色和白色)的格子花纹图案(棋盘格)的图像。具有图16的B中所示的图案2的图案图像是与图案1类似的具有两种颜色(例如黑色和白色)的格子花纹图案(棋盘格)的图像。此外，图案2与图案1的正和负(黑色和白色)相反。
具有图16的C所示的图案3的图案图像是黑色图像。具有图16的D所示的图案4的图案图像是多个独特图案(例如白色)叠加在黑色图像上的图像。该独特图案由多个子图案构成，并且每个独特图案和其他独特图案在子图案的数量或者图案之间的位置关系上都不相同。也就是说，独特图案由按独特布置图案布置的一组子图案构成，并且可以由于子图案的数量、位置关系等与其他独特图案区分开来。构成独特图案的子图案的数量、形状和大小是任意的。所有子图案可以具有相同的大小或者形状，或者可以是互不相同的。在图16的D的示例中，每个子图案都是点状图形(白色的点)。
返回到图15，图案图像投影拍摄处理单元211从例如具有图案1到图案4的图像中的未经处理(未被投影)的图案图像中选择要被投影的图案图像(此次要被处理的图像)。
在步骤S122中，图案图像投影拍摄处理单元211从每个投影拍摄装置102中的未经处理的投影单元302(其未投影所选图案图像)中选择用于投影所选图案图像的投影单元302(要被处理的投影单元302)。
在步骤S123中，图案图像投影拍摄处理单元211使得在步骤S122中选择的投影单元302将在步骤S121中选择的图案图像投影到屏幕104上。
在步骤S124中，图案图像投影拍摄处理单元211从每个投影拍摄装置102中的未经处理的拍摄单元303(其未拍摄所投影的图案图像)中选择用于拍摄被投影在屏幕104上的图案图像(图案投影图像)的拍摄单元303(要被处理的拍摄单元303)。
在步骤S125中，图案图像投影拍摄处理单元211使得在步骤S124中选择的拍摄单元303拍摄在步骤S123中被投影在屏幕104上的图案图像(图案投影图像)。
在步骤S126中，图案图像投影拍摄处理单元211确定是否已经让所有拍摄单元303都去拍摄被投影在屏幕104上的图案投影图像。当确定存在未经处理的拍摄单元303时，处理返回步骤S124，步骤S124和后续步骤中的一系列处理被重复执行。
也就是说，重复执行从步骤S124至步骤S126的一系列处理，使得所有拍摄单元303对所投影的图案投影图像进行拍摄。
在步骤S126中，当确定使所有拍摄单元303拍摄被投影在屏幕104上的图案投影图像时，处理行进至步骤S127。
在步骤S127中，图案图像投影拍摄处理单元211确定是否使所有投影单元302投影所选的要被处理的图案图像。当确定存在未经处理的投影单元302时，处理返回至步骤S122，并且重复执行步骤S122及后续步骤中的一系列处理。
也就是说，重复执行从步骤S122至步骤S127中的一系列处理，使得所有投影单元302对要被处理的图案图像进行投影，并且所有拍摄单元303对被每个投影单元302所投影的图案投影图像进行拍摄。
在步骤S127中，当确定使所有投影单元302投影要被处理的图案图像时，处理行进至步骤S128。
在步骤S128中，图案图像投影拍摄处理单元211确定所有图案图像是否都被投影。当确定存在未经处理的图案图像时，处理返回至步骤S121，并且重复执行步骤S121及后续步骤中的一系列处理。
也就是说，重复执行从步骤S121至步骤S128中的一系列处理，使得所有投影单元302对所有图案图像进行投影，并且所有拍摄单元303对被每个投影单元302投影的图案投影图像进行拍摄。
在步骤S128中，当确定所有图案图像都被投影时，图案图像投影拍摄处理结束，处理返回到图14。
也就是说，处理顺序的概述是选择图案图像、选择投影单元302和选择拍摄单元303的循环。首先，选择要被处理的图案图像，然后选择用于投影图案的投影单元302。然后，由所有拍摄单元303对被投影单元302投影的图案投影图像进行拍摄。当拍摄结束时，改变用于投影要被处理的图案图像的投影单元302，并且由所有拍摄单元303对图案投影图像进行拍摄。重复执行所述一系列处理，并且在要被处理的图案图像被所有投影单元302投影的情况下，改变要被处理的图案图像，然后重复执行上述的一系列处理。通过这样的方式，在所有图案图像被所有投影单元302投影并且每个投影图像被所有拍摄单元303拍摄(所有图案图像的所有投影图像的拍摄图像被所有拍摄单元303获取)的情况下，图案图像投影拍摄处理终止。
此外，在上述循环处理中，可以省略由与用于投影图案图像的投影单元302相同的拍摄单元303的拍摄。
<对应点检测处理的流程>
在图案图像投影拍摄处理结束的情况下，进行对应点检测处理。下面将参照图17的流程图对图14中的步骤S102中进行的对应点检测处理的示例性流程进行描述。
当开始对应点检测处理时，在步骤S141中，对应点检测处理单元212从未经处理的拍摄图像组中选择要被处理的一组拍摄图像。
文中，如上所述获取的图案图像的拍摄图像通过用于投影图案图像的投影单元302和获取拍摄图像的拍摄单元303进行分组。也就是说，所有图案图像的拍摄图像(其由一个投影单元302投影并由一个拍摄单元303拍摄)被假定为一组拍摄图像。例如，在图5的示例中，具有图案1至图案4(图16)的拍摄图像(其由投影拍摄装置102-1中的投影单元302投影并由投影拍摄装置102-2中的拍摄单元303投影)被假定为一组拍摄图像，以及具有图案1至图案4(图16)的拍摄图像(其由投影拍摄装置102-2中的投影单元302投影并由投影拍摄装置102-1中的拍摄单元303投影)被假定为一组拍摄图像。
在步骤S141中，选择具有这样的配置的一组拍摄图像。
在选择要被处理的一组拍摄图像的情况下，在步骤S142中，角检测处理单元221对要被处理的一组拍摄图像的棋盘格拍摄图像进行角检测处理。
在步骤S143中，边缘检测处理单元222对要被处理的一组拍摄图像的二值化经扩展图像进行边缘检测处理。
在步骤S144中，重心检测处理单元233对要被处理的一组拍摄图像的独特图案拍摄图像进行重心检测处理。
在步骤S145中，图像间对应点检测处理单元224对要被处理的一组拍摄图像进行图像间对应点检测处理。
在步骤S146中，对应点检测处理单元212确定所有拍摄图像组是否都被处理。当确定存在未经处理的一组拍摄图像时，处理返回至步骤S141，并且重复执行步骤S141及后续步骤中的一系列处理。
通过这样的方式，对每组拍摄图像进行步骤S141至步骤S146中的一系列处理。然后在步骤S146中，当确定所有拍摄图像组都被处理时，对应点检测处理结束，并且处理返回至图14。
<角检测处理的流程>
下面将参照图18的流程图对角检测处理的示例性流程进行描述。文中，具有图16中所示的图案1或图案2的图案图像还被称作棋盘格图像，棋盘格图像的投影图像还被称作棋盘格投影图像，以及棋盘格投影图像的拍摄图像还被称作棋盘格拍摄图像。
当开始角检测处理时，在步骤S161中，拍摄图像降噪单元231对每个棋盘格拍摄图像(图19中具有图案1的拍摄图像和具有图案2的拍摄图像)进行降噪处理，如图19所示示例。
在步骤S162中，差分图像生成单元232生成经降噪的棋盘格拍摄图像之间的差分图像，如图19所示示例。该差分图像还被称作棋盘格差分图像。
在步骤S163中，差分图像二值化单元233对棋盘格差分图像进行二值化，如图19所示示例。经二值化的棋盘格差分图像还被称作棋盘格二值化图像。
在步骤S164中，二值化图像扩展单元234对棋盘格二值化图像进行扩展处理，从而扩展其预定分量(例如白色部分)，如图19所示示例。经过扩展处理的棋盘格二值化图像还被称作棋盘格二值化经扩展图像。
在步骤S165中，二值化经扩展图像的角检测单元235对棋盘格二值化经扩展图像的角进行检测，从而检测棋盘格(格子花纹图案)的每个角。
在步骤S165中的处理结束的情况下，处理返回至图17。
如上所述，图案1和图案2是具有翻转正/负(例如黑色和白色)的图像，并且因此棋盘格差分图像降低了屏幕104的颜色或外部光线的影响。因此，通过使用这样的棋盘格差分图像进行角检测从而更加鲁棒地检测棋盘格(格子花纹图案)的角(或者从而加强角检测的鲁棒性)。
<边缘检测处理的流程>
下面将参照图20的流程图对图17中的步骤S143中进行的边缘检测处理的示例性流程进行描述。
当开始边缘检测处理时，在步骤S181中，二值化经扩展图像的边缘检测单元241对在角检测处理中获取的棋盘格二值化经扩展图像的边缘进行检测，从而检测棋盘格(格子花纹)的每个边缘，如图21所示示例。
在步骤S182中，边缘经检测的图像生成单元242通过使用步骤S181中的边缘检测结果来生成棋盘格边缘经检测的图像作为边缘的图像，如图21所示示例。
在步骤S183中，边缘经检测的图像扩展单元243对棋盘格边缘经检测的图像进行扩展处理，从而扩展边缘，如图21所示示例。经过扩展处理的棋盘格边缘经检测的图像还被称作棋盘格边缘经检测的经扩展图像。
在步骤S183中的处理完成的情况下，边缘检测处理结束，处理返回至图17。
如上所述，棋盘格差分图像还用于边缘检测。因此，可以更鲁棒地检测棋盘格(格子花纹图案)的边缘(或者加强边缘检测的鲁棒性)。
<重心检测处理的流程>
下面将参照图22的流程图对图17中的步骤S144中进行的重心检测处理的示例性流程进行描述。文中，具有图16的C所示的图案3的图案图像还被称作黑色图像，黑色图像的投影图像还被称作黑色投影图像，以及黑色投影图像的拍摄图像还被称作黑色拍摄图像。此外，具有图16的D所示的图案4的图案图像还被称作独特图案图像，独特图案图像的投影图像还被称作独特图案投影图像，以及独特图案投影图像的拍摄图像还被称作独特图案拍摄图像。
当开始重心检测处理时，在步骤S201中，独特图案拍摄图像噪声检测单元251分别对黑色拍摄图像(图23中具有图案3的拍摄图像)和独特图案拍摄图像(图23中具有图案4的拍摄图像)进行降噪处理，如图23所示示例。
在步骤S202中，差分图像生成单元252生成经降噪的黑色拍摄图像与经降噪的独特图案拍摄图像之间的差分图像，如图23所示示例。该差分图像还被称作独特图案差分图像。
在步骤S203中，差分图像二值化单元253对独特图案差分图像进行二值化，如图23所示示例。经二值化的独特图案差分图像还被称作独特图案二值化图像。
在步骤S204中，二值化图像的重心检测单元254对独特图案二值化图像进行重心检测处理，从而寻找包括在独特图案二值化图像中的每个独特图案中的每个子图案的重心坐标，如图23所示示例。
在步骤S204中的处理结束的情况下，处理返回至图17。
如上所述，图案4是类似于图案3的在黑色图像上叠加独特图案的图像，并且因此独特图案差分图像降低了屏幕104的颜色或外部光线的影响。因此，通过使用这样的独特图案差分图像进行重心检测，从而可以更鲁棒地检测每个子图案的重心(或者加强重心检测的鲁棒性)。
<图像间对应点检测处理的流程>
下面将参照图24的流程图对图17中的步骤S145中进行图像间对应点检测处理的示例性流程进行描述。
当开始图像间对应点检测处理时，在步骤S221中，独特图案相邻关系检测单元261通过使用在边缘检测处理中生成的棋盘格边缘经检测的经扩展图像，对在重心检测处理中检测到的独特图案二值化图像的子图案的重心坐标之间的相邻关系进行检测，如图25所示示例。
对子图案来说，如图25所示示例，如果参照沿着连接坐标接近的点的线的棋盘格边缘经检测的经扩展图像的像素值假定沿着边缘的相邻关系，则像素值应为1。事实上，棋盘格边缘经检测的经扩展图像的像素值沿着连接子图案的线递增，并且如果像素值为1的像素相对于参考点的比率达到阈值或者更大，则假定上、下、左、右相邻关系中的任意相邻关系。文中，使用棋盘格边缘经检测的经扩展图像是为了假定没有沿着边缘的倾斜子图案不在相邻关系中，以及为了避免对后续独特图案进行错误解码。
在检测到相邻关系的情况下，在步骤S222中，独特图案解码单元262基于在步骤S221中检测到的相邻关系对每个独特图案进行解码。
图26示出了示例性独特图案。如图26所示，独特图案用于指示沿水平方向布置的三个子图案(按一行三列布置的子图案)被假定作为起始码(StartCode)以及唯一码(UniqueCode)位于起始码下方。唯一码(UniqueCode)是其中未沿水平方向布置三个子图案以及单独呈现在屏幕中(子图案以两行三列布置)的组合。子图案的重心坐标与棋盘格的角坐标相同，并且因此唯一码(UniqueCode)被解码从而指的是与唯一码(UniqueCode)中的图案的位置对应的棋盘格角坐标。
当然，图26所示的独特图案只是示例性的，并且独特图案的起始码和唯一码可以由任何图案构成。例如，可以通过增加唯一码(UniqueCode)的组合例如假定沿水平方向的四个子图案或者增加子图案的行数来获取更紧密的对应关系。也就是说，起始码可以由被布置成图形的多个子图案构成，以及可以使用被布置成和其他图案不同图形的任意唯一码。
在步骤S223中，单应性图像生成单元263通过使用在步骤S222中获取的独特图案解码结果对棋盘格投影图像进行投影转换，如图27所示示例，从而生成单应性图像。
例如，通过使用独特图案解码结果，可以获取具有图案1的棋盘格投影图像中的棋盘格的每个角坐标与经解码的独特图案的每个图案的重心坐标之间的对应关系。单应性图像生成单元263通过使用对应关系寻找单应性矩阵，从而生成棋盘格投影图像的单应性图像。也就是说，单应性图像生成单元263针对棋盘格投影图像中的具有图案1的棋盘格的所有角坐标寻找单应性图像中的图案的重心坐标。也就是说，检测到投影图像与其单应性图像之间的对应点。
单应性图像不同于棋盘格拍摄图像(棋盘格二值化经扩展图像)。
因此，在步骤S224中，单应性图像/拍摄图像对应点检测单元264将单应性图像和棋盘格二值化经扩展图像的最接近的坐标关联起来，从而检测单应性图像与棋盘格二值化经扩展图像之间的对应点，如图27所示示例。
然后在步骤S225中，投影图像/拍摄图像对应点检测单元265通过使用步骤S223和步骤S224中的对应点检测结果，针对棋盘格图像的所有角坐标对棋盘格投影图像与棋盘格二值化经扩展图像(棋盘格拍摄图像)之间的对应关系进行检测。通过这样的方式，可以找到投影图像与拍摄图像之间的对应坐标。
在步骤S225中的处理结束的情况下，图像间对应点检测处理结束，处理返回至图17。
如上所述进行每个处理，使得控制装置101能够通过使用比非专利文献1中的方法少的四个图案图像(当不进行背景消除(差分图像)时为两个图案图像)来检测投影图像与拍摄图像之间的对应点。因此，可以更易于找到投影单元与拍摄单元之间的相对姿势。
此外，如上所述使用独特图案，使得可以在检测到任何独特图案时对投影图像与拍摄图像之间的对应点进行检测，从而相较于非专利文献1中所描述的方法可以进一步加强在安装投影拍摄装置102时的自由度。
此外，使用鲁棒的图案来来抵抗投影单元302的投影失真，并且因此控制装置101可以更精准地获取对应点。此外，控制装置101可以通过使用从投影图案获取的特征量来鲁棒地获取独特图案。
<投影拍摄系统的示例性配置>
以上描述假定投影拍摄系统100具有两个投影拍摄装置102，但是，如图28所示的示例，构成投影拍摄系统100的投影拍摄装置102的数量可以是例如三个或者更多个(投影拍摄装置102-1、投影拍摄装置102-2、投影拍摄装置102-3……)。
此外，以上所述的对应关系检测处理的部分或者全部可以在控制装置101的外部进行。例如，如图29所示的示例，可以从投影拍摄系统100中省略控制装置101，以及对应关系检测处理可以在任一投影拍摄装置102中进行。此外，投影拍摄装置102可以协作以分割和执行上述对应检测处理中的每个处理。
此外，投影拍摄装置可以经由其他信息处理设备411例如图30所示的投影拍摄装置412连接到网络103(例如控制装置101或者其他投影拍摄装置103)。投影拍摄装置412是与以上所述投影拍摄装置102类似的装置。此外，投影拍摄装置经由具有通信功能的信息处理设备411例如手机、智能手机、平板电脑或笔记本电脑等连接到网络103。此外，投影拍摄装置412在信息处理设备411的控制下被驱动。通过这样做，具有高处理能力的信息处理设备411可以用来进行通信处理或者对投影或拍摄进行控制处理，从而限制投影拍摄装置412所需功能(例如信息处理能力)的增加，并限制成本增加。
此外，以上所述投影拍摄装置102的功能可以以模块(或者部件)的形式实现。图30中的信息处理设备413是具有高处理能力的信息处理设备，例如手机、智能手机、平板电脑或笔记本电脑，以及在其中还包含具有以上所述的投影拍摄装置102的功能的模块。也就是说，信息处理设备413是具有信息处理设备411和投影拍摄装置412两者的功能的设备。投影拍摄装置102可以由这样的图像处理设备实现。
此外，如图30所示的示例，具有相互不同功能的装置可以被放在一起作为投影拍摄装置102。
此外，如图31所示的示例，投影拍摄系统100可以包括仅具有投影单元302的投影装置421、仅具有拍摄单元303的拍摄装置422等。此外，多个投影单元302或者拍摄单元303可以设置在一个装置中。此外，在整个投影拍系统100中，投影单元302的数量可以和拍摄单元303的数量不匹配。
可以在硬件或者软件中进行以上所描述的一系列处理。当在软件中进行这一系列处理时，构成该软件的程序从网络或者记录介质中安装。
例如，记录介质由在其中记录有程序的可移动介质171或者可移动介质321构成，记录介质被分发以向用户分发程序，记录介质与如图8或图11所示的装置主体分开。可移动介质171或者可移动介质321可以是磁盘(包括软盘)或者光盘(包括CD-ROM或者DVD)。此外，可移动介质171或者可移动介质321可以是磁光盘(包括小型磁盘(MD))、半导体存储器等。
在这种情况下，在控制装置101中，例如，可移动介质171被安装在驱动器165上，使得程序可以被安装在存储单元163中。此外，在投影拍摄装置102中，例如，可移动介质321被安装在驱动器315上，使得程序可以被安装在存储单元313中。
此外，程序可以经由有线或者无线传输介质例如局域网、因特网或者数字卫星广播提供。在这种情况下，在控制装置101中，例如，程序可以通过通信单元164接收并且被安装在存储单元163中。此外，在投影拍摄装置102中，例如，程序可以通过通信单元314接收并且被安装在存储单元313中。
此外，程序可以被预安装在存储单元、ROM等中。例如，在控制装置101中，程序可以被预安装在存储单元163、ROM 153等中。此外，在投影拍摄装置102中，例如，程序可以被预安装在存储单元313、控制单元301中的ROM等中。
此外，由计算机运行的程序可以是使得按照说明书中描述的顺序依时间序列进行一系列处理或者并行或是在必要的定时例如调用时进行一系列处理。
此外，在说明书中，用于描述被记录在记录介质中的程序的步骤可以是使得按描述的顺序依时间序列进行一系列处理或者并行或独立运行的不用依时间序列进行一系列处理。
此外，上述每个步骤中的处理可以在上述每个装置或者除上述装置之外的任何装置中进行。在这种情况下，用于进行处理的装置可以具有执行该功能所需要的功能(例如功能块)。此外，如有需要，处理所需的信息可以被传送给装置。
此外，在说明书中，系统指示一组组件(例如装置或者模块(部件))，但不必使所有组件都包含在一个壳体中。因此，系统可以是被容置在独立的壳体中并且经由网络连接的多个装置，或者系统可以是其中多个模块被容置在一个壳体中的一个设备。
此外，如上所述，被描述为一个设备(或者处理单元)的配置可以被分割成多个装置(或者处理单元)。相反，上面描述的作为多个装置(处理单元)的配置可以被配置成一个设备(或者处理单元)。此外，每个设备(或者处理单元)的配置可以添加除上述配置之外的配置。此外，如果整个系统的配置或者操作基本上是一样的时，设备(或者处理单元)的部分配置可以包括在其他设备(或者其他处理单元)的配置内。
以上参照附图对本公开内容的优选的示例性实施方式进行了详细描述，但是本公开内容的技术范围不限于此。本领域技术人员能够理解在权利要求所描述的技术范围内还可以做出多种变化或修改，当然这些变化或修改落入本公开内容的技术范围内。
例如，本技术可以使用云计算配置，在云计算配置中，一个功能被分割并且经由网络在多个装置上处理。
此外，在以上所述的流程图中所描述的每个步骤都可以被分割并在多个装置中进行，不是仅在一个设备中进行。
此外，当一系类处理包括在一个步骤时，这些包括在一个步骤中的一系列处理可以被分割并在多个装置中进行，不是仅在一个设备中进行。
此外，本技术可以由安装在构成系统的设备上的组件或者任何设备来实现，例如作为系统大规模集成(LSI)的处理器、使用多个处理器的模块、使用多个模块的单元或者添加有其他功能(或者设备的部分配置)的单元。
此外，本技术可以使用以下配置。
(1)一种图像处理设备，包括：
检测单元，所述检测单元用于通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。(2)根据(1)所述的图像处理设备，
其中，所述图像包括多个图案，以及
每个图案由多个子图案构成并且每个图案在子图案的数量或者子图案之间的位置关系方面与其他图案不同。
(3)根据(2)所述的图像处理设备，
其中，所述图案具有：
起始码，在所述起始码中，子图案以共同数量和位置关系布置在每个图案中；以及
唯一码，在所述唯一码中，子图案的数量或者位置关系不同于其他图案。
(4)根据(3)所述的图像处理设备，
其中，所述起始码由被布置成图形的多个子图案构成，以及
所述唯一码以与其他图案不同的图形布置。
(5)根据(3)所述的图像处理设备，
其中，所述起始码由按一行三列布置的三个图案构成，以及
所述唯一码由在两行三列内以与其他图案不同的数量或位置关系布置的单个或多个子图案构成。
(6)根据(2)至(5)所述的图像处理设备，
其中，所述子图案以点状图形布置。
(7)根据(2)至(6)中任一项所述的图像处理设备，
其中，所述检测单元通过使用包括在所述图案拍摄图像中的每个图案的子图案的数量和位置关系，检测投影图像与所述投影图像的拍摄图像之间的对应点，从而检测所述对应关系。
(8)根据(7)所述的图像处理设备，
其中，所述检测单元通过针对每个图案使用所述图案之间的相邻关系来分析所述子图案的数量和位置关系，从而检测所述对应点。
(9)根据(8)所述的图像处理设备，
其中，所述检测单元通过使用边缘图像来检测所述子图案之间的相邻关系，所述边缘图像指示具有预定的图案的图像的投影图像的拍摄图像中的所述图案的边缘。
(10)根据(9)所述的图像处理设备，还包括：
边缘检测单元，所述边缘检测单元用于检测具有所述预定的图案的图像的投影图像的拍摄图像中的所述图案的边缘，从而生成所述边缘图像，
其中，所述检测单元通过使用由所述边缘检测单元生成的所述边缘图像来检测所述子图案之间的相邻关系。
(11)根据(10)所述的图像处理设备，
其中，所述检测单元通过使用边缘经扩展的所述边缘图像来检测所述子图案之间的相邻关系。
(12)根据(8)至(11)中任一项所述的图像处理设备，
其中，所述检测单元通过使用包括在所述图案拍摄图像中的每个图案的子图案的重心，检测所述子图案之间的相邻关系。
(13)根据(12)所述的图案处理设备，
其中，所述检测单元通过使用二值化的所述图案拍摄图像来检测所述子图案的重心。
(14)根据(1)至(13)中任一项所述的图像处理设备，
其中，所述检测单元通过使用单应性图像与所述投影图像的拍摄图像之间的对应点来检测所述投影图像与所述拍摄图像之间的对应点，所述单应性图像是基于包括在所述图案拍摄图像中的所述图案生成的。
(15)根据(14)所述的图像处理设备，
其中，具有所述预定的图案的图像是棋盘格图像。
(16)根据(14)或(15)所述的图像处理设备，
其中，所述检测单元针对所述拍摄图像中的所述预定的图案的所有角来检测所述单应性图像与所述拍摄图像之间的对应点，以及所述检测单元针对所述预定的图案的所有检测到的角来检测所述投影图像与所述拍摄图像之间的对应点。
(17)根据(16)所述的图像处理设备，
其中，所述检测单元通过使用拍摄图像被二值化以扩展预定分量的图像来检测所述角。
(18)根据(1)至(17)中任一项所述的图像处理设备，还包括：
拍摄单元，所述拍摄单元用于拍摄投影图像并获取拍摄图像，
其中，所述检测单元通过使用所述图案拍摄图像来检测投影图像与由所述拍摄单元通过拍摄所述投影图像获取的所述拍摄图像之间的对应点，从而检测所述对应关系，所述图案拍摄图像是由所述拍摄单元通过拍摄所述图案投影图像获取的。
(19)根据(1)至(18)中任一项所述的图像处理设备，还包括：
投影单元，所述投影单元用于投影图像，
其中，所述检测单元通过使用图案拍摄图像来检测由所述投影单元投影的投影图像与所述投影图像的拍摄图像之间的对应点，从而检测所述对应关系，所述图案拍摄图像是由所述投影单元投影的所述图案投影图像的拍摄图像。
(20)根据(1)至(19)中任一项所述的图像处理设备，还包括：
图像处理单元，所述图像处理单元用于通过使用由所述检测单元检测的所述投影图像与所述拍摄图像之间的对应关系，对被投影的图像与另一投影图像交叠的部分执行图像处理。
(21)一种图像处理方法，所述图像处理方法用于通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。
附图标记列表
100 投影拍摄系统
101 控制装置
102 投影拍摄装置
103 网络
104 屏幕
111和112 投影图像
113 交叠区域
151 CPU
201 对应关系检测单元
202 投影控制单元
203 拍摄控制单元
211 图案图像投影拍摄处理单元
212 对应点检测处理单元
213 投影图像处理单元
221 角检测处理单元
222 边缘检测处理单元
223 重心检测处理单元
224 图像间对应点检测处理单元
231 拍摄图像降噪单元
232 差分图像生成单元
233 差分图像二值化单元
234 二值化图像扩展单元
235 二值化经扩展图像的角检测单元
241 二值化经扩展图像的边缘检测单元
242 边缘经检测的图像生成单元
243 边缘经检测的图像扩展单元
251 独特图案拍摄图像降噪单元
252 差分图像生成单元
253 差分图像二值化单元
254 二值化图像的重心检测单元
261 独特图案相邻关系检测单元
262 独特图案解码单元
263 单应性图像生成单元
264 单应性图像/拍摄图像对应点检测单元
265 投影图像/拍摄图像对应点检测单元
301 控制单元
302 投影单元
303 拍摄单元
351 视频处理器
352 激光驱动器
353激光输出单元
354 镜子
355 MEMS驱动器
356 MEMS扫描镜
411 信息处理设备
412 投影拍摄装置
413 信息处理设备
421 投影装置
422 拍摄装置
423 投影装置

Claims (21)

1.一种图像处理设备，包括：
检测单元，所述检测单元用于通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。
2.根据权利要求1所述的图像处理设备，
其中，所述图像包括多个图案，以及
每个图案由多个子图案构成并且每个图案在子图案的数量或者子图案之间的位置关系方面与其他图案不同。
3.根据权利要求2所述的图像处理设备，
其中，所述图案具有：
起始码，在所述起始码中，子图案以共同数量和位置关系布置在每个图案中；以及
唯一码，在所述唯一码中，子图案的数量或者位置关系不同于其他图案。
4.根据权利要求3所述的图像处理设备，
其中，所述起始码由被布置成图形的多个子图案构成，以及
所述唯一码以与其他图案不同的图形布置。
5.根据权利要求3所述的图像处理设备，
其中，所述起始码由按一行三列布置的三个图案构成，以及
所述唯一码由在两行三列内以与其他图案不同的数量或位置关系布置的单个或多个子图案构成。
6.根据权利要求2所述的图像处理设备，
其中，所述子图案以点状图形布置。
7.根据权利要求2所述的图像处理设备，
其中，所述检测单元通过使用包括在所述图案拍摄图像中的每个图案的子图案的数量和位置关系，检测投影图像与所述投影图像的拍摄图像之间的对应点，从而检测所述对应关系。
8.根据权利要求7所述的图像处理设备，
其中，所述检测单元通过针对每个图案使用所述图案之间的相邻关系来分析所述子图案的数量和位置关系，从而检测所述对应点。
9.根据权利要求8所述的图像处理设备，
其中，所述检测单元通过使用边缘图像来检测所述子图案之间的相邻关系，所述边缘图像指示具有预定的图案的图像的投影图像的拍摄图像中的所述图案的边缘。
10.根据权利要求9所述的图像处理设备，还包括：
边缘检测单元，所述边缘检测单元用于检测具有所述预定的图案的图像的投影图像的拍摄图像中的所述图案的边缘，从而生成所述边缘图像，
其中，所述检测单元通过使用由所述边缘检测单元生成的所述边缘图像来检测所述子图案之间的相邻关系。
11.根据权利要求10所述的图像处理设备，
其中，所述检测单元通过使用边缘经扩展的所述边缘图像来检测所述子图案之间的相邻关系。
12.根据权利要求8所述的图像处理设备，
其中，所述检测单元通过使用包括在所述图案拍摄图像中的每个图案的子图案的重心，检测所述子图案之间的相邻关系。
13.根据权利要求12所述的图案处理设备，
其中，所述检测单元通过使用二值化的所述图案拍摄图像来检测所述子图案的重心。
14.根据权利要求1所述的图像处理设备，
其中，所述检测单元通过使用单应性图像与所述投影图像的拍摄图像之间的对应点来检测所述投影图像与所述拍摄图像之间的对应点，所述单应性图像是基于包括在所述图案拍摄图像中的所述图案生成的。
15.根据权利要求14所述的图像处理设备，
其中，具有所述预定的图案的图像是棋盘格图像。
16.根据权利要求14所述的图像处理设备，
其中，所述检测单元针对所述拍摄图像中的所述预定的图案的所有角来检测所述单应性图像与所述拍摄图像之间的对应点，以及所述检测单元针对所述预定的图案的所有检测到的角来检测所述投影图像与所述拍摄图像之间的对应点。
17.根据权利要求16所述的图像处理设备，
其中，所述检测单元通过使用拍摄图像被二值化以扩展预定分量的图像来检测所述角。
18.根据权利要求1所述的图像处理设备，还包括：
拍摄单元，所述拍摄单元用于拍摄投影图像并获取拍摄图像，
其中，所述检测单元通过使用所述图案拍摄图像来检测投影图像与由所述拍摄单元通过拍摄所述投影图像获取的所述拍摄图像之间的对应点，从而检测所述对应关系，所述图案拍摄图像是由所述拍摄单元通过拍摄所述图案投影图像获取的。
19.根据权利要求1所述的图像处理设备，还包括：
投影单元，所述投影单元用于投影图像，
其中，所述检测单元通过使用图案拍摄图像来检测由所述投影单元投影的投影图像与所述投影图像的拍摄图像之间的对应点，从而检测所述对应关系，所述图案拍摄图像是由所述投影单元投影的所述图案投影图像的拍摄图像。
20.根据权利要求1所述的图像处理设备，还包括：
图像处理单元，所述图像处理单元用于通过使用由所述检测单元检测的所述投影图像与所述拍摄图像之间的对应关系，对被投影的图像与另一投影图像交叠的部分执行图像处理。
21.一种图像处理方法，所述图像处理方法用于通过使用图案拍摄图像来检测投影图像与所述投影图像的拍摄图像之间的对应关系，所述图案拍摄图像是图案投影图像的拍摄图像，所述图案投影图像是包括图案的图像的投影图像。
CN201580027226.3A 2014-07-01 2015-06-17 图像处理设备和方法 Active CN106464825B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014135790 2014-07-01
JP2014-135790 2014-07-01
PCT/JP2015/067422 WO2016002510A1 (ja) 2014-07-01 2015-06-17 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN106464825A true CN106464825A (zh) 2017-02-22
CN106464825B CN106464825B (zh) 2020-11-10

Family

ID=55019057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027226.3A Active CN106464825B (zh) 2014-07-01 2015-06-17 图像处理设备和方法

Country Status (4)

Country Link
US (1) US10349023B2 (zh)
JP (1) JP6711271B2 (zh)
CN (1) CN106464825B (zh)
WO (1) WO2016002510A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369091A (zh) * 2015-12-18 2018-08-03 索尼公司 图像处理装置和方法、数据及纪录介质
CN110313176A (zh) * 2017-02-27 2019-10-08 索尼公司 图像处理装置、方法及程序
CN110322527A (zh) * 2019-05-21 2019-10-11 华为技术有限公司 一种图案生成方法及终端
CN110663249A (zh) * 2017-05-26 2020-01-07 索尼公司 用于图像处理的装置和方法
CN110741412A (zh) * 2017-06-09 2020-01-31 索尼公司 图像处理装置和方法
US11785188B2 (en) 2019-05-20 2023-10-10 Sony Group Corporation Image processing apparatus and image processing method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6594170B2 (ja) * 2015-11-12 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法、画像投影システムおよびプログラム
US10771751B2 (en) * 2016-02-02 2020-09-08 Panasonic Intellectual Property Management Co., Ltd. Projection image adjustment system and projection image adjustment method
WO2018167999A1 (ja) * 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
JP2019047311A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法
WO2019054204A1 (ja) * 2017-09-14 2019-03-21 ソニー株式会社 画像処理装置および方法
JP7129614B2 (ja) * 2017-09-27 2022-09-02 パナソニックＩｐマネジメント株式会社 荷物認識装置、荷物仕分けシステムおよび荷物認識方法
US10612912B1 (en) 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
CN110798670A (zh) * 2019-11-11 2020-02-14 成都极米科技股份有限公司 超短焦画幕对齐方法、装置和超短焦投影设备及介质
JP7163947B2 (ja) * 2020-10-22 2022-11-01 セイコーエプソン株式会社 投写領域の設定支援方法、設定支援システム、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151365A1 (en) * 2003-02-03 2004-08-05 An Chang Nelson Liang Multiframe correspondence estimation
WO2009088080A1 (ja) * 2008-01-11 2009-07-16 Nikon Corporation プロジェクタ
CN102170544A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、显示系统及校正方法
CN102215395A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和装置
CN103188430A (zh) * 2011-12-27 2013-07-03 卡西欧计算机株式会社 摄像装置及图像显示方法
US20140063192A1 (en) * 2012-09-05 2014-03-06 Canon Kabushiki Kaisha Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
JP5461452B2 (ja) * 2010-03-31 2014-04-02 三洋電機株式会社 制御装置および投写型映像表示装置
CN103888700A (zh) * 2012-01-18 2014-06-25 索尼公司 投影型图像显示装置、图像投影方法和计算机程序

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181106A (ja) * 1990-11-15 1992-06-29 Komatsu Ltd 位置寸法計測装置のキャリブレーション装置
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
JP2003078925A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Ind Co Ltd カメラ校正システムおよびカメラ校正方法
JP2005252804A (ja) * 2004-03-05 2005-09-15 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP5145833B2 (ja) * 2007-09-12 2013-02-20 株式会社リコー ２次元コード読み取り装置、２次元コード読み取り方法、２次元コード読み取りプログラム及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151365A1 (en) * 2003-02-03 2004-08-05 An Chang Nelson Liang Multiframe correspondence estimation
WO2009088080A1 (ja) * 2008-01-11 2009-07-16 Nikon Corporation プロジェクタ
CN102170544A (zh) * 2010-02-26 2011-08-31 精工爱普生株式会社 校正信息计算装置、图像处理装置、显示系统及校正方法
JP5461452B2 (ja) * 2010-03-31 2014-04-02 三洋電機株式会社 制御装置および投写型映像表示装置
CN102215395A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和装置
CN103188430A (zh) * 2011-12-27 2013-07-03 卡西欧计算机株式会社 摄像装置及图像显示方法
CN103888700A (zh) * 2012-01-18 2014-06-25 索尼公司 投影型图像显示装置、图像投影方法和计算机程序
US20140063192A1 (en) * 2012-09-05 2014-03-06 Canon Kabushiki Kaisha Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369091A (zh) * 2015-12-18 2018-08-03 索尼公司 图像处理装置和方法、数据及纪录介质
CN110313176A (zh) * 2017-02-27 2019-10-08 索尼公司 图像处理装置、方法及程序
CN110663249A (zh) * 2017-05-26 2020-01-07 索尼公司 用于图像处理的装置和方法
US11202044B2 (en) 2017-05-26 2021-12-14 Sony Corporation Image processing apparatus and method
CN110663249B (zh) * 2017-05-26 2022-04-15 索尼公司 用于图像处理的装置和方法
CN110741412A (zh) * 2017-06-09 2020-01-31 索尼公司 图像处理装置和方法
CN110741412B (zh) * 2017-06-09 2023-10-27 索尼公司 图像处理装置和方法
US11785188B2 (en) 2019-05-20 2023-10-10 Sony Group Corporation Image processing apparatus and image processing method
CN110322527A (zh) * 2019-05-21 2019-10-11 华为技术有限公司 一种图案生成方法及终端
CN110322527B (zh) * 2019-05-21 2021-04-20 华为技术有限公司 一种图案生成方法及终端

Also Published As

Publication number Publication date
WO2016002510A1 (ja) 2016-01-07
CN106464825B (zh) 2020-11-10
US20170142381A1 (en) 2017-05-18
JP6711271B2 (ja) 2020-06-17
US10349023B2 (en) 2019-07-09
JPWO2016002510A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
CN106464825A (zh) 图像处理设备和方法
CN105659287B (zh) 图像处理装置、图像处理方法和成像系统
US10923004B2 (en) Information processing apparatus, information processing method, and computer program product for arranging a planar image within a panoramic image
CN108369091A (zh) 图像处理装置和方法、数据及纪录介质
CN103875004B (zh) 动态选择真实世界中的表面以用于在上面投影信息
US20100328447A1 (en) Configuration of display and audio parameters for computer graphics rendering system having multiple displays
EP2045774B1 (en) Homography estimation from multithreshold edges of a feature
CN106101561A (zh) 摄像头对焦检测方法及装置
US20090086081A1 (en) Color-Based Feature Identification
CN106462944A (zh) 将多个高分辨率图像映射到一个低分辨率360度图像上生成无重影的高分辨全景图
CN106934777A (zh) 扫描图像获取方法及装置
CN105096374B (zh) 材料的着色cg表现
CN110213413B (zh) 电子装置的控制方法及电子装置
CN108702477A (zh) 图像处理装置和方法
CN109788215A (zh) 图像处理装置、计算机可读存储介质以及图像处理方法
CN108206946A (zh) 基于拍摄装置拍摄的图像自动校正投影区的方法及其系统
US10663291B2 (en) Method and system for reproducing visual content
US10607397B2 (en) Generating three dimensional models
JP2017227761A (ja) 投影装置、投影システム、投影方法及びプログラム
CN108781267A (zh) 图像处理设备和方法
JP2010287174A (ja) 家具シミュレーション方法、装置、プログラム、記録媒体
KR20190072549A (ko) 모바일 디바이스들을 위한 강화된 심도 맵 이미지들
CN108781268A (zh) 图像处理装置和方法
JP2020523960A (ja) 写真撮影システムおよび方法
CN104994288B (zh) 一种拍照方法及用户终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant