CN104052951A - 投影机和控制投影机的方法 - Google Patents

投影机和控制投影机的方法 Download PDF

Info

Publication number
CN104052951A
CN104052951A CN201410085886.4A CN201410085886A CN104052951A CN 104052951 A CN104052951 A CN 104052951A CN 201410085886 A CN201410085886 A CN 201410085886A CN 104052951 A CN104052951 A CN 104052951A
Authority
CN
China
Prior art keywords
projector
image
projection
parameter
projection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410085886.4A
Other languages
English (en)
Inventor
长谷川史裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN104052951A publication Critical patent/CN104052951A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

一种投影机捕获投影目标的图像，投影图像投影到所述投影目标上，并且所述投影机通过使用捕获的图像校正所述投影图像。所述投影机包括：投影单元，其将所述投影图像投影到所述投影目标上；捕获单元，其捕获包括所述投影目标的投影区域的图像；计算单元，其计算关于所述投影区域的三维数据，并且使用计算的三维数据计算校正参数；以及校正单元，其使用由所述计算单元计算的所述校正参数，校正所述投影图像。所述校正单元使用所述畸变参数，执行对应于所述投影目标的形状的第一校正，并且执行对应于所述投影单元的移动和所述投影目标的移动的至少一个的第二校正。

Description

投影机和控制投影机的方法
技术领域
本公开在此一般地涉及投影机和控制投影机的方法。
背景技术
投影机可以将图像（投影图像）投影到诸如屏幕的投影目标上。一些投影机测量到投影目标的距离，并且对于投影图像调整焦距。此外，一些投影机捕获投影图像的图像，并且基于捕获的图像对于投影图像调整焦距。
日本公开专利申请号2011-170174公开了一种投影稳定装置，即使当光学投影装置（投影机）的位置例如由轻摇改变时，该投影稳定装置也校正屏幕（投影目标）上投影图像的错位（misalignment）。
然而，在日本公开专利申请号2011-170174中公开的投影稳定装置校正整个捕获图像，并且不能根据投影目标的外部形状校正捕获图像局部失真时源自轻摇的影响。此外，在日本公开专利申请号2011-170174中公开的投影稳定装置不能根据投影目标的形状，在投影目标和投影机之间的相对位置关系改变时以及捕获图像失真时，同时地校正捕获图像。
发明内容
本发明实施例的至少一个一般目的是提供一种投影机和控制该投影机的方法，其充分地解决了由现有技术的限制和缺点导致的一个或多个问题。
在一个实施例中，一种投影机捕获投影目标的图像，投影图像投影到所述投影目标上，并且所述投影机通过使用捕获图像校正所述投影图像。所述投影机包括：投影单元，其将所述投影图像投影到所述投影目标上；捕获单元，其捕获包括所述投影目标的投影区域的图像；计算单元，其计算关于所述投影区域的三维数据，并且使用计算的三维数据计算校正参数；以及校正单元，其使用由所述计算单元计算的所述校正参数，校正所述投影图像。所述计算单元基于所述捕获图像，计算畸变参数和移动参数作为所述校正参数。所述校正单元使用所述畸变参数，执行对应于所述投影目标的形状的第一校正，并且执行对应于所述投影单元的移动和所述投影目标的移动的至少一个的第二校正。
在本发明的另一实施例中，一种控制投影机的方法，所述投影机捕获投影目标的图像，投影图像投影到所述投影目标上，并且所述投影机通过使用捕获图像校正所述投影图像，所述方法包括：将所述投影图像投影到所述投影目标上；通过使用捕获单元，捕获包括所述投影目标的投影区域的图像；计算关于所述投影区域的三维数据，并且使用计算的三维数据计算校正参数；以及使用计算的校正参数，校正所述投影图像。所述校正参数包括畸变参数和移动参数。在执行对应于所述投影目标的形状的第一校正中使用所述畸变参数，并且在执行对应于所述投影单元的移动和所述投影目标的移动的至少一个的第二校正中使用所述移动参数。投影校正的投影图像。
根据本发明，提供了一种投影机和控制该投影机的方法，其可以执行投影目标和投影机之间的相对位置关系改变时的校正，以及对应于投影目标的形状的校正。
附图说明
当结合附图阅读时，实施例的其他目的和进一步特征将从以下描述显而易见，附图中：
图1A和1B是图示根据本实施例的投影机的示例的示意性外部视图；
图2是图示根据实施例的投影机的操作的示例的说明图；
图3A和3B是图示对于通过根据本实施例的投影机的投影图像的校正操作的示例的说明图；
图4是图示用于投影由根据本实施例的投影机调整的投影图像的操作示例的说明图；
图5是图示根据第一实施例的投影机的配置示例的说明图；
图6是图示根据第一实施例的投影机的功能示例的功能框图；
图7A到7D是图示由根据实施例的投影机投影的投影图像的畸变的示例的说明图；
图8是图示由根据第一实施例的投影机的计算单元计算的校正参数（移动参数）的示例的说明图；
图9是图示根据第一实施例的投影机的投影操作的示例的流程图；
图10是图示根据第一实施例的投影机的校正操作的示例的流程图；
图11是图示用于由根据第一实施例的投影机提取特征点的操作示例的说明图；
图12是图示用于由根据第一实施例的投影机投影模式的操作示例的说明图；
图13是图示当由根据第一实施例的投影机投影模式时捕获图像的示例的说明图；
图14是图示根据第二实施例的投影机的投影操作和校正操作的示例的流程图；
图15A和15B是图示根据第一示例的投影机的示例的示意性外部视图；
图16是图示根据第二示例的轻摇投影机的操作示例的说明图；
图17A到17D是图示根据第三示例的到投影机的投影目标上的投影操作的说明图；
图18是图示根据第四示例的投影机的操作示例的说明图；以及
图19是图示根据第四示例的投影机的投影操作的示例的流程图。
具体实施方式
以下，将参照附图描述本发明的实施例。
将使用投影机说明本发明的非限制性示例性实施例，该投影机捕获投影目标的图像，投影图像投影在投影目标上，并且该投影机基于捕获图像校正投影图像。本发明不但可以应用于以下将说明的投影机，而且可以应用于投影投影图像并且捕获投影图像的图像其他设备、装置、单元系统等，诸如投影和捕获设备、投影设备、捕获设备等。
本实施例中的图像包括静态图像、视频等。本实施例中的图像的投影包括投影、放映、照射等。本实施例中图像的捕获包括拍摄图像、保存图像等。此外，投影目标包括屏幕、墙壁、白板、外表面（诸如建筑物的外墙、其上可以投影图像的移动目标的表面）等。
以下，在附图中相同或相应的参考标号分配给相同或相应的组件，并且省略其重复描述。此外，附图不旨在指示各个元件或部分之间的相对比率。因此，本领域的普通技术人员可以根据以下非限制性实施例中的描述确定具体尺寸。
将使用根据本发明实施例的投影机，以以下列表的顺序说明本发明。
1.投影机、投影操作和捕获操作；
2.第一实施例；
3.第二实施例；以及
4.示例（第一示例到第四示例）
[投影机、投影操作和捕获操作]
将参照图1A到4说明根据本发明的投影机100。
图1A和1B分别是根据本发明的投影机100的示例的示意性前外观图和示意性后外观图。图2是图示投影机100的投影操作的示例的说明图。图3A是图示用于由投影机100（计算单元14，稍后将说明）计算校正参数的操作示例的说明图。图3B是图示用于由投影机100（校正单元15，稍后将说明）校正投影图像的操作示例的说明图。图4是图示用于投影由投影机100调整的投影图像（调整图像）的操作示例的说明图。
如图1A所示，投影机100在前表面包括投影投影图像的投影单元100P以及捕获其中投影投影图像的区域的图像的捕获单元100C。此外，如图1B所示，投影机100在后表面包括接收对于由用户希望的操作的实施定时的输入的开始按钮100Ba、设置由用户希望的操作的设置按钮100Bb、以及接收用于选择由用户希望的信息的选择的选择按钮100Bc。
可以应用本发明的投影机的示意性外观图不限于图1A和1B。例如，投影机的外观图可以是如稍后将说明的图15所示的投影机110（第一示例）的外观图，或者具有投影单元和捕获单元的外观图。
如图2所示，投影机100将图像投影到屏幕等上，其以下将表示为“投影目标”。例如，当用户按压开始按钮100Ba时，投影机100开始投影图像。在图2中，投影机100通过使用投影单元100P在投影区域Rgn-P中投影图像（见图1A）。
此外，在图2中，投影机100通过使用捕获单元100C捕获捕获区域Rgn-C（投影区域）的图像（见图1A）。当用户按压开始按钮100Ba时，投影机100开始捕获图像（见图1B）。
此外，在图2中，投影机100可以选择投影目标区域Rgn-T作为其中投影投影图像的区域。投影机100根据对于选择按钮100Bc的用户操作，选择投影目标区域Rgn-T的大小和位置（见图1B），并且根据对于设置按钮100Bb的用户操作，设置投影目标区域Rgn-T（见图1B）。
如图3A所示，当通过使用捕获单元100C（见图1）捕获捕获区域Rgn-C时（见图2），投影机100例如捕获如图2所示的捕获区域Rgn-C。也就是说，捕获单元100C捕获捕获图像Img-C，其对应于投影目标的形状（例如，外部形状）变形。投影机100（计算单元14，稍后将说明）计算校正参数（投影转换矩阵H，稍后将说明），使得捕获图像Img-C变为捕获参考图像Img-Cr。
如图3B所示，投影机100（校正单元15，稍后将说明）通过使用计算的校正参数（投影转换矩阵H）校正投影图像Img-P，并且重新生成调整图像Img-R。例如，当用户按压开始按钮100Ba（见图1A）时，投影机100计算校正参数（投影转换矩阵H，稍后将说明）。当用户进一步按压开始按钮100Ba时，可以投影调整图像Img-R。
如图4所示，投影机100使用已经重新生成的调整图像Img-R作为投影图像Img-P。也就是说，投影机100投影调整图像Img-R，并且补偿对应于投影目标的形状的变形的投影图像出现在屏幕上。
以下，将具体说明根据本发明实施例的投影机的配置、功能和操作。
[第一实施例]
[投影机的配置]
将参照图5说明根据本发明的第一实施例的投影机100的配置。图5是图示根据第一实施例的投影机100的配置示例的示意性配置图。
如图5所示，根据本实施例的投影机100包括控制投影机100的操作的控制单元10、生成投影图像Img-P的图像生成单元11、以及投影生成的投影图像Img-P的投影单元12。此外，投影机100包括捕获捕获区域Rgn-C（见图2）的图像的捕获单元13、计算校正参数的计算单元14、以及校正投影图像Img-P的校正单元15。此外，投影机100可以包括输入信息到投影机100和输出信息到投影机100外部的输入/输出单元16、以及存储关于投影机100的操作的信息的存储单元17。
投影机100基于由输入/输出单元16输入的信息，使用图像生成单元11生成投影图像Img-P。此外，在本实施例中，投影机100使用投影单元12将生成的投影图像Img-P投影到投影目标上。此外，投影机100使用捕获单元13捕获包括其上投影投影图像Img-P的投影目标的捕获区域Rgn-C（见图2）的图像。
根据本实施例的投影机100基于由捕获单元13捕获的捕获图像Img-C，使用计算单元14计算校正参数（畸变参数和移动参数，稍后将说明）。此外，根据本实施例的投影机100基于由计算单元14计算的校正参数，使用校正单元15生成调整图像Img-R。此外，根据本实施例的投影机100使用投影单元12投影调整图像Img-R作为投影图像Img-P。因此，根据本实施例的投影机100，可以同时实施投影目标和投影机之间的相对位置关系改变时的校正操作和对应于投影目标的形状的校正。
控制单元10发送指令到投影机100的每个元件，并且控制每个元件的操作。控制单元10例如控制图像生成单元11等的操作。此外，控制单元10可以使用预先存储在例如存储单元17中的程序（控制程序和应用程序等），控制投影机100的操作。此外，控制单元10基于从输入/输出单元16（操作单元16P）输入的信息，可以控制投影机100的操作。此外，控制单元10使用输入/输出单元16（操作单元16P）可以输出关于投影机100的信息，诸如操作信息、处理信息、校正信息、捕获图像等。
图像生成单元11生成要投影的图像。图像生成单元11基于从输入/输出单元16（操作单元16P）输入的信息等，生成投影图像Img-P。此外，在调整图像或者校准操作时投影模式（pattern）的情况下，图像生成单元11可以基于从输入/输出单元16（操作单元16P）输入的信息等，生成模式图像。
投影单元12投影图像。投影单元12将生成的投影图像Img-P投影到投影目标上。在调整图像或者校准操作时投影模式的情况下，投影单元12可以投影由图像生成单元11生成的模式图像。投影单元12包括光源、镜头、投影光处理单元和投影图像存储单元。
捕获单元13捕获（获取）捕获图像（捕获数据）。捕获单元13在图像元件（图像传感器）处的捕获区域Rgn-C（见图2）中形成图像的图像，并且从图像元素获取像素输出信号作为捕获数据（捕获图像Img-C）。在本实施例中，捕获单元13在相互不同的捕获定时，捕获多个捕获图像Img-C。此外，在捕获单元13中，使用立体相机。
立体相机包括两个捕获镜头和两个捕获元件，并且用两个捕获镜头同时捕获投影目标的图像。捕获镜头将投影目标的图像引入图像元件。图像元件包括光接收面，其上以格状模式安排多个光接收元件。来自包括通过捕获镜头引入的投影目标的区域的光在光接收面上形成图像。固态捕获元件、有机捕获元件等用于捕获元件。
计算单元14计算校正参数。校正单元14通过使用由捕获单元13捕获的多个图像，计算关于投影区域Rgn-P的三维数据。此外，计算单元14通过使用计算的三维数据计算校正参数。
具体地，计算单元14使用由立体相机（捕获单元13）同时捕获的两个捕获图像Img-C，基于三角测量原理，计算从投影机100到投影目标的距离以及投影目标的形状，其在以下将表示为“三维数据”。
此外，计算单元14使用计算的三维数据，计算畸变参数和移动参数作为校正参数。计算单元14使用多个捕获图像中的一个捕获图像，并且计算畸变参数。此外，计算单元14使用多个捕获图像中的两个捕获图像，计算移动参数。也就是说，在投影目标和捕获单元13之间的相对位置关系改变的情况下，计算单元14使用相对位置关系改变之前的一个捕获图像以及相对位置关系改变之后的一个捕获图像，计算移动参数。此外，计算单元14使用计算的移动参数更新畸变参数。
畸变参数是用于校正对应于投影目标的形状的、投影图像中的畸变的参数。校正包括诸如放大、收缩、梯形校正的成像处理，并且在以下表示为“畸变校正”。投影机100使用畸变参数，并且校正诸如屏幕的投影目标畸变，投影目标不直接面对捕获单元13（即，投影机100等）的情况下由用户观看到的投影图像的畸变。
移动参数是用于校正对应于投影单元12和/或投影目标的移动的、诸如轻摇的不必要移动的参数。校正包括诸如平移、旋转等的图像处理，并且在以下表示为“移动校正”。当投影目标和/或捕获单元13（投影机13）移动时，投影机100使用移动参数校正由用户观看的投影图像的移动。例如，当轻摇捕获单元13（投影机13）时，投影机100例如使用移动参数，停止由用户观看的投影图像的移动。
校正参数（畸变参数和移动参数）将稍后在部分“投影机的功能”中说明。
校正单元15校正投影图像。校正单元15通过使用校正参数校正投影图像Img-P。
具体地，校正单元15使用由计算单元14计算的畸变参数，校正由于投影目标的形状的投影图像中的畸变。此外，校正单元15使用由计算单元14计算的移动参数，校正由于投影单元12和/或投影目标的移动的投影图像的移动。校正单元15使用校正参数（畸变参数和移动参数）的校正操作将稍后在部分“用于投影图像的操作”中说明。
输入/输出单元16输入信息（例如，电子信号）到投影机100并且从投影机100外部输出信息。根据本实施例的输入/输出单元16包括操作单元16P和投影图像获取单元16M。操作单元16P是用户操作的操作面板（用户界面）。操作单元16P接收由用户使用投影机100输入的用于投影或捕获的条件，输出关于操作条件和操作状态的信息给用户。投影图像获取单元16M从外部PC等（计算机界面）接收关于投影的图像的数据的输入。
存储单元17存储关于投影机100的操作的信息。存储单元17存储关于操作期间和等待期间处理状态的信息（投影图像、捕获图像等）。现有技术可以应用于存储单元17。
[投影机的功能]
参照图6，将描述根据第一实施例的投影机的功能。图6是图示根据第一实施例的投影机100的功能示例的功能框图。
如图6所示，根据本实施例的投影机100在块B01，通过由用户从输入/输出单元16（操作单元16P等）输入的用于操作的指令，获取“关于图像的投影的信息（关于投影图像的信息、关于投影开始的信息等）”。然后，输入/输出单元16（投影机100）输出获取的“关于图像的投影的信息”到控制单元10。
控制单元10在块B02，基于输入的“关于图像的投影的信息”，输出“图像生成指令”到图像生成单元11。此外，控制单元10基于输入的“关于图像的投影的信息”，输出“投影指令”到投影单元12。此外，控制单元10基于输入的“关于图像的投影的信息”，输出“捕获指令”到捕获单元13。
根据本实施例的控制单元10，基于稍后将说明的由计算单元14计算的“计算数据（例如，三维数据）”，确定是否执行畸变校正和/或移动校正。当控制单元10确定执行畸变校正和/或移动校正时，控制单元10输出“校正指令（未示出）”到稍后将描述的图像生成单元11和校正单元15。
图像生成单元11在块B03，基于输入的“图像生成指令”，使用由输入/输出单元16获取的“关于图像的投影的信息（关于投影图像的信息）”，生成图像数据（投影图像Img-P）。此外，图像生成单元11输出生成的“图像数据（投影图像Img-P）”到投影单元12。
当从控制单元输入“校正指令（未示出）”时（块B02），根据本实施例的图像生成单元11输出在生成单元15中生成的“图像数据（投影图像Img-P）”到投影单元12。此外，图像生成单元11替代生成的“图像数据（投影图像Img-P）”，输出从校正单元15输入的“校正数据（调整图像Img-R）”到投影单元12。
投影单元12在块B04，基于输入的“投影指令”，投影从图像生成单元11输入的“图像数据（投影图像Img-P）”。
根据本实施例的投影单元12在控制单元10（在块B02）输入“校正指令”（未示出）到图像生成单元11等时，投影从图像生成单元11输入的“校正数据（调整图像Img-R）”。
捕获单元13在块B05，基于输入的“捕获指令”，获取（捕获）投影区域Rgn-P中的“捕获数据（捕获图像Img-C）”（见图2）。此外，捕获单元13输出获取的（捕获的）“捕获数据（捕获图像Img-C）”到计算单元14。捕获单元13通过使用立体相机捕获包括投影目标的区域的图像，并且获取两个捕获数据。
计算单元14在块B06基于从捕获单元13输入的两个“捕获数据”，计算对应于投影目标的外表面上的多个位置的“计算数据（三维数据）”。多个位置在以下表示为“特征点”。此外，计算单元14输出“计算数据（三维数据）”到控制单元10、“计算数据（三维数据）”是关于投影机100（捕获单元13）和投影目标（相应点）之间距离的数据。
当控制单元10（块B02）输入“校正指令（未示出）”时，根据本实施例的计算单元14计算校正参数（畸变参数和移动参数）。此外，计算单元14输出计算的校正参数到稍后将说明的校正单元15（块B07）。
图7A到7D是图示在由投影机100投影的投影图像中的畸变示例的说明图。图7A图示其中具有短焦距（或者非常短焦距）的投影机将投影图像投影到屏幕Scr（投影目标）上的投影的示例。图7B图示在由具有短焦距（或者非常短焦距）的投影机投影的在投影目标Scr上的投影图像的捕获图像的示例，该捕获图像由面对投影目标Scr的捕获单元捕获。图7C图示其中具有普通焦距的投影机将投影图像投影到投影目标Scr上的投影的示例。图7D图示在由具有普通焦距的投影机投影的在投影目标Scr上的投影图像的捕获图像的示例，该捕获图像由面对投影目标Scr的捕获单元捕获。
如图7A所示，当具有短焦距的投影机照射（投影）投影光L1、L2和L3到投影目标Scr的投影面上时，投影光L1、L2和L3由投影目标的表面分别反射为反射线L1r、L2r和L3r。因为投影目标在投影光L2进入的位置畸变，投影光L2在投影目标的表面与投影目标没有畸变时的点（反射光L2ra）不同的点反射。在具有短焦距的投影机的情况下，反射光L2r与L2a的偏差变大。因此，如图7B所示，在具有短焦距的投影机的情况下，从面对投影目标Scr的位置，由用户观看的捕获图像Img-C中的局部部分从L2ra畸变到L2r。在具有短焦距的投影机的情况下，投影光的入射角变小，并且反射点的偏差（图像中的畸变）变大，即使投影面的畸变小。
根据本实施例的投影机100使用计算单元14，计算补偿捕获图像Img-C中的局部部分的畸变的畸变参数作为校正参数。也就是说，计算单元14计算如图7B所示的使捕获图像Img-C中的局部部分变形的畸变参数，使得对于畸变表面的反射光L2r与对于未畸变表面的反射光L2ra重合。
另一方面，如图7C所示，从具有普通焦距的投影机照射（投影）到投影目标Scr的投影面上的投影光La、Lb和Lc（投影图像）由投影目标的表面分别反射为反射线Lar、Lbr和Lcr。在具有普通焦距的投影机的情况下，反射光Lbr与由未畸变表面（未示出）反射的反射光的偏差变小。也就是说，具有普通焦距的投影机可忽略投影目标的投影面的形状（畸变），如图7D所示。
首先，计算单元14（投影机100）为了计算畸变参数，获得包括投影目标的捕获区域Rgn-C的三维形状。计算单元14对于捕获区域Rgn-C中的每个点计算三维坐标，其中捕获区域Rgn-C的中心位置是三维坐标系统的原点。上面坐标系统中的三维坐标将在以下表示为“投影机坐标”。根据本实施例的计算单元14将捕获区域Rgn-C分为多个小区域（例如，像素、网格等），并且对于每个小区域计算三维坐标（以及校正参数）。
此外，计算单元14可以进一步通过使用之前存储在稍后将描述的存储单元17中的用于投影机10的内部参数（纵横比、焦距、梯形校正等）和用于投影目标的外部参数（姿态、位置等），计算三维坐标。在投影光照射的投影目标的表面上的形状是圆形的情况下，三维坐标系统的原点可以设为圆形的中心。
根据本实施例的计算单元14计算相对于到捕获区域Rgn-C的普通方向（或者到观看投影目标的用户的方向）的投影转换矩阵H作为畸变参数（校正参数）。投影转换矩阵H由8个系数（h1到h8）定义如下：
公式1
H = h 1 h 2 h 3 h 4 h 5 h 6 h 7 h 8 1
如上分割的捕获区域Rgn-C中的小区域的中心位置(xp0,yp0)由投影机100通过使用投影转换矩阵H转换到位置(xp1,yp1)如下：
公式2
xp1=(h1 *xp0+h2 *yp0+h3)/(h7 *xp0+h8 *yp0+1)
公式3
yp1=(h4 *xp0+h5 *yp0+h3)/(h7 *xp0+h8 *yp0+1)
矩阵H中的8个参数可以从上面的关系获得。
计算单元14对于每个分割的小区域计算投影转换矩阵H（系数h1到h8）。计算单元14将对于所有分割的小区域计算的投影转换矩阵H（畸变参数）作为校正参数存储在存储单元17中（见图5）。
接下来，为了计算移动参数，计算单元14（投影机100）提取包括在由捕获单元13输入的“捕获数据（捕获图像Img-C）”的图像中的特征点。用于提取特征点的操作示例将在稍后的部分“用于提取特征点的操作示例”中说明。
根据本实施例的计算单元14当投影目标和捕获单元13（投影机100）之间的相对位置关系改变时，通过使用改变前后的“捕获数据（捕获图像）”计算移动参数。计算单元14通过使用相对位置关系改变前的“一个捕获数据（一个捕获图像Img-C，例如，参考画面）”以及相对位置关系改变后的“另一个捕获数据（另一个捕获图像Img-C，例如，用于检测的图像）”，计算移动参数。也就是说，计算单元14对于提取的特征点执行匹配处理，并且计算代表对应于相对位置关系中的改变的小区域（像素、网格等）的移动的矩阵Pm。此外，计算单元14对于相对位置关系改变前后的“捕获数据（整个捕获图像Img-C）”计算一个矩阵Pm。
矩阵Pm可以由旋转矩阵R（3乘3矩阵）和平移矢量（3维）表示。矩阵Pm的自由度是6，因为旋转的自由度是3，并且平移的自由度是3.计算单元14可以通过三个对应点（通过对于三个特征点执行匹配）唯一地确定矩阵Pm。计算单元14可以通过使用最小二乘法通过对于特征点执行匹配，从多于三个对应点计算Pm。通过使用大量特征点，计算精度变得更高。
图8是图示校正参数（移动参数）的示例的说明图。在图8中，在投影机100A将图像投影在屏幕Scr（投影目标）上，并且相机100B（以及虚拟相机100C）捕获投影图像的同时，投影机100A和相机100B移动。
如图8所示，在投影机100A和100B的每个中，投影单元12和捕获单元13相互集成，并且当投影机100A或相机100B的位置改变时，投影机100A和相机100B位移透视投影矩阵Pp和Pc。因此，mp和M之间的关系以及mc和M之间的关系分别由与透视投影矩阵Pp和Pc的乘积表示。此外，对于虚拟相机100C，mc’和M之间的关系由与透视投影矩阵Pc’的乘积表示。
也就是说，计算矩阵Pm（移动参数），使得在相对位置关系改变之后，mpr满足mp和M之间的关系。或者，计算矩阵Pm（移动参数），使得在相对位置关系改变之后，mcr满足mc和M之间的关系。
处理返回图6。校正单元15在块B07基于由控制单元10（在块B02）输入的“校正指令（未示出）”，校正由图像生成单元（在块B03）输入的“图像数据”。校正单元15通过使用计算单元14（在块B06）输入的“计算数据（校正参数）”，对投影图像Img-P执行图像处理（校正）。此外，校正单元15输出调整的“校正数据（调整图像Img-R）”到图像生成单元11。
根据本实施例的校正单元15在来自控制单元10的“校正指令”涉及畸变校正的情况下，通过使用由计算单元14计算的畸变参数（投影转换矩阵H），对投影图像Img-P执行图像处理（校正）。此外，在“校正指令”涉及移动校正的情况下，校正单元15使用由计算单元14计算的移动矩阵（矩阵Pm）更新畸变参数（投影转换矩阵H），并且使用更新的畸变参数对投影图像Img-P执行图像处理（校正）。
[用于投影图像的操作]
参照图9和10，将描述由根据第一实施例的投影机100的用于投影图像（投影图像、调整图像等）的操作。图9是图示根据本实施例的投影机的操作（投影操作）示例的流程图。图10是图示由投影机100的操作（对于畸变参数的计算和更新）的示例的流程图。
首先，当根据本实施例的投影机100投影图像时，投影机100执行图9中步骤S901到S913的处理。投影机100之前已经执行图10中步骤S1001到S1005的处理，并且计算了畸变参数（校正参数）。以下将说明图9和10中图示的操作。
如图9所示，根据本实施例的投影机100在步骤S901使用投影单元100P（见图1），将投影图像Img-P投影到包括投影目标的投影区域Rgn-P（见图2）（投影步骤）。在上面的操作期间，用户按压投影机100上的开始按钮（校准按钮）100Ba（见图1B），捕获单元100C（见图1）获取捕获图像Img-C（捕获步骤）。此外，用户按压投影机100上的选择按钮100Bc（见图1B）并且按压设置按钮（见图1B），并且选择投影目标区域Rgn-T（见图2）。在投影机中计算投影目标区域Rgn-T的坐标。
投影机100的处理进到步骤S902。
投影机100在步骤S902使用控制单元10（见图5），确定是否是用于重载校正参数的定时。例如，当预定时间已经过去时，控制单元10可以确定用于重载校正参数的定时。此外，当用户按压开始按钮（校准按钮）100Ba时，控制单元10可以确定用于重载校正参数的定时。
预定时间可能依赖于投影机100的规定或者使用状态。此外，预定时间可能实验地确定，或者由之前计算确定。
当确定是用于重载校正参数的定时时（步骤S902是），投影机100的处理进到步骤S903。否则，处理进到步骤S904。
投影机100在步骤S903使用控制单元10重载校正参数。控制单元10读出存储在存储单元17（见图5）中的校正参数。然后，投影机100的处理进到步骤S904。
此外，根据本实施例的投影机100在步骤S903可以更新（计算）图10中示出的校正参数（畸变参数）（计算步骤）。
具体地，在步骤S1001，用户按压投影机100上的选择按钮100Bc和设置按钮100Bb，并且选择投影目标区域Rgn-T。接下来，投影机100在步骤S1002使用投影单元100P照射用于校准的模式光。投影机100使用捕获单元100C捕获包括用于校准的模式光的区域的图像。
接下来，投影机100在步骤S1004使用计算单元14，基于对包括用于校准的模式光的区域捕获的图像，计算畸变参数（计算步骤）。此外，投影机100在步骤S1005使用存储单元17通过用计算的畸变参数盖写畸变参数来更新它。
投影机100的处理返回图9中的步骤S903。
接下来，在图9中的步骤S904，投影机100使用校正单元15（见图5），校正投影图像Img-P（校正步骤）。校正单元15使用畸变参数（校正参数），执行对于投影图像Img-P的图像处理（校正），并且生成调整图像Img-R。此外，校正单元15输出生成的调整图像Img-R到投影单元12。
投影机100的处理进到步骤S905。
接下来，在步骤S905，投影机100使用投影单元12（见图5）投影投影图像Img-P（投影步骤）。投影单元12投影在步骤S904调整的调整图像Img-R作为投影图像Img-P。
在开始投影之后，投影机100的处理进到步骤S906。
投影机100在步骤S906使用控制单元10确定是否是用于捕获图像的定时。当投影目标和捕获单元之间的相对位置关系改变时，控制单元10确定用于捕获图像的定时。此外，当用户按压开始按钮（校准按钮）100Ba时，控制单元可以确定用于捕获图像的定时。
当投影机100确定用于捕获图像的定时时（步骤S906是），投影机100的处理进到步骤S907。否则，处理进到步骤S913。
在从步骤S907到S912的处理中，投影机100可以以并行处理执行子程序Sub_A的处理。在此情况下，投影机发起新的处理线程，并且当子程序Sub_A的处理结束时，投影机100中止该处理线程。
接下来，在步骤S907，投影机100使用捕获单元13（见图5）捕获包括投影目标的投影区域Rgn-P的图像（捕获步骤）。此外，捕获单元113输出捕获图像Img-C到计算单元14（见图5）。
投影机100的处理进到步骤S908。
投影机100在步骤S908使用计算单元14提取特征点（计算步骤）。计算单元14提取与之前捕获的捕获图像Img-C中特征点对应的特征点。这样的特征点以下将表示为“对应点”。
投影机100的处理进到步骤S909。
投影机100在步骤S909使用计算单元14计算移动量（计算步骤）。计算单元使用在步骤S908提取的对应点，计算投影机100和投影目标之间相对位置关系中的改变量。
投影机100的处理进到步骤S910。
投影机100在步骤S910使用存储单元17更新用于参考的相对位置关系信息。在存储单元17中，分别用在步骤S907捕获的捕获图像Img-C以及在步骤S908提取的特征点（对应点）更新捕获图像Img-C和特征点。
投影机100的处理进到步骤S911。
投影机100在步骤S911使用计算单元14计算移动参数（计算步骤）。此外，投影机100将由计算单元14计算的移动参数存储（更新）到存储单元16中。计算单元14可以通过使用在步骤S909计算的该变量，计算移动参数。
投影机100的处理进到步骤S912。
投影机100在步骤S912使用计算单元14更新校正参数（计算步骤）。计算单元14通过使用在步骤S912计算的移动参数，更新畸变参数。
投影机100的处理进到步骤S913。
投影机100在步骤S913使用控制单元10确定是否完成用于投影图像的操作。控制单元10可以基于由输入/输出单16输入的信息，确定是否完成用于投影图像的操作。
在确定完成用于投影图像的操作的情况下（步骤S913是），投影机100的处理在图9中结束，并且用于投影图像的操作结束。否则，投影机100的处理返回步骤S901。
[用于提取特征点的操作示例]
参照图11到13，将描述用于由根据本发明的第一实施例的投影机100提取特征点的操作。
图11是图示用于由根据本实施例的投影机100提取特征点的操作示例的说明图。图11的上半部示出相对位置关系改变之前的特征点。图11的下半部示出相对位置关系改变之后的特征点。图12是图示用于由投影机100投影模式的操作示例的说明图。图13是图示当投影机100投影模式时捕获图像Img-C的示例的说明图。
如图11的上半部所示，根据本实施例的投影机100之前提取捕获的参考图像Img-Cr中的特征点。在图11的上半部中，投影机100还捕获屏幕Scr（投影目标）之外的主体的图像。投影机100捕获包括例如墙壁、墙壁上安装的开关、挂钟、墙壁上绘制显示的获奖证书等的图案的区域的图像。
投影机100可以提取对应于屏幕Scr（投影目标）的区域内的特征点。此外，投影机100可以提取对应于屏幕Scr（投影目标）的区域外的特征点。此外，投影机100可以提取不同于排除由用户选择的外部目标区域Rgn-To的匹配的区域中的特征点。
如图11的下半部所示，根据本实施例的投影机100提取相对位置改变之后的特征点。也就是说，投影机100提取捕获的检测图像Img-Cd中的特征点。接下来，投影机100执行对于图11的上半部中提取的特征点和图11的下半部中提取的特征点的匹配（配对）。投影机100执行对于特征点f1到f6的配对的匹配，如图11所示。
因为图11中的挂钟（f4和f5）处于不同于排除外部目标区域Rgn-To的匹配的区域中，所以可以从匹配的目标排除挂钟。此外，获奖证书的左端在捕获的检测图像Img-Cd的外部，并且可以从匹配的目标排除获奖证书。
因为计算单元14通过使用三个对应点（用于特征点匹配）计算矩阵Pm，所以投影机100可以仅对三个特征点执行匹配。此外，投影机100优选地执行对于在投影帧外部的特征点的匹配，更优选地对于处于超过可能投影区域的宽度范围的特征点的匹配。根据上述操作，可以提高移动校正（例如，轻摇）中的精度。
此外，投影机100可以确定对于对应于投影的时间（或者，图像捕获的时间）、移动校正的内容等的特征点的匹配的实施的内容。此外，当确定对应点时，投影机100可以通过使用诸如SIFT（尺度不变特征转换）的方法发现对应关系，或者可以采用SURF（加速鲁棒特征）替代参考像素值的峰值位置。
根据以上，用于由根据本实施例的投影机100提取特征点的操作结束。也就是说，用于提取由计算单元14计算移动参数所需的特征点的操作结束。
另一方面，如图12和13所示，根据本实施例的投影机100可以发射模式光并且提取特征点。图12和13图示模式光基于圆形模式的示例。在本实施例中使用的模式光的形状不限于圆形。也就是说，只要模式光中模式元素具有可以通过其提取特征点的形状、厚度、颜色等，就可以使用任何模式光。
如图12所示，投影机100照射圆形模式光到包括屏幕Scr（投影目标）的投影区域Rgn-P。此外，投影机100捕获其上照射圆形模式光的捕获区域Rgn-C（图13中的Igm-Cr）的图像。因此，投影机100选择模式光中圆形之一，并且提取特征点（对应点）。
如上所述，根据本发明的第一实施例的投影机100可以通过图像处理，校正源自在从手持的投影机100投影的情况下出现的投影图像的轻摇（抖动）的影响。此外，因为根据本实施例的可以处理包括投影目标移动的情况的投影，所以投影机100可以将投影图像投影到移动体上。此外，根据本实施例的投影机100不但移动（偏移）投影图像，而且同时校正畸变。
此外，根据本发明的第一实施例的投影机100可以从由捕获单元（相机）捕获的捕获图像，提取投影目标（即，以与投影目标相同的方式移动的图像）。此外，因为根据本实施例的投影机100提取投影目标（以与投影目标相同的方式移动的图像），所以投影机100可以调整（适应）投影图像的位置到移动投影目标的位置。此外，根据本实施例的投影机100可以更新代表捕获单元（相机）的移动的移动参数，并且通过使用该移动参数更新畸变参数。投影机100可以以从1/60秒到1/30秒范围的时间间隔更新校正参数（畸变参数和/或移动参数）。
[第二实施例]
[投影机的配置和功能]
图5到8图示根据本发明第二实施例的投影机的配置和功能的示例。根据本实施例的投影机的配置和功能与根据第一实施例的投影机100的配置和功能基本相同，并且省略说明。
[对于投影图像的操作]
通过使用图14，将描述用于由根据本实施例的投影机投影图像（投影图像、调整图像）的操作。图14是图示根据本实施例的投影机的操作（投影操作）的示例的流程图。
根据本实施例的投影机不同于根据第一实施例的投影机在于确定用于更新关于投影面的变形的信息的定时（图14中的步骤S1407）。将参照图14具体地描述该操作。
如图14所示，根据本实施例的投影机在步骤S1401执行与由根据第一实施例的投影机100在步骤S901到S906相同的处理。投影机的处理进到步骤S1407。
根据本实施例的投影机可以以并行处理执行子程序Sub_B（步骤S1408到S1403）的处理和子程序Sub_C（步骤S1414到S1417）的处理。在此情况下，投影机发起新的处理线程，并且当子程序Sub_B或子程序Sub_C的处理结束时，投影机100中止该处理线程。
接下来，在步骤S1407，根据本实施例的投影机确定用于更新关于投影面的变形的信息的定时。也就是说，投影机选择在子程序Sub_B中更新移动参数或在子程序Sub_C中更新畸变参数。在以预定时间间隔更新关于投影面的变形的信息的情况下，投影机可以根据是否已经过去预定时间，确定用于更新关于投影面的变形的信息的定时。此外，投影机可以基于通过使用捕获图像Img-C（捕获单元13）由计算单元14计算的三维数据作为关于投影面的变形的信息，选择更新移动参数或更新畸变参数。在投影目标例如是屏幕，并且当屏幕例如由于风移动时的情况下，投影机可以更新畸变参数。
当投影机确定不是用于更新关于投影面的变形的信息的定时时（步骤S1407否，即是用于更新移动参数的定时），投影机的处理进到步骤S1408。否则，投影机的处理进到步骤S1414。
在步骤S1408到S1413，投影机执行与根据第一实施例的投影机100的图9中的步骤S907到S912相同的处理。也就是说，投影机更新移动参数（校正参数）。投影机的处理进到步骤S1418。
另一方面，在步骤S1414到S1417，投影机执行与根据第一实施例的投影机100的图10中的步骤S1002到S1005相同的处理。也就是说，投影机更新畸变参数（校正参数）。投影机的处理进到步骤S1418。
投影机在步骤S1418使用控制单元10确定是否完成用于投影图像的操作。控制单元10可以基于由输入/输出单元16输入的信息，确定是否完成用于投影图像的操作。
在确定完成用于投影图像的操作的情况下，投影机的处理进到图14中的结束，并且用于投影图像的操作结束。否则，投影机的处理返回到步骤S1401。
如上所述，根据本发明的第二实施例的投影机实现与根据第一实施例的投影机100相同的效果。
[示例]
将通过使用根据示例的投影机说明本发明。
[第一示例]
将使用根据本发明的第一示例的投影机100描述本发明。
[投影机的外部视图]
图15A和15B图示根据第一实施例的投影机110的外部视图。图15A和15B分别是图示投影机110的示例的前表面的示意性外部视图和后表面的示意性外部视图。
如图15A和15B所示，在根据本示例的投影机110中，投影单元100P（图5中的投影单元12）和捕获单元100C（图5中的捕获单元13）没有相互集成。此外，当投影和捕获时，在捕获单元100C附接到投影单元100P的状态下，使用投影单元100P。也就是说，根据本示例的投影机110包括投影单元100P，并且使用可拆除捕获单元100C。
可以用于本发明的投影机可以是投影机系统，其中每个装配有图6中示出的功能的多个设备有线地和/或无线地相互连接。投影机系统可以是例如包括装配有投影单元100P（图5中的投影单元12）的功能的投影设备以及装配有捕获单元100C（图5中的捕获单元13）的功能的捕获设备的系统。此外，投影机系统可以是利用可以有线地和/或无线地通过通信单元相互通信的系统的系统（例如，云计算系统）。
[投影机的配置和功能、以及用于投影图像的操作]
根据本示例的投影机110的配置和功能以及用于投影图像的操作与根据第一实施例的投影机100相同。因此省略说明。
如上所述根据第一示例的投影机110实现与根据第一实施例的投影机100相同的效果。
此外，根据第一示例的投影机110使用诸如捕获设备或图像处理设备的外部设备。因此，可以减少投影机中的处理量，减小尺寸和重量，并且简化结构。
此外，根据第一示例的投影机110可以利用PC（个人计算机）的捕获单元。例如，在通过使用投影机110给出表现的情况下，在表现中使用的PC的功能可以由投影机110利用。
[第二示例]
将使用根据本发明的第二示例的投影机描述本发明。
[投影机的配置和功能、以及用于投影图像的操作]
根据本示例的投影机的配置和功能以及用于投影图像的操作与根据第一实施例的投影机100相同。因此省略说明。
[用于投影图像的操作]
图16图示用于由根据本示例的投影机投影图像的操作。图16是图示根据第二示例的投影机的轻摇的示例的说明图。
如图16所示，根据本示例的投影机可以由用户Psn手持，并且将投影图像Img-P投影到任意表面上。投影机可能由用户Psn的轻摇移动（摇晃）投影的投影图像Img-P。
在投影图像期间，用户Psn按压根据本示例的投影机的选择按钮100Bc（见图1）和设置按钮100Bb（见图1），并且设置投影目标区域Rgn-T（见图2）。接下来，为了在投影目标区域Rgn-T中投影投影图像Img-P，投影机使用计算单元14计算使投影图像Img-P变形（放大、收缩或梯形校正）的计算参数（畸变参数）。接下来，投影机使用计算的校正参数校正（变形）投影图像Img-P。此外，投影机投影调整的投影图像Img-P。也就是说，投影机在投影目标区域Rgn-T中投影投影图像Img-P。
此外，当在投影期间出现轻摇时，根据本示例的投影机为了在投影目标区域Rgn-T中投影投影图像Img-P，使用计算单元14计算移动（旋转或平移）投影图像Img-P的校正参数（移动参数）。接下来，投影机使用计算的校正参数，校正（移动）投影图像Img-P。此外，投影机投影调整的投影图像Img-P。也就是说，即使当出现轻摇时，投影机也可以通过抵消轻摇的图像处理，在特定位置（投影目标区域Rgn-T）继续诸如视频的图像的投影。此外，即使当投影目标位置（投影目标区域Rgn-T的外表面）畸变时，投影机也可以通过使用校正参数（畸变参数和移动参数）实时校正投影图像Img-P，并且可以在没有畸变的状态下继续投影。
如上所述根据第二示例的投影机实现与根据第一实施例的投影机100相同的效果。
[第三示例]
将使用根据本发明的第三示例的投影机描述本发明。
[投影机的配置和功能、以及用于投影图像的操作]
根据本示例的投影机的配置和功能以及用于投影图像的操作与根据第一实施例的投影机100相同。因此省略说明。
[用于投影图像的操作]
图17A到17D图示用于由根据本示例的投影机投影图像的操作。图17A到17D是图示根据本示例的投影机的投影操作（到投影目标上的投影操作）。
如图17A到17D所示，即使当移动目标（投影目标）TG移动时，根据本示例的投影机也可以继续跟踪移动目标的移动的投影。投影目标例如是汽车、巴士、飞机等。
具体地，用户输入投影的定时到根据本示例的投影机。在投影期间，如图17A所示，投影机对于短时段停止投影，并且捕获投影目标（移动目标）TG的捕获图像Img-C。短时段例如是百分之一秒。因此，投影机可以通过几乎未被人眼检测到操作（即，用于在短时段停止投影的操作），捕获（获得）投影目标（移动目标）TG的捕获图像Img-C（形状）。
此外，根据本示例的投影机使用计算单元14（见图5），基于捕获的结果，提取投影目标（移动目标）TG中的特征点。此外，投影机设置投影目标区域Rgn-T在对应于投影目标（移动目标）TG的区域。
接下来，如图17B所示，根据本示例的投影机将投影图像Img-P投影到投影目标（移动目标）TG上。接下来，如图17C所示，投影机以如上的预定时间间隔，捕获投影目标（移动目标）TG的捕获图像Img-C，并且通过匹配特征点计算投影目标（移动目标）TG的移动量（转移量）。此外，投影机使用计算单元14，基于计算的移动量计算移动参数（校正参数）。
此外，根据本示例的投影机使用计算的校正参数，实时校正投影图像。然后，如图17D所示，投影机使用投影单元12，将调整的投影图像投影到投影目标区域Rgn-T上。
如上所述，根据本示例的投影机实现与根据第一实施例的投影机100相同的效果。
如上所述，根据本示例的投影机不但可以跟踪投影机的移动，而且可以跟踪投影目标的移动，并且在移动目标（移动体）上的投影是可能的。此外，设置当捕获图像中背景本身改变时，或者甚至当投影目标和捕获单元之间的位置关系改变时，根据本示例的投影机可以仅识别投影目标并且跟踪它。因此，根据本示例的投影机可以将图像也投影到移动体上，而不改变相对位置。此外，当投影目标区域Rgn-T离开投影区域Rgn-C时，根据本示例的投影机可以暂停投影图像的投影。
[第四示例]
将使用根据本发明的第四示例的投影机描述本发明。
[投影机的配置和功能、以及用于投影图像的操作]
根据本示例的投影机的配置和功能以及用于投影图像的操作与根据第一实施例的投影机100相同。因此省略说明。
[用于更新校正参数的操作]
参照图18和19，将描述用于由根据本示例的投影机更新校正参数的操作。图18是图示投影机的操作示例的说明图。图19是图示投影机的投影操作的示例的流程图。
如图19所示，根据本示例的投影机在步骤S1901由用户将来自投影单元100P（见图1）的投影图像Img-P投影到包括投影目标的投影区域Rgn-P（见图2）。用户按压开始按钮（校准按钮）100Ba，并且投影机通过捕获单元100C（见图1）获取捕获图像Img-C。此外，用户按压选择按钮100Bc（见图1）和设置按钮100Bb（见图1），并且投影机选择投影目标区域Rgn-T（见图2）。
投影机的处理进到步骤S1902。
根据本示例的投影机在步骤S1902使用控制单元10（见图5）检测用于由投影单元12投影红色光的定时。
具体地，如图18所示，在根据本示例的投影投影光的DLP（数字光处理）型的投影机的情况下，通过旋转色轮CW分时投影红色、绿色和蓝色光的每个。控制单元10（投影机）检测用于投影红色光的定时。
投影机的处理进到步骤S1903。
根据本示例的投影机在步骤S1903使用投影单元12投影红色光。投影机在步骤S1904使用捕获单元13捕获其上投影红色光的捕获区域Rgn-C（见图2），并且获取捕获图像Img-C。然后，投影机的处理进到步骤S1905。
根据本示例的投影机在步骤S1905使用计算单元14从捕获图像Img-C提取红色分量。然后，投影机的处理进到步骤S1906。
根据本示例的投影机在步骤S1906使用计算单元14基于提取的红色分量，计算校正参数（畸变参数）。此外，投影机使用计算的校正参数更新校正参数。然后，投影机的处理进到图19中的结束，并且用于更新校正参数的操作结束。
如上所述，根据第四示例的投影机实现与根据第一实施例的投影机100相同的效果。
根据第四示例的投影机对于短时段停止投影图像（诸如内容）的投影，而是在红色光的投影期间替代投影图像投影模式光。在根据本示例的投影机中，投影图像的中断时间基于色轮CW的旋转数目是大约百分之一秒，并且可以投影模式光而不给用户提供迷失方向的感觉。此外，根据本示例的投影机投影同一投影图像（帧内容）的蓝色分量和绿色分量，并且此时投影图像（内容信息）可以观看到相同程度，尽管颜色阴影改变。因此，根据本示例的投影机可以减小中断量。
此外，因为投影模式的颜色是已知的，所以根据第四示例的投影机可以提高提取模式的精度。也就是说，根据本示例的投影机通过仅从捕获画面提取红色分量，即使当重叠除了模式外的噪声时，也可以容易地消除包括蓝色和绿色分量的高饱和的噪声。
此外，本发明不限于这些实施例，而是可以进行各种变化和修改而不背离本发明的范围。
本申请基于并且要求于2013年3月13日向日本专利局提交的日本优选权申请No2013-050894的优选权权益，在此通过引用并入其整体内容。

Claims (12)

1.一种投影机，其捕获投影目标的图像，投影图像投影到所述投影目标上，并且所述投影机通过使用捕获图像校正所述投影图像，所述投影机包括：
投影单元，其将所述投影图像投影到所述投影目标上；
捕获单元，其捕获包括所述投影目标的投影区域的图像；
计算单元，其计算关于所述投影区域的三维数据，并且使用计算的三维数据计算校正参数；以及
校正单元，其使用由所述计算单元计算的所述校正参数，校正所述投影图像，其中
所述计算单元基于所述捕获图像，计算畸变参数和移动参数作为所述校正参数，并且
所述校正单元使用所述畸变参数，执行对应于所述投影目标的形状的第一校正，并且执行对应于所述投影单元的移动和所述投影目标的移动的至少一个的第二校正。
2.如权利要求1所述的投影机，其中
所述捕获单元在相互不同的捕获定时，捕获所述投影区域的多个图像，并且
所述计算单元使用多个捕获图像中的一个捕获图像，计算所述畸变参数，并且使用多个捕获图像中的两个捕获图像，计算所述移动参数。
3.如权利要求1或2所述的投影机，其中
当所述投影目标和所述捕获单元之间的相对位置关系改变时，所述计算单元使用所述相对位置关系改变之前捕获的一个捕获图像，并且使用所述相对位置关系改变之后捕获的另一个捕获图像，计算所述移动参数，
所述计算单元使用计算的移动参数，更新所述畸变参数，
所述校正单元使用更新的畸变参数执行所述第一校正，并且
所述投影单元投影校正的投影图像。
4.如权利要求1或2所述的投影机，其中
所述计算单元提取包括在所述捕获图像中的特征点，并且使用提取的特征点计算所述移动参数。
5.如权利要求4所述的投影机，其中
当所述投影目标移动时，所述校正单元使用由所述计算单元提取的所述特征点，指定移动的投影目标的预定位置，并且
所述校正单元使用所述校正参数校正所述投影图像，使得所述投影图像投影在所述预定位置。
6.如权利要求4所述的投影机，其中
所述投影单元投影从所述投影图像过滤的红光、蓝光和绿光，
当所述计算单元提取所述特征点时，所述捕获单元捕获红光、蓝光和绿光之一的图像，以及
所述计算单元基于由所述捕获单元捕获的捕获图像，提取所述特征点。
7.一种控制投影机的方法，所述投影机捕获投影目标的图像，投影图像投影到所述投影目标上，并且所述投影机通过使用捕获图像校正所述投影图像，所述方法包括：
将所述投影图像投影到所述投影目标上；
通过使用捕获单元，捕获包括所述投影目标的投影区域的图像；
计算关于所述投影区域的三维数据，并且使用计算的三维数据计算校正参数；以及
使用计算的校正参数，校正所述投影图像，其中
所述校正参数包括畸变参数和移动参数，
在执行对应于所述投影目标的形状的第一校正中使用所述畸变参数，并且在执行对应于所述投影单元的移动和所述投影目标的移动的至少一个的第二校正中使用所述移动参数，并且
投影校正的投影图像。
8.如权利要求7所述的控制投影机的方法，其中
通过使用所述捕获单元，在相互不同的捕获定时，捕获所述投影区域的多个图像，并且
使用多个捕获图像中的一个捕获图像，计算所述畸变参数，并且使用多个捕获图像中的两个捕获图像，计算所述移动参数。
9.如权利要求7或8所述的控制投影机的方法，其中
当所述投影目标和所述捕获单元之间的相对位置关系改变时，
使用所述相对位置关系改变之前捕获的一个捕获图像，并且使用所述相对位置关系改变之后捕获的另一个捕获图像，计算所述移动参数，
使用计算的移动参数，更新所述畸变参数，并且
使用更新的畸变参数执行所述第一校正。
10.如权利要求7或8所述的控制投影机的方法，其中
提取包括在所述捕获图像中的特征点，并且使用提取的特征点计算所述移动参数。
11.如权利要求10所述的控制投影机的方法，其中
当所述投影目标移动时，使用提取特征点，指定移动的投影目标的预定位置，并且
使用所述校正参数校正所述投影图像，使得所述投影图像投影在所述预定位置。
12.如权利要求10所述的控制投影机的方法，其中
投影从所述投影图像分解的红光、蓝光和绿光，
当提取所述特征点时，捕获红光、蓝光和绿光之一的图像，并且
基于捕获图像，提取所述特征点。
CN201410085886.4A 2013-03-13 2014-03-10 投影机和控制投影机的方法 Pending CN104052951A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-050894 2013-03-13
JP2013050894A JP2014179698A (ja) 2013-03-13 2013-03-13 プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
CN104052951A true CN104052951A (zh) 2014-09-17

Family

ID=51505277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410085886.4A Pending CN104052951A (zh) 2013-03-13 2014-03-10 投影机和控制投影机的方法

Country Status (3)

Country Link
US (1) US20140267427A1 (zh)
JP (1) JP2014179698A (zh)
CN (1) CN104052951A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184800A (zh) * 2015-09-28 2015-12-23 神画科技（深圳）有限公司 自动三维映射的投影系统及方法
CN105262968A (zh) * 2015-10-22 2016-01-20 神画科技（深圳）有限公司 自动调整投影画面位置的投影系统及其投影方法
CN105592310A (zh) * 2014-11-06 2016-05-18 迪士尼企业公司 用于投影仪校准的方法和系统
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN109714519A (zh) * 2017-10-25 2019-05-03 成都市极米科技有限公司 一种自动调整图像画面的方法和系统
CN109951721A (zh) * 2017-12-20 2019-06-28 Cj Cgv 株式会社 多投影剧院监视系统及方法
CN110505398A (zh) * 2019-07-16 2019-11-26 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN111131801A (zh) * 2018-11-01 2020-05-08 华勤通讯技术有限公司 投影仪校正系统、方法及投影仪
CN111757075A (zh) * 2019-03-29 2020-10-09 福建天泉教育科技有限公司 一种动态投影方法及系统
CN112229342A (zh) * 2020-09-14 2021-01-15 桂林电子科技大学 一种相位测量轮廓术中投影光栅的快速自校正方法
CN113938661A (zh) * 2021-09-29 2022-01-14 漳州万利达科技有限公司 一种投影仪侧投校正方法、终端设备及存储介质
CN115733963A (zh) * 2021-08-31 2023-03-03 成都极米科技股份有限公司 一种校正方法、装置、设备及存储介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6115214B2 (ja) * 2012-05-22 2017-04-19 株式会社リコー パターン処理装置、パターン処理方法、パターン処理プログラム
CN104349094B (zh) * 2013-08-09 2019-03-29 联想(北京)有限公司 投影方法及设备
JP2015060012A (ja) 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
JP2016096516A (ja) * 2014-11-17 2016-05-26 株式会社東芝 画像処理装置、画像投影システム、画像処理方法およびプログラム
JP6636252B2 (ja) * 2015-03-19 2020-01-29 株式会社メガチップス 投影システム、プロジェクター装置、撮像装置、および、プログラム
CN106412469B (zh) * 2015-08-03 2019-05-24 中强光电股份有限公司 投影系统、投影装置与投影系统的投影方法
JP2017058538A (ja) * 2015-09-17 2017-03-23 セイコーエプソン株式会社 プロジェクター
CN107238996B (zh) * 2016-03-28 2020-10-23 中强光电股份有限公司 投影系统以及投影画面的校正方法
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
JP6988197B2 (ja) * 2017-06-27 2022-01-05 オムロン株式会社 制御装置、飛行体、および制御プログラム
CN109587457A (zh) * 2017-09-29 2019-04-05 中强光电股份有限公司 投影系统及其自动设定方法
CN109788262A (zh) * 2017-11-15 2019-05-21 中强光电股份有限公司 投影系统及其影像投影方法
CN110784690B (zh) 2018-07-30 2022-05-10 中强光电股份有限公司 投影系统及投影方法
CN115883799A (zh) * 2021-09-29 2023-03-31 中强光电股份有限公司 投影机以及投影方法
WO2023074301A1 (ja) * 2021-10-27 2023-05-04 パナソニックＩｐマネジメント株式会社 キャリブレーション方法、及び、投写型表示システム
CN115103169B (zh) * 2022-06-10 2024-02-09 深圳市火乐科技发展有限公司 投影画面校正方法、装置、存储介质以及投影设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6715888B1 (en) * 2003-03-21 2004-04-06 Mitsubishi Electric Research Labs, Inc Method and system for displaying images on curved surfaces
CN101006720A (zh) * 2004-09-21 2007-07-25 株式会社尼康 电子设备
CN102404537A (zh) * 2010-09-15 2012-04-04 精工爱普生株式会社 投影仪以及投影仪的控制方法
JP2012195875A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像出力装置
US20130077059A1 (en) * 2011-09-27 2013-03-28 Stefan J. Marti Determining motion of projection device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6554431B1 (en) * 1999-06-10 2003-04-29 Sony Corporation Method and apparatus for image projection, and apparatus controlling image projection
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
US6709116B1 (en) * 2003-03-21 2004-03-23 Mitsubishi Electric Research Laboratories, Inc. Shape-adaptive projector system
US6729733B1 (en) * 2003-03-21 2004-05-04 Mitsubishi Electric Research Laboratories, Inc. Method for determining a largest inscribed rectangular image within a union of projected quadrilateral images
JP4734824B2 (ja) * 2003-07-25 2011-07-27 セイコーエプソン株式会社 プロジェクタ
JP2005128506A (ja) * 2003-09-30 2005-05-19 Sanyo Electric Co Ltd 手持ち式プロジェクタ
JP4535714B2 (ja) * 2003-11-19 2010-09-01 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタ
US7213926B2 (en) * 2004-11-12 2007-05-08 Hewlett-Packard Development Company, L.P. Image projection system and method
US7284866B2 (en) * 2005-01-05 2007-10-23 Nokia Corporation Stabilized image projecting device
JP4222420B2 (ja) * 2006-02-21 2009-02-12 パナソニック電工株式会社 映像表示装置、映像表示装置の映像歪み補正方法
US7717569B2 (en) * 2006-04-13 2010-05-18 Nokia Corporation Projector screen with one or more markers
US7857460B2 (en) * 2007-09-26 2010-12-28 Motorola Mobility, Inc. Image stabilization in a laser-scanning based projector
US8919965B2 (en) * 2010-07-02 2014-12-30 At&T Intellectual Property I, L.P. Image stabilization and skew correction for projection devices
US9667932B2 (en) * 2011-02-03 2017-05-30 Videa, Llc Automatic correction of keystone distortion and other unwanted artifacts in projected images
JP5961945B2 (ja) * 2011-08-18 2016-08-03 株式会社リコー 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP5849522B2 (ja) * 2011-08-18 2016-01-27 株式会社リコー 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
KR20130054868A (ko) * 2011-11-17 2013-05-27 한국전자통신연구원 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6127366B2 (ja) * 2012-03-07 2017-05-17 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP5924042B2 (ja) * 2012-03-14 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6715888B1 (en) * 2003-03-21 2004-04-06 Mitsubishi Electric Research Labs, Inc Method and system for displaying images on curved surfaces
CN101006720A (zh) * 2004-09-21 2007-07-25 株式会社尼康 电子设备
CN102404537A (zh) * 2010-09-15 2012-04-04 精工爱普生株式会社 投影仪以及投影仪的控制方法
JP2012195875A (ja) * 2011-03-17 2012-10-11 Seiko Epson Corp 画像出力装置
US20130077059A1 (en) * 2011-09-27 2013-03-28 Stefan J. Marti Determining motion of projection device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105592310A (zh) * 2014-11-06 2016-05-18 迪士尼企业公司 用于投影仪校准的方法和系统
US10080004B2 (en) 2014-11-06 2018-09-18 Disney Enterprises, Inc. Method and system for projector calibration
US11115633B2 (en) 2014-11-06 2021-09-07 Disney Enterprises, Inc. Method and system for projector calibration
CN105184800A (zh) * 2015-09-28 2015-12-23 神画科技（深圳）有限公司 自动三维映射的投影系统及方法
CN105262968A (zh) * 2015-10-22 2016-01-20 神画科技（深圳）有限公司 自动调整投影画面位置的投影系统及其投影方法
CN106846410B (zh) * 2016-12-20 2020-06-19 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN109714519B (zh) * 2017-10-25 2021-02-02 成都极米科技股份有限公司 一种自动调整图像画面的方法和系统
CN109714519A (zh) * 2017-10-25 2019-05-03 成都市极米科技有限公司 一种自动调整图像画面的方法和系统
CN109951721A (zh) * 2017-12-20 2019-06-28 Cj Cgv 株式会社 多投影剧院监视系统及方法
CN111131801A (zh) * 2018-11-01 2020-05-08 华勤通讯技术有限公司 投影仪校正系统、方法及投影仪
CN111131801B (zh) * 2018-11-01 2023-04-28 华勤技术股份有限公司 投影仪校正系统、方法及投影仪
CN111757075A (zh) * 2019-03-29 2020-10-09 福建天泉教育科技有限公司 一种动态投影方法及系统
CN110505398A (zh) * 2019-07-16 2019-11-26 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112229342A (zh) * 2020-09-14 2021-01-15 桂林电子科技大学 一种相位测量轮廓术中投影光栅的快速自校正方法
CN115733963A (zh) * 2021-08-31 2023-03-03 成都极米科技股份有限公司 一种校正方法、装置、设备及存储介质
WO2023029458A1 (zh) * 2021-08-31 2023-03-09 成都极米科技股份有限公司 一种校正方法、装置、设备及存储介质
CN113938661A (zh) * 2021-09-29 2022-01-14 漳州万利达科技有限公司 一种投影仪侧投校正方法、终端设备及存储介质
CN113938661B (zh) * 2021-09-29 2024-05-07 漳州万利达科技有限公司 一种投影仪侧投校正方法、终端设备及存储介质

Also Published As

Publication number Publication date
JP2014179698A (ja) 2014-09-25
US20140267427A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
CN104052951A (zh) 投影机和控制投影机的方法
US9946955B2 (en) Image registration method
CN101872108B (zh) 投影仪及其显示画面的调整方法、移动终端
CN109510948B (zh) 曝光调整方法、装置、计算机设备和存储介质
CN106851122A (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
CN107113415A (zh) 用于多技术深度图获取和融合的方法和设备
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN108234984A (zh) 双目深度相机系统和深度图像生成方法
TW201515433A (zh) 影像校正系統和立體照相機的校正方法
CN102538980A (zh) 热像装置和热像拍摄方法
US10009595B2 (en) Image calibration system and calibration method of a stereo camera
CN102538974A (zh) 热像显示装置、热像显示系统和热像显示方法
CN103105234A (zh) 热像装置和热像规范拍摄方法
CN105141841B (zh) 摄像设备及其方法
US10440353B2 (en) Dual-camera image capture system
CN106851103A (zh) 基于双摄像头系统的自动对焦方法和装置
CN104182969B (zh) 一种单线阵相机内外参数标定方法
CN104104891A (zh) 投影装置及其投影自动校正方法
CN105744254A (zh) 校正导引系统和校正导引系统的操作方法
CN109996048A (zh) 一种基于结构光的投影校正方法及其系统
CN108886561A (zh) 一种应用于终端的拍摄图像的方法及终端设备
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN106323190B (zh) 可定制深度测量范围的深度测量方法及深度图像的系统
JP2023062217A (ja) データ生成方法、学習方法及び推定方法
CN110880159A (zh) 图像拼接方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140917