CN103733248A - 图像处理装置、投影仪和图像处理方法 - Google Patents

图像处理装置、投影仪和图像处理方法 Download PDF

Info

Publication number
CN103733248A
CN103733248A CN201280039739.2A CN201280039739A CN103733248A CN 103733248 A CN103733248 A CN 103733248A CN 201280039739 A CN201280039739 A CN 201280039739A CN 103733248 A CN103733248 A CN 103733248A
Authority
CN
China
Prior art keywords
image
data
plane
target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280039739.2A
Other languages
English (en)
Other versions
CN103733248B (zh
Inventor
长谷川史裕
住吉信一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103733248A publication Critical patent/CN103733248A/zh
Application granted granted Critical
Publication of CN103733248B publication Critical patent/CN103733248B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/53—Means for automatic focusing, e.g. to compensate thermal effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

图像处理装置包括：成像单元，配置为对包括图像被投影在其上的目标的区域成像以获取成像的数据；距离测量单元，配置为基于从成像单元获取的成像的数据计算与该目标和该成像单元之间的距离相关联的距离数据；平面估计单元，配置为基于该距离数据估计与该目标对应的平面；以及范围指定单元，配置为基于该成像的数据产生与该区域相关联的图像数据，并且基于该图像数据和与该平面相关联的信息对目标指定可投影范围。

Description

图像处理装置、投影仪和图像处理方法
技术领域
在此的公开涉及图像处理装置、投影仪和图像处理方法。
背景技术
投影仪被配置为将图像投影到诸如屏幕的目标上。存在一种测量从投影仪到目标的距离并基于测量的距离调整要投影的图像对象上的聚焦（focus）的投影仪。此外，存在另一种投影仪，其取得被投影的图像的画面并基于成像的画面调整被投影的图像上的聚焦。
例如日本公开的专利申请公布No.6-27431号（下文中称为“专利文献1”）公开了调整目标上的聚焦的技术，包括致使有源传感器用红外线照射目标并基于接收到的从目标反射的光的强度而测量该有源传感器和目标之间的距离。
例如日本公开的专利申请公布No.2006-10945号（下文中称为“专利文献2”）公开了一种调整自动聚焦的技术，包括对被投影的特定聚焦样式成像，检测成像的数据的所有像素的相邻像素之间的辉度（brightness）差，计算与辉度差之和对应的绝对值，并将聚焦透镜移动到所述和与最大绝对值对应的位置处。
例如日本公开的专利申请公布No.2005-181726号（下文中称为“专利文献3”）公开了调整聚焦的焦点的技术（即爬坡自动聚焦技术），包括允许光学传感器接收从被投影的图像反射的光，从自光学传感器输出的电信号获取高频分量，计算通过对获取的高频分量积分获得的图像信号（图像数据）的对比度，并确定计算的对比度与最大值对应的位置，作为聚焦的焦点。
在通过投影仪投影图像时，可能需要在诸如屏幕的目标的可投影范围内投影图像。一些种类的投影仪配置为指定目标的可投影范围并对要被投影的图像进行图像处理（例如放大、缩小和梯形失真校正），以便将该图像投影在指定的可投影范围内。
在专利文献1中公开的技术可能能够通过利用棱镜移动从有源传感器发射的红外线的光轴并测量从有源传感器到目标的距离以指定目标的外部形状来指定目标（例如屏幕）中的可投影范围。
在专利文献2和专利文献3中公开的技术可能能够通过取得包括目标（例如屏幕）的图像并基于所取得的图像的辉度和对比度指定目标的外部形状而指定目标中的可投影范围。
但是，当诸如演讲者（presenter）或桌子的障碍物出现在投影仪和目标（例如屏幕）之间时，或者当墙壁与目标的背面相邻时，由于在测量的从传感器到目标的距离中的基于光电检测器元件的信号输入电平而发生的错误，专利文献1中公开的技术可能不能指定目标上的可投影范围。此外，在专利文献2和专利文献3中公开的技术可能不能基于辉度和对比度指定目标的外部形状，这可能导致不能指定目标中的可投影范围。
相关技术文献
专利文献
专利文献1：日本公开的专利申请公布No.6-27431号
专利文献2：日本公开的专利申请公布No.2006-10945号
专利文献3：日本公开的专利申请公布No.2005-181726号
发明内容
本发明的至少一个实施例的一般目标是提供能够指定目标的位置和在与位于目标的背面的墙壁相邻的目标上的可投影范围的信息处理装置、具有该信息处理装置的投影仪以及信息处理方法，它们基本上消除了由相关技术的限制和缺点引起的一个或多个问题。
根据一个实施例，提供了图像处理装置，其包括：成像单元，配置为对包括图像被投影在其上的目标的区域成像以获取成像的数据；距离测量单元，配置为基于从成像单元获取的成像的数据计算与该目标和该成像单元之间的距离相关联的距离数据；平面估计单元，配置为基于该距离数据估计与该目标对应的平面；以及范围指定单元，配置为基于该成像的数据产生与该区域相关联的图像数据，并且基于该图像数据和与该平面相关联的信息指定目标上的可投影范围。
附图说明
图1是例示根据一个实施例的图像处理装置的示例的示意性配置图；
图2是例示图像处理装置的功能的例子的功能框图；
图3是例示每个像素输出的像素输出信号的亮度分量的图；
图4A和4C是例示校正样式的例子的图；
图5是例示立体相机的主要部分的例子的放大图；
图6是例示平面估计单元的操作例子的流程图；
图7是例示图像产生单元和范围指定单元的操作的例子的流程图；
图8是例示对投影目标成像的操作的例子的图；
图9A到9E是例示二进制图像处理的例子的图；
图10是例示在投影目标与位于该投影目标的背面处的墙壁相邻的情况下对投影目标成像的操作的例子的图；
图11A到11E是例示在投影目标与位于该投影目标的背面处的墙壁相邻的情况下的二进制图像处理的例子的图；
图12A到12E是例示在投影目标不包括边框（frame）的情况下的二进制图像处理的例子的图；
图13是例示根据第一实施例的投影仪的示意配置图；
图14是例示根据第一实施例的用于指定投影目标的过程的例子的流程图；
图15是例示根据第二实施例的投影仪的示意配置图；
图16是例示根据第二实施例的用于指定投影目标的过程的例子的流程图；
图17是例示根据第三实施例采用的投影仪系统的示意配置图；以及
图18是例示根据第四实施例的投影仪系统的示意配置图。
具体实施方式
以下参考附图描述优选实施例。
根据一个实施例的图像处理装置能够通过对成像的目标实行图像处理而指定目标上的可投影范围
图像处理装置的配置
图1是例示根据一个实施例的图像处理装置的例子的示意配置图。
在图1中，图像处理装置100包括控制单元110、成像单元120、距离测量单元130、平面估计单元141、图像产生单元142和范围指定单元143。
图像处理单元100配置为致使距离测量单元130基于通过对包括在其上投影图像的目标的区域成像而获取的成像的图像计算距离数据（下文中该目标被称为“投影目标”）。此外，图像处理装置100配置为致使平面估计单元141基于计算的距离数据估计与投影目标的位置对应的平面。此外，图像处理装置100配置为致使范围指定单元143基于估计的与该平面相关联的信息以及由图像产生单元142产生的图像数据来指定投影目标上的可投影范围。
注意，投影目标是图像可投影到其外部表面的任意目标。这样的投影目标的例子包括屏幕、墙壁和白板。
控制单元110配置为对图像处理装置100进行整体控制。控制单元110配置为控制成像单元120等。此外，控制单元110配置为基于外部提供的信息等控制用于输出图像处理装置100的图像处理结果的处理。
成像单元120配置为在成像元件（即图像传感器）上形成包括投影目标的区域的图像并获取成像元件的像素输出信号作为成像数据。此实施例中的成像单元120包括立体相机和信号处理部分。该立体相机包括两个成像透镜和两个成像元件。该立体相机通过两个成像透镜同时对投影目标成像。
成像透镜配置为允许投影目标的图像入射在成像元件上。每个成像元件包括由以栅格布置的多个光电检测器元件（即像素）形成的光电检测器表面。因此，经由成像透镜入射的包括投影目标的图像形成在每个成像元件的光电检测器表面上。成像元件可以由固态成像元件、有机成像元件等形成。
信号处理部分配置为将从每个成像元件输出的像素输出信号输出到距离测量单元130中。
距离测量单元130配置为测量从图像处理装置100到投影目标的距离。更具体地，在此实施例中，距离测量单元130配置为基于三角法原理计算从图像处理装置100到投影目标的距离。将在稍后描述的“距离数据计算操作”中描述距离测量单元130的细节。
平面估计单元141配置为基于距离测量单元130测量的距离递归地近似与投影目标对应的平面。注意，“递归地近似平面”表示基于多个位置近似地估计平面并随后通过排除位于离估计的平面预定距离处的位置重新估计该平面。注意，此方法称为回归分析方法。将在稍后描述的“平面估计操作”中描述平面估计单元141的细节。
图形产生单元142配置为基于由成像单元120取得的成像的数据产生包括成像的投影目标的区域的图像数据。将在稍后描述的“可投影范围指定操作”中描述图像产生单元142的细节。
此外，范围指定单元143配置为基于由平面估计单元141估计的与平面相关联的信息以及由成像单元120取得的包括包含了投影目标的区域的成像的数据指定投影目标上的可投影范围。将在稍后描述的“可投影范围指定操作”中描述范围指定单元143的细节。
图像处理装置的功能性
参考图2描述图像处理装置的功能的例子。
图2例示根据该实施例的成像装置的功能框图。
在图2中，控制单元110配置为将成像指令信号输出到成像单元120以便开始图像处理操作。
成像单元120配置为致使立体相机拍摄包括投影目标的区域的图像以获取两个成像的数据。成像单元120还配置为致使信号处理部分将获取的两个成像的数据输出到距离测量单元130和图像产生单元142。注意，成像的数据表示从由光电检测器元件接收的光的对比度转换的电信号数据（像素输出信号）。
距离测量单元130配置为基于这两个数据计算对应于在投影目标的外部表面上的多个位置（下文中简称为“对应点”）的距离数据。距离测量单元130还配置为将计算的距离数据输出到平面估计单元141和图像产生单元142。注意，距离数据表示与从图像处理装置到投影目标（即对应点）的距离相关联的数据。
平面估计单元141配置为基于距离测量单元130获取的距离数据计算回归平面数据作为与投影目标对应的平面。平面估计单元141还配置为将计算的回归平面数据输出到图像产生单元142和范围指定单元143。注意，回归平面数据表示与包括在通过回归分析计算的三维空间中的多个位置的平面相关联的数据。
图像产生单元142基于成像单元120拍摄的成像的数据产生与包括投影目标的区域相关联的图像数据。图像产生单元142还配置为基于平面估计单元141计算的回归平面数据以及距离测量单元130计算的距离数据计算凸包数据。注意，该图像数据表示与通过对从成像元件输出的像素输出信号进行数字处理而获得的图像相关联的数据。此外，凸包数据表示与覆盖了存在于平面估计单元141所估计的平面中并且由距离测量单元130计算的对应点的多边形相关联的数据。
范围指定单元143配置为基于平面估计单元141计算的回归平面数据、图像产生单元142产生的图像数据和凸包数据指定投影目标上的可投影范围。范围指定单元143还配置为致使控制单元110将与指定可投影范围的结果相关联的信息输出到未示出的输出单元。
对应点提取操作
参考图3和图4给出距离测量单元130基于成像单元中的立体相机获取的两个成像的数据来提取对应点的操作的描述。
图3是例示与成像单元的立体相机拍摄的投影目标的成像的数据相关联的每个像素输出的像素输出信号的亮度分量。在图3中，X方向表示像素（即光电检测器元件）以栅格布置的行或列方向。同样，Z方向表示与X方向垂直的栅格的行或列方向。
在图3中，距离测量单元130（见图2）最初从立体相机获取的两个成像的数据之一（下文中称为“成像的数据A”）选择任意一个像素（即图3中的B1）作为选择点。
随后，距离测量单元130将选择点的亮度分量与在成像的数据A的选择点周围的八个像素（图3中的B8）的亮度分量比较。在此情况下，如果这八个像素的亮度分量全部大于或全部小于选择点的亮度分量，则距离测量单元130提取该选择点作为特征点（xA，zA）。此外，距离测量单元130提取具有特征点在中心并在一侧上具有15个像素的方形范围作为“模板块A”。
注意，在成像单元120（见图2）输出具有RGB信号的像素输出信号（即具有与三原色对应的红色、绿色和蓝色分量的信号）时，仅具有近似表示亮度的绿色分量的信号可以被用作要被比较的亮度分量。此外，作为选择，距离测量单元130可以将选择点的像素的亮度分量与在选择点周围的16个像素（图3中的B16）的亮度分量比较。
随后，距离测量单元130（见图2）从立体相机获取的两个成像的数据的另一个（下文中称为“成像的数据B”）中选择任意一个像素作为选择点（xB，zB）。此外，距离测量单元130选择具有该选择点在中心并且在一侧上具有15个像素的方形范围作为“模板块B”（未示出）。
随后，距离测量单元130计算模板块A中的亮度（或辉度）之和以及模板块A中的亮度或辉度之和，并且距离测量单元130将这两个和相比较。作为比较以上两个和的方法，可以采用稍后描述的绝对距离之和（SAD）或者稍后描述的平方差之和（SSD）。
随后，距离测量单元130选择模板块B中的选择点（xB，zB），在该选择点（xB，zB）处这两个和之间的差是模板块A和模板块B之间的比较结果中的最小值。在此情况下，当这两个和之间的差是预定值或更小时，成像的数据A的特征点（xA，zA）与成像的数据B的选择点（xB，zB）相关联，并且提取与选择点（xB，zB）相关联的特征点（xA，zA）作为对应点（xAB,zAB）。
注意，该预定值可以是投影目标和图像处理装置之间的距离或者与景深（DOF）对应的值。或者，该预定值可以基于数值计算或实验而确定。
距离测量单元130将从图像数据A提取的所有特征点与成像的数据B的选择点相比较。在此情况下，距离测量单元130提取多个对应点（下文中称为“三维点组”）。
注意，采用SAD作为用于计算在和之间的比较中的绝对值差之和的方法。如果像素由相对坐标（x,z）表示，则成像的数据A的比较值（例如亮度分量）由IA(x,z)表示，并且成像的数据B的比较值由IB(x,z)表示，并且差之和（AD）可以通过以下公式（1）获得。
AD = Σ i = - 7 7 Σ k = - 7 7 | I A ( i + x A , k + z A ) - I B ( i + x B , k + z B ) | - - - ( 1 )
作为对照，采用SSD作为用于计算平方差之和的方法。可以通过以下公式（2）获得平方差之和（SD）。
SD = Σ i = - 7 7 Σ k = - 7 7 { I A ( i + x A , k + z A ) - I B ( i + x B , k + z B ) } 2 - - - ( 2 )
图4A和4C是例示被投影到投影目标上的预定样式（校正样式）的例子的图。
在提取对应点时，距离测量单元130可以采用由多个圆形组成的样式作为投影到投影目标上的预定样式。在此情况下，距离测量单元130可以基于包括通过成像的样式获取的成像的数据的颜色、亮度和边缘强度的信息的至少一个提取多个圆形的中心点作为对应点。图4A例示了由多个圆形组成的样式的例子。注意，可以在其中三个圆形被投影在投影目标上的可投影范围中的范围内确定要被投影的圆形的直径，因为在成像单元的成像元件中形成的一个圆形的图像具有与布置在成像元件的表面上的光电检测器元件之一（即一个像素）对应的大小。
此外，距离测量单元130可以采用栅格样式作为预定样式。在此情况下，距离测量单元130可以基于通过成像的样式获取的成像的数据的颜色、辉度和边缘强度的至少一个的信息来提取栅格的边缘点（每个栅格的角）作为对应点。图4B和4C中的每一个例示栅格样式的例子。
距离数据计算操作
参考图5给出距离测量单元130进行的致使立体相机计算与从成像单元（即图像处理装置）到相应点（即投影目标）的距离相关联的距离数据的距离数据计算操作。
图5是例示立体相机的主要部分的例子的放大图。
在图5中，立体相机121包括第一成像透镜122a和第二成像透镜122b。立体相机121还包括布置在第一成像透镜122a和第二成像透镜122b各自的背面方向（与朝向投影目标的方向相反的方向）上的第一成像元件123a和第二成像元件123b。注意，第一成像元件123a和第二成像元件123b可以由区域传感器、表面传感器、二维传感器等形成。
第一成像透镜122a位于离成像透镜122b预定距离D（下文中称为“基线长度”）处。第一成像透镜122a的光轴122ax与成像透镜122b的光轴122bx平行。第一和第二成像元件123a和123b的每个具有在前表面（与背面表面相对）上的光电检测器表面，并且目标的图像形成在光电检测器表面上。第一和第二成像透镜122a和122b的光轴122ax和122bx位于与各自的成像元件123a和123b中的对角线的中心匹配的位置处。
距离测量单元130基于由立体相机拍摄的两组成像的数据通过上述的对应点提取操作提取多个对应点。此外，距离测量单元130基于三角法原理计算与从图像处理装置100到提取的对应点（即投影目标）的距离相关联的距离数据。
具体地，经由第一成像透镜122a获取的投影目标的第一图像形成在第一成像元件123a的光电检测器表面上。同样，经由第二成像透镜122b获取的投影目标的第二图像形成在第二成像元件123b的光电检测器表面上。注意，投影目标的第一图像和第二图像偏移了视差Δ，并且形成在各自的光电检测器表面上。在此情况下，成像元件123a和123b将各自的第一图像和第二图像的光对比度光电转换为电荷量，然后转换的电荷量作为像素输出信号被输出到距离测量单元130。距离测量单元130在成像元件123a和123b之间比较像素输出信号以便检测各自的点中的视差Δ。
注意，如果视差是Δ，基线长度是D，图像处理装置和对应点之间的距离是L，并且成像透镜122a的焦距是f，则基于由L>>f表示的条件（三角法原理）可以建立以下公式（3）。
L＝D·f/Δ
（3）
在此情况下，D和f在公式（3）中是已知的值。距离测量单元130利用公式（3）基于视差Δ计算距离L。此外，距离测量单元获取与三维点组的距离相关联的距离数据，作为对应点的具有计算的距离L的距离数据。
平面估计操作
参考图6描述平面估计单元141（见图2）估计与投影目标对应的平面的操作。
图6是例示平面估计单元141的操作的例子的流程图。
在图6中，控制单元110（见图2）将由距离测量单元130计算的三维点组（即对应点）的距离数据输入（登记）到距离测量单元141（见图2）中（包步骤S101）。随后，处理步骤S102。
在步骤S102，平面估计单元102基于该距离数据计算与对应于投影目标的平面相关联的回归平面数据。以下给出用于在步骤S102中计算回归平面数据的方法的具体描述。
在上述的对应点提取操作中，获取n个对应点（xABi,yABi,zABi）（i=1到n）作为三维点组。注意，y轴方向对应于用作图5中的成像单元的立体相机121的光轴方向。此外，yABi表示投影目标（对应点（xABi,zABi））和图像处理装置100之间的距离L的Y分量。
平面估计单元141配置为通过利用回归分析从三维点组计算回归平面。因此，回归平面的方程被定义为y=ax+bz+c。注意，基于以下公式（4）确定该回归平面和三维点组。
Y＝Xβ+ε
（4）
注意，公式（4）中的变量由以下公式（5）表示。
Y = y AB 1 y AB 2 . . y ABn , X = x AB 1 z AB 1 1 x AB 2 z AB 2 1 . . x ABn z ABn 1 , β = a b c , ϵ = e 1 e 2 . . e n - - - ( 5 )
在公式（5）中，ei表示残差。
以下公式（6）表示标准方程。
XTY＝(XTX)β
（6）
因而，β由以下公式（7）表示。
β＝(XTX)-1XTY
（7）
因此，可以通过利用最小二乘法的方法计算具有最小的残差ei的平方和的常数a、b和c而获得回归平面（y=ax+bz+c）。平面估计单元141获取该回归平面的方程（y=ax+bz+c）的常数a、b和c作为回归平面数据。
完成了回归平面数据的计算，处理步骤S103。
随后，在步骤S103中计算回归平面和三维点组之间的距离DABi。具体地，通过利用以下公式（8）计算对应点（xABi,yABi,zABi）和平面(αx+βy+γz+δ=0)之间的距离获得距离DABi。
D ABi = | αx ABi + βy ABi + γz ABi + δ | α 2 + β 2 + γ 2 - - - ( 8 )
完成了回归平面数据和三维点组的每个点之间的距离的计算，处理步骤S104。
在步骤S104中，从在步骤S103中计算的距离DABi中提取具有最大绝对值的距离DMAX。完成了最大距离DMAX的提取，处理步骤S105。
在步骤S105中，将距离DMAX与预定距离比较。如果最大距离DMAX等于预定距离或更小，则处理步骤S106。另一方面，如果最大距离DMAX超过该预定距离，则处理步骤S109。注意，该预定距离可以是与投影目标和图像处理装置之间的距离对应的值。或者，该预定距离可以是与景深（DOF）对应的值。
在步骤S106中，计算存在于从成像的区域的中心起的预定范围中的三维点组的点的数量与存在于由成像单元120取得的整个成像的区域中的三维点组的点的数量的比例。完成了比例的计算，处理步骤S107。
在步骤S107中，将在步骤S106中计算的比例与预定比例比较。如果作为比较的结果获得的比例超过预定比例，则处理步骤S108。另一方面，如果该比例等于预定比例或更小，则处理步骤S112。注意，该预定比例可以是与在步骤S106中设置的预定范围内的整个成像的区域的比例。或者，该预定比例可以是基于数值计算或实验的包括存在于成像的区域的中心的投影目标的比例。
在步骤S106和S107中，确定由距离测量单元130提取的三维点组是对应于表示在投影目标的表面上的位置的点组还是对应于表示位于投影目标之后（即背面）的墙壁等表面上的位置的点组。因此，在步骤S106等中，除了与上述预定比例的比较之外，还可以基于三维点组的离散（dispersion）确定三维点组是否对应于上述点组之一。具体地，投影目标的表面上的三维点组的离散可能小于位于投影目标之后的墙壁的表面上的三维点组的离散。因此，可以基于三维点组的离散是否小于或等于预定阈值来确定三维点组是否对应于表示投影目标的表面上的位置的点组。注意，可以基于数值计算或实验确定该预定阈值。
随后，在步骤S108中，将计算的回归平面（在步骤S102中计算的）估计为与投影目标对应的平面并且存储为回归平面数据。其后，平面的估计终止（图6的“结束”）。
在步骤S109中，从三维点组中排除与最大距离DMAX对应的三维点组的点。完成了该点的排除，处理步骤S110。
在步骤S110中，确定三维点组的点的数量是否等于或小于二。如果三维点组的点的数量超过二，则处理步骤S101（回到步骤S101）。另一方面，如果三维点组的点的数量小于或等于二，则处理步骤S111。
在步骤S111中，因为三维点组的点的数量等于或小于二，因此可能难以估计平面。在此情况下，可以输出诸如“平面估计操作错误”的错误。其后，平面估计操作终止（图6的“结束”）。
在步骤S112中，输入（登记）三维点组（即对应点）的被排除的点作为距离数据，并且处理步骤S101（回到步骤S101）。
如上所述，根据此实施例的图像处理装置能够测量从图像处理装置到投影目标的距离并基于回归分析估计与该投影目标对应的平面。此外，根据此实施例的图像处理装置能够在图像处理装置和投影目标之间存在障碍物时或者当墙壁等位于靠近投影目标的背面时、通过排除距离该平面超过预定距离的距离处的对应点而估计与该投影目标对应的平面。
注意，在平面估计操作中，经历了排除的对应点不限于与投影目标相关联的诸如障碍物或在投影目标之后的墙壁的那些；但是，经历了排除的对应点可以包括与除了投影目标之外的对象相关联的那些。
可投影范围指定操作
参考图7到图12E描述范围指定单元143（见图2）指定投影目标上的可投影范围的操作。
图7到9E是例示在投影目标位于远离投影目标之后的墙壁等的位置处的情况下的可投影范围的指定的例子的图。图10到11E是例示在投影目标位于靠近在投影目标之后的墙壁等的情况下的可投影范围的指定的例子的图。图12A到12E是例示在投影目标不包括边框（即投影目标本身是墙壁等）的情况下的可投影范围的指定的例子的图。
首先，参考图7到9E描述在投影目标位于远离在投影目标之后的墙壁等的位置处的情况下的可投影范围的指定。
图7是例示可投影范围指定操作的例子的流程图。
在图7中，成像单元120（见图2）拍摄包括投影目标的区域的图像以获取成像的数据（步骤S201）。完成了图像的拍摄，成像单元120将成像的数据输出到图像产生单元142（见图2）。随后，处理步骤S202。
以下参考图8到9E具体描述成像单元120（见图2）对投影目标成像的操作。
图8是例示对投影目标成像的操作的例子的图。在图8中，“x”表示在投影目标的表面上的位置。类似的，“Δ”表示在投影目标之后的墙壁的表面上的位置。此外，“◆”表示演讲者的位置。
在图8中，并入在投影仪（即投影单元）中的成像单元120拍摄投影仪将光投影在其上的投影目标（即屏幕）的图像。在此情况下，投影仪将白色区域的图像投影到投影目标的整个可投影范围上。在此实施例中，演讲者站在投影仪和投影目标之间。此外，投影目标位于远离投影目标之后的墙壁的位置处。
图9A到9E是例示用于指定可投影范围的图像处理的例子的图。图9A是例示在图8中拍摄的图像的概略的图。图9B是例示其中延长直线分量的二进制图像的例子的图。图9C是例示其中在稍后描述的凸包内的内部区域被定义为黑色区域的二进制图的例子的图。图9D是以类似于图9B和9C的方式例示其中黑色区域保持为黑色区域并且除了黑色区域之外的区域被转换为白色区域的二进制图的例子的图。图9E是例示其中选择包括被投影的图像的中心的黑色区域的二进制图像的例子的图。图9A到9E例示与图7中例示的流程图的那些步骤对应的各个步骤的细节。
接下来，在图7的步骤S202中，图像产生单元142（见图2）基于从成像单元120输出的成像的数据（见图9A）产生包括投影目标的区域的图像数据。在此情况下，图像产生单元142从产生的图像数据中检测白色区域。
注意，图像产生单元142可以配置为检测具有比预定阈值更大的辉度的区域作为白色区域。该预定阈值可以是在成像的图像的辉度（亮度）的最大值和最小值之间的中间值，或者可以是与从图像处理装置到投影目标的距离对应的值。或者，可以基于数值计算或者实验确定该预定阈值。具体地，白色区域对应于在图8和9A中用“x”和“Δ”标记的区域。
注意，代替上述的辉度（亮度），可以基于颜色分量确定该预定阈值。例如，如果基于RGB的“R”分量确定该预定阈值，则尽管事实是该帧是偏向绿色的颜色，可以清楚地区分白色区域。此外，可以通过测量每个像素的边缘强度、将具有高边缘强度的像素的辉度平均并将获得的平均值确定为预定阈值来确定该预定阈值。可以通过将表1中所示的空间滤波器应用于标记的像素及其相邻的像素并获取其绝对值来测量边缘强度。
-1 -1 -1
-1 8 -1
-1 -1 -1
表1
完成了白色区域的检测，处理步骤S203。
在步骤S203中，图像产生单元142基于在步骤S202中检测到的结果产生由在被检测为白色区域的面积中的白色以及在除了该白色面积之外的被检测为黑色区域的面积中的黑色组成的二进制图像。完成了二进制图像的产生，处理步骤S204。
在步骤S204中，图像产生单元142检测该黑色区域中的直线分量。完成了直线分量的检测，处理步骤S205。
在步骤S205中，图像产生单元142对该二进制图像进行图像处理以将在步骤S204中检测到的黑色区域中的直线分量的延长的部分（延长的线）改变为黑色。此外，完成了在二进制图像中将直线分量的延长的部分（延长的线）改变为黑色，该二进制图像的白色区域和黑色区域被反转。具体地，当检测到图9A中的直线分量Lb时，在图9B中产生具有在白色区域中的改变的直线分量Lb的延长的部分（延长的线）的二进制图像。完成了以上二进制图像的产生，处理步骤S206。
在步骤S206中，图像产生单元142基于由距离测量单元130计算的距离数据和由平面估计单元141估计的回归平面数据来计算凸包数据。
具体地，平面估计单元141估计包括在图9中被标记为“x”的对应点的平面。随后，图像产生单元142基于由距离测量单元130计算的距离数据提取在由该平面估计单元141估计的平面中的多个对应点。此外，图像产生单元142计算与具有包围了（覆盖了）提取的对应点的最小面积的多边形（具有最小面积的多边形在下文中被称为“凸包”）相关联的凸包数据。在此情况下，凸包表示包围了（覆盖了）在图9A中所示的“x”标记的凸包C1。
完成了的凸包数据的计算，处理步骤S207。
在步骤S207中，图像产生单元142产生具有在凸包C1内的内部区域作为黑色区域的二进制图像（图9C）。注意，基于从图像处理装置到投影目标的距离以及估计的平面产生具有在凸包C1内的内部区域作为黑色区域的二进制图像。因此，可以产生二进制图像而不受被投影光的辉度等级或者投影目标的表面的不平坦的影响。
其后，将具有在步骤S205中产生的延长的直线分量Lb的二进制图像（图9B）和在步骤S207中产生的凸包C1的二进制图像（图9C）输出到了范围指定单元143（见图2），处理步骤S208。
在步骤S208中，范围指定单元143将具有延长的直线分量Lb的二进制图像（图9B）与凸包C1的二进制图像（图9C）比较，并对这两个二进制图像（即图9B和9C）进行二进制图像处理以便确定黑色的区域作为黑色区域并将除了该黑色区域之外的区域转换为白色区域（图9D）。其后，处理步骤S209。
在步骤S209中，当在步骤S208中产生的二进制图像的黑色区域（图9D）包括投影目标的被投影区域的中心点（图9E中的C2）时，范围指定单元143将该黑色区域指定为投影目标的可投影范围。其后，可投影范围指定操作终止（图7中的“结束”）。
注意，中心点C2可以是当投影仪调整聚焦时由投影仪利用的点（即投影目标的表面上的位置）。
如上所述，根据此实施例的图像处理装置能够通过测量从图像处理装置到投影目标的距离并估计与投影目标对应的平面而计算与投影目标相关联的凸包数据，并能够基于该凸包数据产生二进制图像。因此，该图像处理装置能够产生二进制图像而不受被投影光的辉度的等级或者投影目标的表面的不平坦的影响。此外，根据此实施例的图像处理装置100能够在演讲者站在投影仪和投影目标之间时通过估计与投影目标对应的平面而指定在投影目标上的可投影范围。
接下来，参考图10到11E描述投影目标位于靠近在投影目标之后的墙壁等的情况。
图10是例示对投影目标成像的操作的例子的图。在图10中，“x”表示在投影目标的表面上的以及在投影目标之后的墙壁的表面上的位置。此外，“◆”表示站在投影仪和投影目标之间的演讲者的位置。
在图10中，并入在投影仪中的成像单元120拍摄投影仪将光投影在其上的投影目标（即屏幕）的图像。在此情况下，投影仪将白色区域的图像投影到投影目标的整个可投影区域上。
图11A到11E是例示用于指定可投影范围的图像处理的例子的图。图11A是例示在图10中拍摄的图像的概略的图。图11B是例示其中直线分量延长的二进制图的例子的图。图11C是例示其中凸包内的内部区域被定义为黑色区域的二进制图像的例子的图。图11D是以与图11B和11C类似的方式例示其中黑色的区域被定义为黑色区域并且除了黑色区域之外的区域被转换为白色区域的二进制图像的例子的图。图11E是例示其中选择了包括投影的图像的中心的黑色区域的二进制图的例子的图。
在图11A中，图像产生单元142基于由距离测量单元130计算的距离数据以及由平面估计单元141估计的回归平面计算凸包数据。具体地，平面估计单元141估计包括在图11A中所示的“x”标记的平面。随后，图像产生单元142基于由距离测量单元130计算的距离数据提取在由平面估计单元141估计的平面中的多个对应点。
在此情况下，图像产生单元142提取包括在图11A中所示的“x”标记的凸包C1。因此，图像产生单元142提取在该投影目标上的超过（由在图11A中的直线分量Lb形成的边框定义的）可投影范围的凸包C1。
随后，图像产生单元142产生具有在该凸包C1内的内部区域作为黑色区域的二进制图像（图11C）。此外，范围指定单元143将具有延长的直线分量Lb的二进制图像（图11B）与凸包C1的二进制图像（图11C）比较，并对这两个二进制图像（即图11B和11C）进行二进制图像处理以便确定黑色的区域作为黑色区域并且将除了黑色区域之外的区域转换为白色区域（图11D）。
随后，在图11E中，范围指定单元143选择包括投影的图像的中心点（图11E中的C2）的二进制图像的黑色区域。在此情况下，范围指定单元143将所选的黑色区域指定为投影目标上的可投影范围。
其后，可投影范围指定操作终止。
如上所述，根据此实施例的图像处理装置100能够在投影目标位于靠近在投影目标之后的墙壁等的位置处的情况下指定投影目标上的可投影范围。
接下来，参考图12A到12E描述投影目标不包括边框的情况。
图12A到12E是例示用于指定可投影范围的图像处理的例子的图。图12A是例示要拍摄的图像的概略的图。图12B是例示其中直线分量延长的二进制图像的例子的图。图12C是例示其中凸包内的内部区域被定义为黑色区域的二进制图像的例子的图。图12D是以与图12B和12C类似的方式例示其中黑色的区域被定义为黑色区域并且除了黑色区域之外的区域被转换为白色区域的二进制图的例子的图。图12E是例示其中选择了包括被投影图像的中心的黑色区域的二进制图的例子的图。
在图12A中，“x”表示在投影目标的表面上以及在投影目标之后的墙壁的表面上的位置。此外，“◆”表示演讲者的位置。
在图12A中，图像产生单元142检测黑色区域中的直线分量。其后，图像产生单元142对二进制图像进行图像处理以将检测到的黑色区域中的直线分量的延长部分（延长线）转换为黑色。此外，在二进制图像中将直线分量的延长部分（延长线）改变为黑色之后，该二进制图像的白色区域和黑色区域反转（图12B）。
在图12A中，图像产生单元152基于由距离测量单元130计算的距离数据和由平面估计单元141估计的回归平面数据来计算凸包数据。在此处理中，平面估计单元141估计包括图12A中所示的“x”标记的平面。随后，图像产生单元142基于由距离测量单元130计算的距离数据提取在由平面估计单元141估计的平面中的多个对应点。在此处理中，图像产生单元142提取包括图12A中所示的“x”标记的凸包C1。
其后，图像产生单元142基于提取的凸包C1产生二进制图像（图12C）。
随后，范围指定单元143将具有延长的直线分量Lb的二进制图像（图12B）与凸包C1的二进制图像（图12C）比较，并对这两个二进制图像（即，图12B和12C）进行二进制图像处理以便确定黑色的区域作为黑色区域并将除了该黑色区域之外的区域转换为白色区域（图12D）。
随后，在图12E中，范围指定单元143选择包括被投影图像的中心点C2的二进制图的黑色区域。在此处理中，范围指定单元143指定所选的黑色区域作为投影目标上的可投影范围。
其后，可投影范围指定操作终止。
如上所述，根据此实施例的图像处理装置100能够在光直接投影到诸如墙壁的投影目标上的情况下指定该投影目标上的可投影范围。
程序和存储程序的非瞬时记录介质
根据一个实施例的程序可以在由处理器处理时致使计算机执行：对包括投影目标的表面的区域成像以获取成像的数据；基于该成像的数据计算与在投影目标和投影目标被成像在其上的位置之间的距离相关联的距离数据；基于计算的距离数据估计与投影目标对应的平面；基于该成像的数据产生与该区域相关联的图像数据；以及基于该图像数据以及与该平面相关联的信息指定该投影目标上的可投影范围。
在此配置中，可以获得与根据实施例的图像处理装置获得的效果类似的效果。
此外，根据此实施例的程序Pr可以记录在非瞬时计算机可读记录介质Md上。记录程序Pr的记录介质Md的例子可以包括诸如软盘、CD-ROM和存储卡的计算机可读介质。
实施例
以下，参考投影仪的实施例描述根据实施例的图像处理装置和图像处理方法。
根据此实施例的图像处理装置等不限于应用于投影仪的那些。根据此实施例的图像处理装置等可以应用于除了投影仪之外的任意设备，只要这些设备能够对投影目标成像并指定投影目标上的范围即可。
第一实施例
以下描述根据第一实施例的投影仪。
投影仪的配置
投影仪是投影图像的设备。根据第一实施例的投影仪包括IF单元、投影单元、自动聚焦单元和投影图像产生单元。该投影仪还包括控制单元、成像单元、距离测量单元、平面估计单元、图像产生单元和范围指定单元。
该投影仪配置为将图像投影在投影目标上，取得包括投影目标的区域的图像，并且估计与该投影目标对应的平面。该投影仪还配置为调整投影专用透镜的聚焦，指定该投影目标上的可投影范围，并校正投影的图像，比如基调（keynote）校正。
注意，IF单元配置为将外部信息输入到投影仪或者从投影仪输出信息。投影单元配置为将图像从投影仪的投影专用透镜投影到投影目标上。投影图像产生单元配置为产生由投影仪投影的图像。自动聚焦单元配置为调整投影仪的投影专用透镜在投影目标上的聚焦。
图像处理装置的控制单元等类似于参考图1所述的那些，并且因此省略其描述。
图13是例示根据此实施例的投影仪的示意图。
在图13中，投影仪300包括作为IF单元的操作面板311。投影仪300还包括作为投影单元的投影专用透镜321、投影光处理单元322、光源323等。投影仪300还包括作为投影图像产生单元的投影专用数据获取单元331、投影专用图像产生单元332、投影专用图像存储单元333、投影专用图像修改单元334、校正样式存储单元335等。投影仪300还包括作为自动聚焦单元AF的焦距计算单元341和透镜驱动单元342等。
投影仪300还包括作为控制单元的整体控制单元111和投影光控制单元112。投影仪300还包括作为成像单元的第一成像单元121A、第二成像单元121B和成像的画面存储单元122。投影仪300还包括作为距离测量单元的距离计算单元132和距离信息存储单元133。投影仪300还包括作为平面估计单元、图像产生单元和范围指定单元的屏幕检测单元144和图像变形量计算单元145。
投影校正操作
参考图14描述投影仪300（见图13）校正投影的图像的操作。
图14是例示由根据第一实施例的投影仪300进行的投影图像的过程的例子的流程图。
如图14所示，在步骤S301中，整体控制单元111（见图3）经由来自操作面板311的输入向投影单元等输出用于开始校正操作的指令。随后，处理步骤S302。
在步骤S302中，投影单元将校正样式存储单元中存储的校正样式经由投影专用透镜投影到投影目标上。随后，处理步骤S303。
在图303中，成像单元使得第一和第二成像单元121A和121B取得包括投影目标的区域的图像，以将成像的数据存储在成像的画面存储单元122中。完成了成像的图像的存储，处理步骤S304。
在步骤S304中，距离测量单元致使距离计算单元132计算从投影仪300到投影目标的距离，以将计算的结果存储在距离信息存储单元133中。注意，用于计算上述距离的方法与在上述的“对应点提取操作”和“距离数据计算操作”中描述的相同，因此省略该方法的描述。完成了计算的结果的存储，处理步骤S305。
在步骤S305中，范围指定单元等致使屏幕检测单元144估计与投影目标对应的平面。注意，用于估计平面的方法与在上述的“平面估计操作”中描述的相同，因此省略该方法的描述。完成了平面的估计，处理步骤S306。
在步骤S306中，自动聚焦单元AF致使焦距计算单元341基于由距离计算单元132计算的距离数据（步骤S304）和/或与估计的平面相关联的信息来计算与聚焦相关联的距离，以通过移动投影专用透镜321来调整投影专用透镜321的聚焦，由此调整在被投影的图像上的聚焦。
注意，用于调整聚焦的方法可以包括致使距离测量单元计算与从投影仪300到投影目标的被投影区域的中心位置的距离相关联的距离数据并基于计算的距离数据调整聚焦。该中心位置可以被确定为表示三维点组的x坐标的最大值的点和表示x坐标的最小值的点的平均值以及表示z坐标的最大值的点和表示z坐标的最小值的点的平均值。或者，中心位置可以被确定为三维点组的所有点的平均值。
完成了聚焦的调整，处理步骤S307。
在步骤S307中，整体控制单元111确定自动聚焦单元AF已经调整聚焦的次数是否大于或等于预定次数。如果自动聚焦单元AF已经调整聚焦的次数大于或等于预定次数，则处理步骤S308。另一方面，如果自动聚焦单元AF已经调整聚焦的次数小于该预定次数，则处理步骤S303（回到步骤S303）。
注意，自动聚焦单元AF调整聚焦预定次数，因为由距离测量单元测量的距离数据包括由于以下事实而引起的误差：距离测量单元测量当自动聚焦单元AF不在聚焦的状态（即未调整聚焦）时从投影仪300到投影目标的距离。注意，可以基于数值计算或实验确定预定次数。此外，在重复聚焦调整的情况下，当由距离测量单元测量的距离的偏移是预定阈值或更小时，聚焦调整的重复可以终止。
接下来，在步骤S308中，范围指定单元等致使屏幕检测单元144指定可投影范围。注意，指定可投影范围的方法与在上述的“可投影范围指定操作”中描述的相同，因此省略该方法的描述。完成了可投影范围的指定，处理步骤S309。
在步骤S309中，范围指定单元致使图像变形量计算单元145计算图像的变形量。注意，用于计算图像的变形量的方法包括计算与被投影的图像校正（例如放大、减小和基调校正）相关联的信息，以便以四边形形式（例如矩形或者方形）将图像投影到在步骤S308中检测到的可投影范围上。完成了信息的计算，处理步骤S310。
其后，可投影范围指定操作终止（图7的“结束”）。
第二实施例
以下描述根据第二实施例的投影仪。
投影仪的配置
图15是例示根据第二实施例的投影仪的示意图。
在图15中，投影仪400的配置类似于图13中所示的第一实施例的配置，因此省略对投影仪400的配置的描述。
在使用时的投影校正操作
参考图16描述在光投影到投影目标上时当投影目标或投影仪移动时投影仪调整聚焦等的操作。
图16是例示由根据第二实施例的投影仪400进行的调整聚焦等的过程的例子的流程图。
在图16的步骤S401中，投影单元将在投影专用图像存储单元333中存储的投影专用图像经由投影专用透镜321投影到投影目标上。随后，处理步骤S402。
在步骤S402中，整体控制单元111致使用于测量预定时间的计时器确定是否已经经过了预定时间。已经经过了预定时间，处理步骤S403。如果还没有经过预定时间，整体控制单元111等待，直到已经经过了预定时间。
在步骤S403中，成像单元致使第一和第二成像单元121A和121B取得包括投影目标的区域的图像，以将成像的数据存储在成像的画面存储单元122中。完成了成像的图像的存储，处理步骤S404。
在步骤S404中，距离测量单元致使距离计算单元132计算从投影仪400到投影目标的距离，以将计算的结果存储在距离信息存储单元133中。注意，计算上述距离的方法与在“对应点提取操作”和“距离数据计算操作”中描述的那些相同，因此省略该方法的描述。完成了计算的结果的尺寸，处理步骤S405。
在步骤S405中，范围指定单元等致使屏幕检测单元144估计与投影目标对应的平面。注意，用于估计平面的方法与在“平面估计操作”中描述的相同，因此省略该方法的描述。完成了平面的估计，处理步骤S406。
在步骤S406中，范围指定单元等将在步骤S405中估计的平面与先前估计的平面（或者在投影仪的启动时估计的平面）比较以计算这两个估计的平面的位置之间的差。这两个估计的平面的位置之间的差可以被确定为这两个估计的平面的法向量之间的差（平方之和的平方根）。
注意，在步骤S405中估计的平面由以下公式（9）表示。
y＝ax+bz+c
（9）
先前估计的平面（或者在投影仪的启动时估计的平面）由以下公式（10）表示。
y＝a0x+b0z+c0
（10）
在此情况下，估计的平面的法向量由以下公式（11）表示。
(a，-1，b)，(a0，-1，b0)
（11）
完成了平面的位置之间的差的计算，处理步骤S407。
在步骤S407中，当平面的位置之间的差大于或等于预定值时，范围指定单元143确定投影目标等已经移动。注意，该预定值可以是与投影目标和投影仪之间的距离对应的值。或者，该预定值可以是与景深（DOF）对应的值。
如果平面的位置之间的差大于或等于预定值，则处理步骤S408。另一方面，如果平面的位置之间的差小于该预定值，则处理步骤S409。
在步骤S408中，投影仪进行与在投影仪的启动时进行的校正操作类似的校正操作。具体地，投影仪进行与在第一实施例中（即图14中的步骤S303到S309）进行的校正操作类似的校正操作。完成了校正操作，处理步骤S409。
在步骤S409中，整体控制单元111复位计时器，并且初始化预定时间的测量。其后，处理步骤S410。
此外，在步骤S410中，整体控制单元111确定投影仪当前是否在使用中。如果投影仪当前在使用中，则处理步骤S402（回到步骤S402）。另一方面，如果投影仪当前不在使用中，则聚焦调整操作终止（图16的“结束”）。
第三实施例
下面描述根据第三实施例的投影仪。
投影仪的配置
图17是例示根据第三实施例的投影仪系统的示意图。
在图17中，投影仪系统500包括投影仪510和外部处理单元520。投影仪510的基本配置与第一和第二实施例中所示的那些类似，因此省略投影仪510的配置的描述。
根据第三实施例的投影仪510包括通信单元511。类似地，外部处理单元520包括通信单元521。投影仪510和外部处理单元520通过有线或无线连接经由通信单元511和521相互通信。外部处理单元520可以利用云计算等。
外部处理单元520包括焦距计算单元341、距离计算单元132、屏幕检测单元144和成像的画面存储单元122。外部处理单元520基于从投影仪510输出的信息进行诸如距离计算、屏幕检测、聚焦调整和与聚焦调整相关联的信息的计算的运算处理。
因为投影仪系统500能够降低投影仪510的处理量，所以投影仪510在尺寸和重量方面可以减小，并且投影仪510的配置可以简化。
第四实施例
以下描述根据第四实施例的投影仪。
投影仪的配置
图18是例示根据第四实施例的投影仪系统的示意图。图18所示的根据第四实施例的投影仪系统600的配置类似于图17所示的根据第三实施例的投影仪系统500，并且因此省略投影仪系统600的配置的描述。
在图18中，根据第四实施例的外部处理单元620包括投影专用图像修改单元334。外部处理单元620致使投影专用图像修改单元334对与由屏幕检测单元144指定的可投影范围对应的图像进行校正（例如放大、减小、基调校正）。外部处理单元620然后将与校正的图像相关联的数据输出到投影仪610（即投影专用图像存储单元333）。
因此，投影仪系统600能够通过利用外部处理单元620而降低投影仪610的处理量。因而，投影仪610在尺寸和重量方面可以减小，并且投影仪610的配置可以简化。作为外部处理单元620的例子，可以利用个人计算机（PC）等。当演讲者通过利用投影仪610进行演讲时，为演讲利用的PC等可以被用作外部处理单元620。此外，外部处理单元620可以包括诸如投影仪610的成像单元的其他单元。
如上所述，根据上述的实施例的图像处理装置100能够通过估计平面中的投影目标而指定在投影目标上的可投影范围。
至此已经为了例示的目的描述了本发明的实施例。本发明不限于这些实施例，而是可以不脱离本发明的范围而做出各种变化和替换。本发明不应被解释为被限于在说明书中描述的以及在附图中所示的实施例。
本发明基于在2011年8月18日在日本专利局提交的日本优先权申请No.2011-178810号，其全部内容通过引用合并于此。

Claims (9)

1.一种图像处理装置，包括：
成像单元，配置为对包括图像被投影在其上的目标的区域成像，以获取成像的数据；
距离测量单元，配置为基于从成像单元获取的成像的数据计算与该目标和该成像单元之间的距离相关联的距离数据；
平面估计单元，配置为基于该距离数据估计与该目标对应的平面；以及
范围指定单元，配置为基于该成像的数据产生与该区域相关联的图像数据，并且基于该图像数据和与该平面相关联的信息对目标指定可投影范围。
2.如权利要求1所述的图像处理装置，其中
所述范围指定单元基于与图像数据相关联的包括颜色、辉度和边缘强度的信息的至少一个指定该可投影范围。
3.如权利要求1所述的图像处理装置，其中
所述距离测量单元基于成像的数据计算与对应于目标的多个位置相关联的距离数据，以及其中
所述平面估计单元通过排除与位于和目标对应的位置处的该平面预定距离处的位置相关联的距离数据，而递归地近似该平面。
4.一种投影仪，包括如权利要求1所述的图像处理装置，该投影仪包括：
投影单元，配置为投影预定样式。
5.如权利要求4所述的投影仪，还包括：
自动聚焦单元，配置为基于该距离数据和与该平面相关联的信息之一或者两者来调整被投影的图像的聚焦。
6.如权利要求4所述的记录装置，还包括：
投影专用图像修改单元，配置为基于该可投影范围校正被投影的图像。
7.一种信息处理方法，包括：
对包括图像被投影在其上的目标的区域成像，以获取成像的数据；
基于成像的数据，计算与该目标和包括该目标的区域被成像的位置之间的距离相关联的距离数据；
基于该距离数据估计与该目标对应的平面；
基于该成像的数据产生与包括该目标的区域相关联的图像数据；以及
基于该图像数据和与该平面相关联的信息对于目标指定可投影范围。
8.如权利要求7所述的图像处理方法，其中
基于与图像数据相关联的包括颜色、辉度和边缘强度的信息的至少一个指定该可投影范围。
9.如权利要求7所述的图像处理方法，其中
基于该成像的数据与对应于该目标的多个位置相关联地计算距离数据，以及其中
通过排除与位于和目标对应的位置处的该平面预定距离处的位置相关联的距离数据，而递归地近似该平面。
CN201280039739.2A 2011-08-18 2012-08-03 图像处理装置、投影仪和图像处理方法 Expired - Fee Related CN103733248B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-178810 2011-08-18
JP2011178810A JP5849522B2 (ja) 2011-08-18 2011-08-18 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
PCT/JP2012/070412 WO2013024794A1 (en) 2011-08-18 2012-08-03 Image processing apparatus, projector and image processing method

Publications (2)

Publication Number Publication Date
CN103733248A true CN103733248A (zh) 2014-04-16
CN103733248B CN103733248B (zh) 2016-10-26

Family

ID=47715113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280039739.2A Expired - Fee Related CN103733248B (zh) 2011-08-18 2012-08-03 图像处理装置、投影仪和图像处理方法

Country Status (6)

Country Link
US (1) US9696613B2 (zh)
EP (1) EP2745292A4 (zh)
JP (1) JP5849522B2 (zh)
CN (1) CN103733248B (zh)
AU (1) AU2012295854B2 (zh)
WO (1) WO2013024794A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432902B2 (en) 2015-03-17 2019-10-01 Sony Corporation Information processing device and information processing method
CN111669557A (zh) * 2020-06-24 2020-09-15 歌尔光学科技有限公司 投影图像校正方法和校正装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014179698A (ja) * 2013-03-13 2014-09-25 Ricoh Co Ltd プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体
JP6550688B2 (ja) * 2014-01-22 2019-07-31 株式会社リコー 投影装置
JP2015167341A (ja) 2014-02-13 2015-09-24 株式会社リコー マルチプロジェクションシステム
JP6326646B2 (ja) * 2014-08-28 2018-05-23 株式会社国際電気通信基礎技術研究所 減衰特性関数推定装置、減衰特性関数推定方法、及びプログラム
JP2016065422A (ja) * 2014-09-26 2016-04-28 株式会社日立製作所 外界認識装置および外界認識装置を用いた掘削機械
JP2019047312A (ja) * 2017-09-01 2019-03-22 セイコーエプソン株式会社 画像投写システム及びその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142495A (ja) * 2005-11-14 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 平面投影装置、及び平面投影プログラム
CN101631219A (zh) * 2008-07-18 2010-01-20 精工爱普生株式会社 图像修正装置、图像修正方法、投影仪以及投影系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3198630B2 (ja) 1992-07-13 2001-08-13 セイコーエプソン株式会社 プロジェクター
JP4150924B2 (ja) * 2003-07-02 2008-09-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP4961628B2 (ja) * 2000-08-11 2012-06-27 日本電気株式会社 投射映像補正システム及びその方法
JP2002247614A (ja) * 2001-02-15 2002-08-30 Ricoh Co Ltd プロゼェクタ
JP4048870B2 (ja) * 2002-08-06 2008-02-20 セイコーエプソン株式会社 プロジェクタシステム
JP2004088169A (ja) * 2002-08-22 2004-03-18 Nisca Corp 画像表示装置
JP2005033703A (ja) * 2003-07-11 2005-02-03 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3772870B2 (ja) * 2003-08-25 2006-05-10 カシオ計算機株式会社 投影装置、投影方法及びプログラム
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP4055010B2 (ja) * 2003-09-26 2008-03-05 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005181726A (ja) 2003-12-19 2005-07-07 Seiko Precision Inc プロジェクタ装置および投影画像調整方法
US7125122B2 (en) 2004-02-02 2006-10-24 Sharp Laboratories Of America, Inc. Projection system with corrective image transformation
JP3880582B2 (ja) 2004-02-13 2007-02-14 Ｎｅｃビューテクノロジー株式会社 複数のカメラを備えたプロジェクタ
JP3928623B2 (ja) * 2004-02-27 2007-06-13 カシオ計算機株式会社 投影装置、測距処理方法及びプログラム
JP3741136B2 (ja) * 2004-04-08 2006-02-01 松下電器産業株式会社 障害物適応投射型表示装置
JP4211694B2 (ja) 2004-06-24 2009-01-21 セイコーエプソン株式会社 光源駆動方法およびプロジェクタ
JP3994290B2 (ja) * 2005-01-17 2007-10-17 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2007094036A (ja) * 2005-09-29 2007-04-12 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
JP2009276073A (ja) * 2008-05-12 2009-11-26 Toyota Industries Corp 平面推定方法、曲面推定方法、および平面推定装置
JP5239611B2 (ja) * 2008-08-14 2013-07-17 セイコーエプソン株式会社 投写型表示装置および画像の補正方法
JP5266954B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
JP2010128133A (ja) * 2008-11-27 2010-06-10 Univ Of Tokyo 移動式情報重畳システム及び情報重畳方法
JP5531836B2 (ja) 2009-11-10 2014-06-25 株式会社リコー 画像処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142495A (ja) * 2005-11-14 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 平面投影装置、及び平面投影プログラム
CN101631219A (zh) * 2008-07-18 2010-01-20 精工爱普生株式会社 图像修正装置、图像修正方法、投影仪以及投影系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10432902B2 (en) 2015-03-17 2019-10-01 Sony Corporation Information processing device and information processing method
CN111669557A (zh) * 2020-06-24 2020-09-15 歌尔光学科技有限公司 投影图像校正方法和校正装置
CN111669557B (zh) * 2020-06-24 2022-05-13 歌尔光学科技有限公司 投影图像校正方法和校正装置

Also Published As

Publication number Publication date
CN103733248B (zh) 2016-10-26
AU2012295854B2 (en) 2015-05-21
JP5849522B2 (ja) 2016-01-27
JP2013041167A (ja) 2013-02-28
US20140168376A1 (en) 2014-06-19
WO2013024794A1 (en) 2013-02-21
EP2745292A4 (en) 2014-09-10
US9696613B2 (en) 2017-07-04
AU2012295854A1 (en) 2014-01-30
EP2745292A1 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
JP5834615B2 (ja) プロジェクタ、その制御方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN103733248A (zh) 图像处理装置、投影仪和图像处理方法
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
CN105659287B (zh) 图像处理装置、图像处理方法和成像系统
US10574972B2 (en) Image processing device, image processing method, and imaging device
CN107113415B (zh) 用于多技术深度图获取和融合的方法和设备
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
CN104833342B (zh) 一种多点测距建立立体模型的移动终端及方法
JP2009284188A (ja) カラー撮像装置
EP2635019B1 (en) Image processing device, image processing method, and program
CN105187815A (zh) 用于获得图像深度信息的系统及方法
JP2016217833A (ja) 画像処理システム及び画像処理方法
JP2013224895A (ja) ３次元計測装置
JP2023115356A (ja) 計測装置、撮像装置、制御方法及びプログラム
US11209262B2 (en) Electronic apparatus, control method thereof and computer readable storage medium
KR101996226B1 (ko) 피사체의 3차원 위치 측정 장치 및 그 방법
WO2016194576A1 (ja) 情報処理装置および方法
JP2017215851A (ja) 画像処理装置および画像処理方法、造形システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161026

CF01 Termination of patent right due to non-payment of annual fee