CN109872382A - 图像处理系统及图像处理方法 - Google Patents

图像处理系统及图像处理方法 Download PDF

Info

Publication number
CN109872382A
CN109872382A CN201811054519.2A CN201811054519A CN109872382A CN 109872382 A CN109872382 A CN 109872382A CN 201811054519 A CN201811054519 A CN 201811054519A CN 109872382 A CN109872382 A CN 109872382A
Authority
CN
China
Prior art keywords
light
image
light projector
projecting portion
photographed images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811054519.2A
Other languages
English (en)
Other versions
CN109872382B (zh
Inventor
松本慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109872382A publication Critical patent/CN109872382A/zh
Application granted granted Critical
Publication of CN109872382B publication Critical patent/CN109872382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938—Using specific optical elements
    • G02B27/095—Refractive optical elements
    • G02B27/0955—Lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种能够适当地生成对象物的三维点群信息的图像处理系统及图像处理方法。具有：第一投光部，向对象物投射用于确定三维形状的图案光；第二投光部，将照射能量在投光方向的剖面方向上大致均匀的大致均匀照明，以与所述第一投光部进行的投光大致相同的角度向所述对象物进行投射；摄像部，拍摄所述对象物；生成部，将所述第一投光部向所述对象物进行投光时通过所述摄像部拍摄的第一摄像图像涉及的成分，除以所述第二投光部向所述对象物进行投光时通过所述摄像部拍摄的第二摄像图像涉及的成分，由此生成除法运算图像；以及计算部，使用所述除法运算图像，计算所述对象物的三维位置。

Description

图像处理系统及图像处理方法
技术领域
本发明涉及一种图像处理系统及图像处理方法。
背景技术
近年来，考虑了一种系统，向对象物投射具有编码化的图案或随机点图案的光，在进行该投光时，通过解析拍摄该对象物所得到的图像，生成该对象物的三维图(例如，参照专利文献1及专利文献2)。
现有技术文献
专利文献
专利文献1：日本特表2009-511897号公报
专利文献2：美国专利申请公开第2008/0240502号说明书
在这里，如果在要生成三维图的对象物的表面上有凹凸，则照射光会发生漫反射，因此无法适当地得到反射光。同样地，在对象物的表面上发生光的渗透或散射等情况下，也同样无法得到适当的反射光。像这样对于无法得到适当的反射光的被摄体，如果按照专利文献1及专利文件2所述的方法，单纯地使用对象物的摄像图像来生成三维图，则在无法得到充分的反射光的区域会发生数据缺失等，因此无法生成合适的三维图。
发明内容
本发明的几种方式是鉴于以上课题而提出的，其中一个目的在于，提供一种能够适当地生成对象物的三维点群信息的图像处理系统，及图像处理方法。
本发明的一种方式涉及的图像处理系统具有：第一投光部，向对象物投射用于确定所述对象物的三维形状的图案光；第二投光部，将照射能量在投光方向的剖面方向上大致均匀的大致均匀照明，以与所述第一投光部进行的投光大致相同的角度向所述对象物进行投射；第一投光控制部，控制所述第一投光部向所述对象物投射所述图案光；第二投光控制部，控制所述第二投光部向所述对象物投射所述大致均匀照明；摄像部，拍摄所述对象物；摄像控制部，控制所述摄像部的拍摄；第一摄像图像记录部，在所述第一投光控制部控制为投射所述图案光并且所述第二投光控制部控制为不投射所述大致均匀照明的状态下，记录通过所述摄像部拍摄的第一摄像图像；第二摄像图像记录部，在所述第一投光控制部控制为不投射所述图案光并且所述第二投光控制部控制为投射所述大致均匀照明的状态下，记录通过所述摄像部拍摄的第二摄像图像；生成部，通过将所述第一摄像图像涉及的成分除以所述第二摄像图像涉及的成分，生成除法运算图像；计算部，使用所述除法运算图像，计算所述对象物的三维位置。
采用该结构的情况下，向对象物投射图案光，通过对其进行拍摄来拍摄第一摄像图像，并向对象物投射大致均匀照明，通过对其进行拍摄来拍摄第二摄像图像。图案光的投光和大致均匀光的投光以大致相同的角度向对象物投射，由此能够近似对象物表面的反射特性。其结果是，通过将第一摄像图像的成分除以第二摄像图像的成分，能够降低除法运算图像中对象物表面的反射率相对应的系数成分的影响，因此能够适当地计算对象物的三维点群信息。
需要说明的是，在这里，第一摄像图像的成分可以包括第一摄像图像的亮度值或将第一摄像图像的亮度值进行一次转换(以规定系数进行乘法运算和/或用规定值进行加减运算)后的值。第二摄像图像的成分也是同样。
在所述结构中也可以采用以下结构：所述生成部在所述第一投光部及所述第二投光部为非投光时，将从所述第一摄像图像涉及的成分中减去向所述对象物投射环境光的第三摄像图像涉及的成分而得到的图像涉及的成分，除以从所述第二摄像图像涉及的成分中减去所述第三摄像图像涉及的成分而得到的图像涉及的成分，通过这样生成所述除法运算图像。
采用该结构的情况下，拍摄仅投射环境光的第三摄像图像，从第一摄像图像及第二摄像图像两者中，减去该第三摄像图像。通过这样，能够从第一摄像图像及第二摄像图像两者中，降低环境光的影响。根据降低了该环境光的影响的图像求出除法运算图像，通过使用该除法运算图像来计算三维位置，能够适当地计算对象物的三维点群信息。
需要说明的是，在这里，第三摄像图像的成分可以包括第三摄像图像的亮度值或将第三摄像图像的亮度值进行一次转换(以规定系数进行乘法运算和/或用规定值进行加减运算)后的值。从所述第一摄像图像涉及的成分中减去第三摄像图像涉及的成分而得到的图像涉及的成分、以及从所述第二摄像图像涉及的成分中减去所述第三摄像图像涉及的成分而得到的图像涉及的成分也是同样。
在所述结构中，也可以采用以下结构：与拍摄所述第一摄像图像时的所述第一投光部的投光时间相比，拍摄所述第二摄像图像时的所述第二投光部的投光时间更短。
采用该结构的情况下，能够使第一摄像图像的亮度值和第二摄像图像的亮度值接近。通过这样，能够抑制在摄像图像中产生光晕，从而能够适当地计算对象物的三维点群信息。
在所述结构中，也可以采用以下结构：与拍摄所述第一摄像图像时的所述摄像部的曝光时间相比，拍摄所述第二摄像图像时的所述摄像部的曝光时间更短。
采用该结构的情况下，能够使第一摄像图像的亮度值和第二摄像图像的亮度值接近。通过这样，能够抑制在摄像图像中产生光晕，从而能够适当地计算对象物的三维点群信息。
在所述结构中，也可以采用以下结构：所述第一投光部及所述第二投光部，使用相同的投光透镜进行投光。
采用该结构的情况下，能够通过相同的轴来投射图案光的投光以及大致均匀光的投光。其结果是，能够在第一摄像图像及第二摄像图像中，近似对象物表面的反射率相对应的系数成分的特性，因此能够在除法运算图像中，适当地降低该系数成分。
在所述结构中，也可以采用以下结构：所述第一投光部及所述第二投光部，使用相同的光源进行投光。
采用该结构的情况下，能够使图案光的投光以及大致均匀光的投光的波长特性一致。其结果是，能够在第一摄像图像及第二摄像图像中，使与对象物表面的反射率对应的系数成分的特性近似，因此能够在除法运算图像中，适当地降低该系数成分。
在所述结构中，也可以采用以下结构：所述第一投光部使用第一光源进行投光，所述第二投光部使用与所述第一光源分开设置的第二光源，以与所述第一投光部大致相同的角度向所述对象物进行投光。
采用该结构的情况下，对于图案光的投光以及大致均匀光的投光，能够不需要将从光源照射的光分离的部件(例如分束器)等部件。
在所述结构中，也可以采用以下结构：所述第一投光部，使用第一光源及第一投光透镜进行投光，所述第二投光部使用与所述第一光源及所述第一投光透镜分开设置的第二光源及第二投光透镜，以与所述第一投光部进行的投光大致相同的角度，向所述对象物进行投光。
采用该结构的情况下，对于图案光的投光以及大致均匀光的投光，能够不需要将从光源照射的光分离及合波的部件(例如分束器或偏振光分束器)等。
在所述结构中，也可以采用以下结构：所述第一光源的强度比所述第二光源的强度更强。
采用该结构的情况下，能够使第一摄像图像的亮度值和第二摄像图像的亮度值接近。通过这样，能够抑制在摄像图像中产生光晕，从而能够适当地计算对象物的三维点群信息。
在所述结构中，也可以采用以下结构：还具有读取所述对象物的三维结构数据的读取部；将所述对象物涉及的所述三维结构数据和所述三维位置进行对照的对照部。
采用该结构的情况下，对于图案光的投光以及大致均匀光的投光，能够不需要将从光源照射的光分离及合波的部件(例如分束器或偏振光分束器)等。
本发明的一种方式涉及的图像处理方法，用于图像处理系统，所述图像处理系统进行：第一投光处理，向对象物投射用于确定所述对象物的三维形状的图案光；第二投光处理，将照射能量在投光方向的剖面方向上大致均匀的大致均匀照明，以与所述第一投光处理进行的投光大致相同的角度向所述对象物进行投射；拍摄所述对象物的摄像处理；生成处理，将通过所述第一投光处理向所述对象物进行投光时拍摄的第一摄像图像涉及的成分，除以通过所述第二投光处理向所述对象物进行投光时拍摄的第二摄像图像涉及的成分，通过这样生成除法运算图像；以及计算处理，使用所述除法运算图像，计算所述对象物的三维位置。
采用该结构的情况下，拍摄仅投射环境光的第三摄像图像，从第一摄像图像及第二摄像图像两者中，减去该第三摄像图像。通过这样，能够从第一摄像图像及第二摄像图像两者中，降低环境光的影响。根据降低了该环境光的影响的图像求出除法运算图像，通过使用该除法运算图像来计算三维位置，能够适当地计算对象物的三维点群信息。
需要说明的是，在本发明中，“部”或“单元”、“装置”、“系统”，并非仅表示物理单元，也包括通过具有该“部”或“单元”、“装置”、“系统”功能的软件来实现的情况。另外，可以通过两个以上具有一个“部”或“单元”、“装置”、“系统”功能的物理单元或装置来实现，也可以通过一个具有两个以上“部”或“单元”、“装置”、“系统”功能的物理单元或装置来实现。
附图说明
图1是说明实施方式涉及的图像处理系统的适用性的图。
图2是示意性地例示实施方式涉及的图像处理系统的结构的一个示例的图。
图3是例示实施方式涉及的图像处理系统的处理步骤的一个示例的流程图。
图4是示意性地例示实施方式涉及的投光装置的结构的一个示例的图。
图5是示意性地例示实施方式涉及的投光装置的结构的一个示例的图。
图6是示意性地例示实施方式涉及的投光装置的结构的一个示例的图。
图7是示意性地例示实施方式涉及的投光装置的结构的一个示例的图。
图8是示意性地例示实施方式涉及的图像处理系统的硬件结构的一个示例的图。
附图标记说明
1…图像处理系统，11…3D投光装置，13…2D投光装置，15…摄像装置，40…投光装置，41…光源模块，50…投光装置，60…投光装置，61…投光装置，70…投光装置，71…光源模块，110…控制部，111…驱动控制部，113…3D用投光控制部，115…2D用投光控制部，117…摄像控制部，119…图像输入部，121…3D用图像记录部，123…2D用图像记录部，125…环境光图像记录部，127…除法运算图像生成部，129…图案光用图像读取部，131…三维位置计算部，133…三维点群输出部，150…识别部，151…CAD模型读取部，153…CAD对照部，155…对照结果输出部，801…控制部，805…存储部，807…图像处理系统，809…图像数据，811…通信接口部，813…输入部，815…输出部，817…总线。
具体实施方式
下面，参照附图说明本发明的实施方式。但是，下面说明的实施方式，仅作为示例，并非旨在排除下面未明示的各种变形或技术的应用。即，本发明能够在不脱离其要旨的范围内进行各种变形后实施。另外，在下面附图的记载中，在相同或类似的部分上标注相同或类似的附图标记来表示。附图为示意性，不一定与实际的尺寸或比例等一致。在附图相互之间也存在相互的尺寸关系或比例不同的部分。
[1应用例]
[1.1概要]
首先，参照图1，说明实施方式涉及的图像处理系统的动作的一个示例。图1是说明本实施方式涉及的图像处理系统的动作原理的图。
作为进行对象物的三维测量的一个方法，有以三角测距作为基本原理，向对象物投射具有一定图案的图案光的方法。该方法中大致有以下两种方法：准备多个投射光的图案，在时间上以高速对这些进行切换来进行投光的时间性方法；在空间上投射编码化的单一的图案光的空间性方法。在本实施方式涉及的图像处理系统中使用空间性方法。采用空间性方法的情况下，向对象物投射具有复杂图案的编码化的图案光，根据通过摄像装置拍摄被投射该图案光的对象物而得到的图案图像，通过距离计算来获取三维形状。
作为空间性方法的具体示例，例如，为了进行在向对象物进行的投光中使用的三维测量，在将投射规定的图案光的投光装置和摄像装置平行配置的基础上，在通过投光装置进行投光中使用的图案光和通过摄像装置拍摄的摄像图像(以下也称作“3D用图像”)之间，考虑进行对应关联(rectification)的方法。采用该方法的情况下，通过在图案光的投光中使用的图像和3D用图像之间求出对应像素，确定在图案光的投光中使用的图像和3D用图像的对应列。根据通过该对应列确定的平面和通过对应像素之间的线段确定的核线，确定处理对象的像素所投影的对象物的三维坐标。通过对全部像素进行这样的处理，能够得到对象物各点的三维坐标。
像这样，通过空间性图案投影方法进行三维测量的情况下，向三维形状的对象物投射复杂的图案，通过用摄像装置(照相机)拍摄该图案，可以确定对象物各位置的三维坐标。但是，如果对象物具有复杂的三维形状，或具有复杂的纹理，则通过摄像装置的摄像图像，有时无法以足够的精度识别应确定的图案。例如，在对象物表面未研磨，或者是带有损伤或凹陷的工业制品的情况下，凹凸形状会导致图案变形，从而无法读取正常的图案，因此难以确定三维点群。同样地，在对象物的表面上发生光的渗透或散射等情况下也可能会产生同样的问题。投光装置及摄像装置与对象物的距离越近，该课题越显著。
如图1中的记载所示，在本实施方式涉及的图像处理系统中，不仅具有通过3D投光装置11向对象物(测量面)投射复杂图案(以下也称作“3D用照明”)的功能，还具有通过2D投光装置13向对象物投射不具有图案的大致均匀光(以下也称作“2D用照明”)的功能。需要说明的是，在图1中，3D投光装置11及2D投光装置13作为不同的部件进行图示，但是并非局限于此，也可以采用通过单一的投光装置能够投射3D用照明及2D用照明两者的结构。关于投光装置的结构的具体示例，后面参照图4至图7进行描述。在这里，3D投光装置11及2D投光装置13分别是本发明的“第一投光部”及“第二投光部”的一个示例。
在这里，为了在对象物表面上的各位置上，使3D用照明及2D用照明两者能够以基本相同的反射率进行反射，3D用照明和2D用照明相对于对象物表面以大致相同的角度进行投光(θA≈θB)。因此，3D投光装置11进行投光的中心轴A和2D投光装置13进行投光的中心轴B优选为相同，即使不相同也位于附近且大致平行。前者的情况下，例如，可以将3D投光装置11及2D投光装置13一体地设置。后者的情况下，例如，可以将3D投光装置11及2D投光装置13平行相邻地配置。
通过摄像装置15，拍摄通过3D投光装置11进行投光时所得到的3D用图像，以及通过2D投光装置13进行投光时所得到的2D用图像。图像处理系统通过将3D用图像除以2D用图像，降低对象物(测量面)的反射率相对应的系数成分(相当于后述的α)造成的影响，能够得到合适的图案图像。在这里，摄像装置15是本发明的“摄像部”的一个示例，3D用图像及2D用图像分别是本发明的“第一摄像图像”及“第二摄像图像”的一个示例。
另外，特别是环境光的影响较大的情况下，除此以外，还可以在不投射3D用照明及2D用照明，仅向对象物投射环境光的状态下拍摄摄像装置15所拍摄的环境光图像。在此情况下，在分别从3D用图像及2D用图像中减去环境光图像的基础上，通过除法运算，能够除去环境光的成分及对象物表面的反射率相对应的成分。需要说明的是，环境光图像是本发明的“第三摄像图像”的一个示例。
[1.2原理]
下面，参照图1说明原理。在这里，2D用照明及3D用照明的能量分别为P2D-projector及P3D-projector，环境光的能量为Pambient。另外，作为依赖于向对象物表面投射的光的反射率的系数成分，将2D用照明及3D用照明的能量转换为以摄像元件受光的能量的亮度值转换系数为α。同样作为依赖于对象物表面的反射率的成分，将自然光或来自外部照明的光的环境光的能量转换为以摄像元件受光的能量的亮度值转换系数为β。需要说明的是，在这里，通过2D用照明及3D用照明生成的α成分在3D用照明及2D用照明以大致相同的角度(θA≈θB)向对象物表面进行投光的情况下可以视为基本相同。
此时，被投射3D用照明的对象物以摄像装置15的像素(x，y)受光时的亮度值I3D(x，y)(即，3D用图像的像素(x，y)的亮度值)，可以用以下等式来表示。
(数学式1)
I3D(x，y)＝α·P3D-projector(x，y)+β·Pambient(x，y)
同样地，被投射作为大致均匀光的2D用照明的对象物以摄像装置15的像素(x，y)受光时的亮度值I2D(x，y)(即，2D用图像的像素(x，y)的亮度值)，可以用以下等式来表示。
(数学式2)
I2D(x，y)＝α·P2D-projector+β·Pambient(x，y)
另外，未被投射2D用照明及3D用照明，仅被投射环境光的对象物以摄像装置15的像素(x，y)受光时的亮度值Iambient(x，y)(即，环境光图像的像素(x，y)的亮度值)，可以用以下等式来表示。
(数学式3)
Iambient(x，y)＝β·Pambient(x，y)
即，通过从3D用图像的亮度值I3D(x，y)及2D用图像的亮度值I2D(x，y)中，分别减去环境光图像Iambient(x，y)，能够除去环境光造成的影响。因此，将除去了环境光造成的影响的3D用图像的亮度值I3D(x，y)除以2D用图像的亮度值I2D(x，y)而得到的除法运算图像的亮度值Ip(x，y)，可以用以下等式来表示。
(数学式4)
即，能够在除法运算图像中除去依赖于向对象物投光的反射率的α成分。作为大致均匀光的2D用照明的能量P2D-projector无论位置如何基本固定，所以除法运算图像的亮度值Ip(x，y)可以用以下等式来简化。在以下等式中γ为常数。
(数学式5)
Ip(x，y)＝γ·P3D-projector(x，y)
因此，使用除法运算图像，能够在除去了对象物的发射率相对应的α成分及环境光的成分Pambient的状态下，识别用于进行三维测量的图案。即，能够抑制对象物表面的凹凸形状或损伤、光的散射或渗透等造成的影响，适当地获取对象物的三维形状。
需要说明的是，例如在对象物处于黑暗的环境下等基本可以忽略环境光的(Pambient≈0)情况下，所述数学式1及所述数学式2的第二项可以忽略，因此不进行环境光图像的减去运算，单纯地使用将3D用图像的亮度值除以2D用图像的亮度值而得到除法运算图像即可。
需要说明的是，如上所述，关于对象物表面的反射率的影响，3D投光装置11及摄像装置15与对象物的距离越近影响越大，但是通过像这样使用除法运算图像来识别图案，能够降低对象物表面的反射率的影响。即，与不使用除法运算图像的情况相比，即使近距离也能够适当地获取三维形状。
在这里，考虑到近距离的投光及拍摄，一般使摄像装置15的摄像元件大于受光的受光量，因此容易在摄像图像中产生光晕。一般来说，如果在3D用照明及2D用照明中使用相同程度强度的光源(也包括为完全相同的光源的情况)，则拍摄了大致均匀光的2D用图像，比拍摄了图案光的3D用图像的亮度值更高。因此，可以考虑通过使2D用图像拍摄时的2D用照明的照射时间比3D用图像拍摄时的3D用照明的照射时间更短，或使2D用图像拍摄时的摄像装置15的摄像元件的曝光时间比3D用图像拍摄时的摄像装置15的摄像元件的曝光时间更短，使3D用图像及2D用图像的亮度值接近。或者，在3D用照明和2D用照明使用不同的照明的情况下，可以考虑使2D用照明的光源的强度比3D用照明的光源的强度更弱。
[2动作结构例]
下面参照图2，说明本实施方式涉及的图像处理系统1用于进行动作的结构例。图像处理系统1大体上包括：3D投光装置11、2D投光装置13、摄像装置15、控制部110以及识别部150。需要说明的是，具有控制部110及识别部150的各结构可以作为通过处理器运行的程序来实现，或者作为专用的半导体等硬件来构成。
[2.1 3D投光装置11、2D投光装置13、及摄像装置15]
3D投光装置11在控制部110的驱动控制部111中包括的3D用投光控制部113进行的控制下，向对象物投射具有复杂图案的3D用照明。2D投光装置13，同样在驱动控制部111中包括的2D用投光控制部115进行的控制下，在与中心轴B垂直的平面(投光方向的剖面方向)上的各位置上，向对象物投射照射能量基本固定的(即不带有图案的)大致均匀光。此时，可以使3D投光装置11进行的3D用照明的投光时间比2D投光装置13进行的2D用照明的投光时间更长，或者，使3D投光装置11的光源的强度比2D投光装置13的光源的强度更强。通过这样，能够使通过摄像装置15拍摄的3D用图像及2D用图像的亮度值接近。
如上所述，3D投光装置11及2D投光装置13构成/配置为相对于对象物表面的各位置，以大致相同的角度投射3D用照明及2D用照明。因此，3D投光装置11及2D投光装置13配置为使投光的中心轴A和B一致，或者尽管不一致但是中心轴A和B大致平行且在附近。3D投光装置11及2D投光装置13的具体结构例，后面参照图4至图7进行描述。
摄像装置15在控制部110的驱动控制部111中包括的摄像控制部117进行的控制下，拍摄对象物。更具体地，通过进行3D投光装置11进行的3D用照明的投光时以及2D投光装置13进行的2D用投光时的至少两次拍摄，分别生成3D用图像及2D用图像。此时，可以使3D用图像拍摄时的曝光时间比2D用图像拍摄时的曝光时间更长。通过这样，能够使3D用图像及2D用图像的亮度值接近。
另外，如果要除去环境光造成的影响，则摄像装置15不进行3D投光装置11及2D投光装置13的投光，仅向对象物投射环境光的时刻也进行拍摄，生成环境光图像。需要说明的是，如果不考虑环境光的影响，则不用生成环境光图像。
[2.2控制部110]
控制部110包括：驱动控制部111、图像输入部119、3D用图像记录部121、2D用图像记录部123、环境光图像记录部125、除法运算图像生成部127、图案光用图像读取部129、三维位置计算部131以及三维点群输出部133。需要说明的是，除法运算图像生成部127是本发明的“生成部”的一个示例，三维位置计算部131是本发明的“计算部”的一个示例。
驱动控制部111包括：用于驱动控制3D投光装置11的3D用投光控制部113；用于驱动控制2D投光装置13的2D用投光控制部115；以及用于驱动控制摄像装置15的摄像控制部117。在这里，3D用投光控制部113、2D用投光控制部115以及摄像控制部117分别是本发明的“第一投光控制部”、“第二投光控制部”以及“摄像控制部”的一个示例。
如上所述，3D用投光控制部113通过驱动控制3D投光装置11，切换3D投光装置11进行的3D用照明的投光和/或非投光。2D用投光控制部115也同样地，通过驱动控制2D投光装置13，切换2D投光装置13进行的2D用照明的投光和/或非投光。
摄像控制部117通过驱动控制摄像装置15，在任意的时刻通过摄像装置15进行拍摄。具体来说，摄像控制部117控制摄像装置15，以在3D用投光控制部113进行3D用照明投光控制时拍摄3D用图像，在2D用投光控制部115进行2D用照明投光控制时拍摄2D用图像。另外，在考虑环境光造成的影响的情况下，摄像控制部117控制摄像装置15，以在通过3D用投光控制部113及2D用投光控制部115进行3D用照明及2D用照明的非投光控制的时刻，拍摄环境光图像。
图像输入部119接收通过摄像装置15拍摄的图像的输入。具体来说，从摄像装置15输入3D用图像以及2D用图像的输入。所输入的图像分别通过3D用图像记录部121及2D用图像记录部123，存储在未图示的存储介质中。在也考虑环境光的影响的情况下，图像输入部119接收通过摄像装置15拍摄的环境光图像的输入。所输入的环境光图像通过环境光图像记录部125，存储在未图示的存储介质中。需要说明的是，在不考虑环境光的影响的情况下，因为不需要环境光图像，所以控制部110可以不具有相当于环境光图像记录部125的结构。另外，3D用图像记录部121及2D用图像记录部123分别是本发明的“第一摄像图像记录部”及“第二摄像图像记录部”的一个示例。
除法运算图像生成部127使用3D用图像记录部121及2D用图像记录部123记录的3D用图像及2D用图像来生成除法运算图像。在不考虑环境光的影响的情况下，通过将3D用图像各像素的亮度值除以2D用图像各像素的亮度值，来得到除法运算图像。需要说明的是，在此时，除法运算图像生成部127也可以并非单纯地将3D用图像除以2D用图像，而是将3D用图像的亮度值乘以规定系数后的值，除以2D用图像的亮度值乘以规定系数后的值。
在考虑环境光的影响的情况下，通过将从3D用图像的各像素的亮度值中减去环境光图像的各像素的亮度值后的图像，除以从2D用图像的各像素的亮度值中减去环境光图像的各像素的亮度值后的图像，来得到除法运算图像。需要说明的是，在此时，除法运算图像生成部127也可以不直接使用3D用图像及2D用图像的亮度值，而是使用将3D用图像及2D用图像的亮度值进行一次转换(以规定系数进行乘法运算，和/或用规定值进行加减运算)后的值。
图案光用图像读取部129从未图示的存储介质中读取3D投光装置11在投射图案光中使用的图像。三维位置计算部131通过求出除法运算图像生成部127生成的除法运算图像中包括的图案与图案光用图像读取部129读取的图像中包括的图案的对应关系，计算对象物上各点的三维位置。三维点群输出部133输出由三维位置计算部131计算出的由各点的三维坐标的信息构成的三维点群信息。
[2.3识别部150]
识别部150包括：CAD模型读取部151、CAD对照部153以及对照结果输出部155。
CAD模型读取部151读取预先在未图示的存储介质中存储的作为对象物的三维信息的CAD模型信息。CAD对照部153将CAD模型读取部151读取的对象物的CAD模型信息与从三维点群输出部133输出的通过控制部110测量的对象物的三维点群信息进行对照(匹配)。通过这样，能够确定对象物的朝向或位置等。
对照结果输出部155将CAD对照部153进行的对照结果，即对象物的朝向或位置等信息输出至任意的存储介质或外部装置。例如，对照结果输出部155通过对具有机械臂的机器人输出对照结果，使该机器人可以夹持对象物。
[3处理流程]
下面，参照图3，说明图像处理系统1的处理流程。图3是表示图像处理系统1的处理流程的流程图。
需要说明的是，后述的各处理步骤，在不会与处理内容发生矛盾的范围内，可以任意地变更顺序或并行执行，还可以在各处理步骤之间追加其他步骤。另外，为了方便起见可以将作为一个步骤记载的步骤分为多个步骤来执行，也可以为了方便起见将分为多个记载的步骤作为一个步骤来执行。
首先，驱动控制部111的3D用投光控制部113通过3D投光装置11，使其向被摄体投射具有用于确定三维位置的图案的3D用照明(S301)。摄像控制部117通过对被投射3D用照明的对象物进行拍摄，生成3D用图像(S303)。生成的3D用图像通过3D用图像记录部121进行记录。
另外，驱动控制部111的2D用投光控制部115，通过2D投光装置13，使其向被摄体投射2D用照明(大致均匀光)(S305)。摄像控制部117，通过对被投射2D用照明的对象物进行拍摄，生成2D用图像(S307)。
另外，如果考虑环境光造成的影响，则在3D投光装置11及2D投光装置13处于非投光状态下，驱动控制部111的摄像控制部117通过拍摄被摄体，生成环境光图像(S309)。如果不考虑环境光的影响，则不需要S309的处理。
需要说明的是，S301及S303的处理、S305及S307的处理以及S309的处理顺序，能够任意地调换。例如，也能够最初进行拍摄环境光图像的S309的处理，然后进行用于拍摄2D用图像的S305及307的处理，最后进行用于拍摄3D用图像的S301及S303的处理。
除法运算图像生成部127使用生成的3D用图像、2D用图像以及环境光图像，生成除法运算图像。如上所述，可以通过将从3D用图像的各像素的亮度值中减去环境光图像的各像素的亮度值后的图像，除以从2D用图像的各像素的亮度值中减去环境光图像的各像素的亮度值后的图像，来生成除法运算图像。如果不考虑环境光造成的影响，可以通过将3D用图像的各像素的亮度值除以2D用图像的各像素的亮度值来生成除法运算图像。
三维位置计算部131使用通过这样生成的除法运算图像，生成作为对象物上各点的三维坐标信息的三维点群信息(三维图)(S313至S321)。根据被投射3D用图案的对象物的图像(在这里，是根据被投射3D用图案的对象物的3D用图像生成的除法运算图像)，可以考虑各种求出对象物上各位置的三维坐标的方法。例如，可以考虑：从除法运算图像中，提取3D用图案涉及的处理对象像素(S313)，根据该处理对象像素周围的字，确定具有在图案光的投光中使用的3D用图案的图像中的对应像素及对应列(S315)，根据通过对应列确定的平面，与在图案光的投光中使用的图像和除法运算图像的对应像素之间连接的直线的交点，计算出摄像图像的处理对象像素涉及的，到对象物上的位置的距离(S317)等。在结束对摄像图像的全部像素的处理之前(S319的否)，可以重复这样的处理。需要说明的是，字是指，例如是由具有3D用图案的图像内的一定区域构成的，通过构成该字的图案，能够确定在图像内的位置。
通过这样，求出对象物上各点的三维坐标后，三维点群输出部133将这些集中起来作为三维点群信息(三维图)输出(S321及S323)。
CAD对照部153通过将生成的对象物的三维图和预先存储的对象物的CAD模型进行对照，确定摄像图像中的对象物的位置及方向(S325)。对照结果输出部155将该对照结果向例如具有机械臂的机器人等外部装置或存储介质等输出(S325)。接收了该对照结果的输入的机器人基于该对照结果，能够确定对象物的应夹持位置等。
[4投光装置的结构例]
下面参照图4至图7，说明3D投光装置11及2D投光装置13的结构例。
[4.1第一结构例]
首先，参照图4，说明3D投光装置11及2D投光装置13的第一结构例。在第一结构例中，3D投光装置11及2D投光装置13作为投光装置40一体地构成。
投光装置40包括：光源401、透镜403、分束器(BS)405、反射镜407、掩模409、反射镜411、掩模413、偏振光分束器(PBS)415、LCD(Liquid Crystal Display：液晶显示屏)417以及投光透镜419。
光源401可以通过例如LED(Light Emitting Diode：发光二极管)、LD(LaserDiode：激光二极管)、VCSEL(Vertical Cavity Surface Emitting Laser：垂直腔面发射激光器)、或灯等来实现，投射单色波长的光束。
从光源401照射出的光束通过透镜403向掩模409及413进行导光。在导光路径中，光束通过BS405，分离为S偏振光成分和P偏振光成分。在分离的光束中，被BS405反射的成分(此处指P偏振光)，通过反射镜407进行反射，透过具有用于3D用照明的3D用光掩模图案的掩模409，射入PBS415中。
另一方面，在通过BS405分离的光束中，透过BS405的成分(此处指S偏振光)，通过反射镜411进行反射，透过用于作为大致均匀光的2D用照明的掩模413，射入PBS415中。在这里，可以考虑掩模413是开口或光束被均匀化的漫射面等。或者，也可以考虑通过用于使BS405反射的光束的光路长度和透过BS405的光束的光路长度相等的玻璃板来实现掩模413。
PBS415通过使透过掩膜409的光束(此处指P偏振光)透过以及使透过掩膜413的光束(此处指S偏振光)反射，从而进行合波。合波的光束射入LCD417中。LCD417通过电信号，按照时间划分来切换P偏振光及S偏振光的透过和/或不透过。投光透镜419投射透过LCD417的光，即P偏振光(此处指3D用照明)或S偏振光(此处指2D用照明)。
图4涉及的投光装置40，使用相同的光源、相同的投光透镜等投射3D用照明及2D用照明。通过这样，能够使3D用照明及2D用照明的投光的中心轴或视场角、强度分布、波长特性等相同。即，能够准确地使向对象物投射3D用照明及2D用照明时的反射特性一致。通过这样，向对象物投射3D用照明及2D用照明，通过对其拍摄所得到的3D用图像及2D用图像的反射特性相对应的影响也相同。其结果是，能够在图像处理系统1生成除法运算图像后，在除法运算图像中，将对象物表面的反射率相对应的系数成分的影响抑制在极小程度。
[4.2第二结构例]
其次，参照图5，说明3D投光装置11及2D投光装置13的第二结构例。第二结构例与第一结构例相同的是，3D投光装置11及2D投光装置13，作为投光装置50一体地构成。但是，与第一结构例不同的是，在投光装置50中，3D用照明中使用的光源501和2D用照明中使用的光源507独立地设置。
投光装置50包括：光源501、透镜503、掩膜505、光源507、透镜509、掩膜511、PBS513、LCD515以及投光透镜517。
光源501及光源507可以通过例如LD或VCSEL等来实现，优选的是偏振光成分均匀。在这里，光源501为P偏振光，光源507为S偏振光。光源501及光源507的波长特性可以不相同。需要说明的是，为了使向对象物照射的3D用照明的强度和2D用照明的强度均匀化，可以使3D用照明中使用的光源501的强度比2D用照明中使用的光源507的强度更强。
从光源501照射出的光束通过透镜503向掩模505进行导光。同样地，从光源507照射出的光束通过透镜509向掩模511进行导光。关于掩膜505、掩膜511、PBS513、LCD515以及投光透镜517，能够分别与所述第一结构例的掩膜409、掩膜413、PBS415、LCD417以及投光透镜419相同。
图5涉及的投光装置50使用相同的投光透镜投射3D用照明及2D用照明。通过这样，能够使3D用照明及2D用照明的投光的中心轴或视场角、强度分布等相同。通过这样，能够使向对象物投射3D用照明及2D用照明时的反射特性基本一致。其结果是，生成将3D用图像的成分除以2D用图像的成分得到的除法运算图像后，能够在除法运算图像中，将对象物表面的反射率相对应的系数成分(相当于上述的α)的影响抑制在极小。
另外，在第二结构例中，因为不需要分束器或反射镜，所以有时能够比第一结构例的尺寸小，或控制成本。
[4.3第三结构例]
接下来，参照图6，说明3D投光装置11及2D投光装置13的第三结构例。在第三结构例中，投光装置60和投光装置61分别相当于3D投光装置11和2D投光装置13。
投光装置60包括：光源601、透镜603、掩膜605以及投光透镜607。另外，投光装置61包括：光源611、透镜613、掩膜615、投光透镜617。
光源601及光源611适合使用例如LD或VCSEL等偏振光成分均匀的部件，但是，除此以外，还可以通过LED或灯等来实现。波长可以是单色波长，也可以不是单色波长。光源601及光源611的波长特性可以不相同。需要说明的是，为了使向对象物照射的3D用照明的强度和2D用照明的强度均匀化，可以使3D用照明中使用的光源601的强度比2D用照明中使用的光源611的强度更强。
从光源601照射出的光束通过透镜603向掩模605进行导光。同样地，从光源611照射出的光束通过透镜613向掩模615进行导光。
掩膜605及掩膜615分别对应于第一结构例的掩膜409及掩膜413。透过掩膜605及掩膜615的光束分别向投光透镜607及投光透镜617投射。在这里，投光透镜607及投光透镜617，优选投射的光的视场角、强度分布等特性基本相同。
使投光透镜607及617的视场角及强度分布相同，并且将3D用照明中使用的投光透镜607及2D用照明中使用的投光透镜617接近地配置，进一步使两者的投光的中心轴大致平行，由此能够将3D用照明和2D用照明视为大致同轴。通过这样，向对象物投射3D用照明及2D用照明，通过对其拍摄所得到的3D用图像及2D用图像的反射特性相对应的影响也相同。其结果是，生成将3D用图像的成分除以2D用图像的成分得到的除法运算图像后，能够在除法运算图像中，将对象物表面的反射率相对应的系数成分的影响抑制得较低。
另外，在第三结构例中，因为不需要分束器或PBS、反射镜、LCD，所以有时能够比第一结构例的尺寸小、或控制成本。
[4.4第四结构例]
参照图7，说明3D投光装置11及2D投光装置13的第四结构例。在第四结构例中，投光装置70和光源模块71分别相当于3D投光装置11和2D投光装置13。
投光装置70和第三结构例所示的投光装置60相同的是，包括光源701、透镜703、掩膜705以及投光透镜707。
光源模块71包括光源711及透镜713。光源711可以通过LED、LD、VCSEL或灯来实现。波长可以是单色波长，也可以不是单色波长。光源701及光源711的波长特性可以不相同。需要说明的是，为了使向对象物照射的3D用照明的强度和2D用照明的强度均匀化，可以使3D用照明中使用的光源701的强度比2D用照明中使用的光源711的强度更强。
从光源701照射出的光束通过透镜713，作为2D用光源(大致均匀光)进行投光。此时，从透镜713投射的2D用照明的视场角，优选与投光透镜707进行的投光的视场角大致相同。
使投光透镜707和透镜713的视场角相同，并且，使3D用照明中使用的投光透镜707及2D用照明中使用的光源模块71接近地配置，进一步使两者的投光的中心轴大致平行，由此能够将3D用照明和2D用照明视为大致同轴。通过这样，向对象物投射3D用照明及2D用照明，通过对其拍摄所得到的3D用图像及2D用图像的反射特性相对应的影响也相同。其结果是，生成将3D用图像的成分除以2D用图像的成分得到的除法运算图像后，能够在除法运算图像中，将对象物表面的反射率相对应的系数成分的影响抑制得较低。
另外，在第四结构例中，可以以简易芯片LED等简单的结构来实现光源模块71。其结果是，与第一结构例至第三结构例相比，能够以低成本来实现。
[5硬件结构]
下面，参照图8，说明可以实现图像处理系统1的硬件结构。图8示意性地例示本实施方式涉及的图像处理系统1的硬件结构的一个示例。
图8的示例所示的图像处理系统1包括控制部801、存储部805、通信接口(I/F)部811、输入部813以及输出部815，各部位可以经由总线817连接为可以相互通信。
控制部801意味着包括CPU(Central Processing Unit：中央处理器)、RAM(RandomAccess Memory：随机存取存储器)803、ROM(Read Only Memory：只读存储器)等，根据信息处理进行各结构要素的控制。存储部805是例如硬盘驱动器(HDD)、固态驱动器(SSD)等辅助存储装置，存储以下内容：通过控制部801执行的图像处理程序807；以及在图案光的投光中使用的图像；或拍摄的3D用图像、2D用图像以及环境光图像等的图像数据809等。除此以外，CAD模块数据等也存储在存储部805中。
图像处理程序807是用于执行参照图1至图3说明的图像处理系统1的处理的程序。特别是，图2所示的控制部110及识别部150的各结构，可以作为图像处理程序807来实现。
通信接口(I/F)部811例如是通过有线或无线用于与其他装置进行通信的通信模块。通信I/F部811与其他装置的通信中使用的通信方式是任意的，例如，可以列举出LAN(Local Area Network：局域网)或USB(Universal Serial Bus：通用串行总线)等。特别是，3D投光装置11、2D投光装置13以及摄像装置15能够经由通信I/F部811，设置为可以与控制部801等进行通信。
输入部813例如是可以通过鼠标或键盘、触摸面板等来实现的，用于接收来自用户的各种输入操作的设备。输出部815例如是通过显示器或扬声器等，通过显示或声音，向使用图像处理系统1的用户等通知各种信息的装置。
[6本实施方式的效果]
如上所述，在本实施方式涉及的图像处理系统1中，向对象物投射三维测量用的图案光，通过对其拍摄来得到3D用图像，并且投射作为大致均匀光的2D用照明，拍摄2D用图像。通过将3D用图像的成分除以2D用图像的成分，能够除去在三维测量中成为课题的，对象物表面的凹凸形状或光的反射和/或渗透等的反射率相对应的系数成分的影响。通过这样，即使是表面形状复杂的对象物，也能够适当地测量三维形状。
[7附记]
以上说明的实施方式是为了使本发明容易理解而采用的，而并非用于限定地解释本发明。实施方式具有的各要素以及其配置、材料、条件、形状及尺寸等，并不限定于例示的内容，能够适宜地进行变更。另外，可以将不同的实施方式中所示的结构彼此部分地替换或组合。
(附记1)
一种图像处理系统，具有：
向对象物投射用于确定三维形状的图案光的第一投光部(11)；
将照射能量在投光方向的剖面方向上大致均匀的大致均匀照明，以与所述第一投光部(11)进行的投光大致相同的角度向所述对象物进行投射的第二投光部(13)；
控制所述第一投光部(11)向所述对象物投射所述图案光的第一投光控制部(113)；
控制所述第二投光部(13)向所述对象物投射所述大致均匀照明的第二投光控制部(115)；
拍摄所述对象物的摄像部(15)；
控制所述摄像部(15)的拍摄的摄像控制部(117)；
在所述第一投光控制部(113)控制为投射所述图案光并且所述第二投光控制部(115)控制为不投射所述大致均匀照明的状态下，记录通过所述摄像部(15)拍摄的第一摄像图像的第一摄像图像记录部(121)；
在所述第一投光控制部(113)控制为不投射所述图案光并且所述第二投光控制部(115)控制为投射所述大致均匀照明的状态下，记录通过所述摄像部(15)拍摄的第二摄像图像的第二摄像图像记录部(123)；
通过将所述第一摄像图像涉及的成分除以所述第二摄像图像涉及的成分，生成除法运算图像的生成部；
使用所述除法运算图像，计算所述对象物的三维位置的计算部。
(附记2)
根据附记1所述的图像处理系统(1)，所述生成部(127)在所述第一投光部及所述第二投光部为非投光时，将从所述第一摄像图像涉及的成分中减去向所述对象物投射环境光的第三摄像图像涉及的成分而得到的图像涉及的成分，除以从所述第二摄像图像涉及的成分中减去所述第三摄像图像涉及的成分而得到的图像涉及的成分，通过这样生成所述除法运算图像。
(附记3)
根据附记1或附记2所述的图像处理系统(1)，与拍摄所述第一摄像图像时的所述第一投光部(11)的投光时间相比，拍摄所述第二摄像图像时的所述第二投光部(13)的投光时间更短。
(附记4)
根据附记1或附记2所述的图像处理系统(1)，与拍摄所述第一摄像图像时的所述摄像部(15)的曝光时间相比，拍摄所述第二摄像图像时的所述摄像部(159)的曝光时间更短。
(附记5)
根据附记1至附记4中任一项所述的图像处理系统(1)，所述第一投
光部(11)及所述第二投光部(13)，使用相同的投光透镜(419、517)
进行投光。
(附记6)
根据附记5所述的图像处理系统(1)，所述第一投光部(11)及所述第二投光部(13)，使用相同的光源(401)进行投光。
(附记7)
根据附记1至附记4中任一项所述的图像处理系统(1)，所述第一投光部(11)使用第一光源(501、601、701)进行投光，所述第二投光部(13)使用与所述第一光源(501、601、701)分开设置的第二光源(507、611、711)，以与所述第一投光部(11)大致相同的角度向所述对象物进行投光。
(附记8)
根据附记1至附记4中任一项所述的图像处理系统(1)，所述第一投光部(11)使用第一光源(601)及第一投光透镜(607)进行投光，所述第二投光部(13)使用与所述第一光源(601)及所述第一投光透镜(607)分开设置的第二光源(611)及第二投光透镜(617)，以与所述第一投光部(11)进行的投光大致相同的角度向所述对象物进行投光。
(附记9)
根据附记7或附记8所述的图像处理系统(1)，所述第一光源的强度比所述第二光源的强度更强。
(附记10)
根据附记1至附记9中任一项所述的图像处理系统(1)，还具有读取所述对象物的三维结构数据的读取部(151)；以及将所述对象物涉及的所述三维结构数据和所述三维位置进行对照的对照部(153)。
(附记11)
一种图像处理方法，用于图像处理系统(1)，所述图像处理系统进行：
控制向对象物投射用于确定三维形状的图案光的第一投光部(11)的第一投光处理；
控制第二投光部(13)的第二投光处理，该第二投光部将照射能量在投光方向的剖面方向上大致均匀的大致均匀照明，以与所述第一投光处理进行的投光大致相同的角度向所述对象物进行投射；
控制拍摄所述对象物的摄像部(15)的摄像处理；
在通过所述第一投光处理控制为投射所述图案光并且通过所述第二投光处理控制为不投射所述大致均匀照明的状态下，记录通过所述摄像部拍摄的第一摄像图像的第一摄像图像记录处理；
在通过所述第一投光处理控制为不投射所述图案光并且通过所述第二投光处理控制为投射所述大致均匀照明的状态下，记录通过所述摄像部拍摄的第二摄像图像的第二摄像图像记录处理；
通过将所述第一摄像图像涉及的成分除以所述第二摄像图像涉及的成分，来生成除法运算图像的生成处理；
使用所述除法运算图像，计算所述对象物的三维位置的计算处理。

Claims (11)

1.一种图像处理系统，具有：
第一投光部，向对象物投射用于确定所述对象物的三维形状的图案光；
第二投光部，将照射能量在投光方向的剖面方向上均匀的均匀照明，以与所述第一投光部进行的投光相同的角度向所述对象物进行投射；
第一投光控制部，控制所述第一投光部向所述对象物投射所述图案光；
第二投光控制部，控制所述第二投光部向所述对象物投射所述均匀照明；
摄像部，拍摄所述对象物；
摄像控制部，控制所述摄像部的拍摄；
第一摄像图像记录部，在所述第一投光控制部控制为投射所述图案光并且所述第二投光控制部控制为不投射所述均匀照明的状态下，记录通过所述摄像部拍摄的第一摄像图像；
第二摄像图像记录部，在所述第一投光控制部控制为不投射所述图案光并且所述第二投光控制部控制为投射所述均匀照明的状态下，记录通过所述摄像部拍摄的第二摄像图像；
生成部，通过将所述第一摄像图像涉及的成分除以所述第二摄像图像涉及的成分，生成除法运算图像；以及
计算部，使用所述除法运算图像，计算所述对象物的三维位置。
2.根据权利要求1所述的图像处理系统，其中，
所述生成部在所述第一投光部及所述第二投光部为非投光时，将从所述第一摄像图像涉及的成分中减去向所述对象物投射环境光的第三摄像图像涉及的成分而得到的图像涉及的成分，除以从所述第二摄像图像涉及的成分中减去所述第三摄像图像涉及的成分而得到的图像涉及的成分，由此生成所述除法运算图像。
3.根据权利要求1所述的图像处理系统，其中，
与拍摄所述第一摄像图像时的所述第一投光部的投光时间相比，拍摄所述第二摄像图像时的所述第二投光部的投光时间更短。
4.根据权利要求1所述的图像处理系统，其中，
与拍摄所述第一摄像图像时的所述摄像部的曝光时间相比，拍摄所述第二摄像图像时的所述摄像部的曝光时间更短。
5.根据权利要求1至4中任一项所述的图像处理系统，其中，
所述第一投光部及所述第二投光部使用相同的投光透镜进行投光。
6.根据权利要求5所述的图像处理系统，其中，
所述第一投光部及所述第二投光部使用相同的光源进行投光。
7.根据权利要求1至4中任一项所述的图像处理系统，其中，
所述第一投光部使用第一光源进行投光，所述第二投光部使用与所述第一光源分开设置的第二光源，以与所述第一投光部相同的角度向所述对象物进行投光。
8.根据权利要求1至4中任一项所述的图像处理系统，其中，
所述第一投光部使用第一光源及第一投光透镜进行投光，
所述第二投光部使用与所述第一光源及所述第一投光透镜分开设置的第二光源及第二投光透镜，以与所述第一投光部进行的投光相同的角度，向所述对象物进行投光。
9.根据权利要求7所述的图像处理系统，其中，
所述第一光源的强度比所述第二光源的强度更强。
10.根据权利要求1至4中任一项所述的图像处理系统，其中，
所述图像处理系统还具有：
读取部，读取所述对象物的三维结构数据；以及
对照部，将所述对象物涉及的所述三维结构数据和所述三维位置进行对照。
11.一种图像处理方法，用于图像处理系统，所述图像处理系统进行：
第一投光处理，用于控制第一投光部，所述第一投光部向对象物投射用于确定所述对象物的三维形状的图案光；
第二投光处理，用于控制第二投光部，所述第二投光部将照射能量在投光方向的剖面方向上均匀的均匀照明，以与所述第一投光处理进行的投光相同的角度向所述对象物进行投射；
摄像处理，用于控制拍摄所述对象物的摄像部；
第一摄像图像记录处理，在通过第一投光处理控制为投射所述图案光并且通过所述第二投光处理控制为不投射所述均匀照明的状态下，记录通过所述摄像部拍摄的第一摄像图像；
第二摄像图像记录处理，在通过第一投光处理控制为不投射所述图案光并且通过所述第二投光处理控制为投射所述均匀照明的状态下，记录通过所述摄像部拍摄的第二摄像图像；
生成处理，通过将所述第一摄像图像涉及的成分除以所述第二摄像图像涉及的成分，来生成除法运算图像；以及
计算处理，使用所述除法运算图像，计算所述对象物的三维位置。
CN201811054519.2A 2017-12-01 2018-09-11 图像处理系统及图像处理方法 Active CN109872382B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017232027A JP6970376B2 (ja) 2017-12-01 2017-12-01 画像処理システム、及び画像処理方法
JP2017-232027 2017-12-01

Publications (2)

Publication Number Publication Date
CN109872382A true CN109872382A (zh) 2019-06-11
CN109872382B CN109872382B (zh) 2023-06-20

Family

ID=63798774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811054519.2A Active CN109872382B (zh) 2017-12-01 2018-09-11 图像处理系统及图像处理方法

Country Status (4)

Country Link
US (1) US11118901B2 (zh)
EP (1) EP3492861B1 (zh)
JP (1) JP6970376B2 (zh)
CN (1) CN109872382B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332907A (zh) * 2019-08-19 2019-10-15 珠海博明视觉科技有限公司 一种提高面条纹光重建精度的方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6782433B2 (ja) * 2017-03-22 2020-11-11 パナソニックＩｐマネジメント株式会社 画像認識装置
JP7131118B2 (ja) * 2018-06-22 2022-09-06 富士通株式会社 認証装置、認証プログラム、認証方法
US10627709B2 (en) * 2018-06-29 2020-04-21 Ricoh Company, Ltd. Light source, projection device, measurement device, robot, electronic device, mobile object, and shaping apparatus
EP4250753A3 (en) * 2018-08-30 2023-11-01 Veo Robotics, Inc. Depth-sensing computer vision system
JP2022173763A (ja) * 2021-05-10 2022-11-22 セイコーエプソン株式会社 投写方法、及びプロジェクター
DE102022125357A1 (de) 2022-09-30 2024-04-04 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Oberflächeninspektionssystem sowie Computerprogramm und computerlesbares Speichermedium zur Vermessung und / oder Inspektion von Oberflächen eines Objektes

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549288B1 (en) * 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
JP2004328657A (ja) * 2003-04-28 2004-11-18 Toshiba Corp 画像入力装置、画像入力方法およびプログラム
US20060192082A1 (en) * 2003-09-29 2006-08-31 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program
DE102008002730A1 (de) * 2008-06-27 2009-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur 3D-Rekonstruktion
US20120287626A1 (en) * 2011-05-13 2012-11-15 Chih-Chieh Kang Led illumination structure without light guide plate
US20130141402A1 (en) * 2011-12-06 2013-06-06 Lg Display Co., Ltd. Stereoscopic Image Display Device and Method of Driving the Same
JP2013245944A (ja) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> 投影型３次元形状復元装置、投影型３次元形状復元方法、投影型３次元形状復元プログラムおよびそのプログラムを記録した記録媒体
JP2015079807A (ja) * 2013-10-16 2015-04-23 キヤノン株式会社 投影露光装置及び露光条件計算装置
US20150116412A1 (en) * 2013-10-28 2015-04-30 Ronald J. Duke Imaging module with aligned imaging systems
US20150116582A1 (en) * 2013-10-30 2015-04-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN104685318A (zh) * 2013-06-27 2015-06-03 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
US20150208052A1 (en) * 2014-01-20 2015-07-23 Kabushiki Kaisha Toshiba Image processor, image processing method, and image projector
JP2015232487A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2016031284A (ja) * 2014-07-29 2016-03-07 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法
JP2016109671A (ja) * 2014-12-01 2016-06-20 キヤノン株式会社 三次元計測装置およびその制御方法
US20160260217A1 (en) * 2015-03-04 2016-09-08 Canon Kabushiki Kaisha Measurement apparatus and measurement method
US20170024874A1 (en) * 2015-05-11 2017-01-26 Ricoh Company, Ltd. Method and apparatus for detecting abnormal situation
JPWO2014171134A1 (ja) * 2013-04-18 2017-02-16 パナソニックＩｐマネジメント株式会社 投写型映像表示装置
WO2017119155A1 (ja) * 2016-01-07 2017-07-13 Ckd株式会社 三次元計測装置
JP2017138776A (ja) * 2016-02-03 2017-08-10 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、そのオートキャリブレーション実行方法
CN107091617A (zh) * 2016-02-18 2017-08-25 株式会社三丰 形状测定系统、形状测定装置以及形状测定方法
US20170287157A1 (en) * 2016-03-30 2017-10-05 Canon Kabushiki Kaisha Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium
JP2017191082A (ja) * 2016-04-15 2017-10-19 株式会社イデアクエスト 輝点画像取得装置および輝点画像取得方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03289505A (ja) * 1990-04-06 1991-12-19 Nippondenso Co Ltd ３次元形状測定装置
JP2002213931A (ja) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
JP2005140537A (ja) * 2003-11-04 2005-06-02 West Japan Railway Co ラインセンサーを用いた形状計測装置とその計測方法
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
EP1971820B1 (de) * 2006-01-08 2012-10-17 Hermann Tropf Erstellung eines abstandsbildes
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
EP2618102A2 (en) * 2006-11-21 2013-07-24 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP4986679B2 (ja) * 2007-03-29 2012-07-25 学校法人福岡工業大学 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
JP2012068176A (ja) * 2010-09-27 2012-04-05 Panasonic Corp 三次元形状計測装置
TW201227159A (en) * 2010-12-24 2012-07-01 wen-jin Zhang Method of taking pictures for generating three-dimensional image data
US9166810B2 (en) * 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
JP6267486B2 (ja) * 2013-10-30 2018-01-24 キヤノン株式会社 画像処理装置、画像処理方法
FR3020871B1 (fr) * 2014-05-07 2017-08-11 Areva Dispositif et procede de reconstruction tridimensionnelle d'une scene par analyse d'image
WO2016024203A2 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
US9591240B1 (en) * 2014-12-01 2017-03-07 The Florida State University Research Foundation, Inc. System and method for generating a dataset for real noise reduction evaluation
KR102129376B1 (ko) * 2015-02-25 2020-07-02 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
JP2017003469A (ja) * 2015-06-11 2017-01-05 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法及びプログラム
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
JP2017121041A (ja) * 2015-12-11 2017-07-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置
JP2017138176A (ja) * 2016-02-03 2017-08-10 株式会社リコー 三次元情報取得システム、三次元情報取得方法及びピッキングシステム
JP6623812B2 (ja) * 2016-02-17 2019-12-25 セイコーエプソン株式会社 位置検出装置、及び、そのコントラスト調整方法
US10338675B2 (en) * 2017-02-14 2019-07-02 Facebook Technologies, Llc Selective color sensing for motion tracking
US10445893B2 (en) * 2017-03-10 2019-10-15 Microsoft Technology Licensing, Llc Dot-based time of flight

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549288B1 (en) * 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
JP2004328657A (ja) * 2003-04-28 2004-11-18 Toshiba Corp 画像入力装置、画像入力方法およびプログラム
US20060192082A1 (en) * 2003-09-29 2006-08-31 Brother Kogyo Kabushiki Kaisha Three-dimensional shape detecting device, image capturing device, and three-dimensional shape detecting program
DE102008002730A1 (de) * 2008-06-27 2009-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur 3D-Rekonstruktion
US20120287626A1 (en) * 2011-05-13 2012-11-15 Chih-Chieh Kang Led illumination structure without light guide plate
US20130141402A1 (en) * 2011-12-06 2013-06-06 Lg Display Co., Ltd. Stereoscopic Image Display Device and Method of Driving the Same
JP2013245944A (ja) * 2012-05-23 2013-12-09 Nippon Telegr & Teleph Corp <Ntt> 投影型３次元形状復元装置、投影型３次元形状復元方法、投影型３次元形状復元プログラムおよびそのプログラムを記録した記録媒体
JPWO2014171134A1 (ja) * 2013-04-18 2017-02-16 パナソニックＩｐマネジメント株式会社 投写型映像表示装置
CN104685318A (zh) * 2013-06-27 2015-06-03 松下电器（美国）知识产权公司 具有多个光源的运动传感器装置
JP2015079807A (ja) * 2013-10-16 2015-04-23 キヤノン株式会社 投影露光装置及び露光条件計算装置
US20150116412A1 (en) * 2013-10-28 2015-04-30 Ronald J. Duke Imaging module with aligned imaging systems
US20150116582A1 (en) * 2013-10-30 2015-04-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20150208052A1 (en) * 2014-01-20 2015-07-23 Kabushiki Kaisha Toshiba Image processor, image processing method, and image projector
JP2015232487A (ja) * 2014-06-09 2015-12-24 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2016031284A (ja) * 2014-07-29 2016-03-07 セイコーエプソン株式会社 制御システム、ロボットシステム、及び制御方法
JP2016109671A (ja) * 2014-12-01 2016-06-20 キヤノン株式会社 三次元計測装置およびその制御方法
US20160260217A1 (en) * 2015-03-04 2016-09-08 Canon Kabushiki Kaisha Measurement apparatus and measurement method
US20170024874A1 (en) * 2015-05-11 2017-01-26 Ricoh Company, Ltd. Method and apparatus for detecting abnormal situation
WO2017119155A1 (ja) * 2016-01-07 2017-07-13 Ckd株式会社 三次元計測装置
JP2017138776A (ja) * 2016-02-03 2017-08-10 セイコーエプソン株式会社 インタラクティブプロジェクター、及び、そのオートキャリブレーション実行方法
CN107091617A (zh) * 2016-02-18 2017-08-25 株式会社三丰 形状测定系统、形状测定装置以及形状测定方法
US20170287157A1 (en) * 2016-03-30 2017-10-05 Canon Kabushiki Kaisha Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and storage medium
JP2017191082A (ja) * 2016-04-15 2017-10-19 株式会社イデアクエスト 輝点画像取得装置および輝点画像取得方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩成春;席建中;: "基于改进调制结构光的三维形状准确测量方法", 计算机工程与设计 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332907A (zh) * 2019-08-19 2019-10-15 珠海博明视觉科技有限公司 一种提高面条纹光重建精度的方法

Also Published As

Publication number Publication date
JP2019100852A (ja) 2019-06-24
EP3492861B1 (en) 2021-08-04
CN109872382B (zh) 2023-06-20
US11118901B2 (en) 2021-09-14
EP3492861A1 (en) 2019-06-05
US20190170506A1 (en) 2019-06-06
JP6970376B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
CN109872382A (zh) 图像处理系统及图像处理方法
US10838132B1 (en) Diffractive gratings for eye-tracking illumination through a light-guide
CN107407810B (zh) 具有柱镜状微透镜阵列的光引擎
JP6364777B2 (ja) 画像データ取得システム及び画像データ取得方法
US20170295362A1 (en) Binocular image alignment for near-eye display
KR20190133229A (ko) 스큐 미러 보조 이미징
Breitbarth et al. Measurement accuracy and dependence on external influences of the iPhone X TrueDepth sensor
CN109642787A (zh) 3d表面测量的系统与方法
US10249076B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium storing image processing program
US20190098276A1 (en) 3-d 360 degree depth projector
JP2003203220A (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
US20200058266A1 (en) Display device with throughput calibration
CN107577341A (zh) 眼睛追踪器照明
JP2009020080A (ja) 表面反射特性測定装置
US10425625B2 (en) Projecting images and videos onto engineered curved surfaces
KR20230107574A (ko) 디스플레이를 통한 깊이 측정
US20130141420A1 (en) Simulation of Three-Dimensional (3D) Cameras
CN110084873B (zh) 用于渲染三维模型的方法和装置
US20230334909A1 (en) Multi-wavelength biometric imaging system
US20230367857A1 (en) Pose optimization in biometric authentication systems
TWM609585U (zh) Tof攝像裝置
KR20180080618A (ko) 증강현실 기반 실감 렌더링 방법 및 장치
CN113532800B (zh) 透光区域的分析方法以及相关设备、装置
CN111696146A (zh) 人脸模型重建方法、系统、图像处理系统及存储介质
JP2019120501A (ja) 撮影システム及び画像処理装置並びに画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant