CN101210800B - 利用结构光来测量距离的设备和方法 - Google Patents

利用结构光来测量距离的设备和方法 Download PDF

Info

Publication number
CN101210800B
CN101210800B CN2007101605567A CN200710160556A CN101210800B CN 101210800 B CN101210800 B CN 101210800B CN 2007101605567 A CN2007101605567 A CN 2007101605567A CN 200710160556 A CN200710160556 A CN 200710160556A CN 101210800 B CN101210800 B CN 101210800B
Authority
CN
China
Prior art keywords
image
pixel
pixel value
peak
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007101605567A
Other languages
English (en)
Other versions
CN101210800A (zh
Inventor
朴东烈
郑尤然
方锡元
李炯机
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101210800A publication Critical patent/CN101210800A/zh
Application granted granted Critical
Publication of CN101210800B publication Critical patent/CN101210800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Abstract

提供一种利用结构光来测量距离的设备和方法。该设备包括:二值化单元,将图像二值化;图像识别单元,在二值化的图像中识别具有连接的像素的图像;长度比计算单元,获得具有连接的像素的图像的长轴与短轴的长度比,所述短轴垂直于所述长轴;像素均值计算单元,获得具有连接的像素的图像的像素值的均值;图像提取单元,利用所述长度比和像素值的均值,从具有连接的像素的图像提取由光源所照射的光形成的图像。

Description

利用结构光来测量距离的设备和方法
本申请要求于2006年12月26日提交到韩国知识产权局的第10-2006-0133908号韩国专利申请的优先权,该申请公开于此以资参考。
技术领域
本发明涉及一种利用结构光来测量距离的设备和方法,更具体地讲,涉及这样一种利用结构光来测量距离的设备和方法,其中,对输入图像进行二值化,然后,识别二值化的图像中的具有连接的像素的图像,并利用二值化的图像中的具有连接的像素的图像的长轴与短轴的长度比以及像素值的均值来去除噪声,从而提高距离测量的精度。
背景技术
为了四处行进或者在预备信息不足的地方执行作业,诸如清洁机器人或引导机器人的移动机器人需要具有自主规划路径,检测障碍物并避免碰撞的能力。为此,测量到障碍物的距离的能力是基本的,其中,到障碍物的距离可用于估计位置。此外,在利用图像比较方法的入侵感测系统中,测量到障碍物的距离的能力是必需的。
为了测量这样的距离,已使用了利用视觉传感器、超声波传感器或者接触传感器的各种方法。在这些方法中,利用结构光和相机的方法非常有效,这是因为该方法需要较少的计算,并且能够用在亮度变化小的地方。
根据该方法,如图1A所示,利用诸如激光器的主动光源10将光照射到障碍物30上,并且利用诸如相机的传感器20获得反射光的图像。然后,利用相机20的图像坐标、此时图像的扫描角度以及相机20与激光束发射位置之间的距离,可根据三角法利用角度θ从获得的图像计算激光发射位置与反射激光的障碍物30之间的距离。
参照图1A,光源10和相机传感器20之间的距离d被称为基线。随着距离d增加,分辨率变差。当机器人的高度受到限制(如清洁机器人一样)时,在许多情况下,基线距离较短。在这种情况下,较远位置处的范围分辨率(range resolution)变得更差。
图2是示出当根据传统技术,基线的长度较短(例如,8cm)时关于距离的范围分辨率的示图。
图2示出当基线为8cm,相机的垂直像素为480,垂直镜头角度为60°时关于距离的分辨率,可以看出,随着距离增加,分辨率变差。在这种情况下,可使用峰检测方法。
图3是示出沿着相机图像的预定垂直线排列的像素的像素值的分布的示图。如图3中所示,假设点a、b和c的位置和像素值是已知的,并且由沿着垂直线排列的像素形成的图像的亮度分布呈抛物线,则可利用抛物插值法识别峰点的位置。可通过将如上所述的三角法应用到所述峰点的位置来识别到障碍物的距离。
然而,在实践中,由于阳光或者其它照明和激光的反射引起严重的噪声,所以很难精确地识别点a、b和c的位置。
发明内容
因此,本发明的一方面在于提供一种利用结构光来测量距离的设备和方法,其中,对输入图像进行二值化,然后,识别在二值化的图像中具有连接的像素的图像,并利用二值化的图像中具有连接的像素的图像的长轴与短轴的长度比以及像素值的均值来去除噪声,从而提高距离测量的精度。
另外的方面和/或优点将在下面的描述中被部分地阐述,并且部分地根据描述将变得明显,或者可通过实施本发明而了解
根据本发明的一方面,提供一种利用结构光来测量距离的设备,其中设置有发射光的预定光源以及捕捉在来自所述预定光源的光被障碍物反射时所形成的图像的相机模块,利用捕捉的图像来测量距离,该设备包括:二值化单元,将图像二值化;图像识别单元,在二值化的图像中识别具有连接的像素的图像;长度比计算单元,获得所述具有连接的像素的图像的长轴与短轴的长度比,所述短轴垂直于所述长轴;像素均值计算单元,获得所述具有连接的像素的图像的像素值的均值;图像提取单元,利用所述长度比和像素值的均值,从所述具有连接的像素的图像提取由光源所发射的光形成的图像。
根据本发明的另一方面,提供一种利用结构光来测量距离的方法,其中,光从预定光源发射,然后被障碍物反射,利用捕捉的由障碍物所反射的光形成的图像来测量距离,该方法包括:将图像二值化;在二值化的图像中识别具有连接的像素的图像;获得所述具有连接的像素的图像的长轴与短轴的长度比以及所述具有连接的像素的图像的像素值的均值,所述短轴垂直于所述长轴;利用所述长度比和像素值的均值,从所述具有连接的像素的图像提取由光源所发射的光形成的图像。
附图说明
通过下面结合附图进行的对实施例的描述,本发明的这些和/或其他方面和优点将会变得清楚并更易于理解,其中:
图1A是根据现有技术的利用结构光来测量距离的设备的侧视图;
图1B是示出根据本发明实施例的为了获得结构光图像向障碍物发射光以及由相机传感器获得的相机图像的示图;
图2是示出当根据现有技术,基线的长度较短(8cm)时关于距离的范围分辨率的示图;
图3是示出根据现有技术的沿着相机图像的预定垂直线排列的像素的像素值的分布的示图;
图4是根据本发明实施例的利用结构光来测量距离的设备的框图;
图5是示出根据本发明实施例的识别具有连接的像素的图像的过程的示图;
图6是示出根据本发明实施例的当存在具有峰值的多个像素时寻找像素位置的过程的示图;
图7是示出根据本发明实施例的利用结构光来测量距离的方法的流程图;
图8是示出根据本发明实施例的寻找峰点的位置的方法的流程图;
图9是示出根据本发明实施例的利用结构光来测量距离的方法的整体流程图;
图10A至图10C是示出根据本发明实施例的通过去除噪声来提取具有连接的像素的图像的过程的示图;
图11是示出根据本发明实施例的每一操作中的图像以及测量的距离的示图。
具体实施方式
现在,将详细描述实施例,其示例示出于附图中,在附图中,相同的标号始终指示相同的部件。下面,将参照附图描述实施例以解释本发明。
通过参照下面对优选实施例以及附图的详细描述,本发明以及实现本发明的方法的优点和特点会更容易理解。然而,本发明可以以许多不同的方式实现,而不应该理解为限于这里所阐述的实施例。相反,提供这些实施例是为了本公开将完整和彻底,并将向本领域技术人员充分传达本发明的构思,本发明将由权利要求限定。
首先,将解释根据本发明的利用结构光测量距离的原理。
图1A是示出根据本发明实施例的利用结构光来测量距离的设备的侧视图,图1B是示出根据本发明实施例的为了获得结构光图像向障碍物发射光以及由相机传感器获得的相机图像的示图。
利用诸如激光器的主动光源10,将光照射到障碍物30上,并且利用诸如相机的传感器20,获得关于障碍物30所反射的图像的信息。在这种情况下,在保持从相机传感器20到光源10的预定距离d的同时,相机传感器20被置于光源10的上方,并获得图像信息。光源10可使用近红外线线激光束。如果使用了近红外线线激光束,则即使在不存在照明的状态下也可获得图像信息。
参照图1B,从光源10将激光照射到障碍物30上,以使得激光具有预定视场(α)并具有平面形状。图1B中的(b)示出由相机20获得的线轮廓形式的相机图像40。图1B中的(a)示出在障碍物30的位置a和位置b处被反射的光分别呈现为相机图像40上的a和b。Y轴方向上的值与传感器20和障碍物30之间的距离成比例。
利用从相机图像40的坐标获得的相机模块20和障碍物30之间的距离,指向障碍物30的相机传感器20的角度(θ)(见图1A)以及相机模块20和光源10之间的距离(d),可以根据三角法获得光源10和障碍物30之间的距离数据。这里,由于三角法是公知技术,所以这里将省略对该方法的详细解释。
图4是根据本发明实施例的利用结构光来测量距离的设备的框图。
根据当前实施例的利用结构光来测量距离的设备可包括光源模块100、相机模块110、二值化单元130、图像识别单元140、长度比计算单元150、像素均值计算单元160和图像提取单元170。此外,该设备还可包括图像校准单元120、峰点计算单元180和距离信息计算单元190。
同时,这里使用的术语“模块”表示(但不限于)执行特定任务的软件和/或硬件组件,如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块可方便地构造为驻留于可寻址存储介质上,并被构造为在一个或多个处理器上运行。因此,模块可包括(例如)诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子进程、程序代码段、驱动器、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。组件和模块中提供的操作可被组合为更少的组件和模块,或者被进一步分为另外的组件和模块。
光源模块100向障碍物投射线激光。如图1B所示,线激光沿水平方向扩展并照射。
相机模块110捕捉由从光源模块100照射并被障碍物反射的线激光形成的图像。在这种情况下,可在相机模块110中设置带通滤波器,以使得仅来自光源的预定频带的光可输入。因此,相机模块110可接收频率接近于激光光源的频率的光的输入。然而,即使设置了这样的带通滤波器,仍会存在该频率附近的其它光源(即,噪声)。具体地讲,自然光具有宽频带,输入到相机模块110的图像中很可能包括噪声。相机模块110位于光源模块100上方的预定位置处。如上所述,相机模块110和光源模块100之间的距离被称为基线。
图像校准单元120校准由相机模块110捕捉的图像。
由于相机模块110以预定的角度捕捉从光源模块100照射的光,所以图像有一些不规则,这种不规则被校正。对校准的方法,可使用Tsai校准方法。在1 986年的IEEE会议论文集“Computer Vision and Pattern Recognition”第364-374页R.Y.Tsai的“An efficient and accurate camera calibration techniquefor 3D machine vision”中详细描述了该方法,这里将省略解释。
二值化单元130将相机模块110所捕捉的图像二值化。通过图像校准单元120校准的图像也可被二值化。通过整个图像中的所有像素的二值化,被确定为不是由障碍物所反射的光产生的所有像素被改变为0。根据二值化方法,利用形成在预定位置的简单的线图形,在图像的每一垂直区间中确定核心形状和最佳阈值,并且利用确定的核心形状和最佳阈值,对实际的捕捉的图像求卷积。然后,在垂直方向上扫描包括在卷积的图像中的像素列。如果存在像素值不为0的多个像素组,则除了一个选择的像素组之外的像素组的像素值被改变为0。在公开的韩国专利申请10-2006-0091137中详细描述了该方法。除了上述方法之外,还可使用其它已知的二值化方法。
图像识别单元140在二值化的图像中识别具有连接的像素的图像。图5是示出根据本发明实施例的识别具有连接的像素的图像的过程的示图。在图5中,每一方块表示一个像素。如果P5被二值化,然后,P5具有除了0之外的值,并且如果P5周围的P1至P9中的任何一个像素被二值化为除了0之外的值,则确定该像素连接到P5。通过这一过程,识别具有连接的像素的每一图像。没有连接的分开的像素可被去除。
长度比计算单元150计算由图像识别单元140识别的具有连接的像素的每一图像的长轴与短轴的长度比,所述短轴垂直于所述长轴。通过具有连接的像素的图像的主成分分析(PCA)变换,可获得特征向量和特征值。在这种情况下,具有较大值的特征值表示长轴的扩展程度,具有较小值的特征值指示在垂直于长轴的方向上的数据的扩展程度。具有连接的像素的每一图像的长轴与短轴之比可由各个特征值之比表示。
像素均值计算单元160计算具有连接的像素的每一图像的像素值的均值。在这种情况下,通过将均值除以255,可获得归一化的值。
图像提取单元170利用长轴与短轴的长度比以及像素值的均值来去除具有连接的像素的图像中的噪声,并提取捕捉的由光源模块100所照射的光形成的图像。在这种情况下,随着长轴与短轴之比的增加,图像由光源模块100所照射的光产生的可能性增加。这是因为照射的结构光的形状是直线的,如果二值化的图像的图形长度长,则图像很可能由光源模块100所照射的结构光产生。当发出阳光时,通常在二值化处理期间去除大部分阳光,但是部分直线地发射的阳光会被二值化。在这种情况下,利用长轴与短轴的长度比,可有效去除阳光。
此外,如果像素值的均值高,则图像很可能由光源100所照射的光产生。这是因为如果照射的结构光被一组家具或地板多次反射,然后输入,则所述光通常具有比被直接反射的结构光的像素值低的像素值。因此,利用像素值的均值可有效地去除所述反射光。
作为利用长轴与短轴的长度比以及像素值的均值来提取图像的示例,假设具有连接的像素的每一图像的长轴与短轴的长度比为L1、L2、......,并且像素值的均值为G1、G2、......,则计算Ci=a×Gi+(1-a)Li(0≤a≤1,i=1,2,...,N),并且除了具有最大Ci值的图像之外的具有连接的像素的图像被去除。这里,a和(1-a)是像素值的均值和长轴与短轴的长度比的权重。如果很可能存在其它光源,则可增加长轴与短轴的长度比的权重。如果很可能存在反射光,则可增加像素值的均值的权重。上述表达式是利用长轴与短轴的长度比和像素值的均值提取图像的示例。也可使用其它方法来提取图像。
在这种情况下,图像提取单元170可按照每一垂直线搜索整个像素区域,从而提取由光源所照射的光形成的图像。稍后将参照图10A至图10C对此进行解释。
峰点计算单元180按照每一垂直线搜索图像的整个像素区域,从而获得每一垂直线上的像素值的峰点的位置。如果噪声被去除,则被障碍物反射的图像包括多个像素和一个厚度。在这种情况下,具有最大像素值的峰点的位置很可能是在障碍物处反射的位置。这里,如果假设如图3中所示,点a、b和c的位置和像素值已知,并且由沿垂直线排列的像素形成的图像的亮度分布呈抛物线,则可通过应用抛物插值法来识别峰点的位置。在这种情况下,b值是整个像素区域的每一垂直线上的峰值的像素位置。当存在多个峰值的像素位置时,选择具有长的连接长度的区域,连接的区域的重心可被确定为峰值的像素位置。
图6是示出根据本发明实施例的当存在具有峰值的多个像素时寻找像素位置的过程的示图。参照图6,在左侧示出垂直线上的每一像素值,在像素值旁边示出像素值的分布。在这种情况下,存在具有峰值255的多个像素位置。顶部的两个255像素值是连接的,下面有4个255像素值是连接的。因此,选择具有较长长度的下面的区域,然后计算位置的重心。下面的4个255像素值的中心坐标为113.5。该值可被选择作为峰像素值的位置。然后,可通过在相对于峰像素值的位置的阈值范围内寻找两个边界位置来确定分别作为起始点和结束点的点a和b。在获得a、b和c的值之后,可根据抛物插值法来获得峰点的位置。下面示出了实现抛物插值法的伪码的示例。
Start Parabolic Interpolation(float up,float middle,float down)
a=(up+down)-2.0*middle/2.0f
if    a=0,then return 0
c=((up-middle)/a)-1.0f)/2.0f);
if  c<-0.5 or c>0.5,then return 0;
else return c
这里,“up”是抛物线的起始部分的像素值,“middle”是抛物线的顶部的像素值,“down”是抛物线的末端部分的像素值。
距离信息计算单元190将三角法应用到最终保留的峰点的位置,从而计算出光源模块100和障碍物之间的距离。
图7是示出根据本发明实施例的利用结构光测量距离的方法的流程图,图8是示出根据本发明实施例的寻找峰点的位置的方法的流程图。
首先,在操作S500,图像校准单元120根据诸如Tsai校准方法的方法来校准由从光源模块100照射并被障碍物反射的线激光产生并被相机捕捉的图像。
然后,在操作S510,二值化单元130对校准的图像进行二值化。
在操作S520,图像识别单元140在二值化的图像中识别具有连接的像素的图像。
然后,在操作S530,长度比计算单元150和像素均值计算单元160分别获得具有连接的像素的每一图像的长轴与短轴的长度比以及像素值的均值。在这种情况下,具有连接的像素的图像被PCA变换,并且利用变换的图像,可计算长轴与短轴的长度比。
接下来,在操作S540,利用具有连接的像素的每一图像的长轴与短轴的长度比以及像素值的均值,图像提取单元170去除不是根据光源模块100所照射的光捕捉的图像的噪声。在这种情况下,如果长轴与短轴的长度比大,则可确定图像很可能是由光源所照射的光产生的。此外,如果像素值的均值大,则可确定图像很可能是由光源所照射的光产生的。然后,通过按照每一垂直线搜索整个像素区域,可提取由光源所照射的光形成的图像。
接下来,在操作S550,峰点计算单元180获得在操作S540中提取的图像的每一垂直线的峰点。在获得峰点的过程中,首先,在操作S552,获得由光源所照射的光形成的图像的每一垂直线上的峰值的像素位置。然后,在操作S554,获得相对于峰像素值的位置的预定阈值范围内的两个边界位置。最后,在操作S556,利用峰像素值的位置、峰像素值、两个边界位置和像素值,根据抛物插值法获得峰点的位置。
接下来,在操作S560,距离信息计算单元190将三角法应用到峰点,从而计算光源模块100和障碍物之间的距离。
图9是示出根据本发明实施例的利用结构光测量距离的方法的整个流程图。
首先,在操作S600,相机模块110获得并存储由从光源模块100照射并被障碍物反射的线激光形成的图像。然后,在操作S610,图像校准单元120校准获得的图像中的失真。然后,在操作S620,二值化单元130对校准的图像进行二值化。然后,在操作S630,在垂直线方向上搜索输入图像的每一垂直线。在沿垂直方向搜索的同时,在操作S640,确认是否存在二值化的图像的分开的区域。如果确认不存在分开的区域,则在操作S670中访问并搜索下一垂直线。如果存在两个或多个分开的区域,则在操作S650中,通过执行如上所述的操作S520、S530和S540来去除噪声。如果噪声被去除,则在操作S670中再访问下一垂直线,并且在操作S640中确认是否存在分开的区域。如果在操作S660,所有垂直线的搜索均完成,则噪声的去除结束。
图10A至图10C是示出根据本发明实施例的通过去除噪声提取具有连接的像素的图像的过程的示图。
图10A示出具有连接的像素的三个图像A、B和C被识别。在这种情况下,在水平方向(图10A中从左到右)上搜索图像,以便确定是否存在分开的区域。由于在第L垂直线中只找到区域A,所以搜索下一垂直线。在第M垂直线上,找到两个分开的区域A和C。利用区域A和C中的每一个区域中的长轴与短轴的长度比以及像素值的均值来去除噪声。由于在图10A中,区域A的长轴和短轴的长度比以及像素值的均值大于区域C的长轴和短轴的长度比以及像素值的均值,所以区域C被确定为是噪声区域并被去除。
图10B示出区域C被去除之后的状态。然后,在图10B中,搜索每一垂直线,直到出现分开的区域。在第N垂直线,找到两个分开的区域A和B。利用区域A和B中的每个区域中的长轴和短轴的长度比以及像素值的均值,确定区域B是噪声,从而区域B被去除。最后,图10C示出通过去除噪声从光源获得的图像。
在操作S680,搜索提取的图像的每一垂直线中的峰值的像素位置。然后在操作S690,搜索相对于预定阈值的两个边界位置。在操作S700,利用峰值的像素位置和两个边界的位置,根据抛物插值法获得峰点的位置。在获得峰点的位置之后,在操作S710,参照峰点根据三角法获得光源模块100和障碍物之间的距离。
图11中的(a)至(f)是示出根据本发明实施例的每一操作中的图像以及测量的距离的示图。
图11中的(a)示出从相机传感器获得的图像。图11中的(b)示出由图像校准单元120对失真的图像进行校准的结果。图11中的(c)示出对校准的图像进行二值化的结果。在这种情况下,在中心存在形成V形的两个图像,因此可以知道这两个图像中的一个是噪声。图11中的(d)示出在没有应用抛物插值法的情况通过三角法计算的距离。与没有应用抛物插值法的图11中的(e)相比,图11中的(f)示出根据本发明的在获得峰值的像素位置和两个边界位置并通过应用抛物插值法获得峰点之后根据三角法计算的距离。可以看出,应用抛物插值法时测量的距离的精度比没有应用抛物插值法时测量的距离的精度高。
如上所述,根据本发明实施例的利用结构光测量距离的设备和方法具有下述优点中的一个或多个。
首先,从另一光源输入或反射的光可被有效地去除,从而提高距离测量的精度。
其次,可在去除噪声的状态下容易地识别峰值的像素位置和两个边界值的位置,从而应用抛物插值法。因此,由于峰点被容易地找到,所以可提高距离测量的精度。
尽管已经显示和描述了一些实施例,但是本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行改变,本发明的范围由权利要求及其等同物限定。

Claims (19)

1.一种利用结构光来测量距离的设备,其中设置有发射光的预定光源以及捕捉在来自所述预定光源的光被障碍物反射时所形成的图像的相机模块,利用捕捉的图像来测量所述光源和所述障碍物之间的距离,该设备包括:
二值化单元,将图像二值化;
图像识别单元,在二值化的图像中识别具有连接的像素的图像;
长度比计算单元,获得所述具有连接的像素的图像的长轴与短轴的长度比,所述短轴垂直于所述长轴;
像素均值计算单元,获得所述具有连接的像素的图像的像素值的均值;
图像提取单元,利用所述长度比和像素值的均值,从所述具有连接的像素的图像提取由所述光源所发射的光形成的图像;
距离信息计算单元,将三角法应用到利用峰像素值的位置、峰像素值、相对于峰像素值的位置的预定阈值范围内的两个边界位置和所述两个边界位置的像素值根据抛物插值法所获得的峰点的位置,从而计算出所述光源和所述障碍物之间的距离。
2.如权利要求1所述的设备,其中,所述光源是线激光器。
3.如权利要求1所述的设备,还包括:图像校准单元,用于对捕捉的图像进行校准。
4.如权利要求1所述的设备,其中,长度比计算单元执行具有连接的像素的图像的主成分分析变换,并且利用变换的图像,获得长轴与短轴的长度比。
5.如权利要求1所述的设备,其中,图像提取单元确定长度比越大,图像由所述光源所发射的光产生的可能性越高。
6.如权利要求1所述的设备,其中,图像提取单元确定像素值的均值越大,图像由所述光源所发射的光产生的可能性越高。
7.如权利要求1所述的设备,其中,图像提取单元通过沿二值化的图像的每一垂直线搜索二值化的图像的整个像素区域来提取由所述光源所发射的光形成的图像。
8.如权利要求1所述的设备,还包括:峰点计算单元,沿每一垂直线搜索由所述光源所发射的光形成的图像的整个像素区域,并获得垂直线上像素值的峰点的位置。
9.如权利要求8所述的设备,其中,峰点计算单元在提取的由所述光源所发射的光形成的图像的每一垂直线上寻找峰值的像素位置以及相对于峰像素值的位置的预定阈值范围内的两个边界位置,并且通过利用所述两个边界位置、所述两个边界位置的像素值、峰像素值的位置和峰像素值,根据抛物插值法,峰点计算单元获得峰点的位置。
10.如权利要求9所述的设备,其中,如果存在具有峰值的多个位置,则选择具有较长的像素的连接长度的区域,并且具有较长的像素的连接长度的区域的重心被确定为峰值的位置。
11.一种利用结构光来测量距离的方法,其中,光从预定光源发射,然后被障碍物反射,利用捕捉的由障碍物所反射的光形成的图像来测量所述光源和所述障碍物之间的距离,该方法包括:
将图像二值化;
在二值化的图像中识别具有连接的像素的图像;
获得所述具有连接的像素的图像的长轴与短轴的长度比以及所述具有连接的像素的图像的像素值的均值,所述短轴垂直于所述长轴;
利用所述长度比和像素值的均值,从所述具有连接的像素的图像提取由所述光源所发射的光形成的图像;
将三角法应用到利用峰像素值的位置、峰像素值、相对于峰像素值的位置的预定阈值范围内的两个边界位置和所述两个边界位置的像素值根据抛物插值法所获得的峰点的位置,从而计算出所述光源和所述障碍物之间的距离。
12.如权利要求11所述的方法,其中,所述光源是线激光器。
13.如权利要求11所述的方法,还包括:执行具有连接的像素的图像的主成分分析变换,并且利用变换的图像,获得长轴与短轴的长度比。
14.如权利要求11所述的方法,其中,提取图像的步骤包括:确定长度比越大,图像由所述光源所发射的光产生的可能性越高。
15.如权利要求11所述的方法,其中,提取图像的步骤包括:确定像素值的均值越大,图像由所述光源所发射的光产生的可能性越高。
16.如权利要求11所述的方法,其中,提取图像的步骤包括:通过沿每一垂直线搜索二值化的图像的整个像素区域,来提取由所述光源所发射的光形成的图像。
17.如权利要求11所述的方法,还包括:沿每一垂直线搜索提取的由所述光源所发射的光形成的图像的整个像素区域,并获得垂直线上像素值的峰点。
18.如权利要求17所述的方法,其中,沿每一垂直线进行搜索并获得垂直线上像素值的峰点的步骤包括:
获得提取的由所述光源所发射的光形成的图像的每一垂直线上的峰值的像素位置;
识别相对于峰像素值的位置的预定阈值范围内的两个边界位置;
利用所述峰像素值的位置、峰像素值、所述两个边界位置以及所述两个边界位置的像素值,根据抛物插值法获得峰点的位置。
19.如权利要求18所述的方法,其中,如果存在具有峰像素值的多个位置,则选择具有较长的像素的连接长度的区域,并且该连接区域的重心被确定为峰像素值的位置。
CN2007101605567A 2006-12-26 2007-12-25 利用结构光来测量距离的设备和方法 Active CN101210800B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2006-0133908 2006-12-26
KR1020060133908A KR100791389B1 (ko) 2006-12-26 2006-12-26 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
KR1020060133908 2006-12-26

Publications (2)

Publication Number Publication Date
CN101210800A CN101210800A (zh) 2008-07-02
CN101210800B true CN101210800B (zh) 2011-12-28

Family

ID=39216605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101605567A Active CN101210800B (zh) 2006-12-26 2007-12-25 利用结构光来测量距离的设备和方法

Country Status (4)

Country Link
US (1) US8175337B2 (zh)
EP (1) EP1942313B1 (zh)
KR (1) KR100791389B1 (zh)
CN (1) CN101210800B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253641A1 (en) * 2021-02-09 2022-08-11 Samsung Sds Co., Ltd. Method and apparatus for clustering images

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2410794A (en) * 2004-02-05 2005-08-10 Univ Sheffield Hallam Apparatus and methods for three dimensional scanning
US20110133914A1 (en) * 2009-12-04 2011-06-09 Delphi Technologies, Inc. Image based vehicle object detection sensor with range finder
CN101963491B (zh) * 2010-09-10 2012-10-31 珠海华伦造纸科技有限公司 造纸纤维图像测量方法
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
US9297641B2 (en) * 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
CN102930618B (zh) * 2012-10-15 2015-07-15 北京理工大学 一种基于测距原理的实时人数统计方法与系统
JP2014203212A (ja) * 2013-04-03 2014-10-27 船井電機株式会社 入力装置及び入力方法
US20140307100A1 (en) * 2013-04-12 2014-10-16 Kari MYLLYKOSKI Orthographic image capture system
US9025863B2 (en) 2013-06-27 2015-05-05 Intel Corporation Depth camera system with machine learning for recognition of patches within a structured light pattern
US10089739B2 (en) * 2013-06-28 2018-10-02 Texas Instruments Incorporated Structured light depth imaging under various lighting conditions
WO2015134794A2 (en) 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with simplified pose detection
US9413998B2 (en) * 2014-07-07 2016-08-09 Lite-On Electronics (Guangzhou) Limited Image capturing module for increasing assembly flatness and shortening focusing time and method of assembling the same
US11340352B2 (en) 2014-12-29 2022-05-24 Pixart Imaging Inc. Image noise compensating system, and auto clean machine
TWI542891B (zh) 2014-12-29 2016-07-21 原相科技股份有限公司 光學測距方法與光學測距系統
CN105717511B (zh) * 2015-05-07 2018-02-09 北京雷动云合智能技术有限公司 基于线束激光器和普通摄像头芯片的多点测距方法
DE102015109775B3 (de) 2015-06-18 2016-09-22 RobArt GmbH Optischer Triangulationssensor zur Entfernungsmessung
US10083522B2 (en) 2015-06-19 2018-09-25 Smart Picture Technologies, Inc. Image based measurement system
DE102015114883A1 (de) 2015-09-04 2017-03-09 RobArt GmbH Identifizierung und Lokalisierung einer Basisstation eines autonomen mobilen Roboters
DE102015119501A1 (de) 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
DE102015119865B4 (de) 2015-11-17 2023-12-21 RobArt GmbH Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters
DE102015121666B3 (de) 2015-12-11 2017-05-24 RobArt GmbH Fernsteuerung eines mobilen, autonomen Roboters
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
DE102016102644A1 (de) 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
CN105974427B (zh) * 2016-06-24 2021-05-04 上海图漾信息科技有限公司 结构光测距装置及方法
US11709489B2 (en) 2017-03-02 2023-07-25 RobArt GmbH Method for controlling an autonomous, mobile robot
US20180270413A1 (en) * 2017-03-15 2018-09-20 Kabushiki Kaisha Toshiba Processing apparatus and processing system
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
CN109143167B (zh) * 2017-06-28 2021-07-23 杭州海康机器人技术有限公司 一种障碍信息获取装置及方法
JP6854719B2 (ja) * 2017-07-11 2021-04-07 パナソニック株式会社 装置、ロボット、方法及びプログラム
US10304254B2 (en) 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
WO2019056022A1 (en) * 2017-09-18 2019-03-21 Apollo Medical Optics, Ltd. INTERFERENCE IMAGING DEVICE AND ITS APPLICATION
CN108088386B (zh) * 2017-12-15 2019-11-29 深圳大学 一种微纳米量级的二元面结构光检测方法及系统
CN107945268B (zh) * 2017-12-15 2019-11-29 深圳大学 一种基于二元面结构光的高精度三维重建方法及系统
CN108564560B (zh) * 2017-12-29 2021-05-11 深圳市华星光电半导体显示技术有限公司 基于色阻颜色的对位方法及对位系统
US11009882B2 (en) 2018-01-12 2021-05-18 Pixart Imaging Inc. Method, system for obstacle detection and a sensor subsystem
US20190310373A1 (en) * 2018-04-10 2019-10-10 Rosemount Aerospace Inc. Object ranging by coordination of light projection with active pixel rows of multiple cameras
EP3966789A4 (en) 2019-05-10 2022-06-29 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
CN110443275B (zh) * 2019-06-28 2022-11-25 炬星科技(深圳)有限公司 去除噪声的方法、设备及存储介质
CN111562567B (zh) * 2020-05-11 2021-04-30 北京驭光科技发展有限公司 移动装置的障碍物侦测系统、移动装置及扫地机器人
CN111638537B (zh) * 2020-08-03 2020-11-06 成都瑞达科讯科技有限公司 一种室内室外多技术融合定位方法
US11568614B1 (en) 2021-08-02 2023-01-31 Bank Of America Corporation Adaptive augmented reality system for dynamic processing of spatial component parameters based on detecting accommodation factors in real time
CN114681204B (zh) * 2022-03-23 2023-10-27 上海理工大学 一种鼓膜的穿刺方法及鼓膜穿刺系统

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3728025A (en) * 1971-03-08 1973-04-17 Cubic Corp Optical distance measuring equipment
JPS6145919A (ja) 1984-08-09 1986-03-06 Niles Parts Co Ltd 車両用距離測定装置
US4821334A (en) * 1984-12-28 1989-04-11 Canon Kabushiki Kaisha Image processing apparatus
US4871252A (en) * 1986-10-30 1989-10-03 The Regents Of The University Of California Method and apparatus for object positioning
JPS63128207A (ja) 1986-11-19 1988-05-31 Fujitsu Ltd 実装部品検査装置
JP2570315B2 (ja) * 1987-09-01 1997-01-08 アイシン精機株式会社 車上距離検出装置
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US5201013A (en) * 1989-04-24 1993-04-06 Ezel, Inc. Dither processing method
US5121447A (en) * 1989-04-27 1992-06-09 Canon Kabushiki Kaisha Apparatus for performing gradation processing on image data
CA2044820C (en) * 1990-06-19 1998-05-26 Tsugito Maruyama Three-dimensional measuring apparatus
DE69122668T2 (de) * 1990-06-20 1997-03-13 Canon Kk Verfahren und Vorrichtung zur Bildverarbeitung
US5100229A (en) * 1990-08-17 1992-03-31 Spatial Positioning Systems, Inc. Spatial positioning system
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
US5396331A (en) * 1993-08-10 1995-03-07 Sanyo Machine Works, Ltd. Method for executing three-dimensional measurement utilizing correctively computing the absolute positions of CCD cameras when image data vary
JP3269222B2 (ja) 1993-11-08 2002-03-25 株式会社豊田中央研究所 距離測定装置
JPH07298057A (ja) * 1994-04-20 1995-11-10 Fuji Xerox Co Ltd 画像処理装置
US5615003A (en) * 1994-11-29 1997-03-25 Hermary; Alexander T. Electromagnetic profile scanner
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
US5930383A (en) * 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
US6061476A (en) * 1997-11-24 2000-05-09 Cognex Corporation Method and apparatus using image subtraction and dynamic thresholding
US6208419B1 (en) * 1998-11-18 2001-03-27 Fuji Photo Film Co., Ltd. Method of and apparatus for bonding light-emitting element
KR19990046244A (ko) 1999-01-07 1999-07-05 이대흥 광파를이용한거리측정기에서의배경광잡음제거회로
EP1037069A3 (en) * 1999-03-17 2004-01-14 Matsushita Electric Industrial Co., Ltd. Rangefinder
JP4426669B2 (ja) * 1999-06-03 2010-03-03 オリンパス株式会社 マルチaf装置
JP4531897B2 (ja) * 1999-12-27 2010-08-25 パナソニック株式会社 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
JP4040825B2 (ja) * 2000-06-12 2008-01-30 富士フイルム株式会社 画像撮像装置及び距離測定方法
US6618123B2 (en) * 2000-10-20 2003-09-09 Matsushita Electric Industrial Co., Ltd. Range-finder, three-dimensional measuring method and light source apparatus
JP4356050B2 (ja) * 2000-12-28 2009-11-04 株式会社トプコン 測量装置と電子的記憶媒体
US6950547B2 (en) * 2001-02-12 2005-09-27 3M Innovative Properties Company Web inspection method and device
EP1402230A1 (en) * 2001-06-29 2004-03-31 Square D Company Overhead dimensioning system and method
CA2423325C (en) * 2002-04-02 2009-01-27 Institut National D'optique Sensor and method for range measurements using a tdi device
JP4047090B2 (ja) * 2002-07-31 2008-02-13 キヤノン株式会社 画像処理方法及び画像処理装置
JP2005067281A (ja) * 2003-08-20 2005-03-17 Toshiba Corp 距離検出装置、エアバッグ制御装置および距離検出方法
KR100520125B1 (ko) * 2003-09-30 2005-10-11 학교법인 정석학원 선충 분류 방법
JP2005242694A (ja) * 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
US7379562B2 (en) * 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US7570786B2 (en) * 2004-08-30 2009-08-04 Antoun Ateya Automatic digital object counting and verification system and associated method
KR100643305B1 (ko) * 2005-02-14 2006-11-10 삼성전자주식회사 컨볼루션 커널을 이용한 라인 패턴 처리 방법 및 장치
US7724379B2 (en) * 2005-05-12 2010-05-25 Technodream21, Inc. 3-Dimensional shape measuring method and device thereof
EP2040030A1 (de) * 2007-09-24 2009-03-25 Leica Geosystems AG Positionsbestimmungsverfahren

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253641A1 (en) * 2021-02-09 2022-08-11 Samsung Sds Co., Ltd. Method and apparatus for clustering images

Also Published As

Publication number Publication date
US20080159595A1 (en) 2008-07-03
US8175337B2 (en) 2012-05-08
EP1942313A2 (en) 2008-07-09
CN101210800A (zh) 2008-07-02
EP1942313B1 (en) 2012-03-07
EP1942313A3 (en) 2009-03-25
KR100791389B1 (ko) 2008-01-07

Similar Documents

Publication Publication Date Title
CN101210800B (zh) 利用结构光来测量距离的设备和方法
US11821987B2 (en) Multiple resolution, simultaneous localization and mapping based on 3-D LIDAR measurements
US7417717B2 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
JP2004530144A (ja) 画像情報を提供する方法
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
US6859555B1 (en) Fast dominant circle detection through horizontal and vertical scanning
US7804586B2 (en) Method and system for image processing for profiling with uncoded structured light
CN116907458A (zh) 基于光学目标的室内车辆导航的系统和方法
US20130114861A1 (en) Device and method for recognizing three-dimensional position and orientation of article
JP4691701B2 (ja) 人数検出装置及び方法
CN102985789B (zh) 目标点识别方法和测量仪器
CN104094594A (zh) 3d缩放成像器
JPH08294143A (ja) 画像間対応付け方法および画像間視差計測方法
EP1574819B1 (en) Identification and labeling of beam images of a structured beam matrix
CN109948448B (zh) 用于3d障碍物的检测方法、装置、系统及计算机存储介质
JP2023029441A (ja) 計測装置、計測システムおよび車両
CN102538695A (zh) 一种安防检测方法以及相关装置
CN109597067B (zh) 毫米波辐射计线列扫描低识别度目标的分析方法和系统
JP4305073B2 (ja) パンタグラフ支障物検出方法及び装置
JP2000339462A (ja) 欠陥検査方法および欠陥検査装置
JP3465531B2 (ja) 物体認識方法およびその装置
KR101784584B1 (ko) 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법
CN109784315B (zh) 3d障碍物的跟踪检测方法、装置、系统及计算机存储介质
JP2008046978A (ja) 特徴点抽出処理プログラム、特徴点抽出処理装置および特徴点抽出処理方法
JP3419968B2 (ja) 画像認識装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant