CN110927736B - 具有测距装置的物体监视系统 - Google Patents

具有测距装置的物体监视系统 Download PDF

Info

Publication number
CN110927736B
CN110927736B CN201910876366.8A CN201910876366A CN110927736B CN 110927736 B CN110927736 B CN 110927736B CN 201910876366 A CN201910876366 A CN 201910876366A CN 110927736 B CN110927736 B CN 110927736B
Authority
CN
China
Prior art keywords
external object
monitoring system
influence
influence degree
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910876366.8A
Other languages
English (en)
Other versions
CN110927736A (zh
Inventor
中村稔
高桥祐辉
渡边淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN110927736A publication Critical patent/CN110927736A/zh
Application granted granted Critical
Publication of CN110927736B publication Critical patent/CN110927736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4915Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35Details of non-pulse systems
    • G01S7/352Receivers
    • G01S7/354Extracting wanted echo-signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

本发明提供一种具有测距装置的物体监视系统。物体监视系统根据外部物体的测距值来求出监视区域与外部物体之间的配置关系,按照求出的配置关系来计算外部物体对于监视区域内的物体测距的影响度。

Description

具有测距装置的物体监视系统
技术领域
本发明涉及一种具有测距装置的物体监视系统,特别涉及检测监视区域外的外部物体的影响的物体监视系统。
背景技术
作为测量到物体为止的距离的测距装置,公知一种根据光的飞行时间输出距离的TOF(time of flight飞行时间)相机。TOF相机大多采用相位差方式,即为向对象空间照射通过预定周期进行了强度调制的参照光,根据参照光与来自对象空间的反射光之间的相位差来输出对象空间的测距值。
该TOF相机根据相位差间接地测量参照光的路径长度来进行测距,因此当经由其他物体进行了多重反射的参照光强烈影响某个测距点时,可知测距值错误地变大的现象(所谓多路径)。作为抑制或降低多路径影响的技术,例如已知以下的专利文献。
日本再公表专利2014/097539号公开了一种具备光源部的三维测量装置,该光源部能够针对至少2个照射区域中的每个照射区域调节照射光量。三维测量装置求出在各个照射区域a、b、c中将预定的基本光量设定为照射光量的照射模式A的曝光量的总和与各个照射区域中的至少一个照射区域b的照射光量比基本光量小的照射模式B的曝光量的总和之间的差,使该差成为2倍,由此计算在照射模式A混入的不需要反射光的曝光成分。
日本特表2015-513825号公报公开了一种具备照明模块(条纹照明)的飞行时间型相机,该照明模块只对拍摄传感器视野中的任意区域进行照明。针对每个像素区域相互独立地进行照明以及测量的机构在减少不是直接的光路以及多重反射的同时,使像素区域能够接收更直接的光,所以对多重反射(多路径反射)是有利的。
在使用TOF相机,根据测距值判定在对象空间中决定的监视区域内是否存在监视物体的物体监视系统中,当在监视区域附近具有引起多路径的外部物体时,从TOF相机输出的测距值有时错误地变大。此时,特别是在监视区域的远方位置,即使在监视区域中存在监视物体也会错误判定为没有监视物体。
另外,即便在设置物体监视系统时,在监视区域附近没有外部物体时,由于在设置后作业人员在监视区域附近设置外部物体,也会有测距值变大从而误判的情况。因此,希望不仅在设置时,在设置后也能够始终确认监视区域附近有无外部物体。
另一方面,即使在监视区域附近有外部物体,取决于监视区域与外部物体之间的配置关系或外部物体的反射率,有时外部物体未对监视区域内的物体测距产生大的影响。
发明内容
因此,寻求一种能够识别外部物体对于监视区域内的物体测距赋予的影响度的物体监视系统。
本公开的一个方式为物体监视系统,其具备根据向对象空间照射的参照光与来自对象空间的反射光之间的相位差来输出对象空间的测距值的测距装置,根据测距值判定在对象空间中所决定的监视区域内是否存在监视物体,该物体监视系统具有以下单元,根据外部物体的测距值来求出监视区域与监视区域外的外部物体之间的配置关系,按照求出的配置关系来计算上述外部物体对于监视区域内的物体测距的影响度。
附图说明
图1是表示一实施方式的物体监视系统的结构的框图。
图2是表示物体监视系统的适用例的平面图。
图3是表示能够诱发多路径的外部物体的一例的平面图。
图4是平面图,其表示朝向影响度确认点(Pj)的经由了外部物体的参照光的状况。
图5是表示按照影响度确认点Pj与外部物体之间的配置关系(向量Ai、向量Bi以及法向量si)来计算外部物体的影响度的原理的概念图。
图6A是表示按照外部物体的反射率(ρ)来计算外部物体的影响度的原理的概念图。
图6B是表示按照外部物体的反射率(ρ’)来计算外部物体的影响度的原理的概念图。
图7是用于说明外部物体的影响度(Td’﹣Td)的计算式的概念图。
图8是用于说明多重反射光的光强度值(Lf)以及向前延迟(Tf)的计算式的概念图。
图9是用于说明来自外部物体的微小面(Δsi)的反射光成分的光强度值(ΔLi)以及向前延迟(ΔTi)的计算式的概念图。
图10是表示着眼于构成测距装置的图像传感器的像素单位的影响度简单计算方法的概念图。
图11是表示一实施方式的物体监视系统的动作的概略流程图。
图12表示显示第二阈值以上的影响度和赋予第二阈值以上的影响度的外部物体的显示画面的一例。
具体实施方式
以下参照附图详细说明本公开的实施方式。在各个附图中对相同或类似的结构要素赋予相同或类似的标记。另外,以下记载的实施方式不限定权利要求书所记载的发明技术的范围以及用词的含义。
图1是表示一实施方式的物体监视系统1的结构的框图。物体监视系统1具备测距装置10、计算机装置20以及信号输出部27,对监视区域内有无物体进行监视。测距装置10、计算机装置20以及信号输出部27经由有线、无线等网络等连接,可相互通信。在其他实施方式中,测距装置10、信号输出部27以及计算机装置20中的至少一部分可以通过总线连接等被一体化。信号输出部27具有对外部设备输出一个或多个信号的功能,另外有时也具有输入一个或多个信号的功能。作为网络的通信控制,例如有以太网(注册商标)、USB等通信控制。
测距装置10例如是TOF相机,根据向对象空间照射的参照光与来自对象空间的反射光之间的相位差来输出对象空间的测距值数据11。并且,测量装置10有时会输出从对象空间反射的参照光的光强度值数据12。
计算机装置20具备CPU21、RAM22、ROM23、输入输出部24、非易失性存储器25以及显示部26。非易失性存储器25存储有包含监视区域的三维信息的监视区域数据31。CPU21在将RAM22作为工件RAM来执行存储在ROM23中的物体监视程序30时,从非易失性存储器25读出监视区域数据31,并且经由输入输出部24从测距装置10读出测距值数据11、光强度值数据12等。CPU21根据测距值数据以及监视区域数据31来判定监视区域内有无物体,当监视区域内存在监视物体时,作用于信号输出部27来输出物体检测信号。另外,显示部26将来自测距装置10的测距值数据11或光强度值数据显示为图像。
本实施方式的物体监视系统1计算外部物体对于监视区域内的物体测距的影响度。CPU21根据外部物体的测距值数据11以及监视区域数据31来求出监视区域与外部物体之间的配置关系,按照求出的配置关系来计算外部物体针对监视区域内的物体测距的影响度32。另外,根据需要,CPU21除了根据配置关系还根据外部物体的光强度值数据12来计算影响度32。可以将影响度32与外部物体数据33关联起来存储在非易失性存储器25中。
另外,本实施方式的物体监视系统1能够检测影响度32是否超过第一阈值34。第一阈值34被存储在非易失性存储器25中。CPU21在检测出第一阈值34以上的影响度32时作用于信号输出部27来输出警告信号。通过从物体监视系统1输出警告信号,例如配置了会危及监视区域内的监视物体判定的物体的作业人员能够识别产生错误判定的可能性,能够进行将所配置的外部物体排除或进行移动的应对。
另外,本实施方式的物体监视系统1能够将对于监视区域的影响度32超过第一阈值34的场所、该影响度32以及作为该影响度32的主要原因而确定的外部物体或其部位转换为与测距值数据11或光强度值数据12的图像重叠的图像并在显示部26中进行显示。并且,本实施方式的物体监视系统1具有用户能够容易地变更设定值的第二阈值35,与第一阈值34同样地能够将对于监视区域的影响度32超过所设定的第二阈值35的场所、该影响度32以及作为该影响度32的主要原因而确定的外部物体或其部位转换为与测距值数据11或光强度值数据12的图像重叠的图像并在显示部26中显示。另外,通过字体、颜色划分等来区别是针对第一阈值34的显示还是针对第二阈值35的显示。通过这些功能,能够容易地确认超过第一阈值34的原因,并且,通过一边变更第二阈值35的设定值一边确认显示,例如即使是没有输出警告信号的影响度32的状况也能够确认该影响度32或确定影响度比较大的外部物体,能够研究改善。
并且,本实施方式的物体监视系统1可以具备第一阈值34的设定值的变更单元。由此,例如在设置物体监视系统1时,对于初始设定的监视区域,由于地板、墙、已设置的设备等难以排除或移动的外部物体而产生了已经超过第一阈值34的状况时,能够再次研究第一阈值34以及监视区域来进行应对。另外,关于第一阈值34的设定值的变更,通过密码锁等实施保护,使得仅熟知设置状况或所需的监视区域的安全性的设置者能够进行变更。
图2是表示物体监视系统1的适用例的平面图。在本例中,为了避免用于运送放置在工作台40上的工件41的机器人42与作业人员43之间的干扰,设定监视区域44,物体监视系统1根据测距装置10的测距值数据来判定监视区域44内是否存在作业人员43。在本例中,监视区域44在安全栅45的开口部附近被规定为长方体形状,但如果是在测距装置10的对象空间46中则能够在任意场所以任意的形状来设定。另外,一般考虑安全性通过监视区域44的监视,将物体监视系统1输出的物体检测信号作为用于停止与作业人员43隔离的机器人、机床等危险源的动力的信号而使用。另一方面,能够将物体监视系统1输出的警告信号作为降低危险源的输出或者如果是机器人、机床等则作为对动作速度施加限制的信号来使用。
图3是表示能够诱发多路径的外部物体47的一例的平面图。外部物体47被定义为位于测距装置10的对象空间46中并且存在于监视区域44的外部的物体。外部物体47可以是墙壁、柱子等不可移动物体,也可以是图3所示的纸箱、椅子等可移动物体。
测距装置10在根据向对象空间46照射的参照光与来自对象空间46的反射光之间的相位差进行测距的测量原理方面,在经由外部物体47进行了多重反射的参照光强烈地产生影响的情况下,测距值会错误地变大。因此,如图3所示,特别是在监视区域44的远方位置48,即使在实际上监视物体的位置36存在于监视区域44内的情况下,也会错误地判定为测距装置10的测距值数据的位置36’为监视区域44外,监视物体不在监视区域44内。因此,外部物体47是应该排除的物体,希望在配置的时间点由物体监视系统进行警告。
图4是平面图,其表示朝向影响度确认点Pj(j为整数)的经由了外部物体的参照光的状况。本实施方式的物体监视系统1在监视区域44的远方侧边缘49决定1个或多个影响度确认点Pj来计算外部物体47的影响度。在本例中,在长方体形状的监视区域44的背面、右侧面以及左侧面的远方侧边缘49决定了影响度确认点Pj,但请注意在监视区域44的上表面以及下表面也能够决定影响度确认点Pj。另外,在监视系统的特性方面,一般假设在影响度确认点Pj存在在物体监视系统1中规定的监视物体的大小、反射率等规格方面影响最大的物体来计算影响度。并且,以如下作为前提:外部物体47的光反射是理想的扩散反射,即反射面的亮度无论从哪个角度看都大体均匀的兰伯特反射(Lambert reflection)。
图5是表示按照在影响度确认点Pj假设的物体与外部物体之间的配置关系(向量Ai、向量Bi以及法向量si(i是整数))来计算外部物体47的影响度的原理的概念图。向量Ai是从测距装置10的光源连结外部物体47的微小面Δsi的向量,向量Bi是从外部物体47的微小面Δsi连结影响度确认点Pj的向量。在图5中,代表性地概略表示了A点-D点的4点微小面,但请注意实际上从外部物体47的整个面反射的光照射影响度确认点Pj。另外,法向量si是垂直于外部物体47的微小面Δsi的向量。
测距装置10根据光的飞行时间进行测距,因此在影响度确认点Pj的物体测距不仅受到从影响度确认点Pj直接反射来的单反射光的距离延迟Td的影响,还受到经由外部物体47从影响度确认点Pj反射来的多重反射光的向前延迟Tf(Forward delay)的影响。因此,多重反射光的向前延迟Tf取决于向量Ai的大小以及向量Bi的大小之和。另外,在影响度确认点Pj的物体测距不仅受到从影响度确认点Pj直接反射来的单反射光的光强度Lo的影响,还受到经由外部物体47从影响度确认点Pj反射来的多重反射光的光强度值Lf的影响。在考虑了外部物体47的微小面Δsi时,微小面Δsi的法向量si越是朝向测距装置10一方,测距装置10的参照光越强烈地照射微小面Δsi。另外,微小面Δsi的法向量si越朝向影响度确认点Pj一方,影响度确认点Pj受到越强烈的影响。换言之,来自外部物体47的微小面Δsi的影响度取决于影响度确认点Pj(即监视区域)与外部物体47的微小面Δsi之间的配置关系(向量Ai、向量Bi以及法向量si)。因此,在本实施方式的物体监视系统1中,根据外部物体47的测距值来求出监视区域和外部物体47之间的配置关系,并按照求出的配置关系来计算外部物体47对于监视区域内的物体测距的影响度。
图6A以及图6B是表示按照外部物体的反射率(ρ以及ρ’(ρ<ρ’))来计算外部物体47的影响度的原理的概念图。图6A表示黑色等低反射率ρ的外部物体47,图6B表示白色等高反射率ρ’的外部物体47。在低反射率ρ的外部物体47的情况下,在影响度确认点Pj的物体测距几乎不受外部物体47的影响,仅大体取决于从影响度确认点Pj直接反射来的单反射光的光强度值Lo。但是,在高反射率ρ’的外部物体47的情况下,在影响度确认点Pj的物体测距还取决于经由外部物体47从影响度确认点Pj反射来的多重反射光的光强度值Lf。因此,本实施方式的物体监视系统1除了上述配置关系外,还根据需要基于根据外部物体47的光强度值与距离值之间的关系推定出的外部物体47的反射率(ρ以及ρ’)来计算影响度,由此使影响度的计算精度提高。以下说明外部物体47的影响度的逻辑计算式或简单的计算式。但是,请注意要考虑计算机装置20的计算性能等,根据实际设备的验证对系数等进行修正来使用这些计算式。
图7是用于说明外部物体的影响度的计算式的概念图。图7的图表表示测距装置接收到的光的脉冲波。图表的纵轴表示光强度,横轴表示时间。参照光按周期Tp进行强度调制,从影响度确认点Pj直接反射来的单反射光(i)具有脉冲宽度Tp/2、光强度值Lo以及距离延迟Td。除了该原本的单反射光以外,经由外部物体从影响度确认点Pj反射来的多重反射光(ii)在外部物体的微小面Δsi进行反射,由具有延迟的相位的反射光成分之和构成。在图7中,代表性地表示了图5所示的A点-D点的4点的反射光成分之和。实际上接收将单反射光(i)以及多重反射光(ii)进行了复合后的失真的复合反射光(iv)。
测距装置10在接收到失真的复合反射光(iv)时,根据其测距原理作为矩形的等价光(vi)来进行测距。即使将多重反射光(ii)考虑为向前延迟Tf、光强度值Lf、时间宽度Tp/2的矩形的等价光(iii),等价光(iii)对于实际接收到的失真的复合反射光(iv)的影响如(v)以及(vi)所示那样成为等价。此时,如果根据阴影部a与阴影部b的面积相等的关系而将阴影部a的时间宽度设为t,则得到以下公式。
t·Lo=(Tf-Td/2-t)·Lf···式1
并且,如果将上述公式进行变形,则得到下述公式。
t=(Tf-Td/2)·Lf/(Lo+Lf)…式2
在此,阴影部a的时间宽度t与受到外部物体的影响的复合反射光的等价光(vi)的距离延迟Td’与没有受到外部物体的影响的单反射光(i)的距离延迟Td之间的差相等,因此得到以下公式。
Td′-Td=(Tf-Td/2)·Lf/(Lo+Lf)…式3
在此,差Td’-Td与外部物体的影响度相等,因此能够从上述公式计算出外部物体的影响度(Td’-Td)。在上述公式中,根据预先决定的影响度确认点Pj的位置求出单反射光(i)的距离延迟Td。另外,能够根据预先决定的影响度确认点Pj的位置和在物体监视系统1规定的监视物体的反射率来假设影响为最大的反射率来计算单反射光(i)的光强度值Lo。因此通过求出上述公式的多重反射光的光强度值Lf以及向前延迟Tf,能够求出外部物体的影响度(Td’-Td)。
图8是用于说明多重反射光的光强度值Lf以及向前延迟Tf的计算式的概念图。设来自外部物体的微小面Δsi的反射光成分具有脉冲宽度Tp/2、光强度ΔLi以及向前延迟ΔTi。在将这些反射光成分考虑为脉冲宽度Tp/2、光强度Lf、向前延迟Tf的等价光时,Lf、Tf成为以下公式那样。
Lf=∑ΔLi…式4
在此,讨论上述公式的ΔLi、ΔTi。图9是用于说明来自外部物体47的微小面Δsi的反射光成分的光强度值ΔLi以及向前延迟ΔTi的计算式的概念图。将外部物体47的微小面Δsi的面积设为Δsi,将各个微小面Δsi的反射率设为ρi,将向量Ai与法向量si形成的角设为θi,将向量Bi与法向量si形成的角设为αi。经由微小面Δsi从影响度确认点Pj反射来的反射光成分的光强度值ΔLi根据反射率ρi进行变化,与距离的平方成反比,并根据θi、αi各自的余弦进行变化。另外,根据向量Ai以及向量Bi的大小和光速c来求出经由微小面Δsi从影响度确认点Pj反射来的反射光成分的向前延迟ΔTi。因此,根据以下公式来求出ΔLi、ΔTi。在此,k是比例系数。
因此,根据公式6和公式7,公式5中的ΔTi、ΔLi的关系式成为以下。
在此,能够使用测距装置输出的微小面Δsi的周边的多个距离信息来推定法向量si。因此,如果求出法向量si,则也求出与向量Ai所成的角θi以及与向量Bi所成的角αi
另外,因为根据测距装置输出的测距值来检测外部物体47的微小面Δsi,所以微小面Δsi的法向量si必须朝向测距装置侧。因此,成为0°≤θi≤90°。另外,成为0°<αi<90°范围外的外部物体47的微小面Δsi是没有朝向影响度确认点Pj的方向的面,因此可以从影响度的计算中排除。
如果将上述的公式7、公式8代入公式4、公式5,则根据以下公式求出多重反射光的光强度值Lf以及向前延迟Tf。
上述公式9、公式10中的i是整数,因此这些公式可以说是通过离散值计算多重反射光的光强度值Lf以及向前延迟Tf的公式。并且,如果将公式9、公式10表现为以下的积分式,则通过连续的值来计算Lf、Tf。即,下述的积分式可以说是更精密地计算经由外部物体47的全部反射面S从影响度确认点Pj反射来的多重反射光的光强度值Lf、向前延迟Tf的公式。换言之,基于根据外部物体47的测距值推定出的形状来计算外部物体47的影响度(Td-Td’)。另外,请注意在下述积分式中还将反射面S的反射率设为固定值ρs。另外,下述公式中的cosθs、cosαs、向量As以及向量Bs是根据反射面S中的任意位置而决定的。
另外,如上所述,如果假设外部物体47的光的反射是兰伯特反射,则在反射面S的反射率ρs、光强度值数据Ls以及测距值数据As(即向量As的大小)之间,下述的关系式成立。在此,ks是比例系数。
因此,如果将公式13进行变形,则如下述公式所示,还能够根据反射面S的代表点的光强度值数据Li以及测距值数据Ai来求出反射面S的反射率ρs
并且,当具有多个即m个(m是2以上的整数)反射面S时,关于通过公式11、公式12求出的各个Lfj、Tfj(1≤j≤m)进行以下公式的计算,能够计算出多个反射面S的影响度。
图10是表示着眼于构成测距装置10的图像传感器的像素单位的影响度的简单计算方法的概念图。以下,考虑计算机装置的计算性能等,说明着眼于测距装置的图像传感器50的像素单位的简单计算方法。在测距装置的图像传感器50的各个像素中分别具有与视线方向相伴的视野范围。因此,能够认为上述的微小面Δsi相当于像素ui的视野范围中存在的外部物体的一部分的面。
在各像素的视野范围中,在将从测距装置的镜头51的中心开始位于单位距离,并且正对图像传感器50的平面的单位面积设为s0时,位于任意的像素ui的测距值Ai所表示的位置上的外部物体47的一部分面的面积Δsi与距离的平方成正比,与和法向量si形成的角θi的余弦大概成反比,因此能够根据下述的近似式来求出。另外,k是比例系数。
因此,如果将公式17代入公式9、公式10,并使用新的比例系数kp,则能够根据以构成外部物体47的各像素为单位而简单化的下述公式来求出多重反射光的光强度值Lf、向前延迟Tf。
当测距装置无法输出光强度值数据时,或者作为进一步简化计算式的方法,在公式18、公式19中,如果将反射率ρi设为固定值,并使用新的比例系数kp1,则能够根据进一步简化后的下述公式来求出多重反射光的光强度值Lf、向前延迟Tf。
公式20、公式21为仅通过测距装置输出的各像素的测距值来计算外部物体的影响度的方法。另外,根据实际测量考虑实际情况来决定比例系数k p1
另外,如上所述,如果假设外部物体47的光的反射为兰伯特反射,则各像素的光强度值Ii反映各像素所承担的外部物体47的一部分面的反射率。因此,如果将公式14代入公式18、公式19,并使用新的比例系数kp2,则得到下述公式。
公式22、公式23成为相对于公式20、公式21还使用测距装置输出的各像素的光强度值来计算外部物体的影响度的方法。由此,能够考虑外部物体的反射率造成的影响,因此提高影响度的计算精度。另外,根据实际测量考虑实际情况来决定比例系数kp2。另外,根据与关注像素ui相邻的多个像素的测距值来求出法向量si。进一步简化计算式,因此可以将cosαi设为最大值的1。
以下,参照图11的概略流程图来说明本实施方式的物体监视系统的动作。可以通过图1所示的物体监视程序来执行以下的步骤。首先,在步骤S10中,根据需要预先设定影响度的阈值(第一阈值、第二阈值)。在步骤S11,从测距装置取得外部物体的测距值。在步骤S12,根据需要从测距装置取得外部物体的光强度值。在步骤13,根据外部物体的测距值来求出监视区域与外部物体之间的配置关系(向量Ai、向量Bi以及法向量si)。在步骤S14,根据求出的配置关系、根据需要取得的外部物体的光强度值(Ii)来计算外部物体对于监视区域内的物体测距的影响度(Td’-Td)。由此,能够识别外部物体对于监视区域内的物体测距赋予的影响度。
在步骤S15,判定是否检测出第一阈值以上的影响度。当检测出第一阈值以上的影响度时(步骤S15为是),在步骤S16中作用于信号输出部输出警告信号。通过警告信号进行警报,从而能够确认是否有对监视区域内的物体测距造成影响的外部物体。
在步骤S17中根据需要,在步骤S17中在显示部显示第二阈值以上的影响度和赋予第二阈值以上的影响度的外部物体。由此,能够视觉确认外部物体的配置及其影响度。另外,在进行了外部物体的配置变更或监视区域的变更时,能够视觉确认这些变更对于外部物体的影响度的效果。另外,对于二阈值用户能够容易地变更设定值,由此例如即使是不输出警告信号的影响度的状况也能够确认其影响度或者能够确定影响度比较大的外部物体,能够研究改善。
图12表示显示画面52的一例,显示画面52显示了第二阈值以上的影响度(+23mm、+65mm)和赋予第二阈值以上的影响度的外部物体47。在显示画面52中,针对位于监视区域44的远方侧边缘的影响度确认点Pj、Pj+1中的每一个影响度确认点显示第二阈值以上的影响度(+23mm、+65mm)。另外,希望在显示画面52中与其他物体分开颜色地显示赋予第二阈值以上的影响度的外部物体47。在测距装置输出的距离图像、光强度图像或彩色图像上重叠地显示影响度以及外部物体47。当进行了外部物体的配置变更或监视区域的变更时,能够视觉确认这些变更对于外部物体的影响度的效果。
可以将用于执行上述流程图的程序记录在计算机可读取的非暂时性的记录介质,例如记录在CD-ROM等中进行提供。
在本说明书中说明了各种实施方式,但是本发明不限于上述实施方式,可知能够在权利要求书记载的范围内进行各种变更。

Claims (6)

1.一种物体监视系统,其具备根据向对象空间照射的参照光与来自上述对象空间的反射光之间的相位差来输出上述对象空间的测距值的测距装置,并且根据上述测距值判定在上述对象空间中所决定的监视区域内是否存在监视物体,其特征在于,
上述物体监视系统具有根据外部物体的上述测距值来求出上述监视区域内的影响度确认点与上述监视区域外的上述外部物体之间的配置关系,按照求出的上述配置关系来计算上述外部物体对于上述监视区域内的上述影响度确认点的物体测距的影响度的单元,
上述影响度确认点配置在上述监视区域的远方侧边缘。
2.根据权利要求1所述的物体监视系统,其特征在于,
上述测距装置还输出上述对象空间的光强度值,除了上述配置关系还根据上述外部物体的上述光强度值来计算上述影响度。
3.根据权利要求2所述的物体监视系统,其特征在于,
根据基于上述外部物体的上述测距值推定出的形状以及基于上述外部物体的上述光强度值推定出的反射率来计算上述影响度。
4.根据权利要求1~3中的任意一项所述的物体监视系统,其特征在于,
上述物体监视系统还具备在检测出第一阈值以上的上述影响度时输出警告信号的单元。
5.根据权利要求4所述的物体监视系统,其特征在于,
上述物体监视系统还具备显示第二阈值以上的上述影响度和赋予上述第二阈值以上的上述影响度的上述外部物体的单元。
6.根据权利要求5所述的物体监视系统,其特征在于,
上述物体监视系统还具备对上述第一阈值以及上述第二阈值中的至少一方的设定值进行变更的单元。
CN201910876366.8A 2018-09-19 2019-09-17 具有测距装置的物体监视系统 Active CN110927736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018174806A JP6777701B2 (ja) 2018-09-19 2018-09-19 測距装置を有する物体監視システム
JP2018-174806 2018-09-19

Publications (2)

Publication Number Publication Date
CN110927736A CN110927736A (zh) 2020-03-27
CN110927736B true CN110927736B (zh) 2024-04-19

Family

ID=69772878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910876366.8A Active CN110927736B (zh) 2018-09-19 2019-09-17 具有测距装置的物体监视系统

Country Status (4)

Country Link
US (1) US11846708B2 (zh)
JP (1) JP6777701B2 (zh)
CN (1) CN110927736B (zh)
DE (1) DE102019006438B4 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021103581B4 (de) 2020-04-22 2024-01-18 Ifm Electronic Gmbh Verfahren zur Korrektur von Tiefenbildern einer Lichtlaufzeitkamera
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080767A (ja) * 2007-09-27 2009-04-16 Saxa Inc 伝播空間監視装置
JP2012021822A (ja) * 2010-07-12 2012-02-02 Takenaka Electronic Industrial Co Ltd 光位相差検出式の物体検知センサ
JP2013181923A (ja) * 2012-03-02 2013-09-12 Chugoku Electric Power Co Inc:The 位置標定方法、及び位置標定システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3104559B2 (ja) * 1995-02-08 2000-10-30 トヨタ自動車株式会社 車載用レーダ装置
KR100820261B1 (ko) * 2004-07-30 2008-04-08 마츠시다 덴코 가부시키가이샤 화상 처리 장치
JP5804467B2 (ja) * 2010-03-31 2015-11-04 北陽電機株式会社 信号処理装置、及び走査式測距装置
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
JP5865710B2 (ja) * 2012-01-12 2016-02-17 セコム株式会社 画像処理装置
EP2815251B1 (en) 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
DE102012103681A1 (de) 2012-04-26 2013-10-31 Pmdtechnologies Gmbh Phasenverschobene Lampensteuerung
WO2014097539A1 (ja) 2012-12-20 2014-06-26 パナソニック株式会社 3次元測定装置および3次元測定方法
JP2015104016A (ja) * 2013-11-26 2015-06-04 キヤノン株式会社 被写体検出装置、撮像装置、被写体検出装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
JP2017015448A (ja) * 2015-06-29 2017-01-19 株式会社デンソー 光飛行型測距装置
DE102015112656A1 (de) * 2015-07-31 2017-02-02 Sick Ag Distanzsensor
WO2018091970A1 (en) 2016-11-16 2018-05-24 Innoviz Technologies Ltd. Lidar systems and methods
JP6851925B2 (ja) * 2017-03-17 2021-03-31 株式会社東芝 測距装置
JP6918210B2 (ja) * 2018-03-29 2021-08-11 ヌヴォトンテクノロジージャパン株式会社 距離情報取得装置、マルチパス検出装置およびマルチパス検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080767A (ja) * 2007-09-27 2009-04-16 Saxa Inc 伝播空間監視装置
JP2012021822A (ja) * 2010-07-12 2012-02-02 Takenaka Electronic Industrial Co Ltd 光位相差検出式の物体検知センサ
JP2013181923A (ja) * 2012-03-02 2013-09-12 Chugoku Electric Power Co Inc:The 位置標定方法、及び位置標定システム

Also Published As

Publication number Publication date
US11846708B2 (en) 2023-12-19
DE102019006438B4 (de) 2024-01-25
CN110927736A (zh) 2020-03-27
JP6777701B2 (ja) 2020-10-28
US20200088877A1 (en) 2020-03-19
JP2020046296A (ja) 2020-03-26
DE102019006438A1 (de) 2020-04-30

Similar Documents

Publication Publication Date Title
CN111198384B (zh) 具有测距装置的物体监视系统
US10404971B2 (en) Optoelectronic sensor and method for safe detection of objects of a minimum size
US8735792B2 (en) Optoelectronic sensor
CN108802760B (zh) 用于自动化车辆的激光雷达和照相机数据融合
US7167575B1 (en) Video safety detector with projected pattern
US8224032B2 (en) Apparatus and method for monitoring a spatial area, in particular for safeguarding a hazardous area of an automatically operated installation
CN110927736B (zh) 具有测距装置的物体监视系统
EP2553383B1 (en) Method and apparatus for generating texture in a three-dimensional scene
US10436901B2 (en) Optoelectronic sensor and method for detecting objects
CN110174706B (zh) 使用了传感器的物体监视装置
KR20140122810A (ko) 차선 추정 장치 및 그 방법
US9341470B2 (en) Light section sensor
US20220289026A1 (en) Object Detection Sensor Alignment
US10469823B2 (en) Image apparatus for detecting abnormality of distance image
JP6912449B2 (ja) 測距装置を有する物体監視システム
US10733749B2 (en) Vehicle vicinity supervising device and vicinity supervising method
KR102299793B1 (ko) 운전지원장치 및 운전지원방법
KR101291128B1 (ko) 부재의 최외각 측정 장치 및 방법
US20230081003A1 (en) Sensor arrangement and method for safeguarding a monitored zone
JP2013164823A (ja) 空間監視方法及び装置。
JP6603290B2 (ja) 複数のセンサを備えた物体監視装置
KR101592923B1 (ko) 광선 조사 및 이미지 분석을 이용한 화재 감지 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant